デジタルカメラ
【課題】被写体に関係なく忠実な色再現を実現する。
【解決手段】マトリクス選択回路２３とマトリクス回路２５を設け、ＣＣＤ１６から読み出された一連の色信号のうち２つの色要素に応じた色信号Ｒｉｎ，Ｂｉｎとの比に基づき、被写体の分光分布特性を検出する。そして、第１〜第３のカラーマトリクスの中から、検出された被写体の色合いに適したカラーマトリクスを選択し、選択されたマトリクスによってマトリクス演算を実行する。
【解決手段】マトリクス選択回路２３とマトリクス回路２５を設け、ＣＣＤ１６から読み出された一連の色信号のうち２つの色要素に応じた色信号Ｒｉｎ，Ｂｉｎとの比に基づき、被写体の分光分布特性を検出する。そして、第１〜第３のカラーマトリクスの中から、検出された被写体の色合いに適したカラーマトリクスを選択し、選択されたマトリクスによってマトリクス演算を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子から読み出される画像信号に基いてカラー画像を生成する撮像装置に関し、特に色再現性に関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置では、撮像素子の受光面に対して原色カラーフィルタあるいは補色カラーフィルタが配置されており、各画素位置に対応するようにＲ，Ｇ，Ｂなどの色要素がモザイク状に配列されている。被写体からの反射光がカラーフィルタを通ると、各色要素に応じた色信号から構成される画像信号が発生し、撮像素子から読み出される。読み出された画像信号は、測色学に基づいて規格化された色空間に従う画像信号を生成するため、マトリクス演算などによって色変換処理される。そして、ＮＴＳＣ信号、Ｒ，Ｇ，Ｂコンポーネント信号など所定の映像信号としてモニタ等の外部装置へ出力される。
【０００３】
デジタルカメラにおいては、より忠実な色再現性を図るため、様々なカラーフィルタの配列方法、および色変換処理方法が適用されている。例えば、等色関数の中で赤色（Ｒ）の分光感度曲線が負になるスペクトル領域の情報を得るため、緑色（Ｇ）に近い分光感度特性をもつ色要素（Ｇ’）を配列させたフィルタが使用され、補正された赤色（Ｒ’）の信号が生成される（特許文献１参照）。色要素（Ｇ’）に基いて新たな赤色（Ｒ’）の信号へ変換することにより、色域の広い範囲が再現される。また、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のほかに、異なる分光透過特性をもつ色要素を加えた４色フィルタが使用され、４×３のマトリクス演算によって三刺激値に応じたＲ，Ｇ，Ｂの原色信号が生成される（特許文献２参照）。４色フィルタを使用することによって、ノイズを低減しながら色が再現される。
【特許文献１】特許第２８７２７５９号公報（第６頁〜第７頁、第２図）
【特許文献２】特開２００３−２８４０８４号公報（第５頁右欄第２行〜第１１行、図１８）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１、２の撮像装置においても、カラーフィルタの分光透過特性は理想的な視感度分布特性に完全に一致しないため、色再現性に問題がある。特許文献１では、緑色、青色の中間色の再現性を向上させるフィルタの色要素が用意されているが、それ以外の中間色については十分な色再現をすることが難しい。また、特許文献２では、あらかじめ定められたマトリクス係数に基づいてＲ，Ｇ，Ｂの原色信号が生成されるため、ある特定の分光分布特性をもつ被写体（例えば青味を帯びた被写体）に対しては色を適切に再現できるが、他の分光分布特性をもつ被写体（例えば赤味を帯びた被写体）に対して適切な色再現を実現することができない。
【課題を解決するための手段】
【０００５】
本発明の撮像装置は、デジタルカメラ等に適用可能であって、どのような被写体であっても色再現性の優れた画像を提供可能な撮像装置であり、少なくとも４色以上の色要素を配列したフィルタを使用し、色再現性の優れたＲ，Ｇ，Ｂの原色信号を生成する。
【０００６】
撮像装置は、撮像素子と、それぞれ異なった分光透過特性を有する少なくとも４種類の色要素を有し、撮像素子の受光面と向かい合うように配置されるカラーフィルタと、撮像素子から少なくとも４種類の色要素に応じた一連の色信号を読み出す信号読み出し手段とを備える。カラーフィルタの色要素の分光透過特性はそれぞれ異なっており、所定の波長をピークとする連続的な分光分布曲線によって表される。また、色要素の分光透過特性は、等色関数を考慮して波長ピーク、スペクトル分布が定められており、この分光透過特性は、撮像素子、赤外線カットフィルタを含めて撮像系（入力系）の分光感度特性を特徴づける。撮像方式としては、単板式や３板式などが適用可能であり、単板同時式の場合、色要素が市松状に配置された１枚のカラーフィルタ（オンチップカラーフィルタ）が適用される。カラーフィルタは少なくとも４種類の色要素から構成すればよく、等色関数に応じたＲ，Ｇ，Ｂを含む色フィルタ、あるいはＹ、Ｃｙ、Ｍｇ、Ｇなどの補色フィルタいずれによって構成してもよい。
【０００７】
本発明では、撮像装置は、一連の色信号に含まれる被写体の分光分布特性を検出し、それぞれ分光分布特性の異なる被写体に応じて用意される複数のカラーマトリクスの中から、検出された分光分布特性に応じたカラーマトリクスを選択するマトリクス選択手段を備える。カラーマトリクスでは、色要素の分光透過特性の分布曲線を色空間に基づいた標準的分光感度分布曲線へ変換させるようにマトリクス係数が定められている。適用される色空間としては、側色学的に規格化された色空間、例えばＸＹＺ系、Ｌ＊ａ＊ｂ＊空間、Ｌ＊ｕ＊ｖ＊空間、ｓＲＧＢ色空間などが適用される。被写体の分光分布特性（分光反射率）の特徴、すなわち色情報に従い、複数のカラーマトリクスが用意され、例えば、青色光を含む短波長領域において相対的にパワーが大きい分光分布特性をもつ被写体に応じたカラーマトリクス、あるいは、赤色光を含む長波長領域において相対的にパワーが大きい分光分布特性をもつ被写体に応じたカラーマトリクスが含まれる。そして、撮像装置は、一連の色信号から、選択されたカラーマトリクスによるマトリクス演算によってＲ，Ｇ，Ｂ原色信号を生成する信号処理手段を備える。
【０００８】
撮像素子において生成される一連の色信号は、色要素の分光透過特性と被写体の分光分布特性とに影響を受けており、色信号には、被写体の分光分布特性の情報が含まれている。例えば、青味を帯びた被写体を撮影する場合、青色光を含む短波長領域のパワーが相対的に大きい分光分布特性となり、一方、赤味を帯びた被写体を撮影する場合、赤色光を含む波長領域のパワーが相対的に大きい分光分布特性になる。色要素の透過する光の波長領域が、その被写体の分光分布特性において相対的にパワーの大きい波長領域と共通する場合、その色要素から得られる色信号は被写体の色情報を十分含む。
【０００９】
本発明においては、マトリクス選択手段が、一連の色信号に基づいて被写体の分光分布特性、すなわち被写体の色合いを検出する。そして、複数のカラーマトリクスの中から検出された分光分布特性に応じたカラーマトリクスを選択する。すなわち、その被写体を撮影したときに分光透過特性の分布曲線を色空間に基づいた標準的分光感度曲線へより一致させる、近づけるようなマトリクス係数で構成されるカラーマトリクスを選択する。被写体の色情報を判断するため、例えば、赤色（Ｒ）、青色（Ｂ）に応じた色信号の値が所定値（閾値）より大きい、あるいは小さいことによって判断し、あるいは、赤色（Ｒ），青色（Ｂ）に応じた色信号の比によって判断してもよい。
【００１０】
マトリクス選択の構成としては、例えば、マトリクス選択手段が、一連の色信号の中で、色空間に基づいた標準的分光感度分布曲線のうち所定の分光感度曲線に応じた色信号から被写体の分光分布特性を検出し、一連の色信号全体をマトリクス変換する複数のカラーマトリクスから１つのカラーマトリクスを選択する。あるいは、信号処理手段が、一連の色信号を、Ｒ，Ｇ，Ｂ原色信号の中で所定の色信号を生成するあらかじめ定められたカラーマトリクスによってマトリクス演算し、マトリクス選択手段が、生成された所定の色信号に基づいて被写体の分光分布特性を検出し、一連の色信号からＲ，Ｇ，Ｂ原色信号のうち残りの色信号を生成する複数のカラーマトリクスから、１つのカラーマトリクスを選択する。
【００１１】
カラーフィルタの構成としては、例えば、Ｒ，Ｇ，Ｂ原色信号のうちいずれか２つに応じた分光透過特性を有する２種類の検出用色要素と、残りの１つに相関する少なくとも２種類の色要素とから構成さればよい。この場合、マトリクス選択手段が、一連の色信号の中で２種類の検出用色要素に基づいた色信号から被写体の分光分布特性を検出すればよい。例えば、カラーフィルタが、Ｒ，Ｇ，Ｂ原色信号のうちＲ，Ｂに応じた分光透過特性を有する２種類の検出用色要素と、Ｇに相関する２種類の色要素とから構成された場合、マトリクス選択手段は、一連の色信号の中で検出用色要素に応じた色信号から被写体の分光分布特性を検出すればよい。あるいは、信号処理手段が、一連の色信号からＲ，Ｇ，Ｂ原色信号のＲ，Ｂ色信号を生成し、マトリクス選択手段が、Ｒ，Ｂ色信号から被写体の分光分布特性を検出し、一連の色信号からＲ，Ｇ，Ｂ原色信号のＧ信号を生成する複数のカラーマトリクスから１つのカラーマトリクスを選択してもよい。
【００１２】
本発明の色変換処理装置は、それぞれ異なった分光透過特性を有する少なくとも４種類の色要素を有するカラーフィルタが設けられた撮像素子から読み出される少なくとも４種類の色要素に応じた一連の色信号に含まれた被写体の分光分布特性を検出し、それぞれ分光分布特性の異なる被写体に応じて用意される複数のカラーマトリクスの中から検出された分光分布特性に応じたカラーマトリクスを選択するマトリクス選択手段と、一連の色信号から、選択されたカラーマトリクスによるマトリクス演算によってＲ，Ｇ，Ｂ原色信号を生成する信号処理手段とを備えたことを特徴とする。
【００１３】
本発明の色変換処理方法は、それぞれ異なった分光透過特性を有する少なくとも４種類の色要素を有するカラーフィルタが設けられた撮像素子から少なくとも４種類の色要素に応じた一連の色信号を読み出し、一連の色信号に含まれる被写体の分光分布特性を検出し、それぞれ分光分布特性の異なる被写体に応じて用意される複数のカラーマトリクスの中から検出された分光分布特性に応じたカラーマトリクスを選択し、一連の色信号から、選択されたカラーマトリクスによるマトリクス演算によってＲ，Ｇ，Ｂ原色信号を生成することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、被写体に関係なく忠実な色再現を実現することができる。
【発明を実施するための最良の形態】
【００１５】
以下では、図面を参照して、本発明の実施形態であるデジタルスチルカメラについて説明する。
【００１６】
図１は、デジタルカメラのブロック図である。
【００１７】
デジタルカメラ１０は、撮影光学系１２およびＣＣＤ１６を備え、被写体において反射した光が撮影光学系を通り、ＣＣＤ１６の受光面に到達する。これにより、被写体像がＣＣＤ１６の受光面に形成される。ここでは撮像方式として単板同時式が適用されており、ＣＣＤ１６の受光面には、４つの色要素が市松状に配列された色フィルタ１４が設けられている。被写体からの光がＣＣＤ１６の受光面に到達すると、色フィルタ１４の各色要素に応じた画素信号が発生し、画素信号はＣＣＤ駆動回路（図示せず）からのクロックパルス信号に従ってＣＣＤ１６から一連の色信号として読み出される。読み出された画素信号の一部は、マトリクス選択回路２３へ送られる。
【００１８】
マトリクス選択回路２３では、入力された画素信号に基づき、被写体の分光分布特性（分光反射率）が検出される。マトリクス選択回路２３に入力された画素信号はそのまま出力されてマトリクス回路２５に入力される。また、ＣＣＤ１６から読み出された画素信号のうち残りの画素信号はそのままマトリクス回路２５に入力される。
【００１９】
マトリクス回路２５では、入力された画素信号に対して４×３のマトリクス変換処理が実行される。このとき、あらかじめ用意された複数のカラーマトリクスから被写体の分光分布特性に適したカラーマトリクスが選択され、選択されたカラーマトリクスによって色変換処理が実行される。これにより、三刺激値に応じたＲ，Ｇ，Ｂの原色信号が生成され、画像信号処理回路２２へ送信される。
【００２０】
画像信号処理回路２２では、ホワイトバランス調整、ガンマ補正などの処理がＲ，Ｇ，Ｂの原色信号に対して施され、ｓＲＧＢ色空間に従った映像信号が生成される。ここでは、標準モニタと標準視環境において規定される色を測色的に正しく再現するように色変換処理されている。映像信号がＬＣＤドライバ２４へ送られると、ＬＣＤドライバ２４は映像信号に基いてＬＣＤ２６を駆動する。これにより、撮影画像が動画像としてＬＣＤ２６に表示される。
【００２１】
レリーズボタン（図示せず）が半押しされて半押しスイッチ４２がＯＮ状態になると、測距センサ３０によって被写体までの距離が測定されるとともに、測光センサ３２によって被写体の明るさが検出される。そして、システムコントロール回路３４では、測定された被写体情報に基いてシャッタスピード、絞り値が演算される。また、計測された被写体までの距離に従い、レンズ駆動回路２８によって撮影光学系１２が焦点調整のため駆動される。
【００２２】
レリーズボタンが全押しされて全押しスイッチ４４がＯＮ状態になると、図示しないシャッタ、絞りが駆動され、１フレーム分の画素信号が生成される。ＣＣＤ１６から読み出された１フレーム分の画素信号は、マトリクス回路２５、画像信号処理回路２２において処理される。そして、システムコントロール回路３４において圧縮処理された後、メモリカード３６に記録される。送信ボタン（図示せず）が操作されて送信スイッチ４６がＯＮ状態になると、メモリカード３６に記録された画像データがインターフェイス回路（Ｉ／Ｆ）３８を介して外部のコンピュータ４０へ出力される。
【００２３】
ＣＰＵ、ＲＯＭ、ＲＡＭを含むシステムコントロール回路３４は、デジタルカメラ１０の動作を制御し、画像信号処理回路２２など各回路へ制御信号を出力する。システムコントロール回路３４のＲＯＭには、複数のカラーマトリクスのデータがあらかじめ記憶されており、カメラの電源ＯＮによってマトリクス回路２５のレジスタに記憶される。マトリクス選択回路２３は、マトリクス回路２５へ選択すべきマトリクスに応じた制御信号をマトリクス回路２５に出力し、マトリクス回路２５は、その制御信号、すなわち被写体の分光分布特性の情報に基づき、１つのマトリクスを用いたマトリクス変換処理を実行する。
【００２４】
図２は、色フィルタ１４の一部を示した図である。図３は、デジタルカメラにおける入力系の分光感度特性を示した図である。図２、図３を用いて、フィルタの色配列について説明する。
【００２５】
図２に示すように、色フィルタ１４は、４種類の色要素から成るブロックを規則的に配列させたベイヤ−配列型フィルタである。また、４種類の色要素は、青色光を含む短波長領域の色要素（以下、Ｂ０とする）、青色（Ｂ）の波長領域から緑色（Ｇ）の波長領域に範囲に渡って光を透過する色要素（以下、Ｘと表す）、緑色（Ｇ）の波長領域から赤色（Ｒ）の波長領域に渡って光を透過する色要素（以下、Ｚと表す）、赤色光を含む長波長領域の光を透過する色要素（以下、Ｒ０と表す）によって構成されている。４つの色要素（Ｂ０、Ｘ、Ｚ、Ｒ０）は市松状に並べられ、各色要素がＣＣＤ１６における受光面の各画素に対向するように配置されている。
【００２６】
図３では、色フィルタ１４の分光透過特性、撮影光学系１２あるいは赤外線カットフィルタの分光感度特性、ＣＣＤ１６の分光感度特性を総合したデジタルカメラ１０の入力系における分光感度特性を示している。色要素Ｂ０、Ｘ、Ｚ、Ｒ０の分光透過特性によって特徴付けられる入力系の分光感度特性は、いずれも略ガウス分布に近い曲線で表され、それぞれ「Ｌ１」、「Ｌ２」、「Ｌ３」、「Ｌ４」とする。分光感度曲線Ｌ１、Ｌ２、Ｌ３、Ｌ４は、それぞれピーク波長λ１（４５０ｎｍ）、λ２（５００ｎｍ）、λ３（５５０ｎｍ）、λ４（５９０ｎｍ）をもつスペクトル分布で表される。
【００２７】
分光感度曲線Ｌ１は、主に青色（Ｂ）の光に対応する分光感度曲線であり、スペクトル分布（分光感度）領域は３６０ｎｍ〜５４０ｎｍの範囲になる。分光感度曲線Ｌ４は主に赤色（Ｒ）の光に対応する分光感度曲線であり、スペクトル分布領域は約５２０ｎｍ〜６８０ｎｍの範囲になる。分光感度曲線Ｌ２、分光感度曲線Ｌ３は、分光感度曲線Ｌ１と分光感度曲線Ｌ４との間においてほぼ均等間隔になるようなラインを描き、ピーク波長λ１、λ２、λ３、λ４が略等間隔になるように分光感度曲線Ｌ１、Ｌ２、Ｌ３、Ｌ４が定められている。
【００２８】
図４は、理想的な撮像システム、すなわち入力系の分光感度特性を示した図である。図５は、所定のカラーマトリクスを用いたマトリクス演算により得られる色信号の分光感度特性を示した図である。図４、５を用いて、分光感度特性について説明する。
【００２９】
図４に示す分光感度特性は、測色学的に適正に色再現を実現できる分光感度特性であり、等色関数によって表され、人間の視感度に合わせて測色学的に規定された分光感度特性に対応する。ここでは、等色関数に相当する分光感度曲線を、標準分光感度曲線としてＲｓ、Ｇｓ、Ｂｓと表す。ただし、Ｒｓ、Ｇｓ、Ｂｓは、色空間としてｓＲＧＢ色空間に基づいた分光感度曲線を示す。
【００３０】
図３に示す入力系の分光感度特性に基いて得られた４色の色信号（以下では、それぞれＢｉｎ、Ｘｉｎ、Ｚｉｎ、Ｒｉｎとする）は、図４に示したｓＲＧＢ色空間による分光感度曲線に基いた測色値（機器独立色）を得るため、以下の式に従い、マトリクス回路２５においてマトリクス演算される。マトリクス演算されると、Ｒ，Ｇ，Ｂの原色信号として３つの色信号Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔが生成される。色信号Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔは、等色関数から得られる三刺激値Ｘ，Ｙ，ＺのＸ，Ｙ，Ｚにそれぞれ対応する。ここでは、被写体の分光分布特性を考慮して３つのカラーマトリクスが用意されており、（１）、（２）、（３）式に用いられるマトリクスを、それぞれ第１のマトリクスＭ１，第２のマトリクスＭ２，第３のマトリクスＭ３とする。マトリクスの各係数は、ルータ条件をできるだけ満たすように定められている。
【００３１】
【数１】
【００３２】
【数２】
【００３３】
【数３】
【００３４】
第１のマトリクスＭ１は、分光分布特性の短波長領域においてパワーが相対的に大きい、すなわち青味がある被写体に適用されるマトリクスであり、一方、第２のマトリクスＭ２は、分光分布特性の長波長領域においてパワーが相対的に大きい、すなわち赤味のある被写体に適用されるマトリクスである。式（１）、（２）からわかるように、第１のマトリクスＭ１の第２行第１列のマトリクス係数の値は、第２のマトリクスＭ２の第２行第１列のマトリクス係数の値より小さい。第３のマトリクスＭ３は、そのどちらでもない中間的な分光分布特性をもつ被写体に適用されるマトリクスである。
【００３５】
図５には、第１のマトリクスＭ１を使用してマトリクス演算を実行した場合の分光感度曲線が表されている。図５に示すように、短波長領域（４５０〜５５０ｎｍ）においては、マトリクス演算による分光感度曲線Ｒ’ｓ、Ｇ’ｓ、Ｂ’ｓは、ｓＲＧＢ空間に従う標準的分光感度曲線Ｒｓ，Ｇｓ，Ｂｓと概して一致する。すなわち、忠実に色が再現される。一方、第２のマトリクスＭ２を使用した場合、長波長領域においてマトリクス演算による分光感度曲線が標準的分光感度曲線Ｒｓ，Ｇｓ，Ｂｓと概ね一致する（ここでは図示せず）。本実施形態では、ＣＣＤ１６から出力される色信号Ｒｉｎ、Ｂｉｎに基づいて被写体の分光分布特性が検出され、３つのマトリクスＭ１、Ｍ２、Ｍ３の中から被写体の分光分布特性に適したマトリクスが選択される。
【００３６】
図６は、カラーマトリクス選択処理の過程を示したフローチャートである。
【００３７】
ステップＳ１０１では、色信号ＢｉｎとＲｉｎとの比の値が境界値Ｔ０より大きいか否かが判断される。青色に応じた短波長領域のスペクトル成分が相対的に大きい分光分布特性をもつ被写体の場合、色信号Ｂｉｎの値が色信号Ｒｉｎの値に比べて相対的に大きくなる。ここでは、境界値Ｔ０の値は１．１に定められている。
【００３８】
ステップＳ１０１において、色信号ＢｉｎとＲｉｎとの比の値が境界値Ｔ０より大きいと判断されると、ステップＳ１０５へ進む。ステップＳ１０５では、第１のマトリクスＭ１がマトリクス回路２５において選択され、マトリクス演算が実行される。一方、色信号ＢｉｎとＲｉｎとの値が境界値Ｔ０より大きくないと判断された場合、ステップＳ１０２へ進む。
【００３９】
ステップＳ１０２では、色信号Ｂｉｎと色信号Ｒｉｎとの比の値が境界値Ｔ１より小さいか否かが判断される。赤色に応じた長波長領域のスペクトル成分が相対的に大きい分光分布特性をもつ被写体の場合、色信号Ｒの値Ｒｉｎが色信号Ｂｉｎに比べて相対的に大きい。ここでは、境界値Ｔ１は、０．５９に定められている。
【００４０】
ステップＳ１０２において、色信号Ｂｉｎと色信号Ｒｉｎとの比の値が境界値Ｔ１より小さいと判断されると、ステップＳ１０３へ進む。ステップＳ１０３では、第２のマトリクスＭ２がマトリクス回路２５において選択され、マトリクス演算が実行される。
【００４１】
一方、ステップＳ１０２において、色信号Ｂｉｎと色信号Ｒｉｎとの比の値が境界値Ｔ１より小さくないと判断された場合、ステップＳ１０４へ進む。ステップＳ１０４では、第３のマトリクスＭ３がマトリクス回路２５において選択され、マトリクス演算が実行される。なお、境界値Ｔ０、Ｔ１は、分光感度曲線Ｒｓ、Ｂｓ、マトリクス係数等に基づいて定められる。
【００４２】
このように本実施形態によれば、マトリクス選択回路２３とマトリクス回路２５が設けられ、ＣＣＤ１６から読み出された色要素Ｂ０、Ｒ０に応じた画素信号（色信号）Ｒｉｎ，Ｂｉｎとの比に基づき、被写体の分光分布特性、すなわち色合いが検出される。そして、第１〜第３のカラーマトリクスＭ１〜Ｍ３の中から検出された被写体の色合いに適したカラーマトリクスが選択され、マトリクス演算が実行される。
【００４３】
次に、図７，図８を用いて第２の実施形態について説明する。第２の実施形態では、始めに４つの色信号のうち、Ｒ，Ｇ，Ｂ原色信号のうちＲ，Ｂに応じた２つの色信号をマトリクス演算によって求め、その後、カラーマトリクスを選択してＧに応じた色信号を求める。それ以外の構成については、第１の実施形態と同じである。
【００４４】
図７は、第２の実施形態であるデジタルカメラのブロック図である。第１の実施形態のデジタルカメラと共通する構成については同一符号で表す。
【００４５】
デジタルカメラ１０’は、第１マトリクス回路２７、第２マトリクス回路２９、マトリクス選択回路３１を備える。第１マトリクス回路２７は、ＣＣＤ１６から読み出される一連の色信号Ｂｉｎ，Ｒｉｎ，Ｘｉｎ，Ｚｉｎに対し、以下に示す４×２のカラーマトリクスを用いてマトリクス変換を実行し、Ｒ，Ｇ，Ｂ原色信号のＲ，Ｂ色信号となる色信号Ｒｏｕｔ，Ｂｏｕｔを出力し、マトリクス選択回路３１へ送る。
【００４６】
【数４】
【００４７】
マトリクス選択回路３１では、入力された色信号Ｂｏｕｔ，Ｒｏｕｔに基づき、被写体の分光分布特性が検出され、第２マトリクス回路２９へ制御信号を出力する。第２マトリクス回路２９では、ＣＣＤ１６から読み出される色信号Ｂｉｎ，Ｒｉｎ，Ｘｉｎ，Ｚｉｎに対し、被写体の分光分布特性に適したカラーマトリクスを用いて４×１のマトリクス変換が実行される。マトリクス変換処理により、Ｒ，Ｇ，Ｂ原色信号のＧ信号となる色信号Ｇｏｕｔが生成される。
【００４８】
図８は、第２の実施形態におけるカラーマトリクス選択処理の過程を示したフローチャートである。
【００４９】
ステップＳ２０１では、色信号ＢｏｕｔとＲｏｕｔとの比の値が境界値Ｓ０より大きいか否かが判断される。青色に応じた短波長領域のスペクトル成分が相対的に大きい分光分布特性をもつ被写体の場合、色信号Ｂｏｕｔの値が色信号Ｒｏｕｔの値に比べて相対的に大きくなる。
【００５０】
ステップＳ２０１において、色信号ＢｉｎとＲｉｎとの比の値が境界値Ｓ０より大きいと判断されると、ステップＳ２０５へ進む。ステップＳ２０５では、以下に示す第１のマトリクスＫ１が第２マトリクス回路２９において選択され、マトリクス演算が実行される。一方、色信号ＢｉｎとＲｉｎとの比の値が境界値Ｓ０より大きくないと判断された場合、ステップＳ２０２へ進む。
【００５１】
【数５】
【００５２】
ステップＳ２０２では、色信号Ｂｏｕｔと色信号Ｒｏｕｔとの比の値が境界値Ｓ１より小さいか否かが判断される。赤色に応じた長波長領域のスペクトル成分が相対的に大きい分光分布特性をもつ被写体の場合、色信号Ｒの値Ｒｏｕｔが色信号Ｂの値Ｂｏｕｔに比べて相対的に大きい。
【００５３】
ステップＳ２０２において、色信号Ｂｏｕｔと色信号Ｒｏｕｔとの比の値が境界値Ｓ１より小さいと判断されると、ステップＳ２０３へ進む。ステップＳ２０３では、以下に示す第２のマトリクスＫ２が第２マトリクス回路２９において選択され、マトリクス演算が実行される。
【００５４】
【数６】
【００５５】
一方、ステップＳ２０２において、色信号Ｂｏｕｔと色信号Ｒｏｕｔとの比の値が境界値Ｓ１より小さくないと判断された場合、ステップＳ２０４へ進む。ステップＳ２０４では、以下に示す第３のマトリクスＫ３が第２マトリクス回路２９において選択され、マトリクス演算が実行される。なお、境界値Ｓ０、Ｓ１は、分光感度曲線Ｒｓ，Ｂｓ、マトリクス係数等に基づいて定められる。
【００５６】
【数７】
【００５７】
なお、ソフトウェアの制御によって色変換処理を実行してもよい。また、カメラ以外の撮影機能を備えた携帯電話、電子機器などに適用してもよい。
【図面の簡単な説明】
【００５８】
【図１】デジタルカメラのブロック図である。
【図２】色フィルタの一部を示した図である。
【図３】デジタルカメラにおける入力系の分光感度特性を示した図である。
【図４】撮像系に関する理想的な入力系の分光感度特性を示した図である。
【図５】所定のカラーマトリクスを用いたマトリクス演算により得られる色信号の分光感度特性を示した図である。
【図６】カラーマトリクス選択処理の過程を示したフローチャートである。
【図７】第２の実施形態であるデジタルカメラのブロック図である。
【図８】第２の実施形態におけるカラーマトリクス選択処理の過程を示したフローチャートである。
【符号の説明】
【００５９】
１０、１０’ デジタルカメラ
１４ カラーフィルタ
１６ ＣＣＤ（撮像素子）
２３ マトリクス選択回路
２５ マトリクス回路
２７ 第１マトリクス回路
２９ 第２マトリクス回路
３１ マトリクス選択回路
【技術分野】
【０００１】
本発明は、撮像素子から読み出される画像信号に基いてカラー画像を生成する撮像装置に関し、特に色再現性に関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置では、撮像素子の受光面に対して原色カラーフィルタあるいは補色カラーフィルタが配置されており、各画素位置に対応するようにＲ，Ｇ，Ｂなどの色要素がモザイク状に配列されている。被写体からの反射光がカラーフィルタを通ると、各色要素に応じた色信号から構成される画像信号が発生し、撮像素子から読み出される。読み出された画像信号は、測色学に基づいて規格化された色空間に従う画像信号を生成するため、マトリクス演算などによって色変換処理される。そして、ＮＴＳＣ信号、Ｒ，Ｇ，Ｂコンポーネント信号など所定の映像信号としてモニタ等の外部装置へ出力される。
【０００３】
デジタルカメラにおいては、より忠実な色再現性を図るため、様々なカラーフィルタの配列方法、および色変換処理方法が適用されている。例えば、等色関数の中で赤色（Ｒ）の分光感度曲線が負になるスペクトル領域の情報を得るため、緑色（Ｇ）に近い分光感度特性をもつ色要素（Ｇ’）を配列させたフィルタが使用され、補正された赤色（Ｒ’）の信号が生成される（特許文献１参照）。色要素（Ｇ’）に基いて新たな赤色（Ｒ’）の信号へ変換することにより、色域の広い範囲が再現される。また、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のほかに、異なる分光透過特性をもつ色要素を加えた４色フィルタが使用され、４×３のマトリクス演算によって三刺激値に応じたＲ，Ｇ，Ｂの原色信号が生成される（特許文献２参照）。４色フィルタを使用することによって、ノイズを低減しながら色が再現される。
【特許文献１】特許第２８７２７５９号公報（第６頁〜第７頁、第２図）
【特許文献２】特開２００３−２８４０８４号公報（第５頁右欄第２行〜第１１行、図１８）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１、２の撮像装置においても、カラーフィルタの分光透過特性は理想的な視感度分布特性に完全に一致しないため、色再現性に問題がある。特許文献１では、緑色、青色の中間色の再現性を向上させるフィルタの色要素が用意されているが、それ以外の中間色については十分な色再現をすることが難しい。また、特許文献２では、あらかじめ定められたマトリクス係数に基づいてＲ，Ｇ，Ｂの原色信号が生成されるため、ある特定の分光分布特性をもつ被写体（例えば青味を帯びた被写体）に対しては色を適切に再現できるが、他の分光分布特性をもつ被写体（例えば赤味を帯びた被写体）に対して適切な色再現を実現することができない。
【課題を解決するための手段】
【０００５】
本発明の撮像装置は、デジタルカメラ等に適用可能であって、どのような被写体であっても色再現性の優れた画像を提供可能な撮像装置であり、少なくとも４色以上の色要素を配列したフィルタを使用し、色再現性の優れたＲ，Ｇ，Ｂの原色信号を生成する。
【０００６】
撮像装置は、撮像素子と、それぞれ異なった分光透過特性を有する少なくとも４種類の色要素を有し、撮像素子の受光面と向かい合うように配置されるカラーフィルタと、撮像素子から少なくとも４種類の色要素に応じた一連の色信号を読み出す信号読み出し手段とを備える。カラーフィルタの色要素の分光透過特性はそれぞれ異なっており、所定の波長をピークとする連続的な分光分布曲線によって表される。また、色要素の分光透過特性は、等色関数を考慮して波長ピーク、スペクトル分布が定められており、この分光透過特性は、撮像素子、赤外線カットフィルタを含めて撮像系（入力系）の分光感度特性を特徴づける。撮像方式としては、単板式や３板式などが適用可能であり、単板同時式の場合、色要素が市松状に配置された１枚のカラーフィルタ（オンチップカラーフィルタ）が適用される。カラーフィルタは少なくとも４種類の色要素から構成すればよく、等色関数に応じたＲ，Ｇ，Ｂを含む色フィルタ、あるいはＹ、Ｃｙ、Ｍｇ、Ｇなどの補色フィルタいずれによって構成してもよい。
【０００７】
本発明では、撮像装置は、一連の色信号に含まれる被写体の分光分布特性を検出し、それぞれ分光分布特性の異なる被写体に応じて用意される複数のカラーマトリクスの中から、検出された分光分布特性に応じたカラーマトリクスを選択するマトリクス選択手段を備える。カラーマトリクスでは、色要素の分光透過特性の分布曲線を色空間に基づいた標準的分光感度分布曲線へ変換させるようにマトリクス係数が定められている。適用される色空間としては、側色学的に規格化された色空間、例えばＸＹＺ系、Ｌ＊ａ＊ｂ＊空間、Ｌ＊ｕ＊ｖ＊空間、ｓＲＧＢ色空間などが適用される。被写体の分光分布特性（分光反射率）の特徴、すなわち色情報に従い、複数のカラーマトリクスが用意され、例えば、青色光を含む短波長領域において相対的にパワーが大きい分光分布特性をもつ被写体に応じたカラーマトリクス、あるいは、赤色光を含む長波長領域において相対的にパワーが大きい分光分布特性をもつ被写体に応じたカラーマトリクスが含まれる。そして、撮像装置は、一連の色信号から、選択されたカラーマトリクスによるマトリクス演算によってＲ，Ｇ，Ｂ原色信号を生成する信号処理手段を備える。
【０００８】
撮像素子において生成される一連の色信号は、色要素の分光透過特性と被写体の分光分布特性とに影響を受けており、色信号には、被写体の分光分布特性の情報が含まれている。例えば、青味を帯びた被写体を撮影する場合、青色光を含む短波長領域のパワーが相対的に大きい分光分布特性となり、一方、赤味を帯びた被写体を撮影する場合、赤色光を含む波長領域のパワーが相対的に大きい分光分布特性になる。色要素の透過する光の波長領域が、その被写体の分光分布特性において相対的にパワーの大きい波長領域と共通する場合、その色要素から得られる色信号は被写体の色情報を十分含む。
【０００９】
本発明においては、マトリクス選択手段が、一連の色信号に基づいて被写体の分光分布特性、すなわち被写体の色合いを検出する。そして、複数のカラーマトリクスの中から検出された分光分布特性に応じたカラーマトリクスを選択する。すなわち、その被写体を撮影したときに分光透過特性の分布曲線を色空間に基づいた標準的分光感度曲線へより一致させる、近づけるようなマトリクス係数で構成されるカラーマトリクスを選択する。被写体の色情報を判断するため、例えば、赤色（Ｒ）、青色（Ｂ）に応じた色信号の値が所定値（閾値）より大きい、あるいは小さいことによって判断し、あるいは、赤色（Ｒ），青色（Ｂ）に応じた色信号の比によって判断してもよい。
【００１０】
マトリクス選択の構成としては、例えば、マトリクス選択手段が、一連の色信号の中で、色空間に基づいた標準的分光感度分布曲線のうち所定の分光感度曲線に応じた色信号から被写体の分光分布特性を検出し、一連の色信号全体をマトリクス変換する複数のカラーマトリクスから１つのカラーマトリクスを選択する。あるいは、信号処理手段が、一連の色信号を、Ｒ，Ｇ，Ｂ原色信号の中で所定の色信号を生成するあらかじめ定められたカラーマトリクスによってマトリクス演算し、マトリクス選択手段が、生成された所定の色信号に基づいて被写体の分光分布特性を検出し、一連の色信号からＲ，Ｇ，Ｂ原色信号のうち残りの色信号を生成する複数のカラーマトリクスから、１つのカラーマトリクスを選択する。
【００１１】
カラーフィルタの構成としては、例えば、Ｒ，Ｇ，Ｂ原色信号のうちいずれか２つに応じた分光透過特性を有する２種類の検出用色要素と、残りの１つに相関する少なくとも２種類の色要素とから構成さればよい。この場合、マトリクス選択手段が、一連の色信号の中で２種類の検出用色要素に基づいた色信号から被写体の分光分布特性を検出すればよい。例えば、カラーフィルタが、Ｒ，Ｇ，Ｂ原色信号のうちＲ，Ｂに応じた分光透過特性を有する２種類の検出用色要素と、Ｇに相関する２種類の色要素とから構成された場合、マトリクス選択手段は、一連の色信号の中で検出用色要素に応じた色信号から被写体の分光分布特性を検出すればよい。あるいは、信号処理手段が、一連の色信号からＲ，Ｇ，Ｂ原色信号のＲ，Ｂ色信号を生成し、マトリクス選択手段が、Ｒ，Ｂ色信号から被写体の分光分布特性を検出し、一連の色信号からＲ，Ｇ，Ｂ原色信号のＧ信号を生成する複数のカラーマトリクスから１つのカラーマトリクスを選択してもよい。
【００１２】
本発明の色変換処理装置は、それぞれ異なった分光透過特性を有する少なくとも４種類の色要素を有するカラーフィルタが設けられた撮像素子から読み出される少なくとも４種類の色要素に応じた一連の色信号に含まれた被写体の分光分布特性を検出し、それぞれ分光分布特性の異なる被写体に応じて用意される複数のカラーマトリクスの中から検出された分光分布特性に応じたカラーマトリクスを選択するマトリクス選択手段と、一連の色信号から、選択されたカラーマトリクスによるマトリクス演算によってＲ，Ｇ，Ｂ原色信号を生成する信号処理手段とを備えたことを特徴とする。
【００１３】
本発明の色変換処理方法は、それぞれ異なった分光透過特性を有する少なくとも４種類の色要素を有するカラーフィルタが設けられた撮像素子から少なくとも４種類の色要素に応じた一連の色信号を読み出し、一連の色信号に含まれる被写体の分光分布特性を検出し、それぞれ分光分布特性の異なる被写体に応じて用意される複数のカラーマトリクスの中から検出された分光分布特性に応じたカラーマトリクスを選択し、一連の色信号から、選択されたカラーマトリクスによるマトリクス演算によってＲ，Ｇ，Ｂ原色信号を生成することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、被写体に関係なく忠実な色再現を実現することができる。
【発明を実施するための最良の形態】
【００１５】
以下では、図面を参照して、本発明の実施形態であるデジタルスチルカメラについて説明する。
【００１６】
図１は、デジタルカメラのブロック図である。
【００１７】
デジタルカメラ１０は、撮影光学系１２およびＣＣＤ１６を備え、被写体において反射した光が撮影光学系を通り、ＣＣＤ１６の受光面に到達する。これにより、被写体像がＣＣＤ１６の受光面に形成される。ここでは撮像方式として単板同時式が適用されており、ＣＣＤ１６の受光面には、４つの色要素が市松状に配列された色フィルタ１４が設けられている。被写体からの光がＣＣＤ１６の受光面に到達すると、色フィルタ１４の各色要素に応じた画素信号が発生し、画素信号はＣＣＤ駆動回路（図示せず）からのクロックパルス信号に従ってＣＣＤ１６から一連の色信号として読み出される。読み出された画素信号の一部は、マトリクス選択回路２３へ送られる。
【００１８】
マトリクス選択回路２３では、入力された画素信号に基づき、被写体の分光分布特性（分光反射率）が検出される。マトリクス選択回路２３に入力された画素信号はそのまま出力されてマトリクス回路２５に入力される。また、ＣＣＤ１６から読み出された画素信号のうち残りの画素信号はそのままマトリクス回路２５に入力される。
【００１９】
マトリクス回路２５では、入力された画素信号に対して４×３のマトリクス変換処理が実行される。このとき、あらかじめ用意された複数のカラーマトリクスから被写体の分光分布特性に適したカラーマトリクスが選択され、選択されたカラーマトリクスによって色変換処理が実行される。これにより、三刺激値に応じたＲ，Ｇ，Ｂの原色信号が生成され、画像信号処理回路２２へ送信される。
【００２０】
画像信号処理回路２２では、ホワイトバランス調整、ガンマ補正などの処理がＲ，Ｇ，Ｂの原色信号に対して施され、ｓＲＧＢ色空間に従った映像信号が生成される。ここでは、標準モニタと標準視環境において規定される色を測色的に正しく再現するように色変換処理されている。映像信号がＬＣＤドライバ２４へ送られると、ＬＣＤドライバ２４は映像信号に基いてＬＣＤ２６を駆動する。これにより、撮影画像が動画像としてＬＣＤ２６に表示される。
【００２１】
レリーズボタン（図示せず）が半押しされて半押しスイッチ４２がＯＮ状態になると、測距センサ３０によって被写体までの距離が測定されるとともに、測光センサ３２によって被写体の明るさが検出される。そして、システムコントロール回路３４では、測定された被写体情報に基いてシャッタスピード、絞り値が演算される。また、計測された被写体までの距離に従い、レンズ駆動回路２８によって撮影光学系１２が焦点調整のため駆動される。
【００２２】
レリーズボタンが全押しされて全押しスイッチ４４がＯＮ状態になると、図示しないシャッタ、絞りが駆動され、１フレーム分の画素信号が生成される。ＣＣＤ１６から読み出された１フレーム分の画素信号は、マトリクス回路２５、画像信号処理回路２２において処理される。そして、システムコントロール回路３４において圧縮処理された後、メモリカード３６に記録される。送信ボタン（図示せず）が操作されて送信スイッチ４６がＯＮ状態になると、メモリカード３６に記録された画像データがインターフェイス回路（Ｉ／Ｆ）３８を介して外部のコンピュータ４０へ出力される。
【００２３】
ＣＰＵ、ＲＯＭ、ＲＡＭを含むシステムコントロール回路３４は、デジタルカメラ１０の動作を制御し、画像信号処理回路２２など各回路へ制御信号を出力する。システムコントロール回路３４のＲＯＭには、複数のカラーマトリクスのデータがあらかじめ記憶されており、カメラの電源ＯＮによってマトリクス回路２５のレジスタに記憶される。マトリクス選択回路２３は、マトリクス回路２５へ選択すべきマトリクスに応じた制御信号をマトリクス回路２５に出力し、マトリクス回路２５は、その制御信号、すなわち被写体の分光分布特性の情報に基づき、１つのマトリクスを用いたマトリクス変換処理を実行する。
【００２４】
図２は、色フィルタ１４の一部を示した図である。図３は、デジタルカメラにおける入力系の分光感度特性を示した図である。図２、図３を用いて、フィルタの色配列について説明する。
【００２５】
図２に示すように、色フィルタ１４は、４種類の色要素から成るブロックを規則的に配列させたベイヤ−配列型フィルタである。また、４種類の色要素は、青色光を含む短波長領域の色要素（以下、Ｂ０とする）、青色（Ｂ）の波長領域から緑色（Ｇ）の波長領域に範囲に渡って光を透過する色要素（以下、Ｘと表す）、緑色（Ｇ）の波長領域から赤色（Ｒ）の波長領域に渡って光を透過する色要素（以下、Ｚと表す）、赤色光を含む長波長領域の光を透過する色要素（以下、Ｒ０と表す）によって構成されている。４つの色要素（Ｂ０、Ｘ、Ｚ、Ｒ０）は市松状に並べられ、各色要素がＣＣＤ１６における受光面の各画素に対向するように配置されている。
【００２６】
図３では、色フィルタ１４の分光透過特性、撮影光学系１２あるいは赤外線カットフィルタの分光感度特性、ＣＣＤ１６の分光感度特性を総合したデジタルカメラ１０の入力系における分光感度特性を示している。色要素Ｂ０、Ｘ、Ｚ、Ｒ０の分光透過特性によって特徴付けられる入力系の分光感度特性は、いずれも略ガウス分布に近い曲線で表され、それぞれ「Ｌ１」、「Ｌ２」、「Ｌ３」、「Ｌ４」とする。分光感度曲線Ｌ１、Ｌ２、Ｌ３、Ｌ４は、それぞれピーク波長λ１（４５０ｎｍ）、λ２（５００ｎｍ）、λ３（５５０ｎｍ）、λ４（５９０ｎｍ）をもつスペクトル分布で表される。
【００２７】
分光感度曲線Ｌ１は、主に青色（Ｂ）の光に対応する分光感度曲線であり、スペクトル分布（分光感度）領域は３６０ｎｍ〜５４０ｎｍの範囲になる。分光感度曲線Ｌ４は主に赤色（Ｒ）の光に対応する分光感度曲線であり、スペクトル分布領域は約５２０ｎｍ〜６８０ｎｍの範囲になる。分光感度曲線Ｌ２、分光感度曲線Ｌ３は、分光感度曲線Ｌ１と分光感度曲線Ｌ４との間においてほぼ均等間隔になるようなラインを描き、ピーク波長λ１、λ２、λ３、λ４が略等間隔になるように分光感度曲線Ｌ１、Ｌ２、Ｌ３、Ｌ４が定められている。
【００２８】
図４は、理想的な撮像システム、すなわち入力系の分光感度特性を示した図である。図５は、所定のカラーマトリクスを用いたマトリクス演算により得られる色信号の分光感度特性を示した図である。図４、５を用いて、分光感度特性について説明する。
【００２９】
図４に示す分光感度特性は、測色学的に適正に色再現を実現できる分光感度特性であり、等色関数によって表され、人間の視感度に合わせて測色学的に規定された分光感度特性に対応する。ここでは、等色関数に相当する分光感度曲線を、標準分光感度曲線としてＲｓ、Ｇｓ、Ｂｓと表す。ただし、Ｒｓ、Ｇｓ、Ｂｓは、色空間としてｓＲＧＢ色空間に基づいた分光感度曲線を示す。
【００３０】
図３に示す入力系の分光感度特性に基いて得られた４色の色信号（以下では、それぞれＢｉｎ、Ｘｉｎ、Ｚｉｎ、Ｒｉｎとする）は、図４に示したｓＲＧＢ色空間による分光感度曲線に基いた測色値（機器独立色）を得るため、以下の式に従い、マトリクス回路２５においてマトリクス演算される。マトリクス演算されると、Ｒ，Ｇ，Ｂの原色信号として３つの色信号Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔが生成される。色信号Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔは、等色関数から得られる三刺激値Ｘ，Ｙ，ＺのＸ，Ｙ，Ｚにそれぞれ対応する。ここでは、被写体の分光分布特性を考慮して３つのカラーマトリクスが用意されており、（１）、（２）、（３）式に用いられるマトリクスを、それぞれ第１のマトリクスＭ１，第２のマトリクスＭ２，第３のマトリクスＭ３とする。マトリクスの各係数は、ルータ条件をできるだけ満たすように定められている。
【００３１】
【数１】
【００３２】
【数２】
【００３３】
【数３】
【００３４】
第１のマトリクスＭ１は、分光分布特性の短波長領域においてパワーが相対的に大きい、すなわち青味がある被写体に適用されるマトリクスであり、一方、第２のマトリクスＭ２は、分光分布特性の長波長領域においてパワーが相対的に大きい、すなわち赤味のある被写体に適用されるマトリクスである。式（１）、（２）からわかるように、第１のマトリクスＭ１の第２行第１列のマトリクス係数の値は、第２のマトリクスＭ２の第２行第１列のマトリクス係数の値より小さい。第３のマトリクスＭ３は、そのどちらでもない中間的な分光分布特性をもつ被写体に適用されるマトリクスである。
【００３５】
図５には、第１のマトリクスＭ１を使用してマトリクス演算を実行した場合の分光感度曲線が表されている。図５に示すように、短波長領域（４５０〜５５０ｎｍ）においては、マトリクス演算による分光感度曲線Ｒ’ｓ、Ｇ’ｓ、Ｂ’ｓは、ｓＲＧＢ空間に従う標準的分光感度曲線Ｒｓ，Ｇｓ，Ｂｓと概して一致する。すなわち、忠実に色が再現される。一方、第２のマトリクスＭ２を使用した場合、長波長領域においてマトリクス演算による分光感度曲線が標準的分光感度曲線Ｒｓ，Ｇｓ，Ｂｓと概ね一致する（ここでは図示せず）。本実施形態では、ＣＣＤ１６から出力される色信号Ｒｉｎ、Ｂｉｎに基づいて被写体の分光分布特性が検出され、３つのマトリクスＭ１、Ｍ２、Ｍ３の中から被写体の分光分布特性に適したマトリクスが選択される。
【００３６】
図６は、カラーマトリクス選択処理の過程を示したフローチャートである。
【００３７】
ステップＳ１０１では、色信号ＢｉｎとＲｉｎとの比の値が境界値Ｔ０より大きいか否かが判断される。青色に応じた短波長領域のスペクトル成分が相対的に大きい分光分布特性をもつ被写体の場合、色信号Ｂｉｎの値が色信号Ｒｉｎの値に比べて相対的に大きくなる。ここでは、境界値Ｔ０の値は１．１に定められている。
【００３８】
ステップＳ１０１において、色信号ＢｉｎとＲｉｎとの比の値が境界値Ｔ０より大きいと判断されると、ステップＳ１０５へ進む。ステップＳ１０５では、第１のマトリクスＭ１がマトリクス回路２５において選択され、マトリクス演算が実行される。一方、色信号ＢｉｎとＲｉｎとの値が境界値Ｔ０より大きくないと判断された場合、ステップＳ１０２へ進む。
【００３９】
ステップＳ１０２では、色信号Ｂｉｎと色信号Ｒｉｎとの比の値が境界値Ｔ１より小さいか否かが判断される。赤色に応じた長波長領域のスペクトル成分が相対的に大きい分光分布特性をもつ被写体の場合、色信号Ｒの値Ｒｉｎが色信号Ｂｉｎに比べて相対的に大きい。ここでは、境界値Ｔ１は、０．５９に定められている。
【００４０】
ステップＳ１０２において、色信号Ｂｉｎと色信号Ｒｉｎとの比の値が境界値Ｔ１より小さいと判断されると、ステップＳ１０３へ進む。ステップＳ１０３では、第２のマトリクスＭ２がマトリクス回路２５において選択され、マトリクス演算が実行される。
【００４１】
一方、ステップＳ１０２において、色信号Ｂｉｎと色信号Ｒｉｎとの比の値が境界値Ｔ１より小さくないと判断された場合、ステップＳ１０４へ進む。ステップＳ１０４では、第３のマトリクスＭ３がマトリクス回路２５において選択され、マトリクス演算が実行される。なお、境界値Ｔ０、Ｔ１は、分光感度曲線Ｒｓ、Ｂｓ、マトリクス係数等に基づいて定められる。
【００４２】
このように本実施形態によれば、マトリクス選択回路２３とマトリクス回路２５が設けられ、ＣＣＤ１６から読み出された色要素Ｂ０、Ｒ０に応じた画素信号（色信号）Ｒｉｎ，Ｂｉｎとの比に基づき、被写体の分光分布特性、すなわち色合いが検出される。そして、第１〜第３のカラーマトリクスＭ１〜Ｍ３の中から検出された被写体の色合いに適したカラーマトリクスが選択され、マトリクス演算が実行される。
【００４３】
次に、図７，図８を用いて第２の実施形態について説明する。第２の実施形態では、始めに４つの色信号のうち、Ｒ，Ｇ，Ｂ原色信号のうちＲ，Ｂに応じた２つの色信号をマトリクス演算によって求め、その後、カラーマトリクスを選択してＧに応じた色信号を求める。それ以外の構成については、第１の実施形態と同じである。
【００４４】
図７は、第２の実施形態であるデジタルカメラのブロック図である。第１の実施形態のデジタルカメラと共通する構成については同一符号で表す。
【００４５】
デジタルカメラ１０’は、第１マトリクス回路２７、第２マトリクス回路２９、マトリクス選択回路３１を備える。第１マトリクス回路２７は、ＣＣＤ１６から読み出される一連の色信号Ｂｉｎ，Ｒｉｎ，Ｘｉｎ，Ｚｉｎに対し、以下に示す４×２のカラーマトリクスを用いてマトリクス変換を実行し、Ｒ，Ｇ，Ｂ原色信号のＲ，Ｂ色信号となる色信号Ｒｏｕｔ，Ｂｏｕｔを出力し、マトリクス選択回路３１へ送る。
【００４６】
【数４】
【００４７】
マトリクス選択回路３１では、入力された色信号Ｂｏｕｔ，Ｒｏｕｔに基づき、被写体の分光分布特性が検出され、第２マトリクス回路２９へ制御信号を出力する。第２マトリクス回路２９では、ＣＣＤ１６から読み出される色信号Ｂｉｎ，Ｒｉｎ，Ｘｉｎ，Ｚｉｎに対し、被写体の分光分布特性に適したカラーマトリクスを用いて４×１のマトリクス変換が実行される。マトリクス変換処理により、Ｒ，Ｇ，Ｂ原色信号のＧ信号となる色信号Ｇｏｕｔが生成される。
【００４８】
図８は、第２の実施形態におけるカラーマトリクス選択処理の過程を示したフローチャートである。
【００４９】
ステップＳ２０１では、色信号ＢｏｕｔとＲｏｕｔとの比の値が境界値Ｓ０より大きいか否かが判断される。青色に応じた短波長領域のスペクトル成分が相対的に大きい分光分布特性をもつ被写体の場合、色信号Ｂｏｕｔの値が色信号Ｒｏｕｔの値に比べて相対的に大きくなる。
【００５０】
ステップＳ２０１において、色信号ＢｉｎとＲｉｎとの比の値が境界値Ｓ０より大きいと判断されると、ステップＳ２０５へ進む。ステップＳ２０５では、以下に示す第１のマトリクスＫ１が第２マトリクス回路２９において選択され、マトリクス演算が実行される。一方、色信号ＢｉｎとＲｉｎとの比の値が境界値Ｓ０より大きくないと判断された場合、ステップＳ２０２へ進む。
【００５１】
【数５】
【００５２】
ステップＳ２０２では、色信号Ｂｏｕｔと色信号Ｒｏｕｔとの比の値が境界値Ｓ１より小さいか否かが判断される。赤色に応じた長波長領域のスペクトル成分が相対的に大きい分光分布特性をもつ被写体の場合、色信号Ｒの値Ｒｏｕｔが色信号Ｂの値Ｂｏｕｔに比べて相対的に大きい。
【００５３】
ステップＳ２０２において、色信号Ｂｏｕｔと色信号Ｒｏｕｔとの比の値が境界値Ｓ１より小さいと判断されると、ステップＳ２０３へ進む。ステップＳ２０３では、以下に示す第２のマトリクスＫ２が第２マトリクス回路２９において選択され、マトリクス演算が実行される。
【００５４】
【数６】
【００５５】
一方、ステップＳ２０２において、色信号Ｂｏｕｔと色信号Ｒｏｕｔとの比の値が境界値Ｓ１より小さくないと判断された場合、ステップＳ２０４へ進む。ステップＳ２０４では、以下に示す第３のマトリクスＫ３が第２マトリクス回路２９において選択され、マトリクス演算が実行される。なお、境界値Ｓ０、Ｓ１は、分光感度曲線Ｒｓ，Ｂｓ、マトリクス係数等に基づいて定められる。
【００５６】
【数７】
【００５７】
なお、ソフトウェアの制御によって色変換処理を実行してもよい。また、カメラ以外の撮影機能を備えた携帯電話、電子機器などに適用してもよい。
【図面の簡単な説明】
【００５８】
【図１】デジタルカメラのブロック図である。
【図２】色フィルタの一部を示した図である。
【図３】デジタルカメラにおける入力系の分光感度特性を示した図である。
【図４】撮像系に関する理想的な入力系の分光感度特性を示した図である。
【図５】所定のカラーマトリクスを用いたマトリクス演算により得られる色信号の分光感度特性を示した図である。
【図６】カラーマトリクス選択処理の過程を示したフローチャートである。
【図７】第２の実施形態であるデジタルカメラのブロック図である。
【図８】第２の実施形態におけるカラーマトリクス選択処理の過程を示したフローチャートである。
【符号の説明】
【００５９】
１０、１０’ デジタルカメラ
１４ カラーフィルタ
１６ ＣＣＤ（撮像素子）
２３ マトリクス選択回路
２５ マトリクス回路
２７ 第１マトリクス回路
２９ 第２マトリクス回路
３１ マトリクス選択回路
【特許請求の範囲】
【請求項１】
撮像素子と、
それぞれ異なった分光透過特性を有する少なくとも４種類の色要素を有し、前記撮像素子の受光面と向かい合うように配置されるカラーフィルタと、
前記撮像素子から前記少なくとも４種類の色要素に応じた一連の色信号を読み出す信号読み出し手段と、
前記一連の色信号に含まれる被写体の分光分布特性を検出し、それぞれ分光分布特性の異なる被写体に応じて用意される複数のカラーマトリクスの中から検出された分光分布特性に応じたカラーマトリクスを選択するマトリクス選択手段と、
前記一連の色信号から、選択されたカラーマトリクスによるマトリクス演算によってＲ，Ｇ，Ｂ原色信号を生成する信号処理手段と
を備えたことを特徴とする撮像装置。
【請求項２】
前記マトリクス選択手段が、前記一連の色信号の中で、色空間に基づいた標準的分光感度分布曲線のうち所定の分光感度曲線に応じた色信号から被写体の分光分布特性を検出し、前記一連の色信号全体をマトリクス変換する複数のカラーマトリクスから１つのカラーマトリクスを選択することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記信号処理手段が、前記一連の色信号を、前記Ｒ，Ｇ，Ｂ原色信号の中で所定の色信号を生成するあらかじめ定められたカラーマトリクスによってマトリクス演算し、
前記マトリクス選択手段が、生成された所定の色信号に基づいて被写体の分光分布特性を検出し、前記一連の色信号から前記Ｒ，Ｇ，Ｂ原色信号のうち残りの色信号を生成する複数のカラーマトリクスから、１つのカラーマトリクスを選択することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記少なくとも４種類の色要素に応じた分光透過特性が、可視光の波長領域において略等間隔でピーク値をもつスペクトル分布となるように定められていることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記カラーフィルタが、４種類の色要素から成ることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記カラーフィルタが、前記Ｒ，Ｇ，Ｂ原色信号のうちいずれか２つに応じた分光透過特性を有する２種類の検出用色要素と、残りの１つに相関する少なくとも２種類の色要素とから成り、
前記マトリクス選択手段が、前記一連の色信号の中で前記２種類の検出用色要素に基づいた色信号から被写体の分光分布特性を検出することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記カラーフィルタが、前記Ｒ，Ｇ，Ｂ原色信号のうちＲ，Ｂに応じた分光透過特性を有する２種類の検出用色要素と、Ｇに相関する２種類の色要素とから成り、
前記マトリクス選択手段が、前記一連の色信号の中で前記検出用色要素に応じた色信号から被写体の分光分布特性を検出することを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記カラーフィルタが、前記Ｒ，Ｇ，Ｂ原色信号のうちＲ，Ｂに応じた分光透過特性を有する２種類の色要素と、Ｇに相関する２種類の色要素とから成り、
前記信号処理手段が、前記一連の色信号から前記Ｒ，Ｇ，Ｂ原色信号のＲ，Ｂ色信号を生成し、
前記マトリクス選択手段が、前記Ｒ，Ｂ色信号から被写体の分光分布特性を検出し、前記一連の色信号から前記Ｒ，Ｇ，Ｂ原色信号のＧ信号を生成する複数のカラーマトリクスから１つのカラーマトリクスを選択することを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記複数のカラーマトリクスが、青色光を含む短波長領域において相対的にパワーが大きい分光透過特性をもつ被写体に応じた青色系カラーマトリクスと、赤色光を含む長波長領域において相対的にパワーが大きい分光透過特性をもつ被写体に応じた赤色系カラーマトリクスを含むことを特徴とする請求項１に記載の撮像装置。
【請求項１０】
それぞれ異なった分光透過特性を有する少なくとも４種類の色要素を有するカラーフィルタが設けられた撮像素子から読み出される前記少なくとも４種類の色要素に応じた一連の色信号に含まれた被写体の分光分布特性を検出し、それぞれ分光分布特性の異なる被写体に応じて用意される複数のカラーマトリクスの中から検出された分光分布特性に応じたカラーマトリクスを選択するマトリクス選択手段と、
前記一連の色信号から、選択されたカラーマトリクスによるマトリクス演算によってＲ，Ｇ，Ｂ原色信号を生成する信号処理手段と
を備えたことを特徴とする色変換処理装置。
【請求項１１】
それぞれ異なった分光透過特性を有する少なくとも４種類の色要素を有するカラーフィルタが設けられた撮像素子から前記少なくとも４種類の色要素に応じた一連の色信号を読み出し、
前記一連の色信号に含まれる被写体の分光分布特性を検出し、
それぞれ分光分布特性の異なる被写体に応じて用意される複数のカラーマトリクスの中から検出された分光分布特性に応じたカラーマトリクスを選択し、
前記一連の色信号から、選択されたカラーマトリクスによるマトリクス演算によってＲ，Ｇ，Ｂ原色信号を生成する
ことを特徴とする色変換処理方法。
【請求項１】
撮像素子と、
それぞれ異なった分光透過特性を有する少なくとも４種類の色要素を有し、前記撮像素子の受光面と向かい合うように配置されるカラーフィルタと、
前記撮像素子から前記少なくとも４種類の色要素に応じた一連の色信号を読み出す信号読み出し手段と、
前記一連の色信号に含まれる被写体の分光分布特性を検出し、それぞれ分光分布特性の異なる被写体に応じて用意される複数のカラーマトリクスの中から検出された分光分布特性に応じたカラーマトリクスを選択するマトリクス選択手段と、
前記一連の色信号から、選択されたカラーマトリクスによるマトリクス演算によってＲ，Ｇ，Ｂ原色信号を生成する信号処理手段と
を備えたことを特徴とする撮像装置。
【請求項２】
前記マトリクス選択手段が、前記一連の色信号の中で、色空間に基づいた標準的分光感度分布曲線のうち所定の分光感度曲線に応じた色信号から被写体の分光分布特性を検出し、前記一連の色信号全体をマトリクス変換する複数のカラーマトリクスから１つのカラーマトリクスを選択することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記信号処理手段が、前記一連の色信号を、前記Ｒ，Ｇ，Ｂ原色信号の中で所定の色信号を生成するあらかじめ定められたカラーマトリクスによってマトリクス演算し、
前記マトリクス選択手段が、生成された所定の色信号に基づいて被写体の分光分布特性を検出し、前記一連の色信号から前記Ｒ，Ｇ，Ｂ原色信号のうち残りの色信号を生成する複数のカラーマトリクスから、１つのカラーマトリクスを選択することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記少なくとも４種類の色要素に応じた分光透過特性が、可視光の波長領域において略等間隔でピーク値をもつスペクトル分布となるように定められていることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記カラーフィルタが、４種類の色要素から成ることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記カラーフィルタが、前記Ｒ，Ｇ，Ｂ原色信号のうちいずれか２つに応じた分光透過特性を有する２種類の検出用色要素と、残りの１つに相関する少なくとも２種類の色要素とから成り、
前記マトリクス選択手段が、前記一連の色信号の中で前記２種類の検出用色要素に基づいた色信号から被写体の分光分布特性を検出することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記カラーフィルタが、前記Ｒ，Ｇ，Ｂ原色信号のうちＲ，Ｂに応じた分光透過特性を有する２種類の検出用色要素と、Ｇに相関する２種類の色要素とから成り、
前記マトリクス選択手段が、前記一連の色信号の中で前記検出用色要素に応じた色信号から被写体の分光分布特性を検出することを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記カラーフィルタが、前記Ｒ，Ｇ，Ｂ原色信号のうちＲ，Ｂに応じた分光透過特性を有する２種類の色要素と、Ｇに相関する２種類の色要素とから成り、
前記信号処理手段が、前記一連の色信号から前記Ｒ，Ｇ，Ｂ原色信号のＲ，Ｂ色信号を生成し、
前記マトリクス選択手段が、前記Ｒ，Ｂ色信号から被写体の分光分布特性を検出し、前記一連の色信号から前記Ｒ，Ｇ，Ｂ原色信号のＧ信号を生成する複数のカラーマトリクスから１つのカラーマトリクスを選択することを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記複数のカラーマトリクスが、青色光を含む短波長領域において相対的にパワーが大きい分光透過特性をもつ被写体に応じた青色系カラーマトリクスと、赤色光を含む長波長領域において相対的にパワーが大きい分光透過特性をもつ被写体に応じた赤色系カラーマトリクスを含むことを特徴とする請求項１に記載の撮像装置。
【請求項１０】
それぞれ異なった分光透過特性を有する少なくとも４種類の色要素を有するカラーフィルタが設けられた撮像素子から読み出される前記少なくとも４種類の色要素に応じた一連の色信号に含まれた被写体の分光分布特性を検出し、それぞれ分光分布特性の異なる被写体に応じて用意される複数のカラーマトリクスの中から検出された分光分布特性に応じたカラーマトリクスを選択するマトリクス選択手段と、
前記一連の色信号から、選択されたカラーマトリクスによるマトリクス演算によってＲ，Ｇ，Ｂ原色信号を生成する信号処理手段と
を備えたことを特徴とする色変換処理装置。
【請求項１１】
それぞれ異なった分光透過特性を有する少なくとも４種類の色要素を有するカラーフィルタが設けられた撮像素子から前記少なくとも４種類の色要素に応じた一連の色信号を読み出し、
前記一連の色信号に含まれる被写体の分光分布特性を検出し、
それぞれ分光分布特性の異なる被写体に応じて用意される複数のカラーマトリクスの中から検出された分光分布特性に応じたカラーマトリクスを選択し、
前記一連の色信号から、選択されたカラーマトリクスによるマトリクス演算によってＲ，Ｇ，Ｂ原色信号を生成する
ことを特徴とする色変換処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００８−８５６５９（Ｐ２００８−８５６５９Ａ）
【公開日】平成２０年４月１０日（２００８．４．１０）
【国際特許分類】
【出願番号】特願２００６−２６３２９１（Ｐ２００６−２６３２９１）
【出願日】平成１８年９月２７日（２００６．９．２７）
【出願人】（００００００５２７）ペンタックス株式会社 (1,878)
【Ｆターム（参考）】
【公開日】平成２０年４月１０日（２００８．４．１０）
【国際特許分類】
【出願日】平成１８年９月２７日（２００６．９．２７）
【出願人】（００００００５２７）ペンタックス株式会社 (1,878)
【Ｆターム（参考）】
[ Back to top ]