撮像装置の信号処理方法及び撮像装置
【課題】CCD撮像素子の転送効率に応じた信号処理を行うことができ、所望の画質の画像を得ることができるようにする。
【解決手段】被写体を撮影することによりCCD撮像素子からCCDRAWデータを取得する(ステップS20、S22)。デジタル信号処理部では、前記CCDRAWデータに対して色補正、ホワイトバランス調整、ガンマ補正、同時化処理等の各種の信号処理を施すが、事前に算出したCCD撮像素子の転送効率を取り込み、この転送効率に応じた信号処理をデジタル信号処理部のリニアマトリクス回路で行い、所望の画質(色再現性、解像度)の画像を得るようにしている(ステップS24)。
【解決手段】被写体を撮影することによりCCD撮像素子からCCDRAWデータを取得する(ステップS20、S22)。デジタル信号処理部では、前記CCDRAWデータに対して色補正、ホワイトバランス調整、ガンマ補正、同時化処理等の各種の信号処理を施すが、事前に算出したCCD撮像素子の転送効率を取り込み、この転送効率に応じた信号処理をデジタル信号処理部のリニアマトリクス回路で行い、所望の画質(色再現性、解像度)の画像を得るようにしている(ステップS24)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は撮像装置の信号処理方法及び撮像装置に係り、特にCCD(Charge Coupled Devices)撮像素子の転送効率不良による問題を改善する技術に関する。
【背景技術】
【0002】
従来、CCD撮像素子を用いた電子カメラ、デジタルカメラ、カメラ付き携帯電話等の撮像装置が開発されている。このような撮像装置を用いて撮像を行った場合、CCD撮像素子の各画素には露出時間に応じて信号電荷が蓄積される。各画素に蓄積された信号電荷は、垂直転送路から水平転送路に転送されて画像処理回路に出力される。
【0003】
各画素に蓄積された信号電荷は、各転送路の転送素子のそれぞれに形成されたポテンシャル井戸を介して順次転送される。このとき、信号電荷が次の転送素子に完全に転送されずに、わずかに残る。元の井戸にあった電荷に対して次の井戸に転送された電荷の割合を転送効率といい、この転送効率が低下すると、隣接する画素間のクロストークが増加し、画像の劣化(色再現性や解像度の劣化)等の様々な問題が生じる。
【0004】
これに対して、例えば、特許文献1には、転送エラーによる像信号の歪を補正し、測距不良を無くすようにした測距用CCDの信号補正装置について開示されている。また、特許文献2には、TDI(Time Delay Integration)イメージセンサの垂直転送効率からTDI段方向に並ぶ各イメージセンサの垂直転送残り量の総和を予め求め、TDIイメージセンサで試料を撮像したときのTDIイメージセンサの出力から前記予め求めた垂直転送残り量の総和を減算し、該減算した出力を用いて画像処理する画像処理方法について開示されている。
【特許文献1】特開平7−146139号公報
【特許文献2】特開2004−295709号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載の発明は、測距用CCDを用いたものであり、この測距用CCDでの転送効率劣化が測離に影響を及ぼすため、転送効率に基づいて測距結果を補正するものであり、画像の劣化を改善するものではない。
【0006】
また、特許文献1に記載の発明は、TDIイメージセンサに限定されたもので、特に垂直転送路での転送効率劣化の問題を解決するものであり、それを解決するために垂直転送残り量を算出してセンサ出力から減算している。即ち、特許文献1に記載の発明は、垂直転送残り分がないコントラストの高い画像を得るものであり、転送効率の変動に影響されない色再現性の高い画像を得るものではなく、また、垂直転送残り量等を算出するために膨大な演算が必要になる。
【0007】
本発明はこのような事情に鑑みてなされたもので、撮像素子の転送効率に応じた信号処理を行うことができ、所望の画質の画像を得ることができる撮像装置の信号処理方法及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
前記目的を達成するために請求項1に係る撮像装置の信号処理方法は、撮像素子から画像信号を取得するステップと、前記撮像素子の転送効率を算出する転送効率算出ステップと、前記算出された転送効率に基づいて前記取得した画像信号を処理するステップと、を含むことを特徴としている。
【0009】
即ち、撮像素子の転送効率が悪い場合は、転送効率が良い場合に比べて色再現性や解像度が劣化するなどの問題があるが、請求項1に係る発明は、撮像素子の転送効率を算出し、その算出した転送効率に基づいて画像信号を処理することで、所望の画質の画像を得るようにしている。
【0010】
請求項2に示すように請求項1に記載の撮像装置の信号処理方法において、予め算出された転送効率を記憶保持するステップを含み、前記記憶保持された転送効率は、前記取得した画像信号の処理時に読み出されて利用されることを特徴としている。
【0011】
請求項3に示すように請求項1に記載の撮像装置の信号処理方法において、前記転送効率算出ステップは、前記撮像素子の有効画素領域の画素の信号とオプティカルブラック領域の画素の信号とに基づいて算出することを特徴としている。
【0012】
請求項4に示すように請求項1に記載の撮像装置の信号処理方法において、前記転送効率算出ステップは、前記撮像素子の有効画素領域とオプティカルブラック領域との垂直方向の境目を挟んだ前後(水平方向)の各1画素の信号、又は前後の各1画素の垂直方向の複数の画素の信号に基づいて算出することを特徴としている。尚、有効画素領域側の複数の画素の信号と、オプティカルブラック領域側の複数の画素の信号とを用いる場合には、各画素の信号が平均化され、精度の高い転送効率を算出することができる。
【0013】
請求項5に示すように請求項1乃至4のいずれかに記載の撮像装置の信号処理方法において、転送効率算出モードを選択するステップを含み、前記転送効率算出ステップは、前記転送効率算出モードが選択された撮影時に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴としている。これにより、転送効率を算出するための撮影と、通常の撮影とが区別されるとともに、任意の時期に転送効率を算出することができる。転送効率を算出するための撮影時には、単色チャートを所定の撮影条件で撮影することが好ましい。
【0014】
請求項6に示すように請求項1乃至4のいずれかに記載の撮像装置の信号処理方法において、転送効率に関連する撮影設定条件の変更を検出するステップを含み、前記転送効率算出ステップは、前記撮影設定条件の変更が検出されると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴としている。即ち、カメラ感度、CCD駆動周波数、撮像素子の温度等の様々な条件によって転送効率は変化するが、その条件の変化が検出されると、新たに転送効率を算出するようにしている。
【0015】
請求項7に示すように請求項1乃至4のいずれかに記載の撮像装置の信号処理方法において、時間経過を測定するステップを含み、前記転送効率算出ステップは、前記測定した時間経過が所定の閾値以上になると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴としている。即ち、上記のように様々な条件によって転送効率は変化し、特に撮像素子の温度は時間経過とともに上昇するため、時間経過が所定の閾値以上になると、新たに転送効率を算出するようにしている。
【0016】
請求項8に示すように請求項1乃至4のいずれかに記載の撮像装置の信号処理方法において、本撮影前に前記撮像素子からの画像信号に基づいて自動焦点調節を行うステップを含み、前記転送効率算出ステップは、前記自動焦点調節時の焦点調節完了前に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴としている。これにより、本撮影ごとにその撮影に適した転送効率を算出することができる。尚、自動焦点調節時の焦点調節完了前に取得した画像信号(焦点の合っていない画像信号)を使用することで、転送効率の算出に使用する所定領域の画像信号の均一化を図ることができる。
【0017】
請求項9に係る撮像装置は、撮影光学系と、前記撮影光学系によって被写体像が結像される撮像素子と、前記撮像素子から画像信号を取得する画像取得手段と、前記撮像素子の転送効率を取得する転送効率取得手段と、前記転送効率取得手段が取得した転送効率に基づいて前記取得した画像信号を処理する信号処理手段と、を備えたことを特徴としている。
【0018】
請求項10に示すように請求項9に記載の撮像装置において、予め算出された転送効率を記憶保持する記憶手段を更に備え、前記転送効率取得手段は、前記記憶手段から転送効率を読み出すことを特徴としている。
【0019】
請求項11に示すように請求項9又は10に記載の撮像装置において、前記撮像素子の転送効率を算出する転送効率算出手段を更に備え、前記転送効率取得手段は、前記転送効率算出手段から転送効率を取得することを特徴としている。
【0020】
請求項12に示すように請求項11に記載の撮像装置において、前記転送効率算出手段は、前記撮像素子の有効画素領域の画素の信号とオプティカルブラック領域の画素の信号とに基づいて算出することを特徴としている。
【0021】
請求項13に示すように請求項11に記載の撮像装置において、前記転送効率算出手段は、前記撮像素子の有効画素領域とオプティカルブラック領域との垂直方向の境目を挟んだ前後(水平方向)の各1画素の信号、又は前後の各1画素の垂直方向の複数の画素の信号に基づいて測定することを特徴としている。
【0022】
請求項14に示すように請求項11乃至13のいずれかに記載の撮像装置において、転送効率算出モードを選択するモード選択手段を更に備え、前記転送効率算出手段は、前記モード選択手段によって選択された転送効率算出モードでの撮影時に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴としている。
【0023】
請求項15に示すように請求項11乃至13のいずれかに記載の撮像装置において、転送効率に関連する撮影設定条件の変更を検出する検出手段を更に備え、前記転送効率算出手段は、前記検出手段によって撮影設定条件の変更が検出されると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴としている。
【0024】
請求項16に示すように請求項11乃至13のいずれかに記載の撮像装置において、時間経過を測定する手段を更に備え、前記転送効率算出手段は、前記測定した時間経過が所定の閾値以上になると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴としている。
【0025】
請求項17に示すように請求項11乃至13のいずれかに記載の撮像装置において、本撮影前に前記撮像素子からの画像信号に基づいて自動焦点調節を行う自動焦点調節手段を更に備え、前記転送効率算出手段は、前記自動焦点調節時の焦点調節完了前に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴としている。
【0026】
請求項18に示すように請求項9乃至17のいずれかに記載の撮像装置において、前記信号処理手段は、色補正を行うマトリクス回路を含み、前記転送効率取得手段が取得した転送効率に基づいて前記マトリクス回路のマトリクス係数を制御することを特徴としている。
【0027】
請求項19に示すように請求項18記載の撮像装置において、前記マトリクス回路は、リニアマトリクス回路及び色差マトリクス回路の少なくとも一方であることを特徴としている。
【発明の効果】
【0028】
本発明によれば、撮像素子の転送効率を算出し、その転送効率に応じた信号処理を撮像素子から取得した画像信号に対して施すことができる。これにより、転送効率にかかわらず、所望の画質の画像を得ることが可能になる。
【発明を実施するための最良の形態】
【0029】
以下、添付図面に従って本発明に係る撮像装置の信号処理方法及び撮像装置の好ましい実施の形態について説明する。
【0030】
尚、以下の説明では、撮像装置(デジタルカメラ)を例にとって説明するが、本発明は撮像装置を備えた携帯電話や携帯情報端末(PDA)、PCカメラ等にも適用することができる。
【0031】
[第1の実施の形態]
図1は本発明に係る撮像装置の第1の実施の形態を示すブロック図である。
【0032】
図1に示す撮像装置1―1(以下の説明では、カメラ1―1と記載する)は、静止画や動画の記録及び再生機能を備えたデジタルカメラであり、カメラ全体の動作は中央処理装置(CPU)10によって統括制御される。CPU10は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出(AE)演算、自動焦点調節(AF)演算、ホワイトバランス(WB)調整演算等、各種演算を実施する演算手段として機能する。
【0033】
CPU10には、バス12及びメモリ・インターフェース14を介してRAM(Random Access Memory)16及びROM(Read Only Memory)18が接続されている。RAM16は、プログラムの展開領域及びCPU10の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。ROM18には、CPU10が実行するプログラム及び制御に必要な各種データや、カメラ動作に関する各種定数/情報等が格納されている。
【0034】
撮像部20には、撮影レンズ及び絞り等を含む光学ユニット22や、CCD撮像素子24(以下、単に「CCD」という)等が含まれている。光学ユニット22は、CPU10からのAF指令やAE指令によりモータ駆動部32を介してフォーカスレンズや絞り等が駆動される。
【0035】
CCD24は、図2に示すように多数の受光素子(フォトダイオード)24Aが水平方向(行方向)及び垂直方向(列方向)に一定の配列周期で配置されたCCD型2次元撮像デバイス(イメージセンサ)である。図示した構成はハニカム配列と呼ばれる画素配列であり、受光素子24Aの幾何学的な形状の中心点を行方向及び列方向に1つ置きに画素ピッチの半分(1/2ピッチ)ずらして配列させたものとなっている。
【0036】
各受光素子24Aは、八角形の受光面を有し、各受光素子24Aに対応してRGBの原色カラーフィルタが配置されている。図2のように、水平方向についてRBRB…の行の次段にGGGG…の行が配置され、その次段にBRBR…の行、という具合に配列される。列方向についてみれば、RBRB…の列と、GGGG…の列と、BRBR…の列とが循環式に繰り返される配列パターンとなっている。
【0037】
各受光素子24Aの右側(又は左側)には垂直転送路(VCCD)24Vが形成されている。垂直転送路24Vは、受光素子24Aの各列に近接して受光素子24Aを避けながらジグザグ状に蛇行して垂直方向に伸びている。図示されていないが、垂直転送路24V上には4相駆動(φ1,φ2,φ3,φ4)に必要な転送電極が配置される。転送電極は、受光素子16Aの各行に近接して受光素子24Aの開口を避けながら蛇行して図2の水平方向に伸びるように設けられている。
【0038】
各受光素子24Aで光電変換により生成された信号電荷は、当該受光素子24Aの右側(又は左側)に隣接した垂直転送路16Vに読み出され、転送パルスに従って図2の下方(V方向)に転送される。
【0039】
図2において垂直転送路24Vの下端(垂直転送路24Vの最下流側)には、垂直転送路24Vから移された信号電荷を水平方向に転送する水平転送路(HCCD)24Hが設けられている。
【0040】
水平転送路24Hは、2相又は4相駆動の転送CCDで構成されており、水平転送路24Hの最終段(図2上で最左段)は出力部25に接続されている。出力部25は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子25Aに出力する。こうして、各受光素子24Aで生成された信号が、点順次の信号列として出力される。尚、出力端子25Aから出力される信号はRGBGRGBG…という信号列となる。
【0041】
図1に戻って、CCD24は、各受光素子の電荷蓄積時間(シャッタースピード)を制御する電子シャッター機能を有している。CPU10は、タイミング・ジェネレータ34を介してCCD24での電荷蓄積時間を制御する。
【0042】
このCCD24から順次読み出されたCCD信号は、アナログ信号処理部26に加えられる。アナログ信号処理部26は、CDS回路やアナログアンプ等を有し、CDS回路は入力するCCD信号を相関二重サンプリング処理し、アナログアンプは、CPU10から加えられる撮影感度設定用ゲインによってCDS回路から出力されるCCD信号を増幅する。
【0043】
アナログ信号処理部26にてアナログ処理されたCCD信号は、A/D変換器28に加えられ、ここで画素ごとにデジタルのカラー画像データ(点順次のR,G,B信号)に変換される。
【0044】
R,G,B信号は、デジタル信号処理部30を介してRAM16に一時的に記憶される。このR,G,B信号は、デジタル信号処理部30に入力され、ここで所要の信号処理が行われる。尚、デジタル信号処理部30での画像処理の詳細については、後述する。
【0045】
カメラ1―1の操作部36には、シャッターボタン、撮影モードと再生モードを切り替えるモード切替レバー、撮影モード(オート撮影モード、マニュアル撮影モード、連写モード等)を選択するためのモードダイヤル、表示部(LCD)40にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択するためのマルチファンクションの十字キー、選択項目の確定や処理の実行を指令するOKボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは1つ前の操作状態に戻らせる指令を入力するBACKボタンなどが含まれる。操作部36からの出力信号は、バス32を介してCPU10に入力され、CPU10は操作部36からの入力信号に基づいて撮影や再生等の適宜の処理を実施させる。
【0046】
カメラ1−1には、被写体にフラッシュ光を照射するためのフラッシュ装置42が含まれ、フラッシュ装置42は、CPU10からの発光指令によって充電部4から電源の供給を受けてフラッシュ光を照射する。
【0047】
デジタル信号処理部30で処理された画像データ(輝度信号Y,色差信号Cr,Cb)は、圧縮伸張処理回路46に与えられ、ここで、所定の圧縮フォーマット(例えば、JPEG方式) に従って圧縮される。圧縮された画像データは、外部メモリ・インターフェース48を介してメモリカード50に記録される。
【0048】
また、LCD40には、LCDインターフェース38を介して加えられる画像信号により撮像準備中に映像(スルームービー画)が表示され、また、再生モード時にメモリカード50に記録された画像が表示される。
【0049】
図3は図1に示したデジタル信号処理部30の詳細な回路構成を示すブロック図である。
【0050】
前述したようにRAM16に一時記憶されたR,G,B信号は、デジタル信号処理部30のオフセット処理回路30AにR,G,Bの点順次で加えられる。R,G,B信号は、オフセット処理回路30Aにおいてオフセット処理が行われる。オフセット処理回路30Aから出力されたR,G,B信号(CCDRAWデータ)は、リニアマトリクス回路30Bに出力され、ここでCCD24の分光特性を補正する色調補正処理、及び本発明に係る色補正処理が行われる。
【0051】
即ち、リニアマトリクス回路30Bは、入力するR,G,B信号と、3行×3列の色補正マトリクス係数(A11,A12, …,A33)とからマトリクス演算を行って、色補正されたR,G,B信号を算出する。
【0052】
尚、マトリクス演算に使用される3行×3列の色補正マトリクス係数(A11,A12, …,A33)の詳細については後述する。
【0053】
リニアマトリクス回路30Bから出力されたR,G,B信号は、ホワイトバランス(WB)調整回路30Cに出力される。WB調整回路30Cは、R,G,B信号ごとにそれぞれホワイトバランス調整用のWBゲインをかけることによりホワイトバランス調整を行う。WB調整回路30Cから出力されたR,G,B信号は、ガンマ補正回路30Dに出力され、ここで中間調等の階調補正を行うガンマ補正が行われる。ガンマ補正されたR,G,B信号は、同時化処理回路30Eに出力される。
【0054】
同時化処理回路30Eは、単板のCCD24のCCDカラーフィルタ配列に伴うR,G,B信号の空間的なズレを補間してR,G,B信号を同時式に変換する処理を行い、同時化したR,G,B信号をRGB/YC変換回路30Fに出力する。
【0055】
RGB/YC変換回路30Fは、R,G,B信号を輝度信号Y,色差信号Cr,Cbに変換し、輝度信号Yを輪郭補正回路30Gに出力し、色差信号Cr,Cbを色差マトリクス回路30Hに出力する。輪郭補正回路30Gは、輝度信号Yの輪郭部(輝度変化の大きい部分)を強調する処理を行う。
【0056】
色差マトリクス回路30Hは、2行×2列の色補正マトリクス係数と入力する色差信号Cr,Cbとのマトリクス演算を行い、良好な色再現性を実現させるための色補正を行う。
【0057】
このようにして輪郭補正された輝度信号Y、及び色差マトリクス変換された色差信号Cr,Cbは、一旦RAM16に保存された後、圧縮伸張処理回路46に与えられ、ここで、JPEG方式に従って圧縮される。圧縮された画像データは、外部メモリ・インターフェース48を介してメモリカード50に記録される。
【0058】
次に、CCD24の水平転送路24Hの転送効率について説明する。
【0059】
CCD24の垂直転送路24Vから水平転送路24Hに送出されたCCD24の各ラインの信号電荷は、水平転送路24Hに形成されたポテンシャル井戸を介して順次水平方向に転送される。このとき、信号電荷が次の転送素子に完全に転送されずに、わずかに残る。元の井戸にあった電荷に対して次の井戸に転送された電荷の割合を転送効率という。また、転送効率は、元の井戸にあった電荷量(信号量)によって変わる。
【0060】
図4は信号量に対する転送残量の一例を示す転送効率特性を示すグラフである。図4において、元の井戸にあった信号量をS0、この信号量S0の転送後に残った転送残量をf(S0)とすると、転送効率は、次式で表すことができる。
【0061】
[数1]
転送効率=(1―f(S0)/S0)×100(%)
図4のグラフからも明らかなように、転送効率は、信号量S0が小さい場合に低下する。また、転送効率は、CCD駆動周波数が高いとき、CCD温度が低いときに低下する。
【0062】
転送効率は、CCDごとに固体差があるため、例えば、出荷前に適宜測定され、あるいはカメラ1−1の転送効率算出機能によって測定されてROM18又は図示しないフラッシュROM等に記憶される。
【0063】
図1に戻って、CCD転送効率検出部52は、ROM18からCCD24の転送効率を読み出す。
【0064】
デジタル信号処理部30は、CCD転送効率検出部52から取得した転送効率に基づいて信号処理を行う。尚、この信号処理としては、例えば、標準の転送効率(転送効率が良い場合)よりも転送効率が低下した場合に生じる画質劣化を抑制するように信号処理を行う。
【0065】
即ち、CCD24の水平転送路24Hでは、GRGBGRGB…と信号電荷を転送するため、転送効率が低下すると、GとR,GとBとの間の混色が大きくなり、色再現性や解像度が劣化する。
【0066】
この実施の形態では、デジタル信号処理部30のリニアマトリクス回路30B(図3)で使用される3行×3列の色補正マトリクス係数を変更することにより、画質劣化を抑制するようにしている。
【0067】
例えば、図5(A)に示すように転送効率が良い場合には、色補正マトリクス係数(A11,A12, …,A33)を使用し、転送効率が悪い場合には、色補正マトリクス係数(B11,B12, …,B33)を使用する。
【0068】
また、色補正マトリクス係数(A11,A12, …,A33)に対する補正量をa、cとし、転送効率をx(%)として、次式により補正量a、cを求める。
【0069】
[数2]
a=αx+β
c=γx+λ
但し、α、β、γ、λ:係数(実験的に算出してもよい)
そして、図5(B)に示すように補正量a,cによって補正した色補正マトリクス係数(変更後)を使用する。
【0070】
尚、補正量a,cを求める式は、一次式としているが、多項式でも指数対数近似式でもよい。
【0071】
図6は上記信号処理に転送効率を使用するために記憶保持しておく基本的な処理フローを示している。
【0072】
同図に示すように、CCD24からR,G,BのCCDRAWデータを入力する(ステップS10)。この入力したCCDRAWデータに基づいて転送効率を算出し(ステップS12)、前記算出した転送効率をROM18又は図示しないフラッシュROM等のメモリに書き込む(ステップS14)。
【0073】
図7は撮影画像に対して転送効率に応じた信号処理を施す処理フローを示す図である。
【0074】
同図に示すように、一般シーンの被写体を撮影し(ステップS20)、CCD24からR,G,BのCCDRAWデータを取得する(ステップS22)。
【0075】
デジタル信号処理部30は、図3で説明したように各種の信号処理を実施するが、前記メモリに記憶されている転送効率を読み出し、その転送効率に応じた信号処理を行う(ステップS24)。即ち、デジタル信号処理部30のリニアマトリクス回路30Bでは、図5に示したように転送効率に応じて色補正マトリクス係数を変更し、その変更した色補正マトリクス係数を使用した信号処理を実施する。
【0076】
これにより、転送効率が低下しても色再現性や解像度等の画質劣化が抑制された処理画像を出力することができる(ステップS26)。
【0077】
尚、この実施の形態では、転送効率に応じてリニアマトリクス回路30Bの色補正マトリクス係数を変更するようにしているが、これに限らず、色差マトリクス回路30Hの22行×2列の色補正マトリクス係数を変更してもよく、又は両マトリクス回路の色補正マトリクス係数を変更するようにしてもよい。
【0078】
[第2の実施の形態]
図8は本発明に係る撮像装置の第2の実施の形態を示すブロック図である。尚、図1に示した撮像装置の第1の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0079】
図8に示す第2の実施の形態のカメラ1−2は、第1の実施の形態のカメラ1−1と比較して、カメラ内にCCD転送効率算出部54及び転送効率算出モードを選択するためのモード選択手段(図示せず)を更に備えている点で相違する。
【0080】
尚、撮影モードを選択するためのモードダイヤルが、転送効率算出モードを選択する手段として機能しても良いし、メニュー画面上で転送効率算出モードを選択できるようにしてもよい。
【0081】
モード選択手段によって転送効率算出モードが選択されると、カメラ1−2は、転送効率を算出するための処理動作を行う。
【0082】
即ち、転送効率算出モードが選択された状態でカメラ1−2にて被写体(例えば、単色チャート)を撮影すると、CCD転送効率算出部54は、その撮影時に得られるCCD24の有効画素領域の画素のCCDRAWデータと、オプティカルブラック(OB)領域の画素のCCDRAWデータとに基づいて転送効率を算出する。
【0083】
図9はCCD24における電荷の転送経路を模式的に示す図である。図9に示すように、光学ユニット22を介して入射した光が結像し、画像の取り込みに使用される有効画素領域24Aと、画像の取り込みに使用されない、有効画素領域の周囲の遮光されたOB領域24Bとに分けられる。
【0084】
転送効率算出モード時にCCD24の各画素に蓄積された電荷は、垂直転送路24Vを通って垂直方向の1画素分が垂直転送された後、水平転送路24Hを通って水平転送される。これを垂直方向の画素数分繰り返すことにより、CCD24の全ての画素の電荷が読み出される。
【0085】
CCD転送効率算出部54は、有効画素領域24AからOB領域24Bに変わる境目の領域において、境目を挟んだ前後(水平方向)の各1画素(有効画素領域側の1画素27A,OB領域側の1画素27B)のCCDRAWデータを取得する。ここで、OB領域側の1画素27BのCCDRAWデータは、有効画素領域側の1画素27AのCCDRAWデータの転送残量に相当している。
【0086】
従って、CCD転送効率算出部54は、前述した[数1]式において、有効画素領域側の1画素27AのCCDRAWデータをS0,OB領域側の1画素27BのCCDRAWデータをf(S0)として代入することにより転送効率を算出する。尚、各1画素の垂直方向の複数の画素のCCDRAWデータの平均値を使用することにより、ノイズ等の影響の少ない正確な転送効率を算出することができる。
【0087】
CCD転送効率検出部52は、転送効率算出モード時に前記CCD転送効率算出部54が算出した転送効率を該CCD転送効率算出部54から取得する。
【0088】
その後、転送効率算出モードから通常の撮影モードに切り換えて一般シーンの本撮影を行う場合には、図7に示したようにデジタル信号処理部30は、CCD転送効率検出部52から転送効率を取得し、その転送効率に応じた信号処理を行う。
【0089】
[転送効率算出方法の第1の実施の形態]
図10は上記カメラ1−2における転送効率算出方法の第1の実施の形態を示すフローチャートである。
【0090】
前述したようにモード選択手段によって転送効率算出モードが選択されると、以下に示す転送効率を算出するための処理が開始される。
【0091】
即ち、転送効率算出モードの状態で、例えば単色チャートを撮影し(ステップS30)、CCD24から全ての画素のCCDRAWデータを取得する(ステップS32)。CCD転送効率算出部54は、全ての画素のCCDRAWデータのうち、図9で説明したように有効画素領域側の1画素27AのCCDRAWデータと、OB領域側の1画素27BのCCDRAWデータとをそれぞれ取り込み(ステップS34、S36)、これらのCCDRAWデータに基づいて転送効率を算出する(ステップS38)。
【0092】
前記算出された転送効率は、本撮影時の信号処理時に利用するためにCCD転送効率検出部52を介して取得される(ステップS40)。
【0093】
[第3の実施の形態]
図11は本発明に係る撮像装置の第3の実施の形態を示すブロック図である。尚、図8に示した撮像装置の第2の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0094】
図11に示す第3の実施の形態のカメラ1−3は、第2の実施の形態のカメラ1−2と比較して、カメラ設定検出部56及び温度検出部58を更に備えている点で相違する。
【0095】
カメラ設定検出部56は、例えば、カメラ感度、CCD駆動周波数、WBゲイン等を検出し、温度検出部58は、CCD24の温度を検出する。尚、温度検出部58は、CCD24の温度を直接検出できない場合には、カメラ筐体内の温度を検出し、これをCCD24の温度に対応する温度として検出するようにしてもよい。
【0096】
図4のグラフからも明らかなように、転送効率は、転送する信号量S0が小さい場合に低下する。また、転送効率は、CCD駆動周波数が高いときや、CCD温度が低いときに低下する。
【0097】
従って、カメラ感度が高い場合は、カメラ感度が低い場合に比べてCCD24での転送する信号量が小さいため、転送効率が低下する。同様に、タングステン電球等の光源下での撮影画像は、B信号に対するWBゲインが、R信号に対するWBゲインに比べて非常に大きくなり、転送効率が低下する。
【0098】
カメラ1−3のCCD転送効率算出部54は、カメラ設定検出部56及び温度検出部58から得た撮影設定条件が前回の転送効率算出時の条件から変更されると、転送効率を算出する。尚、この場合の転送効率の算出方法は、後述する。
【0099】
CCD転送効率検出部52は、撮影設定条件変更時に前記CCD転送効率算出部54が算出した転送効率を該CCD転送効率算出部54から取得し、デジタル信号処理部30は、CCD転送効率検出部52から転送効率を取得し、その転送効率に応じた信号処理を行う。
【0100】
[転送効率算出方法の第2の実施の形態]
図12は上記カメラ1−3における転送効率算出方法の第2の実施の形態を示すフローチャートである。尚、図10に示したフローチャートと共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【0101】
操作部36のシャッターボタンは、いわゆる「半押し」と「全押し」とからなる2段ストローク式のスイッチで構成されており、半押しすることによりAE(Automatic Exposure:自動露出)、AF(Auto Focus:自動合焦)が機能し、全押しすることにより、画像の本撮影・記録が行われる。
【0102】
図12において、シャッターボタンが半押しされると(ステップS50)、AE、AFのためにCCD24からCCDRAWデータを取得する(ステップS52)。続いて、カメラ設定検出部56及び温度検出部58から得た撮影設定条件が変更されたか否かを判別する(ステップS52)。尚、カメラ感度等の変更は、予め手動操作でカメラ感度を設定される場合には、その設定内容に基づいて判断してもよいし、ステップS52で取得したCCDRAWデータに基づいて本撮影時に自動的に設定されるカメラ感度に基づいて判別してもよい。
【0103】
撮影設定条件が変更されたことが判別されると、図10で説明したようにステップS32〜ステップS40にて転送効率を算出した後、シャッターボタンの全押しに伴う本撮影に移行する(ステップS56)。
【0104】
一方、撮影設定条件が変更されていないと判別されると、前回算出した転送効率を使用することができるため、ステップS32〜ステップS40を省略(ジャンプ)してステップS56に移行する。
【0105】
このように、転送効率の変化の要因となる撮影設定条件が変更されると、本撮影に先立って新たに転送効率を算出する。
【0106】
[第4の実施の形態]
図13は本発明に係る撮像装置の第4の実施の形態を示すブロック図である。尚、図8に示した撮像装置の第2の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0107】
図13に示す第4の実施の形態のカメラ1−4は、第2の実施の形態のカメラ1−2と比較して、時間検出部60を更に備えている点で相違する。
【0108】
時間検出部60は、最新の転送効率を算出した時点からの時間経過を検出する。尚、CCD24の温度は時間経過とともに変動し、これに伴って転送効率も変動する。
【0109】
カメラ1−3のCCD転送効率算出部54は、時間検出部60から得た経過時間が、所定の閾値X(時間経過に伴って転送効率が変動する所定の時間)以上になると、転送効率を算出する。尚、この場合の転送効率の算出方法は、後述する。
【0110】
CCD転送効率検出部52は、所定の時間経過ごとに前記CCD転送効率算出部54が算出した転送効率を該CCD転送効率算出部54から取得し、デジタル信号処理部30は、CCD転送効率検出部52から転送効率を取得し、その転送効率に応じた信号処理を行う。
【0111】
[転送効率算出方法の第3の実施の形態]
図14は上記カメラ1−4における転送効率算出方法の第3の実施の形態を示すフローチャートである。尚、図12に示したフローチャートと共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【0112】
図14において、シャッターボタンが半押しされ、AE、AFのためにCCD24からCCDRAWデータが取得されると(ステップS50、S52)、続いて、時間検出部60から最新の転送効率を算出した時点からの時間経過を取り込み、その経過時間が閾値X以上か否かを判別する(ステップS60)。
【0113】
経過時間が閾値X以上になったことが判別されると、図10で説明したようにステップS32〜ステップS40にて転送効率を算出した後、シャッターボタンの全押しに伴う本撮影に移行する(ステップS56)。
【0114】
一方、経過時間が閾値X未満であることが判別されると、前回算出した転送効率を使用することができるため、ステップS32〜ステップS40を省略(ジャンプ)してステップS56に移行する。
【0115】
このように、転送効率の変化の要因となる経過時間が閾値X以上になると、本撮影に先立って新たに転送効率を算出する。
【0116】
[第5の実施の形態]
図15は本発明に係る撮像装置の第5の実施の形態を示すブロック図である。尚、図8に示した撮像装置の第2の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0117】
図15に示す第5の実施の形態のカメラ1−5は、第2の実施の形態のカメラ1−2と比較して、AF評価部62を更に備えている点で相違する。
【0118】
尚、このカメラ1−5は、AF装置を有しているが、前記AF評価部62は、AF装置に含まれるAFの評価値を算出するものである。
【0119】
ここで、カメラ1−5に使用されるAF装置について説明する。
【0120】
このAF装置は、被写体のコントラストが最大になるようにフォーカスレンズのレンズ位置を自動的に調節(コントラストAF)するもので、シャッターボタンが半押しされると、コントラストAFを開始させる。
【0121】
即ち、シャッターボタンが半押しされると、AFサーチが行われる。AFサーチは、図16に示すように至近(Near) から無限遠(Inf) までの焦点調節範囲にわたってフォーカスレンズを順次移動させ、フォーカスレンズが所定量移動するごとに評価値を算出する。
【0122】
前記AF評価部62は、CCD24のAFエリア(例えば、中央領域)からG信号を取り込み、このG信号からハイパスフィルタ(HPF)を介して高周波成分を抽出し、この高周波成分を積算することにより評価値を算出する。
【0123】
CPU10は、AFサーチ時に取り込んだ評価値に基づいて評価値がピーク(最大)になるフォーカスレンズのレンズ位置を求め、このレンズ位置にフォーカスレンズを移動(合焦動作)させることにより自動焦点調節を行う。
【0124】
このカメラ1−5のCCD転送効率算出部54は、上記AFサーチ中に転送効率を算出する。尚、この場合の転送効率の算出方法は、後述する。
【0125】
CCD転送効率検出部52は、AFサーチ時にCCD転送効率算出部54が算出した転送効率を該CCD転送効率算出部54から取得し、デジタル信号処理部30は、CCD転送効率検出部52から転送効率を取得し、その転送効率に応じた信号処理を行う。
【0126】
[転送効率算出方法の第4の実施の形態]
図17は上記カメラ1−5における転送効率算出方法の第4の実施の形態を示すフローチャートである。尚、図14に示したフローチャートと共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【0127】
図17において、シャッターボタンが半押しされると(ステップS50)、前述したようにAFサーチが行われるが、AFサーチ中に算出される評価値がピーク値以外であることが検知されると(ステップS70)、CCD24からCCDRAWデータを取得する(ステップS72)。尚、AFサーチ中は、CCD24のAFエリアからCCDRAWデータを取得しているが、ステップS72では、CCD24の全ての画素のCCDRAWデータを取得する。
【0128】
続いて、図9に示したCCD24の有効画素領域側の1画素27Aの垂直方向の画素値が略均一の値か否かを判別し(ステップS74)、略均一になると、ステップS32に進む。即ち、AFサーチ中に算出される評価値がピーク値以外のときには、画像はボケており、特に図16の矢印で示すようにピークから大きくずれた位置では、1画素27Aの垂直方向の画素値は略均一になる。
【0129】
そして、1画素27Aの垂直方向の画素値が略均一になっているときのみ転送効率算出用のCCDRAWデータが取り込まれ、転送効率の算出・取得が行われる(ステップS32〜S40)。
【0130】
尚、この実施の形態では、転送効率に応じてリニアマトリクス回路30C及び/又は色差マトリクス回路30Hの色補正マトリクス係数を変更するようにしたが、この補正に限らず、又はこの補正と併用してローパスフィルタ(LPF)の周波数帯域を変更する処理、輪郭補正回路30Gの輪郭強調を変更する処理等の各種の信号処理を行うようにしてもよい。
【図面の簡単な説明】
【0131】
【図1】図1は本発明に係る撮像装置の第1の実施の形態を示すブロック図である。
【図2】図2はCCD撮像素子の構成例を示す図である。
【図3】図3は図1に示したデジタル信号処理部の詳細な回路構成を示すブロック図である。
【図4】図4はCCD撮像素子の転送効率特性を示すグラフである。
【図5】図5はリニアマトリクス回路における色補正マトリクス係数を変更する例を示す図である。
【図6】図6は転送効率を信号処理に使用するために記憶保持しておく基本的な処理フローを示す図である。
【図7】図7は撮影画像に対して転送効率に応じた信号処理を施す処理フローを示す図である。
【図8】図8は本発明に係る撮像装置の第2の実施の形態を示すブロック図である。
【図9】図9はCCDにおける電荷の転送経路を模式的に示す図である。
【図10】図10は本発明に係る撮像装置における転送効率算出方法の第1の実施の形態を示すフローチャートである。
【図11】図11は本発明に係る撮像装置の第3の実施の形態を示すブロック図である。
【図12】図12は本発明に係る撮像装置における転送効率算出方法の第2の実施の形態を示すフローチャートである。
【図13】図13は本発明に係る撮像装置の第4の実施の形態を示すブロック図である。
【図14】図14は本発明に係る撮像装置における転送効率算出方法の第3の実施の形態を示すフローチャートである。
【図15】図15は本発明に係る撮像装置の第5の実施の形態を示すブロック図である。
【図16】図16はAFサーチ位置におけるAFの評価値のAF評価特性の一例を示すグラフである。
【図17】図17は本発明に係る撮像装置における転送効率算出方法の第4の実施の形態を示すフローチャートである。
【符号の説明】
【0132】
1−1〜1−5…撮像装置(カメラ)、10…中央処理装置(CPU)、16…RAM、18…ROM、20…撮像部、22…光学ユニット、24…CCD撮像素子、24V…垂直転送路、24H…水平転送路、26…アナログ信号処理部、30…デジタル信号処理部、30A…オフセット処理回路、30B…リニアマトリクス回路、30C…ホワイトバランス調整回路、30D…ガンマ補正回路、30E…同時化処理回路、30F…RGB/YC変換回路、30G…輪郭補正回路、30H…色差マトリクス回路、36…操作部、40…表示部(LCD)、50…メモリカード、52…CCD転送効率検出部、54…CCD転送効率算出部、56…カメラ設定検出部、58…温度検出部、60…時間検出部、62…AF評価部
【技術分野】
【0001】
本発明は撮像装置の信号処理方法及び撮像装置に係り、特にCCD(Charge Coupled Devices)撮像素子の転送効率不良による問題を改善する技術に関する。
【背景技術】
【0002】
従来、CCD撮像素子を用いた電子カメラ、デジタルカメラ、カメラ付き携帯電話等の撮像装置が開発されている。このような撮像装置を用いて撮像を行った場合、CCD撮像素子の各画素には露出時間に応じて信号電荷が蓄積される。各画素に蓄積された信号電荷は、垂直転送路から水平転送路に転送されて画像処理回路に出力される。
【0003】
各画素に蓄積された信号電荷は、各転送路の転送素子のそれぞれに形成されたポテンシャル井戸を介して順次転送される。このとき、信号電荷が次の転送素子に完全に転送されずに、わずかに残る。元の井戸にあった電荷に対して次の井戸に転送された電荷の割合を転送効率といい、この転送効率が低下すると、隣接する画素間のクロストークが増加し、画像の劣化(色再現性や解像度の劣化)等の様々な問題が生じる。
【0004】
これに対して、例えば、特許文献1には、転送エラーによる像信号の歪を補正し、測距不良を無くすようにした測距用CCDの信号補正装置について開示されている。また、特許文献2には、TDI(Time Delay Integration)イメージセンサの垂直転送効率からTDI段方向に並ぶ各イメージセンサの垂直転送残り量の総和を予め求め、TDIイメージセンサで試料を撮像したときのTDIイメージセンサの出力から前記予め求めた垂直転送残り量の総和を減算し、該減算した出力を用いて画像処理する画像処理方法について開示されている。
【特許文献1】特開平7−146139号公報
【特許文献2】特開2004−295709号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載の発明は、測距用CCDを用いたものであり、この測距用CCDでの転送効率劣化が測離に影響を及ぼすため、転送効率に基づいて測距結果を補正するものであり、画像の劣化を改善するものではない。
【0006】
また、特許文献1に記載の発明は、TDIイメージセンサに限定されたもので、特に垂直転送路での転送効率劣化の問題を解決するものであり、それを解決するために垂直転送残り量を算出してセンサ出力から減算している。即ち、特許文献1に記載の発明は、垂直転送残り分がないコントラストの高い画像を得るものであり、転送効率の変動に影響されない色再現性の高い画像を得るものではなく、また、垂直転送残り量等を算出するために膨大な演算が必要になる。
【0007】
本発明はこのような事情に鑑みてなされたもので、撮像素子の転送効率に応じた信号処理を行うことができ、所望の画質の画像を得ることができる撮像装置の信号処理方法及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
前記目的を達成するために請求項1に係る撮像装置の信号処理方法は、撮像素子から画像信号を取得するステップと、前記撮像素子の転送効率を算出する転送効率算出ステップと、前記算出された転送効率に基づいて前記取得した画像信号を処理するステップと、を含むことを特徴としている。
【0009】
即ち、撮像素子の転送効率が悪い場合は、転送効率が良い場合に比べて色再現性や解像度が劣化するなどの問題があるが、請求項1に係る発明は、撮像素子の転送効率を算出し、その算出した転送効率に基づいて画像信号を処理することで、所望の画質の画像を得るようにしている。
【0010】
請求項2に示すように請求項1に記載の撮像装置の信号処理方法において、予め算出された転送効率を記憶保持するステップを含み、前記記憶保持された転送効率は、前記取得した画像信号の処理時に読み出されて利用されることを特徴としている。
【0011】
請求項3に示すように請求項1に記載の撮像装置の信号処理方法において、前記転送効率算出ステップは、前記撮像素子の有効画素領域の画素の信号とオプティカルブラック領域の画素の信号とに基づいて算出することを特徴としている。
【0012】
請求項4に示すように請求項1に記載の撮像装置の信号処理方法において、前記転送効率算出ステップは、前記撮像素子の有効画素領域とオプティカルブラック領域との垂直方向の境目を挟んだ前後(水平方向)の各1画素の信号、又は前後の各1画素の垂直方向の複数の画素の信号に基づいて算出することを特徴としている。尚、有効画素領域側の複数の画素の信号と、オプティカルブラック領域側の複数の画素の信号とを用いる場合には、各画素の信号が平均化され、精度の高い転送効率を算出することができる。
【0013】
請求項5に示すように請求項1乃至4のいずれかに記載の撮像装置の信号処理方法において、転送効率算出モードを選択するステップを含み、前記転送効率算出ステップは、前記転送効率算出モードが選択された撮影時に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴としている。これにより、転送効率を算出するための撮影と、通常の撮影とが区別されるとともに、任意の時期に転送効率を算出することができる。転送効率を算出するための撮影時には、単色チャートを所定の撮影条件で撮影することが好ましい。
【0014】
請求項6に示すように請求項1乃至4のいずれかに記載の撮像装置の信号処理方法において、転送効率に関連する撮影設定条件の変更を検出するステップを含み、前記転送効率算出ステップは、前記撮影設定条件の変更が検出されると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴としている。即ち、カメラ感度、CCD駆動周波数、撮像素子の温度等の様々な条件によって転送効率は変化するが、その条件の変化が検出されると、新たに転送効率を算出するようにしている。
【0015】
請求項7に示すように請求項1乃至4のいずれかに記載の撮像装置の信号処理方法において、時間経過を測定するステップを含み、前記転送効率算出ステップは、前記測定した時間経過が所定の閾値以上になると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴としている。即ち、上記のように様々な条件によって転送効率は変化し、特に撮像素子の温度は時間経過とともに上昇するため、時間経過が所定の閾値以上になると、新たに転送効率を算出するようにしている。
【0016】
請求項8に示すように請求項1乃至4のいずれかに記載の撮像装置の信号処理方法において、本撮影前に前記撮像素子からの画像信号に基づいて自動焦点調節を行うステップを含み、前記転送効率算出ステップは、前記自動焦点調節時の焦点調節完了前に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴としている。これにより、本撮影ごとにその撮影に適した転送効率を算出することができる。尚、自動焦点調節時の焦点調節完了前に取得した画像信号(焦点の合っていない画像信号)を使用することで、転送効率の算出に使用する所定領域の画像信号の均一化を図ることができる。
【0017】
請求項9に係る撮像装置は、撮影光学系と、前記撮影光学系によって被写体像が結像される撮像素子と、前記撮像素子から画像信号を取得する画像取得手段と、前記撮像素子の転送効率を取得する転送効率取得手段と、前記転送効率取得手段が取得した転送効率に基づいて前記取得した画像信号を処理する信号処理手段と、を備えたことを特徴としている。
【0018】
請求項10に示すように請求項9に記載の撮像装置において、予め算出された転送効率を記憶保持する記憶手段を更に備え、前記転送効率取得手段は、前記記憶手段から転送効率を読み出すことを特徴としている。
【0019】
請求項11に示すように請求項9又は10に記載の撮像装置において、前記撮像素子の転送効率を算出する転送効率算出手段を更に備え、前記転送効率取得手段は、前記転送効率算出手段から転送効率を取得することを特徴としている。
【0020】
請求項12に示すように請求項11に記載の撮像装置において、前記転送効率算出手段は、前記撮像素子の有効画素領域の画素の信号とオプティカルブラック領域の画素の信号とに基づいて算出することを特徴としている。
【0021】
請求項13に示すように請求項11に記載の撮像装置において、前記転送効率算出手段は、前記撮像素子の有効画素領域とオプティカルブラック領域との垂直方向の境目を挟んだ前後(水平方向)の各1画素の信号、又は前後の各1画素の垂直方向の複数の画素の信号に基づいて測定することを特徴としている。
【0022】
請求項14に示すように請求項11乃至13のいずれかに記載の撮像装置において、転送効率算出モードを選択するモード選択手段を更に備え、前記転送効率算出手段は、前記モード選択手段によって選択された転送効率算出モードでの撮影時に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴としている。
【0023】
請求項15に示すように請求項11乃至13のいずれかに記載の撮像装置において、転送効率に関連する撮影設定条件の変更を検出する検出手段を更に備え、前記転送効率算出手段は、前記検出手段によって撮影設定条件の変更が検出されると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴としている。
【0024】
請求項16に示すように請求項11乃至13のいずれかに記載の撮像装置において、時間経過を測定する手段を更に備え、前記転送効率算出手段は、前記測定した時間経過が所定の閾値以上になると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴としている。
【0025】
請求項17に示すように請求項11乃至13のいずれかに記載の撮像装置において、本撮影前に前記撮像素子からの画像信号に基づいて自動焦点調節を行う自動焦点調節手段を更に備え、前記転送効率算出手段は、前記自動焦点調節時の焦点調節完了前に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴としている。
【0026】
請求項18に示すように請求項9乃至17のいずれかに記載の撮像装置において、前記信号処理手段は、色補正を行うマトリクス回路を含み、前記転送効率取得手段が取得した転送効率に基づいて前記マトリクス回路のマトリクス係数を制御することを特徴としている。
【0027】
請求項19に示すように請求項18記載の撮像装置において、前記マトリクス回路は、リニアマトリクス回路及び色差マトリクス回路の少なくとも一方であることを特徴としている。
【発明の効果】
【0028】
本発明によれば、撮像素子の転送効率を算出し、その転送効率に応じた信号処理を撮像素子から取得した画像信号に対して施すことができる。これにより、転送効率にかかわらず、所望の画質の画像を得ることが可能になる。
【発明を実施するための最良の形態】
【0029】
以下、添付図面に従って本発明に係る撮像装置の信号処理方法及び撮像装置の好ましい実施の形態について説明する。
【0030】
尚、以下の説明では、撮像装置(デジタルカメラ)を例にとって説明するが、本発明は撮像装置を備えた携帯電話や携帯情報端末(PDA)、PCカメラ等にも適用することができる。
【0031】
[第1の実施の形態]
図1は本発明に係る撮像装置の第1の実施の形態を示すブロック図である。
【0032】
図1に示す撮像装置1―1(以下の説明では、カメラ1―1と記載する)は、静止画や動画の記録及び再生機能を備えたデジタルカメラであり、カメラ全体の動作は中央処理装置(CPU)10によって統括制御される。CPU10は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出(AE)演算、自動焦点調節(AF)演算、ホワイトバランス(WB)調整演算等、各種演算を実施する演算手段として機能する。
【0033】
CPU10には、バス12及びメモリ・インターフェース14を介してRAM(Random Access Memory)16及びROM(Read Only Memory)18が接続されている。RAM16は、プログラムの展開領域及びCPU10の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。ROM18には、CPU10が実行するプログラム及び制御に必要な各種データや、カメラ動作に関する各種定数/情報等が格納されている。
【0034】
撮像部20には、撮影レンズ及び絞り等を含む光学ユニット22や、CCD撮像素子24(以下、単に「CCD」という)等が含まれている。光学ユニット22は、CPU10からのAF指令やAE指令によりモータ駆動部32を介してフォーカスレンズや絞り等が駆動される。
【0035】
CCD24は、図2に示すように多数の受光素子(フォトダイオード)24Aが水平方向(行方向)及び垂直方向(列方向)に一定の配列周期で配置されたCCD型2次元撮像デバイス(イメージセンサ)である。図示した構成はハニカム配列と呼ばれる画素配列であり、受光素子24Aの幾何学的な形状の中心点を行方向及び列方向に1つ置きに画素ピッチの半分(1/2ピッチ)ずらして配列させたものとなっている。
【0036】
各受光素子24Aは、八角形の受光面を有し、各受光素子24Aに対応してRGBの原色カラーフィルタが配置されている。図2のように、水平方向についてRBRB…の行の次段にGGGG…の行が配置され、その次段にBRBR…の行、という具合に配列される。列方向についてみれば、RBRB…の列と、GGGG…の列と、BRBR…の列とが循環式に繰り返される配列パターンとなっている。
【0037】
各受光素子24Aの右側(又は左側)には垂直転送路(VCCD)24Vが形成されている。垂直転送路24Vは、受光素子24Aの各列に近接して受光素子24Aを避けながらジグザグ状に蛇行して垂直方向に伸びている。図示されていないが、垂直転送路24V上には4相駆動(φ1,φ2,φ3,φ4)に必要な転送電極が配置される。転送電極は、受光素子16Aの各行に近接して受光素子24Aの開口を避けながら蛇行して図2の水平方向に伸びるように設けられている。
【0038】
各受光素子24Aで光電変換により生成された信号電荷は、当該受光素子24Aの右側(又は左側)に隣接した垂直転送路16Vに読み出され、転送パルスに従って図2の下方(V方向)に転送される。
【0039】
図2において垂直転送路24Vの下端(垂直転送路24Vの最下流側)には、垂直転送路24Vから移された信号電荷を水平方向に転送する水平転送路(HCCD)24Hが設けられている。
【0040】
水平転送路24Hは、2相又は4相駆動の転送CCDで構成されており、水平転送路24Hの最終段(図2上で最左段)は出力部25に接続されている。出力部25は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子25Aに出力する。こうして、各受光素子24Aで生成された信号が、点順次の信号列として出力される。尚、出力端子25Aから出力される信号はRGBGRGBG…という信号列となる。
【0041】
図1に戻って、CCD24は、各受光素子の電荷蓄積時間(シャッタースピード)を制御する電子シャッター機能を有している。CPU10は、タイミング・ジェネレータ34を介してCCD24での電荷蓄積時間を制御する。
【0042】
このCCD24から順次読み出されたCCD信号は、アナログ信号処理部26に加えられる。アナログ信号処理部26は、CDS回路やアナログアンプ等を有し、CDS回路は入力するCCD信号を相関二重サンプリング処理し、アナログアンプは、CPU10から加えられる撮影感度設定用ゲインによってCDS回路から出力されるCCD信号を増幅する。
【0043】
アナログ信号処理部26にてアナログ処理されたCCD信号は、A/D変換器28に加えられ、ここで画素ごとにデジタルのカラー画像データ(点順次のR,G,B信号)に変換される。
【0044】
R,G,B信号は、デジタル信号処理部30を介してRAM16に一時的に記憶される。このR,G,B信号は、デジタル信号処理部30に入力され、ここで所要の信号処理が行われる。尚、デジタル信号処理部30での画像処理の詳細については、後述する。
【0045】
カメラ1―1の操作部36には、シャッターボタン、撮影モードと再生モードを切り替えるモード切替レバー、撮影モード(オート撮影モード、マニュアル撮影モード、連写モード等)を選択するためのモードダイヤル、表示部(LCD)40にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択するためのマルチファンクションの十字キー、選択項目の確定や処理の実行を指令するOKボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは1つ前の操作状態に戻らせる指令を入力するBACKボタンなどが含まれる。操作部36からの出力信号は、バス32を介してCPU10に入力され、CPU10は操作部36からの入力信号に基づいて撮影や再生等の適宜の処理を実施させる。
【0046】
カメラ1−1には、被写体にフラッシュ光を照射するためのフラッシュ装置42が含まれ、フラッシュ装置42は、CPU10からの発光指令によって充電部4から電源の供給を受けてフラッシュ光を照射する。
【0047】
デジタル信号処理部30で処理された画像データ(輝度信号Y,色差信号Cr,Cb)は、圧縮伸張処理回路46に与えられ、ここで、所定の圧縮フォーマット(例えば、JPEG方式) に従って圧縮される。圧縮された画像データは、外部メモリ・インターフェース48を介してメモリカード50に記録される。
【0048】
また、LCD40には、LCDインターフェース38を介して加えられる画像信号により撮像準備中に映像(スルームービー画)が表示され、また、再生モード時にメモリカード50に記録された画像が表示される。
【0049】
図3は図1に示したデジタル信号処理部30の詳細な回路構成を示すブロック図である。
【0050】
前述したようにRAM16に一時記憶されたR,G,B信号は、デジタル信号処理部30のオフセット処理回路30AにR,G,Bの点順次で加えられる。R,G,B信号は、オフセット処理回路30Aにおいてオフセット処理が行われる。オフセット処理回路30Aから出力されたR,G,B信号(CCDRAWデータ)は、リニアマトリクス回路30Bに出力され、ここでCCD24の分光特性を補正する色調補正処理、及び本発明に係る色補正処理が行われる。
【0051】
即ち、リニアマトリクス回路30Bは、入力するR,G,B信号と、3行×3列の色補正マトリクス係数(A11,A12, …,A33)とからマトリクス演算を行って、色補正されたR,G,B信号を算出する。
【0052】
尚、マトリクス演算に使用される3行×3列の色補正マトリクス係数(A11,A12, …,A33)の詳細については後述する。
【0053】
リニアマトリクス回路30Bから出力されたR,G,B信号は、ホワイトバランス(WB)調整回路30Cに出力される。WB調整回路30Cは、R,G,B信号ごとにそれぞれホワイトバランス調整用のWBゲインをかけることによりホワイトバランス調整を行う。WB調整回路30Cから出力されたR,G,B信号は、ガンマ補正回路30Dに出力され、ここで中間調等の階調補正を行うガンマ補正が行われる。ガンマ補正されたR,G,B信号は、同時化処理回路30Eに出力される。
【0054】
同時化処理回路30Eは、単板のCCD24のCCDカラーフィルタ配列に伴うR,G,B信号の空間的なズレを補間してR,G,B信号を同時式に変換する処理を行い、同時化したR,G,B信号をRGB/YC変換回路30Fに出力する。
【0055】
RGB/YC変換回路30Fは、R,G,B信号を輝度信号Y,色差信号Cr,Cbに変換し、輝度信号Yを輪郭補正回路30Gに出力し、色差信号Cr,Cbを色差マトリクス回路30Hに出力する。輪郭補正回路30Gは、輝度信号Yの輪郭部(輝度変化の大きい部分)を強調する処理を行う。
【0056】
色差マトリクス回路30Hは、2行×2列の色補正マトリクス係数と入力する色差信号Cr,Cbとのマトリクス演算を行い、良好な色再現性を実現させるための色補正を行う。
【0057】
このようにして輪郭補正された輝度信号Y、及び色差マトリクス変換された色差信号Cr,Cbは、一旦RAM16に保存された後、圧縮伸張処理回路46に与えられ、ここで、JPEG方式に従って圧縮される。圧縮された画像データは、外部メモリ・インターフェース48を介してメモリカード50に記録される。
【0058】
次に、CCD24の水平転送路24Hの転送効率について説明する。
【0059】
CCD24の垂直転送路24Vから水平転送路24Hに送出されたCCD24の各ラインの信号電荷は、水平転送路24Hに形成されたポテンシャル井戸を介して順次水平方向に転送される。このとき、信号電荷が次の転送素子に完全に転送されずに、わずかに残る。元の井戸にあった電荷に対して次の井戸に転送された電荷の割合を転送効率という。また、転送効率は、元の井戸にあった電荷量(信号量)によって変わる。
【0060】
図4は信号量に対する転送残量の一例を示す転送効率特性を示すグラフである。図4において、元の井戸にあった信号量をS0、この信号量S0の転送後に残った転送残量をf(S0)とすると、転送効率は、次式で表すことができる。
【0061】
[数1]
転送効率=(1―f(S0)/S0)×100(%)
図4のグラフからも明らかなように、転送効率は、信号量S0が小さい場合に低下する。また、転送効率は、CCD駆動周波数が高いとき、CCD温度が低いときに低下する。
【0062】
転送効率は、CCDごとに固体差があるため、例えば、出荷前に適宜測定され、あるいはカメラ1−1の転送効率算出機能によって測定されてROM18又は図示しないフラッシュROM等に記憶される。
【0063】
図1に戻って、CCD転送効率検出部52は、ROM18からCCD24の転送効率を読み出す。
【0064】
デジタル信号処理部30は、CCD転送効率検出部52から取得した転送効率に基づいて信号処理を行う。尚、この信号処理としては、例えば、標準の転送効率(転送効率が良い場合)よりも転送効率が低下した場合に生じる画質劣化を抑制するように信号処理を行う。
【0065】
即ち、CCD24の水平転送路24Hでは、GRGBGRGB…と信号電荷を転送するため、転送効率が低下すると、GとR,GとBとの間の混色が大きくなり、色再現性や解像度が劣化する。
【0066】
この実施の形態では、デジタル信号処理部30のリニアマトリクス回路30B(図3)で使用される3行×3列の色補正マトリクス係数を変更することにより、画質劣化を抑制するようにしている。
【0067】
例えば、図5(A)に示すように転送効率が良い場合には、色補正マトリクス係数(A11,A12, …,A33)を使用し、転送効率が悪い場合には、色補正マトリクス係数(B11,B12, …,B33)を使用する。
【0068】
また、色補正マトリクス係数(A11,A12, …,A33)に対する補正量をa、cとし、転送効率をx(%)として、次式により補正量a、cを求める。
【0069】
[数2]
a=αx+β
c=γx+λ
但し、α、β、γ、λ:係数(実験的に算出してもよい)
そして、図5(B)に示すように補正量a,cによって補正した色補正マトリクス係数(変更後)を使用する。
【0070】
尚、補正量a,cを求める式は、一次式としているが、多項式でも指数対数近似式でもよい。
【0071】
図6は上記信号処理に転送効率を使用するために記憶保持しておく基本的な処理フローを示している。
【0072】
同図に示すように、CCD24からR,G,BのCCDRAWデータを入力する(ステップS10)。この入力したCCDRAWデータに基づいて転送効率を算出し(ステップS12)、前記算出した転送効率をROM18又は図示しないフラッシュROM等のメモリに書き込む(ステップS14)。
【0073】
図7は撮影画像に対して転送効率に応じた信号処理を施す処理フローを示す図である。
【0074】
同図に示すように、一般シーンの被写体を撮影し(ステップS20)、CCD24からR,G,BのCCDRAWデータを取得する(ステップS22)。
【0075】
デジタル信号処理部30は、図3で説明したように各種の信号処理を実施するが、前記メモリに記憶されている転送効率を読み出し、その転送効率に応じた信号処理を行う(ステップS24)。即ち、デジタル信号処理部30のリニアマトリクス回路30Bでは、図5に示したように転送効率に応じて色補正マトリクス係数を変更し、その変更した色補正マトリクス係数を使用した信号処理を実施する。
【0076】
これにより、転送効率が低下しても色再現性や解像度等の画質劣化が抑制された処理画像を出力することができる(ステップS26)。
【0077】
尚、この実施の形態では、転送効率に応じてリニアマトリクス回路30Bの色補正マトリクス係数を変更するようにしているが、これに限らず、色差マトリクス回路30Hの22行×2列の色補正マトリクス係数を変更してもよく、又は両マトリクス回路の色補正マトリクス係数を変更するようにしてもよい。
【0078】
[第2の実施の形態]
図8は本発明に係る撮像装置の第2の実施の形態を示すブロック図である。尚、図1に示した撮像装置の第1の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0079】
図8に示す第2の実施の形態のカメラ1−2は、第1の実施の形態のカメラ1−1と比較して、カメラ内にCCD転送効率算出部54及び転送効率算出モードを選択するためのモード選択手段(図示せず)を更に備えている点で相違する。
【0080】
尚、撮影モードを選択するためのモードダイヤルが、転送効率算出モードを選択する手段として機能しても良いし、メニュー画面上で転送効率算出モードを選択できるようにしてもよい。
【0081】
モード選択手段によって転送効率算出モードが選択されると、カメラ1−2は、転送効率を算出するための処理動作を行う。
【0082】
即ち、転送効率算出モードが選択された状態でカメラ1−2にて被写体(例えば、単色チャート)を撮影すると、CCD転送効率算出部54は、その撮影時に得られるCCD24の有効画素領域の画素のCCDRAWデータと、オプティカルブラック(OB)領域の画素のCCDRAWデータとに基づいて転送効率を算出する。
【0083】
図9はCCD24における電荷の転送経路を模式的に示す図である。図9に示すように、光学ユニット22を介して入射した光が結像し、画像の取り込みに使用される有効画素領域24Aと、画像の取り込みに使用されない、有効画素領域の周囲の遮光されたOB領域24Bとに分けられる。
【0084】
転送効率算出モード時にCCD24の各画素に蓄積された電荷は、垂直転送路24Vを通って垂直方向の1画素分が垂直転送された後、水平転送路24Hを通って水平転送される。これを垂直方向の画素数分繰り返すことにより、CCD24の全ての画素の電荷が読み出される。
【0085】
CCD転送効率算出部54は、有効画素領域24AからOB領域24Bに変わる境目の領域において、境目を挟んだ前後(水平方向)の各1画素(有効画素領域側の1画素27A,OB領域側の1画素27B)のCCDRAWデータを取得する。ここで、OB領域側の1画素27BのCCDRAWデータは、有効画素領域側の1画素27AのCCDRAWデータの転送残量に相当している。
【0086】
従って、CCD転送効率算出部54は、前述した[数1]式において、有効画素領域側の1画素27AのCCDRAWデータをS0,OB領域側の1画素27BのCCDRAWデータをf(S0)として代入することにより転送効率を算出する。尚、各1画素の垂直方向の複数の画素のCCDRAWデータの平均値を使用することにより、ノイズ等の影響の少ない正確な転送効率を算出することができる。
【0087】
CCD転送効率検出部52は、転送効率算出モード時に前記CCD転送効率算出部54が算出した転送効率を該CCD転送効率算出部54から取得する。
【0088】
その後、転送効率算出モードから通常の撮影モードに切り換えて一般シーンの本撮影を行う場合には、図7に示したようにデジタル信号処理部30は、CCD転送効率検出部52から転送効率を取得し、その転送効率に応じた信号処理を行う。
【0089】
[転送効率算出方法の第1の実施の形態]
図10は上記カメラ1−2における転送効率算出方法の第1の実施の形態を示すフローチャートである。
【0090】
前述したようにモード選択手段によって転送効率算出モードが選択されると、以下に示す転送効率を算出するための処理が開始される。
【0091】
即ち、転送効率算出モードの状態で、例えば単色チャートを撮影し(ステップS30)、CCD24から全ての画素のCCDRAWデータを取得する(ステップS32)。CCD転送効率算出部54は、全ての画素のCCDRAWデータのうち、図9で説明したように有効画素領域側の1画素27AのCCDRAWデータと、OB領域側の1画素27BのCCDRAWデータとをそれぞれ取り込み(ステップS34、S36)、これらのCCDRAWデータに基づいて転送効率を算出する(ステップS38)。
【0092】
前記算出された転送効率は、本撮影時の信号処理時に利用するためにCCD転送効率検出部52を介して取得される(ステップS40)。
【0093】
[第3の実施の形態]
図11は本発明に係る撮像装置の第3の実施の形態を示すブロック図である。尚、図8に示した撮像装置の第2の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0094】
図11に示す第3の実施の形態のカメラ1−3は、第2の実施の形態のカメラ1−2と比較して、カメラ設定検出部56及び温度検出部58を更に備えている点で相違する。
【0095】
カメラ設定検出部56は、例えば、カメラ感度、CCD駆動周波数、WBゲイン等を検出し、温度検出部58は、CCD24の温度を検出する。尚、温度検出部58は、CCD24の温度を直接検出できない場合には、カメラ筐体内の温度を検出し、これをCCD24の温度に対応する温度として検出するようにしてもよい。
【0096】
図4のグラフからも明らかなように、転送効率は、転送する信号量S0が小さい場合に低下する。また、転送効率は、CCD駆動周波数が高いときや、CCD温度が低いときに低下する。
【0097】
従って、カメラ感度が高い場合は、カメラ感度が低い場合に比べてCCD24での転送する信号量が小さいため、転送効率が低下する。同様に、タングステン電球等の光源下での撮影画像は、B信号に対するWBゲインが、R信号に対するWBゲインに比べて非常に大きくなり、転送効率が低下する。
【0098】
カメラ1−3のCCD転送効率算出部54は、カメラ設定検出部56及び温度検出部58から得た撮影設定条件が前回の転送効率算出時の条件から変更されると、転送効率を算出する。尚、この場合の転送効率の算出方法は、後述する。
【0099】
CCD転送効率検出部52は、撮影設定条件変更時に前記CCD転送効率算出部54が算出した転送効率を該CCD転送効率算出部54から取得し、デジタル信号処理部30は、CCD転送効率検出部52から転送効率を取得し、その転送効率に応じた信号処理を行う。
【0100】
[転送効率算出方法の第2の実施の形態]
図12は上記カメラ1−3における転送効率算出方法の第2の実施の形態を示すフローチャートである。尚、図10に示したフローチャートと共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【0101】
操作部36のシャッターボタンは、いわゆる「半押し」と「全押し」とからなる2段ストローク式のスイッチで構成されており、半押しすることによりAE(Automatic Exposure:自動露出)、AF(Auto Focus:自動合焦)が機能し、全押しすることにより、画像の本撮影・記録が行われる。
【0102】
図12において、シャッターボタンが半押しされると(ステップS50)、AE、AFのためにCCD24からCCDRAWデータを取得する(ステップS52)。続いて、カメラ設定検出部56及び温度検出部58から得た撮影設定条件が変更されたか否かを判別する(ステップS52)。尚、カメラ感度等の変更は、予め手動操作でカメラ感度を設定される場合には、その設定内容に基づいて判断してもよいし、ステップS52で取得したCCDRAWデータに基づいて本撮影時に自動的に設定されるカメラ感度に基づいて判別してもよい。
【0103】
撮影設定条件が変更されたことが判別されると、図10で説明したようにステップS32〜ステップS40にて転送効率を算出した後、シャッターボタンの全押しに伴う本撮影に移行する(ステップS56)。
【0104】
一方、撮影設定条件が変更されていないと判別されると、前回算出した転送効率を使用することができるため、ステップS32〜ステップS40を省略(ジャンプ)してステップS56に移行する。
【0105】
このように、転送効率の変化の要因となる撮影設定条件が変更されると、本撮影に先立って新たに転送効率を算出する。
【0106】
[第4の実施の形態]
図13は本発明に係る撮像装置の第4の実施の形態を示すブロック図である。尚、図8に示した撮像装置の第2の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0107】
図13に示す第4の実施の形態のカメラ1−4は、第2の実施の形態のカメラ1−2と比較して、時間検出部60を更に備えている点で相違する。
【0108】
時間検出部60は、最新の転送効率を算出した時点からの時間経過を検出する。尚、CCD24の温度は時間経過とともに変動し、これに伴って転送効率も変動する。
【0109】
カメラ1−3のCCD転送効率算出部54は、時間検出部60から得た経過時間が、所定の閾値X(時間経過に伴って転送効率が変動する所定の時間)以上になると、転送効率を算出する。尚、この場合の転送効率の算出方法は、後述する。
【0110】
CCD転送効率検出部52は、所定の時間経過ごとに前記CCD転送効率算出部54が算出した転送効率を該CCD転送効率算出部54から取得し、デジタル信号処理部30は、CCD転送効率検出部52から転送効率を取得し、その転送効率に応じた信号処理を行う。
【0111】
[転送効率算出方法の第3の実施の形態]
図14は上記カメラ1−4における転送効率算出方法の第3の実施の形態を示すフローチャートである。尚、図12に示したフローチャートと共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【0112】
図14において、シャッターボタンが半押しされ、AE、AFのためにCCD24からCCDRAWデータが取得されると(ステップS50、S52)、続いて、時間検出部60から最新の転送効率を算出した時点からの時間経過を取り込み、その経過時間が閾値X以上か否かを判別する(ステップS60)。
【0113】
経過時間が閾値X以上になったことが判別されると、図10で説明したようにステップS32〜ステップS40にて転送効率を算出した後、シャッターボタンの全押しに伴う本撮影に移行する(ステップS56)。
【0114】
一方、経過時間が閾値X未満であることが判別されると、前回算出した転送効率を使用することができるため、ステップS32〜ステップS40を省略(ジャンプ)してステップS56に移行する。
【0115】
このように、転送効率の変化の要因となる経過時間が閾値X以上になると、本撮影に先立って新たに転送効率を算出する。
【0116】
[第5の実施の形態]
図15は本発明に係る撮像装置の第5の実施の形態を示すブロック図である。尚、図8に示した撮像装置の第2の実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0117】
図15に示す第5の実施の形態のカメラ1−5は、第2の実施の形態のカメラ1−2と比較して、AF評価部62を更に備えている点で相違する。
【0118】
尚、このカメラ1−5は、AF装置を有しているが、前記AF評価部62は、AF装置に含まれるAFの評価値を算出するものである。
【0119】
ここで、カメラ1−5に使用されるAF装置について説明する。
【0120】
このAF装置は、被写体のコントラストが最大になるようにフォーカスレンズのレンズ位置を自動的に調節(コントラストAF)するもので、シャッターボタンが半押しされると、コントラストAFを開始させる。
【0121】
即ち、シャッターボタンが半押しされると、AFサーチが行われる。AFサーチは、図16に示すように至近(Near) から無限遠(Inf) までの焦点調節範囲にわたってフォーカスレンズを順次移動させ、フォーカスレンズが所定量移動するごとに評価値を算出する。
【0122】
前記AF評価部62は、CCD24のAFエリア(例えば、中央領域)からG信号を取り込み、このG信号からハイパスフィルタ(HPF)を介して高周波成分を抽出し、この高周波成分を積算することにより評価値を算出する。
【0123】
CPU10は、AFサーチ時に取り込んだ評価値に基づいて評価値がピーク(最大)になるフォーカスレンズのレンズ位置を求め、このレンズ位置にフォーカスレンズを移動(合焦動作)させることにより自動焦点調節を行う。
【0124】
このカメラ1−5のCCD転送効率算出部54は、上記AFサーチ中に転送効率を算出する。尚、この場合の転送効率の算出方法は、後述する。
【0125】
CCD転送効率検出部52は、AFサーチ時にCCD転送効率算出部54が算出した転送効率を該CCD転送効率算出部54から取得し、デジタル信号処理部30は、CCD転送効率検出部52から転送効率を取得し、その転送効率に応じた信号処理を行う。
【0126】
[転送効率算出方法の第4の実施の形態]
図17は上記カメラ1−5における転送効率算出方法の第4の実施の形態を示すフローチャートである。尚、図14に示したフローチャートと共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
【0127】
図17において、シャッターボタンが半押しされると(ステップS50)、前述したようにAFサーチが行われるが、AFサーチ中に算出される評価値がピーク値以外であることが検知されると(ステップS70)、CCD24からCCDRAWデータを取得する(ステップS72)。尚、AFサーチ中は、CCD24のAFエリアからCCDRAWデータを取得しているが、ステップS72では、CCD24の全ての画素のCCDRAWデータを取得する。
【0128】
続いて、図9に示したCCD24の有効画素領域側の1画素27Aの垂直方向の画素値が略均一の値か否かを判別し(ステップS74)、略均一になると、ステップS32に進む。即ち、AFサーチ中に算出される評価値がピーク値以外のときには、画像はボケており、特に図16の矢印で示すようにピークから大きくずれた位置では、1画素27Aの垂直方向の画素値は略均一になる。
【0129】
そして、1画素27Aの垂直方向の画素値が略均一になっているときのみ転送効率算出用のCCDRAWデータが取り込まれ、転送効率の算出・取得が行われる(ステップS32〜S40)。
【0130】
尚、この実施の形態では、転送効率に応じてリニアマトリクス回路30C及び/又は色差マトリクス回路30Hの色補正マトリクス係数を変更するようにしたが、この補正に限らず、又はこの補正と併用してローパスフィルタ(LPF)の周波数帯域を変更する処理、輪郭補正回路30Gの輪郭強調を変更する処理等の各種の信号処理を行うようにしてもよい。
【図面の簡単な説明】
【0131】
【図1】図1は本発明に係る撮像装置の第1の実施の形態を示すブロック図である。
【図2】図2はCCD撮像素子の構成例を示す図である。
【図3】図3は図1に示したデジタル信号処理部の詳細な回路構成を示すブロック図である。
【図4】図4はCCD撮像素子の転送効率特性を示すグラフである。
【図5】図5はリニアマトリクス回路における色補正マトリクス係数を変更する例を示す図である。
【図6】図6は転送効率を信号処理に使用するために記憶保持しておく基本的な処理フローを示す図である。
【図7】図7は撮影画像に対して転送効率に応じた信号処理を施す処理フローを示す図である。
【図8】図8は本発明に係る撮像装置の第2の実施の形態を示すブロック図である。
【図9】図9はCCDにおける電荷の転送経路を模式的に示す図である。
【図10】図10は本発明に係る撮像装置における転送効率算出方法の第1の実施の形態を示すフローチャートである。
【図11】図11は本発明に係る撮像装置の第3の実施の形態を示すブロック図である。
【図12】図12は本発明に係る撮像装置における転送効率算出方法の第2の実施の形態を示すフローチャートである。
【図13】図13は本発明に係る撮像装置の第4の実施の形態を示すブロック図である。
【図14】図14は本発明に係る撮像装置における転送効率算出方法の第3の実施の形態を示すフローチャートである。
【図15】図15は本発明に係る撮像装置の第5の実施の形態を示すブロック図である。
【図16】図16はAFサーチ位置におけるAFの評価値のAF評価特性の一例を示すグラフである。
【図17】図17は本発明に係る撮像装置における転送効率算出方法の第4の実施の形態を示すフローチャートである。
【符号の説明】
【0132】
1−1〜1−5…撮像装置(カメラ)、10…中央処理装置(CPU)、16…RAM、18…ROM、20…撮像部、22…光学ユニット、24…CCD撮像素子、24V…垂直転送路、24H…水平転送路、26…アナログ信号処理部、30…デジタル信号処理部、30A…オフセット処理回路、30B…リニアマトリクス回路、30C…ホワイトバランス調整回路、30D…ガンマ補正回路、30E…同時化処理回路、30F…RGB/YC変換回路、30G…輪郭補正回路、30H…色差マトリクス回路、36…操作部、40…表示部(LCD)、50…メモリカード、52…CCD転送効率検出部、54…CCD転送効率算出部、56…カメラ設定検出部、58…温度検出部、60…時間検出部、62…AF評価部
【特許請求の範囲】
【請求項1】
撮像素子から画像信号を取得するステップと、
前記撮像素子の転送効率を算出する転送効率算出ステップと、
前記算出された転送効率に基づいて前記取得した画像信号を処理するステップと、
を含むことを特徴とする撮像装置の信号処理方法。
【請求項2】
予め算出された転送効率を記憶保持するステップを含み、前記記憶保持された転送効率は、前記取得した画像信号の処理時に読み出されて利用されることを特徴とする請求項1に記載の撮像装置の信号処理方法。
【請求項3】
前記転送効率算出ステップは、前記撮像素子の有効画素領域の画素の信号とオプティカルブラック領域の画素の信号とに基づいて算出することを特徴とする請求項1に記載の撮像装置の信号処理方法。
【請求項4】
前記転送効率算出ステップは、前記撮像素子の有効画素領域とオプティカルブラック領域との垂直方向の境目を挟んだ前後(水平方向)の各1画素の信号、又は前後の各1画素の垂直方向の複数の画素の信号に基づいて算出することを特徴とする請求項1に記載の撮像装置の信号処理方法。
【請求項5】
転送効率算出モードを選択するステップを含み、前記転送効率算出ステップは、前記転送効率算出モードが選択された撮影時に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴とする請求項1乃至4のいずれかに記載の撮像装置の信号処理方法。
【請求項6】
転送効率に関連する撮影設定条件の変更を検出するステップを含み、前記転送効率算出ステップは、前記撮影設定条件の変更が検出されると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴とする請求項1乃至4のいずれかに記載の撮像装置の信号処理方法。
【請求項7】
時間経過を測定するステップを含み、前記転送効率算出ステップは、前記測定した時間経過が所定の閾値以上になると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴とする請求項1乃至4のいずれかに記載の撮像装置の信号処理方法。
【請求項8】
本撮影前に前記撮像素子からの画像信号に基づいて自動焦点調節を行うステップを含み、前記転送効率算出ステップは、前記自動焦点調節時の焦点調節完了前に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴とする請求項1乃至4のいずれかに記載の撮像装置の信号処理方法。
【請求項9】
撮影光学系と、
前記撮影光学系によって被写体像が結像される撮像素子と、
前記撮像素子から画像信号を取得する画像取得手段と、
前記撮像素子の転送効率を取得する転送効率取得手段と、
前記転送効率取得手段が取得した転送効率に基づいて前記取得した画像信号を処理する信号処理手段と、
を備えたことを特徴とする撮像装置。
【請求項10】
予め算出された転送効率を記憶保持する記憶手段を更に備え、前記転送効率取得手段は、前記記憶手段から転送効率を読み出すことを特徴とする請求項9に記載の撮像装置。
【請求項11】
前記撮像素子の転送効率を算出する転送効率算出手段を更に備え、前記転送効率取得手段は、前記転送効率算出手段から転送効率を取得することを特徴とする請求項9又は10に記載の撮像装置。
【請求項12】
前記転送効率算出手段は、前記撮像素子の有効画素領域の画素の信号とオプティカルブラック領域の画素の信号とに基づいて算出することを特徴とする請求項11に記載の撮像装置。
【請求項13】
前記転送効率算出手段は、前記撮像素子の有効画素領域とオプティカルブラック領域との垂直方向の境目を挟んだ前後(水平方向)の各1画素の信号、又は前後の各1画素の垂直方向の複数の画素の信号に基づいて測定することを特徴とする請求項11に記載の撮像装置。
【請求項14】
転送効率算出モードを選択するモード選択手段を更に備え、前記転送効率算出手段は、前記モード選択手段によって選択された転送効率算出モードでの撮影時に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴とする請求項11乃至13のいずれかに記載の撮像装置。
【請求項15】
転送効率に関連する撮影設定条件の変更を検出する検出手段を更に備え、前記転送効率算出手段は、前記検出手段によって撮影設定条件の変更が検出されると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴とする請求項11乃至13のいずれかに記載の撮像装置。
【請求項16】
時間経過を測定する手段を更に備え、前記転送効率算出手段は、前記測定した時間経過が所定の閾値以上になると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴とする請求項11乃至13のいずれかに記載の撮像装置。
【請求項17】
本撮影前に前記撮像素子からの画像信号に基づいて自動焦点調節を行う自動焦点調節手段を更に備え、前記転送効率算出手段は、前記自動焦点調節時の焦点調節完了前に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴とする請求項11乃至13のいずれかに記載の撮像装置。
【請求項18】
前記信号処理手段は、色補正を行うマトリクス回路を含み、前記転送効率取得手段が取得した転送効率に基づいて前記マトリクス回路のマトリクス係数を制御することを特徴とする請求項9乃至17のいずれかに記載の撮像装置。
【請求項19】
前記マトリクス回路は、リニアマトリクス回路及び色差マトリクス回路の少なくとも一方であることを特徴とする請求項18に記載の撮像装置。
【請求項1】
撮像素子から画像信号を取得するステップと、
前記撮像素子の転送効率を算出する転送効率算出ステップと、
前記算出された転送効率に基づいて前記取得した画像信号を処理するステップと、
を含むことを特徴とする撮像装置の信号処理方法。
【請求項2】
予め算出された転送効率を記憶保持するステップを含み、前記記憶保持された転送効率は、前記取得した画像信号の処理時に読み出されて利用されることを特徴とする請求項1に記載の撮像装置の信号処理方法。
【請求項3】
前記転送効率算出ステップは、前記撮像素子の有効画素領域の画素の信号とオプティカルブラック領域の画素の信号とに基づいて算出することを特徴とする請求項1に記載の撮像装置の信号処理方法。
【請求項4】
前記転送効率算出ステップは、前記撮像素子の有効画素領域とオプティカルブラック領域との垂直方向の境目を挟んだ前後(水平方向)の各1画素の信号、又は前後の各1画素の垂直方向の複数の画素の信号に基づいて算出することを特徴とする請求項1に記載の撮像装置の信号処理方法。
【請求項5】
転送効率算出モードを選択するステップを含み、前記転送効率算出ステップは、前記転送効率算出モードが選択された撮影時に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴とする請求項1乃至4のいずれかに記載の撮像装置の信号処理方法。
【請求項6】
転送効率に関連する撮影設定条件の変更を検出するステップを含み、前記転送効率算出ステップは、前記撮影設定条件の変更が検出されると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴とする請求項1乃至4のいずれかに記載の撮像装置の信号処理方法。
【請求項7】
時間経過を測定するステップを含み、前記転送効率算出ステップは、前記測定した時間経過が所定の閾値以上になると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴とする請求項1乃至4のいずれかに記載の撮像装置の信号処理方法。
【請求項8】
本撮影前に前記撮像素子からの画像信号に基づいて自動焦点調節を行うステップを含み、前記転送効率算出ステップは、前記自動焦点調節時の焦点調節完了前に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴とする請求項1乃至4のいずれかに記載の撮像装置の信号処理方法。
【請求項9】
撮影光学系と、
前記撮影光学系によって被写体像が結像される撮像素子と、
前記撮像素子から画像信号を取得する画像取得手段と、
前記撮像素子の転送効率を取得する転送効率取得手段と、
前記転送効率取得手段が取得した転送効率に基づいて前記取得した画像信号を処理する信号処理手段と、
を備えたことを特徴とする撮像装置。
【請求項10】
予め算出された転送効率を記憶保持する記憶手段を更に備え、前記転送効率取得手段は、前記記憶手段から転送効率を読み出すことを特徴とする請求項9に記載の撮像装置。
【請求項11】
前記撮像素子の転送効率を算出する転送効率算出手段を更に備え、前記転送効率取得手段は、前記転送効率算出手段から転送効率を取得することを特徴とする請求項9又は10に記載の撮像装置。
【請求項12】
前記転送効率算出手段は、前記撮像素子の有効画素領域の画素の信号とオプティカルブラック領域の画素の信号とに基づいて算出することを特徴とする請求項11に記載の撮像装置。
【請求項13】
前記転送効率算出手段は、前記撮像素子の有効画素領域とオプティカルブラック領域との垂直方向の境目を挟んだ前後(水平方向)の各1画素の信号、又は前後の各1画素の垂直方向の複数の画素の信号に基づいて測定することを特徴とする請求項11に記載の撮像装置。
【請求項14】
転送効率算出モードを選択するモード選択手段を更に備え、前記転送効率算出手段は、前記モード選択手段によって選択された転送効率算出モードでの撮影時に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴とする請求項11乃至13のいずれかに記載の撮像装置。
【請求項15】
転送効率に関連する撮影設定条件の変更を検出する検出手段を更に備え、前記転送効率算出手段は、前記検出手段によって撮影設定条件の変更が検出されると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴とする請求項11乃至13のいずれかに記載の撮像装置。
【請求項16】
時間経過を測定する手段を更に備え、前記転送効率算出手段は、前記測定した時間経過が所定の閾値以上になると、本撮影前に前記撮像素子から画像信号を取り込み、該画像信号に基づいて転送効率を算出することを特徴とする請求項11乃至13のいずれかに記載の撮像装置。
【請求項17】
本撮影前に前記撮像素子からの画像信号に基づいて自動焦点調節を行う自動焦点調節手段を更に備え、前記転送効率算出手段は、前記自動焦点調節時の焦点調節完了前に前記撮像素子から取得した画像信号に基づいて転送効率を算出することを特徴とする請求項11乃至13のいずれかに記載の撮像装置。
【請求項18】
前記信号処理手段は、色補正を行うマトリクス回路を含み、前記転送効率取得手段が取得した転送効率に基づいて前記マトリクス回路のマトリクス係数を制御することを特徴とする請求項9乃至17のいずれかに記載の撮像装置。
【請求項19】
前記マトリクス回路は、リニアマトリクス回路及び色差マトリクス回路の少なくとも一方であることを特徴とする請求項18に記載の撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2007−53480(P2007−53480A)
【公開日】平成19年3月1日(2007.3.1)
【国際特許分類】
【出願番号】特願2005−235890(P2005−235890)
【出願日】平成17年8月16日(2005.8.16)
【出願人】(000005201)富士フイルムホールディングス株式会社 (7,609)
【Fターム(参考)】
【公開日】平成19年3月1日(2007.3.1)
【国際特許分類】
【出願日】平成17年8月16日(2005.8.16)
【出願人】(000005201)富士フイルムホールディングス株式会社 (7,609)
【Fターム(参考)】
[ Back to top ]