撮像装置
【課題】複数の光学補正処理を順番に行っていく撮像装置において、前段の補正処理が、後段の補正処理で補正すべき特性を変化させてしまい、既知の補正特性で、適切に補正できなくなることを解決する。
【解決手段】光学系と、撮像素子と、前記光学系に起因した画像の信号レベルの変動を補正する、第一の光学補正処理手段と、前記光学系に起因した画像の画素位置の変化を補正する、第二の光学補正手段と、前記第一の光学補正処理手段によって信号レベルが飽和する画素がどの程度含まれるかを解析する、飽和解析手段と、処理順制御手段を有し、前記処理順制御手段は、前記飽和解析手段の結果に基づいて、前記第一の光学補正処理手段と前記第二の光学補正処理手段の処理順を制御することを特徴とする。
【解決手段】光学系と、撮像素子と、前記光学系に起因した画像の信号レベルの変動を補正する、第一の光学補正処理手段と、前記光学系に起因した画像の画素位置の変化を補正する、第二の光学補正手段と、前記第一の光学補正処理手段によって信号レベルが飽和する画素がどの程度含まれるかを解析する、飽和解析手段と、処理順制御手段を有し、前記処理順制御手段は、前記飽和解析手段の結果に基づいて、前記第一の光学補正処理手段と前記第二の光学補正処理手段の処理順を制御することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関し、特に光学系に起因した画質劣化を画像信号処理によって補正するものに関する。
【背景技術】
【０００２】
従来、光学系に起因する色収差、歪曲収差、周辺光量落ち等の画質劣化を、撮像装置本体内の画像信号処理によって低減する撮像装置が提案されている。このような撮像装置では、色収差、歪曲収差、周辺光量落ち等の光学系に起因する画質劣化が、焦点距離、絞り、フォーカス位置（以下、光学パラメータと呼ぶ）と、光軸中心からの距離に応じて変化することから、あらかじめ、補正特性を、メモリに記憶しておき、光学パラメータの設定に応じて、メモリから補正特性を参照し、撮像装置内の信号処理で補正を行っている。（特許文献１）。
【０００３】
また、光学起因の画質劣化を撮像装置内の信号処理で補正する場合に、色収差、歪曲収差等に対しては、画像内の画素位置を補正する処理が行われ、周辺光量落ち等に対しては、画像の信号レベルを補正する処理が行われる。
【０００４】
このとき、色収差、歪曲収差の補正処理によって、周辺光量落ちの補正特性が変化してしまい、あらかじめデータベースに保持されている周辺光量落ち補正特性との誤差が大きくなる場合がある。したがって、このような補正誤差による画質劣化を懸念して、信号レベルの補正を行ってから、画素位置の補正を行うようにした撮像装置が提案されている。（特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２２５２７０号公報
【特許文献２】特開２００２−１９０９７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献２に記載の撮像装置では、周辺光量落ちの補正を行った後に、色収差、歪曲収差用の補正を行うよう、補正の順番が固定されているので、色収差、歪曲収差用の補正が、前段に行われる周辺光量落ち補正処理の影響を受け、画質劣化が生じる場合もある。すなわち、光学補正データベースに保持されている、色収差、歪曲収差用の補正特性は、前段で行われた信号処理による波形の形状変化を考慮していないので、例えば、周辺光量落ち補正によって、入力画像に対して著しい波形の形状変化が発生すると、光学補正データベースに保持されている、既知の色収差、歪曲収差用の補正特性では、適切に補正が行われなくなってしまうという課題がある。
【課題を解決するための手段】
【０００７】
上記の課題に鑑みて、本発明の撮像装置では、光学系と、撮像素子と、前記光学系に起因した画像の信号レベルの変動を補正する、第一の光学補正処理手段と、前記光学系に起因した画像の画素位置の変化を補正する、第二の光学補正手段と、前記第一の光学補正処理手段によって信号レベルが飽和する画素がどの程度含まれるかを解析する、飽和解析手段と、処理順制御手段を有し、前記処理順制御手段は、前記飽和解析手段の結果に基づいて、前記第一の光学補正処理手段と前記第二の光学補正処理手段の処理順を制御することを特徴としている。
【０００８】
また、本発明の撮像装置において、前記処理順切替手段は、着目画像において、前記第一の光学補正処理手段後に、飽和する画素が多いと推定される場合には場合には、前記第二の光学補正処理の後に、前記第一の光学補正処理を行い、着目画像において、前記第一の光学補正処理後に、飽和する画素が少ないと推定される場合には場合には、前記第一の光学補正処理の後に、前記第二の光学補正処理を行うことを特徴としている。
【発明の効果】
【０００９】
本発明の撮像装置では、光学系に起因する複数種類の画質劣化に対して、順次補正処理を行う際、周辺光量落ち補正処理後の波形の歪みで、倍率色収差補正処理が破綻することを防ぎ、最終的な出力画像の画質を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１の撮像装置の構成を説明するブロック図
【図２】実施例１の飽和分布解析手段のブロック図
【図３】実施例１の切替制御信号決定手段での処理を説明するフローチャート
【図４】実施例１で、飽和画素数と切替制御信号の関係を示す模式図
【図５】実施例１で、１フレーム分の光学補正処理が終了するまでの処理の流れを説明するフローチャート
【図６】切替制御信号と、歪曲収差補正、周辺光量落ち補正の処理順の関係を示す表
【図７】入力画像のある波形に対して、周辺光量落ち補正、歪曲収差補正を行った例を示す模式図
【図８】実施例２の撮像装置の構成を説明するブロック図
【図９】実施例２のＲ用光学補正手段、Ｂ用光学補正手段の構成を示すブロック図
【図１０】切替制御信号と、倍率収差補正、周辺光量落ち補正の処理順の関係を示す表
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００１２】
［実施例１］
図１は、実施例１の撮像装置の構成を示すブロック図である。
【００１３】
図１において、１は、レンズ、絞り等を含む光学系であり、２の光学系駆動手段によって駆動制御される。３は撮像素子であり、撮像素子駆動手段４によって駆動制御される。５は、Ａ／Ｄ変換手段であり、撮像素子３から出力されるアナログ画像信号をデジタル画像信号に変換する。６は飽和分布解析手段であり、Ａ／Ｄ変換手段５から出力されるデジタル画像信号の信号レベルと、周辺光量落ち補正の補正特性に基づいて、周辺光量落ち補正後に、信号レベルが回路の飽和レベルに達する画素がどのくらい分布しているかを解析する。８は、光学系１の光学特性に起因した、画像の信号レベルの低下を、ゲインを乗ずることで補正する、周辺光量落ち手段、１０は、光学系１の光学特性に起因した画像の歪を、画素位置の変換によって補正する、歪曲収差補正手段である。１３は、光学系１の光学特性を保持した光学特性データベースである。周辺光量落ち補正手段８、歪曲収差補正手段１０での補正処理は、それぞれ、光学特性データベース１３に保持された光学特性に基づいて、補正特性が決定される。
【００１４】
切替手段７は、周辺光量落ち手段８への入力画像信号を切替える手段であり、システム制御部１２からの制御に基づいて、Ａ／Ｄ変換手段５の出力画像または、歪曲収差補正手段１０の出力画像のいずれかを選択して出力する。切替手段９は、歪曲収差補正手段１０への入力画像信号を切替える手段であり、システム制御部１２からの制御に基づいて、Ａ／Ｄ変換手段５の出力画像または、周辺光量落ち補正手段８の出力画像のいずれかを選択して出力する。切替手段１１は、システム制御部１２の制御に基づいて、歪曲収差補正手段１０の出力画像または、周辺光量落ち補正手段８の出力画像のいずれかを選択して、映像信号出力端子１４に出力する。
【００１５】
次に、実施例１の撮像装置における動作の概要について説明する。
【００１６】
撮影が開始されると、システム制御部１２から指示されるズーム、フォーカス、絞りの設定に基づいて、光学系駆動手段２が動作し、光学系１の駆動制御が行われる。
【００１７】
それと同時に、システム制御部１２は、光学系１の光学設定（ズーム、絞り、フォーカス等の設定値）に基づいて、光学特性データベース１３を探索し、光学設定に応じた周辺光量落ち、歪曲収差の補正特性を、周辺光量落ち補正手段８、歪曲収差補正手段１０に、それぞれ転送する。
【００１８】
光学系１を介して、撮像素子３に結像された被写体像は、撮像素子駆動手段４での駆動制御によって、撮像素子３から読み出され、Ａ／Ｄ変換手段５によって、デジタル画像に変換される。
【００１９】
Ａ／Ｄ変換手段５の出力画像は、飽和分布解析手段６、切替手段７、切替手段９にそれぞれ入力される。
【００２０】
飽和分布解析手段６では、Ａ／Ｄ変換手段５の出力画像に対して、周辺光量落ち補正後に回路の飽和レベルに達する画素が、一画面内にどの程度分布しているかを解析し、解析結果をシステム制御部１２に送出する。
【００２１】
システム制御部１２では、飽和分布解析手段６での、飽和分布解析結果に基づき、切替手段７、切替手段８、切替手段１１に対して、切替制御信号を送出する。
【００２２】
ここで、本発明の撮像装置の特徴は、周辺光量落ち補正後に回路の飽和レベルに達する画素が、どの程度分布しているかに応じて、周辺光量落ち補正処理と歪曲収差補正処理の順番を切り替えることである。すなわち、飽和分布解析手段６での、飽和分布解析結果に基づいて、切替手段７、切替手段８、切替手段１１を制御することにより、Ａ／Ｄ変換手段５の出力画像に対し、周辺光量落ち補正を行ってから、倍率色収差補正を行う場合と、Ａ／Ｄ変換手段５の出力画像に対し、倍率色収差補正を行ってから、周辺光量落ち補正を行う場合の、二通りの処理順を、適応的に切り替えている。
【００２３】
歪曲収差補正、周辺光量落ち補正ともに、光学データベースに保持されている補正特性は、画素位置対する関数となっている。したがって、画素位置の変換を伴う歪曲収差補正を先に行うと、補正対象の画像に発生している周辺光量落ちの特性と、光学データベースから読み出された周辺光量落ち補正の補正特性とが乖離してしまう可能性がある。したがって、通常は、画素位置の変換を伴わない周辺光量落ち補正を先に行ってから、歪曲収差補正を行うのが好ましい。しかし、入力画像と光学特性によっては、歪曲収差補正を行ってから、周辺光量落ち補正を行う方が好ましい場合がある。その一例を図７を参照して説明する。
【００２４】
図７において、（ａ）はＡ／Ｄ変換後の入力画像の波形を示しており、（ｂ）は、（ａ）に対して周辺光量落ち補正を行った結果の波形である。（ｃ）、（ｄ）は、それぞれ、（ａ）、（ｂ）に対して、光学補正データベースに保持されている歪曲収差補正の特性を参照して、歪曲収差補正を行った結果である。
【００２５】
本実施例の歪曲収差補正では、光学補正ＤＢに保持されている歪曲収差補正特性を参照し、例えば、着目画素Ｐｎが画素Ｐｎ’の位置にくるよう、着目画素Ｐｎとその周囲の局所領域の画素を用いて補間を行うので、周辺光量落ち補正前の波形に対して歪曲収差補正を行った図７（ｃ）では、正しく画素位置変換を行うことができるのに対し、周辺光量落ち補正によって信号レベルが飽和した波形（ｂ）に対して歪曲収差補正を行うと、適切に画素位置変換が行われなくなってしまうことがわかる。したがって、このような場合には、歪曲収差補正の後に周辺光量落ち補正を行うことが好ましい。
【００２６】
周辺光量落ち補正手段８は、システム制御部１２から転送された補正特性を参照し、切替手段７の出力画像に対して、画素毎に所定のゲインをかけることによって、光学系に起因した画面周辺部での信号レベルの低下を補正する。
【００２７】
歪曲収差補正手段１０は、システム制御部１２から転送された補正特性を参照し、切替手段９の出力画像に対して、画素毎に所定の画素位置の変換を行うことによって、光学系に起因した画像の歪を補正する。画素位置の変換は、例えば、着目画素を含む局所領域の画素を用いて、任意画素位置の画素値を補間することで実現しているが、別の方法でも構わない。
【００２８】
切替手段１１では、システム制御部１２から送出される制御信号に基づいて、Ａ／Ｄ変換手段５の出力画像に対し、周辺光量落ち補正を行ってから、歪曲収差補正を行った画像か、Ａ／Ｄ変換手段５の出力画像に対し、歪曲収差補正補正を行ってから、周辺光量落ち補正を行った画像のいずれかを選択して、映像信号出力端子１４に送出する。
【００２９】
以上で、１フレーム分の映像信号の生成が終了する。上記一連の処理を、撮影期間中、フレーム毎に行うことで、光学系の特性に起因した画質劣化（歪曲収差、周辺光量落ち）が補正された映像信号を出力することができる。
【００３０】
次に、飽和分布解析手段６の構成と動作について、図２を参照しながら詳細に説明する。
【００３１】
図２において、６１は飽和判定手段、６３は飽和画素数カウンタ、６４は記憶手段、６５は切替制御信号決定手段である。
【００３２】
飽和判定手段６１では、Ａ／Ｄ変換手段５から出力されたデジタル画像の信号レベルに、システム制御部１２から送信される、着目画素に対応した周辺光量落ち補正ゲインを乗じたものが、飽和レベルを超えるかどうかを判定する。着目画素の信号レベルに対して、周辺光量落ち補正特性を乗じた値が、飽和レベルを超える場合には、周辺光量落ち補正後に飽和画素となると判定する。
【００３３】
着目画素に対応した周辺光量落ち補正特性は、光学系のズーム、フォーカス、絞りの設定と、着目画素の水平、垂直の画素アドレスから算出された像高に基づいて、システム制御部１２で一意に決定される。また、飽和レベルは、回路の出力信号のビット幅に基づいて、定められた値である。
【００３４】
飽和画素数カウンタ６３では、飽和判定手段６１の出力を参照し、現フレームにおいて、周辺光量落ち補正後に回路飽和に達すると判定された画素数をカウントアップする。
【００３５】
切替制御信号決定手段６５では、飽和画素数カウンタ６３から出力される、現フレームの周辺光量落ち補正後の飽和画素数と、記憶手段６４に格納された、１フレーム前の画像のための切替制御信号、および、システム制御部１２から送出される閾値Ｃ１、Ｃ２を用いて、現フレームの画像のための切替制御信号を生成する。
【００３６】
尚、閾値Ｃ１、Ｃ２は、現フレームの周辺光量落ち補正後の飽和画素数を判定するために用いられ、光学系１の歪曲収差の特性、及び、１フレームの画素数を考慮して、あらかじめ算出された値が、システム制御部１２内の図示しないＲＡＭに保持されているものとする。また、Ｃ１はＣ２よりも小さい値であるとする。
【００３７】
歪曲収差が発生しやすい光学条件では、周辺光量落ち補正を先に行うことによって、画像が飽和し、波形に、歪曲収差以外の歪が生じてしまった場合に、後段の歪曲収差補正処理での補正誤差による画質劣化が目立ちやすくなる。したがって、補正の処理順が、歪曲収差補正先行と選択されやすくするため、周辺光量落ち補正後の飽和画素数の判定閾値Ｃ１、Ｃ２を小さい値に設定する。（例えば、１フレームの画素数の１０％を閾値Ｃ１と設定し、１フレームの画素数の２０％を閾値Ｃ２と設定する。）。
【００３８】
一方、歪曲収差が発生しにくい光学条件では、周辺光量落ち補正を先に行うことによって、画像が飽和してしまっても、後段の歪曲収差補正処理での補正誤差による画質劣化が目立ちにくい。したがって、補正の処理順が、周辺光量落ち補正先行と選択されやすくするため、周辺光量落ち補正後の飽和画素数の判定閾値Ｃ１、Ｃ２を大きめに設定する。（例えば、１フレームの画素数の７０％を閾値Ｃ１と設定し、１フレームの画素数の９０％を閾値Ｃ２と設定する。）。
【００３９】
図３は、切替制御信号決定手段６５での処理の流れを示すフローチャートである。
【００４０】
Ｓ２００で、現フレームの周辺光量落ち補正後の飽和画素数を閾値Ｃ１と比較し、現フレームの周辺光量落ち補正後の飽和画素数が閾値Ｃ１よりも小さい場合には、Ｓ２０１において切替制御信号をＬレベルに設定する。現フレームの周辺光量落ち補正後の飽和画素数が閾値Ｃ１以上の場合は、Ｓ２０２において、現フレームの周辺光量落ち補正後の飽和画素数を閾値Ｃ２と比較し、現フレームの周辺光量落ち補正後の飽和画素数が閾値Ｃ２以上の場合には、Ｓ２０３において、切替制御信号をＨレベルに設定する。また、現フレームの周辺光量落ち補正後の飽和画素数が閾値Ｃ１以上で、かつ、閾値Ｃ２よりも小さい場合には、Ｓ２０４に進み、１フレーム前の画像に対する切替制御信号を、現フレームの切替制御信号として用いる。
【００４１】
ここで、切替制御信号として、Ｌレベルが設定された場合は、図７（ａ）のように、画面内において、周辺光量落ち補正後に回路の飽和レベルに達する画素があまり分布していないとみなすことができる。
【００４２】
一方、切替制御信号として、Ｈレベルが設定された場合は、図７（ｂ）のように、画面内において、周辺光量落ち補正後に回路の飽和レベルに達する画素が多く分布しているとみなすことができる。
【００４３】
また、動画撮影中、ノイズや手ぶれ等によって、現フレームの周辺光量落ち補正後の飽和画素数が微小に変動した場合に、切替手段７、切替手段９、切替手段１１での制御が敏感に反応してしまうと、同じようなシーンを撮影しているのに、周辺光量落ち補正処理とう歪曲収差補正処理の処理順がフレーム毎に切り替わってしまい、制御が不安定になる可能性がある。このような状況を防ぐために、本発明の撮像装置では、現フレームの周辺光量落ち補正後の飽和画素数が、閾値Ｃ１と閾値Ｃ２の間で、ゆらいでいる場合には、図４に示すように、１フレーム前の切替制御信号を維持するようにしている。
【００４４】
以上のようにして決定した切替制御信号は、記憶手段６４に上書きされ、また、切替手段７、切替手段９、切替手段１１に送出される。
【００４５】
次に、Ａ／Ｄ変換手段の出力画像に対して、周辺光量落ち補正、歪曲収差補正が行われ、映像信号出力端子から出力されるまでの処理の流れについて、図５のフローチャートと、図６の表を参照しながら詳細に説明する。
【００４６】
図５において、Ｓ１００では、システム制御部１２が、内部の画素位置カウンタと、飽和画素数カウンタ６３を初期化する。画素位置カウンタは、着目画素の画素位置を示すＸＹアドレスをカウントアップするものとし、１フレーム分の処理が終わるごとに開始画素位置のＸＹアドレスに対応した初期値にリセットされるものとする。
【００４７】
Ｓ１０１では、Ａ／Ｄ変換手段から出力されたデジタル画像に対して、飽和判定手段６１での処理が行われ、着目画素が、周辺光量落ち補正後に回路の飽和レベルに達するか否かが判定される。
【００４８】
Ｓ１０２では、Ｓ１０１において、周辺光量落ち補正後に回路の飽和レベルに達すると判定された場合に、飽和画素数カウンタをインクリメントする。
【００４９】
Ｓ１０３では、システム制御部１２が画素位置カウンタの値を参照し、画面内の全ての画素について、飽和判定手段６１での処理を行ったかを判定する。画面内の全ての画素について飽和判定手段６１での処理が終了した場合には、１０５に進み、そうでない場合には、Ｓ１０４に進む。
【００５０】
Ｓ１０４では、システム制御部１２が、画素位置カウンタの値を１画素分インクリメントする。
【００５１】
Ｓ１０５では、切替制御信号決定手段６５において、飽和画素数カウンタで算出された、現フレームの周辺光量落ち補正後の飽和画素数と、閾値Ｃ１、Ｃ２、および、記憶手段６４に保持されている１フレーム前の切り替え制御信号を参照し、現フレームの画像に対応する切替制御信号を決定する。
【００５２】
Ｓ１０６では、システム制御部１２が、現フレームの切替制御信号を記憶手段６４に上書きする。
【００５３】
Ｓ１０７では、システム制御部１２が、現フレームの切替制御信号を、切替手段７、切替手段９、切替手段１１に送出する。
【００５４】
Ｓ１０８では、切替制御信号に基づいて、周辺光量落ち補正手段８、および、歪曲収差補正手段１０での補正処理が所定の順番で行われるよう、システム制御部１２が、切替手段７、切替手段９、切替手段１１を制御する。
【００５５】
切替制御信号と歪曲収差補正処理、周辺光量落ち補正処理の順番の関係は、図６の表のようになる。
【００５６】
切替制御信号がＨレベルに設定されている場合には、周辺光量落ち補正後に回路の飽和レベルに達する画素が、補正対象の画像に多く含まれていると推定されるので、Ａ／Ｄ変換手段の出力画像に対して、歪曲収差補正処理を行ってから、周辺光量落ち補正処理を行うよう、切替手段７、切替手段９、切替手段１１を制御する。したがって、切替手段７では歪曲収差補正手段の出力画像を選択し、切替手段９ではＡ／Ｄ変換手段の出力画像を選択し、切替手段１１では周辺光量落ち補正手段の出力画像を選択するよう制御される。
【００５７】
一方、切替制御信号がＬレベルに設定されている場合には、周辺光量落ち補正後に回路の飽和レベルに達する画素が、補正対象の画像にそれほど含まれていないと推定されるので、Ａ／Ｄ変換手段の出力画像に対して、周辺光量落ち補正処理を行ってから、歪曲収差補正処理を行うよう、切替手段７、切替手段９、切替手段１１を制御する。
【００５８】
したがって、切替手段７ではＡ／Ｄ変換手段の出力画像を選択し、切替手段９では、周辺光量落ち補正手段８の出力画像を選択し、切替手段１１では、歪曲収差補正手段の出力画像を選択するよう制御される。
【００５９】
以上、実施例１の撮像装置では、複数種類の光学補正処理を順次行う際に、あらかじめ処理対象の画像を光学条件に基づいて解析し、補正処理が破綻しないように、補正処理の順番を制御することで、光学補正による画質劣化を低減できる。歪曲収差補正、周辺光量落ち補正ともに、補正特性は、像高に対して定義されているので、前段の処理によって補正対象の画像の画素位置が変動してしまうと、既知の補正特性で適切に補正できなくなる場合があるので、通常は、画素位置の変換を伴わない周辺光量落ち補正処理を先に行うが、周辺光量落ち補正によって、画像の信号レベルが飽和し、歪曲収差以外で、画像の信号波形に歪が生じると推測される場合には、歪曲収差補正を先に行うことで、最終的な補正後の画質を良好にすることができる。
【００６０】
［実施例２］
図８は、実施例２の撮像装置の構成を示すブロック図である。図８において、光学系１、光学系駆動手段２、撮像素子３、撮像素子駆動手段４、Ａ／Ｄ変換手段５、映像信号出力端子１４は、実施例１と同様であるので説明を省略する。実施例２の撮像装置では、色分離手段１５において、Ａ／Ｄ変換後のデジタル画像を、Ｒ、Ｇ、Ｂの色成分に分離し、色成分毎に光学補正処理を行った後、輝度色差生成手段１９で、光学補正後のＲＧＢ信号を輝度、色差信号に変換する点が実施例１と異なる。
【００６１】
Ｒ用光学補正手段１６、Ｂ用光学補正手段１７では、図９（ａ）に示すように、倍率色収差補正処理、周辺光量落ち補正処理が行われ、Ｇ用光学補正手段１８では、図９（ｂ）に示すように、周辺光量落ち補正処理のみが行われる。これは、本実施例の倍率色収差補正処理では、倍率色収差によるＲ、Ｂの画素位置のずれを、Ｇの画素位置を基準に補正するためである。
【００６２】
Ｒ用光学補正手段１６での、倍率色収差補正手段２０と周辺光量落ち補正手段７の処理の順番は、色分離手段１５から出力されるＲ画像の信号レベルと、システム制御部１２から送出されるＲ画像用の周辺光量落ち補正の補正特性に基づいた、飽和分布解析手段６での解析結果によって決まる。具体的には、Ｒ画像に対して、周辺光量落ち補正のゲインをかけたものが、回路の飽和レベルを越えるか否かを判定し、画面内で、周辺光量落ち補正後に回路の飽和レベルを超える画素が多く分布している場合には、Ｒ用の切替手段７、９、１１に対する切替制御信号をＨレベルに設定し、この条件を見たさない場合には、Ｒ用の切替手段７、９、１１に対する切替制御信号をＬレベルに設定する。
【００６３】
同様に、Ｂ用光学補正手段１７においても、倍率色収差補正手段２０と周辺光量落ち補正手段７の処理の順番は、色分離手段１５から出力されるＢ画像の信号レベルと、システム制御部１２から送出されるＢ画像用の周辺光量落ち補正の補正特性に基づいた、飽和分布解析手段６での解析結果によって決まる。具体的には、Ｂ画像に対して、周辺光量落ち補正のゲインをかけたものが、回路の飽和レベルを越えるか否かを判定し、画面内で、周辺光量落ち補正後に回路の飽和レベルを超える画素が多く分布している場合には、Ｂ用の切替手段７、９、１１に対する切替制御信号をＨレベルに設定し、この条件を見たさない場合には、Ｂ用の切替手段７、９、１１に対する切替制御信号をＬレベルに設定する。
【００６４】
Ｒ用光学補正手段１６、Ｂ用光学補正手段１７において、Ｒ用、Ｂ用の切替制御信号と処理順との対応関係は、いずれも図１０のようになっており、切替制御信号がＨレベルの場合には、倍率色収差補正を行ってから、周辺光量落ち補正を行い、切替制御信号がＬレベルの場合には、周辺光量落ち補正を行ってから、倍率色収差補正を行うよう、切替手段７、９、１１が制御される。
【００６５】
Ｒ用光学補正手段１６、Ｂ用光学補正手段１７において、飽和分布解析手段６での処理の詳細は、実施例１と同様であるので説明を省略する。
【００６６】
また、実施例２において、周辺光量落ち補正後に飽和する画素がどのくらいあるかの解析を、色毎に行っているのは、色毎に撮像素子の感度が異なり、色分離手段１５から出力される信号レベルに差があるためである。すなわち、被写体の色や光源の色温度によって、周辺光量落ち補正後に飽和する状況が、ＲとＢとで異なるので、飽和分布解析もＲとＢとで独立して行っている。
【００６７】
以上のように、実施例２の撮像装置においても、複数種類の光学補正処理を順次行う際に、あらかじめ処理対象の画像を光学条件に基づいて解析し、補正処理が破綻しないように、補正処理の順番を制御することで、光学補正による画質劣化を低減できる。倍率色収差補正、周辺光量落ち補正ともに、補正特性は、像高に対して定義されているので、前段の処理によって補正対象の画像の画素位置が変動してしまうと、既知の補正特性で適切に補正できなくなる場合があるので、通常は、画素位置の変換を伴わない周辺光量落ち補正処理を先に行うが、周辺光量落ち補正によって、画像の信号レベルが飽和し、倍率色収差以外で、画像の信号波形に歪が生じると推測される場合には、倍率色収差補正を先に行うことで、最終的な補正後の画質を良好にすることができる。
【符号の説明】
【００６８】
１ 光学系
２ 光学系駆動手段
３ 撮像素子
４ 撮像素子駆動手段
５ Ａ／Ｄ変換手段
６ 飽和分布解析手段
７、９、１１ 切替手段
８ 周辺光量落ち手段
１０ 歪曲収差補正手段
１２ システム制御部
１３ 光学補正データベース
１４ 映像信号出力端子
２０ 倍率色収差補正手段
【技術分野】
【０００１】
本発明は撮像装置に関し、特に光学系に起因した画質劣化を画像信号処理によって補正するものに関する。
【背景技術】
【０００２】
従来、光学系に起因する色収差、歪曲収差、周辺光量落ち等の画質劣化を、撮像装置本体内の画像信号処理によって低減する撮像装置が提案されている。このような撮像装置では、色収差、歪曲収差、周辺光量落ち等の光学系に起因する画質劣化が、焦点距離、絞り、フォーカス位置（以下、光学パラメータと呼ぶ）と、光軸中心からの距離に応じて変化することから、あらかじめ、補正特性を、メモリに記憶しておき、光学パラメータの設定に応じて、メモリから補正特性を参照し、撮像装置内の信号処理で補正を行っている。（特許文献１）。
【０００３】
また、光学起因の画質劣化を撮像装置内の信号処理で補正する場合に、色収差、歪曲収差等に対しては、画像内の画素位置を補正する処理が行われ、周辺光量落ち等に対しては、画像の信号レベルを補正する処理が行われる。
【０００４】
このとき、色収差、歪曲収差の補正処理によって、周辺光量落ちの補正特性が変化してしまい、あらかじめデータベースに保持されている周辺光量落ち補正特性との誤差が大きくなる場合がある。したがって、このような補正誤差による画質劣化を懸念して、信号レベルの補正を行ってから、画素位置の補正を行うようにした撮像装置が提案されている。（特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２２５２７０号公報
【特許文献２】特開２００２−１９０９７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献２に記載の撮像装置では、周辺光量落ちの補正を行った後に、色収差、歪曲収差用の補正を行うよう、補正の順番が固定されているので、色収差、歪曲収差用の補正が、前段に行われる周辺光量落ち補正処理の影響を受け、画質劣化が生じる場合もある。すなわち、光学補正データベースに保持されている、色収差、歪曲収差用の補正特性は、前段で行われた信号処理による波形の形状変化を考慮していないので、例えば、周辺光量落ち補正によって、入力画像に対して著しい波形の形状変化が発生すると、光学補正データベースに保持されている、既知の色収差、歪曲収差用の補正特性では、適切に補正が行われなくなってしまうという課題がある。
【課題を解決するための手段】
【０００７】
上記の課題に鑑みて、本発明の撮像装置では、光学系と、撮像素子と、前記光学系に起因した画像の信号レベルの変動を補正する、第一の光学補正処理手段と、前記光学系に起因した画像の画素位置の変化を補正する、第二の光学補正手段と、前記第一の光学補正処理手段によって信号レベルが飽和する画素がどの程度含まれるかを解析する、飽和解析手段と、処理順制御手段を有し、前記処理順制御手段は、前記飽和解析手段の結果に基づいて、前記第一の光学補正処理手段と前記第二の光学補正処理手段の処理順を制御することを特徴としている。
【０００８】
また、本発明の撮像装置において、前記処理順切替手段は、着目画像において、前記第一の光学補正処理手段後に、飽和する画素が多いと推定される場合には場合には、前記第二の光学補正処理の後に、前記第一の光学補正処理を行い、着目画像において、前記第一の光学補正処理後に、飽和する画素が少ないと推定される場合には場合には、前記第一の光学補正処理の後に、前記第二の光学補正処理を行うことを特徴としている。
【発明の効果】
【０００９】
本発明の撮像装置では、光学系に起因する複数種類の画質劣化に対して、順次補正処理を行う際、周辺光量落ち補正処理後の波形の歪みで、倍率色収差補正処理が破綻することを防ぎ、最終的な出力画像の画質を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１の撮像装置の構成を説明するブロック図
【図２】実施例１の飽和分布解析手段のブロック図
【図３】実施例１の切替制御信号決定手段での処理を説明するフローチャート
【図４】実施例１で、飽和画素数と切替制御信号の関係を示す模式図
【図５】実施例１で、１フレーム分の光学補正処理が終了するまでの処理の流れを説明するフローチャート
【図６】切替制御信号と、歪曲収差補正、周辺光量落ち補正の処理順の関係を示す表
【図７】入力画像のある波形に対して、周辺光量落ち補正、歪曲収差補正を行った例を示す模式図
【図８】実施例２の撮像装置の構成を説明するブロック図
【図９】実施例２のＲ用光学補正手段、Ｂ用光学補正手段の構成を示すブロック図
【図１０】切替制御信号と、倍率収差補正、周辺光量落ち補正の処理順の関係を示す表
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００１２】
［実施例１］
図１は、実施例１の撮像装置の構成を示すブロック図である。
【００１３】
図１において、１は、レンズ、絞り等を含む光学系であり、２の光学系駆動手段によって駆動制御される。３は撮像素子であり、撮像素子駆動手段４によって駆動制御される。５は、Ａ／Ｄ変換手段であり、撮像素子３から出力されるアナログ画像信号をデジタル画像信号に変換する。６は飽和分布解析手段であり、Ａ／Ｄ変換手段５から出力されるデジタル画像信号の信号レベルと、周辺光量落ち補正の補正特性に基づいて、周辺光量落ち補正後に、信号レベルが回路の飽和レベルに達する画素がどのくらい分布しているかを解析する。８は、光学系１の光学特性に起因した、画像の信号レベルの低下を、ゲインを乗ずることで補正する、周辺光量落ち手段、１０は、光学系１の光学特性に起因した画像の歪を、画素位置の変換によって補正する、歪曲収差補正手段である。１３は、光学系１の光学特性を保持した光学特性データベースである。周辺光量落ち補正手段８、歪曲収差補正手段１０での補正処理は、それぞれ、光学特性データベース１３に保持された光学特性に基づいて、補正特性が決定される。
【００１４】
切替手段７は、周辺光量落ち手段８への入力画像信号を切替える手段であり、システム制御部１２からの制御に基づいて、Ａ／Ｄ変換手段５の出力画像または、歪曲収差補正手段１０の出力画像のいずれかを選択して出力する。切替手段９は、歪曲収差補正手段１０への入力画像信号を切替える手段であり、システム制御部１２からの制御に基づいて、Ａ／Ｄ変換手段５の出力画像または、周辺光量落ち補正手段８の出力画像のいずれかを選択して出力する。切替手段１１は、システム制御部１２の制御に基づいて、歪曲収差補正手段１０の出力画像または、周辺光量落ち補正手段８の出力画像のいずれかを選択して、映像信号出力端子１４に出力する。
【００１５】
次に、実施例１の撮像装置における動作の概要について説明する。
【００１６】
撮影が開始されると、システム制御部１２から指示されるズーム、フォーカス、絞りの設定に基づいて、光学系駆動手段２が動作し、光学系１の駆動制御が行われる。
【００１７】
それと同時に、システム制御部１２は、光学系１の光学設定（ズーム、絞り、フォーカス等の設定値）に基づいて、光学特性データベース１３を探索し、光学設定に応じた周辺光量落ち、歪曲収差の補正特性を、周辺光量落ち補正手段８、歪曲収差補正手段１０に、それぞれ転送する。
【００１８】
光学系１を介して、撮像素子３に結像された被写体像は、撮像素子駆動手段４での駆動制御によって、撮像素子３から読み出され、Ａ／Ｄ変換手段５によって、デジタル画像に変換される。
【００１９】
Ａ／Ｄ変換手段５の出力画像は、飽和分布解析手段６、切替手段７、切替手段９にそれぞれ入力される。
【００２０】
飽和分布解析手段６では、Ａ／Ｄ変換手段５の出力画像に対して、周辺光量落ち補正後に回路の飽和レベルに達する画素が、一画面内にどの程度分布しているかを解析し、解析結果をシステム制御部１２に送出する。
【００２１】
システム制御部１２では、飽和分布解析手段６での、飽和分布解析結果に基づき、切替手段７、切替手段８、切替手段１１に対して、切替制御信号を送出する。
【００２２】
ここで、本発明の撮像装置の特徴は、周辺光量落ち補正後に回路の飽和レベルに達する画素が、どの程度分布しているかに応じて、周辺光量落ち補正処理と歪曲収差補正処理の順番を切り替えることである。すなわち、飽和分布解析手段６での、飽和分布解析結果に基づいて、切替手段７、切替手段８、切替手段１１を制御することにより、Ａ／Ｄ変換手段５の出力画像に対し、周辺光量落ち補正を行ってから、倍率色収差補正を行う場合と、Ａ／Ｄ変換手段５の出力画像に対し、倍率色収差補正を行ってから、周辺光量落ち補正を行う場合の、二通りの処理順を、適応的に切り替えている。
【００２３】
歪曲収差補正、周辺光量落ち補正ともに、光学データベースに保持されている補正特性は、画素位置対する関数となっている。したがって、画素位置の変換を伴う歪曲収差補正を先に行うと、補正対象の画像に発生している周辺光量落ちの特性と、光学データベースから読み出された周辺光量落ち補正の補正特性とが乖離してしまう可能性がある。したがって、通常は、画素位置の変換を伴わない周辺光量落ち補正を先に行ってから、歪曲収差補正を行うのが好ましい。しかし、入力画像と光学特性によっては、歪曲収差補正を行ってから、周辺光量落ち補正を行う方が好ましい場合がある。その一例を図７を参照して説明する。
【００２４】
図７において、（ａ）はＡ／Ｄ変換後の入力画像の波形を示しており、（ｂ）は、（ａ）に対して周辺光量落ち補正を行った結果の波形である。（ｃ）、（ｄ）は、それぞれ、（ａ）、（ｂ）に対して、光学補正データベースに保持されている歪曲収差補正の特性を参照して、歪曲収差補正を行った結果である。
【００２５】
本実施例の歪曲収差補正では、光学補正ＤＢに保持されている歪曲収差補正特性を参照し、例えば、着目画素Ｐｎが画素Ｐｎ’の位置にくるよう、着目画素Ｐｎとその周囲の局所領域の画素を用いて補間を行うので、周辺光量落ち補正前の波形に対して歪曲収差補正を行った図７（ｃ）では、正しく画素位置変換を行うことができるのに対し、周辺光量落ち補正によって信号レベルが飽和した波形（ｂ）に対して歪曲収差補正を行うと、適切に画素位置変換が行われなくなってしまうことがわかる。したがって、このような場合には、歪曲収差補正の後に周辺光量落ち補正を行うことが好ましい。
【００２６】
周辺光量落ち補正手段８は、システム制御部１２から転送された補正特性を参照し、切替手段７の出力画像に対して、画素毎に所定のゲインをかけることによって、光学系に起因した画面周辺部での信号レベルの低下を補正する。
【００２７】
歪曲収差補正手段１０は、システム制御部１２から転送された補正特性を参照し、切替手段９の出力画像に対して、画素毎に所定の画素位置の変換を行うことによって、光学系に起因した画像の歪を補正する。画素位置の変換は、例えば、着目画素を含む局所領域の画素を用いて、任意画素位置の画素値を補間することで実現しているが、別の方法でも構わない。
【００２８】
切替手段１１では、システム制御部１２から送出される制御信号に基づいて、Ａ／Ｄ変換手段５の出力画像に対し、周辺光量落ち補正を行ってから、歪曲収差補正を行った画像か、Ａ／Ｄ変換手段５の出力画像に対し、歪曲収差補正補正を行ってから、周辺光量落ち補正を行った画像のいずれかを選択して、映像信号出力端子１４に送出する。
【００２９】
以上で、１フレーム分の映像信号の生成が終了する。上記一連の処理を、撮影期間中、フレーム毎に行うことで、光学系の特性に起因した画質劣化（歪曲収差、周辺光量落ち）が補正された映像信号を出力することができる。
【００３０】
次に、飽和分布解析手段６の構成と動作について、図２を参照しながら詳細に説明する。
【００３１】
図２において、６１は飽和判定手段、６３は飽和画素数カウンタ、６４は記憶手段、６５は切替制御信号決定手段である。
【００３２】
飽和判定手段６１では、Ａ／Ｄ変換手段５から出力されたデジタル画像の信号レベルに、システム制御部１２から送信される、着目画素に対応した周辺光量落ち補正ゲインを乗じたものが、飽和レベルを超えるかどうかを判定する。着目画素の信号レベルに対して、周辺光量落ち補正特性を乗じた値が、飽和レベルを超える場合には、周辺光量落ち補正後に飽和画素となると判定する。
【００３３】
着目画素に対応した周辺光量落ち補正特性は、光学系のズーム、フォーカス、絞りの設定と、着目画素の水平、垂直の画素アドレスから算出された像高に基づいて、システム制御部１２で一意に決定される。また、飽和レベルは、回路の出力信号のビット幅に基づいて、定められた値である。
【００３４】
飽和画素数カウンタ６３では、飽和判定手段６１の出力を参照し、現フレームにおいて、周辺光量落ち補正後に回路飽和に達すると判定された画素数をカウントアップする。
【００３５】
切替制御信号決定手段６５では、飽和画素数カウンタ６３から出力される、現フレームの周辺光量落ち補正後の飽和画素数と、記憶手段６４に格納された、１フレーム前の画像のための切替制御信号、および、システム制御部１２から送出される閾値Ｃ１、Ｃ２を用いて、現フレームの画像のための切替制御信号を生成する。
【００３６】
尚、閾値Ｃ１、Ｃ２は、現フレームの周辺光量落ち補正後の飽和画素数を判定するために用いられ、光学系１の歪曲収差の特性、及び、１フレームの画素数を考慮して、あらかじめ算出された値が、システム制御部１２内の図示しないＲＡＭに保持されているものとする。また、Ｃ１はＣ２よりも小さい値であるとする。
【００３７】
歪曲収差が発生しやすい光学条件では、周辺光量落ち補正を先に行うことによって、画像が飽和し、波形に、歪曲収差以外の歪が生じてしまった場合に、後段の歪曲収差補正処理での補正誤差による画質劣化が目立ちやすくなる。したがって、補正の処理順が、歪曲収差補正先行と選択されやすくするため、周辺光量落ち補正後の飽和画素数の判定閾値Ｃ１、Ｃ２を小さい値に設定する。（例えば、１フレームの画素数の１０％を閾値Ｃ１と設定し、１フレームの画素数の２０％を閾値Ｃ２と設定する。）。
【００３８】
一方、歪曲収差が発生しにくい光学条件では、周辺光量落ち補正を先に行うことによって、画像が飽和してしまっても、後段の歪曲収差補正処理での補正誤差による画質劣化が目立ちにくい。したがって、補正の処理順が、周辺光量落ち補正先行と選択されやすくするため、周辺光量落ち補正後の飽和画素数の判定閾値Ｃ１、Ｃ２を大きめに設定する。（例えば、１フレームの画素数の７０％を閾値Ｃ１と設定し、１フレームの画素数の９０％を閾値Ｃ２と設定する。）。
【００３９】
図３は、切替制御信号決定手段６５での処理の流れを示すフローチャートである。
【００４０】
Ｓ２００で、現フレームの周辺光量落ち補正後の飽和画素数を閾値Ｃ１と比較し、現フレームの周辺光量落ち補正後の飽和画素数が閾値Ｃ１よりも小さい場合には、Ｓ２０１において切替制御信号をＬレベルに設定する。現フレームの周辺光量落ち補正後の飽和画素数が閾値Ｃ１以上の場合は、Ｓ２０２において、現フレームの周辺光量落ち補正後の飽和画素数を閾値Ｃ２と比較し、現フレームの周辺光量落ち補正後の飽和画素数が閾値Ｃ２以上の場合には、Ｓ２０３において、切替制御信号をＨレベルに設定する。また、現フレームの周辺光量落ち補正後の飽和画素数が閾値Ｃ１以上で、かつ、閾値Ｃ２よりも小さい場合には、Ｓ２０４に進み、１フレーム前の画像に対する切替制御信号を、現フレームの切替制御信号として用いる。
【００４１】
ここで、切替制御信号として、Ｌレベルが設定された場合は、図７（ａ）のように、画面内において、周辺光量落ち補正後に回路の飽和レベルに達する画素があまり分布していないとみなすことができる。
【００４２】
一方、切替制御信号として、Ｈレベルが設定された場合は、図７（ｂ）のように、画面内において、周辺光量落ち補正後に回路の飽和レベルに達する画素が多く分布しているとみなすことができる。
【００４３】
また、動画撮影中、ノイズや手ぶれ等によって、現フレームの周辺光量落ち補正後の飽和画素数が微小に変動した場合に、切替手段７、切替手段９、切替手段１１での制御が敏感に反応してしまうと、同じようなシーンを撮影しているのに、周辺光量落ち補正処理とう歪曲収差補正処理の処理順がフレーム毎に切り替わってしまい、制御が不安定になる可能性がある。このような状況を防ぐために、本発明の撮像装置では、現フレームの周辺光量落ち補正後の飽和画素数が、閾値Ｃ１と閾値Ｃ２の間で、ゆらいでいる場合には、図４に示すように、１フレーム前の切替制御信号を維持するようにしている。
【００４４】
以上のようにして決定した切替制御信号は、記憶手段６４に上書きされ、また、切替手段７、切替手段９、切替手段１１に送出される。
【００４５】
次に、Ａ／Ｄ変換手段の出力画像に対して、周辺光量落ち補正、歪曲収差補正が行われ、映像信号出力端子から出力されるまでの処理の流れについて、図５のフローチャートと、図６の表を参照しながら詳細に説明する。
【００４６】
図５において、Ｓ１００では、システム制御部１２が、内部の画素位置カウンタと、飽和画素数カウンタ６３を初期化する。画素位置カウンタは、着目画素の画素位置を示すＸＹアドレスをカウントアップするものとし、１フレーム分の処理が終わるごとに開始画素位置のＸＹアドレスに対応した初期値にリセットされるものとする。
【００４７】
Ｓ１０１では、Ａ／Ｄ変換手段から出力されたデジタル画像に対して、飽和判定手段６１での処理が行われ、着目画素が、周辺光量落ち補正後に回路の飽和レベルに達するか否かが判定される。
【００４８】
Ｓ１０２では、Ｓ１０１において、周辺光量落ち補正後に回路の飽和レベルに達すると判定された場合に、飽和画素数カウンタをインクリメントする。
【００４９】
Ｓ１０３では、システム制御部１２が画素位置カウンタの値を参照し、画面内の全ての画素について、飽和判定手段６１での処理を行ったかを判定する。画面内の全ての画素について飽和判定手段６１での処理が終了した場合には、１０５に進み、そうでない場合には、Ｓ１０４に進む。
【００５０】
Ｓ１０４では、システム制御部１２が、画素位置カウンタの値を１画素分インクリメントする。
【００５１】
Ｓ１０５では、切替制御信号決定手段６５において、飽和画素数カウンタで算出された、現フレームの周辺光量落ち補正後の飽和画素数と、閾値Ｃ１、Ｃ２、および、記憶手段６４に保持されている１フレーム前の切り替え制御信号を参照し、現フレームの画像に対応する切替制御信号を決定する。
【００５２】
Ｓ１０６では、システム制御部１２が、現フレームの切替制御信号を記憶手段６４に上書きする。
【００５３】
Ｓ１０７では、システム制御部１２が、現フレームの切替制御信号を、切替手段７、切替手段９、切替手段１１に送出する。
【００５４】
Ｓ１０８では、切替制御信号に基づいて、周辺光量落ち補正手段８、および、歪曲収差補正手段１０での補正処理が所定の順番で行われるよう、システム制御部１２が、切替手段７、切替手段９、切替手段１１を制御する。
【００５５】
切替制御信号と歪曲収差補正処理、周辺光量落ち補正処理の順番の関係は、図６の表のようになる。
【００５６】
切替制御信号がＨレベルに設定されている場合には、周辺光量落ち補正後に回路の飽和レベルに達する画素が、補正対象の画像に多く含まれていると推定されるので、Ａ／Ｄ変換手段の出力画像に対して、歪曲収差補正処理を行ってから、周辺光量落ち補正処理を行うよう、切替手段７、切替手段９、切替手段１１を制御する。したがって、切替手段７では歪曲収差補正手段の出力画像を選択し、切替手段９ではＡ／Ｄ変換手段の出力画像を選択し、切替手段１１では周辺光量落ち補正手段の出力画像を選択するよう制御される。
【００５７】
一方、切替制御信号がＬレベルに設定されている場合には、周辺光量落ち補正後に回路の飽和レベルに達する画素が、補正対象の画像にそれほど含まれていないと推定されるので、Ａ／Ｄ変換手段の出力画像に対して、周辺光量落ち補正処理を行ってから、歪曲収差補正処理を行うよう、切替手段７、切替手段９、切替手段１１を制御する。
【００５８】
したがって、切替手段７ではＡ／Ｄ変換手段の出力画像を選択し、切替手段９では、周辺光量落ち補正手段８の出力画像を選択し、切替手段１１では、歪曲収差補正手段の出力画像を選択するよう制御される。
【００５９】
以上、実施例１の撮像装置では、複数種類の光学補正処理を順次行う際に、あらかじめ処理対象の画像を光学条件に基づいて解析し、補正処理が破綻しないように、補正処理の順番を制御することで、光学補正による画質劣化を低減できる。歪曲収差補正、周辺光量落ち補正ともに、補正特性は、像高に対して定義されているので、前段の処理によって補正対象の画像の画素位置が変動してしまうと、既知の補正特性で適切に補正できなくなる場合があるので、通常は、画素位置の変換を伴わない周辺光量落ち補正処理を先に行うが、周辺光量落ち補正によって、画像の信号レベルが飽和し、歪曲収差以外で、画像の信号波形に歪が生じると推測される場合には、歪曲収差補正を先に行うことで、最終的な補正後の画質を良好にすることができる。
【００６０】
［実施例２］
図８は、実施例２の撮像装置の構成を示すブロック図である。図８において、光学系１、光学系駆動手段２、撮像素子３、撮像素子駆動手段４、Ａ／Ｄ変換手段５、映像信号出力端子１４は、実施例１と同様であるので説明を省略する。実施例２の撮像装置では、色分離手段１５において、Ａ／Ｄ変換後のデジタル画像を、Ｒ、Ｇ、Ｂの色成分に分離し、色成分毎に光学補正処理を行った後、輝度色差生成手段１９で、光学補正後のＲＧＢ信号を輝度、色差信号に変換する点が実施例１と異なる。
【００６１】
Ｒ用光学補正手段１６、Ｂ用光学補正手段１７では、図９（ａ）に示すように、倍率色収差補正処理、周辺光量落ち補正処理が行われ、Ｇ用光学補正手段１８では、図９（ｂ）に示すように、周辺光量落ち補正処理のみが行われる。これは、本実施例の倍率色収差補正処理では、倍率色収差によるＲ、Ｂの画素位置のずれを、Ｇの画素位置を基準に補正するためである。
【００６２】
Ｒ用光学補正手段１６での、倍率色収差補正手段２０と周辺光量落ち補正手段７の処理の順番は、色分離手段１５から出力されるＲ画像の信号レベルと、システム制御部１２から送出されるＲ画像用の周辺光量落ち補正の補正特性に基づいた、飽和分布解析手段６での解析結果によって決まる。具体的には、Ｒ画像に対して、周辺光量落ち補正のゲインをかけたものが、回路の飽和レベルを越えるか否かを判定し、画面内で、周辺光量落ち補正後に回路の飽和レベルを超える画素が多く分布している場合には、Ｒ用の切替手段７、９、１１に対する切替制御信号をＨレベルに設定し、この条件を見たさない場合には、Ｒ用の切替手段７、９、１１に対する切替制御信号をＬレベルに設定する。
【００６３】
同様に、Ｂ用光学補正手段１７においても、倍率色収差補正手段２０と周辺光量落ち補正手段７の処理の順番は、色分離手段１５から出力されるＢ画像の信号レベルと、システム制御部１２から送出されるＢ画像用の周辺光量落ち補正の補正特性に基づいた、飽和分布解析手段６での解析結果によって決まる。具体的には、Ｂ画像に対して、周辺光量落ち補正のゲインをかけたものが、回路の飽和レベルを越えるか否かを判定し、画面内で、周辺光量落ち補正後に回路の飽和レベルを超える画素が多く分布している場合には、Ｂ用の切替手段７、９、１１に対する切替制御信号をＨレベルに設定し、この条件を見たさない場合には、Ｂ用の切替手段７、９、１１に対する切替制御信号をＬレベルに設定する。
【００６４】
Ｒ用光学補正手段１６、Ｂ用光学補正手段１７において、Ｒ用、Ｂ用の切替制御信号と処理順との対応関係は、いずれも図１０のようになっており、切替制御信号がＨレベルの場合には、倍率色収差補正を行ってから、周辺光量落ち補正を行い、切替制御信号がＬレベルの場合には、周辺光量落ち補正を行ってから、倍率色収差補正を行うよう、切替手段７、９、１１が制御される。
【００６５】
Ｒ用光学補正手段１６、Ｂ用光学補正手段１７において、飽和分布解析手段６での処理の詳細は、実施例１と同様であるので説明を省略する。
【００６６】
また、実施例２において、周辺光量落ち補正後に飽和する画素がどのくらいあるかの解析を、色毎に行っているのは、色毎に撮像素子の感度が異なり、色分離手段１５から出力される信号レベルに差があるためである。すなわち、被写体の色や光源の色温度によって、周辺光量落ち補正後に飽和する状況が、ＲとＢとで異なるので、飽和分布解析もＲとＢとで独立して行っている。
【００６７】
以上のように、実施例２の撮像装置においても、複数種類の光学補正処理を順次行う際に、あらかじめ処理対象の画像を光学条件に基づいて解析し、補正処理が破綻しないように、補正処理の順番を制御することで、光学補正による画質劣化を低減できる。倍率色収差補正、周辺光量落ち補正ともに、補正特性は、像高に対して定義されているので、前段の処理によって補正対象の画像の画素位置が変動してしまうと、既知の補正特性で適切に補正できなくなる場合があるので、通常は、画素位置の変換を伴わない周辺光量落ち補正処理を先に行うが、周辺光量落ち補正によって、画像の信号レベルが飽和し、倍率色収差以外で、画像の信号波形に歪が生じると推測される場合には、倍率色収差補正を先に行うことで、最終的な補正後の画質を良好にすることができる。
【符号の説明】
【００６８】
１ 光学系
２ 光学系駆動手段
３ 撮像素子
４ 撮像素子駆動手段
５ Ａ／Ｄ変換手段
６ 飽和分布解析手段
７、９、１１ 切替手段
８ 周辺光量落ち手段
１０ 歪曲収差補正手段
１２ システム制御部
１３ 光学補正データベース
１４ 映像信号出力端子
２０ 倍率色収差補正手段
【特許請求の範囲】
【請求項１】
光学系と、撮像素子と、前記光学系に起因した画像の信号レベルの変動を補正する、第一の光学補正処理手段と、前記光学系に起因した画像の画素位置の変化を補正する、第二の光学補正手段と、前記第一の光学補正処理手段によって信号レベルが飽和する画素がどの程度含まれるかを解析する、飽和解析手段と、処理順制御手段を有し、前記処理順制御手段は、前記飽和解析手段の結果に基づいて、前記第一の光学補正処理手段と前記第二の光学補正処理手段の処理順を制御することを特徴とする撮像装置。
【請求項２】
前記処理順切替手段は、着目画像において、前記第一の光学補正処理手段後に、飽和する画素が多いと推定される場合には、前記第二の光学補正処理の後に、前記第一の光学補正処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記処理順切替手段は、着目画像において、前記第一の光学補正処理後に、飽和する画素が少ないと推定される場合には、前記第一の光学補正処理の後に、前記第二の光学補正処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記第一の光学補正処理手段は、周辺光量落ち補正処理であり、前記第二の光学補正処理手段は、倍率色収差補正手段または、歪曲収差補正手段であることを特徴とする請求項１乃至請求項３の何れか１項に記載の撮像装置。
【請求項５】
前記撮像素子から得られる画像を複数種類の色成分に分離する色分離手段を有し、色成分毎に、前記第一の光学補正処理手段と、前記第二の光学補正手段、前記飽和解析手段、前記処理順制御手段での処理を行うことを特徴とする、請求項１に記載の撮像装置。
【請求項１】
光学系と、撮像素子と、前記光学系に起因した画像の信号レベルの変動を補正する、第一の光学補正処理手段と、前記光学系に起因した画像の画素位置の変化を補正する、第二の光学補正手段と、前記第一の光学補正処理手段によって信号レベルが飽和する画素がどの程度含まれるかを解析する、飽和解析手段と、処理順制御手段を有し、前記処理順制御手段は、前記飽和解析手段の結果に基づいて、前記第一の光学補正処理手段と前記第二の光学補正処理手段の処理順を制御することを特徴とする撮像装置。
【請求項２】
前記処理順切替手段は、着目画像において、前記第一の光学補正処理手段後に、飽和する画素が多いと推定される場合には、前記第二の光学補正処理の後に、前記第一の光学補正処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記処理順切替手段は、着目画像において、前記第一の光学補正処理後に、飽和する画素が少ないと推定される場合には、前記第一の光学補正処理の後に、前記第二の光学補正処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記第一の光学補正処理手段は、周辺光量落ち補正処理であり、前記第二の光学補正処理手段は、倍率色収差補正手段または、歪曲収差補正手段であることを特徴とする請求項１乃至請求項３の何れか１項に記載の撮像装置。
【請求項５】
前記撮像素子から得られる画像を複数種類の色成分に分離する色分離手段を有し、色成分毎に、前記第一の光学補正処理手段と、前記第二の光学補正手段、前記飽和解析手段、前記処理順制御手段での処理を行うことを特徴とする、請求項１に記載の撮像装置。
【図１０】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１０００６２（Ｐ２０１２−１０００６２Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１０−２４５８３４（Ｐ２０１０−２４５８３４）
【出願日】平成２２年１１月２日（２０１０．１１．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２２年１１月２日（２０１０．１１．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]