画像処理ＬＳＩ、及び撮像装置
【課題】低照度下かつストロボが使用できない状況での撮影において、Ｓ／Ｎの低下、解像度の低下を軽減しつつ、最適な露出の静止画像が得られるようにする。
【解決手段】通常露光信号、及び混合露光信号を入力とし、通常露光信号及び混合露光信号に対して所定のプリプロセスをそれぞれ施して通常露光データ及び混合露光データを生成する露光データ生成回路２２０を設ける。また、通常露光データ及び混合露光データのうちの一方の露光データの画素を、他方の露光データと同サイズになるように、一方の露光データの画素を他方の露光データ上にマッピングする画素マッピング回路２４０を設ける。そして、マッピングされた他方の露光データの画素と、もう一方の露光データとに対して所定の合成係数により重み付け加算平均を画素合成回路２７０によって行う。
【解決手段】通常露光信号、及び混合露光信号を入力とし、通常露光信号及び混合露光信号に対して所定のプリプロセスをそれぞれ施して通常露光データ及び混合露光データを生成する露光データ生成回路２２０を設ける。また、通常露光データ及び混合露光データのうちの一方の露光データの画素を、他方の露光データと同サイズになるように、一方の露光データの画素を他方の露光データ上にマッピングする画素マッピング回路２４０を設ける。そして、マッピングされた他方の露光データの画素と、もう一方の露光データとに対して所定の合成係数により重み付け加算平均を画素合成回路２７０によって行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像の画質改善を行なう画像処理ＬＳＩ、及び電子スチルカメラ等の撮像装置に関するものである。
【背景技術】
【０００２】
一般的に、撮像素子を用いて静止画像を得る電子スチルカメラにおいて、低照度下かつストロボが使用できない状況での撮影は、撮像素子の露光時間を延ばすスローシャッター撮影か、撮像素子の感度を高める高感度撮影により実現される。
【０００３】
スローシャッター撮影は、必要な露光量が得られるため撮影画像のＳ／Ｎは良好であるが、手ブレ等の影響を受けやすいために不鮮明になる可能性が高い。
【０００４】
一方、高感度撮影は、必要な露光量が得られないという問題に対して、撮像素子からの出力信号をアナログ回路もしくはデジタル回路で増幅するか、あるいは、撮像素子の各画素の電荷を水平および垂直方向に数画素分加算して信号レベルを高める画素混合により解決している（例えば特許文献１を参照）。高感度撮影は、露光時間が延長されることがないため手ブレの影響は少ない。
【特許文献１】特開２０００−３２４５０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、高感度撮影において撮像素子からの出力信号を増幅する場合は、ノイズ成分も合わせて増幅されるため、十分な露光量が得られる場合に比べてＳ／Ｎが低下する。また、画素混合を行う場合は、撮像素子の総画素数に対して撮影画像の画素数が著しく減少するため解像感が低下する。
【０００６】
本発明は上記の問題に着目してなされたものであり、低照度下かつストロボが使用できない状況での撮影において、Ｓ／Ｎの低下、解像度の低下を軽減しつつ、最適な露出の静止画像が得られるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、本発明の一態様は、
撮影画像の画質改善を行なう画像処理ＬＳＩであって、
行列状に配した画素群からなる撮像素子から光電変換により蓄積された電荷を画素毎に独立して読み出す通常読出しによって得られた通常露光信号に基づいて生成された通常露光データ、及び前記電荷を垂直及び水平方向に混合して読み出す混合読出しによって得られた混合露光信号に基づいて生成された混合露光データのうちの、前記混合露光データを前記通常露光データ上に、前記通常露光データと同サイズになるようにマッピングする画素マッピング回路と、
前記画素マッピング回路がマッピングした一方の露光データの画素と他方の露光データの画素とに対して、所定の合成係数により重み付け加算平均を行う画素合成回路と、
を備えていることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、低照度下かつストロボが使用できない状況での撮影において、Ｓ／Ｎの低下、解像度の低下を軽減しつつ、最適な露出の静止画像を得ることが可能になる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下の各実施形態の説明において、一度説明した構成要素と同様の機能を有する構成要素については、同一の符号を付して説明を省略する。
【００１０】
《発明の実施形態１》
本発明に係る画像処理ＬＳＩが撮像装置１００に適用された例を説明する。
【００１１】
（撮像装置１００の構成）
図１は、本発明の実施形態１に係る撮像装置１００の構成を示すブロック図である。撮像装置１００は、同図に示すように、撮像レンズ１１０、撮像素子１２０、駆動回路１３０、アナログ信号処理回路１４０、Ａ／Ｄ変換器１５０、撮影条件入力部１６０、ＣＰＵ１７０、外部メモリ１８０、ＬＣＤ１９０（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、記録メディア２００、及び画像処理ＬＳＩ２１０を備えている。
【００１２】
撮像レンズ１１０は、集光した光学情報を撮像素子１２０上に結像させる。
【００１３】
撮像素子１２０は、後述するように駆動回路１３０が生成した撮像素子駆動用パルスを受けて、その画素（感光部）に入力された光学像を電気信号（撮像出力信号）に変換して出力する。撮像装置１００では、撮像素子１２０からの電荷読出し方法として、通常の読み出し、及び画素混合による混合読出しとがある。混合読出しでは、例えば、一般的なベイヤー配列の撮像素子において混合単位が水平×垂直＝３×３の９画素の場合には、撮像素子１２０は、図２のように画素Ａを中心として周辺８画素の電荷を加算した結果を出力する。
【００１４】
駆動回路１３０は、読み出し方法（通常の読み出し及び混合読出し）に応じた撮像素子駆動用パルスを生成する。
【００１５】
アナログ信号処理回路１４０は、撮像素子１２０から撮像出力信号を読み出して所定のレベルまで増幅する。この際、アナログ信号処理回路１４０は、通常露光信号の信号レベルが混合露光信号の信号レベルと揃うように増幅する。これにより、低Ｓ／Ｎで高解像度の露光データが得られる。
【００１６】
Ａ／Ｄ変換器１５０は、アナログ信号処理回路１４０の出力をデジタル信号に変換して出力する。
【００１７】
撮影条件入力部１６０は、撮影者により撮影条件が設定されるようになっている。
【００１８】
ＣＰＵ１７０は、ＩＳＯ感度決定部１７１を有しており、ＩＳＯ感度決定部１７１は、入力された測光情報（後述）と、撮影者が撮影条件入力部１６０に設定した撮影条件とを合わせてＩＳＯ感度の決定を行う。詳しくは、ＩＳＯ感度決定部１７１では、撮影条件入力部１６０のＩＳＯ感度が固定されているならその固定値をＩＳＯ感度として決定し、そうでないなら測光情報から適切な値を算出し出力する。
【００１９】
外部メモリ１８０は、モニタ露光データ１８０ａ、通常露光データ１８０ｂ、混合露光データ１８０ｃの露光データ（何れも後述）、表示用あるいは記録用の画像データ等を格納するメモリである。
【００２０】
ＬＣＤ１９０は、撮影者がフレーミングに用いる表示画像データ等を表示するための表示デバイスである。
【００２１】
記録メディア２００は、撮像した画像データを記録するためのメディアである。
【００２２】
画像処理ＬＳＩ２１０は、露光データ生成回路２２０、測光回路２３０、画素マッピング回路２４０、周波数成分算出回路２５０、輝度レベル算出回路２６０、画素合成回路２７０、合成係数生成回路２８０、及び画像処理回路２９０を備えている。
【００２３】
露光データ生成回路２２０は、Ａ／Ｄ変換器１５０が出力したデジタル信号に対して傷画素補正等のプリプロセスを施す。一般に画素混合を行うと、撮像素子１２０からの信号は撮像素子上の画素配列順とは異なる順序で出力されるため、露光データの並べ替え処理が必要になる。そのため、露光データ生成回路２２０では、並べ替え処理を行うものとする。なお、並べ替え処理の詳細については既存技術のため言及しない。
【００２４】
ここで、撮像装置１００における撮影のシーケンスには、モニタシーケンス、通常露光シーケンス、混合露光シーケンスがあり、露光データ生成回路２２０がモニタシーケンス、通常露光シーケンス、混合露光シーケンスにおいてそれぞれ出力したデータを、それぞれモニタ露光データ１８０ａ、通常露光データ１８０ｂ、混合露光データ１８０ｃと呼ぶことにする。
【００２５】
測光回路２３０は、測光情報を出力する。
【００２６】
画素マッピング回路２４０は、外部メモリ１８０から読み出された混合露光データ１８０ｃの画素を画素数の異なる通常露光データ１８０ｂ上にマッピングするため、拡大処理と並行移動を行う。なお、画素マッピング回路２４０は、読み出された混合露光データ１８０ｃを輝度レベル算出回路２６０に出力する。
【００２７】
図３に画素マッピング回路２４０の構成例を示す。混合露光信号と通常露光信号の画素数比は画素混合の際の混合単位で一意に決定されるので、まず、拡大処理部２４１で混合露光信号の固定倍率による拡大処理を行なう。拡大処理については一般的なアルゴリズムでよく、特に限定しない。次に、拡大された混合露光信号は、位相ズレ検出部２４２に入力され、リファレンスとなる通常露光信号との位相差が算出される。そして、算出された位相差に基づいて、ズレ補正部２４３で混合露光信号の画素単位の平行移動を行なってズレを補正する。
【００２８】
図４に位相ズレ検出部２４２の構成例を示す。混合露光信号、及び通常露光信号は、それぞれ、ハイパスフィルタ２４２ａで輪郭抽出が行なわれた後、２値化フィルタ２４２ｂで２値化され、ブロックメモリ２４２ｃに格納される。そして、パターンマッチング回路２４２ｄは、ブロックメモリ２４２ｃ上の２値化データを、位相をずらしながら比較し、最もマッチングした（差分が少ない）時の位相差を出力する。なお、ブロックメモリ２４２ｃの入力は、２値化データではなく直接露光信号を入力してもよい。ただし、その際は回路が複雑になる可能性が高い。また、撮像装置が手ブレ検出回路を別途備えている場合は、パターンマッチング回路２４２ｄに手ブレ検出回路から手ブレ情報を入力することにより、マッチング精度及び速度の向上が期待できる。
【００２９】
周波数成分算出回路２５０は、入力データ上の小領域における周波数スペクトルを求め、合成係数生成回路２８０に出力する。なお、合成係数生成回路２８０が必要とする情報は、露光データ上の小領域が輝度エッジを多く含んでいるか否かである。そのため、周波数成分算出回路２５０はＦＦＴ等の複雑な回路である必要はなく、例えば図５に示すように単純なハイパスフィルタであってもよい。図５に示す回路では、入力信号を垂直３ライン分（入力信号がベイヤー配列の場合は１ライン飛ばし）のデータをラインメモリ２５１に格納し、後段のフィルタ部２５２で信号をライン毎にフリップフロップで遅延させ、水平方向（入力信号がベイヤー配列の場合は１画素飛ばし）の加算を行った後に、各ラインの出力を加算しフィルタ中心の信号から減算することでハイパス信号を得ている。
【００３０】
輝度レベル算出回路２６０は、画素マッピング回路２４０を介して入力された混合露光データ１８０ｃの小領域から平均輝度レベルを求め、合成係数生成回路２８０に出力する。平均輝度レベルは、図６のように、小領域における露光信号Ｓ０１を、カラーチャンネル毎に重み付け加算することで得られる（図中Ａ〜ＤはＲ，Ｇｒ，Ｇｂ，Ｂ画素の分光特性と加算画素数に基づく定数）。なお、平均輝度の代わりにＲ，Ｇｒ，Ｇｂ，Ｂの各信号の平均レベルを合成係数生成回路２８０に出力してもよい。
【００３１】
画素合成回路２７０は、画素マッピング回路２４０の出力と通常露光データ１８０ｂとを合成して出力する。画素合成回路２７０の構成としては、図７に示すように混合露光信号に合成係数（後述）、通常露光信号に合成係数の補数をそれぞれ乗算し、加算するだけの単純な回路でよい。
【００３２】
合成係数生成回路２８０は、物理的及び視覚的にノイズが顕著かつ解像度劣化が視認されにくい、露光データの平坦部及び低輝度部ほど、高Ｓ／Ｎで低解像度である混合露光データの混合比が大きくなるように、画素合成回路２７０で使用する合成係数を生成する。これにより、画素合成回路２７０の出力信号は、視覚的に高Ｓ／Ｎで高解像となり、高画質な記録用画像データが得られる。
【００３３】
合成係数生成回路２８０は、入力された平均輝度レベル、ハイパス信号（あるいは周波数スペクトル）、ＩＳＯ感度から混合露光データの通常露光データに対する合成比率を生成する。図８に合成係数生成回路２８０の構成例を示す。平均輝度レベル、ハイパス信号（あるいは周波数スペクトル）、ＩＳＯ感度は、それぞれ合成比率関数Ａ，Ｂ，Ｃに入力し、あらかじめ設定された関数テーブルにより一意の出力を得る。最終的な混合露光データの合成係数は、各合成比率関数の出力の積で決定される。
【００３４】
なお、合成比率関数Ｃの出力は露光データ全体に対して一律に決定するため、合成比率関数Ｃの出力が１．０あるいは０．０となった場合は、通常露光データ、あるいは混合露光データが不要になる。その際は、不要になる方の露光データを生成する露光シーケンスを行わないことで撮影時間の短縮を図ることが可能になる。
【００３５】
画像処理回路２９０は、モニタ露光データ１８０ａからＬＣＤ１９０の表示用データである表示画像データへの変換、及び画素合成回路２７０の出力から記録メディア２００のための記録用画像データへの変換を行なって、それぞれを外部メモリ１８０に出力する。
【００３６】
（撮像装置１００の動作）
撮像装置１００における処理は図９に示すように、モニタシーケンス、混合露光シーケンス、通常露光シーケンス、画素合成・記録シーケンスから構成されている。
【００３７】
モニタシーケンスは、静止画撮影前に撮影者がフレーミングを行う状態であり、モニタシーケンスは１フレーム（一般に１／６０ｓｅｃ）間隔で繰り返し開始される。以下、モニタシーケンスにおける動作を説明する。
【００３８】
撮像レンズ１１０により集光された光学情報は、撮像素子１２０上に結像される。駆動回路１３０が生成した撮像素子駆動用パルスが撮像素子１２０に入力されると、撮像素子１２０は、その画素（感光部）に入力された光学像を電気信号に変換して出力する。その際、高フレームレートを維持するために画素からの電荷読出し方法として画素混合による混合読出しを行う。
【００３９】
アナログ信号処理回路１４０は、撮像素子１２０から読み出した撮像出力信号を所定のレベルまで増幅し、Ａ／Ｄ変換器１５０は、アナログ信号処理回路１４０の出力をデジタル信号に変換する。そして、露光データ生成回路２２０は、Ａ／Ｄ変換器１５０が出力したデジタル信号に対してプリプロセスを施した後に測光回路２３０に出力するとともに、モニタ露光データ１８０ａとして外部メモリ１８０に格納する。なお、一般に画素混合を行うと、撮像素子１２０からの信号は撮像素子上の画素配列順とは異なる順序で出力されるので、露光データ生成回路２２０は、露光データの並べ替え処理を行う。
【００４０】
画像処理回路２９０は、モニタ露光データ１８０ａを読み出して表示画像データ１８０ｄに変換した後に、外部メモリ１８０に格納する。この表示画像データ１８０ｄは、ＬＣＤ１９０等の表示デバイスに出力され、撮影者がフレーミングに用いる。
【００４１】
一方、測光回路２３０は測光情報をＣＰＵ１７０に出力し、ＣＰＵ１７０は、測光回路２３０から入力された測光情報と、撮影者により撮影条件入力部１６０に設定された撮影条件とを合わせて、ＩＳＯ感度決定部１７１でＩＳＯ感度の決定を行う。ＩＳＯ感度決定部１７１が決定したＩＳＯ感度に基づいて、ＣＰＵ１７０は、画素混合による感度上昇を加味しつつ、アナログ信号処理回路１４０の信号増幅率を設定する。
【００４２】
モニタシーケンス中（例えば、図９のＡのタイミング）に撮影指示が下ると、次の露光可能タイミング（すなわち電荷読出し動作が終了した時点）から、混合露光シーケンスが開始される。混合露光シーケンスでは、モニタ動作時と同様に、撮像レンズ１１０、撮像素子１２０、アナログ信号処理回路１４０、Ａ／Ｄ変換器１５０、露光データ生成回路２２０を経て得られた混合露光信号が、混合露光データ１８０ｃとして外部メモリ１８０に格納され、混合露光シーケンスが終了する。
【００４３】
なお、混合露光シーケンスにおけるアナログ信号処理回路１４０の信号増幅率は、直前のモニタシーケンスの値を継続して設定する。また、混合露光シーケンスにおける画素混合の混合単位は任意であり、またモニタシーケンスにおける画素混合の混合単位と異なってもかまわない。
【００４４】
混合露光シーケンスの開始後、次の露光可能タイミングから通常露光シーケンスが行われる。通常露光シーケンスでは、モニタ動作時と同様に、撮像レンズ１１０、撮像素子１２０、アナログ信号処理回路１４０、Ａ／Ｄ変換器１５０、及び露光データ生成回路２２０を経て得られた信号が、通常露光データ１８０ｂとして外部メモリ１８０に格納される。通常露光シーケンスにおけるアナログ信号処理回路１４０の信号増幅率は、直前のモニタシーケンスの測光情報をホールドしておき、ＣＰＵ１７０が混合露光データ１８０ｃと通常露光データ１８０ｂの平均画素レベルが同等になるように設定する。
【００４５】
なお、原理的に混合露光シーケンスの方が通常露光シーケンスよりも要する時間が短いため、それぞれの露光開始タイミングが近くなるよう混合露光シーケンスを先に開始しているが、通常露光シーケンスを先に行ってもかまわない。また、混合露光シーケンス及び通常露光シーケンスが共に終了するまでは、直前のモニタシーケンスで生成した表示画像データ１８０ｄをＬＣＤ１９０に継続して表示することで、表示がブラックアウトすることを回避するとよい。
【００４６】
混合露光シーケンス、通常露光シーケンスが共に終了すると、画素合成・記録シーケンスが開始する。画素合成・記録シーケンスでは、まず、通常露光データ１８０ｂが外部メモリ１８０から読み出され、周波数成分算出回路２５０に入力される。周波数成分算出回路２５０では、入力データ上の小領域における周波数スペクトルを求め、合成係数生成回路２８０に出力する。
【００４７】
周波数成分算出回路２５０の動作と並行して、混合露光データ１８０ｃは、画素マッピング回路２４０を通して輝度レベル算出回路２６０に入力される。ここで、画素マッピング回路２４０は、混合露光データ１８０ｃの画素を画素数の異なる通常露光データ１８０ｂ上にマッピングするため拡大処理と並行移動を行う。
【００４８】
輝度レベル算出回路２６０は、入力されたデータの小領域から平均輝度レベルを求め、合成係数生成回路２８０に出力する。
【００４９】
合成係数生成回路２８０は、入力された平均輝度レベル、ハイパス信号（あるいは周波数スペクトル）、ＩＳＯ感度から混合露光データの通常露光データに対する合成比率を生成する。
【００５０】
合成係数生成回路２８０が生成した合成係数は画素合成回路２７０に入力される。これにより画素合成回路２７０からは、合成後の露光信号が出力される。合成後の露光信号は、画像処理回路２９０で記録用画像データ１８０ｅに変換されて外部メモリ１８０に格納される。また、記録用画像データ１８０ｅは、最終的に記録メディア２００に書き込まれる。
【００５１】
本実施形態において、例えば、スローシャッター撮影における露光時間をｔｅ、露光データを外部メモリに格納するのに要する時間をｔｔとして、混合読出し時の混合単位が９画素とすると、混合露光シーケンスの露光時間ｔｅ１、露光データを外部メモリに格納するのに要する時間ｔｔ１は、それぞれｔｅ／９、ｔｔ／９である。また、通常露光シーケンスの露光時間ｔｅ２、露光データを外部メモリに格納するのに要する時間ｔｔ２は、それぞれ、ｔｅ／９、ｔｔである。
【００５２】
ここで、ｔｅ２がｔｔ１の直後から開始するとすれば、総露光時間はｔｅ’＝ｔｅ１＋ｔｔ１＋ｔｅ２＝２ｔｅ／９＋ｔｔ／９＞ｔｅ（一般にｔｅ＞＞ｔｔ）となり、スローシャッター撮影における露光時間よりも十分短い。
【００５３】
また、露光開始から外部メモリに露光データが格納されるまでの時間もｔｅ’＋ｔｔ’＝ｔｅ１＋ｔｔ１＋ｔｅ２＋ｔｔ２＝（２ｔｅ／９＋１０ｔｔ／９）＞（ｔｅ＋ｔｔ），（一般にｔｅ＞＞ｔｔ）となり、スローシャッター撮影よりも短くなる。
【００５４】
さらに、通常露光のみを行う撮影方法と比べてメモリ使用量増加も少ない。例えば、混合単位が９画素の場合、通常露光データの１／９だけのメモリ使用量増加で済む。
【００５５】
以上のように、本実施形態によれば、低照度下かつストロボが使用できない状況での撮影において、Ｓ／Ｎの低下、解像度の低下を軽減しつつ、最適な露出の静止画像が得られる。
【００５６】
また、スローシャッター撮影と比べ露光時間が短く手ブレの影響も少ない。さらに、露光データの転送量の増加も少ないので総撮影時間も短くなる。
【００５７】
《発明の実施形態２》
図１０は、本発明の実施形態２に係る撮像装置３００の構成を示すブロック図である。撮像装置３００は、実施形態１の撮像装置に対して撮像素子などを追加し、２つの撮像素子の同時露光に対応するようにしたものである。
【００５８】
撮像装置３００は、同図に示すように、撮像レンズ１１０、撮像素子１２０、駆動回路１３０、アナログ信号処理回路１４０、及びＡ／Ｄ変換器１５０を、それぞれ２系統ずつ備えている。なお、各系統の構成要素は、例えば撮像レンズ１１０−１、撮像レンズ１１０−２のように、符号の後に枝番をつけて互いを識別する。
【００５９】
本実施形態では、撮像レンズ１１０−１の系統が混合露光、撮像レンズ１１０−２の系統が通常露光を行う構成となっている。この撮像素子と露光の対応は逆にしてもかまわない。
【００６０】
撮像レンズ１１０等を２系統にしたことに伴い、画像処理ＬＳＩ２１０には、入力信号選択回路３１０が追加されている。入力信号選択回路３１０は、Ａ／Ｄ変換器１５０−１、１５０−２から入力された信号を時分割で選択し、露光データ生成回路２２０に出力する。
【００６１】
なお、図１０における回路ブロック３２０は、図１における測光回路２３０、周波数成分算出回路２５０、画素マッピング回路２４０、輝度レベル算出回路２６０、画素合成回路２７０、合成係数生成回路２８０、及び画像処理回路２９０に相当する回路である。
【００６２】
（撮像装置３００の動作）
撮像レンズ１１０−１、１１０−２によりそれぞれ集光された光学情報は、撮像素子１２０−１、１２０−２上にそれぞれ結像される。そして、駆動回路１３０−１、１３０−２から出力された撮像素子駆動用パルスがそれぞれ入力されることにより、撮像素子１２０−１、１２０−２は、結像された光学像を電気信号としてアナログ信号処理回路１４０−１、１４０−２にそれぞれ出力する。
【００６３】
アナログ信号処理回路１４０−１、１４０−２は、入力された信号をＣＰＵ１７０により指示された増幅率で増幅して、Ａ／Ｄ変換器１５０−１、１５０−２にそれぞれ出力する。Ａ／Ｄ変換器１５０−１、１５０−２は、入力された信号をデジタル信号に変換して画像処理ＬＳＩ２１０に出力する。
【００６４】
入力信号選択回路３１０は、Ａ／Ｄ変換器１５０−１、１５０−２から入力された信号を時分割で選択し、露光データ生成回路２２０に出力する。露光データ生成回路２２０は、時分割で入力された信号に対して露光データ（モニタ露光データ、通常露光データ、混合露光データ）の生成を行い、生成したそれぞれの露光データを個別に外部メモリ１８０に格納する。
【００６５】
外部メモリ１８０に格納された露光データは、回路ブロック３２０により読み出されて処理され、ＬＣＤ１９０への表示、及び記録メディア２００への記録が行われる。
【００６６】
すなわち、図１１に示すように、撮像素子を２つ使用し、露光及び電荷読出しを両撮像素子で並行させることで、混合露光シーケンスと通常露光シーケンスを時間的にオーバーラップさせることが可能になる。
【００６７】
上記のように本実施形態によれば、実施形態１の撮像装置よりも撮影時間の短縮が図れる。ただし、露光データのトラフィックが増加するため、撮影時間の短縮を実現するには露光データ生成回路２２０の動作周波数を向上させるか、あるいは搭載数を増やして時分割処理を廃止する等の対策が必要となる。
【００６８】
なお、図１や図１０の例では、ＣＰＵ１７０は画像処理ＬＳＩ２１０の外部に接続されているが、画像処理ＬＳＩ２１０内部にコアとして搭載してもよい。
【００６９】
また、モニタシーケンスにおいては、必ずしも画素混合を行う必要はない。例えば、画素混合の代わりに一般的に使用されている画素間引きを用いて読み出してもよい。
【００７０】
また、各実施形態では、混合露光信号と通常露光信号の周波数特性とＳ／Ｎの観点から、周波数成分算出回路２５０に通常露光信号、輝度レベル算出回路２６０に混合露光信号を入力しているが、入力する信号を入れ替えても良い。
【００７１】
また、記録用画像データ１８０ｅにはサムネイル画像も含まれるが、サムネイル画像は合成後の露光データから作成してもよいし（即ち、図９のタイミングＣで作成）、混合露光データから作成しても良い（即ち、図９のタイミングＢで作成）。混合露光データから作成する方が撮影時間を短縮できる。サムネイル画像は、解像度が極端に低いため、合成後の露光データから作成した物と比較しても判別は困難であるので問題はない。さらに、あらかじめ画素数が削減されている混合露光データから作成する方が、縮小処理に使用する回路の規模（フィルタのタップ数）を削減できる。
【産業上の利用可能性】
【００７２】
本発明に係る撮像装置は、低照度下かつストロボが使用できない状況での撮影において、Ｓ／Ｎの低下、解像度の低下を軽減しつつ、最適な露出の静止画像を得ることが可能になるという効果を有し、撮影画像の画質改善を行なう画像処理ＬＳＩ、及び電子スチルカメラ等の撮像装置等として有用である。
【図面の簡単な説明】
【００７３】
【図１】実施形態１に係る撮像装置１００の構成を示すブロック図である。
【図２】混合読出しを説明する図である。
【図３】画素マッピング回路２４０の構成例を示す図である。
【図４】位相ズレ検出部２４２の構成例を示す図である。
【図５】周波数成分算出回路２５０の構成例を示す図である。
【図６】平均輝度レベルの求め方を説明する図である。
【図７】画素合成回路２７０の構成を示す図である。
【図８】合成係数生成回路２８０の構成例を示す図である。
【図９】撮像装置１００における処理の流れを説明する図である。
【図１０】実施形態２に係る撮像装置３００の構成を示すブロック図である。
【図１１】撮像装置３００における処理の流れを説明する図である。
【符号の説明】
【００７４】
１００ 撮像装置
１１０ 撮像レンズ
１２０ 撮像素子
１３０ 駆動回路
１４０ アナログ信号処理回路
１５０ Ａ／Ｄ変換器
１６０ 撮影条件入力部
１７０ ＣＰＵ
１７１ ＩＳＯ感度決定部
１８０ 外部メモリ
１８０ａ モニタ露光データ
１８０ｂ 通常露光データ
１８０ｃ 混合露光データ
１８０ｄ 表示画像データ
１８０ｅ 記録用画像データ
１９０ ＬＣＤ
２００ 記録メディア
２１０ 画像処理ＬＳＩ
２２０ 露光データ生成回路
２３０ 測光回路
２４０ 画素マッピング回路
２４１ 拡大処理部
２４２ 位相ズレ検出部
２４２ａ ハイパスフィルタ
２４２ｂ ２値化フィルタ
２４２ｃ ブロックメモリ
２４２ｄ パターンマッチング回路
２４３ ズレ補正部
２５０ 周波数成分算出回路
２５１ ラインメモリ
２５２ フィルタ部
２６０ 輝度レベル算出回路
２７０ 画素合成回路
２８０ 合成係数生成回路
２９０ 画像処理回路
３００ 撮像装置
３１０ 入力信号選択回路
３２０ 回路ブロック
Ｓ０１ 露光信号
【技術分野】
【０００１】
本発明は、撮影画像の画質改善を行なう画像処理ＬＳＩ、及び電子スチルカメラ等の撮像装置に関するものである。
【背景技術】
【０００２】
一般的に、撮像素子を用いて静止画像を得る電子スチルカメラにおいて、低照度下かつストロボが使用できない状況での撮影は、撮像素子の露光時間を延ばすスローシャッター撮影か、撮像素子の感度を高める高感度撮影により実現される。
【０００３】
スローシャッター撮影は、必要な露光量が得られるため撮影画像のＳ／Ｎは良好であるが、手ブレ等の影響を受けやすいために不鮮明になる可能性が高い。
【０００４】
一方、高感度撮影は、必要な露光量が得られないという問題に対して、撮像素子からの出力信号をアナログ回路もしくはデジタル回路で増幅するか、あるいは、撮像素子の各画素の電荷を水平および垂直方向に数画素分加算して信号レベルを高める画素混合により解決している（例えば特許文献１を参照）。高感度撮影は、露光時間が延長されることがないため手ブレの影響は少ない。
【特許文献１】特開２０００−３２４５０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、高感度撮影において撮像素子からの出力信号を増幅する場合は、ノイズ成分も合わせて増幅されるため、十分な露光量が得られる場合に比べてＳ／Ｎが低下する。また、画素混合を行う場合は、撮像素子の総画素数に対して撮影画像の画素数が著しく減少するため解像感が低下する。
【０００６】
本発明は上記の問題に着目してなされたものであり、低照度下かつストロボが使用できない状況での撮影において、Ｓ／Ｎの低下、解像度の低下を軽減しつつ、最適な露出の静止画像が得られるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、本発明の一態様は、
撮影画像の画質改善を行なう画像処理ＬＳＩであって、
行列状に配した画素群からなる撮像素子から光電変換により蓄積された電荷を画素毎に独立して読み出す通常読出しによって得られた通常露光信号に基づいて生成された通常露光データ、及び前記電荷を垂直及び水平方向に混合して読み出す混合読出しによって得られた混合露光信号に基づいて生成された混合露光データのうちの、前記混合露光データを前記通常露光データ上に、前記通常露光データと同サイズになるようにマッピングする画素マッピング回路と、
前記画素マッピング回路がマッピングした一方の露光データの画素と他方の露光データの画素とに対して、所定の合成係数により重み付け加算平均を行う画素合成回路と、
を備えていることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、低照度下かつストロボが使用できない状況での撮影において、Ｓ／Ｎの低下、解像度の低下を軽減しつつ、最適な露出の静止画像を得ることが可能になる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下の各実施形態の説明において、一度説明した構成要素と同様の機能を有する構成要素については、同一の符号を付して説明を省略する。
【００１０】
《発明の実施形態１》
本発明に係る画像処理ＬＳＩが撮像装置１００に適用された例を説明する。
【００１１】
（撮像装置１００の構成）
図１は、本発明の実施形態１に係る撮像装置１００の構成を示すブロック図である。撮像装置１００は、同図に示すように、撮像レンズ１１０、撮像素子１２０、駆動回路１３０、アナログ信号処理回路１４０、Ａ／Ｄ変換器１５０、撮影条件入力部１６０、ＣＰＵ１７０、外部メモリ１８０、ＬＣＤ１９０（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、記録メディア２００、及び画像処理ＬＳＩ２１０を備えている。
【００１２】
撮像レンズ１１０は、集光した光学情報を撮像素子１２０上に結像させる。
【００１３】
撮像素子１２０は、後述するように駆動回路１３０が生成した撮像素子駆動用パルスを受けて、その画素（感光部）に入力された光学像を電気信号（撮像出力信号）に変換して出力する。撮像装置１００では、撮像素子１２０からの電荷読出し方法として、通常の読み出し、及び画素混合による混合読出しとがある。混合読出しでは、例えば、一般的なベイヤー配列の撮像素子において混合単位が水平×垂直＝３×３の９画素の場合には、撮像素子１２０は、図２のように画素Ａを中心として周辺８画素の電荷を加算した結果を出力する。
【００１４】
駆動回路１３０は、読み出し方法（通常の読み出し及び混合読出し）に応じた撮像素子駆動用パルスを生成する。
【００１５】
アナログ信号処理回路１４０は、撮像素子１２０から撮像出力信号を読み出して所定のレベルまで増幅する。この際、アナログ信号処理回路１４０は、通常露光信号の信号レベルが混合露光信号の信号レベルと揃うように増幅する。これにより、低Ｓ／Ｎで高解像度の露光データが得られる。
【００１６】
Ａ／Ｄ変換器１５０は、アナログ信号処理回路１４０の出力をデジタル信号に変換して出力する。
【００１７】
撮影条件入力部１６０は、撮影者により撮影条件が設定されるようになっている。
【００１８】
ＣＰＵ１７０は、ＩＳＯ感度決定部１７１を有しており、ＩＳＯ感度決定部１７１は、入力された測光情報（後述）と、撮影者が撮影条件入力部１６０に設定した撮影条件とを合わせてＩＳＯ感度の決定を行う。詳しくは、ＩＳＯ感度決定部１７１では、撮影条件入力部１６０のＩＳＯ感度が固定されているならその固定値をＩＳＯ感度として決定し、そうでないなら測光情報から適切な値を算出し出力する。
【００１９】
外部メモリ１８０は、モニタ露光データ１８０ａ、通常露光データ１８０ｂ、混合露光データ１８０ｃの露光データ（何れも後述）、表示用あるいは記録用の画像データ等を格納するメモリである。
【００２０】
ＬＣＤ１９０は、撮影者がフレーミングに用いる表示画像データ等を表示するための表示デバイスである。
【００２１】
記録メディア２００は、撮像した画像データを記録するためのメディアである。
【００２２】
画像処理ＬＳＩ２１０は、露光データ生成回路２２０、測光回路２３０、画素マッピング回路２４０、周波数成分算出回路２５０、輝度レベル算出回路２６０、画素合成回路２７０、合成係数生成回路２８０、及び画像処理回路２９０を備えている。
【００２３】
露光データ生成回路２２０は、Ａ／Ｄ変換器１５０が出力したデジタル信号に対して傷画素補正等のプリプロセスを施す。一般に画素混合を行うと、撮像素子１２０からの信号は撮像素子上の画素配列順とは異なる順序で出力されるため、露光データの並べ替え処理が必要になる。そのため、露光データ生成回路２２０では、並べ替え処理を行うものとする。なお、並べ替え処理の詳細については既存技術のため言及しない。
【００２４】
ここで、撮像装置１００における撮影のシーケンスには、モニタシーケンス、通常露光シーケンス、混合露光シーケンスがあり、露光データ生成回路２２０がモニタシーケンス、通常露光シーケンス、混合露光シーケンスにおいてそれぞれ出力したデータを、それぞれモニタ露光データ１８０ａ、通常露光データ１８０ｂ、混合露光データ１８０ｃと呼ぶことにする。
【００２５】
測光回路２３０は、測光情報を出力する。
【００２６】
画素マッピング回路２４０は、外部メモリ１８０から読み出された混合露光データ１８０ｃの画素を画素数の異なる通常露光データ１８０ｂ上にマッピングするため、拡大処理と並行移動を行う。なお、画素マッピング回路２４０は、読み出された混合露光データ１８０ｃを輝度レベル算出回路２６０に出力する。
【００２７】
図３に画素マッピング回路２４０の構成例を示す。混合露光信号と通常露光信号の画素数比は画素混合の際の混合単位で一意に決定されるので、まず、拡大処理部２４１で混合露光信号の固定倍率による拡大処理を行なう。拡大処理については一般的なアルゴリズムでよく、特に限定しない。次に、拡大された混合露光信号は、位相ズレ検出部２４２に入力され、リファレンスとなる通常露光信号との位相差が算出される。そして、算出された位相差に基づいて、ズレ補正部２４３で混合露光信号の画素単位の平行移動を行なってズレを補正する。
【００２８】
図４に位相ズレ検出部２４２の構成例を示す。混合露光信号、及び通常露光信号は、それぞれ、ハイパスフィルタ２４２ａで輪郭抽出が行なわれた後、２値化フィルタ２４２ｂで２値化され、ブロックメモリ２４２ｃに格納される。そして、パターンマッチング回路２４２ｄは、ブロックメモリ２４２ｃ上の２値化データを、位相をずらしながら比較し、最もマッチングした（差分が少ない）時の位相差を出力する。なお、ブロックメモリ２４２ｃの入力は、２値化データではなく直接露光信号を入力してもよい。ただし、その際は回路が複雑になる可能性が高い。また、撮像装置が手ブレ検出回路を別途備えている場合は、パターンマッチング回路２４２ｄに手ブレ検出回路から手ブレ情報を入力することにより、マッチング精度及び速度の向上が期待できる。
【００２９】
周波数成分算出回路２５０は、入力データ上の小領域における周波数スペクトルを求め、合成係数生成回路２８０に出力する。なお、合成係数生成回路２８０が必要とする情報は、露光データ上の小領域が輝度エッジを多く含んでいるか否かである。そのため、周波数成分算出回路２５０はＦＦＴ等の複雑な回路である必要はなく、例えば図５に示すように単純なハイパスフィルタであってもよい。図５に示す回路では、入力信号を垂直３ライン分（入力信号がベイヤー配列の場合は１ライン飛ばし）のデータをラインメモリ２５１に格納し、後段のフィルタ部２５２で信号をライン毎にフリップフロップで遅延させ、水平方向（入力信号がベイヤー配列の場合は１画素飛ばし）の加算を行った後に、各ラインの出力を加算しフィルタ中心の信号から減算することでハイパス信号を得ている。
【００３０】
輝度レベル算出回路２６０は、画素マッピング回路２４０を介して入力された混合露光データ１８０ｃの小領域から平均輝度レベルを求め、合成係数生成回路２８０に出力する。平均輝度レベルは、図６のように、小領域における露光信号Ｓ０１を、カラーチャンネル毎に重み付け加算することで得られる（図中Ａ〜ＤはＲ，Ｇｒ，Ｇｂ，Ｂ画素の分光特性と加算画素数に基づく定数）。なお、平均輝度の代わりにＲ，Ｇｒ，Ｇｂ，Ｂの各信号の平均レベルを合成係数生成回路２８０に出力してもよい。
【００３１】
画素合成回路２７０は、画素マッピング回路２４０の出力と通常露光データ１８０ｂとを合成して出力する。画素合成回路２７０の構成としては、図７に示すように混合露光信号に合成係数（後述）、通常露光信号に合成係数の補数をそれぞれ乗算し、加算するだけの単純な回路でよい。
【００３２】
合成係数生成回路２８０は、物理的及び視覚的にノイズが顕著かつ解像度劣化が視認されにくい、露光データの平坦部及び低輝度部ほど、高Ｓ／Ｎで低解像度である混合露光データの混合比が大きくなるように、画素合成回路２７０で使用する合成係数を生成する。これにより、画素合成回路２７０の出力信号は、視覚的に高Ｓ／Ｎで高解像となり、高画質な記録用画像データが得られる。
【００３３】
合成係数生成回路２８０は、入力された平均輝度レベル、ハイパス信号（あるいは周波数スペクトル）、ＩＳＯ感度から混合露光データの通常露光データに対する合成比率を生成する。図８に合成係数生成回路２８０の構成例を示す。平均輝度レベル、ハイパス信号（あるいは周波数スペクトル）、ＩＳＯ感度は、それぞれ合成比率関数Ａ，Ｂ，Ｃに入力し、あらかじめ設定された関数テーブルにより一意の出力を得る。最終的な混合露光データの合成係数は、各合成比率関数の出力の積で決定される。
【００３４】
なお、合成比率関数Ｃの出力は露光データ全体に対して一律に決定するため、合成比率関数Ｃの出力が１．０あるいは０．０となった場合は、通常露光データ、あるいは混合露光データが不要になる。その際は、不要になる方の露光データを生成する露光シーケンスを行わないことで撮影時間の短縮を図ることが可能になる。
【００３５】
画像処理回路２９０は、モニタ露光データ１８０ａからＬＣＤ１９０の表示用データである表示画像データへの変換、及び画素合成回路２７０の出力から記録メディア２００のための記録用画像データへの変換を行なって、それぞれを外部メモリ１８０に出力する。
【００３６】
（撮像装置１００の動作）
撮像装置１００における処理は図９に示すように、モニタシーケンス、混合露光シーケンス、通常露光シーケンス、画素合成・記録シーケンスから構成されている。
【００３７】
モニタシーケンスは、静止画撮影前に撮影者がフレーミングを行う状態であり、モニタシーケンスは１フレーム（一般に１／６０ｓｅｃ）間隔で繰り返し開始される。以下、モニタシーケンスにおける動作を説明する。
【００３８】
撮像レンズ１１０により集光された光学情報は、撮像素子１２０上に結像される。駆動回路１３０が生成した撮像素子駆動用パルスが撮像素子１２０に入力されると、撮像素子１２０は、その画素（感光部）に入力された光学像を電気信号に変換して出力する。その際、高フレームレートを維持するために画素からの電荷読出し方法として画素混合による混合読出しを行う。
【００３９】
アナログ信号処理回路１４０は、撮像素子１２０から読み出した撮像出力信号を所定のレベルまで増幅し、Ａ／Ｄ変換器１５０は、アナログ信号処理回路１４０の出力をデジタル信号に変換する。そして、露光データ生成回路２２０は、Ａ／Ｄ変換器１５０が出力したデジタル信号に対してプリプロセスを施した後に測光回路２３０に出力するとともに、モニタ露光データ１８０ａとして外部メモリ１８０に格納する。なお、一般に画素混合を行うと、撮像素子１２０からの信号は撮像素子上の画素配列順とは異なる順序で出力されるので、露光データ生成回路２２０は、露光データの並べ替え処理を行う。
【００４０】
画像処理回路２９０は、モニタ露光データ１８０ａを読み出して表示画像データ１８０ｄに変換した後に、外部メモリ１８０に格納する。この表示画像データ１８０ｄは、ＬＣＤ１９０等の表示デバイスに出力され、撮影者がフレーミングに用いる。
【００４１】
一方、測光回路２３０は測光情報をＣＰＵ１７０に出力し、ＣＰＵ１７０は、測光回路２３０から入力された測光情報と、撮影者により撮影条件入力部１６０に設定された撮影条件とを合わせて、ＩＳＯ感度決定部１７１でＩＳＯ感度の決定を行う。ＩＳＯ感度決定部１７１が決定したＩＳＯ感度に基づいて、ＣＰＵ１７０は、画素混合による感度上昇を加味しつつ、アナログ信号処理回路１４０の信号増幅率を設定する。
【００４２】
モニタシーケンス中（例えば、図９のＡのタイミング）に撮影指示が下ると、次の露光可能タイミング（すなわち電荷読出し動作が終了した時点）から、混合露光シーケンスが開始される。混合露光シーケンスでは、モニタ動作時と同様に、撮像レンズ１１０、撮像素子１２０、アナログ信号処理回路１４０、Ａ／Ｄ変換器１５０、露光データ生成回路２２０を経て得られた混合露光信号が、混合露光データ１８０ｃとして外部メモリ１８０に格納され、混合露光シーケンスが終了する。
【００４３】
なお、混合露光シーケンスにおけるアナログ信号処理回路１４０の信号増幅率は、直前のモニタシーケンスの値を継続して設定する。また、混合露光シーケンスにおける画素混合の混合単位は任意であり、またモニタシーケンスにおける画素混合の混合単位と異なってもかまわない。
【００４４】
混合露光シーケンスの開始後、次の露光可能タイミングから通常露光シーケンスが行われる。通常露光シーケンスでは、モニタ動作時と同様に、撮像レンズ１１０、撮像素子１２０、アナログ信号処理回路１４０、Ａ／Ｄ変換器１５０、及び露光データ生成回路２２０を経て得られた信号が、通常露光データ１８０ｂとして外部メモリ１８０に格納される。通常露光シーケンスにおけるアナログ信号処理回路１４０の信号増幅率は、直前のモニタシーケンスの測光情報をホールドしておき、ＣＰＵ１７０が混合露光データ１８０ｃと通常露光データ１８０ｂの平均画素レベルが同等になるように設定する。
【００４５】
なお、原理的に混合露光シーケンスの方が通常露光シーケンスよりも要する時間が短いため、それぞれの露光開始タイミングが近くなるよう混合露光シーケンスを先に開始しているが、通常露光シーケンスを先に行ってもかまわない。また、混合露光シーケンス及び通常露光シーケンスが共に終了するまでは、直前のモニタシーケンスで生成した表示画像データ１８０ｄをＬＣＤ１９０に継続して表示することで、表示がブラックアウトすることを回避するとよい。
【００４６】
混合露光シーケンス、通常露光シーケンスが共に終了すると、画素合成・記録シーケンスが開始する。画素合成・記録シーケンスでは、まず、通常露光データ１８０ｂが外部メモリ１８０から読み出され、周波数成分算出回路２５０に入力される。周波数成分算出回路２５０では、入力データ上の小領域における周波数スペクトルを求め、合成係数生成回路２８０に出力する。
【００４７】
周波数成分算出回路２５０の動作と並行して、混合露光データ１８０ｃは、画素マッピング回路２４０を通して輝度レベル算出回路２６０に入力される。ここで、画素マッピング回路２４０は、混合露光データ１８０ｃの画素を画素数の異なる通常露光データ１８０ｂ上にマッピングするため拡大処理と並行移動を行う。
【００４８】
輝度レベル算出回路２６０は、入力されたデータの小領域から平均輝度レベルを求め、合成係数生成回路２８０に出力する。
【００４９】
合成係数生成回路２８０は、入力された平均輝度レベル、ハイパス信号（あるいは周波数スペクトル）、ＩＳＯ感度から混合露光データの通常露光データに対する合成比率を生成する。
【００５０】
合成係数生成回路２８０が生成した合成係数は画素合成回路２７０に入力される。これにより画素合成回路２７０からは、合成後の露光信号が出力される。合成後の露光信号は、画像処理回路２９０で記録用画像データ１８０ｅに変換されて外部メモリ１８０に格納される。また、記録用画像データ１８０ｅは、最終的に記録メディア２００に書き込まれる。
【００５１】
本実施形態において、例えば、スローシャッター撮影における露光時間をｔｅ、露光データを外部メモリに格納するのに要する時間をｔｔとして、混合読出し時の混合単位が９画素とすると、混合露光シーケンスの露光時間ｔｅ１、露光データを外部メモリに格納するのに要する時間ｔｔ１は、それぞれｔｅ／９、ｔｔ／９である。また、通常露光シーケンスの露光時間ｔｅ２、露光データを外部メモリに格納するのに要する時間ｔｔ２は、それぞれ、ｔｅ／９、ｔｔである。
【００５２】
ここで、ｔｅ２がｔｔ１の直後から開始するとすれば、総露光時間はｔｅ’＝ｔｅ１＋ｔｔ１＋ｔｅ２＝２ｔｅ／９＋ｔｔ／９＞ｔｅ（一般にｔｅ＞＞ｔｔ）となり、スローシャッター撮影における露光時間よりも十分短い。
【００５３】
また、露光開始から外部メモリに露光データが格納されるまでの時間もｔｅ’＋ｔｔ’＝ｔｅ１＋ｔｔ１＋ｔｅ２＋ｔｔ２＝（２ｔｅ／９＋１０ｔｔ／９）＞（ｔｅ＋ｔｔ），（一般にｔｅ＞＞ｔｔ）となり、スローシャッター撮影よりも短くなる。
【００５４】
さらに、通常露光のみを行う撮影方法と比べてメモリ使用量増加も少ない。例えば、混合単位が９画素の場合、通常露光データの１／９だけのメモリ使用量増加で済む。
【００５５】
以上のように、本実施形態によれば、低照度下かつストロボが使用できない状況での撮影において、Ｓ／Ｎの低下、解像度の低下を軽減しつつ、最適な露出の静止画像が得られる。
【００５６】
また、スローシャッター撮影と比べ露光時間が短く手ブレの影響も少ない。さらに、露光データの転送量の増加も少ないので総撮影時間も短くなる。
【００５７】
《発明の実施形態２》
図１０は、本発明の実施形態２に係る撮像装置３００の構成を示すブロック図である。撮像装置３００は、実施形態１の撮像装置に対して撮像素子などを追加し、２つの撮像素子の同時露光に対応するようにしたものである。
【００５８】
撮像装置３００は、同図に示すように、撮像レンズ１１０、撮像素子１２０、駆動回路１３０、アナログ信号処理回路１４０、及びＡ／Ｄ変換器１５０を、それぞれ２系統ずつ備えている。なお、各系統の構成要素は、例えば撮像レンズ１１０−１、撮像レンズ１１０−２のように、符号の後に枝番をつけて互いを識別する。
【００５９】
本実施形態では、撮像レンズ１１０−１の系統が混合露光、撮像レンズ１１０−２の系統が通常露光を行う構成となっている。この撮像素子と露光の対応は逆にしてもかまわない。
【００６０】
撮像レンズ１１０等を２系統にしたことに伴い、画像処理ＬＳＩ２１０には、入力信号選択回路３１０が追加されている。入力信号選択回路３１０は、Ａ／Ｄ変換器１５０−１、１５０−２から入力された信号を時分割で選択し、露光データ生成回路２２０に出力する。
【００６１】
なお、図１０における回路ブロック３２０は、図１における測光回路２３０、周波数成分算出回路２５０、画素マッピング回路２４０、輝度レベル算出回路２６０、画素合成回路２７０、合成係数生成回路２８０、及び画像処理回路２９０に相当する回路である。
【００６２】
（撮像装置３００の動作）
撮像レンズ１１０−１、１１０−２によりそれぞれ集光された光学情報は、撮像素子１２０−１、１２０−２上にそれぞれ結像される。そして、駆動回路１３０−１、１３０−２から出力された撮像素子駆動用パルスがそれぞれ入力されることにより、撮像素子１２０−１、１２０−２は、結像された光学像を電気信号としてアナログ信号処理回路１４０−１、１４０−２にそれぞれ出力する。
【００６３】
アナログ信号処理回路１４０−１、１４０−２は、入力された信号をＣＰＵ１７０により指示された増幅率で増幅して、Ａ／Ｄ変換器１５０−１、１５０−２にそれぞれ出力する。Ａ／Ｄ変換器１５０−１、１５０−２は、入力された信号をデジタル信号に変換して画像処理ＬＳＩ２１０に出力する。
【００６４】
入力信号選択回路３１０は、Ａ／Ｄ変換器１５０−１、１５０−２から入力された信号を時分割で選択し、露光データ生成回路２２０に出力する。露光データ生成回路２２０は、時分割で入力された信号に対して露光データ（モニタ露光データ、通常露光データ、混合露光データ）の生成を行い、生成したそれぞれの露光データを個別に外部メモリ１８０に格納する。
【００６５】
外部メモリ１８０に格納された露光データは、回路ブロック３２０により読み出されて処理され、ＬＣＤ１９０への表示、及び記録メディア２００への記録が行われる。
【００６６】
すなわち、図１１に示すように、撮像素子を２つ使用し、露光及び電荷読出しを両撮像素子で並行させることで、混合露光シーケンスと通常露光シーケンスを時間的にオーバーラップさせることが可能になる。
【００６７】
上記のように本実施形態によれば、実施形態１の撮像装置よりも撮影時間の短縮が図れる。ただし、露光データのトラフィックが増加するため、撮影時間の短縮を実現するには露光データ生成回路２２０の動作周波数を向上させるか、あるいは搭載数を増やして時分割処理を廃止する等の対策が必要となる。
【００６８】
なお、図１や図１０の例では、ＣＰＵ１７０は画像処理ＬＳＩ２１０の外部に接続されているが、画像処理ＬＳＩ２１０内部にコアとして搭載してもよい。
【００６９】
また、モニタシーケンスにおいては、必ずしも画素混合を行う必要はない。例えば、画素混合の代わりに一般的に使用されている画素間引きを用いて読み出してもよい。
【００７０】
また、各実施形態では、混合露光信号と通常露光信号の周波数特性とＳ／Ｎの観点から、周波数成分算出回路２５０に通常露光信号、輝度レベル算出回路２６０に混合露光信号を入力しているが、入力する信号を入れ替えても良い。
【００７１】
また、記録用画像データ１８０ｅにはサムネイル画像も含まれるが、サムネイル画像は合成後の露光データから作成してもよいし（即ち、図９のタイミングＣで作成）、混合露光データから作成しても良い（即ち、図９のタイミングＢで作成）。混合露光データから作成する方が撮影時間を短縮できる。サムネイル画像は、解像度が極端に低いため、合成後の露光データから作成した物と比較しても判別は困難であるので問題はない。さらに、あらかじめ画素数が削減されている混合露光データから作成する方が、縮小処理に使用する回路の規模（フィルタのタップ数）を削減できる。
【産業上の利用可能性】
【００７２】
本発明に係る撮像装置は、低照度下かつストロボが使用できない状況での撮影において、Ｓ／Ｎの低下、解像度の低下を軽減しつつ、最適な露出の静止画像を得ることが可能になるという効果を有し、撮影画像の画質改善を行なう画像処理ＬＳＩ、及び電子スチルカメラ等の撮像装置等として有用である。
【図面の簡単な説明】
【００７３】
【図１】実施形態１に係る撮像装置１００の構成を示すブロック図である。
【図２】混合読出しを説明する図である。
【図３】画素マッピング回路２４０の構成例を示す図である。
【図４】位相ズレ検出部２４２の構成例を示す図である。
【図５】周波数成分算出回路２５０の構成例を示す図である。
【図６】平均輝度レベルの求め方を説明する図である。
【図７】画素合成回路２７０の構成を示す図である。
【図８】合成係数生成回路２８０の構成例を示す図である。
【図９】撮像装置１００における処理の流れを説明する図である。
【図１０】実施形態２に係る撮像装置３００の構成を示すブロック図である。
【図１１】撮像装置３００における処理の流れを説明する図である。
【符号の説明】
【００７４】
１００ 撮像装置
１１０ 撮像レンズ
１２０ 撮像素子
１３０ 駆動回路
１４０ アナログ信号処理回路
１５０ Ａ／Ｄ変換器
１６０ 撮影条件入力部
１７０ ＣＰＵ
１７１ ＩＳＯ感度決定部
１８０ 外部メモリ
１８０ａ モニタ露光データ
１８０ｂ 通常露光データ
１８０ｃ 混合露光データ
１８０ｄ 表示画像データ
１８０ｅ 記録用画像データ
１９０ ＬＣＤ
２００ 記録メディア
２１０ 画像処理ＬＳＩ
２２０ 露光データ生成回路
２３０ 測光回路
２４０ 画素マッピング回路
２４１ 拡大処理部
２４２ 位相ズレ検出部
２４２ａ ハイパスフィルタ
２４２ｂ ２値化フィルタ
２４２ｃ ブロックメモリ
２４２ｄ パターンマッチング回路
２４３ ズレ補正部
２５０ 周波数成分算出回路
２５１ ラインメモリ
２５２ フィルタ部
２６０ 輝度レベル算出回路
２７０ 画素合成回路
２８０ 合成係数生成回路
２９０ 画像処理回路
３００ 撮像装置
３１０ 入力信号選択回路
３２０ 回路ブロック
Ｓ０１ 露光信号
【特許請求の範囲】
【請求項１】
撮影画像の画質改善を行なう画像処理ＬＳＩであって、
行列状に配した画素群からなる撮像素子から光電変換により蓄積された電荷を画素毎に独立して読み出す通常読出しによって得られた通常露光信号に基づいて生成された通常露光データ、及び前記電荷を垂直及び水平方向に混合して読み出す混合読出しによって得られた混合露光信号に基づいて生成された混合露光データのうちの、前記混合露光データを前記通常露光データ上に、前記通常露光データと同サイズになるようにマッピングする画素マッピング回路と、
前記画素マッピング回路がマッピングした一方の露光データの画素と他方の露光データの画素とに対して、所定の合成係数により重み付け加算平均を行う画素合成回路と、
を備えていることを特徴とする画像処理ＬＳＩ。
【請求項２】
請求項１の画像処理ＬＳＩであって、
前記画素マッピング回路は、前記混合露光データと前記通常露光データの位相ズレを検出する位相ズレ検出部と、前記位相ズレを補正するズレ補正部と、を備えていることを特徴とする画像処理ＬＳＩ。
【請求項３】
請求項１の画像処理ＬＳＩであって、
撮影条件又は露光データの物理的特長に基づき前記合成係数を生成し、前記画素合成回路に与える合成係数生成回路をさらに備えていることを特徴とする画像処理ＬＳＩ。
【請求項４】
請求項３の画像処理ＬＳＩであって、
前記合成係数生成回路の出力は、前記画像処理ＬＳＩの外部から入力されたＩＳＯ感度に基づいて変化させられることを特徴とする画像処理ＬＳＩ。
【請求項５】
請求項３の画像処理ＬＳＩであって、
前記通常露光データの小領域又は前記混合露光データの小領域において輝度レベルを求める輝度レベル算出回路をさらに備え、
前記合成係数生成回路は、前記輝度レベルに基づいて合成係数を生成することを特徴とする画像処理ＬＳＩ。
【請求項６】
請求項３の画像処理ＬＳＩであって、
前記通常露光データの小領域又は前記混合露光データの小領域において、周波数成分を求める周波数成分算出回路をさらに備え、
前記合成係数生成回路は、前記周波数成分に基づいて合成係数を生成することを特徴とする画像処理ＬＳＩ。
【請求項７】
請求項１の画像処理ＬＳＩと、
１つの撮像素子と、
を備え、
前記混合読出し及び前記混合露光データの生成を行った後、次の露光可能タイミングに前記通常読出し及び前記通常露光データの生成を行うことを特徴とする撮像装置。
【請求項８】
請求項１の画像処理ＬＳＩと、
１つの撮像素子と、
を備え、
前記通常読出し及び前記通常露光データの生成を行った後、次の露光可能タイミングに前記混合読出し及び前記混合露光データの生成を行うことを特徴とする撮像装置。
【請求項９】
請求項１の画像処理ＬＳＩと、
２つ以上の撮像素子と、
を備え、
前記通常読出し及び前記通常露光データの生成と、前記混合読出し及び前記混合露光データの生成とを並列して行うことを特徴とする撮像装置。
【請求項１０】
請求項４の画像処理ＬＳＩと、
１つの撮像素子と、
を備え、
前記通常露光データと前記混合露光データの合成比率が１：０、もしくは０：１となる場合は、撮影時には画素の合成に不要となる方の露光信号の読み出し及び露光データの生成を行なわないことを特徴とする撮像装置。
【請求項１１】
請求項７から請求項１０のうちの何れか１項の撮像装置であって、
サムネイル画像を混合露光データから生成することを特徴とする撮像装置。
【請求項１２】
請求項７から請求項１０のうちの何れか１項の撮像装置であって、さらに、
前記撮像素子に入射光を集光する撮像レンズと、
前記撮像素子を駆動する駆動回路と、
前記撮像素子からの出力信号を所定のレベルまで増幅するアナログ信号処理回路と、
前記アナログ信号処理回路の出力をデジタル信号に変換して出力するＡ／Ｄ変換器と、
前記アナログ信号処理回路、及び前記Ａ／Ｄ変換器を制御するＩＳＯ感度決定部と、
画像データを格納するための外部メモリと、
を備えたことを特徴とする撮像装置。
【請求項１】
撮影画像の画質改善を行なう画像処理ＬＳＩであって、
行列状に配した画素群からなる撮像素子から光電変換により蓄積された電荷を画素毎に独立して読み出す通常読出しによって得られた通常露光信号に基づいて生成された通常露光データ、及び前記電荷を垂直及び水平方向に混合して読み出す混合読出しによって得られた混合露光信号に基づいて生成された混合露光データのうちの、前記混合露光データを前記通常露光データ上に、前記通常露光データと同サイズになるようにマッピングする画素マッピング回路と、
前記画素マッピング回路がマッピングした一方の露光データの画素と他方の露光データの画素とに対して、所定の合成係数により重み付け加算平均を行う画素合成回路と、
を備えていることを特徴とする画像処理ＬＳＩ。
【請求項２】
請求項１の画像処理ＬＳＩであって、
前記画素マッピング回路は、前記混合露光データと前記通常露光データの位相ズレを検出する位相ズレ検出部と、前記位相ズレを補正するズレ補正部と、を備えていることを特徴とする画像処理ＬＳＩ。
【請求項３】
請求項１の画像処理ＬＳＩであって、
撮影条件又は露光データの物理的特長に基づき前記合成係数を生成し、前記画素合成回路に与える合成係数生成回路をさらに備えていることを特徴とする画像処理ＬＳＩ。
【請求項４】
請求項３の画像処理ＬＳＩであって、
前記合成係数生成回路の出力は、前記画像処理ＬＳＩの外部から入力されたＩＳＯ感度に基づいて変化させられることを特徴とする画像処理ＬＳＩ。
【請求項５】
請求項３の画像処理ＬＳＩであって、
前記通常露光データの小領域又は前記混合露光データの小領域において輝度レベルを求める輝度レベル算出回路をさらに備え、
前記合成係数生成回路は、前記輝度レベルに基づいて合成係数を生成することを特徴とする画像処理ＬＳＩ。
【請求項６】
請求項３の画像処理ＬＳＩであって、
前記通常露光データの小領域又は前記混合露光データの小領域において、周波数成分を求める周波数成分算出回路をさらに備え、
前記合成係数生成回路は、前記周波数成分に基づいて合成係数を生成することを特徴とする画像処理ＬＳＩ。
【請求項７】
請求項１の画像処理ＬＳＩと、
１つの撮像素子と、
を備え、
前記混合読出し及び前記混合露光データの生成を行った後、次の露光可能タイミングに前記通常読出し及び前記通常露光データの生成を行うことを特徴とする撮像装置。
【請求項８】
請求項１の画像処理ＬＳＩと、
１つの撮像素子と、
を備え、
前記通常読出し及び前記通常露光データの生成を行った後、次の露光可能タイミングに前記混合読出し及び前記混合露光データの生成を行うことを特徴とする撮像装置。
【請求項９】
請求項１の画像処理ＬＳＩと、
２つ以上の撮像素子と、
を備え、
前記通常読出し及び前記通常露光データの生成と、前記混合読出し及び前記混合露光データの生成とを並列して行うことを特徴とする撮像装置。
【請求項１０】
請求項４の画像処理ＬＳＩと、
１つの撮像素子と、
を備え、
前記通常露光データと前記混合露光データの合成比率が１：０、もしくは０：１となる場合は、撮影時には画素の合成に不要となる方の露光信号の読み出し及び露光データの生成を行なわないことを特徴とする撮像装置。
【請求項１１】
請求項７から請求項１０のうちの何れか１項の撮像装置であって、
サムネイル画像を混合露光データから生成することを特徴とする撮像装置。
【請求項１２】
請求項７から請求項１０のうちの何れか１項の撮像装置であって、さらに、
前記撮像素子に入射光を集光する撮像レンズと、
前記撮像素子を駆動する駆動回路と、
前記撮像素子からの出力信号を所定のレベルまで増幅するアナログ信号処理回路と、
前記アナログ信号処理回路の出力をデジタル信号に変換して出力するＡ／Ｄ変換器と、
前記アナログ信号処理回路、及び前記Ａ／Ｄ変換器を制御するＩＳＯ感度決定部と、
画像データを格納するための外部メモリと、
を備えたことを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−３０１３８９（Ｐ２００８−３０１３８９Ａ）
【公開日】平成２０年１２月１１日（２００８．１２．１１）
【国際特許分類】
【出願番号】特願２００７−１４７７６１（Ｐ２００７−１４７７６１）
【出願日】平成１９年６月４日（２００７．６．４）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２０年１２月１１日（２００８．１２．１１）
【国際特許分類】
【出願日】平成１９年６月４日（２００７．６．４）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]