撮像装置、その制御方法、および制御プログラム
【課題】フレーム毎に急激なゲインの変化が生じても精度よくノイズ補正を行う。
【解決手段】互いに異なる第１および第２の露出量で撮像素子に光学像を与えて撮像素子からアンダー画像およびオーバー画像を出力させる。アンダー画像およびオーバー画像に対して巡回ノイズ補正処理を行う際、のアンダー画像およびオーバー画像を巡回ノイズ補正処理した際にそれぞれ得られた巡回データを引き継いで、アンダー画像およびオーバー画像に対する巡回ノイズ補正処理を行う。
【解決手段】互いに異なる第１および第２の露出量で撮像素子に光学像を与えて撮像素子からアンダー画像およびオーバー画像を出力させる。アンダー画像およびオーバー画像に対して巡回ノイズ補正処理を行う際、のアンダー画像およびオーバー画像を巡回ノイズ補正処理した際にそれぞれ得られた巡回データを引き継いで、アンダー画像およびオーバー画像に対する巡回ノイズ補正処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、動画又は静止画を撮影する際に露出を変えつつ撮影する場合の補正制御に関する。
【背景技術】
【０００２】
近年、家庭用ビデオカメラおよびデジタルスチルカメラなどの撮像装置が一般に普及している。撮像装置で用いられる撮像素子において、ＣＣＤ撮像素子に加えて、ＣＭＯＳ撮像素子が用いられている。これらの撮像素子ついては、市場（ユーザ）の要望によって高画素化が進んでいる。撮像素子の高画素化に伴って、撮像素子自体に起因するノイズの問題があり、ノイズを低減又は補正するための手法が種々提案されている。
【０００３】
例えば、撮像装置において、動画撮影の際に発生するノイズを巡回処理して補正低減するようにしたものがある（特許文献１参照）。
【０００４】
一方、撮像素子のダイナミックレンジを超えるダイナミックレンジで撮影を行うための所謂ダイナミックレンジ拡張撮影（ＨＤＲ撮影）が知られている。
【０００５】
例えば、撮像装置において、所謂アンダー画像とオーバー画像とを合成して、ダイナミックレンジを拡張する手法がある（特許文献２参照）。このＨＤＲ処理によって撮像素子のダイナミックレンジを超える撮影が可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２４５９９８号公報
【特許文献２】特開平６−２７３３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、上述のノイズ補正手法では、ＨＤＲ撮影のようにフレーム毎に意図的に露出を変化させる処理について何ら考慮されていない。
【０００８】
よって本発明の目的は、露出を異ならせながら連続して画像を撮像する場合でも精度良くノイズ補正を行うことのできる撮像装置、その制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するため、本発明による撮像装置は、被写体を撮影して得た光学像に応じた画像信号を得る撮像素子を有する撮像装置であって、互いに異なる第１および第２の露出量で前記撮像素子に前記光学像を与えて前記撮像素子から前記第１および前記第２の露出量に応じた第１および第２の画像信号を出力させる露出制御手段と、前記第１および前記第２の画像信号に対して巡回ノイズ補正処理を行う巡回処理手段と、前記巡回ノイズ補正処理の後の前記第１および前記第２の画像信号を合成して合成画像信号とする合成手段とを有し、前記巡回処理手段は、第１の画像信号および第２の画像信号を巡回ノイズ補正処理した際にそれぞれ得られた巡回データを引き継いで、第１の画像信号および第２の画像信号に対する巡回ノイズ補正処理を行うことを特徴とする。
【００１０】
本発明による制御方法は、被写体を撮影して得た光学像に応じた画像信号を得る撮像素子を有する撮像装置の制御方法であって、互いに異なる第１および第２の露出量で前記撮像素子に前記光学像を与えて前記撮像素子から前記第１および前記第２の露出量に応じた第１および第２の画像信号を出力させる露出制御ステップと、前記第１および前記第２の画像信号に対して巡回ノイズ補正処理を行う巡回処理ステップと、前記巡回ノイズ補正処理の後の前記第１および前記第２の画像信号を合成して合成画像信号とする合成ステップとを有し、前記巡回処理ステップでは、第１の画像信号および第２の画像信号を巡回ノイズ補正処理した際にそれぞれ得られた巡回データを引き継いで、第１の画像信号および第２の画像信号に対する巡回ノイズ補正処理を行うことを特徴とする。
【００１１】
本発明による制御プログラムは、被写体を撮影して得た光学像に応じた画像信号を得る撮像素子を有する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、互いに異なる第１および第２の露出量で前記撮像素子に前記光学像を与えて前記撮像素子から前記第１および前記第２の露出量に応じた第１および第２の画像信号を出力させる露出制御ステップと、前記第１および前記第２の画像信号に対して巡回ノイズ補正処理を行う巡回処理ステップと、前記巡回ノイズ補正処理の後の前記第１および前記第２の画像信号を合成して合成画像信号とする合成ステップとを実行させ、前記巡回処理ステップでは、第１の画像信号および第２の画像信号を巡回ノイズ補正処理した際にそれぞれ得られた巡回データを引き継いで、第１の画像信号および第２の画像信号に対する巡回ノイズ補正処理を行うことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、フレーム毎に急激なゲインの変化が生じても精度よくノイズ補正を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態による撮像装置の一例であるデジタルカメラの構成を示すブロック図である。
【図２】図１に示す撮像装置におけるＨＤＲ動画撮影を説明するためのフローチャートである。
【図３】図１に示す撮像素子について説明するための図である。
【図４】図１に示す撮像装置で行われるＨＤＲ撮影で用いられる合成比率テーブルの一例を示す図である。
【図５】図１に示す撮像装置で行われる巡回ノイズ補正処理を説明するための図である。
【図６】図１に示す撮像装置で行われる相互参照型巡回ノイズ補正について説明するための図である。
【図７】図１に示す撮像装置においてゲインを変更した際の巡回ノイズ補正処理を説明するための図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態による撮像装置について図面を参照して説明する。
【００１５】
図１は、本発明の実施の形態による撮像装置の一例であるデジタルカメラの構成を示すブロック図である。
【００１６】
図示の撮像装置１００は撮影レンズ１０および絞り機能を備える機械式シャッター１２を有している。光学像が撮影レンズ１０およびシャッター１２を介して撮像素子１４に結像する。撮像素子１４はこの光学像に応じた電気信号（アナログ信号）を出力する。このアナログ信号はＡ／Ｄ変換器１６によってデジタル信号（画像データ）に変換される。
【００１７】
撮像素子１４およびＡ／Ｄ変換器１６にはタイミング発生回路（タイミング発生部）１８からクロック信号および制御信号が供給され、撮像素子１４およびＡ／Ｄ変換器１６はクロック信号および制御信号に応じて動作する。タイミング発生回路１８はメモリ制御回路２２およびシステム制御回路５０によって制御される。
【００１８】
タイミング発生回路１８によって、撮像素子１４のリセットタイミングを制御すれば、撮像素子１４の電荷蓄積時間を制御することができる。つまり、タイミング発生回路１８によるリセットタイミング制御によって所謂電子シャッタが実現される。
【００１９】
画像処理回路（画像処理部）２０はＡ／Ｄ変換器１６から供給される画像データ又はメモリ制御回路２２から与えられる画像データに対して所定の画素補間処理および色変換処理を行う。画像処理回路２０は画像データから画像の切り出しおよび変倍処理を行って電子ズーム機能を行う。
【００２０】
さらに、画像処理回路２０は、撮像の結果得られた画像データに応じて所定の演算処理を行う。そして、システム制御回路（システム制御部）５０は当該演算結果に基づいて露光制御部４０および測距制御部４２を制御する。これによって、露光制御部４０および測距制御部４２は、所謂ＴＴＬ（ｔｈｒｏｕｇｈ ｔｈｅ ｌｅｎｓ）方式によるＡＦ（自動焦点）処理、ＡＥ（自動露出）処理、およびＥＦ処理を行う。
【００２１】
加えて、画像処理回路２０は、撮像の結果得られた画像データに応じて所定の演算処理を行って得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。
【００２２】
メモリ制御回路２２はＡ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、および圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力された画像データは画像処理回路２０およびメモリ制御回路２２を介して又は直接メモリ制御回路２２を介してメモリ３０に書き込まれる。
【００２３】
画像表示部２８は、例えば、ＴＦＴ ＬＣＤで構成され、メモリ３０に書き込まれた画像データはメモリ制御回路２２によって画像として画像表示部２８に表示される。そして、画像表示部２８に画像を逐次表示するようにすれば、電子ファインダー機能として用いることができる。
【００２４】
さらに、画像表示部２８はシステム制御回路５０の制御によってその表示がオン又はオフされる。表示をオフすれば、撮像装置１００における電力消費を大幅に低減することができる。
【００２５】
メモリ３０には、前述のように、撮影の結果得られた画像データが格納される（この画像データには静止画像データ動画像データが含まれる）。このメモリ３０は所定枚数の静止画像データおよび所定時間の動画像データを格納するための十分な記憶容量を有している。
【００２６】
この結果、複数枚の静止画像を連続して撮影する所謂連写撮影又はパノラマ撮影の際においても、高速かつ大量の画像データをメモリ３０に書き込むことができる。
【００２７】
なお、メモリ３０はシステム制御回路５０の作業領域としても用いることが可能である。
【００２８】
不揮発性メモリ３１は、例えば、Ｆｌａｓｈ ＲＯＭであり、システム制御回路５０が実行するプログラムコードが不揮発性メモリ３１に格納されている。そして、システム制御回路５０は不揮発性メモリ５０からプログラムコードを逐次読み出して実行する。
【００２９】
なお、不揮発性メモリにはシステム情報を記憶する領域、ユーザ設定情報を記憶する領域が設定され、種々の情報および設定を次回起動の際に、システム制御回路５０が読み出す。
【００３０】
圧縮・伸長回路３２は適応離散コサイン変換（ＡＤＣＴ）などによって画像データを圧縮伸長する。例えば、圧縮・伸長回路３２はメモリ３０に格納された画像データを読み込んで圧縮処理又は伸長処理を行って、処理済みの画像データをメモリ３０に書き込む。
【００３１】
露光制御部４０は絞り機能を備えるシャッター１２を制御する。また、露光制御部４０はフラッシュ４８と連動するフラッシュ調光機能も有している。
【００３２】
測距制御部４２は撮影レンズ１０のフォーカシングを制御する。ズーム制御部４４は撮影レンズ１０のズーミングを制御する。フラッシュ４８はＡＦ補助光の投光機能およびフラッシュ調光機能を有している。
【００３３】
前述のように、露光制御部４０および測距制御部４２はＴＴＬ方式によって制御され、画像処理回路２０による演算結果に基づいて、システム制御回路５０が露光制御部４０および測距制御部４２を制御する。
【００３４】
図示のように、システム制御回路５０には、モードダイアルスイッチ６０、シャッタースイッチ６２および６４、表示切替スイッチ６６、操作部７０、およびズームスイッチ７２が接続されている。
【００３５】
モードダイアルスイッチ６０は、電源のオフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、およびＨＤＲ（ダイナミックレンジ拡張撮影）動画撮影モードなとの機能モードを切り替え設定する際に用いられる。
【００３６】
シャッタースイッチ６２は、シャッターボタン（図示せず）の操作途中でオンとなって、第１のシャッタースイッチ信号ＳＷ１をシステム制御回路５０に送出する。これによって、システム制御回路５０はＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、およびＡＷＢ（オートホワイトバランス）処理などの動作開始を指示する。
【００３７】
シャッタースイッチ６４はシャッターボタンの操作完了でオンとなって、第２のシャッタースイッチ信号ＳＷ１をシステム制御回路５０に送る。これによって、システム制御回路５０は、例えば、フラッシュ撮影の場合には、ＥＦ（フラッシュプリ発光）処理を行った後、ＡＥ処理で決定された露光時間だけ撮像素子１４を露光させる。
【００３８】
フラッシュ撮影の場合には、露光時間中にフラッシュ４８の発光が行われて、露光時間が終了すると、露光制御部４０はシステム制御回路５０の制御下でシャッター１２を制御して遮光を行って、撮像素子１４に対する露光を終了させる。
【００３９】
前述のように、撮像素子１４から読み出されたアナログした信号はＡ／Ｄ変換器１６およびメモリ制御回路２２を介してメモリ３０に画像データとして書き込まれる（読み出し処理）。そして、画像処理回路２０およびメモリ制御回路２２における演算結果を用いた現像処理とメモリ３０から画像データを読み出して圧縮・伸長回路３２で圧縮を行う圧縮処理とがシステム制御回路５０の制御下で行われる。そして、圧縮後の画像データは後述する記録媒体２００に書き込まれる（記録処理）。
【００４０】
表示切替スイッチ６６の操作によって、システム制御回路５０の制御下で画像表示部２８の表示切替が行われる。この表示切替によって光学ファインダー１０４を用いて撮影を行う際、前述のように画像表示部２８に対する電源供給が遮断されて省電力を図ることができる。
【００４１】
操作部７０は、例えば、各種のボタン、タッチパネル、および回転式ダイアルを備えている。図示はしないが、各種のボタンには、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、および単写／連写／セルフタイマー切り替えボタンなどがある。
【００４２】
加えて、各種のボタンには、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン名とがある。
【００４３】
ズームスイッチ７２はユーザーによって操作され、ズームスイッチ７２の操作によって、システム制御回路５０は撮像画像の倍率変更指示を行う。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチとを有している。
【００４４】
このズームスイッチ７２の操作によって、ズーム制御部４４はシステム制御回路５０の制御下で撮影レンズ１０の撮像画角を変更して光学ズームを実行する。また、ズームスイッチ７２の操作によって、画像処理回路２０による画像の切り出しおよび画素補間処理などの撮像画角の電子的なズーミング変更が行われる。
【００４５】
電源８６は、例えば、アルカリ電池などの一次電池、又はＮｉＣｄ電池、ＮｉＭＨ電池、又はＬｉイオン電池等の二次電池を備えるとともに、ＡＣアダプターを有している。
【００４６】
インタフェース（Ｉ／Ｆ）９０はメモリカード又はハードディスク等の記録媒体２００と撮像装置１００とのインタフェースであり、Ｉ／Ｆ９０はコネクタ９２によって記録媒体２００と接続される。と接続を行うコネクタである。
【００４７】
記録媒体２００は半導体メモリ又は磁気ディスクなどの記録部２０２およびインタフェース（Ｉ／Ｆ）２０４を備えており、記録媒体２００はコネクタ２０６によって撮像装置１００に接続される。
【００４８】
通信部１１０は、例えば、ＵＳＢ、ＩＥＥＥ１３９４の機能、ＬＡＮ機能、無線通信機能などを備えている。そして、通信部１１０はコネクタ１１２によって外部機器（図示せず）に接続される。なお、無線通信機能を用いる場合には、コネクタ１１２にはアンテナが接続される。
【００４９】
図２は、本実施形態におけるＨＤＲ動画撮影を説明するためのフローチャートである。
【００５０】
ＨＤＲ動画撮影では、撮像素子１４のダイナミックレンジをアンダー／オーバーとして２種類の画像を得て、当該２種類の画像を合成処理してダイナミックレンジを拡大する。
【００５１】
ＨＤＲ動画撮影が開始されると、システム制御回路５０は適正な露出（第１の露出量）よってダイナミックレンジがアンダーの画像（第１の画像信号：以下アンダー画像と呼ぶ）を取得する（ステップＳ１０１）。アンダー画像の撮影の際には巡回処理によって画像の補正が行われる。
【００５２】
続いて、システム制御回路５０は第２の露出量でダイナミックレンジがオーバーの画像（第２の画像信号：以下オーバー画像と呼ぶ）を取得する（ステップＳ１０２）。オーバー画像の撮影の際にも巡回処理による画像の補正が行われる。これら巡回処理による画像の補正については後述する。
【００５３】
露出の異なる２種類の画像を取得した後（つまり、アンダー画像およびオーバー画像を取得した後）、画像処理回路２０はシステム制御回路５０の制御下で２種類の画像データについて合成処理を行って、合成画像データ（合成画像信号）とする（ステップＳ１０３）。この合成処理については後述する。
【００５４】
合成処理を行った後、画像処理回路２０は合成画像データをＹＵＶ信号の形式に現像処理を行った後、符号化処理を行う（ステップＳ１０４）。そして、画像処理回路２０はメモリ制御回路２２によって符号化処理後の画像データを記録媒体２００に動画像データとして記録する（ステップＳ１０５）。
【００５５】
システム制御回路５０は動画像データの記録が完了したか否かを監視しており（ステップＳ１０６）、動画撮影中であれば（ステップＳ１０６において、ＮＯ）、システム制御回路５０はステップＳ１０１の処理に戻ってＨＤＲ動画記録を継続する。
【００５６】
一方、動画撮影が終了すると（ステップＳ１０６において、ＹＥＳ）、システム制御回路５０はＨＤＲ動画記録を終了する。
【００５７】
続いて、本実施形態で行われる巡回処理による画像の補正（以下巡回ノイズ補正処理という）について説明する。本実施形態では、撮像素子１４における列単位のオフセットを補正する列オフセット補正を行うものとする。ただし、巡回ノイズ補正処理の方法としてはこれに限らない。以下、列オフセット補正について説明する。
【００５８】
図３は、図１に示す撮像素子１８の構造を示す図である。
【００５９】
撮像素子１８は、複数の画素が２次元マトリックス状に配置されており、撮像素子１８の撮像面（表面）は複数の領域に分けられている。
【００６０】
図示の例では、撮像素子１８は有効画素領域（画像が有効な領域）である映像領域１８Ａを備えており、映像領域１８Ａの周囲には常時黒レベルを出力するＯＢ領域１８Ｂが位置づけられている。そして、撮像素子１８はその上部に列オフセット検出領域１８Ｃが規定されている。列オフセット検出領域１８Ｃにおいて列毎に巡回処理による列オフセット検出が行われて、この検出結果に応じてオフセット補正量が求められる。
【００６１】
列オフセット補正においては列単位でそのオフセット補正量が異なるので、オフセット補正量を記憶するための容量は撮像素子１８の水平画素数分だけ必要となる。例えば、水平方向の画素数がＮ（Ｎは２以上の整数）画素であれば、Ｏｆｆｓｅｔ［１］〜Ｏｆｆｓｅｔ［Ｎ］の巡回データ用のメモリが必要となる。
【００６２】
まず、動画像データの記録開始の際には巡回データの初期化が必要となるので、Ｏｆｆｓｅｔ［１］〜Ｏｆｆｓｅｔ［Ｎ］に０を代入する。
【００６３】
巡回列オフセット補正では、入力画素Ｐｉｘ［ｘ，ｙ］に対して巡回係数αを掛けて巡回データを求める。つまり、オフセット補正量は次の式（１）で求められる。
【００６４】
Ｏｆｆｓｅｔ［ｘ］＝（Ｐｉｘ［ｘ，ｙ］−ｓｅｔｕｐ）×α＋Ｏｆｆｓｅｔ［ｘ］×（１−α） （１）
ここで、［ｘ，ｙ］は画素の座標位置、ｓｅｔｕｐは黒レベルである固定オフセット量、そして、αは巡回係数（０≦α≦１．０）である。
【００６５】
式（１）で示す演算をオフセット検出領域１８Ｃの１ライン目の１画素目からＮ画素目まで行って、１ライン分の巡回処理を行う。同様にして、オフセット検出領域１８Ｃの２ライン目についても１画素目からＮ画素目まで、式（１）で示す演算を行う。そして、オフセット検出領域１８Ｃの全ラインについて巡回演算を行う。
【００６６】
この巡回演算はサンプルするライン数が多ければ多いほどその検出精度が高まるので、オフセット検出領域１８Ｃのライン数を多いほど検出精度は高いことになる。
【００６７】
オフセット検出領域１８Ｃより下部の領域（映像領域）では、巡回演算によって求めたオフセット補正量を減算して、次の式（２）を用いて列オフセット補正を行う。
【００６８】
ＰｉｘＯｕｔ［ｘ，ｙ］＝ＰｉｘＩｎ［ｘ，ｙ］−Ｏｆｆｓｅｔ［ｘ］ （２）
ここで、ＰｉｘＯｕｔ［ｘ］は補正後の出力を示し、ＰｉｘＩｎ［ｘ］は補正前の入力を示す。そして、Ｏｆｆｓｅｔ［ｘ］はオフセット補正量を示す。
【００６９】
式（２）に示すオフセット補正を映像領域１８Ａに亘って行うと、列単位でオフセット成分が除去された画像データを得ることができる。
【００７０】
上記のオフセット補正では、動画像データにおいてはフレーム毎に巡回処理を行うので、次フレームの巡回データＯｆｆｓｅｔ［ｘ］の初期値は前フレームの最終巡回データとなる。この結果、フレーム数が進行するほどオフセット検出の精度が高まり、誤補正を低減することが可能となる。
【００７１】
ところが、オフセット補正量はゲインに応じて変動するので、ゲインの変化が生じると、オフセット補正量が収束するまで時間を要することになる。ここでは、ＨＤＲ撮影におけるゲインの変化に対して有効な巡回ノイズ補正処理について説明する。
【００７２】
図４は、本実施形態におけるＨＤＲ画像の生成に用いられる合成比率テーブルの一例を示す図である。
【００７３】
図４において、縦軸は合成比率を表し、横軸はアンダー画像の画素レベルを表す。そして、アンダー画像の画素レベルに応じてアンダー画像合成比率Ａおよびオーバー画像合成比率Ｂが変化する。なお、この合成比率テーブルは、例えば、不揮発性メモリ４８に格納され、システム制御回路５０によって読み出されてメモリ制御回路２２を介して画像処理回路２０に与えられる。
【００７４】
前述のように、ＨＤＲ撮影においてはアンダー画像およびオーバー画像の２種類の画像を得る。そして、画像処理回路２０はアンダー画像を参照してその合成比率を求める。つまり、画像処理回路２０はアンダー画像における各画素のレベルに応じて、図４に示す合成比率テーブルを参照し、画素毎の合成比率を決定する。そして、画像処理回路２０は式（３）によって２種類の画像の画像合成処理を行う。
【００７５】
ＰｉｘＯｕｔ［ｘ，ｙ］＝ＰｉｘＵｎｄｅｒ［ｘ，ｙ］×Ａ＋ＰｉｘＯｖｅｒ［ｘ，ｙ］×Ｂ （３）
ここで、ＰｉｘＯｕｔ［ｘ，ｙ］は合成後の出力を示し、ＰｉｘＵｎｄｅｒ［ｘ，ｙ］はアンダー画像を示す。そして、ＰｉｘＯｖｅｒ［ｘ，ｙ］はオーバー画像を示す。また、Ａはアンダー画像合成比率を示し、Ｂはオーバー画像合成比率を示す。
【００７６】
前述のように、アンダー画像合成比率Ａおよびオーバー画像合成比率Ｂの各々はアンダー画像の画素レベルによって決定される。アンダー画像の画素レベルが低い場合は、当該画素は極めて輝度レベルが低いので、オーバー画像合成比率Ｂが高くなり、アンダー画像合成比率Ａは低くなる。
【００７７】
一方、アンダー画像の画素レベルが高い場合は、当該画素は極めて輝度レベルが高いので、アンダー画像合成比率Ａが高くなり、オーバー画像合成比率Ａは低くなる。
【００７８】
このようにして、２種類の画像データ（第１の画像信号および第２の画像信号）を合成処理すると、１度の露出で得られた画像データに比べて、ダイナミックレンジの広い画像データを得ることができる。
【００７９】
ここで、本実施形態における巡回ノイズ補正処理の理解を容易にするため、従来の巡回ノイズ補正処理の性質について説明する。
【００８０】
特許文献１にあるような従来の巡回ノイズ補正処理では、動画のように連続した撮影において急激なゲイン変動がないことが望ましい。これは、ノイズの発生パターンはゲインに依存するからであり、つまり前のフレームを参照する巡回処理では、ゲインが変動すると補正精度が低下してしまう。また急激なゲインの変更は、動画の見た目の滑らかさが損なわれる。このため、通常の動画の撮影および記録の際には、連続したフレーム間で急激なゲインの変更は行われていない。
【００８１】
ここで、ＨＤＲ撮影における露出は、被写界深度を変えずに撮影する必要があるので、通常、絞りを固定しシャッター速度あるいはゲインを調整して異なる露出としている。
【００８２】
被写体が比較的明るければ、シャッター速度選択の自由度が高く、ゲインを変更することなく絞りを固定して、シャッター速度の変更のみで異なる露出を実現することができる。 ところが、被写体が暗いとシャッター速度が長秒側に位置してしまい、シャッター速度の調整のみで対応することができない場合がある。この際には、読み出しゲインを上げることによって露出を上げる必要がある。
【００８３】
ＨＤＲ撮影の効果を得るためには、一般にアンダーとオーバーとの露出差は少なくとも３〜４段分必要である。つまり、シャッター速度の調整によって露出差を実現できない場合には、ゲインの調整によって３〜４段分の露出差を実現する必要がある。この問題は、被写体の動きが大きいことで画像間の被写体のぶれ量が変わってくることを低減するために、シャッター速度の違いのみによって所望の露出差をつけられない場合などにも出てくることが考えられる。
【００８４】
このように、ゲインの調整によって露出差を実現すると、連続したフレーム間においてゲインが大きく異なることがある。
【００８５】
例えば、アンダー画像についてはＧａｉｎ−ＡあるいはＧａｉｎ−Ａから所定範囲内のゲインで撮影を行い、オーバー画像については、Ｇａｉｎ−Ａと異なるＧａｉｎ−ＢあるいはＧａｉｎ−Ｂから所定範囲内のゲインで撮影を行ったとする。なお本実施形態では、上述した所定範囲はＧａｉｎ−ＡとＧａｉｎ−Ｂの差よりも小さいものとする。この際、前フレームからそのまま巡回データを引き継ぐと、前述したようにゲインの変動が大きいために現フレームにおいては正しい初期値によって巡回処理を行うことができないことがある。このため、従来の巡回ノイズ補正処理では補正精度が落ちてしまうことになる。
【００８６】
そこで、本実施形態では、アンダー画像およびオーバー画像毎に異なる巡回初期値を用意して、別々に巡回処理を行う。
【００８７】
図５は本実施形態における巡回ノイズ補正処理を説明するための図である。
【００８８】
いま、アンダー画像はゲインＧａｉｎ−ＡあるいはＧａｉｎ−Ａから所定範囲内のゲインで撮影を行い、オーバー画像はゲインＧａｉｎ−ＢあるいはＧａｉｎ−Ｂから所定範囲内のゲインで撮影を行っているものとする。「アンダー画像１」は最初に撮影される画像であるので、初期値が０であり、Ｏｆｆｓｅｔ［ｘ］＝０として、オフセット検出領域１８Ｃに対する巡回処理によってオフセット検出を開始する。そして、このオフセット検出で得られたオフセット補正量に応じて映像領域１８Ａについて補正が行われる。
【００８９】
「アンダー画像１」の撮影、オフセット検出、およびオフセット補正が終了すると、次に「オーバー画像１」の撮影、オフセット検出、およびオフセット補正の順で処理が行われる。
【００９０】
前述のように、「アンダー画像」の撮影と「オーバー画像」の撮影とではゲインが異なるので、基本的に「アンダー画像」から次フレームの「オーバー画像」には巡回データを引き継がないようにする。また、「オーバー画像」から次フレームの「アンダー画像」には巡回データを引き継がないようにする。つまり、「アンダー画像」同士で巡回データを引き継ぎ、「オーバー画像」同士で巡回データを引き継ぐ。
【００９１】
ただし、巡回初期値に関しては、直前フレームの巡回データを使用する。すなわち、画像処理回路２０はシステム制御回路５０の制御下で、式（４）で示す換算式を用いて「アンダー画像１」の巡回データを補正して、「オーバー画像１」で用いる巡回初期値を得る。
【００９２】
ＯｆｆｓｅｔＯｖｅｒ［ｘ］＝ＯｆｆｓｅｔＵｎｄｅｒ［ｘ］×２＾ＧａｉｎＤｉｆｆ （４）
ここで、ＯｆｆｓｅｔＯｖｅｒ［ｘ］はオーバー画像１の巡回初期値を示し、ＯｆｆｓｅｔＵｎｄｅｒ［ｘ］は直前のアンダー画像１の巡回データを示す。また、ＧａｉｎＤｉｆｆはアンダー画像撮影とオーバー画像撮影とのゲイン差［段数］を示す。
【００９３】
式（４）に示す換算式で得られた巡回初期値を用いれば、巡回初期値を０として巡回処理を開始する場合に比べて、巡回演算の収束を早くすることができる。ここでは、ＯｆｆｓｅｔＵｎｄｅｒ［ｘ］を「アンダー画像１」における巡回データとし、式（４）で得られたＯｆｆｓｅｔＯｖｅｒ［ｘ］を「オーバー画像１」における巡回初期値として用いる。そして、画像処理回路２０はシステム制御回路５０の制御下で「オーバー画像１」に係るオフセット検出およびオフセット補正を行う。
【００９４】
続いて、「アンダー画像２」の撮影が行われる。「アンダー画像２」に係る巡回データは、直前に撮影された「オーバー画像１」の巡回データではなく、画像処理回路２０は同一のゲインで撮影された「アンダー画像１」の巡回データを参照する。
【００９５】
「アンダー画像１」および「アンダー画像２」の撮影におけるゲインは同一かもしくは所定範囲内であるので、「アンダー画像２」では巡回データを正しく引き継ぐことができる。このため、「アンダー画像２」について精度よくオフセット検出を行うことができる。
【００９６】
同様にして、「オーバー画像２」に係る巡回初期値についても「オーバー画像１」の巡回データから引き継ぐ。このようにして、アンダー画像については、アンダー画像のみで巡回データを引き継ぎ、巡回処理Ａが行われる。一方、オーバー画像については、オーバー画像のみで巡回データを引き継いで、巡回処理Ｂを行う。この結果、ゲインの異なる画像において精度よくオフセット検出およびオフセット補正を行うことができる。
【００９７】
図５で説明した巡回ノイズ補正処理はＨＤＲ動画のように連続して撮影を行ってノイズの検出および補正を行う場合に適している。一方、インターバル撮影のように撮影と撮影との間隔が開くような場合には、次に述べる相互参照巡回ノイズ補正が有効である。
【００９８】
図６は、図１に示す撮像装置で行われる相互参照型巡回ノイズ補正について説明するための図である。
【００９９】
図１に示す撮像素子１４は温度変化によって補正すべきオフセット量が変動する。動画データのようにフレームにおける時間差が短い場合には比較的温度変化による影響度は低い。
【０１００】
一方、インターバル撮影のように撮影の間隔が長く開くと、その間における撮像素子１４の温度変化が無視できなくなる。このため、時系列上においてより近くに位置する画像の巡回データを参照した方が温度変化の影響を少なくしてオフセット検出の精度を高くすることができる。従って、ここでは、アンダー画像およびオーバー画像の双方における巡回データを参照して、撮像素子１４の温度変化に対するオフセット検出の精度を向上させる。
【０１０１】
また、通常のＨＤＲ動画撮影においても、アンダー画像及びオーバー画像にかけるゲインの差が小さくなってくると、直前フレームも加味して現フレームにとっての巡回データとすることも有効になる。
【０１０２】
図６において、「アンダー画像１」および「オーバー画像１」の撮影、オフセット検出、およびオフセット補正については図５で説明したようにして行われる。
【０１０３】
「アンダー画像２」に係るオフセット検出およびオフセットについては、画像処理回路２０は、システム制御回路５０の制御下で「アンダー画像１」および「オーバー画像１」における巡回データを、巡回初期値を求める際に参照する。そして、画像処理回路２０は、式（５）に基づいて、「アンダー画像２」における巡回データを決定する。
【０１０４】
ＯｆｆｓｅｔＵｎｄｅｒ２［ｘ］＝ＯｆｆｓｅｔＵｎｄｅｒ１［ｘ］×β＋ＯｆｆｓｅｔＯｖｅｒ１［ｘ］×２＾ＧａｉｎＤｉｆｆ×（１−β） （５）
ここで、ＯｆｆｓｅｔＵｎｄｅｒ１［ｘ］はアンダー画像１を示し、ＯｆｆｓｅｔＯｖｅｒ１［ｘ］は直前のオーバー画像１を示す。また、ＧａｉｎＤｉｆｆはアンダー画像撮影とオーバー画像撮影とのゲイン差［段数］を示し、βは相互参照係数（０≦β≦１．０）を示す。
【０１０５】
式（５）によって、「アンダー画像２」の巡回初期値を決定すれば、「アンダー画像１」における巡回データと「オーバー画像１」における巡回データとが、「アンダー画像２」の巡回初期値に加味されることになる。これによって、「アンダー画像２」の撮影が時系列上「アンダー画像１」より「オーバー画像１」の撮影に近いことのメリットが受けられることになる。
【０１０６】
相互参照係数βはフレームレートによって変更させることが望ましい。フレームレートが高くなるにつれて画像間（つまり、フレーム間）の時間差が少なくなるので、画像処理回路２０は同一ゲインの画像における巡回データの参照度合いを高める。このため、画像処理回路２０は、フレームレートが高くなるにつれて相互参照係数をβ＝１．０に近づける。
【０１０７】
一方、フレームレートが低くなるにつれて、画像処理回路２０は異なるゲインの画像における巡回データの参照度合いを高めるため相互参照係数をβ＝１．０から下げる。
【０１０８】
このようにして、「アンダー画像１」〜「アンダー画像４」および「オーバー画像１」〜「オーバー画像４」について巡回データを参照し、この際フレームレートに応じて相互参照係数βを変更するようにすれば、精度よくオフセット補正を行うことができる。
【０１０９】
また、アンダー画像とオーバー画像のゲイン差ＧａｉｎＤｉｆｆによって参照係数βを変えることも有効である。この場合、前述したように、ＧａｉｎＤｉｆｆが小さいほど、直前フレームも有効に活用できると考えられるので、β＝１．０から下げて０に近づける。
【０１１０】
図７は、図１に示す撮像装置においてゲインを変更した際の巡回ノイズ補正処理を説明するための図である。
【０１１１】
ここでは、撮影の際に、例えば、被写体の輝度が変化して、これによってアンダー画像およびオーバー画像に拘わらずゲインが変更された場合について説明する。
【０１１２】
図７において、いま、「アンダー画像１」〜「アンダー画像４」、「オーバー画像１」、および「オーバー画像４」ついてはゲインＧａｉｎ−Ａで撮影が行われ、「オーバー画像２」および「オーバー画像３」についてはゲインＧａｉｎ−Ｂで撮影が行われるとする。
【０１１３】
「アンダー画像１」、「オーバー画像１」、および「アンダー画像２」の撮影では、同一のゲインであるＧａｉｎ−Ａで撮影が行われているため、画像処理回路２０はシステム制御回路５０の制御下で、これらの画像については図５で説明したようにして巡回データを用いてオフセット補正を行う。
【０１１４】
つまり、「アンダー画像１」から「オーバー画像１」にその巡回データを巡回初期値として引き継ぐ。続いて、「オーバー画像１」から「アンダー画像２」にその巡回データを巡回初期値として引き継ぐ。
【０１１５】
「オーバー画像２」の撮影からがゲインがＧａｉｎ−Ｂに変更されているので、画像処理回路２０は「オーバー画像２」の巡回初期値として「アンダー画像２」の巡回データをそのまま引き継がない。そして、画像処理回路２０は式（６）を用いてゲインの差分に応じて「オーバー画像２」における巡回初期値を求める。
【０１１６】
ＯｆｆｓｅｔＯｖｅｒ２［ｘ］＝ＯｆｆｓｅｔＵｎｄｅｒ１［ｘ］×２＾（ＧａｉｎＢ−ＧａｉｎＡ） （６）
ここで、ＯｆｆｓｅｔＯｖｅｒ２［ｘ］は「オーバー画像２」の巡回初期値を示し、ＯｆｆｓｅｔＵｎｄｅｒ１［ｘ］は「アンダー画像１」の巡回データを示す。ＧａｉｎＡは「アンダー画像２」の撮影ゲインを示し、ＧａｉｎＢは「オーバー画像２」の撮影ゲインを示す。
【０１１７】
そして、「アンダー画像３」は「アンダー画像２」と同一のゲインで撮影されているので、画像処理回路２０は「アンダー画像２」の巡回データを、「アンダー画像３」の巡回初期値として引き継ぐ。「オーバー画像３」ついても同様にして、画像処理回路２０は「オーバー画像２」の巡回データを、「オーバー画像３」の巡回初期値として引き継ぐ。
【０１１８】
さらに、「アンダー画像４」は「アンダー画像３」と同一のゲインで撮影されているので、画像処理回路２０は「アンダー画像３」の巡回データを、「アンダー画像４」の巡回初期値として引き継ぐ。
【０１１９】
「オーバー画像４」は「アンダー画像４」と同一のゲインで撮影されているので、画像処理回路２０は「アンダー画像４」の巡回データを、「オーバー画像４」の巡回初期値として引き継ぐ。
【０１２０】
このようにして、撮影の途中でゲインが変更された際には、同一のゲインで撮影された直近のアンダー画像又はオーバー画像の巡回データを現フレームの巡回データとして引き継いで、巡回処理を行う。
【０１２１】
以上のように、本実施形態によれば、たとえ、フレーム毎に急激なゲインの変化が生じても精度よくオフセット補正（つまり、ノイズ補正）を行うことができる。
【０１２２】
上述の説明から明らかなように、図１において、システム制御回路５０および露光制御部４０が露出制御手段として機能する。また、画像処理回路２０およびシステム制御回路５０は巡回処理手段、合成手段、および決定手段として機能する。そして、画像処理回路２０は重み付け手段として機能する。
【０１２３】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１２４】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、この制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１２５】
この際、制御方法および制御プログラムの各々は、少なくとも露出制御ステップ、巡回処理ステップ、合成ステップ、および決定ステップを有することになる。
【０１２６】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１２７】
１４ 撮像素子
２０ 画像処理回路
２２ メモリ制御回路
２８ 画像表示部
３０ メモリ
４０ 露光制御部
４２ 測距制御部
５０ システム制御回路
６０ モードダイアルスイッチ
６２，６４ シャッタースイッチ
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、動画又は静止画を撮影する際に露出を変えつつ撮影する場合の補正制御に関する。
【背景技術】
【０００２】
近年、家庭用ビデオカメラおよびデジタルスチルカメラなどの撮像装置が一般に普及している。撮像装置で用いられる撮像素子において、ＣＣＤ撮像素子に加えて、ＣＭＯＳ撮像素子が用いられている。これらの撮像素子ついては、市場（ユーザ）の要望によって高画素化が進んでいる。撮像素子の高画素化に伴って、撮像素子自体に起因するノイズの問題があり、ノイズを低減又は補正するための手法が種々提案されている。
【０００３】
例えば、撮像装置において、動画撮影の際に発生するノイズを巡回処理して補正低減するようにしたものがある（特許文献１参照）。
【０００４】
一方、撮像素子のダイナミックレンジを超えるダイナミックレンジで撮影を行うための所謂ダイナミックレンジ拡張撮影（ＨＤＲ撮影）が知られている。
【０００５】
例えば、撮像装置において、所謂アンダー画像とオーバー画像とを合成して、ダイナミックレンジを拡張する手法がある（特許文献２参照）。このＨＤＲ処理によって撮像素子のダイナミックレンジを超える撮影が可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２４５９９８号公報
【特許文献２】特開平６−２７３３５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、上述のノイズ補正手法では、ＨＤＲ撮影のようにフレーム毎に意図的に露出を変化させる処理について何ら考慮されていない。
【０００８】
よって本発明の目的は、露出を異ならせながら連続して画像を撮像する場合でも精度良くノイズ補正を行うことのできる撮像装置、その制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するため、本発明による撮像装置は、被写体を撮影して得た光学像に応じた画像信号を得る撮像素子を有する撮像装置であって、互いに異なる第１および第２の露出量で前記撮像素子に前記光学像を与えて前記撮像素子から前記第１および前記第２の露出量に応じた第１および第２の画像信号を出力させる露出制御手段と、前記第１および前記第２の画像信号に対して巡回ノイズ補正処理を行う巡回処理手段と、前記巡回ノイズ補正処理の後の前記第１および前記第２の画像信号を合成して合成画像信号とする合成手段とを有し、前記巡回処理手段は、第１の画像信号および第２の画像信号を巡回ノイズ補正処理した際にそれぞれ得られた巡回データを引き継いで、第１の画像信号および第２の画像信号に対する巡回ノイズ補正処理を行うことを特徴とする。
【００１０】
本発明による制御方法は、被写体を撮影して得た光学像に応じた画像信号を得る撮像素子を有する撮像装置の制御方法であって、互いに異なる第１および第２の露出量で前記撮像素子に前記光学像を与えて前記撮像素子から前記第１および前記第２の露出量に応じた第１および第２の画像信号を出力させる露出制御ステップと、前記第１および前記第２の画像信号に対して巡回ノイズ補正処理を行う巡回処理ステップと、前記巡回ノイズ補正処理の後の前記第１および前記第２の画像信号を合成して合成画像信号とする合成ステップとを有し、前記巡回処理ステップでは、第１の画像信号および第２の画像信号を巡回ノイズ補正処理した際にそれぞれ得られた巡回データを引き継いで、第１の画像信号および第２の画像信号に対する巡回ノイズ補正処理を行うことを特徴とする。
【００１１】
本発明による制御プログラムは、被写体を撮影して得た光学像に応じた画像信号を得る撮像素子を有する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、互いに異なる第１および第２の露出量で前記撮像素子に前記光学像を与えて前記撮像素子から前記第１および前記第２の露出量に応じた第１および第２の画像信号を出力させる露出制御ステップと、前記第１および前記第２の画像信号に対して巡回ノイズ補正処理を行う巡回処理ステップと、前記巡回ノイズ補正処理の後の前記第１および前記第２の画像信号を合成して合成画像信号とする合成ステップとを実行させ、前記巡回処理ステップでは、第１の画像信号および第２の画像信号を巡回ノイズ補正処理した際にそれぞれ得られた巡回データを引き継いで、第１の画像信号および第２の画像信号に対する巡回ノイズ補正処理を行うことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、フレーム毎に急激なゲインの変化が生じても精度よくノイズ補正を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態による撮像装置の一例であるデジタルカメラの構成を示すブロック図である。
【図２】図１に示す撮像装置におけるＨＤＲ動画撮影を説明するためのフローチャートである。
【図３】図１に示す撮像素子について説明するための図である。
【図４】図１に示す撮像装置で行われるＨＤＲ撮影で用いられる合成比率テーブルの一例を示す図である。
【図５】図１に示す撮像装置で行われる巡回ノイズ補正処理を説明するための図である。
【図６】図１に示す撮像装置で行われる相互参照型巡回ノイズ補正について説明するための図である。
【図７】図１に示す撮像装置においてゲインを変更した際の巡回ノイズ補正処理を説明するための図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態による撮像装置について図面を参照して説明する。
【００１５】
図１は、本発明の実施の形態による撮像装置の一例であるデジタルカメラの構成を示すブロック図である。
【００１６】
図示の撮像装置１００は撮影レンズ１０および絞り機能を備える機械式シャッター１２を有している。光学像が撮影レンズ１０およびシャッター１２を介して撮像素子１４に結像する。撮像素子１４はこの光学像に応じた電気信号（アナログ信号）を出力する。このアナログ信号はＡ／Ｄ変換器１６によってデジタル信号（画像データ）に変換される。
【００１７】
撮像素子１４およびＡ／Ｄ変換器１６にはタイミング発生回路（タイミング発生部）１８からクロック信号および制御信号が供給され、撮像素子１４およびＡ／Ｄ変換器１６はクロック信号および制御信号に応じて動作する。タイミング発生回路１８はメモリ制御回路２２およびシステム制御回路５０によって制御される。
【００１８】
タイミング発生回路１８によって、撮像素子１４のリセットタイミングを制御すれば、撮像素子１４の電荷蓄積時間を制御することができる。つまり、タイミング発生回路１８によるリセットタイミング制御によって所謂電子シャッタが実現される。
【００１９】
画像処理回路（画像処理部）２０はＡ／Ｄ変換器１６から供給される画像データ又はメモリ制御回路２２から与えられる画像データに対して所定の画素補間処理および色変換処理を行う。画像処理回路２０は画像データから画像の切り出しおよび変倍処理を行って電子ズーム機能を行う。
【００２０】
さらに、画像処理回路２０は、撮像の結果得られた画像データに応じて所定の演算処理を行う。そして、システム制御回路（システム制御部）５０は当該演算結果に基づいて露光制御部４０および測距制御部４２を制御する。これによって、露光制御部４０および測距制御部４２は、所謂ＴＴＬ（ｔｈｒｏｕｇｈ ｔｈｅ ｌｅｎｓ）方式によるＡＦ（自動焦点）処理、ＡＥ（自動露出）処理、およびＥＦ処理を行う。
【００２１】
加えて、画像処理回路２０は、撮像の結果得られた画像データに応じて所定の演算処理を行って得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。
【００２２】
メモリ制御回路２２はＡ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、および圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力された画像データは画像処理回路２０およびメモリ制御回路２２を介して又は直接メモリ制御回路２２を介してメモリ３０に書き込まれる。
【００２３】
画像表示部２８は、例えば、ＴＦＴ ＬＣＤで構成され、メモリ３０に書き込まれた画像データはメモリ制御回路２２によって画像として画像表示部２８に表示される。そして、画像表示部２８に画像を逐次表示するようにすれば、電子ファインダー機能として用いることができる。
【００２４】
さらに、画像表示部２８はシステム制御回路５０の制御によってその表示がオン又はオフされる。表示をオフすれば、撮像装置１００における電力消費を大幅に低減することができる。
【００２５】
メモリ３０には、前述のように、撮影の結果得られた画像データが格納される（この画像データには静止画像データ動画像データが含まれる）。このメモリ３０は所定枚数の静止画像データおよび所定時間の動画像データを格納するための十分な記憶容量を有している。
【００２６】
この結果、複数枚の静止画像を連続して撮影する所謂連写撮影又はパノラマ撮影の際においても、高速かつ大量の画像データをメモリ３０に書き込むことができる。
【００２７】
なお、メモリ３０はシステム制御回路５０の作業領域としても用いることが可能である。
【００２８】
不揮発性メモリ３１は、例えば、Ｆｌａｓｈ ＲＯＭであり、システム制御回路５０が実行するプログラムコードが不揮発性メモリ３１に格納されている。そして、システム制御回路５０は不揮発性メモリ５０からプログラムコードを逐次読み出して実行する。
【００２９】
なお、不揮発性メモリにはシステム情報を記憶する領域、ユーザ設定情報を記憶する領域が設定され、種々の情報および設定を次回起動の際に、システム制御回路５０が読み出す。
【００３０】
圧縮・伸長回路３２は適応離散コサイン変換（ＡＤＣＴ）などによって画像データを圧縮伸長する。例えば、圧縮・伸長回路３２はメモリ３０に格納された画像データを読み込んで圧縮処理又は伸長処理を行って、処理済みの画像データをメモリ３０に書き込む。
【００３１】
露光制御部４０は絞り機能を備えるシャッター１２を制御する。また、露光制御部４０はフラッシュ４８と連動するフラッシュ調光機能も有している。
【００３２】
測距制御部４２は撮影レンズ１０のフォーカシングを制御する。ズーム制御部４４は撮影レンズ１０のズーミングを制御する。フラッシュ４８はＡＦ補助光の投光機能およびフラッシュ調光機能を有している。
【００３３】
前述のように、露光制御部４０および測距制御部４２はＴＴＬ方式によって制御され、画像処理回路２０による演算結果に基づいて、システム制御回路５０が露光制御部４０および測距制御部４２を制御する。
【００３４】
図示のように、システム制御回路５０には、モードダイアルスイッチ６０、シャッタースイッチ６２および６４、表示切替スイッチ６６、操作部７０、およびズームスイッチ７２が接続されている。
【００３５】
モードダイアルスイッチ６０は、電源のオフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、およびＨＤＲ（ダイナミックレンジ拡張撮影）動画撮影モードなとの機能モードを切り替え設定する際に用いられる。
【００３６】
シャッタースイッチ６２は、シャッターボタン（図示せず）の操作途中でオンとなって、第１のシャッタースイッチ信号ＳＷ１をシステム制御回路５０に送出する。これによって、システム制御回路５０はＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、およびＡＷＢ（オートホワイトバランス）処理などの動作開始を指示する。
【００３７】
シャッタースイッチ６４はシャッターボタンの操作完了でオンとなって、第２のシャッタースイッチ信号ＳＷ１をシステム制御回路５０に送る。これによって、システム制御回路５０は、例えば、フラッシュ撮影の場合には、ＥＦ（フラッシュプリ発光）処理を行った後、ＡＥ処理で決定された露光時間だけ撮像素子１４を露光させる。
【００３８】
フラッシュ撮影の場合には、露光時間中にフラッシュ４８の発光が行われて、露光時間が終了すると、露光制御部４０はシステム制御回路５０の制御下でシャッター１２を制御して遮光を行って、撮像素子１４に対する露光を終了させる。
【００３９】
前述のように、撮像素子１４から読み出されたアナログした信号はＡ／Ｄ変換器１６およびメモリ制御回路２２を介してメモリ３０に画像データとして書き込まれる（読み出し処理）。そして、画像処理回路２０およびメモリ制御回路２２における演算結果を用いた現像処理とメモリ３０から画像データを読み出して圧縮・伸長回路３２で圧縮を行う圧縮処理とがシステム制御回路５０の制御下で行われる。そして、圧縮後の画像データは後述する記録媒体２００に書き込まれる（記録処理）。
【００４０】
表示切替スイッチ６６の操作によって、システム制御回路５０の制御下で画像表示部２８の表示切替が行われる。この表示切替によって光学ファインダー１０４を用いて撮影を行う際、前述のように画像表示部２８に対する電源供給が遮断されて省電力を図ることができる。
【００４１】
操作部７０は、例えば、各種のボタン、タッチパネル、および回転式ダイアルを備えている。図示はしないが、各種のボタンには、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、および単写／連写／セルフタイマー切り替えボタンなどがある。
【００４２】
加えて、各種のボタンには、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン名とがある。
【００４３】
ズームスイッチ７２はユーザーによって操作され、ズームスイッチ７２の操作によって、システム制御回路５０は撮像画像の倍率変更指示を行う。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチとを有している。
【００４４】
このズームスイッチ７２の操作によって、ズーム制御部４４はシステム制御回路５０の制御下で撮影レンズ１０の撮像画角を変更して光学ズームを実行する。また、ズームスイッチ７２の操作によって、画像処理回路２０による画像の切り出しおよび画素補間処理などの撮像画角の電子的なズーミング変更が行われる。
【００４５】
電源８６は、例えば、アルカリ電池などの一次電池、又はＮｉＣｄ電池、ＮｉＭＨ電池、又はＬｉイオン電池等の二次電池を備えるとともに、ＡＣアダプターを有している。
【００４６】
インタフェース（Ｉ／Ｆ）９０はメモリカード又はハードディスク等の記録媒体２００と撮像装置１００とのインタフェースであり、Ｉ／Ｆ９０はコネクタ９２によって記録媒体２００と接続される。と接続を行うコネクタである。
【００４７】
記録媒体２００は半導体メモリ又は磁気ディスクなどの記録部２０２およびインタフェース（Ｉ／Ｆ）２０４を備えており、記録媒体２００はコネクタ２０６によって撮像装置１００に接続される。
【００４８】
通信部１１０は、例えば、ＵＳＢ、ＩＥＥＥ１３９４の機能、ＬＡＮ機能、無線通信機能などを備えている。そして、通信部１１０はコネクタ１１２によって外部機器（図示せず）に接続される。なお、無線通信機能を用いる場合には、コネクタ１１２にはアンテナが接続される。
【００４９】
図２は、本実施形態におけるＨＤＲ動画撮影を説明するためのフローチャートである。
【００５０】
ＨＤＲ動画撮影では、撮像素子１４のダイナミックレンジをアンダー／オーバーとして２種類の画像を得て、当該２種類の画像を合成処理してダイナミックレンジを拡大する。
【００５１】
ＨＤＲ動画撮影が開始されると、システム制御回路５０は適正な露出（第１の露出量）よってダイナミックレンジがアンダーの画像（第１の画像信号：以下アンダー画像と呼ぶ）を取得する（ステップＳ１０１）。アンダー画像の撮影の際には巡回処理によって画像の補正が行われる。
【００５２】
続いて、システム制御回路５０は第２の露出量でダイナミックレンジがオーバーの画像（第２の画像信号：以下オーバー画像と呼ぶ）を取得する（ステップＳ１０２）。オーバー画像の撮影の際にも巡回処理による画像の補正が行われる。これら巡回処理による画像の補正については後述する。
【００５３】
露出の異なる２種類の画像を取得した後（つまり、アンダー画像およびオーバー画像を取得した後）、画像処理回路２０はシステム制御回路５０の制御下で２種類の画像データについて合成処理を行って、合成画像データ（合成画像信号）とする（ステップＳ１０３）。この合成処理については後述する。
【００５４】
合成処理を行った後、画像処理回路２０は合成画像データをＹＵＶ信号の形式に現像処理を行った後、符号化処理を行う（ステップＳ１０４）。そして、画像処理回路２０はメモリ制御回路２２によって符号化処理後の画像データを記録媒体２００に動画像データとして記録する（ステップＳ１０５）。
【００５５】
システム制御回路５０は動画像データの記録が完了したか否かを監視しており（ステップＳ１０６）、動画撮影中であれば（ステップＳ１０６において、ＮＯ）、システム制御回路５０はステップＳ１０１の処理に戻ってＨＤＲ動画記録を継続する。
【００５６】
一方、動画撮影が終了すると（ステップＳ１０６において、ＹＥＳ）、システム制御回路５０はＨＤＲ動画記録を終了する。
【００５７】
続いて、本実施形態で行われる巡回処理による画像の補正（以下巡回ノイズ補正処理という）について説明する。本実施形態では、撮像素子１４における列単位のオフセットを補正する列オフセット補正を行うものとする。ただし、巡回ノイズ補正処理の方法としてはこれに限らない。以下、列オフセット補正について説明する。
【００５８】
図３は、図１に示す撮像素子１８の構造を示す図である。
【００５９】
撮像素子１８は、複数の画素が２次元マトリックス状に配置されており、撮像素子１８の撮像面（表面）は複数の領域に分けられている。
【００６０】
図示の例では、撮像素子１８は有効画素領域（画像が有効な領域）である映像領域１８Ａを備えており、映像領域１８Ａの周囲には常時黒レベルを出力するＯＢ領域１８Ｂが位置づけられている。そして、撮像素子１８はその上部に列オフセット検出領域１８Ｃが規定されている。列オフセット検出領域１８Ｃにおいて列毎に巡回処理による列オフセット検出が行われて、この検出結果に応じてオフセット補正量が求められる。
【００６１】
列オフセット補正においては列単位でそのオフセット補正量が異なるので、オフセット補正量を記憶するための容量は撮像素子１８の水平画素数分だけ必要となる。例えば、水平方向の画素数がＮ（Ｎは２以上の整数）画素であれば、Ｏｆｆｓｅｔ［１］〜Ｏｆｆｓｅｔ［Ｎ］の巡回データ用のメモリが必要となる。
【００６２】
まず、動画像データの記録開始の際には巡回データの初期化が必要となるので、Ｏｆｆｓｅｔ［１］〜Ｏｆｆｓｅｔ［Ｎ］に０を代入する。
【００６３】
巡回列オフセット補正では、入力画素Ｐｉｘ［ｘ，ｙ］に対して巡回係数αを掛けて巡回データを求める。つまり、オフセット補正量は次の式（１）で求められる。
【００６４】
Ｏｆｆｓｅｔ［ｘ］＝（Ｐｉｘ［ｘ，ｙ］−ｓｅｔｕｐ）×α＋Ｏｆｆｓｅｔ［ｘ］×（１−α） （１）
ここで、［ｘ，ｙ］は画素の座標位置、ｓｅｔｕｐは黒レベルである固定オフセット量、そして、αは巡回係数（０≦α≦１．０）である。
【００６５】
式（１）で示す演算をオフセット検出領域１８Ｃの１ライン目の１画素目からＮ画素目まで行って、１ライン分の巡回処理を行う。同様にして、オフセット検出領域１８Ｃの２ライン目についても１画素目からＮ画素目まで、式（１）で示す演算を行う。そして、オフセット検出領域１８Ｃの全ラインについて巡回演算を行う。
【００６６】
この巡回演算はサンプルするライン数が多ければ多いほどその検出精度が高まるので、オフセット検出領域１８Ｃのライン数を多いほど検出精度は高いことになる。
【００６７】
オフセット検出領域１８Ｃより下部の領域（映像領域）では、巡回演算によって求めたオフセット補正量を減算して、次の式（２）を用いて列オフセット補正を行う。
【００６８】
ＰｉｘＯｕｔ［ｘ，ｙ］＝ＰｉｘＩｎ［ｘ，ｙ］−Ｏｆｆｓｅｔ［ｘ］ （２）
ここで、ＰｉｘＯｕｔ［ｘ］は補正後の出力を示し、ＰｉｘＩｎ［ｘ］は補正前の入力を示す。そして、Ｏｆｆｓｅｔ［ｘ］はオフセット補正量を示す。
【００６９】
式（２）に示すオフセット補正を映像領域１８Ａに亘って行うと、列単位でオフセット成分が除去された画像データを得ることができる。
【００７０】
上記のオフセット補正では、動画像データにおいてはフレーム毎に巡回処理を行うので、次フレームの巡回データＯｆｆｓｅｔ［ｘ］の初期値は前フレームの最終巡回データとなる。この結果、フレーム数が進行するほどオフセット検出の精度が高まり、誤補正を低減することが可能となる。
【００７１】
ところが、オフセット補正量はゲインに応じて変動するので、ゲインの変化が生じると、オフセット補正量が収束するまで時間を要することになる。ここでは、ＨＤＲ撮影におけるゲインの変化に対して有効な巡回ノイズ補正処理について説明する。
【００７２】
図４は、本実施形態におけるＨＤＲ画像の生成に用いられる合成比率テーブルの一例を示す図である。
【００７３】
図４において、縦軸は合成比率を表し、横軸はアンダー画像の画素レベルを表す。そして、アンダー画像の画素レベルに応じてアンダー画像合成比率Ａおよびオーバー画像合成比率Ｂが変化する。なお、この合成比率テーブルは、例えば、不揮発性メモリ４８に格納され、システム制御回路５０によって読み出されてメモリ制御回路２２を介して画像処理回路２０に与えられる。
【００７４】
前述のように、ＨＤＲ撮影においてはアンダー画像およびオーバー画像の２種類の画像を得る。そして、画像処理回路２０はアンダー画像を参照してその合成比率を求める。つまり、画像処理回路２０はアンダー画像における各画素のレベルに応じて、図４に示す合成比率テーブルを参照し、画素毎の合成比率を決定する。そして、画像処理回路２０は式（３）によって２種類の画像の画像合成処理を行う。
【００７５】
ＰｉｘＯｕｔ［ｘ，ｙ］＝ＰｉｘＵｎｄｅｒ［ｘ，ｙ］×Ａ＋ＰｉｘＯｖｅｒ［ｘ，ｙ］×Ｂ （３）
ここで、ＰｉｘＯｕｔ［ｘ，ｙ］は合成後の出力を示し、ＰｉｘＵｎｄｅｒ［ｘ，ｙ］はアンダー画像を示す。そして、ＰｉｘＯｖｅｒ［ｘ，ｙ］はオーバー画像を示す。また、Ａはアンダー画像合成比率を示し、Ｂはオーバー画像合成比率を示す。
【００７６】
前述のように、アンダー画像合成比率Ａおよびオーバー画像合成比率Ｂの各々はアンダー画像の画素レベルによって決定される。アンダー画像の画素レベルが低い場合は、当該画素は極めて輝度レベルが低いので、オーバー画像合成比率Ｂが高くなり、アンダー画像合成比率Ａは低くなる。
【００７７】
一方、アンダー画像の画素レベルが高い場合は、当該画素は極めて輝度レベルが高いので、アンダー画像合成比率Ａが高くなり、オーバー画像合成比率Ａは低くなる。
【００７８】
このようにして、２種類の画像データ（第１の画像信号および第２の画像信号）を合成処理すると、１度の露出で得られた画像データに比べて、ダイナミックレンジの広い画像データを得ることができる。
【００７９】
ここで、本実施形態における巡回ノイズ補正処理の理解を容易にするため、従来の巡回ノイズ補正処理の性質について説明する。
【００８０】
特許文献１にあるような従来の巡回ノイズ補正処理では、動画のように連続した撮影において急激なゲイン変動がないことが望ましい。これは、ノイズの発生パターンはゲインに依存するからであり、つまり前のフレームを参照する巡回処理では、ゲインが変動すると補正精度が低下してしまう。また急激なゲインの変更は、動画の見た目の滑らかさが損なわれる。このため、通常の動画の撮影および記録の際には、連続したフレーム間で急激なゲインの変更は行われていない。
【００８１】
ここで、ＨＤＲ撮影における露出は、被写界深度を変えずに撮影する必要があるので、通常、絞りを固定しシャッター速度あるいはゲインを調整して異なる露出としている。
【００８２】
被写体が比較的明るければ、シャッター速度選択の自由度が高く、ゲインを変更することなく絞りを固定して、シャッター速度の変更のみで異なる露出を実現することができる。 ところが、被写体が暗いとシャッター速度が長秒側に位置してしまい、シャッター速度の調整のみで対応することができない場合がある。この際には、読み出しゲインを上げることによって露出を上げる必要がある。
【００８３】
ＨＤＲ撮影の効果を得るためには、一般にアンダーとオーバーとの露出差は少なくとも３〜４段分必要である。つまり、シャッター速度の調整によって露出差を実現できない場合には、ゲインの調整によって３〜４段分の露出差を実現する必要がある。この問題は、被写体の動きが大きいことで画像間の被写体のぶれ量が変わってくることを低減するために、シャッター速度の違いのみによって所望の露出差をつけられない場合などにも出てくることが考えられる。
【００８４】
このように、ゲインの調整によって露出差を実現すると、連続したフレーム間においてゲインが大きく異なることがある。
【００８５】
例えば、アンダー画像についてはＧａｉｎ−ＡあるいはＧａｉｎ−Ａから所定範囲内のゲインで撮影を行い、オーバー画像については、Ｇａｉｎ−Ａと異なるＧａｉｎ−ＢあるいはＧａｉｎ−Ｂから所定範囲内のゲインで撮影を行ったとする。なお本実施形態では、上述した所定範囲はＧａｉｎ−ＡとＧａｉｎ−Ｂの差よりも小さいものとする。この際、前フレームからそのまま巡回データを引き継ぐと、前述したようにゲインの変動が大きいために現フレームにおいては正しい初期値によって巡回処理を行うことができないことがある。このため、従来の巡回ノイズ補正処理では補正精度が落ちてしまうことになる。
【００８６】
そこで、本実施形態では、アンダー画像およびオーバー画像毎に異なる巡回初期値を用意して、別々に巡回処理を行う。
【００８７】
図５は本実施形態における巡回ノイズ補正処理を説明するための図である。
【００８８】
いま、アンダー画像はゲインＧａｉｎ−ＡあるいはＧａｉｎ−Ａから所定範囲内のゲインで撮影を行い、オーバー画像はゲインＧａｉｎ−ＢあるいはＧａｉｎ−Ｂから所定範囲内のゲインで撮影を行っているものとする。「アンダー画像１」は最初に撮影される画像であるので、初期値が０であり、Ｏｆｆｓｅｔ［ｘ］＝０として、オフセット検出領域１８Ｃに対する巡回処理によってオフセット検出を開始する。そして、このオフセット検出で得られたオフセット補正量に応じて映像領域１８Ａについて補正が行われる。
【００８９】
「アンダー画像１」の撮影、オフセット検出、およびオフセット補正が終了すると、次に「オーバー画像１」の撮影、オフセット検出、およびオフセット補正の順で処理が行われる。
【００９０】
前述のように、「アンダー画像」の撮影と「オーバー画像」の撮影とではゲインが異なるので、基本的に「アンダー画像」から次フレームの「オーバー画像」には巡回データを引き継がないようにする。また、「オーバー画像」から次フレームの「アンダー画像」には巡回データを引き継がないようにする。つまり、「アンダー画像」同士で巡回データを引き継ぎ、「オーバー画像」同士で巡回データを引き継ぐ。
【００９１】
ただし、巡回初期値に関しては、直前フレームの巡回データを使用する。すなわち、画像処理回路２０はシステム制御回路５０の制御下で、式（４）で示す換算式を用いて「アンダー画像１」の巡回データを補正して、「オーバー画像１」で用いる巡回初期値を得る。
【００９２】
ＯｆｆｓｅｔＯｖｅｒ［ｘ］＝ＯｆｆｓｅｔＵｎｄｅｒ［ｘ］×２＾ＧａｉｎＤｉｆｆ （４）
ここで、ＯｆｆｓｅｔＯｖｅｒ［ｘ］はオーバー画像１の巡回初期値を示し、ＯｆｆｓｅｔＵｎｄｅｒ［ｘ］は直前のアンダー画像１の巡回データを示す。また、ＧａｉｎＤｉｆｆはアンダー画像撮影とオーバー画像撮影とのゲイン差［段数］を示す。
【００９３】
式（４）に示す換算式で得られた巡回初期値を用いれば、巡回初期値を０として巡回処理を開始する場合に比べて、巡回演算の収束を早くすることができる。ここでは、ＯｆｆｓｅｔＵｎｄｅｒ［ｘ］を「アンダー画像１」における巡回データとし、式（４）で得られたＯｆｆｓｅｔＯｖｅｒ［ｘ］を「オーバー画像１」における巡回初期値として用いる。そして、画像処理回路２０はシステム制御回路５０の制御下で「オーバー画像１」に係るオフセット検出およびオフセット補正を行う。
【００９４】
続いて、「アンダー画像２」の撮影が行われる。「アンダー画像２」に係る巡回データは、直前に撮影された「オーバー画像１」の巡回データではなく、画像処理回路２０は同一のゲインで撮影された「アンダー画像１」の巡回データを参照する。
【００９５】
「アンダー画像１」および「アンダー画像２」の撮影におけるゲインは同一かもしくは所定範囲内であるので、「アンダー画像２」では巡回データを正しく引き継ぐことができる。このため、「アンダー画像２」について精度よくオフセット検出を行うことができる。
【００９６】
同様にして、「オーバー画像２」に係る巡回初期値についても「オーバー画像１」の巡回データから引き継ぐ。このようにして、アンダー画像については、アンダー画像のみで巡回データを引き継ぎ、巡回処理Ａが行われる。一方、オーバー画像については、オーバー画像のみで巡回データを引き継いで、巡回処理Ｂを行う。この結果、ゲインの異なる画像において精度よくオフセット検出およびオフセット補正を行うことができる。
【００９７】
図５で説明した巡回ノイズ補正処理はＨＤＲ動画のように連続して撮影を行ってノイズの検出および補正を行う場合に適している。一方、インターバル撮影のように撮影と撮影との間隔が開くような場合には、次に述べる相互参照巡回ノイズ補正が有効である。
【００９８】
図６は、図１に示す撮像装置で行われる相互参照型巡回ノイズ補正について説明するための図である。
【００９９】
図１に示す撮像素子１４は温度変化によって補正すべきオフセット量が変動する。動画データのようにフレームにおける時間差が短い場合には比較的温度変化による影響度は低い。
【０１００】
一方、インターバル撮影のように撮影の間隔が長く開くと、その間における撮像素子１４の温度変化が無視できなくなる。このため、時系列上においてより近くに位置する画像の巡回データを参照した方が温度変化の影響を少なくしてオフセット検出の精度を高くすることができる。従って、ここでは、アンダー画像およびオーバー画像の双方における巡回データを参照して、撮像素子１４の温度変化に対するオフセット検出の精度を向上させる。
【０１０１】
また、通常のＨＤＲ動画撮影においても、アンダー画像及びオーバー画像にかけるゲインの差が小さくなってくると、直前フレームも加味して現フレームにとっての巡回データとすることも有効になる。
【０１０２】
図６において、「アンダー画像１」および「オーバー画像１」の撮影、オフセット検出、およびオフセット補正については図５で説明したようにして行われる。
【０１０３】
「アンダー画像２」に係るオフセット検出およびオフセットについては、画像処理回路２０は、システム制御回路５０の制御下で「アンダー画像１」および「オーバー画像１」における巡回データを、巡回初期値を求める際に参照する。そして、画像処理回路２０は、式（５）に基づいて、「アンダー画像２」における巡回データを決定する。
【０１０４】
ＯｆｆｓｅｔＵｎｄｅｒ２［ｘ］＝ＯｆｆｓｅｔＵｎｄｅｒ１［ｘ］×β＋ＯｆｆｓｅｔＯｖｅｒ１［ｘ］×２＾ＧａｉｎＤｉｆｆ×（１−β） （５）
ここで、ＯｆｆｓｅｔＵｎｄｅｒ１［ｘ］はアンダー画像１を示し、ＯｆｆｓｅｔＯｖｅｒ１［ｘ］は直前のオーバー画像１を示す。また、ＧａｉｎＤｉｆｆはアンダー画像撮影とオーバー画像撮影とのゲイン差［段数］を示し、βは相互参照係数（０≦β≦１．０）を示す。
【０１０５】
式（５）によって、「アンダー画像２」の巡回初期値を決定すれば、「アンダー画像１」における巡回データと「オーバー画像１」における巡回データとが、「アンダー画像２」の巡回初期値に加味されることになる。これによって、「アンダー画像２」の撮影が時系列上「アンダー画像１」より「オーバー画像１」の撮影に近いことのメリットが受けられることになる。
【０１０６】
相互参照係数βはフレームレートによって変更させることが望ましい。フレームレートが高くなるにつれて画像間（つまり、フレーム間）の時間差が少なくなるので、画像処理回路２０は同一ゲインの画像における巡回データの参照度合いを高める。このため、画像処理回路２０は、フレームレートが高くなるにつれて相互参照係数をβ＝１．０に近づける。
【０１０７】
一方、フレームレートが低くなるにつれて、画像処理回路２０は異なるゲインの画像における巡回データの参照度合いを高めるため相互参照係数をβ＝１．０から下げる。
【０１０８】
このようにして、「アンダー画像１」〜「アンダー画像４」および「オーバー画像１」〜「オーバー画像４」について巡回データを参照し、この際フレームレートに応じて相互参照係数βを変更するようにすれば、精度よくオフセット補正を行うことができる。
【０１０９】
また、アンダー画像とオーバー画像のゲイン差ＧａｉｎＤｉｆｆによって参照係数βを変えることも有効である。この場合、前述したように、ＧａｉｎＤｉｆｆが小さいほど、直前フレームも有効に活用できると考えられるので、β＝１．０から下げて０に近づける。
【０１１０】
図７は、図１に示す撮像装置においてゲインを変更した際の巡回ノイズ補正処理を説明するための図である。
【０１１１】
ここでは、撮影の際に、例えば、被写体の輝度が変化して、これによってアンダー画像およびオーバー画像に拘わらずゲインが変更された場合について説明する。
【０１１２】
図７において、いま、「アンダー画像１」〜「アンダー画像４」、「オーバー画像１」、および「オーバー画像４」ついてはゲインＧａｉｎ−Ａで撮影が行われ、「オーバー画像２」および「オーバー画像３」についてはゲインＧａｉｎ−Ｂで撮影が行われるとする。
【０１１３】
「アンダー画像１」、「オーバー画像１」、および「アンダー画像２」の撮影では、同一のゲインであるＧａｉｎ−Ａで撮影が行われているため、画像処理回路２０はシステム制御回路５０の制御下で、これらの画像については図５で説明したようにして巡回データを用いてオフセット補正を行う。
【０１１４】
つまり、「アンダー画像１」から「オーバー画像１」にその巡回データを巡回初期値として引き継ぐ。続いて、「オーバー画像１」から「アンダー画像２」にその巡回データを巡回初期値として引き継ぐ。
【０１１５】
「オーバー画像２」の撮影からがゲインがＧａｉｎ−Ｂに変更されているので、画像処理回路２０は「オーバー画像２」の巡回初期値として「アンダー画像２」の巡回データをそのまま引き継がない。そして、画像処理回路２０は式（６）を用いてゲインの差分に応じて「オーバー画像２」における巡回初期値を求める。
【０１１６】
ＯｆｆｓｅｔＯｖｅｒ２［ｘ］＝ＯｆｆｓｅｔＵｎｄｅｒ１［ｘ］×２＾（ＧａｉｎＢ−ＧａｉｎＡ） （６）
ここで、ＯｆｆｓｅｔＯｖｅｒ２［ｘ］は「オーバー画像２」の巡回初期値を示し、ＯｆｆｓｅｔＵｎｄｅｒ１［ｘ］は「アンダー画像１」の巡回データを示す。ＧａｉｎＡは「アンダー画像２」の撮影ゲインを示し、ＧａｉｎＢは「オーバー画像２」の撮影ゲインを示す。
【０１１７】
そして、「アンダー画像３」は「アンダー画像２」と同一のゲインで撮影されているので、画像処理回路２０は「アンダー画像２」の巡回データを、「アンダー画像３」の巡回初期値として引き継ぐ。「オーバー画像３」ついても同様にして、画像処理回路２０は「オーバー画像２」の巡回データを、「オーバー画像３」の巡回初期値として引き継ぐ。
【０１１８】
さらに、「アンダー画像４」は「アンダー画像３」と同一のゲインで撮影されているので、画像処理回路２０は「アンダー画像３」の巡回データを、「アンダー画像４」の巡回初期値として引き継ぐ。
【０１１９】
「オーバー画像４」は「アンダー画像４」と同一のゲインで撮影されているので、画像処理回路２０は「アンダー画像４」の巡回データを、「オーバー画像４」の巡回初期値として引き継ぐ。
【０１２０】
このようにして、撮影の途中でゲインが変更された際には、同一のゲインで撮影された直近のアンダー画像又はオーバー画像の巡回データを現フレームの巡回データとして引き継いで、巡回処理を行う。
【０１２１】
以上のように、本実施形態によれば、たとえ、フレーム毎に急激なゲインの変化が生じても精度よくオフセット補正（つまり、ノイズ補正）を行うことができる。
【０１２２】
上述の説明から明らかなように、図１において、システム制御回路５０および露光制御部４０が露出制御手段として機能する。また、画像処理回路２０およびシステム制御回路５０は巡回処理手段、合成手段、および決定手段として機能する。そして、画像処理回路２０は重み付け手段として機能する。
【０１２３】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１２４】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、この制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１２５】
この際、制御方法および制御プログラムの各々は、少なくとも露出制御ステップ、巡回処理ステップ、合成ステップ、および決定ステップを有することになる。
【０１２６】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１２７】
１４ 撮像素子
２０ 画像処理回路
２２ メモリ制御回路
２８ 画像表示部
３０ メモリ
４０ 露光制御部
４２ 測距制御部
５０ システム制御回路
６０ モードダイアルスイッチ
６２，６４ シャッタースイッチ
【特許請求の範囲】
【請求項１】
被写体を撮影して得た光学像に応じた画像信号を得る撮像素子を有する撮像装置であって、
互いに異なる第１および第２の露出量で前記撮像素子に前記光学像を与えて前記撮像素子から前記第１および前記第２の露出量に応じた第１および第２の画像信号を出力させる露出制御手段と、
前記第１および前記第２の画像信号に対して巡回ノイズ補正処理を行う巡回処理手段と、
前記巡回ノイズ補正処理の後の前記第１および前記第２の画像信号を合成して合成画像信号とする合成手段とを有し、
前記巡回処理手段は、第１の画像信号および第２の画像信号を巡回ノイズ補正処理した際にそれぞれ得られた巡回データを引き継いで、第１の画像信号および第２の画像信号に対する巡回ノイズ補正処理を行うことを特徴とする撮像装置。
【請求項２】
前記合成手段は、前記巡回ノイズ補正処理の後の前記第１および前記第２の画像信号を合成する際、前記第１の画像信号の画素レベルに応じて定められた合成比率に応じて前記第１および前記第２の画像信号の合成を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１および前記第２の画像信号の各々は連続した複数のフレームを有し、
前記第１および前記第２の画像信号のゲインが異なると、前記第１および前記第２の画像信号の各々について前フレームで得られた前記巡回データを次のフレームに対する巡回ノイズ補正処理に用いると決定する決定手段を有することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記決定手段は、前記第２の画像信号における最初のフレームに対して巡回ノイズ補正処理を行う際、前記第１の画像信号における最初のフレームで得られた巡回データを前記第１および前記第２の画像信号のゲインの差に応じて換算した巡回データを用いると決定することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記第１および前記第２の画像信号のフレームレートに応じて、前記決定手段は前記ゲインの差および前記第１の画像信号における最初のフレームで得られた巡回データに重み付けを行う重み付け手段を有することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記第１および前記第２の画像信号のゲインが同一であると、前記決定手段は前記第１および前記第２の画像信号の前フレームに対する巡回ノイズ補正処理で得られた巡回データをそれぞれ前記第２および前記第１の画像信号の次フレームに対する巡回ノイズ補正処理に用いると決定することを特徴とする請求項３〜５のいずれか１項に記載の撮像装置。
【請求項７】
被写体を撮影して得た光学像に応じた画像信号を得る撮像素子を有する撮像装置の制御方法であって、
互いに異なる第１および第２の露出量で前記撮像素子に前記光学像を与えて前記撮像素子から前記第１および前記第２の露出量に応じた第１および第２の画像信号を出力させる露出制御ステップと、
前記第１および前記第２の画像信号に対して巡回ノイズ補正処理を行う巡回処理ステップと、
前記巡回ノイズ補正処理の後の前記第１および前記第２の画像信号を合成して合成画像信号とする合成ステップとを有し、
前記巡回処理ステップでは、第１の画像信号および第２の画像信号を巡回ノイズ補正処理した際にそれぞれ得られた巡回データを引き継いで、第１の画像信号および第２の画像信号に対する巡回ノイズ補正処理を行うことを特徴とする制御方法。
【請求項８】
被写体を撮影して得た光学像に応じた画像信号を得る撮像素子を有する撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
互いに異なる第１および第２の露出量で前記撮像素子に前記光学像を与えて前記撮像素子から前記第１および前記第２の露出量に応じた第１および第２の画像信号を出力させる露出制御ステップと、
前記第１および前記第２の画像信号に対して巡回ノイズ補正処理を行う巡回処理ステップと、
前記巡回ノイズ補正処理の後の前記第１および前記第２の画像信号を合成して合成画像信号とする合成ステップとを実行させ、
前記巡回処理ステップでは、第１の画像信号および第２の画像信号を巡回ノイズ補正処理した際にそれぞれ得られた巡回データを引き継いで、第１の画像信号および第２の画像信号に対する巡回ノイズ補正処理を行うことを特徴とする制御プログラム。
【請求項１】
被写体を撮影して得た光学像に応じた画像信号を得る撮像素子を有する撮像装置であって、
互いに異なる第１および第２の露出量で前記撮像素子に前記光学像を与えて前記撮像素子から前記第１および前記第２の露出量に応じた第１および第２の画像信号を出力させる露出制御手段と、
前記第１および前記第２の画像信号に対して巡回ノイズ補正処理を行う巡回処理手段と、
前記巡回ノイズ補正処理の後の前記第１および前記第２の画像信号を合成して合成画像信号とする合成手段とを有し、
前記巡回処理手段は、第１の画像信号および第２の画像信号を巡回ノイズ補正処理した際にそれぞれ得られた巡回データを引き継いで、第１の画像信号および第２の画像信号に対する巡回ノイズ補正処理を行うことを特徴とする撮像装置。
【請求項２】
前記合成手段は、前記巡回ノイズ補正処理の後の前記第１および前記第２の画像信号を合成する際、前記第１の画像信号の画素レベルに応じて定められた合成比率に応じて前記第１および前記第２の画像信号の合成を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１および前記第２の画像信号の各々は連続した複数のフレームを有し、
前記第１および前記第２の画像信号のゲインが異なると、前記第１および前記第２の画像信号の各々について前フレームで得られた前記巡回データを次のフレームに対する巡回ノイズ補正処理に用いると決定する決定手段を有することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記決定手段は、前記第２の画像信号における最初のフレームに対して巡回ノイズ補正処理を行う際、前記第１の画像信号における最初のフレームで得られた巡回データを前記第１および前記第２の画像信号のゲインの差に応じて換算した巡回データを用いると決定することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記第１および前記第２の画像信号のフレームレートに応じて、前記決定手段は前記ゲインの差および前記第１の画像信号における最初のフレームで得られた巡回データに重み付けを行う重み付け手段を有することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記第１および前記第２の画像信号のゲインが同一であると、前記決定手段は前記第１および前記第２の画像信号の前フレームに対する巡回ノイズ補正処理で得られた巡回データをそれぞれ前記第２および前記第１の画像信号の次フレームに対する巡回ノイズ補正処理に用いると決定することを特徴とする請求項３〜５のいずれか１項に記載の撮像装置。
【請求項７】
被写体を撮影して得た光学像に応じた画像信号を得る撮像素子を有する撮像装置の制御方法であって、
互いに異なる第１および第２の露出量で前記撮像素子に前記光学像を与えて前記撮像素子から前記第１および前記第２の露出量に応じた第１および第２の画像信号を出力させる露出制御ステップと、
前記第１および前記第２の画像信号に対して巡回ノイズ補正処理を行う巡回処理ステップと、
前記巡回ノイズ補正処理の後の前記第１および前記第２の画像信号を合成して合成画像信号とする合成ステップとを有し、
前記巡回処理ステップでは、第１の画像信号および第２の画像信号を巡回ノイズ補正処理した際にそれぞれ得られた巡回データを引き継いで、第１の画像信号および第２の画像信号に対する巡回ノイズ補正処理を行うことを特徴とする制御方法。
【請求項８】
被写体を撮影して得た光学像に応じた画像信号を得る撮像素子を有する撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
互いに異なる第１および第２の露出量で前記撮像素子に前記光学像を与えて前記撮像素子から前記第１および前記第２の露出量に応じた第１および第２の画像信号を出力させる露出制御ステップと、
前記第１および前記第２の画像信号に対して巡回ノイズ補正処理を行う巡回処理ステップと、
前記巡回ノイズ補正処理の後の前記第１および前記第２の画像信号を合成して合成画像信号とする合成ステップとを実行させ、
前記巡回処理ステップでは、第１の画像信号および第２の画像信号を巡回ノイズ補正処理した際にそれぞれ得られた巡回データを引き継いで、第１の画像信号および第２の画像信号に対する巡回ノイズ補正処理を行うことを特徴とする制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−４６３４８（Ｐ２０１３−４６３４８Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８４７５８（Ｐ２０１１−１８４７５８）
【出願日】平成２３年８月２６日（２０１１．８．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２６日（２０１１．８．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]