撮像装置
【課題】動画像に対して適切にダイナミックレンジ拡大処理を行うこと。
【解決手段】撮像装置は、連続するフレームの各フレームにおいて露光時間が異なる複数の画像をそれぞれ取得する撮像手段１１，１２，１６と、露光時間が異なる複数の画像に基づいて合成画像を生成する画像合成手段１９と、露光時間が異なる複数の画像ごとに、ｎフレーム目と(ｎ−１)フレーム目との間の輝度差をそれぞれ検出する輝度差検出手段１８と、輝度差検出手段１８によって検出された複数の画像ごとの輝度差に基づいて、画像合成手段１９がｎフレーム目に対する合成画像を生成する際に異なる合成処理をさせる制御手段１６と、を備える。
【解決手段】撮像装置は、連続するフレームの各フレームにおいて露光時間が異なる複数の画像をそれぞれ取得する撮像手段１１，１２，１６と、露光時間が異なる複数の画像に基づいて合成画像を生成する画像合成手段１９と、露光時間が異なる複数の画像ごとに、ｎフレーム目と(ｎ−１)フレーム目との間の輝度差をそれぞれ検出する輝度差検出手段１８と、輝度差検出手段１８によって検出された複数の画像ごとの輝度差に基づいて、画像合成手段１９がｎフレーム目に対する合成画像を生成する際に異なる合成処理をさせる制御手段１６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
露光量が異なる複数の画像を取得して暗い部分の再現に適した画像と明るい部分の再現に適した画像とを組み合わせて見かけのダイナミックレンジを拡大する処理を、時系列に連続的に取得した画像（いわゆる動画像）に対して適用する技術が知られている（特許文献１参照）。被写体が変化する場合にダイナミックレンジ拡大処理を行うことによって生じるぶれなどの不具合を避けるために、被写体の動きを検知するとダイナミックレンジ拡大処理を行わないように制御される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３６７４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、被写体の動きの有無によってダイナミックレンジ拡大処理をしたりしなかったりするので、得られる画像に違和感が生じるという問題があった。
【課題を解決するための手段】
【０００５】
本発明による撮像装置は、連続するフレームの各フレームにおいて露光時間が異なる複数の画像をそれぞれ取得する撮像手段と、露光時間が異なる複数の画像に基づいて合成画像を生成する画像合成手段と、露光時間が異なる複数の画像ごとに、ｎフレーム目と(ｎ−１)フレーム目との間の輝度差をそれぞれ検出する輝度差検出手段と、輝度差検出手段によって検出された複数の画像ごとの輝度差に基づいて、画像合成手段がｎフレーム目に対する合成画像を生成する際に異なる合成処理をさせる制御手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、動画像に対して適切にダイナミックレンジ拡大処理を行うことができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態による電子カメラの構成を例示するブロック図である。
【図２】ＤＳＰが実行する処理の流れを説明するフローチャートである。
【図３】録画シーケンスを説明する図である。
【図４】輝度差を算出する注目エリアを説明する図である。
【図５】画像合成処理を説明する図である。
【図６】画像合成処理を説明する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による電子カメラの構成を例示するブロック図である。図１において、電子カメラ１は、撮像センサー１１と、フロントエンド部(AFE)１２と、鏡筒１３と、モータードライブ部１４と、フラッシュメモリ１５と、ＤＳＰ１６と、ＲＡＭ１７と、輝度差検出部１８と、画像合成部１９と、動画処理部(H.264)２０と、ノイズ除去部(3D-NR)２１と、カードインターフェース２２と、操作部材２３とを含む。
【０００９】
撮像センサー１１の受光面には、鏡筒１３内に構成されている撮影レンズによって被写体像が結像される。撮像センサー１１は、受光素子が受光面に二次元配列されたＣＭＯＳイメージセンサなどによって構成される。撮像センサー１１は、結像された被写体像を光電変換する。光電変換信号は、フロントエンド部(AFE)１２によってゲインコントロールやＡ／Ｄ変換などの処理が施され、ＤＳＰ１６へ入力される。
【００１０】
ＤＳＰ１６は、デジタル画像データに対して各種の画像処理（色補間処理、階調変換処理の他、後述するダイナミックレンジの拡張処理、ノイズ低減処理など）を施す。フラッシュメモリ１５は、電源オフ時にも記憶内容を保持するメモリである。フラッシュメモリ１５は、ＤＳＰ１６が実行するプログラムなどを記憶する。
【００１１】
カードインターフェース２２は不図示のコネクタを有し、該コネクタに、たとえばＳＤメモリカードなどの記憶媒体が接続される。カードインターフェース１８は、接続された記憶媒体に対するデータの書き込みや、記憶媒体からのデータの読み込みを行う。
【００１２】
ＲＡＭ１７は、電源オフ時に記憶内容を消失するメモリである。ＲＡＭ１７は、画像バッファとしてＤＳＰ１６による画像処理の前工程や後工程でのデジタル画像データを一時的に記憶する他、ＤＳＰ１６によるプログラム実行時のワークメモリとして用いられる。
【００１３】
ＤＳＰ１６は、フラッシュメモリ１５が記憶するプログラムを実行することにより、電子カメラが行う動作を制御する。ＤＳＰ１６は、ＡＦ（オートフォーカス）動作制御や、自動露出（ＡＥ）演算も行う。ＡＦ動作は、たとえば、ライブビュー画像のコントラスト情報に基づいてフォーカシングレンズ（不図示）の合焦位置を求める。ライブビュー画像は、撮影指示前に撮像センサー１１によって所定の時間間隔（たとえば６０フレーム／毎秒）で繰り返し取得されるモニタ用画像のことをいう。
【００１４】
輝度差検出部１８は、所定のフレーム画像間で対応するエリアにおける輝度差を検出する。画像合成部１９は、所定のフレーム画像に対してダイナミックレンジの拡張処理を施す。ダイナミックレンジの拡張処理は、たとえば、露光時間を変えて露光量が異なる複数のフレーム画像を取得し、暗い部分の再現には露光時間が長い方のフレーム画像のデータを用いて再現し、明るい部分の再現には露光時間が短い方のフレーム画像のデータを用いて再現し、暗い部分と明るい部分の中間は双方のフレーム画像を用いて再現する。この拡張処理により、見かけのダイナミックレンジを拡げる。
【００１５】
動画処理部２０は、たとえば、公知のH.264手法を用いて動画圧縮処理を行う。ノイズ除去部２１は、たとえば、公知の3D-NR手法を用いてフレーム画像に重畳したノイズを低減する。操作部材２３は、不図示のシャッターボタンや録画ボタン、ズームスイッチやメニュースイッチなどを含み、各ボタンやスイッチの操作に応じた操作信号をＤＳＰ１６へ送出する。
【００１６】
本実施形態は、上述した電子カメラが備える録画時（動画撮影時）に行うダイナミックレンジの拡張処理に特徴を有するので、以降の説明は録画時に行うダイナミックレンジの拡張処理を中心に説明する。
【００１７】
図２は、ＤＳＰ１６が実行する処理の流れを説明するフローチャートである。ＤＳＰ１６は、操作部材２３を構成する録画ボタンから操作信号が入力されると、図２による処理を起動する。図２のステップＳ１１において、ＤＳＰ１６は、被写体輝度に応じて撮影条件を設定する。たとえば、録画時のフレームレートに応じた露光時間Ｔで適正露出が得られるように、撮像センサー１１の感度を設定してステップＳ１２へ進む。なお、感度設定に加えて、あるいは感度設定の代わりに不図示の絞りを変更してもよい。
【００１８】
図３は、本実施形態による録画シーケンスを説明する図である。ＤＳＰ１６は、たとえば３０フレーム／毎秒のフレームレートで動画像を取得するように制御する。ＤＳＰ１６はさらに、ダイナミックレンジ拡張処理に用いるために、１フレームにつき長露光画像Ｌと短露光画像Ｓとをそれぞれ取得させる。本実施形態では、１フレームを構成する１／３０秒のうち半分の１／６０秒を長露光画像用の露光時間Ｔとする。上記設定した撮像センサー１１の感度（または絞り値）は、長露光画像Ｌを適正露出に近づけるように決定された値である。ＤＳＰ１６はさらに、長露光画像用の露光時間Ｔの半分であるＴ／２（本例では１／１２０秒）を短露光画像用の露光時間とする。これら複数の露光時間Ｔ、およびＴ／２により、１フレーム内で異なる露光時間による複数の露光画像を得る。図３において、注目フレームをｎフレームとし、前フレームを(ｎ−１)フレーム、次フレームを(ｎ＋１)フレームと表す。
【００１９】
図２のステップＳ１２において、ＤＳＰ１６は撮像センサー１１を制御し、露光時間Ｔおよび露光時間Ｔ／２でそれぞれ画像を取得させてステップＳ１３へ進む。取得した長露光画像Ｌおよび短露光画像Ｓは、それぞれＲＡＭ１７に格納される。ステップＳ１３において、ＤＳＰ１６は輝度差検出部１８へ指示を送り、長露光画像Ｌｎと、前フレームの長露光画像Ｌ(n-1)との間で注目エリアごとの輝度差を算出させる。
【００２０】
図４は、画像において輝度差を算出する注目エリアを説明する図である。注目エリアは、たとえば注目画素を中心とする横３画素×縦３画素の計９画素で構成する。輝度差検出部１８は、長露光画像Ｌｎおよび長露光画像Ｌ(n-1)の同じ画素位置についてそれぞれ注目エリアを設定し、これら注目エリア間において輝度値の差を算出する。たとえば、注目エリア内の画素データの最大値および最小値を除き、該注目エリア内の残りの７画素データについて、注目画素からの距離に応じた重みを加味した輝度値を算出する。そして、長露光画像Ｌｎおよび長露光画像Ｌ(n-1)のそれぞれで算出した注目エリアの輝度値の差を算出する。なお、輝度変換式は、たとえば、Ｙ＝0.29891×Ｒ＋0.58661×Ｇ＋0.11448×Ｂを用いる。ただし、ＲはＲ色のカラーフィルタが設けられている画素のデータ、ＧはＧ色のカラーフィルタが設けられている画素のデータ、およびＢはＢ色のカラーフィルタが設けられている画素のデータである。
【００２１】
図２のステップＳ１４において、ＤＳＰ１６は輝度差検出部１８へ指示を送り、短露光画像Ｓｎと、前フレームの短露光画像Ｓ(n-1)との間で上記注目エリアごとの輝度差を算出させる。輝度差検出部１８は、長露光画像Ｌの場合と同様に、短露光画像Ｓｎおよび短露光画像Ｓ(n-1)の同じ画素位置についてそれぞれ注目エリアを設定し、これら注目エリア間において輝度値の差を算出する。
【００２２】
ステップＳ１５において、ＤＳＰ１６は、輝度差検出部１８で算出された輝度差が判定閾値以内か否かを判定する。ＤＳＰ１６は、長露光画像についての隣接フレーム間の輝度差、および短露光画像についての隣接フレーム間の輝度差の双方があらかじめ定めた判定閾値以内である場合に、ステップＳ１５を肯定判定してステップＳ１６へ進む。ＤＳＰ１６は、長露光画像についての隣接フレーム間の輝度差、および短露光画像についての隣接フレーム間の輝度差の少なくとも一方があらかじめ定めた判定閾値を超える場合には、ステップＳ１５を否定判定してステップＳ２２へ進む。
【００２３】
ステップＳ１５を肯定判定したＤＳＰ１６は、(ｎ−１)フレームとｎフレームとの間において主要被写体の動きがないとみなす。この場合のＤＳＰ１６は、上記注目エリアにおいて、ステップＳ１６〜ステップＳ１８の処理からなる画像合成処理を行う。図５は、ステップＳ１６〜ステップＳ１８による画像合成処理を説明する図である。図５において、短露光画像の帯は、上記注目エリアにおける短露光画像がとり得る輝度値の範囲を示す。また、長露光画像の帯は、上記注目エリアにおける長露光画像が取り得る輝度値の範囲を示す。それぞれの帯において、帯の左に近いほど輝度が低く、帯の右に近いほど輝度が高い。通常、長露光画像が短露光画像の２倍の露光時間である場合は、長露光画像の帯の長さは短露光画像の帯の長さの２倍である。
【００２４】
ＤＳＰ１６は、ｎフレームの短露光画像において、たとえば、輝度値がフルスケール（８ビットで例示する場合に２５５）の１５％の値ｊ１以下に相当する画素データについては、ｎフレームの長露光画像において対応する輝度値の画素データＬdnに基づいて合成後の画像を求める。具体的には、ＤＳＰ１６がステップＳ１６において画像合成部１９へ指示を送り、長露光画像において輝度値０〜ｊ１に対応する画素データＬdnに基づいて、次式（１）によって合成後の画像を構成するデータを算出させてステップＳ１７へ進む。画素データＬdnは、図５において長露光画像の帯内の領域５２に対応する。
出力値＝Ｌdn×ａ１＋ｃ１ （１）
ただし、出力値は合成後の画像の画素データであり、出力値の範囲は０〜ｋ１である。また、ａ１は所定の係数、ｃ１は所定のオフセット係数である。
【００２５】
ＤＳＰ１６は、ｎフレームの長露光画像において、たとえば、輝度値がフルスケール（８ビットで例示する場合に２５５）の９０％以上の値に相当する画素データ（長露光画像の帯内の領域５３に対応）については、ｎフレームの短露光画像において対応する輝度値ｊ２以上の画素データに基づいて合成後の画像を求める。具体的には、ＤＳＰ１６がステップＳ１７において画像合成部１９へ指示を送り、輝度値が２３０(=255×0.9)〜２５５に相当する範囲については、短露光画像において輝度値ｊ２以上の画素データＳenに基づいて、次式（２）によって合成後の画像を構成するデータを算出させてステップＳ１８へ進む。画素データＳenは、図５において短露光画像の帯内の領域５１に対応する。
出力値＝Ｓen×ａ４＋ｃ４ （２）
ただし、出力値は合成後の画像の画素データであり、出力値の範囲はｋ２〜２５５である。また、ａ４は所定の係数、ｃ４は所定のオフセット係数である。出力値の最大は２５５で制限する。
【００２６】
ＤＳＰ１６は、上述した輝度値ｊ１〜ｊ２に相当する画素データについては、ｎフレームの短露光画像において対応する輝度値の画素データＳjn、ｎフレームの長露光画像において対応する輝度値の画素データＬjnの双方に基づいて合成後の画像を求める。具体的には、ＤＳＰ１６がステップＳ１８において画像合成部１９へ指示を送り、次式（３）によって合成後の画像を構成するデータを算出させる。
出力値＝Ｌjn×ａ２＋ｃ２＋Ｓjn×ａ３＋ｃ３ （３）
ただし、出力値は合成後の画像の画素データであり、出力値の範囲はｋ１〜ｋ２である。また、ａ２、ａ３はそれぞれ所定の係数、ｃ２、ｃ３はそれぞれ所定のオフセット係数である。ＤＳＰ１６は、画像合成部１９により以上の合成処理が行われると、ステップＳ１９へ進む。なお、上述した係数ａ１〜ａ４およびオフセット係数ｃ１〜ｃ４は、合成後の出力値ｋ１およびｋ２における階調の継ぎ目を滑らかにするようにあらかじめ定められている。
【００２７】
ステップＳ１５を否定判定したＤＳＰ１６は、(ｎ−１)フレームとｎフレームとの間において主要被写体の動きがあるとみなす。この場合のＤＳＰ１６は、上記注目エリアにおいて、ステップＳ２２の処理からなる画像合成処理を行う。図６は、ステップＳ２２による画像合成処理を説明する図である。図６において、短露光画像の帯は、上記注目エリアにおける短露光画像が取り得る輝度値の範囲を示す。階調合わせ画像の帯は、上記注目エリアにおける短露光画像が取り得る輝度値の範囲を階調合わせのために所定倍したものである。
【００２８】
ステップＳ２２において、ＤＳＰ１６は画像合成部１９へ指示を送り、ｎフレームの短露光画像の画素データに基づいて合成後の画像を求めさせる。画像合成部１９は、ｎフレームの短露光画像において、たとえば、輝度値がフルスケール（８ビットで例示する場合に２５５）の１５％の値ｊ１以下に相当する画素データについては、階調合わせ画像において輝度値０〜ｊ１に対応する画素データＬdnに基づいて、上式（１）によって合成後の画像を構成するデータを算出する。画素データＬdnは、図６において階調合わせ画像の帯内の領域６１'に対応する。
【００２９】
画像合成部１９はさらに、ｎフレームの階調合わせ画像において、たとえば、輝度値がフルスケール（８ビットで例示する場合に２５５）の９０％以上の値に相当する画素データ（階調合わせ画像の帯内の領域６２'に対応）については、ｎフレームの短露光画像において対応する輝度値ｊ２以上の画素データＳenに基づいて、上式（２）によって合成後の画像を構成するデータを算出する。画素データＳenは、図６において短露光画像の帯内の領域６２に対応する。
【００３０】
また、画像合成部１９は、上述した輝度値ｊ１〜ｊ２に相当する画素データについては、ｎフレームの短露光画像において対応する輝度値の画素データＳjn、ｎフレームの階調合わせ画像において対応する輝度値の画素データＬjnの双方に基づいて上式（３）によって合成後の画像を構成するデータを算出する。ＤＳＰ１６は、画像合成部１９により以上の合成処理が行われると、ステップＳ１９へ進む。
【００３１】
ステップＳ１９において、ＤＳＰ１６は、画像内の全ての注目エリアについて上記ステップＳ１３〜ステップＳ１８、またはステップＳ１３〜ステップＳ１５およびステップＳ２２の処理を終了したか否かを判定する。ＤＳＰ１６は、注目画素の位置をずらしながら、長露光画像および短露光画像の全域にわたって上述した処理を終了した場合には、ステップＳ１９を肯定判定してステップＳ２０へ進む。ＤＳＰ１６は、全ての注目エリアを対象に上述した処理を終了していない場合にはステップＳ１９を否定判定し、注目画素を１つずらした上でステップＳ１３へ戻り、上述した処理を繰り返す。
【００３２】
ステップＳ２０において、ＤＳＰ１６は、終了指示が行われたか否かを判定する。ＤＳＰ１６は、操作部材２３を構成する録画ボタンから再度操作信号が入力されると、ステップＳ２０を肯定判定して図２による処理を終了する。ＤＳＰ１６は、操作部材２３を構成する録画ボタンから再度操作信号が入力されない場合は、ステップＳ２０を否定判定してステップＳ２１へ進む。
【００３３】
ステップＳ２１において、ＤＳＰ１６は、対象とするフレーム番号ｎを１つ進めてステップＳ１１へ戻り、上述した処理を繰り返す。なお、録画中（動画取得中）のＤＳＰ１６が２フレーム目以降の撮影条件を設定する際、撮像センサー１１の感度および不図示の絞り値を固定したままとし、露光時間ＴおよびＴ／２を変化させることによって撮影条件を変更する。たとえば、短露光画像Ｓにおける最高輝度値をフルスケール（８ビットで例示する場合に２５５）の５０％以下に抑えるように短露光画像用の露光時間Ｔ'／２を決定し、さらに短露光用の露光時間Ｔ'／２の２倍の露光時間Ｔ'を長露光画像用の露光時間Ｔ'とする。なお、本例の場合はＴ'の値の上限は１／６０秒であるので、高輝度の被写体が現れた場合は必要に応じて露光時間を短く変更し、被写体の輝度が低下した場合は露光時間を長くする上限を１／６０秒とする。
【００３４】
図３において、ｎフレームの長露光画像Ｌｎの取得が終われば、長露光画像についての隣接フレーム間の輝度差を算出（ステップＳ１３）でき、ｎフレームの短露光画像Ｓｎの取得が終われば、短露光画像についての隣接フレーム間の輝度差を算出（ステップＳ１３）できる。ステップＳ１６〜Ｓ１８による合成処理、またはステップＳ２２による合成処理後の高ダイナミックレンジ画像（HDR画像）は、両輝度差についてそれぞれ判定閾値との比較が終われば算出できる。なお、図３ではｎフレームの短露光画像Ｓｎおよびｎフレームの長露光画像Ｌｎに基づく合成処理後のｎフレームのHDR画像を画像Ｒｎと表す。同様に、(ｎ＋１)フレームの短露光画像Ｓ(n+1)および(ｎ＋１)フレームの長露光画像Ｌ(n+1)に基づく合成処理後の(ｎ＋１)フレームのHDR画像を画像Ｒ(n+1)と表す。
【００３５】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）電子カメラは、連続するフレームの各フレームにおいて露光時間が異なる複数の画像Ｓ、Ｌをそれぞれ取得する撮像センサー１１、フロントエンド部１２、ＤＳＰ１６と、露光時間が異なる複数の画像Ｓ、Ｌに基づいて合成画像Ｒを生成する画像合成部１９と、露光時間が異なる複数の画像Ｓ、Ｌごとに、ｎフレーム目と(ｎ−１)フレーム目との間の輝度差をそれぞれ検出する輝度差検出部１８と、輝度差検出部１８によって検出された複数の画像Ｓ、Ｌごとの輝度差に基づいて、画像合成部１９がｎフレーム目に対する合成画像Ｒｎを生成する際に異なる合成処理をさせるＤＳＰ１６と、を備えるようにしたので、動画像に対して適切にダイナミックレンジ拡大処理を行うことができる。
【００３６】
（２）上記（１）の電子カメラにおいて、ＤＳＰ１６は、輝度差検出部１８によって検出された複数の画像Ｓ、Ｌごとの輝度差の全てが所定値以下の場合に画像合成部１９にＳ１６〜Ｓ１８による合成処理を行わせ、複数の画像Ｓ、Ｌごとの輝度差のうち少なくとも１つが所定値を超える場合に画像合成部１９にＳ２２による合成処理を行わせるようにした。これにより、輝度差の検出結果に基づいて適切に主要被写体の動きの有無を判断できる。そして、主要被写体の動きの有無を適切に判断したことで、動きのない場合にのみ選択的にダイナミックレンジ拡大処理を行える。動きがある場合は異なる処理を施し、動きがある被写体にダイナミックレンジ拡大処理を行うことによって生じるぶれなどの発生を防止できる。
【００３７】
（３）上記（２）の電子カメラにおいて、Ｓ１６〜Ｓ１８による合成処理は、露光時間が最短の短露光画像における第１輝度値ｊ１以下に対応する合成データを露光時間が最長の長露光画像における第１輝度値ｊ１以下に対応する画像データＬdnを用いて生成し、長露光画像における第２輝度値ｊ２以上に対応する合成データを短露光画像における第２輝度値ｊ２以上に対応する画像データＳenを用いて生成し、短露光画像における第１輝度値ｊ１から第２輝度値ｊ２に対応する合成データを、露光時間が異なる複数の画像Ｓ、Ｌの第１輝度値ｊ１から第２輝度値ｊ２に対応する画像データＳjn、Ｌjnを用いて生成する。たとえば、短露光画像において黒つぶれのおそれがある第１輝度値ｊ１以下については、長露光画像において対応する画像データＬdnを用いたので、黒つぶれの影響を抑えることができる。また、長露光画像において白飛びのおそれがある第２輝度値ｊ２以上については、短露光画像において対応する画像データＳenを用いたので、白飛びの影響を抑えることができる。上記第１輝度値ｊ１から第２輝度値ｊ２の範囲は、複数の画像Ｓ、Ｌにおいて対応する画像データＳjn、Ｌjnを用いて生成するので、滑らかな階調でダイナミックレンジを拡大できる。
【００３８】
（４）上記（２）の電子カメラにおいて、Ｓ２２による合成処理は、露光時間が最短の短露光画像における画像データを用いて合成データを生成するので、何もせずに短露光画像を出力する場合と異なり、ダイナミックレンジを拡大したフレーム画像とダイナミックレンジを拡大しないフレーム画像との間の違和感を軽減することができる。
【００３９】
（５）上記（４）の電子カメラにおいて、Ｓ２２による合成処理は、短露光画像における画像データに対する階調合わせ処理を含むので、ダイナミックレンジを拡大したフレーム画像とダイナミックレンジを拡大しない場合のフレーム画像との間で、階調に起因する違和感をさらに軽減することができる。
【００４０】
（６）上記（１）〜（５）の電子カメラにおいて、輝度差検出部１８は所定の注目エリアごとに輝度差を検出し、画像合成部１９は注目エリアごとに合成画像を生成するので、高精細の合成処理を行うことができる。
【００４１】
（変形例１）
上記実施形態では、長露光画像についての隣接フレーム間の輝度差、および短露光画像についての隣接フレーム間の輝度差の双方が判定閾値以内である場合に当該隣接フレーム画像間で主要被写体の動きがないとみなす例を説明した。この代わりに、少なくとも最も短い露光画像について隣接フレーム間の輝度差が判定閾値以内であれば、当該隣接フレーム画像間で主要被写体の動きがないとみなすようにしてもよい。この場合、最も短い露光画像について隣接フレーム間の輝度差が判定閾値を超えれば、当該隣接フレーム画像間で主要被写体の動きがあるとみなす。
【００４２】
（変形例２）
上述した説明では、１フレームの１／２の時間Ｔを長露光画像用の露光時間とし、Ｔ／２を短露光画像用の露光時間とする例を説明した。この代わりに、１フレームの２／３の時間Ｔｘを長露光画像用の露光時間とし、Ｔｘ／２(＝１／３フレーム)を短露光画像用の露光時間としてもよい。この場合は、１フレームの中で非露光の時間をなくすことができる。
【００４３】
（変形例３）
１フレームにおいて、先に長露光画像を取得してから短露光画像を取得する例を説明したが、先に短露光画像を取得してから長露光画像を取得する構成にしても構わない。
【００４４】
（変形例４）
上述した説明では、１フレーム内で異なる露光時間による２つの露光画像を得る例を説明したが、異なる露光時間による複数の露光画像は、２つに限ることなく、３つでも４つでもよい。３つの露光画像を得る場合には、たとえば、１フレームの１／２の時間Ｔを１番長い露光時間とし、Ｔ／２を２番目の露光時間とし、Ｔ／４を３番目の露光時間とすることにより、１フレーム内で異なる露光時間による３つの露光画像が得られる。この場合は、上記ステップＳ１８に相当する処理において、３つの露光画像に基づいて合成後の画像を求めることから、合成画像出力の中間階層域（ｋ１〜ｋ２の範囲）を滑らかに表現でき、高品位の画像が得られる。
【００４５】
（変形例５）
また、１フレーム内で異なる露光時間による３つの露光画像を得る場合に、１フレームの４／７の時間Ｔｙを１番長い露光時間とし、Ｔｙ／２(＝２／７フレーム)を２番目の露光時間とし、Ｔｙ／４(＝１／７フレーム)を３番目の露光時間とする。変形例５の場合も、１フレームの中で非露光の時間をなくすことができる。
【００４６】
（変形例６）
上述したダイナミックレンジの拡大処理において、隣接フレームを加算することによってノイズ低減をはかってもよい。この場合、上式（１）〜（３）に代えて、それぞれ次式（４）〜（６）を用いる。
出力値＝(Ｌd(n-1)+Ｌdn)×ｂ１＋ｄ１ （４）
ただし、出力値は合成後の画像の画素データであり、出力値の範囲は０〜ｋ１である。Ｌd(n-1)は(ｎ−１)フレームの長露光画像において対応する輝度値の画素データ、Ｌdnはｎフレームの長露光画像において対応する輝度値の画素データである。また、ｂ１は所定の係数、ｄ１は所定のオフセット係数である。
【００４７】
出力値＝(Ｓe(n-1)+Ｓen)×ｂ４＋ｄ４ （５）
ただし、出力値は合成後の画像の画素データであり、出力値の範囲はｋ２〜２５５である。Ｓe(n-1)は(ｎ−１)フレームの短露光画像において対応する輝度値の画素データ、Ｓenはｎフレームの短露光画像において対応する輝度値の画素データである。また、ｂ４は所定の係数、ｄ４は所定のオフセット係数である。
【００４８】
出力値＝(Ｌj(n-1)+Ｌjn)×ｂ２＋ｄ２＋(Ｓj(n-1)+Ｓjn)×ｂ３＋ｄ３ （６）
ただし、出力値は合成後の画像の画素データであり、出力値の範囲はｋ１〜ｋ２である。Ｌj(n-1)は(ｎ−１)フレームの長露光画像において対応する輝度値の画素データ、Ｌjnはｎフレームの長露光画像において対応する輝度値の画素データである。Ｓj(n-1)は(ｎ−１)フレームの短露光画像において対応する輝度値の画素データ、Ｓjnはｎフレームの短露光画像において対応する輝度値の画素データである。また、ｂ２、ｂ３はそれぞれ所定の係数、ｄ２、ｄ３はそれぞれ所定のオフセット係数である。
【００４９】
変形例６によれば、画像の取得時刻が異なる隣接フレームの画像を加算するようにしたので、フレーム間で平滑化されるため、ランダムノイズの低減に有効である。なお、連続するフレーム画像を平滑化する変形例６以外の手法として、たとえば、上式（１）〜（３）を用いて合成処理した後の画像に対し、後から公知の3D-NR手法を採用してもよい。
【００５０】
（変形例７）
１フレーム内において短い露光時間のみで複数の画像を取得してもよい。たとえば、１フレームの１／４の露光時間Ｔzで４つの画像を取得する。取得時刻が隣接する画像間で主要被写体の動きがないとみなす場合（すなわち、対応する注目エリアの輝度差が判定閾値以内の場合）は、４つの画像を加算して合成することにより、ランダムノイズの低減が図れる。動きがあるとみなす場合（すなわち、対応する注目エリアの輝度差が判定閾値を超える場合）は、合成後の階調を維持できるように合成する画像の数に応じたゲイン処理を行う。低輝度域から高輝度域までを細分化して合成する画像の数を設定することにより、ハイコントラストの被写体を再現できる。露光時間や合成する画像の数は、被写体条件やＲＡＭ１７にバッファできる画像数によって適宜設定してよい。なお、上述した説明において、ゲイン処理（階調合わせ）はゲインコントロールによって行う他に、ルックアップテーブル(LUT)を用いた輝度階調変換処理として行う構成にしてもよい。
【００５１】
（変形例８）
以上の説明では、画像の注目エリアについて輝度差を検出し、該注目エリアごとに画像合成処理を施す例を説明した。この代わりに、画像の注目エリアについて輝度差を検出し、画像合成処理は画像全体で行うようにしてもよい。この場合は、少なくとも１つの注目エリアで動きがあるとみなす場合（すなわち、少なくとも１つの注目エリアで輝度差が判定閾値を超える場合）は、画像の全域についてステップＳ２２に相当する合成処理を行う。一方、全ての注目エリアで動きがないとみなす場合（すなわち、全ての注目エリアの輝度差が判定閾値以下の場合）は、画像の全域についてステップＳ１６〜Ｓ１８に相当する合成処理を行う。
【００５２】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００５３】
１１…撮像センサー
１２…フロントエンド部
１６…ＤＳＰ
１７…ＲＡＭ
１８…輝度差検出部
１９…画像合成部
２３…操作部材
Ｌn-1、Ｌn、Ｌn+1…長露光画像
Ｒn、Ｒn+1…合成画像
Ｓn-1、Ｓn、Ｓn+1…短露光画像
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
露光量が異なる複数の画像を取得して暗い部分の再現に適した画像と明るい部分の再現に適した画像とを組み合わせて見かけのダイナミックレンジを拡大する処理を、時系列に連続的に取得した画像（いわゆる動画像）に対して適用する技術が知られている（特許文献１参照）。被写体が変化する場合にダイナミックレンジ拡大処理を行うことによって生じるぶれなどの不具合を避けるために、被写体の動きを検知するとダイナミックレンジ拡大処理を行わないように制御される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３６７４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、被写体の動きの有無によってダイナミックレンジ拡大処理をしたりしなかったりするので、得られる画像に違和感が生じるという問題があった。
【課題を解決するための手段】
【０００５】
本発明による撮像装置は、連続するフレームの各フレームにおいて露光時間が異なる複数の画像をそれぞれ取得する撮像手段と、露光時間が異なる複数の画像に基づいて合成画像を生成する画像合成手段と、露光時間が異なる複数の画像ごとに、ｎフレーム目と(ｎ−１)フレーム目との間の輝度差をそれぞれ検出する輝度差検出手段と、輝度差検出手段によって検出された複数の画像ごとの輝度差に基づいて、画像合成手段がｎフレーム目に対する合成画像を生成する際に異なる合成処理をさせる制御手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、動画像に対して適切にダイナミックレンジ拡大処理を行うことができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態による電子カメラの構成を例示するブロック図である。
【図２】ＤＳＰが実行する処理の流れを説明するフローチャートである。
【図３】録画シーケンスを説明する図である。
【図４】輝度差を算出する注目エリアを説明する図である。
【図５】画像合成処理を説明する図である。
【図６】画像合成処理を説明する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による電子カメラの構成を例示するブロック図である。図１において、電子カメラ１は、撮像センサー１１と、フロントエンド部(AFE)１２と、鏡筒１３と、モータードライブ部１４と、フラッシュメモリ１５と、ＤＳＰ１６と、ＲＡＭ１７と、輝度差検出部１８と、画像合成部１９と、動画処理部(H.264)２０と、ノイズ除去部(3D-NR)２１と、カードインターフェース２２と、操作部材２３とを含む。
【０００９】
撮像センサー１１の受光面には、鏡筒１３内に構成されている撮影レンズによって被写体像が結像される。撮像センサー１１は、受光素子が受光面に二次元配列されたＣＭＯＳイメージセンサなどによって構成される。撮像センサー１１は、結像された被写体像を光電変換する。光電変換信号は、フロントエンド部(AFE)１２によってゲインコントロールやＡ／Ｄ変換などの処理が施され、ＤＳＰ１６へ入力される。
【００１０】
ＤＳＰ１６は、デジタル画像データに対して各種の画像処理（色補間処理、階調変換処理の他、後述するダイナミックレンジの拡張処理、ノイズ低減処理など）を施す。フラッシュメモリ１５は、電源オフ時にも記憶内容を保持するメモリである。フラッシュメモリ１５は、ＤＳＰ１６が実行するプログラムなどを記憶する。
【００１１】
カードインターフェース２２は不図示のコネクタを有し、該コネクタに、たとえばＳＤメモリカードなどの記憶媒体が接続される。カードインターフェース１８は、接続された記憶媒体に対するデータの書き込みや、記憶媒体からのデータの読み込みを行う。
【００１２】
ＲＡＭ１７は、電源オフ時に記憶内容を消失するメモリである。ＲＡＭ１７は、画像バッファとしてＤＳＰ１６による画像処理の前工程や後工程でのデジタル画像データを一時的に記憶する他、ＤＳＰ１６によるプログラム実行時のワークメモリとして用いられる。
【００１３】
ＤＳＰ１６は、フラッシュメモリ１５が記憶するプログラムを実行することにより、電子カメラが行う動作を制御する。ＤＳＰ１６は、ＡＦ（オートフォーカス）動作制御や、自動露出（ＡＥ）演算も行う。ＡＦ動作は、たとえば、ライブビュー画像のコントラスト情報に基づいてフォーカシングレンズ（不図示）の合焦位置を求める。ライブビュー画像は、撮影指示前に撮像センサー１１によって所定の時間間隔（たとえば６０フレーム／毎秒）で繰り返し取得されるモニタ用画像のことをいう。
【００１４】
輝度差検出部１８は、所定のフレーム画像間で対応するエリアにおける輝度差を検出する。画像合成部１９は、所定のフレーム画像に対してダイナミックレンジの拡張処理を施す。ダイナミックレンジの拡張処理は、たとえば、露光時間を変えて露光量が異なる複数のフレーム画像を取得し、暗い部分の再現には露光時間が長い方のフレーム画像のデータを用いて再現し、明るい部分の再現には露光時間が短い方のフレーム画像のデータを用いて再現し、暗い部分と明るい部分の中間は双方のフレーム画像を用いて再現する。この拡張処理により、見かけのダイナミックレンジを拡げる。
【００１５】
動画処理部２０は、たとえば、公知のH.264手法を用いて動画圧縮処理を行う。ノイズ除去部２１は、たとえば、公知の3D-NR手法を用いてフレーム画像に重畳したノイズを低減する。操作部材２３は、不図示のシャッターボタンや録画ボタン、ズームスイッチやメニュースイッチなどを含み、各ボタンやスイッチの操作に応じた操作信号をＤＳＰ１６へ送出する。
【００１６】
本実施形態は、上述した電子カメラが備える録画時（動画撮影時）に行うダイナミックレンジの拡張処理に特徴を有するので、以降の説明は録画時に行うダイナミックレンジの拡張処理を中心に説明する。
【００１７】
図２は、ＤＳＰ１６が実行する処理の流れを説明するフローチャートである。ＤＳＰ１６は、操作部材２３を構成する録画ボタンから操作信号が入力されると、図２による処理を起動する。図２のステップＳ１１において、ＤＳＰ１６は、被写体輝度に応じて撮影条件を設定する。たとえば、録画時のフレームレートに応じた露光時間Ｔで適正露出が得られるように、撮像センサー１１の感度を設定してステップＳ１２へ進む。なお、感度設定に加えて、あるいは感度設定の代わりに不図示の絞りを変更してもよい。
【００１８】
図３は、本実施形態による録画シーケンスを説明する図である。ＤＳＰ１６は、たとえば３０フレーム／毎秒のフレームレートで動画像を取得するように制御する。ＤＳＰ１６はさらに、ダイナミックレンジ拡張処理に用いるために、１フレームにつき長露光画像Ｌと短露光画像Ｓとをそれぞれ取得させる。本実施形態では、１フレームを構成する１／３０秒のうち半分の１／６０秒を長露光画像用の露光時間Ｔとする。上記設定した撮像センサー１１の感度（または絞り値）は、長露光画像Ｌを適正露出に近づけるように決定された値である。ＤＳＰ１６はさらに、長露光画像用の露光時間Ｔの半分であるＴ／２（本例では１／１２０秒）を短露光画像用の露光時間とする。これら複数の露光時間Ｔ、およびＴ／２により、１フレーム内で異なる露光時間による複数の露光画像を得る。図３において、注目フレームをｎフレームとし、前フレームを(ｎ−１)フレーム、次フレームを(ｎ＋１)フレームと表す。
【００１９】
図２のステップＳ１２において、ＤＳＰ１６は撮像センサー１１を制御し、露光時間Ｔおよび露光時間Ｔ／２でそれぞれ画像を取得させてステップＳ１３へ進む。取得した長露光画像Ｌおよび短露光画像Ｓは、それぞれＲＡＭ１７に格納される。ステップＳ１３において、ＤＳＰ１６は輝度差検出部１８へ指示を送り、長露光画像Ｌｎと、前フレームの長露光画像Ｌ(n-1)との間で注目エリアごとの輝度差を算出させる。
【００２０】
図４は、画像において輝度差を算出する注目エリアを説明する図である。注目エリアは、たとえば注目画素を中心とする横３画素×縦３画素の計９画素で構成する。輝度差検出部１８は、長露光画像Ｌｎおよび長露光画像Ｌ(n-1)の同じ画素位置についてそれぞれ注目エリアを設定し、これら注目エリア間において輝度値の差を算出する。たとえば、注目エリア内の画素データの最大値および最小値を除き、該注目エリア内の残りの７画素データについて、注目画素からの距離に応じた重みを加味した輝度値を算出する。そして、長露光画像Ｌｎおよび長露光画像Ｌ(n-1)のそれぞれで算出した注目エリアの輝度値の差を算出する。なお、輝度変換式は、たとえば、Ｙ＝0.29891×Ｒ＋0.58661×Ｇ＋0.11448×Ｂを用いる。ただし、ＲはＲ色のカラーフィルタが設けられている画素のデータ、ＧはＧ色のカラーフィルタが設けられている画素のデータ、およびＢはＢ色のカラーフィルタが設けられている画素のデータである。
【００２１】
図２のステップＳ１４において、ＤＳＰ１６は輝度差検出部１８へ指示を送り、短露光画像Ｓｎと、前フレームの短露光画像Ｓ(n-1)との間で上記注目エリアごとの輝度差を算出させる。輝度差検出部１８は、長露光画像Ｌの場合と同様に、短露光画像Ｓｎおよび短露光画像Ｓ(n-1)の同じ画素位置についてそれぞれ注目エリアを設定し、これら注目エリア間において輝度値の差を算出する。
【００２２】
ステップＳ１５において、ＤＳＰ１６は、輝度差検出部１８で算出された輝度差が判定閾値以内か否かを判定する。ＤＳＰ１６は、長露光画像についての隣接フレーム間の輝度差、および短露光画像についての隣接フレーム間の輝度差の双方があらかじめ定めた判定閾値以内である場合に、ステップＳ１５を肯定判定してステップＳ１６へ進む。ＤＳＰ１６は、長露光画像についての隣接フレーム間の輝度差、および短露光画像についての隣接フレーム間の輝度差の少なくとも一方があらかじめ定めた判定閾値を超える場合には、ステップＳ１５を否定判定してステップＳ２２へ進む。
【００２３】
ステップＳ１５を肯定判定したＤＳＰ１６は、(ｎ−１)フレームとｎフレームとの間において主要被写体の動きがないとみなす。この場合のＤＳＰ１６は、上記注目エリアにおいて、ステップＳ１６〜ステップＳ１８の処理からなる画像合成処理を行う。図５は、ステップＳ１６〜ステップＳ１８による画像合成処理を説明する図である。図５において、短露光画像の帯は、上記注目エリアにおける短露光画像がとり得る輝度値の範囲を示す。また、長露光画像の帯は、上記注目エリアにおける長露光画像が取り得る輝度値の範囲を示す。それぞれの帯において、帯の左に近いほど輝度が低く、帯の右に近いほど輝度が高い。通常、長露光画像が短露光画像の２倍の露光時間である場合は、長露光画像の帯の長さは短露光画像の帯の長さの２倍である。
【００２４】
ＤＳＰ１６は、ｎフレームの短露光画像において、たとえば、輝度値がフルスケール（８ビットで例示する場合に２５５）の１５％の値ｊ１以下に相当する画素データについては、ｎフレームの長露光画像において対応する輝度値の画素データＬdnに基づいて合成後の画像を求める。具体的には、ＤＳＰ１６がステップＳ１６において画像合成部１９へ指示を送り、長露光画像において輝度値０〜ｊ１に対応する画素データＬdnに基づいて、次式（１）によって合成後の画像を構成するデータを算出させてステップＳ１７へ進む。画素データＬdnは、図５において長露光画像の帯内の領域５２に対応する。
出力値＝Ｌdn×ａ１＋ｃ１ （１）
ただし、出力値は合成後の画像の画素データであり、出力値の範囲は０〜ｋ１である。また、ａ１は所定の係数、ｃ１は所定のオフセット係数である。
【００２５】
ＤＳＰ１６は、ｎフレームの長露光画像において、たとえば、輝度値がフルスケール（８ビットで例示する場合に２５５）の９０％以上の値に相当する画素データ（長露光画像の帯内の領域５３に対応）については、ｎフレームの短露光画像において対応する輝度値ｊ２以上の画素データに基づいて合成後の画像を求める。具体的には、ＤＳＰ１６がステップＳ１７において画像合成部１９へ指示を送り、輝度値が２３０(=255×0.9)〜２５５に相当する範囲については、短露光画像において輝度値ｊ２以上の画素データＳenに基づいて、次式（２）によって合成後の画像を構成するデータを算出させてステップＳ１８へ進む。画素データＳenは、図５において短露光画像の帯内の領域５１に対応する。
出力値＝Ｓen×ａ４＋ｃ４ （２）
ただし、出力値は合成後の画像の画素データであり、出力値の範囲はｋ２〜２５５である。また、ａ４は所定の係数、ｃ４は所定のオフセット係数である。出力値の最大は２５５で制限する。
【００２６】
ＤＳＰ１６は、上述した輝度値ｊ１〜ｊ２に相当する画素データについては、ｎフレームの短露光画像において対応する輝度値の画素データＳjn、ｎフレームの長露光画像において対応する輝度値の画素データＬjnの双方に基づいて合成後の画像を求める。具体的には、ＤＳＰ１６がステップＳ１８において画像合成部１９へ指示を送り、次式（３）によって合成後の画像を構成するデータを算出させる。
出力値＝Ｌjn×ａ２＋ｃ２＋Ｓjn×ａ３＋ｃ３ （３）
ただし、出力値は合成後の画像の画素データであり、出力値の範囲はｋ１〜ｋ２である。また、ａ２、ａ３はそれぞれ所定の係数、ｃ２、ｃ３はそれぞれ所定のオフセット係数である。ＤＳＰ１６は、画像合成部１９により以上の合成処理が行われると、ステップＳ１９へ進む。なお、上述した係数ａ１〜ａ４およびオフセット係数ｃ１〜ｃ４は、合成後の出力値ｋ１およびｋ２における階調の継ぎ目を滑らかにするようにあらかじめ定められている。
【００２７】
ステップＳ１５を否定判定したＤＳＰ１６は、(ｎ−１)フレームとｎフレームとの間において主要被写体の動きがあるとみなす。この場合のＤＳＰ１６は、上記注目エリアにおいて、ステップＳ２２の処理からなる画像合成処理を行う。図６は、ステップＳ２２による画像合成処理を説明する図である。図６において、短露光画像の帯は、上記注目エリアにおける短露光画像が取り得る輝度値の範囲を示す。階調合わせ画像の帯は、上記注目エリアにおける短露光画像が取り得る輝度値の範囲を階調合わせのために所定倍したものである。
【００２８】
ステップＳ２２において、ＤＳＰ１６は画像合成部１９へ指示を送り、ｎフレームの短露光画像の画素データに基づいて合成後の画像を求めさせる。画像合成部１９は、ｎフレームの短露光画像において、たとえば、輝度値がフルスケール（８ビットで例示する場合に２５５）の１５％の値ｊ１以下に相当する画素データについては、階調合わせ画像において輝度値０〜ｊ１に対応する画素データＬdnに基づいて、上式（１）によって合成後の画像を構成するデータを算出する。画素データＬdnは、図６において階調合わせ画像の帯内の領域６１'に対応する。
【００２９】
画像合成部１９はさらに、ｎフレームの階調合わせ画像において、たとえば、輝度値がフルスケール（８ビットで例示する場合に２５５）の９０％以上の値に相当する画素データ（階調合わせ画像の帯内の領域６２'に対応）については、ｎフレームの短露光画像において対応する輝度値ｊ２以上の画素データＳenに基づいて、上式（２）によって合成後の画像を構成するデータを算出する。画素データＳenは、図６において短露光画像の帯内の領域６２に対応する。
【００３０】
また、画像合成部１９は、上述した輝度値ｊ１〜ｊ２に相当する画素データについては、ｎフレームの短露光画像において対応する輝度値の画素データＳjn、ｎフレームの階調合わせ画像において対応する輝度値の画素データＬjnの双方に基づいて上式（３）によって合成後の画像を構成するデータを算出する。ＤＳＰ１６は、画像合成部１９により以上の合成処理が行われると、ステップＳ１９へ進む。
【００３１】
ステップＳ１９において、ＤＳＰ１６は、画像内の全ての注目エリアについて上記ステップＳ１３〜ステップＳ１８、またはステップＳ１３〜ステップＳ１５およびステップＳ２２の処理を終了したか否かを判定する。ＤＳＰ１６は、注目画素の位置をずらしながら、長露光画像および短露光画像の全域にわたって上述した処理を終了した場合には、ステップＳ１９を肯定判定してステップＳ２０へ進む。ＤＳＰ１６は、全ての注目エリアを対象に上述した処理を終了していない場合にはステップＳ１９を否定判定し、注目画素を１つずらした上でステップＳ１３へ戻り、上述した処理を繰り返す。
【００３２】
ステップＳ２０において、ＤＳＰ１６は、終了指示が行われたか否かを判定する。ＤＳＰ１６は、操作部材２３を構成する録画ボタンから再度操作信号が入力されると、ステップＳ２０を肯定判定して図２による処理を終了する。ＤＳＰ１６は、操作部材２３を構成する録画ボタンから再度操作信号が入力されない場合は、ステップＳ２０を否定判定してステップＳ２１へ進む。
【００３３】
ステップＳ２１において、ＤＳＰ１６は、対象とするフレーム番号ｎを１つ進めてステップＳ１１へ戻り、上述した処理を繰り返す。なお、録画中（動画取得中）のＤＳＰ１６が２フレーム目以降の撮影条件を設定する際、撮像センサー１１の感度および不図示の絞り値を固定したままとし、露光時間ＴおよびＴ／２を変化させることによって撮影条件を変更する。たとえば、短露光画像Ｓにおける最高輝度値をフルスケール（８ビットで例示する場合に２５５）の５０％以下に抑えるように短露光画像用の露光時間Ｔ'／２を決定し、さらに短露光用の露光時間Ｔ'／２の２倍の露光時間Ｔ'を長露光画像用の露光時間Ｔ'とする。なお、本例の場合はＴ'の値の上限は１／６０秒であるので、高輝度の被写体が現れた場合は必要に応じて露光時間を短く変更し、被写体の輝度が低下した場合は露光時間を長くする上限を１／６０秒とする。
【００３４】
図３において、ｎフレームの長露光画像Ｌｎの取得が終われば、長露光画像についての隣接フレーム間の輝度差を算出（ステップＳ１３）でき、ｎフレームの短露光画像Ｓｎの取得が終われば、短露光画像についての隣接フレーム間の輝度差を算出（ステップＳ１３）できる。ステップＳ１６〜Ｓ１８による合成処理、またはステップＳ２２による合成処理後の高ダイナミックレンジ画像（HDR画像）は、両輝度差についてそれぞれ判定閾値との比較が終われば算出できる。なお、図３ではｎフレームの短露光画像Ｓｎおよびｎフレームの長露光画像Ｌｎに基づく合成処理後のｎフレームのHDR画像を画像Ｒｎと表す。同様に、(ｎ＋１)フレームの短露光画像Ｓ(n+1)および(ｎ＋１)フレームの長露光画像Ｌ(n+1)に基づく合成処理後の(ｎ＋１)フレームのHDR画像を画像Ｒ(n+1)と表す。
【００３５】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）電子カメラは、連続するフレームの各フレームにおいて露光時間が異なる複数の画像Ｓ、Ｌをそれぞれ取得する撮像センサー１１、フロントエンド部１２、ＤＳＰ１６と、露光時間が異なる複数の画像Ｓ、Ｌに基づいて合成画像Ｒを生成する画像合成部１９と、露光時間が異なる複数の画像Ｓ、Ｌごとに、ｎフレーム目と(ｎ−１)フレーム目との間の輝度差をそれぞれ検出する輝度差検出部１８と、輝度差検出部１８によって検出された複数の画像Ｓ、Ｌごとの輝度差に基づいて、画像合成部１９がｎフレーム目に対する合成画像Ｒｎを生成する際に異なる合成処理をさせるＤＳＰ１６と、を備えるようにしたので、動画像に対して適切にダイナミックレンジ拡大処理を行うことができる。
【００３６】
（２）上記（１）の電子カメラにおいて、ＤＳＰ１６は、輝度差検出部１８によって検出された複数の画像Ｓ、Ｌごとの輝度差の全てが所定値以下の場合に画像合成部１９にＳ１６〜Ｓ１８による合成処理を行わせ、複数の画像Ｓ、Ｌごとの輝度差のうち少なくとも１つが所定値を超える場合に画像合成部１９にＳ２２による合成処理を行わせるようにした。これにより、輝度差の検出結果に基づいて適切に主要被写体の動きの有無を判断できる。そして、主要被写体の動きの有無を適切に判断したことで、動きのない場合にのみ選択的にダイナミックレンジ拡大処理を行える。動きがある場合は異なる処理を施し、動きがある被写体にダイナミックレンジ拡大処理を行うことによって生じるぶれなどの発生を防止できる。
【００３７】
（３）上記（２）の電子カメラにおいて、Ｓ１６〜Ｓ１８による合成処理は、露光時間が最短の短露光画像における第１輝度値ｊ１以下に対応する合成データを露光時間が最長の長露光画像における第１輝度値ｊ１以下に対応する画像データＬdnを用いて生成し、長露光画像における第２輝度値ｊ２以上に対応する合成データを短露光画像における第２輝度値ｊ２以上に対応する画像データＳenを用いて生成し、短露光画像における第１輝度値ｊ１から第２輝度値ｊ２に対応する合成データを、露光時間が異なる複数の画像Ｓ、Ｌの第１輝度値ｊ１から第２輝度値ｊ２に対応する画像データＳjn、Ｌjnを用いて生成する。たとえば、短露光画像において黒つぶれのおそれがある第１輝度値ｊ１以下については、長露光画像において対応する画像データＬdnを用いたので、黒つぶれの影響を抑えることができる。また、長露光画像において白飛びのおそれがある第２輝度値ｊ２以上については、短露光画像において対応する画像データＳenを用いたので、白飛びの影響を抑えることができる。上記第１輝度値ｊ１から第２輝度値ｊ２の範囲は、複数の画像Ｓ、Ｌにおいて対応する画像データＳjn、Ｌjnを用いて生成するので、滑らかな階調でダイナミックレンジを拡大できる。
【００３８】
（４）上記（２）の電子カメラにおいて、Ｓ２２による合成処理は、露光時間が最短の短露光画像における画像データを用いて合成データを生成するので、何もせずに短露光画像を出力する場合と異なり、ダイナミックレンジを拡大したフレーム画像とダイナミックレンジを拡大しないフレーム画像との間の違和感を軽減することができる。
【００３９】
（５）上記（４）の電子カメラにおいて、Ｓ２２による合成処理は、短露光画像における画像データに対する階調合わせ処理を含むので、ダイナミックレンジを拡大したフレーム画像とダイナミックレンジを拡大しない場合のフレーム画像との間で、階調に起因する違和感をさらに軽減することができる。
【００４０】
（６）上記（１）〜（５）の電子カメラにおいて、輝度差検出部１８は所定の注目エリアごとに輝度差を検出し、画像合成部１９は注目エリアごとに合成画像を生成するので、高精細の合成処理を行うことができる。
【００４１】
（変形例１）
上記実施形態では、長露光画像についての隣接フレーム間の輝度差、および短露光画像についての隣接フレーム間の輝度差の双方が判定閾値以内である場合に当該隣接フレーム画像間で主要被写体の動きがないとみなす例を説明した。この代わりに、少なくとも最も短い露光画像について隣接フレーム間の輝度差が判定閾値以内であれば、当該隣接フレーム画像間で主要被写体の動きがないとみなすようにしてもよい。この場合、最も短い露光画像について隣接フレーム間の輝度差が判定閾値を超えれば、当該隣接フレーム画像間で主要被写体の動きがあるとみなす。
【００４２】
（変形例２）
上述した説明では、１フレームの１／２の時間Ｔを長露光画像用の露光時間とし、Ｔ／２を短露光画像用の露光時間とする例を説明した。この代わりに、１フレームの２／３の時間Ｔｘを長露光画像用の露光時間とし、Ｔｘ／２(＝１／３フレーム)を短露光画像用の露光時間としてもよい。この場合は、１フレームの中で非露光の時間をなくすことができる。
【００４３】
（変形例３）
１フレームにおいて、先に長露光画像を取得してから短露光画像を取得する例を説明したが、先に短露光画像を取得してから長露光画像を取得する構成にしても構わない。
【００４４】
（変形例４）
上述した説明では、１フレーム内で異なる露光時間による２つの露光画像を得る例を説明したが、異なる露光時間による複数の露光画像は、２つに限ることなく、３つでも４つでもよい。３つの露光画像を得る場合には、たとえば、１フレームの１／２の時間Ｔを１番長い露光時間とし、Ｔ／２を２番目の露光時間とし、Ｔ／４を３番目の露光時間とすることにより、１フレーム内で異なる露光時間による３つの露光画像が得られる。この場合は、上記ステップＳ１８に相当する処理において、３つの露光画像に基づいて合成後の画像を求めることから、合成画像出力の中間階層域（ｋ１〜ｋ２の範囲）を滑らかに表現でき、高品位の画像が得られる。
【００４５】
（変形例５）
また、１フレーム内で異なる露光時間による３つの露光画像を得る場合に、１フレームの４／７の時間Ｔｙを１番長い露光時間とし、Ｔｙ／２(＝２／７フレーム)を２番目の露光時間とし、Ｔｙ／４(＝１／７フレーム)を３番目の露光時間とする。変形例５の場合も、１フレームの中で非露光の時間をなくすことができる。
【００４６】
（変形例６）
上述したダイナミックレンジの拡大処理において、隣接フレームを加算することによってノイズ低減をはかってもよい。この場合、上式（１）〜（３）に代えて、それぞれ次式（４）〜（６）を用いる。
出力値＝(Ｌd(n-1)+Ｌdn)×ｂ１＋ｄ１ （４）
ただし、出力値は合成後の画像の画素データであり、出力値の範囲は０〜ｋ１である。Ｌd(n-1)は(ｎ−１)フレームの長露光画像において対応する輝度値の画素データ、Ｌdnはｎフレームの長露光画像において対応する輝度値の画素データである。また、ｂ１は所定の係数、ｄ１は所定のオフセット係数である。
【００４７】
出力値＝(Ｓe(n-1)+Ｓen)×ｂ４＋ｄ４ （５）
ただし、出力値は合成後の画像の画素データであり、出力値の範囲はｋ２〜２５５である。Ｓe(n-1)は(ｎ−１)フレームの短露光画像において対応する輝度値の画素データ、Ｓenはｎフレームの短露光画像において対応する輝度値の画素データである。また、ｂ４は所定の係数、ｄ４は所定のオフセット係数である。
【００４８】
出力値＝(Ｌj(n-1)+Ｌjn)×ｂ２＋ｄ２＋(Ｓj(n-1)+Ｓjn)×ｂ３＋ｄ３ （６）
ただし、出力値は合成後の画像の画素データであり、出力値の範囲はｋ１〜ｋ２である。Ｌj(n-1)は(ｎ−１)フレームの長露光画像において対応する輝度値の画素データ、Ｌjnはｎフレームの長露光画像において対応する輝度値の画素データである。Ｓj(n-1)は(ｎ−１)フレームの短露光画像において対応する輝度値の画素データ、Ｓjnはｎフレームの短露光画像において対応する輝度値の画素データである。また、ｂ２、ｂ３はそれぞれ所定の係数、ｄ２、ｄ３はそれぞれ所定のオフセット係数である。
【００４９】
変形例６によれば、画像の取得時刻が異なる隣接フレームの画像を加算するようにしたので、フレーム間で平滑化されるため、ランダムノイズの低減に有効である。なお、連続するフレーム画像を平滑化する変形例６以外の手法として、たとえば、上式（１）〜（３）を用いて合成処理した後の画像に対し、後から公知の3D-NR手法を採用してもよい。
【００５０】
（変形例７）
１フレーム内において短い露光時間のみで複数の画像を取得してもよい。たとえば、１フレームの１／４の露光時間Ｔzで４つの画像を取得する。取得時刻が隣接する画像間で主要被写体の動きがないとみなす場合（すなわち、対応する注目エリアの輝度差が判定閾値以内の場合）は、４つの画像を加算して合成することにより、ランダムノイズの低減が図れる。動きがあるとみなす場合（すなわち、対応する注目エリアの輝度差が判定閾値を超える場合）は、合成後の階調を維持できるように合成する画像の数に応じたゲイン処理を行う。低輝度域から高輝度域までを細分化して合成する画像の数を設定することにより、ハイコントラストの被写体を再現できる。露光時間や合成する画像の数は、被写体条件やＲＡＭ１７にバッファできる画像数によって適宜設定してよい。なお、上述した説明において、ゲイン処理（階調合わせ）はゲインコントロールによって行う他に、ルックアップテーブル(LUT)を用いた輝度階調変換処理として行う構成にしてもよい。
【００５１】
（変形例８）
以上の説明では、画像の注目エリアについて輝度差を検出し、該注目エリアごとに画像合成処理を施す例を説明した。この代わりに、画像の注目エリアについて輝度差を検出し、画像合成処理は画像全体で行うようにしてもよい。この場合は、少なくとも１つの注目エリアで動きがあるとみなす場合（すなわち、少なくとも１つの注目エリアで輝度差が判定閾値を超える場合）は、画像の全域についてステップＳ２２に相当する合成処理を行う。一方、全ての注目エリアで動きがないとみなす場合（すなわち、全ての注目エリアの輝度差が判定閾値以下の場合）は、画像の全域についてステップＳ１６〜Ｓ１８に相当する合成処理を行う。
【００５２】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００５３】
１１…撮像センサー
１２…フロントエンド部
１６…ＤＳＰ
１７…ＲＡＭ
１８…輝度差検出部
１９…画像合成部
２３…操作部材
Ｌn-1、Ｌn、Ｌn+1…長露光画像
Ｒn、Ｒn+1…合成画像
Ｓn-1、Ｓn、Ｓn+1…短露光画像
【特許請求の範囲】
【請求項１】
連続するフレームの各フレームにおいて露光時間が異なる複数の画像をそれぞれ取得する撮像手段と、
前記露光時間が異なる複数の画像に基づいて合成画像を生成する画像合成手段と、
前記露光時間が異なる複数の画像ごとに、ｎフレーム目と(ｎ−１)フレーム目との間の輝度差をそれぞれ検出する輝度差検出手段と、
前記輝度差検出手段によって検出された前記複数の画像ごとの輝度差に基づいて、前記画像合成手段が前記ｎフレーム目に対する合成画像を生成する際に異なる合成処理をさせる制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記制御手段は、前記輝度差検出手段によって検出された前記複数の画像ごとの輝度差のうち、少なくとも前記露光時間が最短の画像における輝度差が所定値以下の場合に前記画像合成手段に第１の合成処理を行わせ、前記露光時間が最短の画像における輝度差が前記所定値を超える場合に前記画像合成手段に第２の合成処理を行わせることを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
前記制御手段は、前記輝度差検出手段によって検出された前記複数の画像ごとの輝度差の全てが所定値以下の場合に前記画像合成手段に第１の合成処理を行わせ、前記複数の画像ごとの輝度差のうち少なくとも１つが前記所定値を超える場合に前記画像合成手段に第２の合成処理を行わせることを特徴とする撮像装置。
【請求項４】
請求項２または３に記載の撮像装置において、
前記第１の合成処理は、前記露光時間が最短のＳ画像における第１輝度値以下に対応する合成データを前記露光時間が最長のＬ画像における前記第１輝度値以下に対応する画像データを用いて生成し、
前記Ｌ画像における第２輝度値以上に対応する合成データを前記Ｓ画像における前記第２輝度値以上に対応する画像データを用いて生成し、
前記Ｓ画像における前記第１輝度値から前記第２輝度値に対応する合成データを、前記露光時間が異なる複数の画像の全てにおいて前記第１輝度値から前記第２輝度値に対応する画像データを用いて生成することを特徴とする撮像装置。
【請求項５】
請求項２または３に記載の撮像装置において、
前記第２の合成処理は、前記露光時間が最短のＳ画像における画像データを用いて合成データを生成することを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記第２の合成処理は、前記Ｓ画像における画像データに対する階調合わせ処理を含むことを特徴とする撮像装置。
【請求項７】
請求項１〜６のいずれか一項に記載の撮像装置において、
前記輝度差検出手段は、所定の画像領域ごとに前記輝度差を検出し、
前記画像合成手段は、前記画像領域ごとに合成画像を生成することを特徴とする撮像装置。
【請求項１】
連続するフレームの各フレームにおいて露光時間が異なる複数の画像をそれぞれ取得する撮像手段と、
前記露光時間が異なる複数の画像に基づいて合成画像を生成する画像合成手段と、
前記露光時間が異なる複数の画像ごとに、ｎフレーム目と(ｎ−１)フレーム目との間の輝度差をそれぞれ検出する輝度差検出手段と、
前記輝度差検出手段によって検出された前記複数の画像ごとの輝度差に基づいて、前記画像合成手段が前記ｎフレーム目に対する合成画像を生成する際に異なる合成処理をさせる制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記制御手段は、前記輝度差検出手段によって検出された前記複数の画像ごとの輝度差のうち、少なくとも前記露光時間が最短の画像における輝度差が所定値以下の場合に前記画像合成手段に第１の合成処理を行わせ、前記露光時間が最短の画像における輝度差が前記所定値を超える場合に前記画像合成手段に第２の合成処理を行わせることを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
前記制御手段は、前記輝度差検出手段によって検出された前記複数の画像ごとの輝度差の全てが所定値以下の場合に前記画像合成手段に第１の合成処理を行わせ、前記複数の画像ごとの輝度差のうち少なくとも１つが前記所定値を超える場合に前記画像合成手段に第２の合成処理を行わせることを特徴とする撮像装置。
【請求項４】
請求項２または３に記載の撮像装置において、
前記第１の合成処理は、前記露光時間が最短のＳ画像における第１輝度値以下に対応する合成データを前記露光時間が最長のＬ画像における前記第１輝度値以下に対応する画像データを用いて生成し、
前記Ｌ画像における第２輝度値以上に対応する合成データを前記Ｓ画像における前記第２輝度値以上に対応する画像データを用いて生成し、
前記Ｓ画像における前記第１輝度値から前記第２輝度値に対応する合成データを、前記露光時間が異なる複数の画像の全てにおいて前記第１輝度値から前記第２輝度値に対応する画像データを用いて生成することを特徴とする撮像装置。
【請求項５】
請求項２または３に記載の撮像装置において、
前記第２の合成処理は、前記露光時間が最短のＳ画像における画像データを用いて合成データを生成することを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記第２の合成処理は、前記Ｓ画像における画像データに対する階調合わせ処理を含むことを特徴とする撮像装置。
【請求項７】
請求項１〜６のいずれか一項に記載の撮像装置において、
前記輝度差検出手段は、所定の画像領域ごとに前記輝度差を検出し、
前記画像合成手段は、前記画像領域ごとに合成画像を生成することを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２３１２７３（Ｐ２０１２−２３１２７３Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１１−９７８２７（Ｐ２０１１−９７８２７）
【出願日】平成２３年４月２６日（２０１１．４．２６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２３年４月２６日（２０１１．４．２６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]