撮像制御装置、撮像装置、及び撮像装置の制御方法
【課題】適切な輝度を有する撮像画像データを迅速に生成する。
【解決手段】フレームの画素ごとの撮像画像データから当該フレーム内の分割された複数のブロックにおけるブロック輝度値をそれぞれ求める算出部と、前記複数のブロック輝度値のうち、第1の制限輝度値より大きいブロック輝度値を前記第1の制限輝度値に制限する制限部と、前記複数のブロック輝度値の代表輝度値が前記第1の制限輝度値より小さい目標輝度値になるように、撮像部の露光量を制御する制御部とを有する撮像制御装によれば、複雑な処理を必要とせずに、適切な輝度を有する撮像画像データを迅速に生成することができる。
【解決手段】フレームの画素ごとの撮像画像データから当該フレーム内の分割された複数のブロックにおけるブロック輝度値をそれぞれ求める算出部と、前記複数のブロック輝度値のうち、第1の制限輝度値より大きいブロック輝度値を前記第1の制限輝度値に制限する制限部と、前記複数のブロック輝度値の代表輝度値が前記第1の制限輝度値より小さい目標輝度値になるように、撮像部の露光量を制御する制御部とを有する撮像制御装によれば、複雑な処理を必要とせずに、適切な輝度を有する撮像画像データを迅速に生成することができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像部の露光量を制御するための制御信号を出力する撮像制御装置等に関する。
【背景技術】
【0002】
被写体の背後にある光源に対向して被写体を撮像する逆光シーンの撮像画像では、被写体が背景に比べて低輝度になる。よって、たとえば、デジタルスチルカメラなどの撮像装置において、撮像画像をファインダ画像として表示する場合、被写体の細部の輪郭が判別できなくなる。そこで、たとえば、露光量を制御することで、被写体が適切な輝度を有する良好な撮像画像データを得る方法が提案されている。あるいは、良好な撮像画像データを画像処理により生成する方法が提案されている。
【0003】
画像処理により撮像画像データを生成する方法の一例では、1フレームの撮像画像データから被写体部分の輝度を補正した画像データと背景の輝度を補正した画像データとを生成して合成することで、被写体と背景とが適切な輝度を有する撮像画像データが生成される。また、他の例では、露光量が異なる複数の撮像画像を撮像し、被写体に対し最適な露光量(以下、最適露光量という)で撮像した撮像画像データと、背景に対し最適露光量で撮像した撮像画像データとを合成することで、被写体と背景とが適切な輝度を有する撮像画像データが生成される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平7−298131号公報
【特許文献2】特開2003−87646号公報
【特許文献3】特開2009−49712号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、撮像装置では、ファインダ画像表示などにおいて、迅速な処理が求められる。また、一方で、低コスト化の要求もある。よって、良好な撮像画像データを得るために負荷の大きい処理を伴う方法は好ましくない。
【0006】
そこで、本発明の目的は、簡易な構成で実現可能であり、適切な輝度を有する撮像画像データを迅速に生成することができる撮像制御装置等を提供することにある。
【課題を解決するための手段】
【0007】
上記の目的を達成するために、本発明の第1の側面における撮像制御装置は、フレームの画素ごとの撮像画像データから当該フレーム内の分割された複数のブロックにおけるブロック輝度値をそれぞれ求める算出部と、前記複数のブロック輝度値のうち、第1の制限輝度値より大きいブロック輝度値を前記第1の制限輝度値に制限する制限部と、前記複数のブロック輝度値の代表輝度値が前記第1の制限輝度値より小さい目標輝度値になるように、撮像部の露光量を制御する制御部とを有する。
【発明の効果】
【0008】
以下に開示される実施形態によれば、適切な輝度を有する撮像画像データを迅速に生成することができる撮像制御装置を、簡易な構成で実現できる。
【図面の簡単な説明】
【0009】
【図1】撮像装置の構成例について説明する図である。
【図2】露光量制御処理の詳細な手順例を示すフローチャート図である。
【図3】逆光シーンでの撮像画像データについて説明する図である。
【図4】逆光シーンでのブロック輝度値の分布状況を説明する図である。
【図5】高輝度シーンでの撮像画像データについて説明する図である。
【図6】高輝度シーンでのブロック輝度値の分布状況を説明する図である。
【図7】露光量制御処理の詳細な手順例を示すフローチャート図である。
【図8】ブロック輝度値の分布状況を説明する図である。
【図9】逆光シーンの場合の露光量制御処理を説明する図である。
【図10】高輝度シーンでの通常の露光量制御処理を説明する図である。
【図11】高輝度シーンでの変形例による露光量制御処理を説明する図である。
【発明を実施するための形態】
【0010】
以下、図面にしたがって本発明の実施の形態について説明する。但し、本発明の技術的範囲はこれらの実施の形態に限定されず、特許請求の範囲に記載された事項とその均等物まで及ぶものである。
【0011】
図1は、本実施形態における撮像装置の構成例について説明する図である。この撮像装置2は、被写体を撮像して撮像画像データを出力する撮像部4と、撮像画像データに基づいて撮像部4の露光量を制御する撮像制御装置7とを有する。撮像装置2は、たとえば、デジタルスチルカメラである。
【0012】
撮像部4は、撮像レンズ部3を介して入射される被写体からの光を画像センサ5により画素値信号に変換し、画素値信号から撮像画像データを生成して出力する。撮像レンズ部3は、たとえば複数の単焦点レンズを有し、これらの組合せに応じた焦点距離を有する。撮像レンズ部3は、焦点距離に応じた被写体象を画像センサ5の受光面に結象する。画像センサ5は、2次元状に配列された光電変換素子により受光した光をアナログの画素値信号に変換し、1フレーム分の画素値信号をラスタスキャン順に出力する。画像センサ5は、たとえばCCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサである。A/D変換器6は、画像センサ5から出力される画素値信号をデジタル信号化し、撮像画像データに変換する。撮像画像データは、たとえば画素ごとのRGB(Red、Green、Blue)階調データである。撮像画像データは、撮像制御装置7に入力される。
【0013】
撮像制御装置7は、たとえば、バス28を介して接続される画像処理部8、CPU(Central Processing Unit)10、輝度値検出部11、ROM(Read Only Memory)12、RAM(Random Access Memory)14を有するシステムLSIである。撮像制御装置7は、たとえば、さらにインターフェース部18、メディア制御部22、及び表示制御部24を有してもよい。インターフェース部18、メディア制御部22、及び表示制御部24には、操作部16、記憶メディア20、及び表示部26がそれぞれ接続される。
【0014】
撮像部4から入力される撮像画像データ50は、RAM14に格納される。画像処理部8は、RAM14に格納された撮像画像データ50に画像処理を行う。画像処理は、たとえば、RGBデータからYCbCr(輝度・色差)データへの変換処理、色や輝度の補正処理、ノイズ除去処理、輪郭強調処理、データ圧縮のためのフォーマット変換処理、または、1フレーム分の撮像画像データ50を縮小処理してファインダ表示用の画像データを生成する画像処理などである。輝度値検出部11は、撮像画像データ50の画素ごとの輝度値を検出する。輝度値は、たとえば、YCbCrデータにおけるY値である。
【0015】
CPU(Central Processing Unit)10は、撮像画像データ50全体の輝度値が目標輝度値になるような露光量の制御量を算出し、かかる制御量を示す露光量制御信号40を撮像部4に出力する。撮像画像データ50全体の輝度値は、たとえば1フレームの画素ごとの撮像画像データ50から、当該フレーム内の分割された複数のブロックにおけるブロック輝度値をそれぞれ求め、そのブロック輝度値の代表輝度値として求められる。この処理については、後に詳述する。
【0016】
目標輝度値は、たとえば、実験等により求められる任意の輝度値であって、最適露光量に対応する輝度値である。たとえば、輝度値のダイナミックレンジを、低輝度側から高輝度側に0〜100%とした場合、目標輝度値は20%付近に設定される。撮像画像データ50の全体の輝度値が目標輝度値より高い場合、撮像部4の露光量は目標輝度値に対応する最適露光量より大きい。その場合、CPU10は、最適露光量まで露光量を減少させるための露光量制御信号40を生成して、撮像部4に出力する。一方、撮像画像データ50全体の輝度値が最適輝度値より低い場合、撮像部4の露光量は最適露光量より少ない。その場合、CPU10は、露光量を最適露光量まで増加させるための露光量制御信号40を生成して、撮像部4に出力する。かかる露光量制御処理は、輝度値算出部30、輝度値制限部32、代表輝度値算出部34、露光量制御部36の各部により行われるが、これら各部の動作の詳細は後述する。
【0017】
輝度値算出部30、輝度値制限部32、代表輝度値算出部34、露光量制御部36の各部は、たとえば、それぞれの処理に対応する処理プログラムを実行するCPU10である。処理プログラムは、たとえばROM12に格納される。CPU10は、処理プログラムやデータをRAM14に格納して、各処理を行う。
【0018】
撮像部4は、nフレーム目(nは正の整数)の撮像画像データ50に基づく露光量制御信号40が入力されると、これに応答して、n+1フレーム目(あるいはn+2フレーム目以降のフレーム)の撮像時の露光量を調節する。撮像部4は、公知の方法により露光量を調節する。たとえば、撮像部4は、シャッタ速度を調整することで露光量を調節する。撮像部4のシャッタは、電子シャッタでもメカニカルシャッタでもよい。電子シャッタの場合、光電変換素子による電荷蓄積時間を制御することでシャッタ速度が制御される。また、メカニカルシャッタの場合、メカニカルに開閉されるシャッタの開閉速度が制御される。
【0019】
なお、操作部16は、ユーザによる操作入力を受け付け、操作入力に対応する制御信号を撮像制御装置7に入力する。操作部16は、たとえば、各種操作ボタンとその制御回路を有する。操作部16からの制御信号は、インターフェース部18を介してCPU10に転送される。CPU10は、これに応答して、ROM12に格納される制御プログラムに従って、撮像部4のほか、表示制御部24やメディア制御部22などの動作を制御する。これにより、たとえば、表示制御部24は、撮像画像データ50を表示部26にファインダ画像として表示する。表示部26は、たとえばLCD(Liquid Crystal Display)である。また、メディア制御部22は、記憶メディア20に撮像画像データ50を格納したり、既に格納された撮像画像データ50を記憶メディア20から読み出したりする。記憶メディア20は、たとえば、ハードディスクドライブ、または、メモリカードなどの着脱可能な可搬型記憶メディアである。
【0020】
次に、撮像制御装置7における露光量制御処理について説明する。まず、被写体の背後にある光源に対向して被写体を撮像する、逆光シーンの場合の露光量制御処理について説明する。次いで、逆光状態になるような被写体を有さない、高輝度シーンの場合の露光量制御処理について説明する。高輝度シーンは、たとえば、晴天時の空や海、雪原といった、極めて明るい屋外の風景が撮像される場合である。
【0021】
[逆光シーンの場合の露光量制御処理]
図2は、露光量制御処理の詳細な手順例を示すフローチャート図である。図2(A)に示す手順S2〜S8は、たとえば、輝度値検出部11が1フレーム分の画素の輝度値検出を終えたときに、1フレームごとにCPU10により実行される。また、手順S4のサブルーチンに対応する手順が、図2(B)に示される。
【0022】
まず、図2(A)の手順S2で、輝度値算出部30は、1フレームの撮像画像データ50を複数のブロックに分割し、各ブロックのブロック輝度値を算出する。図3(A)には、逆光シーンでの模式的な撮像画像データ50が示される。撮像画像データ50は、行列状に配列された複数の画素データからなる。この撮像画像データ50は、たとえば、光源53を含む背景52と、光源53からの光を受けて逆光状態の被写体54とを有する。背景52が相対的に高輝度を有し、被写体54が相対的に低輝度を有する。このような1フレーム分の撮像画像データ52が、図3(B)に示すように、行列状の複数のブロックBLKに分割される。すなわち、撮像画像データ50の画素データが行方向と列方向にそれぞれ等分割される。
【0023】
たとえば、輝度値算出部30は、ブロックBLK内の画素ごとの輝度値を積算する。この積算値がブロック輝度値である。あるいは、輝度値算出部30は、ブロックBLK内の画素ごとの輝度値の平均値を算出し、その平均値をブロック輝度値としてもよい。たとえば、画素ごとの輝度値が10ビット分解能で0〜1023の階調範囲で示される場合において、ブロック輝度値として積算値が用いられる場合には、ブロック輝度値のとりうる値は、0〜1023×ブロックBLK内の画素数の範囲となる。あるいは、ブロック輝度値として平均値が用いられる場合には、ブロック輝度値のとりうる値は、0〜1023の範囲となる。
【0024】
次に、図2(A)の手順S4で、輝度値制限部32が、ブロック輝度値を所定の制限輝度値に制限する。具体的には、図2(B)に示す手順が、ブロックBLKごとのブロック輝度値について実行される。たとえば、輝度値制限部32は、ブロック輝度値が制限輝度値より大きいときには(手順S41のYES)、ブロック輝度値を制限輝度値に制限し(S44)、ブロック輝度値が制限輝度値以下のときには(手順S41のNO)、図2(B)の手順を終了する。
【0025】
このときの撮像画像データ50のブロック輝度値の分布状況が、図4に例示される。図4(A)〜(F)には、横軸をブロック輝度値、縦軸を度数(頻度)として、撮像画像データ50のブロック輝度値の分布状況が模式的に示される。
【0026】
図4(A)には、1フレーム目の撮像画像データ50の例が示される。逆光シーンの撮像画像データ50では、背景52に対応する高輝度のブロック輝度値分布H1と、被写体54に対応する低輝度のブロック輝度値分布H2が形成される。制限輝度値LIMは、目標輝度値TGTよりある程度大きい値に設定される。たとえば、画素ごとの輝度値が、10ビット分解能で0〜1023の階調範囲で示される場合、最適露光量に対応する目標輝度値TGTは、0〜1023の階調範囲における180付近、より具体的には「184」である。そして、制限輝度値LIMは、たとえば、目標輝度値TGTより数パーセント〜十数パーセント大きい値である、「200」などに設定される。
【0027】
ここでは、制限輝度値LIMより大きいブロック輝度値分布H1が制限輝度値LIMに制限される。すると、ブロック輝度値の分布は図4(B)のようになる。図4(B)では、高輝度のブロック輝度値分布H1の度数が制限輝度値LIMの度数として積算され、制限輝度値LIMのブロック輝度値分布H10が形成される。
【0028】
次に、図2(A)の手順S6で、代表輝度値算出部34が、1フレーム分のブロック輝度値の代表輝度値を算出する。代表輝度値は、たとえば、1フレーム分のブロック輝度値の平均値である。あるいは、中央値であってもよい。以下では、ブロック輝度値の平均値を代表輝度値として説明する。図4(B)の例では、高輝度のブロック輝度値分布H1を制限輝度値LIMに制限したことにより、ブロック輝度値分布H10とブロック輝度値分布H2の平均値AVEが算出される。
【0029】
次に、手順S8で、露光量制御部36が、ブロック輝度値の平均値AVEが目標輝度値TGTになるような露光量の制御量を示す露光量制御信号40を生成して、撮像部4に出力する。図4(B)の例では、平均値AVEは目標輝度値TGTより差分ΔD小さい。よって、差分ΔDに対応する露光量を増加させるような露光量制御信号40が生成される。平均値AVEの必要な増加量(または減少量)に対応する露光量の制御量は、実験等により求められる演算式やマップデータに基づき、露光量制御部36により求められる。かかる演算式やマップデータは、たとえば、処理プログラムの一部として、ROM12に予め格納される。かかる露光量制御信号40に基づく撮像が行われると、2フレーム目では1フレーム目より全体的に高輝度の撮像画像が撮像される。
【0030】
2フレーム目の撮像画像データ50のブロック輝度値の分布状況は、図4(C)に示すようになる。ブロック輝度値分布H1´、H2´は、それぞれ1フレーム目のブロック輝度値分布H1、H2が、露光量の増加分に応じて高輝度側にシフトしたものである。なお、ここでは、高輝度のブロック輝度値分布H1´の一部が飽和した状態が示される。
【0031】
2フレーム目でも、1フレーム目と同様にして、図2(A)の手順S2〜S8が実行される。2フレーム目では、手順S4で、輝度値制限部32が、制限輝度値LIMより大きいブロック輝度値H1´を制限輝度値LIMに制限する。このときの状態が、図4(D)に示される。ブロック輝度値分布H1´の度数が制限輝度値LIMの度数に積算されることで、制限輝度値LIMのブロック輝度値分布H10´が形成される。そして、手順S6で、代表輝度値算出部34が、ブロック輝度値の平均値AVE´を算出する。ここで、平均値AVE´は、ブロック輝度値分布H2´とブロック輝度値分布H10´の平均値である。
【0032】
そして、露光量制御部36は、平均値AVE´が目標輝度値TGTになるような、つまり平均値AVE´と目標輝度値TGTとの差分ΔD´に対応する露光量を増加させるような露光量制御信号40を生成して、撮像部4に出力する。なお、2フレーム目では、ブロック輝度値分布H2´が1フレーム目のブロック輝度値分布H2より高輝度側にシフトしている。よって、平均値AVE´は1フレーム目の平均値AVEより大きくなる。よって、差分ΔD´は、1フレーム目の差分ΔDより縮小している。よってその分、露光量の増加量は小さくなる。露光量制御信号40に基づく撮像が行われると、3フレーム目では2フレーム目より全体的に幾分高輝度の撮像画像が撮像される。
【0033】
3フレーム目の撮像画像データ50のブロック輝度値の分布状況は、図4(E)に示すようになる。ブロック輝度値分布H1´´、H2´´は、それぞれ2フレーム目のブロック輝度値分布H1´、H2´が、露光量の増加分に応じて高輝度側にシフトしたものである。なお、ここでは、高輝度のブロック輝度値分布H1´´全体が飽和した状態が示される。
【0034】
3フレーム目でも、1フレーム目、2フレーム目と同様にして、図2(A)の手順S2〜S8が実行される。3フレーム目では、手順S4で、輝度値制限部32が、制限輝度値LIMより大きいブロック輝度値H1´´を制限輝度値LIMに制限する。このときの状態が、図4(F)に示される。ブロック輝度値分布H1´´の度数が制限輝度値LIMの度数に積算されることで、制限輝度値LIMのブロック輝度値分布H10´´が形成される。そして、手順S6で、代表輝度値算出部34が、ブロック輝度値の平均値AVE´´を算出する。ここで、平均値AVE´´は、ブロック輝度値分布H2´´とブロック輝度値分布H10´´の平均値である。
【0035】
そして、露光量制御部36は、平均値AVE´´が目標輝度値TGTになるような、つまり平均値AVE´´と目標輝度値TGTとの差分ΔD´´に対応する露光量を増加させるような露光量制御信号40を生成して撮像部4に出力する。なお、3フレーム目では、ブロック輝度値分布H2´´が2フレーム目のブロック輝度値分布H2´より高輝度側にシフトしている。よって、平均値AVE´´は2フレーム目の平均値AVE´より大きくなる。よって、差分ΔD´´は、2フレーム目の差分ΔD´より縮小している。よって、露光量の増加量は、小さくなる。そして、かかる露光量制御信号40に基づいて次フレームの撮像が行われると、露光量制御信号40に応じてさらに幾分高輝度の撮像画像が撮像される。
【0036】
上記のような露光量制御処理をフレームごとに実行することで、ブロック輝度値の平均値と目標輝度値TGTとの差分が徐々に縮小する。そして、これに応じて露光量の制御量が徐々に縮小する。そして、最終的に、被写体に対する露光量が最適露光量に収束する。よって、逆光シーンの場合であっても、被写体54が目標輝度値TGTを有するような撮像画像データ50が生成される。
【0037】
[高輝度シーンの場合の露光量制御処理]
次いで、高輝度シーンの場合の露光量制御処理について説明する。ここでは、図2(A)のフローチャートに従い、図5、図6が適宜参照される。
【0038】
まず、図2(A)の手順S2で、輝度値算出部30は、1フレームの撮像画像データを複数のブロックに分割し、ブロックごとに輝度値を積算して各ブロックのブロック輝度値を算出する。図5(A)には、高輝度シーンでの模式的な撮像画像データ50が示される。この撮像画像データ50は、光源53を含む背景52を有する。その反面、撮像画像データ50は、光源53からの光を受けて逆光状態になるような被写体を有さない。よって、背景52が全体的に高輝度を有する。この場合、高輝度は、たとえば、輝度値のダイナミックレンジ内で目標輝度値より大きい範囲をいう。また、このような1フレーム分の撮像画像データ50が行列状の複数のブロックBLKに分割された状態が、図5(B)に例示される。
【0039】
次に、図2(A)の手順S4で、輝度値制限部32が、制限輝度値LIMより大きいブロック輝度値を制限輝度値LIMに制限する。このときの撮像画像データ50のブロック輝度値の分布状況が、図6に例示される。
【0040】
図6(A)〜(H)には、横軸をブロック輝度値、縦軸を度数(頻度)として、撮像画像データ50のブロック輝度値の分布状況が模式的に示される。図6(A)には、1フレーム目の撮像画像データ50の例が示される。高輝度シーンの撮像画像データ50では、背景52に対応する高輝度のブロック輝度値分布H1が形成される。そして、制限輝度値LIMより大きいブロック輝度値H1が制限輝度値LIMに制限される。すると、ブロック輝度値の分布は図6(B)のようになる。図6(B)では、高輝度のブロック輝度値分布H1の度数が制限輝度値LIMの度数として積算される。よって、制限輝度値LIMのブロック輝度値分布H10が形成される。
【0041】
次に、図2(A)の手順S6で、代表輝度値算出部34が、1フレーム分のブロック輝度値の平均値を算出する。図6(B)の例では、高輝度のブロック輝度値分布H1を制限輝度値LIMに制限したことにより、制限輝度値LIMと一致する平均値AVE2が算出される。
【0042】
次に、図2(A)の手順S8で、露光量制御部36が、ブロック輝度値の平均値AVE2が目標輝度値TGTになるような露光量の制御量を示す露光量制御信号40を生成して、撮像部4に出力する。図6(B)の例では、平均値AVE2は目標輝度値TGTより差分ΔD1大きい。よって、差分ΔD1に対応する露光量を減少させるような露光量制御信号40が生成される。かかる露光量制御信号40に基づく撮像が行われると、2フレーム目では1フレーム目より全体的に幾分低輝度の撮像画像が撮像される。
【0043】
2フレーム目の撮像画像データ50のブロック輝度値の分布状況は、図6(C)に示すようになる。ブロック輝度値分布H1´は、1フレーム目のブロック輝度値分布H1が、露光量の減少分に応じて低輝度側にシフトしたものである。
【0044】
2フレーム目でも、1フレーム目と同様にして、図2(A)の手順S2〜S8が実行される。2フレーム目では、手順S4で、輝度値制限部32が、制限輝度値LIMより大きいブロック輝度値H1´を制限輝度値LIMに制限する。このときの状態が、図6(D)に示される。ブロック輝度値分布H1´の度数が制限輝度値LIMの度数に積算されることで、制限輝度値LIMのブロック輝度値分布H10´が形成される。そして、手順S6で、代表輝度値算出部34が、ブロック輝度値の平均値AVE2´を算出する。ブロック輝度値H1´を制限輝度値LIMに制限したことにより、制限輝度値LIMと一致する平均値AVE2´が算出される。
【0045】
そして、露光量制御部36は、平均値AVE2´が目標輝度値TGTになるような、つまり露光量を減少させるような露光量制御信号40を生成して撮像部4に出力する。なお、2フレーム目では、ブロック輝度値分布H1´が1フレーム目のブロック輝度値分布H1より低輝度側にシフトしているものの依然として制限輝度値LIMより大きいので、1フレーム目同様に制限輝度値LIMに制限される。よって、平均値AVE2´は1フレーム目の平均値AVE2と同じ値、つまり制限輝度値LIMになる。よって、平均値AVE2´と目標輝度値TGTとの差分ΔD1´は、1フレーム目の差分ΔD1と等しい。よって、差分ΔD1´に対応する露光量の減少分も、差分ΔD1に対応する露光量の減少分と等しい。そして、かかる露光量制御信号40に基づく撮像が行われると、3フレーム目では2フレーム目より全体的に幾分低輝度の撮像画像が撮像される。
【0046】
3フレーム目の撮像画像データ50のブロック輝度値の分布状況は、図6(E)に示すようになる。ブロック輝度値分布H1´´は、2フレーム目のブロック輝度値分布H1´が、露光量の減少分に応じて低輝度側にシフトしたものである。
【0047】
3フレーム目でも、1フレーム目、2フレーム目と同様にして、図2(A)の手順S2〜S8が実行される。3フレーム目では、手順S4で、輝度値制限部32が、ブロック輝度値H1´´のうち制限輝度値LIMより大きい部分を制限輝度値LIMに制限する。このときの状態が、図6(F)に示される。ブロック輝度値分布H1´´のうち制限輝度値LIMより大きい部分の度数が制限輝度値LIMの度数に積算されることで、制限輝度値LIMのブロック輝度値分布H10´´が形成される。そして、手順S6で、代表輝度値算出部34が、ブロック輝度値の平均値AVE2´´を算出する。平均値AVE2´´は、ブロック輝度値分布H1´´のうち制限輝度値LIMより小さい部分とブロック輝度値分布H10´´の平均値である。
【0048】
そして、露光量制御部36は、平均値AVE2´´が目標輝度値TGTになるような、つまり露光量を増加させるような露光量制御信号40を生成して、撮像部4に出力する。3フレーム目では、ブロック輝度値分布H1´´のうち制限輝度値LIMより小さい部分が形成されるので、平均値AVE2´´は2フレーム目の平均値AVE2´より小さくなる。よって、平均値AVE2´´と目標輝度値TGTとの差分ΔD1´´は、2フレーム目の差分ΔD1´より縮小している。よって、露光量の減少分は、小さくなる。そして、かかる露光量制御信号40に基づく撮像が行われると、4フレーム目では3フレーム目より全体的にさらに幾分低輝度の撮像画像が撮像される。
【0049】
4フレーム目の撮像画像データ50のブロック輝度値の分布状況は、図6(G)に示すようになる。ブロック輝度値分布H1´´´は、3フレーム目のブロック輝度値分布H1´´が、露光量の減少分に応じて低輝度側にシフトしたものである。
【0050】
4フレーム目でも、1〜3フレーム目と同様にして、図2(A)の手順S2〜S8が実行される。4フレーム目では、手順S4で、輝度値制限部32が、ブロック輝度値H1´´´のうち制限輝度値LIMより大きい部分を制限輝度値LIMに制限する。このときの状態が、図6(H)に示される。ブロック輝度値分布H1´´´のうち制限輝度値LIMより大きい部分の度数が制限輝度値LIMの度数に積算されることで、制限輝度値LIMのブロック輝度値分布H10´´´が形成される。そして、手順S6で、代表輝度値算出部34が、ブロック輝度値の平均値AVE2´´´を算出する。平均値AVE2´´´は、ブロック輝度値分布H1´´´のうち制限輝度値LIMより小さい部分とブロック輝度値分布H10´´´の平均値である。そして、露光量制御部36は、平均値AVE2´´´が目標輝度値TGTになるような、つまり露光量を減少させるような露光量制御信号40を生成して撮像部4に出力する。4フレーム目では、ブロック輝度値分布H1´´´のうち制限輝度値LIMより小さい部分が形成され、かつその部分が3フレーム目より大きい。よって、平均値AVE2´´´は2フレーム目の平均値AVE2´´より小さくなる。よって、平均値AVE2´´´と目標輝度値TGTとの差分ΔD1´´´は、2フレーム目の差分ΔD1´´より縮小している。よって、露光量の減少分は、その分小さくなる。そして、かかる露光量制御信号40に基づく撮像が行われると、次フレームでは全体的にさらに幾分低輝度の撮像画像が撮像される。
【0051】
上記のような露光量制御処理をフレームごとに実行することで、ブロック輝度値の平均値と目標輝度値TGTとの差分が徐々に縮小し、これに応じて露光量の制御量が徐々に縮小する。そして、最終的に、背景に対する露光量が最適露光量に収束する。よって、高輝度シーンの場合であっても、背景52が目標輝度値TGTを有するような撮像画像データ50が生成される。
【0052】
上述したように、本実施形態によれば、逆光シーンの場合に被写体に対し最適露光量で撮像を行うことができ、それにより良好な撮像画像が得られるだけでなく、高輝度シーンの場合には背景に対し最適露光量で撮像を行うことができ、良好な撮像画像を得ることができる。
【0053】
[変形例]
次に、本実施形態の変形例について説明する。以下、便宜上、上述した露光量制御処理を通常の露光量制御処理と称し、変形例と区別する。変形例では、輝度値制限部32は、ブロック輝度値の最小値が第1の制限輝度値である制限輝度値LIMより大きいときには、ブロック輝度値を制限輝度値LIMではなく、制限輝度値LIMより大きい第2の制限輝度値に制限する。かかる第2の制限輝度値は、たとえば、制限輝度値LIMより大きく、かつブロック輝度値の最小値以下の任意の値である。以下の説明では、ブロック輝度値の最小値を第2の制限輝度値として説明する。変形例は、たとえば、高輝度シーンにおいて、ブロック輝度値の最小値が制限輝度値LIMより大きい場合に実行される。
【0054】
図7は、変形例における露光量制御処理の詳細な手順例を示すフローチャート図である。図7(A)の手順例は、図2(A)の手順例において、手順S2の後に手順S3が挿入され、手順S4が手順S4aに置換されたものである。また、図7(B)には、手順S4aのサブルーチンに対応する手順が示される。図7(B)の手順は、図2(B)の手順に手順S42、S43が追加されたものである。
【0055】
図7(A)に示す手順S2〜S8は、図2(A)の手順と同様、たとえば、輝度値検出部11が1フレーム分の輝度値検出を終えたときに、1フレームごとにCPU10により実行される。まず、手順S2で、輝度値算出部30は、1フレームの撮像画像データを複数のブロックに分割し、ブロックごとに輝度値を積算して各ブロックのブロック輝度値を算出する。次に、手順S3で、輝度値制限部32は、1フレーム分のブロック輝度値のうち最小値を抽出する。
【0056】
ここで、図5で示した高輝度シーンの撮像画像データ50におけるブロック輝度値の分布状況が、図8に例示される。図8(A)〜(D)には、横軸をブロック輝度値、縦軸を度数(頻度)として、撮像画像データ50のブロック輝度値の分布例が模式的に示される。図8(A)には、1フレーム目の撮像画像データ50の例が示される。高輝度シーンの撮像画像データ50では、背景52に対応する高輝度のブロック輝度値分布H1が形成される。そして、ブロック輝度値分布H1の最小値MINが抽出される。ここで最小値MINは、制限輝度値LIMより大きい。
【0057】
図7(A)の手順S4aで、輝度値制限部32は、ブロック輝度値を制限する。このとき、図7(B)の手順がブロック輝度値ごとに実行される。ブロック輝度値が制限輝度値LIMより大きい場合に(手順S41のYES)、輝度値制限部30は、手順S42に進む。そして、ブロック輝度値の最小値MINが制限輝度値LIM以下のときには(手順S42のNO)、輝度値制限部32は、ブロック輝度値を制限輝度値LIMに制限する(手順S44)。つまり、通常の露光量制御処理が実行される。一方、ブロック輝度値の最小値MINが制限輝度値LIMより大きいときには(手順S42のYES)、ブロック輝度値を第2の制限輝度値、たとえば最小値MINに制限する(手順S43)。このときの状態が、図8(B)に示される。図8(B)では、ブロック輝度値分布H1の度数が最小値MINの度数に積算されてブロック輝度値分布H11が形成される。
【0058】
次に、図7(A)の手順S6で、代表輝度値算出部34が、1フレーム分のブロック輝度値の平均値を算出する。図8(B)の例では、高輝度のブロック輝度値分布H1を最小値MINに制限したことにより、最小値MINと一致する平均値AVE3が算出される。
【0059】
次に、手順S8で、露光量制御部36が、ブロック輝度値の平均値AVE3が目標輝度値TGTになるような露光量の制御量を示す露光量制御信号40を生成して、撮像部4に出力する。図8(B)の例では、平均値AVE3は目標輝度値TGTより差分ΔD2大きいので、差分ΔD2に対応する露光量を減少させるような露光量制御信号40が生成される。ここで、図6(B)で示したようにブロック輝度分布H1を制限輝度値LIMに制限する場合と比較すると、平均値AVEと目標輝度値TGTとの差分ΔD1より、平均値AVE3と目標輝度値TGTとの差分ΔD2の方が大きい。よって、通常の露光量制御処理における露光量の制御量より、変形例における露光量の制御量の方が大きい。かかる露光量制御信号40に基づく撮像が行われると、2フレーム目では1フレーム目より全体的に大幅に低輝度の撮像画像が撮像される。
【0060】
2フレーム目の撮像画像データ50のブロック輝度値の分布状況は、図8(C)に示すようになる。ブロック輝度値分布H1´は、1フレーム目のブロック輝度値分布H1が、露光量の減少分に応じて低輝度側にシフトしたものである。これにより、ブロック輝度値分布H1´の最小値MIN´は、制限輝度値LIMより小さくなる。よって、2フレーム目で図7(A)の手順S2〜S8が実行されるとき、図7(B)の手順S42の判断結果が「NO」になる。よって、以降の処理では、図2、図6で示した、高輝度シーンでの通常の露光量制御処理と同等の処理が実行される。
【0061】
本変形例によれば、高輝度シーンの露光量制御処理において、ブロック輝度値の最小値が制限輝度値LIMより大きいときに、ブロック輝度値を制限輝度値LIMより大きい第2の制限輝度値、つまり最小値MINに制限することで、通常の露光量制御処理より大きい制御量で露光量を減少することができる。よって、通常の露光量制御処理より迅速に、背景に対する露光量を最適露光量に収束させることが可能になる。
【0062】
なお、さらなる変形例では、輝度値制限部36は、ブロック輝度値の最小値MINが制限輝度値LIMより大きいときには、単にブロック輝度値を制限輝度値LIMに制限しないようにしてもよい。たとえば、図7(B)の手順S43を省略することも可能である。その場合、代表輝度値算出部34は、図8(D)に示すように、ブロック輝度値分布H1の平均値AVE4を代表輝度値として算出する。このとき、目標輝度値TGTと平均値AVE4の差分ΔD3は、ブロック輝度値を最小値MINに制限する場合の差分ΔD2より大きい。よって、露光量制御部36は、ブロック輝度値を最小値MINに制限する場合よりさらに大きい制御量で露光量を減少させるような露光量制御信号40を生成する。そうすることで、上記変形例の露光量制御処理よりさらに迅速に、背景に対する露光量を最適露光量に収束させることが可能になる。
【実施例】
【0063】
次に、具体的なブロック輝度値を用いて本実施形態の実施例を示す。
【0064】
[逆光シーンでの実施例]
図9は、逆光シーンの場合の実施例を説明する図である。図9(A)は、処理開始時の撮像画像データを示す。図9(A)に示すように、撮像画像データ50では、背景52が相対的に高輝度であるのに対し、被写体54が相対的に低輝度である。なお、以降、図9では、被写体54の輝度の低さをハッチングの濃さにより表現する。
【0065】
図9(B)は、図9(A)の撮像画像データ50におけるブロック輝度値を示す。各マス目はブロックを示し、マス目の中の数値はブロック輝度値を示す。以下の実施例の説明では、便宜上、1フレームにつき16個のブロックを例とする。また、ブロック輝度値が0〜1023階調で示される。そして、目標輝度値を「185」とする。そして、重線で囲まれたブロックが被写体54に対応し、その他のブロックが背景52に対応する。背景52に対応するブロックでは、ブロック輝度値が「150」、または「500」といった高い値であるのに対し、被写体54に対応するブロックでは、ブロック輝度値が「10」といった低い値である。また、このとき、ブロック輝度値全体の平均値は目標輝度値と一致する「185」である。このことは、撮像画像全体として背景52に適した露光量が設定されて撮像が行われたことを示す。
【0066】
図9(C)は、図9(B)のブロック輝度値に対し、制限輝度値を「200」として、ブロック輝度値を制限した状態を示す。背景52に対応するブロックのうち、ブロック輝度値「500」を有するブロックでは、ブロック輝度値「500」が制限輝度値「200」より大きいので、ブロック輝度値「200」に制限される。その結果、ブロック輝度値の平均値は「110」になる。この平均値は、目標輝度値「185」より「75」小さい。よって、この差分に対応する露光量を増加させて撮像が行われる。
【0067】
図9(D)は、露光量が増加されたときに撮像された撮像画像データ50を示す。図9(D)に示すように、撮像画像データ50では、図9(A)の撮像画像データ50より被写体54のハッチングが薄くなっており、被写体54が幾分高輝度になったことが示される。
【0068】
図9(E)は、図9(D)の撮像画像データ50におけるブロック輝度値を示す。図9(B)との比較において、露光量が増加したことにより、背景52に対応するブロックでは、ブロック輝度値が「300」、または「1000」に増加している。一方、被写体54に対応するブロックでは、ブロック輝度値が「20」に増加している。また、このとき、ブロック輝度値全体の平均値は「370」であり、図9(B)のときの平均値「185」より増加している。
【0069】
図9(F)は、図9(E)のブロック輝度値を制限した状態を示す。背景52に対応する、ブロック輝度値「1000」を有するブロックとブロック輝度値「300」を有するブロックでは、ブロック輝度値が制限輝度値「200」より大きいので、ブロック輝度値「200」に制限される。その結果、ブロック輝度値の平均値は「132.5」になる。この平均値は、目標輝度値「185」よりまだ「52.5」小さいものの、図9(C)のときの平均値「110」より増加しており、目標輝度値「185」に収束しつつあることが示される。次のフレームでは、差分「52.5」に対応する露光量を増加させて撮像が行われる。
【0070】
図9(G)は、被写体54に対する露光量が最適露光量に収束するときに撮像された撮像画像データ50を示す。図9(G)に示すように、撮像画像データ50では、図9(D)の撮像画像データ50より被写体54のハッチングがさらに薄くなっており、被写体54がさらに幾分高輝度になったことが示される。
【0071】
図9(H)は、図9(G)の撮像画像データ50におけるブロック輝度値を示す。図9(E)との比較において、露光量が増加したことにより、背景52に対応するブロックでは、ブロック輝度値が「1023」(飽和状態)まで増加しており、被写体54に対応するブロックでは、ブロック輝度値が「160」に増加している。また、このとき、ブロック輝度値全体の平均値は「699.4」であり、図9(E)のときの平均値「370」よりさらに増加したことが示される。
【0072】
図9(I)は、図9(H)のブロック輝度値を制限した状態を示す。ブロック輝度値「1023」を有する背景52に対応するブロックでは、ブロック輝度値「1023」が制限輝度値「200」より大きいので、ブロック輝度値「200」に制限される。その結果、ブロック輝度値の平均値は「185」になり、目標輝度値に一致する。このような露光量制御処理を繰り返すことで、被写体54に対する露光量が最適露光量に収束する。
【0073】
[通常の露光量制御処理に基づく高輝度シーンでの実施例]
図10は、通常の露光量制御処理による、高輝度シーンでの実施例を説明する図である。各マス目はブロックを示し、マス目の中の数値はブロック輝度値を示す。図10では、16個のブロックを例に、ブロック輝度値が0〜1023階調で示される。図10(A)は、処理開始時の撮像画像データにおけるブロック輝度値を示す。高輝度シーンでは、全体的に、ブロック輝度値が「750」、または「800」といった高い値を示す。このとき、ブロック輝度値全体の平均値は「793.8」である。
【0074】
図10(B)は、図10(A)のブロック輝度値に対し、制限輝度値を「200」として、ブロック輝度値を制限した状態を示す。ブロック輝度値「750」、「800」を有するすべてのブロックでは、ブロック輝度値が制限輝度値「200」より大きいので、ブロック輝度値「200」に制限される。その結果、ブロック輝度値の平均値は「200」になる。この平均値は、目標輝度値「185」より「15」大きい。よって、この差分に対応する露光量を減少させて撮像が行われる。
【0075】
図10(C)は、露光量を減少させて撮像された撮像画像データにおけるブロック輝度値を示す。図10(A)との比較において、露光量が減少したことにより、ブロック輝度値が「650」、または「700」に減少している。このとき、ブロック輝度値全体の平均値は「693.8」であり、図10(A)のときの平均値「793.8」より減少している。
【0076】
図10(D)は、図10(C)のブロック輝度値を制限した状態を示す。ブロック輝度値「650」、「700」を有するすべてのブロックでは、ブロック輝度値が制限輝度値「200」より大きいので、ブロック輝度値「200」に制限される。その結果、ブロック輝度値の平均値は「200」になる。この平均値は、目標輝度値「185」より「15」大きいので、この差分に対応する露光量を減少させて撮像が行われる。この平均値は、図10(B)のときの平均値「200」と同じである。よって、次のフレームでは、差分「15」に対応する露光量を減少させて撮像が行われる。
【0077】
[変形例に基づく高輝度シーンでの実施例]
図11は、変形例の露光量制御処理による、高輝度シーンでの実施例を説明する図である。各マス目はブロックを示し、マス目の中の数値は輝度値を示す。図11(A)は、処理開始時の撮像画像データにおけるブロック輝度値を示す。図11(A)は、図10(A)と同じである。
【0078】
図11(B)は、図11(A)のブロック輝度値に対し、ブロック輝度値の最小値が制限輝度値を「200」を上回る場合に、ブロック輝度値を最小値に制限した状態を示す。ブロック輝度値の最小値「750」が制限輝度値「200」より大きいので、ブロック輝度値「750」、「800」を有するすべてのブロックでは、ブロック輝度値が最小値である「750」に制限される。その結果、ブロック輝度値の平均値は「750」になる。この平均値は、目標輝度値「185」より「565」大きい。よって、この差分に対応する露光量を減少させて撮像が行われる。ここにおいて、ブロック輝度値を最小値に制限したことで、図10(B)で示した通常の露光量制御処理の実施例より、露光量の減少幅が大きいことが示される。
【0079】
図11(C)は、露光量を減少させて撮像された撮像画像データにおけるブロック輝度値を示す。図11(A)との比較において、露光量が減少したことにより、ブロック輝度値が「350」、または「400」に減少している。このとき、ブロック輝度値全体の平均値は「393.8」であり、図11(A)のときの平均値「793.8」より減少している。
【0080】
図11(D)は、図11(C)のブロック輝度値を制限した状態を示す。ブロック輝度値の最小値「350」が制限輝度値「200」より大きいので、ブロック輝度値「350」、「400」を有するすべてのブロックでは、ブロック輝度値は最小値の「350」に制限される。その結果、ブロック輝度値の平均値は「350」になる。この平均値は、目標輝度値「185」より「165」大きいので、この差分に対応する露光量を減少させて撮像が行われる。ここにおいて、ブロック輝度値を最小値に制限したことで、図10(D)で示した通常の露光量制御処理の実施例より、露光量の減少幅が大きいことが示される。
【0081】
このように、変形例に基づく露光量制御処理では、高輝度シーンの場合、ブロック輝度値の最小値が制限輝度値より大きいときに、通常の露光量制御処理より大きい制御量で露光量を制御できる。よって、より迅速に、最適露光量に収束させることが可能になる。
【0082】
なお、以上の説明では、連続した数フレーム(たとえば3〜4フレーム)で被写体に対する露光量が最適露光量に収束する例が示された。しかし、露光量の収束に要するフレーム数は、それぞれの場合における例であって、種々のフレーム数が可能である。
【0083】
上述のとおり、本実施形態によれば、被写体の位置を検出してその輝度値を増加させたり、異なる露光量で撮像した複数の撮像画像データを合成したりといった複雑な処理を行うことなく、適切な輝度を有する撮像画像データを迅速に生成できる。よって、撮像制御装置を、簡易な構成で実現することができる。
【0084】
以上の実施の形態をまとめると、次の付記のとおりである。
【0085】
(付記1)
フレームの画素ごとの撮像画像データから当該フレーム内の分割された複数のブロックにおけるブロック輝度値をそれぞれ求める算出部と、
前記複数のブロック輝度値のうち、第1の制限輝度値より大きいブロック輝度値を前記第1の制限輝度値に制限する制限部と、
前記複数のブロック輝度値の代表輝度値が前記第1の制限輝度値より小さい目標輝度値になるように、撮像部の露光量を制御する制御部とを有する撮像制御装置。
【0086】
(付記2)
付記1において、
前記制限部は、前記複数のブロック輝度値の最小値が前記第1の制限輝度値より大きいときには、前記複数のブロック輝度値を前記第1の制限輝度値より大きい第2の制限輝度値に制限する撮像制御装置。
【0087】
(付記3)
付記2において、
前記第2の制限輝度値は、前記複数のブロック輝度値の最小値である撮像制御装置。
【0088】
(付記4)
付記1において、
前記制限部は、前記複数のブロック輝度値の最小値が前記第1の制限輝度値より大きいときには、前記複数のブロック輝度値を前記第1の制限輝度値に制限しない撮像制御装置。
【0089】
(付記5)
付記1乃至4のいずれかにおいて、
前記ブロック輝度値は各ブロックに含まれる画素の輝度値の積算値、または平均値である撮像制御装置。
【0090】
(付記6)
付記1乃至5のいずれかにおいて、
前記代表輝度値は、前記複数のブロック輝度値の平均値、または中央値である撮像制御装置。
【0091】
(付記7)
付記1乃至6のいずれかにおいて、
前記算出部が前記ブロック輝度値を求める処理、前記制限部が前記ブロック輝度値を制限する処理、及び、前記制御部が前記露光量を制御する処理が、前記フレームごとに繰り返される撮像制御装置。
【0092】
(付記8)
フレームごとに撮像画像データを出力する撮像部と、
フレームの画素ごとの撮像画像データから当該フレーム内の分割された複数のブロックにおけるブロック輝度値をそれぞれ求める算出部と、
前記複数のブロック輝度値のうち、第1の制限輝度値より大きいブロック輝度値を前記第1の制限輝度値に制限する制限部と、
前記複数のブロック輝度値の代表輝度値が前記第1の制限輝度値より小さい目標輝度値になるように、前記撮像部の露光量を制御する制御部とを有する撮像装置。
【0093】
(付記9)
フレームの画素ごとの撮像画像データから当該フレーム内の分割された複数のブロックにおけるブロック輝度値をそれぞれ求め、
前記複数のブロック輝度値のうち、第1の制限輝度値より大きいブロック輝度値を前記第1の制限輝度値に制限し、
前記複数のブロック輝度値の代表輝度値が前記第1の制限輝度値より小さい目標輝度値になるように、撮像部の露光量を制御する、
撮像装置の制御方法。
【符号の説明】
【0094】
2:撮像装置、4:撮像部、7:撮像制御装置、30:輝度値算出部、32:輝度値制限部、34:代表輝度値算出部、36露光量制御部、40:露光量制御信号、50:撮像画像データ
【技術分野】
【0001】
本発明は、撮像部の露光量を制御するための制御信号を出力する撮像制御装置等に関する。
【背景技術】
【0002】
被写体の背後にある光源に対向して被写体を撮像する逆光シーンの撮像画像では、被写体が背景に比べて低輝度になる。よって、たとえば、デジタルスチルカメラなどの撮像装置において、撮像画像をファインダ画像として表示する場合、被写体の細部の輪郭が判別できなくなる。そこで、たとえば、露光量を制御することで、被写体が適切な輝度を有する良好な撮像画像データを得る方法が提案されている。あるいは、良好な撮像画像データを画像処理により生成する方法が提案されている。
【0003】
画像処理により撮像画像データを生成する方法の一例では、1フレームの撮像画像データから被写体部分の輝度を補正した画像データと背景の輝度を補正した画像データとを生成して合成することで、被写体と背景とが適切な輝度を有する撮像画像データが生成される。また、他の例では、露光量が異なる複数の撮像画像を撮像し、被写体に対し最適な露光量(以下、最適露光量という)で撮像した撮像画像データと、背景に対し最適露光量で撮像した撮像画像データとを合成することで、被写体と背景とが適切な輝度を有する撮像画像データが生成される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平7−298131号公報
【特許文献2】特開2003−87646号公報
【特許文献3】特開2009−49712号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、撮像装置では、ファインダ画像表示などにおいて、迅速な処理が求められる。また、一方で、低コスト化の要求もある。よって、良好な撮像画像データを得るために負荷の大きい処理を伴う方法は好ましくない。
【0006】
そこで、本発明の目的は、簡易な構成で実現可能であり、適切な輝度を有する撮像画像データを迅速に生成することができる撮像制御装置等を提供することにある。
【課題を解決するための手段】
【0007】
上記の目的を達成するために、本発明の第1の側面における撮像制御装置は、フレームの画素ごとの撮像画像データから当該フレーム内の分割された複数のブロックにおけるブロック輝度値をそれぞれ求める算出部と、前記複数のブロック輝度値のうち、第1の制限輝度値より大きいブロック輝度値を前記第1の制限輝度値に制限する制限部と、前記複数のブロック輝度値の代表輝度値が前記第1の制限輝度値より小さい目標輝度値になるように、撮像部の露光量を制御する制御部とを有する。
【発明の効果】
【0008】
以下に開示される実施形態によれば、適切な輝度を有する撮像画像データを迅速に生成することができる撮像制御装置を、簡易な構成で実現できる。
【図面の簡単な説明】
【0009】
【図1】撮像装置の構成例について説明する図である。
【図2】露光量制御処理の詳細な手順例を示すフローチャート図である。
【図3】逆光シーンでの撮像画像データについて説明する図である。
【図4】逆光シーンでのブロック輝度値の分布状況を説明する図である。
【図5】高輝度シーンでの撮像画像データについて説明する図である。
【図6】高輝度シーンでのブロック輝度値の分布状況を説明する図である。
【図7】露光量制御処理の詳細な手順例を示すフローチャート図である。
【図8】ブロック輝度値の分布状況を説明する図である。
【図9】逆光シーンの場合の露光量制御処理を説明する図である。
【図10】高輝度シーンでの通常の露光量制御処理を説明する図である。
【図11】高輝度シーンでの変形例による露光量制御処理を説明する図である。
【発明を実施するための形態】
【0010】
以下、図面にしたがって本発明の実施の形態について説明する。但し、本発明の技術的範囲はこれらの実施の形態に限定されず、特許請求の範囲に記載された事項とその均等物まで及ぶものである。
【0011】
図1は、本実施形態における撮像装置の構成例について説明する図である。この撮像装置2は、被写体を撮像して撮像画像データを出力する撮像部4と、撮像画像データに基づいて撮像部4の露光量を制御する撮像制御装置7とを有する。撮像装置2は、たとえば、デジタルスチルカメラである。
【0012】
撮像部4は、撮像レンズ部3を介して入射される被写体からの光を画像センサ5により画素値信号に変換し、画素値信号から撮像画像データを生成して出力する。撮像レンズ部3は、たとえば複数の単焦点レンズを有し、これらの組合せに応じた焦点距離を有する。撮像レンズ部3は、焦点距離に応じた被写体象を画像センサ5の受光面に結象する。画像センサ5は、2次元状に配列された光電変換素子により受光した光をアナログの画素値信号に変換し、1フレーム分の画素値信号をラスタスキャン順に出力する。画像センサ5は、たとえばCCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサである。A/D変換器6は、画像センサ5から出力される画素値信号をデジタル信号化し、撮像画像データに変換する。撮像画像データは、たとえば画素ごとのRGB(Red、Green、Blue)階調データである。撮像画像データは、撮像制御装置7に入力される。
【0013】
撮像制御装置7は、たとえば、バス28を介して接続される画像処理部8、CPU(Central Processing Unit)10、輝度値検出部11、ROM(Read Only Memory)12、RAM(Random Access Memory)14を有するシステムLSIである。撮像制御装置7は、たとえば、さらにインターフェース部18、メディア制御部22、及び表示制御部24を有してもよい。インターフェース部18、メディア制御部22、及び表示制御部24には、操作部16、記憶メディア20、及び表示部26がそれぞれ接続される。
【0014】
撮像部4から入力される撮像画像データ50は、RAM14に格納される。画像処理部8は、RAM14に格納された撮像画像データ50に画像処理を行う。画像処理は、たとえば、RGBデータからYCbCr(輝度・色差)データへの変換処理、色や輝度の補正処理、ノイズ除去処理、輪郭強調処理、データ圧縮のためのフォーマット変換処理、または、1フレーム分の撮像画像データ50を縮小処理してファインダ表示用の画像データを生成する画像処理などである。輝度値検出部11は、撮像画像データ50の画素ごとの輝度値を検出する。輝度値は、たとえば、YCbCrデータにおけるY値である。
【0015】
CPU(Central Processing Unit)10は、撮像画像データ50全体の輝度値が目標輝度値になるような露光量の制御量を算出し、かかる制御量を示す露光量制御信号40を撮像部4に出力する。撮像画像データ50全体の輝度値は、たとえば1フレームの画素ごとの撮像画像データ50から、当該フレーム内の分割された複数のブロックにおけるブロック輝度値をそれぞれ求め、そのブロック輝度値の代表輝度値として求められる。この処理については、後に詳述する。
【0016】
目標輝度値は、たとえば、実験等により求められる任意の輝度値であって、最適露光量に対応する輝度値である。たとえば、輝度値のダイナミックレンジを、低輝度側から高輝度側に0〜100%とした場合、目標輝度値は20%付近に設定される。撮像画像データ50の全体の輝度値が目標輝度値より高い場合、撮像部4の露光量は目標輝度値に対応する最適露光量より大きい。その場合、CPU10は、最適露光量まで露光量を減少させるための露光量制御信号40を生成して、撮像部4に出力する。一方、撮像画像データ50全体の輝度値が最適輝度値より低い場合、撮像部4の露光量は最適露光量より少ない。その場合、CPU10は、露光量を最適露光量まで増加させるための露光量制御信号40を生成して、撮像部4に出力する。かかる露光量制御処理は、輝度値算出部30、輝度値制限部32、代表輝度値算出部34、露光量制御部36の各部により行われるが、これら各部の動作の詳細は後述する。
【0017】
輝度値算出部30、輝度値制限部32、代表輝度値算出部34、露光量制御部36の各部は、たとえば、それぞれの処理に対応する処理プログラムを実行するCPU10である。処理プログラムは、たとえばROM12に格納される。CPU10は、処理プログラムやデータをRAM14に格納して、各処理を行う。
【0018】
撮像部4は、nフレーム目(nは正の整数)の撮像画像データ50に基づく露光量制御信号40が入力されると、これに応答して、n+1フレーム目(あるいはn+2フレーム目以降のフレーム)の撮像時の露光量を調節する。撮像部4は、公知の方法により露光量を調節する。たとえば、撮像部4は、シャッタ速度を調整することで露光量を調節する。撮像部4のシャッタは、電子シャッタでもメカニカルシャッタでもよい。電子シャッタの場合、光電変換素子による電荷蓄積時間を制御することでシャッタ速度が制御される。また、メカニカルシャッタの場合、メカニカルに開閉されるシャッタの開閉速度が制御される。
【0019】
なお、操作部16は、ユーザによる操作入力を受け付け、操作入力に対応する制御信号を撮像制御装置7に入力する。操作部16は、たとえば、各種操作ボタンとその制御回路を有する。操作部16からの制御信号は、インターフェース部18を介してCPU10に転送される。CPU10は、これに応答して、ROM12に格納される制御プログラムに従って、撮像部4のほか、表示制御部24やメディア制御部22などの動作を制御する。これにより、たとえば、表示制御部24は、撮像画像データ50を表示部26にファインダ画像として表示する。表示部26は、たとえばLCD(Liquid Crystal Display)である。また、メディア制御部22は、記憶メディア20に撮像画像データ50を格納したり、既に格納された撮像画像データ50を記憶メディア20から読み出したりする。記憶メディア20は、たとえば、ハードディスクドライブ、または、メモリカードなどの着脱可能な可搬型記憶メディアである。
【0020】
次に、撮像制御装置7における露光量制御処理について説明する。まず、被写体の背後にある光源に対向して被写体を撮像する、逆光シーンの場合の露光量制御処理について説明する。次いで、逆光状態になるような被写体を有さない、高輝度シーンの場合の露光量制御処理について説明する。高輝度シーンは、たとえば、晴天時の空や海、雪原といった、極めて明るい屋外の風景が撮像される場合である。
【0021】
[逆光シーンの場合の露光量制御処理]
図2は、露光量制御処理の詳細な手順例を示すフローチャート図である。図2(A)に示す手順S2〜S8は、たとえば、輝度値検出部11が1フレーム分の画素の輝度値検出を終えたときに、1フレームごとにCPU10により実行される。また、手順S4のサブルーチンに対応する手順が、図2(B)に示される。
【0022】
まず、図2(A)の手順S2で、輝度値算出部30は、1フレームの撮像画像データ50を複数のブロックに分割し、各ブロックのブロック輝度値を算出する。図3(A)には、逆光シーンでの模式的な撮像画像データ50が示される。撮像画像データ50は、行列状に配列された複数の画素データからなる。この撮像画像データ50は、たとえば、光源53を含む背景52と、光源53からの光を受けて逆光状態の被写体54とを有する。背景52が相対的に高輝度を有し、被写体54が相対的に低輝度を有する。このような1フレーム分の撮像画像データ52が、図3(B)に示すように、行列状の複数のブロックBLKに分割される。すなわち、撮像画像データ50の画素データが行方向と列方向にそれぞれ等分割される。
【0023】
たとえば、輝度値算出部30は、ブロックBLK内の画素ごとの輝度値を積算する。この積算値がブロック輝度値である。あるいは、輝度値算出部30は、ブロックBLK内の画素ごとの輝度値の平均値を算出し、その平均値をブロック輝度値としてもよい。たとえば、画素ごとの輝度値が10ビット分解能で0〜1023の階調範囲で示される場合において、ブロック輝度値として積算値が用いられる場合には、ブロック輝度値のとりうる値は、0〜1023×ブロックBLK内の画素数の範囲となる。あるいは、ブロック輝度値として平均値が用いられる場合には、ブロック輝度値のとりうる値は、0〜1023の範囲となる。
【0024】
次に、図2(A)の手順S4で、輝度値制限部32が、ブロック輝度値を所定の制限輝度値に制限する。具体的には、図2(B)に示す手順が、ブロックBLKごとのブロック輝度値について実行される。たとえば、輝度値制限部32は、ブロック輝度値が制限輝度値より大きいときには(手順S41のYES)、ブロック輝度値を制限輝度値に制限し(S44)、ブロック輝度値が制限輝度値以下のときには(手順S41のNO)、図2(B)の手順を終了する。
【0025】
このときの撮像画像データ50のブロック輝度値の分布状況が、図4に例示される。図4(A)〜(F)には、横軸をブロック輝度値、縦軸を度数(頻度)として、撮像画像データ50のブロック輝度値の分布状況が模式的に示される。
【0026】
図4(A)には、1フレーム目の撮像画像データ50の例が示される。逆光シーンの撮像画像データ50では、背景52に対応する高輝度のブロック輝度値分布H1と、被写体54に対応する低輝度のブロック輝度値分布H2が形成される。制限輝度値LIMは、目標輝度値TGTよりある程度大きい値に設定される。たとえば、画素ごとの輝度値が、10ビット分解能で0〜1023の階調範囲で示される場合、最適露光量に対応する目標輝度値TGTは、0〜1023の階調範囲における180付近、より具体的には「184」である。そして、制限輝度値LIMは、たとえば、目標輝度値TGTより数パーセント〜十数パーセント大きい値である、「200」などに設定される。
【0027】
ここでは、制限輝度値LIMより大きいブロック輝度値分布H1が制限輝度値LIMに制限される。すると、ブロック輝度値の分布は図4(B)のようになる。図4(B)では、高輝度のブロック輝度値分布H1の度数が制限輝度値LIMの度数として積算され、制限輝度値LIMのブロック輝度値分布H10が形成される。
【0028】
次に、図2(A)の手順S6で、代表輝度値算出部34が、1フレーム分のブロック輝度値の代表輝度値を算出する。代表輝度値は、たとえば、1フレーム分のブロック輝度値の平均値である。あるいは、中央値であってもよい。以下では、ブロック輝度値の平均値を代表輝度値として説明する。図4(B)の例では、高輝度のブロック輝度値分布H1を制限輝度値LIMに制限したことにより、ブロック輝度値分布H10とブロック輝度値分布H2の平均値AVEが算出される。
【0029】
次に、手順S8で、露光量制御部36が、ブロック輝度値の平均値AVEが目標輝度値TGTになるような露光量の制御量を示す露光量制御信号40を生成して、撮像部4に出力する。図4(B)の例では、平均値AVEは目標輝度値TGTより差分ΔD小さい。よって、差分ΔDに対応する露光量を増加させるような露光量制御信号40が生成される。平均値AVEの必要な増加量(または減少量)に対応する露光量の制御量は、実験等により求められる演算式やマップデータに基づき、露光量制御部36により求められる。かかる演算式やマップデータは、たとえば、処理プログラムの一部として、ROM12に予め格納される。かかる露光量制御信号40に基づく撮像が行われると、2フレーム目では1フレーム目より全体的に高輝度の撮像画像が撮像される。
【0030】
2フレーム目の撮像画像データ50のブロック輝度値の分布状況は、図4(C)に示すようになる。ブロック輝度値分布H1´、H2´は、それぞれ1フレーム目のブロック輝度値分布H1、H2が、露光量の増加分に応じて高輝度側にシフトしたものである。なお、ここでは、高輝度のブロック輝度値分布H1´の一部が飽和した状態が示される。
【0031】
2フレーム目でも、1フレーム目と同様にして、図2(A)の手順S2〜S8が実行される。2フレーム目では、手順S4で、輝度値制限部32が、制限輝度値LIMより大きいブロック輝度値H1´を制限輝度値LIMに制限する。このときの状態が、図4(D)に示される。ブロック輝度値分布H1´の度数が制限輝度値LIMの度数に積算されることで、制限輝度値LIMのブロック輝度値分布H10´が形成される。そして、手順S6で、代表輝度値算出部34が、ブロック輝度値の平均値AVE´を算出する。ここで、平均値AVE´は、ブロック輝度値分布H2´とブロック輝度値分布H10´の平均値である。
【0032】
そして、露光量制御部36は、平均値AVE´が目標輝度値TGTになるような、つまり平均値AVE´と目標輝度値TGTとの差分ΔD´に対応する露光量を増加させるような露光量制御信号40を生成して、撮像部4に出力する。なお、2フレーム目では、ブロック輝度値分布H2´が1フレーム目のブロック輝度値分布H2より高輝度側にシフトしている。よって、平均値AVE´は1フレーム目の平均値AVEより大きくなる。よって、差分ΔD´は、1フレーム目の差分ΔDより縮小している。よってその分、露光量の増加量は小さくなる。露光量制御信号40に基づく撮像が行われると、3フレーム目では2フレーム目より全体的に幾分高輝度の撮像画像が撮像される。
【0033】
3フレーム目の撮像画像データ50のブロック輝度値の分布状況は、図4(E)に示すようになる。ブロック輝度値分布H1´´、H2´´は、それぞれ2フレーム目のブロック輝度値分布H1´、H2´が、露光量の増加分に応じて高輝度側にシフトしたものである。なお、ここでは、高輝度のブロック輝度値分布H1´´全体が飽和した状態が示される。
【0034】
3フレーム目でも、1フレーム目、2フレーム目と同様にして、図2(A)の手順S2〜S8が実行される。3フレーム目では、手順S4で、輝度値制限部32が、制限輝度値LIMより大きいブロック輝度値H1´´を制限輝度値LIMに制限する。このときの状態が、図4(F)に示される。ブロック輝度値分布H1´´の度数が制限輝度値LIMの度数に積算されることで、制限輝度値LIMのブロック輝度値分布H10´´が形成される。そして、手順S6で、代表輝度値算出部34が、ブロック輝度値の平均値AVE´´を算出する。ここで、平均値AVE´´は、ブロック輝度値分布H2´´とブロック輝度値分布H10´´の平均値である。
【0035】
そして、露光量制御部36は、平均値AVE´´が目標輝度値TGTになるような、つまり平均値AVE´´と目標輝度値TGTとの差分ΔD´´に対応する露光量を増加させるような露光量制御信号40を生成して撮像部4に出力する。なお、3フレーム目では、ブロック輝度値分布H2´´が2フレーム目のブロック輝度値分布H2´より高輝度側にシフトしている。よって、平均値AVE´´は2フレーム目の平均値AVE´より大きくなる。よって、差分ΔD´´は、2フレーム目の差分ΔD´より縮小している。よって、露光量の増加量は、小さくなる。そして、かかる露光量制御信号40に基づいて次フレームの撮像が行われると、露光量制御信号40に応じてさらに幾分高輝度の撮像画像が撮像される。
【0036】
上記のような露光量制御処理をフレームごとに実行することで、ブロック輝度値の平均値と目標輝度値TGTとの差分が徐々に縮小する。そして、これに応じて露光量の制御量が徐々に縮小する。そして、最終的に、被写体に対する露光量が最適露光量に収束する。よって、逆光シーンの場合であっても、被写体54が目標輝度値TGTを有するような撮像画像データ50が生成される。
【0037】
[高輝度シーンの場合の露光量制御処理]
次いで、高輝度シーンの場合の露光量制御処理について説明する。ここでは、図2(A)のフローチャートに従い、図5、図6が適宜参照される。
【0038】
まず、図2(A)の手順S2で、輝度値算出部30は、1フレームの撮像画像データを複数のブロックに分割し、ブロックごとに輝度値を積算して各ブロックのブロック輝度値を算出する。図5(A)には、高輝度シーンでの模式的な撮像画像データ50が示される。この撮像画像データ50は、光源53を含む背景52を有する。その反面、撮像画像データ50は、光源53からの光を受けて逆光状態になるような被写体を有さない。よって、背景52が全体的に高輝度を有する。この場合、高輝度は、たとえば、輝度値のダイナミックレンジ内で目標輝度値より大きい範囲をいう。また、このような1フレーム分の撮像画像データ50が行列状の複数のブロックBLKに分割された状態が、図5(B)に例示される。
【0039】
次に、図2(A)の手順S4で、輝度値制限部32が、制限輝度値LIMより大きいブロック輝度値を制限輝度値LIMに制限する。このときの撮像画像データ50のブロック輝度値の分布状況が、図6に例示される。
【0040】
図6(A)〜(H)には、横軸をブロック輝度値、縦軸を度数(頻度)として、撮像画像データ50のブロック輝度値の分布状況が模式的に示される。図6(A)には、1フレーム目の撮像画像データ50の例が示される。高輝度シーンの撮像画像データ50では、背景52に対応する高輝度のブロック輝度値分布H1が形成される。そして、制限輝度値LIMより大きいブロック輝度値H1が制限輝度値LIMに制限される。すると、ブロック輝度値の分布は図6(B)のようになる。図6(B)では、高輝度のブロック輝度値分布H1の度数が制限輝度値LIMの度数として積算される。よって、制限輝度値LIMのブロック輝度値分布H10が形成される。
【0041】
次に、図2(A)の手順S6で、代表輝度値算出部34が、1フレーム分のブロック輝度値の平均値を算出する。図6(B)の例では、高輝度のブロック輝度値分布H1を制限輝度値LIMに制限したことにより、制限輝度値LIMと一致する平均値AVE2が算出される。
【0042】
次に、図2(A)の手順S8で、露光量制御部36が、ブロック輝度値の平均値AVE2が目標輝度値TGTになるような露光量の制御量を示す露光量制御信号40を生成して、撮像部4に出力する。図6(B)の例では、平均値AVE2は目標輝度値TGTより差分ΔD1大きい。よって、差分ΔD1に対応する露光量を減少させるような露光量制御信号40が生成される。かかる露光量制御信号40に基づく撮像が行われると、2フレーム目では1フレーム目より全体的に幾分低輝度の撮像画像が撮像される。
【0043】
2フレーム目の撮像画像データ50のブロック輝度値の分布状況は、図6(C)に示すようになる。ブロック輝度値分布H1´は、1フレーム目のブロック輝度値分布H1が、露光量の減少分に応じて低輝度側にシフトしたものである。
【0044】
2フレーム目でも、1フレーム目と同様にして、図2(A)の手順S2〜S8が実行される。2フレーム目では、手順S4で、輝度値制限部32が、制限輝度値LIMより大きいブロック輝度値H1´を制限輝度値LIMに制限する。このときの状態が、図6(D)に示される。ブロック輝度値分布H1´の度数が制限輝度値LIMの度数に積算されることで、制限輝度値LIMのブロック輝度値分布H10´が形成される。そして、手順S6で、代表輝度値算出部34が、ブロック輝度値の平均値AVE2´を算出する。ブロック輝度値H1´を制限輝度値LIMに制限したことにより、制限輝度値LIMと一致する平均値AVE2´が算出される。
【0045】
そして、露光量制御部36は、平均値AVE2´が目標輝度値TGTになるような、つまり露光量を減少させるような露光量制御信号40を生成して撮像部4に出力する。なお、2フレーム目では、ブロック輝度値分布H1´が1フレーム目のブロック輝度値分布H1より低輝度側にシフトしているものの依然として制限輝度値LIMより大きいので、1フレーム目同様に制限輝度値LIMに制限される。よって、平均値AVE2´は1フレーム目の平均値AVE2と同じ値、つまり制限輝度値LIMになる。よって、平均値AVE2´と目標輝度値TGTとの差分ΔD1´は、1フレーム目の差分ΔD1と等しい。よって、差分ΔD1´に対応する露光量の減少分も、差分ΔD1に対応する露光量の減少分と等しい。そして、かかる露光量制御信号40に基づく撮像が行われると、3フレーム目では2フレーム目より全体的に幾分低輝度の撮像画像が撮像される。
【0046】
3フレーム目の撮像画像データ50のブロック輝度値の分布状況は、図6(E)に示すようになる。ブロック輝度値分布H1´´は、2フレーム目のブロック輝度値分布H1´が、露光量の減少分に応じて低輝度側にシフトしたものである。
【0047】
3フレーム目でも、1フレーム目、2フレーム目と同様にして、図2(A)の手順S2〜S8が実行される。3フレーム目では、手順S4で、輝度値制限部32が、ブロック輝度値H1´´のうち制限輝度値LIMより大きい部分を制限輝度値LIMに制限する。このときの状態が、図6(F)に示される。ブロック輝度値分布H1´´のうち制限輝度値LIMより大きい部分の度数が制限輝度値LIMの度数に積算されることで、制限輝度値LIMのブロック輝度値分布H10´´が形成される。そして、手順S6で、代表輝度値算出部34が、ブロック輝度値の平均値AVE2´´を算出する。平均値AVE2´´は、ブロック輝度値分布H1´´のうち制限輝度値LIMより小さい部分とブロック輝度値分布H10´´の平均値である。
【0048】
そして、露光量制御部36は、平均値AVE2´´が目標輝度値TGTになるような、つまり露光量を増加させるような露光量制御信号40を生成して、撮像部4に出力する。3フレーム目では、ブロック輝度値分布H1´´のうち制限輝度値LIMより小さい部分が形成されるので、平均値AVE2´´は2フレーム目の平均値AVE2´より小さくなる。よって、平均値AVE2´´と目標輝度値TGTとの差分ΔD1´´は、2フレーム目の差分ΔD1´より縮小している。よって、露光量の減少分は、小さくなる。そして、かかる露光量制御信号40に基づく撮像が行われると、4フレーム目では3フレーム目より全体的にさらに幾分低輝度の撮像画像が撮像される。
【0049】
4フレーム目の撮像画像データ50のブロック輝度値の分布状況は、図6(G)に示すようになる。ブロック輝度値分布H1´´´は、3フレーム目のブロック輝度値分布H1´´が、露光量の減少分に応じて低輝度側にシフトしたものである。
【0050】
4フレーム目でも、1〜3フレーム目と同様にして、図2(A)の手順S2〜S8が実行される。4フレーム目では、手順S4で、輝度値制限部32が、ブロック輝度値H1´´´のうち制限輝度値LIMより大きい部分を制限輝度値LIMに制限する。このときの状態が、図6(H)に示される。ブロック輝度値分布H1´´´のうち制限輝度値LIMより大きい部分の度数が制限輝度値LIMの度数に積算されることで、制限輝度値LIMのブロック輝度値分布H10´´´が形成される。そして、手順S6で、代表輝度値算出部34が、ブロック輝度値の平均値AVE2´´´を算出する。平均値AVE2´´´は、ブロック輝度値分布H1´´´のうち制限輝度値LIMより小さい部分とブロック輝度値分布H10´´´の平均値である。そして、露光量制御部36は、平均値AVE2´´´が目標輝度値TGTになるような、つまり露光量を減少させるような露光量制御信号40を生成して撮像部4に出力する。4フレーム目では、ブロック輝度値分布H1´´´のうち制限輝度値LIMより小さい部分が形成され、かつその部分が3フレーム目より大きい。よって、平均値AVE2´´´は2フレーム目の平均値AVE2´´より小さくなる。よって、平均値AVE2´´´と目標輝度値TGTとの差分ΔD1´´´は、2フレーム目の差分ΔD1´´より縮小している。よって、露光量の減少分は、その分小さくなる。そして、かかる露光量制御信号40に基づく撮像が行われると、次フレームでは全体的にさらに幾分低輝度の撮像画像が撮像される。
【0051】
上記のような露光量制御処理をフレームごとに実行することで、ブロック輝度値の平均値と目標輝度値TGTとの差分が徐々に縮小し、これに応じて露光量の制御量が徐々に縮小する。そして、最終的に、背景に対する露光量が最適露光量に収束する。よって、高輝度シーンの場合であっても、背景52が目標輝度値TGTを有するような撮像画像データ50が生成される。
【0052】
上述したように、本実施形態によれば、逆光シーンの場合に被写体に対し最適露光量で撮像を行うことができ、それにより良好な撮像画像が得られるだけでなく、高輝度シーンの場合には背景に対し最適露光量で撮像を行うことができ、良好な撮像画像を得ることができる。
【0053】
[変形例]
次に、本実施形態の変形例について説明する。以下、便宜上、上述した露光量制御処理を通常の露光量制御処理と称し、変形例と区別する。変形例では、輝度値制限部32は、ブロック輝度値の最小値が第1の制限輝度値である制限輝度値LIMより大きいときには、ブロック輝度値を制限輝度値LIMではなく、制限輝度値LIMより大きい第2の制限輝度値に制限する。かかる第2の制限輝度値は、たとえば、制限輝度値LIMより大きく、かつブロック輝度値の最小値以下の任意の値である。以下の説明では、ブロック輝度値の最小値を第2の制限輝度値として説明する。変形例は、たとえば、高輝度シーンにおいて、ブロック輝度値の最小値が制限輝度値LIMより大きい場合に実行される。
【0054】
図7は、変形例における露光量制御処理の詳細な手順例を示すフローチャート図である。図7(A)の手順例は、図2(A)の手順例において、手順S2の後に手順S3が挿入され、手順S4が手順S4aに置換されたものである。また、図7(B)には、手順S4aのサブルーチンに対応する手順が示される。図7(B)の手順は、図2(B)の手順に手順S42、S43が追加されたものである。
【0055】
図7(A)に示す手順S2〜S8は、図2(A)の手順と同様、たとえば、輝度値検出部11が1フレーム分の輝度値検出を終えたときに、1フレームごとにCPU10により実行される。まず、手順S2で、輝度値算出部30は、1フレームの撮像画像データを複数のブロックに分割し、ブロックごとに輝度値を積算して各ブロックのブロック輝度値を算出する。次に、手順S3で、輝度値制限部32は、1フレーム分のブロック輝度値のうち最小値を抽出する。
【0056】
ここで、図5で示した高輝度シーンの撮像画像データ50におけるブロック輝度値の分布状況が、図8に例示される。図8(A)〜(D)には、横軸をブロック輝度値、縦軸を度数(頻度)として、撮像画像データ50のブロック輝度値の分布例が模式的に示される。図8(A)には、1フレーム目の撮像画像データ50の例が示される。高輝度シーンの撮像画像データ50では、背景52に対応する高輝度のブロック輝度値分布H1が形成される。そして、ブロック輝度値分布H1の最小値MINが抽出される。ここで最小値MINは、制限輝度値LIMより大きい。
【0057】
図7(A)の手順S4aで、輝度値制限部32は、ブロック輝度値を制限する。このとき、図7(B)の手順がブロック輝度値ごとに実行される。ブロック輝度値が制限輝度値LIMより大きい場合に(手順S41のYES)、輝度値制限部30は、手順S42に進む。そして、ブロック輝度値の最小値MINが制限輝度値LIM以下のときには(手順S42のNO)、輝度値制限部32は、ブロック輝度値を制限輝度値LIMに制限する(手順S44)。つまり、通常の露光量制御処理が実行される。一方、ブロック輝度値の最小値MINが制限輝度値LIMより大きいときには(手順S42のYES)、ブロック輝度値を第2の制限輝度値、たとえば最小値MINに制限する(手順S43)。このときの状態が、図8(B)に示される。図8(B)では、ブロック輝度値分布H1の度数が最小値MINの度数に積算されてブロック輝度値分布H11が形成される。
【0058】
次に、図7(A)の手順S6で、代表輝度値算出部34が、1フレーム分のブロック輝度値の平均値を算出する。図8(B)の例では、高輝度のブロック輝度値分布H1を最小値MINに制限したことにより、最小値MINと一致する平均値AVE3が算出される。
【0059】
次に、手順S8で、露光量制御部36が、ブロック輝度値の平均値AVE3が目標輝度値TGTになるような露光量の制御量を示す露光量制御信号40を生成して、撮像部4に出力する。図8(B)の例では、平均値AVE3は目標輝度値TGTより差分ΔD2大きいので、差分ΔD2に対応する露光量を減少させるような露光量制御信号40が生成される。ここで、図6(B)で示したようにブロック輝度分布H1を制限輝度値LIMに制限する場合と比較すると、平均値AVEと目標輝度値TGTとの差分ΔD1より、平均値AVE3と目標輝度値TGTとの差分ΔD2の方が大きい。よって、通常の露光量制御処理における露光量の制御量より、変形例における露光量の制御量の方が大きい。かかる露光量制御信号40に基づく撮像が行われると、2フレーム目では1フレーム目より全体的に大幅に低輝度の撮像画像が撮像される。
【0060】
2フレーム目の撮像画像データ50のブロック輝度値の分布状況は、図8(C)に示すようになる。ブロック輝度値分布H1´は、1フレーム目のブロック輝度値分布H1が、露光量の減少分に応じて低輝度側にシフトしたものである。これにより、ブロック輝度値分布H1´の最小値MIN´は、制限輝度値LIMより小さくなる。よって、2フレーム目で図7(A)の手順S2〜S8が実行されるとき、図7(B)の手順S42の判断結果が「NO」になる。よって、以降の処理では、図2、図6で示した、高輝度シーンでの通常の露光量制御処理と同等の処理が実行される。
【0061】
本変形例によれば、高輝度シーンの露光量制御処理において、ブロック輝度値の最小値が制限輝度値LIMより大きいときに、ブロック輝度値を制限輝度値LIMより大きい第2の制限輝度値、つまり最小値MINに制限することで、通常の露光量制御処理より大きい制御量で露光量を減少することができる。よって、通常の露光量制御処理より迅速に、背景に対する露光量を最適露光量に収束させることが可能になる。
【0062】
なお、さらなる変形例では、輝度値制限部36は、ブロック輝度値の最小値MINが制限輝度値LIMより大きいときには、単にブロック輝度値を制限輝度値LIMに制限しないようにしてもよい。たとえば、図7(B)の手順S43を省略することも可能である。その場合、代表輝度値算出部34は、図8(D)に示すように、ブロック輝度値分布H1の平均値AVE4を代表輝度値として算出する。このとき、目標輝度値TGTと平均値AVE4の差分ΔD3は、ブロック輝度値を最小値MINに制限する場合の差分ΔD2より大きい。よって、露光量制御部36は、ブロック輝度値を最小値MINに制限する場合よりさらに大きい制御量で露光量を減少させるような露光量制御信号40を生成する。そうすることで、上記変形例の露光量制御処理よりさらに迅速に、背景に対する露光量を最適露光量に収束させることが可能になる。
【実施例】
【0063】
次に、具体的なブロック輝度値を用いて本実施形態の実施例を示す。
【0064】
[逆光シーンでの実施例]
図9は、逆光シーンの場合の実施例を説明する図である。図9(A)は、処理開始時の撮像画像データを示す。図9(A)に示すように、撮像画像データ50では、背景52が相対的に高輝度であるのに対し、被写体54が相対的に低輝度である。なお、以降、図9では、被写体54の輝度の低さをハッチングの濃さにより表現する。
【0065】
図9(B)は、図9(A)の撮像画像データ50におけるブロック輝度値を示す。各マス目はブロックを示し、マス目の中の数値はブロック輝度値を示す。以下の実施例の説明では、便宜上、1フレームにつき16個のブロックを例とする。また、ブロック輝度値が0〜1023階調で示される。そして、目標輝度値を「185」とする。そして、重線で囲まれたブロックが被写体54に対応し、その他のブロックが背景52に対応する。背景52に対応するブロックでは、ブロック輝度値が「150」、または「500」といった高い値であるのに対し、被写体54に対応するブロックでは、ブロック輝度値が「10」といった低い値である。また、このとき、ブロック輝度値全体の平均値は目標輝度値と一致する「185」である。このことは、撮像画像全体として背景52に適した露光量が設定されて撮像が行われたことを示す。
【0066】
図9(C)は、図9(B)のブロック輝度値に対し、制限輝度値を「200」として、ブロック輝度値を制限した状態を示す。背景52に対応するブロックのうち、ブロック輝度値「500」を有するブロックでは、ブロック輝度値「500」が制限輝度値「200」より大きいので、ブロック輝度値「200」に制限される。その結果、ブロック輝度値の平均値は「110」になる。この平均値は、目標輝度値「185」より「75」小さい。よって、この差分に対応する露光量を増加させて撮像が行われる。
【0067】
図9(D)は、露光量が増加されたときに撮像された撮像画像データ50を示す。図9(D)に示すように、撮像画像データ50では、図9(A)の撮像画像データ50より被写体54のハッチングが薄くなっており、被写体54が幾分高輝度になったことが示される。
【0068】
図9(E)は、図9(D)の撮像画像データ50におけるブロック輝度値を示す。図9(B)との比較において、露光量が増加したことにより、背景52に対応するブロックでは、ブロック輝度値が「300」、または「1000」に増加している。一方、被写体54に対応するブロックでは、ブロック輝度値が「20」に増加している。また、このとき、ブロック輝度値全体の平均値は「370」であり、図9(B)のときの平均値「185」より増加している。
【0069】
図9(F)は、図9(E)のブロック輝度値を制限した状態を示す。背景52に対応する、ブロック輝度値「1000」を有するブロックとブロック輝度値「300」を有するブロックでは、ブロック輝度値が制限輝度値「200」より大きいので、ブロック輝度値「200」に制限される。その結果、ブロック輝度値の平均値は「132.5」になる。この平均値は、目標輝度値「185」よりまだ「52.5」小さいものの、図9(C)のときの平均値「110」より増加しており、目標輝度値「185」に収束しつつあることが示される。次のフレームでは、差分「52.5」に対応する露光量を増加させて撮像が行われる。
【0070】
図9(G)は、被写体54に対する露光量が最適露光量に収束するときに撮像された撮像画像データ50を示す。図9(G)に示すように、撮像画像データ50では、図9(D)の撮像画像データ50より被写体54のハッチングがさらに薄くなっており、被写体54がさらに幾分高輝度になったことが示される。
【0071】
図9(H)は、図9(G)の撮像画像データ50におけるブロック輝度値を示す。図9(E)との比較において、露光量が増加したことにより、背景52に対応するブロックでは、ブロック輝度値が「1023」(飽和状態)まで増加しており、被写体54に対応するブロックでは、ブロック輝度値が「160」に増加している。また、このとき、ブロック輝度値全体の平均値は「699.4」であり、図9(E)のときの平均値「370」よりさらに増加したことが示される。
【0072】
図9(I)は、図9(H)のブロック輝度値を制限した状態を示す。ブロック輝度値「1023」を有する背景52に対応するブロックでは、ブロック輝度値「1023」が制限輝度値「200」より大きいので、ブロック輝度値「200」に制限される。その結果、ブロック輝度値の平均値は「185」になり、目標輝度値に一致する。このような露光量制御処理を繰り返すことで、被写体54に対する露光量が最適露光量に収束する。
【0073】
[通常の露光量制御処理に基づく高輝度シーンでの実施例]
図10は、通常の露光量制御処理による、高輝度シーンでの実施例を説明する図である。各マス目はブロックを示し、マス目の中の数値はブロック輝度値を示す。図10では、16個のブロックを例に、ブロック輝度値が0〜1023階調で示される。図10(A)は、処理開始時の撮像画像データにおけるブロック輝度値を示す。高輝度シーンでは、全体的に、ブロック輝度値が「750」、または「800」といった高い値を示す。このとき、ブロック輝度値全体の平均値は「793.8」である。
【0074】
図10(B)は、図10(A)のブロック輝度値に対し、制限輝度値を「200」として、ブロック輝度値を制限した状態を示す。ブロック輝度値「750」、「800」を有するすべてのブロックでは、ブロック輝度値が制限輝度値「200」より大きいので、ブロック輝度値「200」に制限される。その結果、ブロック輝度値の平均値は「200」になる。この平均値は、目標輝度値「185」より「15」大きい。よって、この差分に対応する露光量を減少させて撮像が行われる。
【0075】
図10(C)は、露光量を減少させて撮像された撮像画像データにおけるブロック輝度値を示す。図10(A)との比較において、露光量が減少したことにより、ブロック輝度値が「650」、または「700」に減少している。このとき、ブロック輝度値全体の平均値は「693.8」であり、図10(A)のときの平均値「793.8」より減少している。
【0076】
図10(D)は、図10(C)のブロック輝度値を制限した状態を示す。ブロック輝度値「650」、「700」を有するすべてのブロックでは、ブロック輝度値が制限輝度値「200」より大きいので、ブロック輝度値「200」に制限される。その結果、ブロック輝度値の平均値は「200」になる。この平均値は、目標輝度値「185」より「15」大きいので、この差分に対応する露光量を減少させて撮像が行われる。この平均値は、図10(B)のときの平均値「200」と同じである。よって、次のフレームでは、差分「15」に対応する露光量を減少させて撮像が行われる。
【0077】
[変形例に基づく高輝度シーンでの実施例]
図11は、変形例の露光量制御処理による、高輝度シーンでの実施例を説明する図である。各マス目はブロックを示し、マス目の中の数値は輝度値を示す。図11(A)は、処理開始時の撮像画像データにおけるブロック輝度値を示す。図11(A)は、図10(A)と同じである。
【0078】
図11(B)は、図11(A)のブロック輝度値に対し、ブロック輝度値の最小値が制限輝度値を「200」を上回る場合に、ブロック輝度値を最小値に制限した状態を示す。ブロック輝度値の最小値「750」が制限輝度値「200」より大きいので、ブロック輝度値「750」、「800」を有するすべてのブロックでは、ブロック輝度値が最小値である「750」に制限される。その結果、ブロック輝度値の平均値は「750」になる。この平均値は、目標輝度値「185」より「565」大きい。よって、この差分に対応する露光量を減少させて撮像が行われる。ここにおいて、ブロック輝度値を最小値に制限したことで、図10(B)で示した通常の露光量制御処理の実施例より、露光量の減少幅が大きいことが示される。
【0079】
図11(C)は、露光量を減少させて撮像された撮像画像データにおけるブロック輝度値を示す。図11(A)との比較において、露光量が減少したことにより、ブロック輝度値が「350」、または「400」に減少している。このとき、ブロック輝度値全体の平均値は「393.8」であり、図11(A)のときの平均値「793.8」より減少している。
【0080】
図11(D)は、図11(C)のブロック輝度値を制限した状態を示す。ブロック輝度値の最小値「350」が制限輝度値「200」より大きいので、ブロック輝度値「350」、「400」を有するすべてのブロックでは、ブロック輝度値は最小値の「350」に制限される。その結果、ブロック輝度値の平均値は「350」になる。この平均値は、目標輝度値「185」より「165」大きいので、この差分に対応する露光量を減少させて撮像が行われる。ここにおいて、ブロック輝度値を最小値に制限したことで、図10(D)で示した通常の露光量制御処理の実施例より、露光量の減少幅が大きいことが示される。
【0081】
このように、変形例に基づく露光量制御処理では、高輝度シーンの場合、ブロック輝度値の最小値が制限輝度値より大きいときに、通常の露光量制御処理より大きい制御量で露光量を制御できる。よって、より迅速に、最適露光量に収束させることが可能になる。
【0082】
なお、以上の説明では、連続した数フレーム(たとえば3〜4フレーム)で被写体に対する露光量が最適露光量に収束する例が示された。しかし、露光量の収束に要するフレーム数は、それぞれの場合における例であって、種々のフレーム数が可能である。
【0083】
上述のとおり、本実施形態によれば、被写体の位置を検出してその輝度値を増加させたり、異なる露光量で撮像した複数の撮像画像データを合成したりといった複雑な処理を行うことなく、適切な輝度を有する撮像画像データを迅速に生成できる。よって、撮像制御装置を、簡易な構成で実現することができる。
【0084】
以上の実施の形態をまとめると、次の付記のとおりである。
【0085】
(付記1)
フレームの画素ごとの撮像画像データから当該フレーム内の分割された複数のブロックにおけるブロック輝度値をそれぞれ求める算出部と、
前記複数のブロック輝度値のうち、第1の制限輝度値より大きいブロック輝度値を前記第1の制限輝度値に制限する制限部と、
前記複数のブロック輝度値の代表輝度値が前記第1の制限輝度値より小さい目標輝度値になるように、撮像部の露光量を制御する制御部とを有する撮像制御装置。
【0086】
(付記2)
付記1において、
前記制限部は、前記複数のブロック輝度値の最小値が前記第1の制限輝度値より大きいときには、前記複数のブロック輝度値を前記第1の制限輝度値より大きい第2の制限輝度値に制限する撮像制御装置。
【0087】
(付記3)
付記2において、
前記第2の制限輝度値は、前記複数のブロック輝度値の最小値である撮像制御装置。
【0088】
(付記4)
付記1において、
前記制限部は、前記複数のブロック輝度値の最小値が前記第1の制限輝度値より大きいときには、前記複数のブロック輝度値を前記第1の制限輝度値に制限しない撮像制御装置。
【0089】
(付記5)
付記1乃至4のいずれかにおいて、
前記ブロック輝度値は各ブロックに含まれる画素の輝度値の積算値、または平均値である撮像制御装置。
【0090】
(付記6)
付記1乃至5のいずれかにおいて、
前記代表輝度値は、前記複数のブロック輝度値の平均値、または中央値である撮像制御装置。
【0091】
(付記7)
付記1乃至6のいずれかにおいて、
前記算出部が前記ブロック輝度値を求める処理、前記制限部が前記ブロック輝度値を制限する処理、及び、前記制御部が前記露光量を制御する処理が、前記フレームごとに繰り返される撮像制御装置。
【0092】
(付記8)
フレームごとに撮像画像データを出力する撮像部と、
フレームの画素ごとの撮像画像データから当該フレーム内の分割された複数のブロックにおけるブロック輝度値をそれぞれ求める算出部と、
前記複数のブロック輝度値のうち、第1の制限輝度値より大きいブロック輝度値を前記第1の制限輝度値に制限する制限部と、
前記複数のブロック輝度値の代表輝度値が前記第1の制限輝度値より小さい目標輝度値になるように、前記撮像部の露光量を制御する制御部とを有する撮像装置。
【0093】
(付記9)
フレームの画素ごとの撮像画像データから当該フレーム内の分割された複数のブロックにおけるブロック輝度値をそれぞれ求め、
前記複数のブロック輝度値のうち、第1の制限輝度値より大きいブロック輝度値を前記第1の制限輝度値に制限し、
前記複数のブロック輝度値の代表輝度値が前記第1の制限輝度値より小さい目標輝度値になるように、撮像部の露光量を制御する、
撮像装置の制御方法。
【符号の説明】
【0094】
2:撮像装置、4:撮像部、7:撮像制御装置、30:輝度値算出部、32:輝度値制限部、34:代表輝度値算出部、36露光量制御部、40:露光量制御信号、50:撮像画像データ
【特許請求の範囲】
【請求項1】
フレームの画素ごとの撮像画像データから当該フレーム内の分割された複数のブロックにおけるブロック輝度値をそれぞれ求める算出部と、
前記複数のブロック輝度値のうち、第1の制限輝度値より大きいブロック輝度値を前記第1の制限輝度値に制限する制限部と、
前記複数のブロック輝度値の代表輝度値が前記第1の制限輝度値より小さい目標輝度値になるように、撮像部の露光量を制御する制御部とを有する撮像制御装置。
【請求項2】
請求項1において、
前記制限部は、前記複数のブロック輝度値の最小値が前記第1の制限輝度値より大きいときには、前記複数のブロック輝度値を前記第1の制限輝度値より大きい第2の制限輝度値に制限する撮像制御装置。
【請求項3】
請求項1または2において、
前記ブロック輝度値は各ブロックに含まれる画素の輝度値の積算値、または平均値であり、
前記代表輝度値は、前記複数のブロック輝度値の平均値、または中央値である撮像制御装置。
【請求項4】
請求項1乃至3のいずれかにおいて、
前記算出部が前記ブロック輝度値を求める処理、前記制限部が前記ブロック輝度値を制限する処理、及び、前記制御部が前記露光量を制御する処理が、前記フレームごとに繰り返される撮像制御装置。
【請求項5】
フレームごとに撮像画像データを出力する撮像部と、
フレームの画素ごとの撮像画像データから当該フレーム内の分割された複数のブロックにおけるブロック輝度値をそれぞれ求める算出部と、
前記複数のブロック輝度値のうち、第1の制限輝度値より大きいブロック輝度値を前記第1の制限輝度値に制限する制限部と、
前記複数のブロック輝度値の代表輝度値が前記第1の制限輝度値より小さい目標輝度値になるように、前記撮像部の露光量を制御する制御部とを有する撮像装置。
【請求項6】
フレームの画素ごとの撮像画像データから当該フレーム内の分割された複数のブロックにおけるブロック輝度値をそれぞれ求め、
前記複数のブロック輝度値のうち、第1の制限輝度値より大きいブロック輝度値を前記第1の制限輝度値に制限し、
前記複数のブロック輝度値の代表輝度値が前記第1の制限輝度値より小さい目標輝度値になるように、撮像部の露光量を制御する、
撮像装置の制御方法。
【請求項1】
フレームの画素ごとの撮像画像データから当該フレーム内の分割された複数のブロックにおけるブロック輝度値をそれぞれ求める算出部と、
前記複数のブロック輝度値のうち、第1の制限輝度値より大きいブロック輝度値を前記第1の制限輝度値に制限する制限部と、
前記複数のブロック輝度値の代表輝度値が前記第1の制限輝度値より小さい目標輝度値になるように、撮像部の露光量を制御する制御部とを有する撮像制御装置。
【請求項2】
請求項1において、
前記制限部は、前記複数のブロック輝度値の最小値が前記第1の制限輝度値より大きいときには、前記複数のブロック輝度値を前記第1の制限輝度値より大きい第2の制限輝度値に制限する撮像制御装置。
【請求項3】
請求項1または2において、
前記ブロック輝度値は各ブロックに含まれる画素の輝度値の積算値、または平均値であり、
前記代表輝度値は、前記複数のブロック輝度値の平均値、または中央値である撮像制御装置。
【請求項4】
請求項1乃至3のいずれかにおいて、
前記算出部が前記ブロック輝度値を求める処理、前記制限部が前記ブロック輝度値を制限する処理、及び、前記制御部が前記露光量を制御する処理が、前記フレームごとに繰り返される撮像制御装置。
【請求項5】
フレームごとに撮像画像データを出力する撮像部と、
フレームの画素ごとの撮像画像データから当該フレーム内の分割された複数のブロックにおけるブロック輝度値をそれぞれ求める算出部と、
前記複数のブロック輝度値のうち、第1の制限輝度値より大きいブロック輝度値を前記第1の制限輝度値に制限する制限部と、
前記複数のブロック輝度値の代表輝度値が前記第1の制限輝度値より小さい目標輝度値になるように、前記撮像部の露光量を制御する制御部とを有する撮像装置。
【請求項6】
フレームの画素ごとの撮像画像データから当該フレーム内の分割された複数のブロックにおけるブロック輝度値をそれぞれ求め、
前記複数のブロック輝度値のうち、第1の制限輝度値より大きいブロック輝度値を前記第1の制限輝度値に制限し、
前記複数のブロック輝度値の代表輝度値が前記第1の制限輝度値より小さい目標輝度値になるように、撮像部の露光量を制御する、
撮像装置の制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−114765(P2012−114765A)
【公開日】平成24年6月14日(2012.6.14)
【国際特許分類】
【出願番号】特願2010−263164(P2010−263164)
【出願日】平成22年11月26日(2010.11.26)
【出願人】(308014341)富士通セミコンダクター株式会社 (2,507)
【Fターム(参考)】
【公開日】平成24年6月14日(2012.6.14)
【国際特許分類】
【出願日】平成22年11月26日(2010.11.26)
【出願人】(308014341)富士通セミコンダクター株式会社 (2,507)
【Fターム(参考)】
[ Back to top ]