露出制御装置
【課題】従来よりも適切な露出制御を行うことが可能な、新規かつ改良された露出制御装置を提供する。
【解決手段】上記課題を解決するために、本発明のある観点によれば、撮像画像を取得する撮像画像取得部と、撮像画像を複数のブロックに分割するブロック分割部と、ブロック毎に輝度を含む特徴量を算出する特徴量算出部と、各ブロックの特徴量に基づいて、各ブロックの複雑度を算出する複雑度算出部と、各ブロックの複雑度に基づいて、各ブロックの輝度に重み付けすることで、各ブロックの補正輝度を算出する補正輝度算出部と、補正輝度の平均値に基づいて、撮像時の露出を制御する露出制御部と、を備えることを特徴とする、露出制御装置が提供される。
【解決手段】上記課題を解決するために、本発明のある観点によれば、撮像画像を取得する撮像画像取得部と、撮像画像を複数のブロックに分割するブロック分割部と、ブロック毎に輝度を含む特徴量を算出する特徴量算出部と、各ブロックの特徴量に基づいて、各ブロックの複雑度を算出する複雑度算出部と、各ブロックの複雑度に基づいて、各ブロックの輝度に重み付けすることで、各ブロックの補正輝度を算出する補正輝度算出部と、補正輝度の平均値に基づいて、撮像時の露出を制御する露出制御部と、を備えることを特徴とする、露出制御装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、露出制御装置に関する。
【背景技術】
【０００２】
撮像画像の中央領域の輝度に重み付けを行った上で平均輝度を算出し、この平均輝度が目標輝度に近づくように露出を制御する撮像装置、いわゆる中央重点測光を行う撮像装置が知られている。このように露出を制御するのは、撮像画像の中央領域に撮像対象の被写体が描かれているケースが多いと考えられるからである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１０６６１７号公報
【特許文献２】特開２００９−１６４６７７号公報
【特許文献３】特開２００７−１５８９９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、この技術では、被写体が中央領域からずれて描かれている場合、当該被写体について適切な露出が得られなかった。また、撮像画像の中央領域に重み付けを行なっても、平均輝度は、中央領域以外の背景領域の輝度の影響も強く受ける。背景領域は中央領域に比べて面積が大きいからである。このため、中央領域に対して背景領域が一様に高い輝度を有していた場合（例えば、白い壁を背にした人物を撮影する場合）には、平均輝度が背景領域の輝度の影響を受けてしまう。この場合、従来の撮像装置は、平均輝度を下げる制御を行うので、全体的に露出が不足した撮像画像を生成してしまっていた。
【０００５】
一方、中央領域に対して背景領域が一様に低い輝度を有していた場合（例えば、黒い壁を背にした人物を撮影する場合）にも、平均輝度が背景領域の輝度の影響を受けてしまう。この場合、従来の撮像装置は、平均輝度を上げる制御を行うので、全体的に露出が過剰な撮像画像を生成してしまっていた。この撮像画像では、例えば、暗部が不自然に明るい状態（浮いた状態）となり、人物の顔部分が飽和してしまう場合があった。
【０００６】
なお、特許文献１〜３には、露出制御に関する技術が開示されている。特許文献１に開示された技術は、輝度が所定値以上の高輝度グループを撮像画像から抽出し、高輝度グループの輝度及び面積に基づいて、露出を制御する。しかし、この技術では、上述した白い壁が高輝度グループに所属してしまうので、白い壁を背にした人物を撮影する場合には、やはり全体的に露出が不足した撮像画像が生成されてしまっていた。したがって、この技術では、上述した問題を解決することができなかった。
【０００７】
特許文献２に開示された技術は、撮像画像に対していわゆる顔検出処理を行うことで、撮像画像から顔画像を抽出し、顔画像及びその周辺の輝度に基づいて、露出を制御する。しかし、この技術には、顔検出という演算コストの高い処理が必要であった。さらに、特許文献２には、顔画像及びその周辺の輝度のバランスをどのように制御するかについて、何ら開示されていなかった。したがって、この技術では、上述した例のように、白い壁を背にした人物を撮影する場合、人物の顔画像と、背景画像との輝度のバランスを適切に調整することができなかった。したがって、この技術でも、上述した問題を解決することができなかった。
【０００８】
特許文献３に開示された技術は、撮像画像を複数のブロックに分割し、隣接するブロック間の輝度差を算出する。そして、この技術は、輝度差が所定値以上となるブロックから逆光のブロックを検出する。したがって、この技術は、逆光時にのみ効果があるものなので、上述した問題を解決することができなかった。
【０００９】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、従来よりも適切な露出制御を行うことが可能な、新規かつ改良された露出制御装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある観点によれば、撮像画像を取得する撮像画像取得部と、撮像画像を複数のブロックに分割するブロック分割部と、ブロック毎に輝度を含む特徴量を算出する特徴量算出部と、各ブロックの特徴量に基づいて、各ブロックの複雑度を算出する複雑度算出部と、各ブロックの複雑度に基づいて、各ブロックの輝度に重み付けすることで、各ブロックの補正輝度を算出する補正輝度算出部と、補正輝度に基づいて、撮像時の露出を制御する露出制御部と、を備えることを特徴とする、露出制御装置が提供される。
【００１１】
この観点によれば、露出制御装置は、各ブロックの特徴量に基づいて、各ブロックの複雑度を算出する。そして、露出制御装置は、各ブロックの複雑度に基づいて、各ブロックの輝度に重み付けすることで、各ブロックの補正輝度を算出する。そして、露出制御装置は、補正輝度に基づいて、撮像時の露出を制御する。これにより、露出制御装置は、輝度が一様な領域、例えば背景領域の補正輝度を小さくし、輝度の変化が激しい領域、例えば人物領域の補正輝度を大きくすることができる。したがって、露出制御装置は、より広範なダイナミックレンジ、特に人物領域の補正輝度を使って、露出を制御することができる。
【００１２】
ここで、ブロック分割部は、ブロック毎に画素値を積算することで、画素積算値を算出し、特徴量算出部は、各ブロックの画素積算値に基づいて、各ブロックの特徴量を算出してもよい。
【００１３】
この観点によれば、露出制御装置は、画素積算値に基づいて、各ブロックの特徴量を算出するので、各ブロックの複雑度をより正確に算出することができる。
【００１４】
また、複雑度算出部は、隣接するブロック同士の特徴量の差分に基づいて、各ブロックの複雑度を算出してもよい。
【００１５】
この観点によれば、露出制御装置は、隣接するブロック同士の特徴量の差分に基づいて、各ブロックの複雑度を算出するので、各ブロックの複雑度をより正確に算出することができる。
【００１６】
また、特徴量算出部は、ブロック毎に複数種類の特徴量を算出し、複雑度算出部は、特徴量の種類ごとに各ブロックの複雑度を算出し、特徴量の種類毎の複雑度をブロック毎に混合することで、各ブロックの混合複雑度を算出し、補正輝度算出部は、各ブロックの混合複雑度に基づいて、各ブロックの輝度に重み付けしてもよい。
【００１７】
この観点によれば、露出制御装置は、ブロック毎に複数種類の特徴量を算出する。そして、露出制御装置は、特徴量の種類ごとに各ブロックの複雑度を算出し、これらの複雑度をブロック毎に混合することで、各ブロックの混合複雑度を算出する。そして、露出制御装置は、各ブロックの混合複雑度に基づいて、各ブロックの輝度に重み付けする。これにより、露出制御装置は、補正輝度をより正確に算出することができる。
【００１８】
また、複雑度算出部は、各ブロックのうち、人物の顔が描かれた顔領域の複雑度を補完してもよい。
【００１９】
この観点によれば、露出制御装置は、顔領域の露出をより正確に制御することができる。
【００２０】
また、補正輝度算出部は、補正輝度の平均値である平均輝度を算出し、露出制御部は、平均輝度が所定の目標輝度に近づくように、撮像時の露出を制御してもよい。
【００２１】
この観点によれば、露出制御装置は、輝度が一様な領域、例えば背景領域が平均輝度に与える影響を小さくし、輝度の変化が激しい領域、例えば人物領域が平均輝度に与える影響を小さくすることができる。したがって、露出制御装置は、より広範なダイナミックレンジ、特に人物領域の補正輝度を使って、露出を制御することができる。
【００２２】
本発明の他の観点によれば、撮像画像を取得する撮像画像取得ステップと、前記撮像画像を複数のブロックに分割するブロック分割ステップと、ブロック毎に輝度を含む特徴量を算出する特徴量算出ステップと、各ブロックの特徴量に基づいて、各ブロックの複雑度を算出する複雑度算出ステップと、各ブロックの複雑度に基づいて、各ブロックの輝度に重み付けすることで、各ブロックの補正輝度を算出する補正輝度算出ステップと、前記補正輝度に基づいて、撮像時の露出を制御する露出制御ステップと、を含むことを特徴とする、露出制御方法が提供される。
【００２３】
この観点による露出制御方法は、各ブロックの特徴量に基づいて、各ブロックの複雑度を算出する。そして、露出制御方法は、各ブロックの複雑度に基づいて、各ブロックの輝度に重み付けすることで、各ブロックの補正輝度を算出する。そして、露出制御方法は、補正輝度に基づいて、撮像時の露出を制御する。これにより、露出制御方法は、輝度が一様な領域、例えば背景領域の補正輝度を小さくし、輝度の変化が激しい領域、例えば人物領域の補正輝度を大きくすることができる。したがって、露出制御方法は、より広範なダイナミックレンジ、特に人物領域の補正輝度を使って、露出を制御することができる。
【発明の効果】
【００２４】
以上説明したように本発明によれば、背景領域の補正輝度は小さくなる一方、人物領域の補正輝度は大きくなるので、露出制御装置は、より広範なダイナミックレンジ、特に人物領域の補正輝度を使って、露出を制御することができる。したがって、露出制御装置は、従来よりも適正な露出制御を行うことができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】撮像装置により生成された複雑度マップの一例を示す説明図である。
【図３】撮像装置により生成された複雑度マップの一例を示す説明図である。
【図４】撮像装置により生成された複雑度マップの一例を示す説明図である。
【図５】複雑度マップの生成過程を示す説明図である。
【図６】（ａ）各ブロックの色相積算値を示す色相積算値マップの一例を示す説明図である。（ｂ）各ブロックの色相複雑度を示す色相複雑度マップの一例を示す説明図である。
【図７】正規化された色相複雑度マップである正規化色相複雑度マップの一例を示す説明図である。
【図８】正規化彩度複雑度マップの一例を示す説明図である。
【図９】正規化輝度複雑度マップの一例を示す説明図である。
【図１０】各ブロックの混合複雑度を示す混合複雑度マップの一例を示す説明図である。
【図１１】撮像装置による処理の手順を示すフローチャートである。
【図１２】肌色領域の大きさと人物の顔とみなされる有効領域との対応関係を示すグラフである。
【図１３】有効領域マップの一例を示す説明図である。
【図１４】撮像画像の一例を示す説明図である。
【図１５】（ａ）、（ｂ）第２の実施形態による顔領域判定の内容を説明するための説明図である。
【図１６】（ａ）補正前の混合複雑度マップの一例を示す説明図である。（ｂ）補正後の混合複雑度マップの一例を示す説明図である。
【図１７】第２の実施形態に係る撮像装置による処理の手順を示すフローチャートである。
【図１８】撮像画像の一例を模式的に示す説明図である。
【図１９】図１８の撮像画像に対して露出補正を行った後の輝度分布を示すヒストグラムである。
【図２０】撮像画像の一例を模式的に示す説明図である。
【図２１】図２０の撮像画像に対して露出補正を行った後の輝度分布を示すヒストグラムである。
【図２２】撮像画像の一例を模式的に示す説明図である。
【図２３】図２２の撮像画像に対して露出補正を行った後の輝度分布を示すヒストグラムである。
【図２４】撮像画像の一例を模式的に示す説明図である。
【図２５】図２４の撮像画像に対して露出補正を行った後の輝度分布を示すヒストグラムである。
【発明を実施するための形態】
【００２６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２７】
＜１．中央重点測光の問題点＞
本発明者は、従来の撮像装置、具体的には中央重点測光を行う撮像装置の問題点について検討を重ねた結果、本実施形態に係る撮像装置に想到するに至った。そこで、まず、従来の撮像装置の問題点を詳細に説明する。
【００２８】
従来の撮像装置は、撮像画像の中央領域の輝度に重み付けを行った上で平均輝度を算出し、この平均輝度が目標輝度に近づくように露出を制御する。この目標輝度は、例えば、中輝度（グレー色の輝度）程度に設定される。中央重点測光は、撮像画像の中央領域に重み付けを行なうものであるが、平均輝度は、中央領域以外の背景領域の輝度の影響も強く受ける。
【００２９】
グレーの壁を背にした人物を従来の撮像装置を用いて撮影した場合、例えば図１８に示す撮像画像３００が得られる。撮像画像３００の領域Ａ１には人物の顔、領域Ｂ１には人物の胴体、領域Ｃ１には背景が描かれている。領域Ｃ１の輝度は一様であり、かつ、領域Ａ１、Ｂ１の輝度に近い。従来の撮像装置は、撮像画像３００の平均輝度を算出し、この平均輝度が目標輝度に近づくように露出を制御する。露出制御後の撮像画像は、例えば図１９に示す輝度分布を示す。図１９の横軸は輝度、縦軸は度数、即ち各輝度を有する画素の数を示す。ＴｈＬは目標輝度を示す。ヒストグラムＬＡ１は領域Ａ１の輝度分布、ヒストグラムＬＢ１は領域Ｂ１の輝度分布、ヒストグラムＬＣ１は領域Ｃ１の輝度分布を示す。この例の場合、背景領域である領域Ｃ１の輝度が目標輝度に近いので、適正な露出が行われる。
【００３０】
一方、黒い壁を背にした人物を従来の撮像装置を用いて撮影した場合、例えば図２０に示す撮像画像３１０が得られる。撮像画像３１０の領域Ａ２には人物の顔、領域Ｂ２には人物の胴体、領域Ｃ２には背景が描かれている。領域Ｃ２の輝度は一様であり、かつ、領域Ａ２、Ｂ２の輝度よりも低い。この例の場合、背景領域である領域Ｃ２の輝度が目標輝度よりも低く、かつ、領域Ｃ２の輝度が平均輝度に強く影響をあたえる。即ち、平均輝度は、領域Ｃ２の輝度の影響により、目標輝度よりも小さくなる。このため、従来の撮像装置は、平均輝度を目標輝度に近づけるため、平均輝度を上げる制御を行なう。したがって、従来の撮像装置は、領域Ａ２、Ｂ２の輝度を露出制御に反映させることができない。言い換えれば、従来の撮像装置は、撮像画像のダイナミックレンジを有効に使うことができない。
【００３１】
露出制御後の撮像画像は、例えば図２１に示す輝度分布を示す。図２１の横軸は輝度、縦軸は度数、即ち各輝度を有する画素の数を示す。ＴｈＬは目標輝度を示す。ヒストグラムＬＡ２は領域Ａ２の輝度分布、ヒストグラムＬＢ２は領域Ｂ２の輝度分布、ヒストグラムＬＣ２は領域Ｃ２の輝度分布を示す。図２１に示されるように、領域Ａ２、Ｂ２の輝度は、領域Ｃ２の輝度に引きずられて大きくなってしまうので、領域Ａ２の輝度が飽和してしまう（即ち、白飛びが起こってしまう）。また、領域Ｃ２の輝度が不自然に高くなってしまう。
【００３２】
一方、白い壁を背にした人物を従来の撮像装置を用いて撮影した場合、例えば図２２に示す撮像画像３２０が得られる。撮像画像３２０の領域Ａ３には人物の顔、領域Ｂ３には人物の胴体、領域Ｃ３には背景が描かれている。領域Ｃ３の輝度は一様であり、かつ、領域Ａ３、Ｂ３の輝度よりも高い。この例の場合、背景領域である領域Ｃ３の輝度が目標輝度よりも高く、かつ、領域Ｃ３の輝度が平均輝度に強く影響をあたえる。即ち、平均輝度は、領域Ｃ３の輝度の影響により、目標輝度よりも高くなる。このため、従来の撮像装置は、平均輝度を目標輝度に近づけるため、平均輝度を下げる制御を行なう。したがって、この場合にも、従来の撮像装置は、領域Ａ３、Ｂ３の輝度を露出制御に反映させることができない。言い換えれば、従来の撮像装置は、撮像画像のダイナミックレンジを有効に使うことができない。
【００３３】
露出制御後の撮像画像は、例えば図２３に示す輝度分布を示す。図２３の横軸は輝度、縦軸は度数、即ち各輝度を有する画素の数を示す。ＴｈＬは目標輝度を示す。ヒストグラムＬＡ３は領域Ａ３の輝度分布、ヒストグラムＬＢ３は領域Ｂ３の輝度分布、ヒストグラムＬＣ３は領域Ｃ３の輝度分布を示す。図２３に示されるように、領域Ａ３、Ｂ３の輝度は、領域Ｃ３の輝度に引きずられて小さくなってしまうので、領域Ａ３、Ｂ３の輝度、即ち露出が不足してしまう。
【００３４】
次に、より一般的なシーンについて検討する。雪が積もった地面に立っている人物を撮影した場合、例えば図２４に示す撮像画像３３０が得られる。この撮像画像３３０では、雪が積もった地面、及び晴天の空が背景として比較的広い領域に描かれている。これらの領域、即ち背景領域の輝度はほぼ一様であり、かつ、人物領域の輝度よりも高い。この例の場合、背景領域の輝度が目標輝度よりも高く、かつ、背景領域の輝度が平均輝度に強く影響をあたえる。即ち、平均輝度は、背景領域の輝度の影響により、目標輝度よりも高くなる。このため、従来の撮像装置は、平均輝度を目標輝度に近づけるため、平均輝度を下げる制御を行なう。したがって、この場合にも、従来の撮像装置は、人物領域の輝度を露出制御に反映させることができない。言い換えれば、従来の撮像装置は、撮像画像のダイナミックレンジを有効に使うことができない。
【００３５】
露出制御後の撮像画像は、例えば図２５に示す輝度分布を示す。図２５の横軸は輝度、縦軸は度数、即ち各輝度を有する画素の数を示す。ヒストグラムＬ１０は、撮像画像３３０の輝度分布を示す。特に、ピーク部分Ｌ１０ａは、背景領域の輝度分布を示す。図２５に示されるように、背景領域以外の領域、例えば人物領域輝度は、背景領域の輝度に引きずられて小さくなってしまうので、例えば人物領域の輝度、即ち露出が不足してしまう。
【００３６】
このように、従来の撮像装置は、撮像画像の各領域に描かれた被写体の種類を問題とせず、単に平均輝度を目標輝度に近づける制御を行なっていた。そして、平均輝度は、撮像画像のうち背景領域の影響を強く受ける。このため、従来の撮像装置は、晴天の空や雪の積もった地面のように、実際の（即ち、人間が被写体を直接視認したときの）輝度が高い被写体が背景領域として描かれている場合にも、平均輝度を下げる制御を行なっていた。即ち、従来の撮像装置は、背景領域の輝度を本来の露出方向（露出を高める方向）とは反対方向に露出を制御していた。さらに、従来の撮像装置は、背景領域が広いほど、大きく露出を変化させていた。したがって、背景領域が広いほど、撮像画像の輝度と実際の被写体の輝度との乖離が大きくなってしまっていた。
【００３７】
このため、従来の撮像装置は、ダイナミックレンジを使い切っていないにも関わらず、撮像画像の露出不足または過剰露出が生じてしまうという問題があった。本実施形態は、従来よりも適切な露出を行なうことができる撮像装置（露出制御装置）を提供することを目的とする。
【００３８】
＜２．第１の実施形態による処理の概要＞
次に、第１の実施形態による処理の概要について説明する。第１の実施形態に係る撮像装置１０（図１参照）は、撮像画像を複数のブロック（例えば１６×１６のブロック）に分割し、ブロック毎に輝度等の特徴量を算出する。撮像装置１０は、隣接するブロック同士の特徴量の差分を算出し、差分の絶対値に基づいて、各ブロックの複雑度を算出する。そして、撮像装置１０は、各ブロックの複雑度を示す複雑度マップを生成する。例えば、撮像装置１０は、図１８に示す撮像画像３００に対して、図２に示す複雑度マップ１００を生成する。複雑度マップ１００は、ブロック１０１毎に複雑度が設定されている。複雑度の大きさは、各ブロック１０１のハッチングの濃度で示される。複雑度が大きいほど、ハッチングの濃度が大きくなる（黒に近くなる）。例えば、ブロック１０１ａは、領域Ｂ１と領域Ｃ１との境界に配置されるので、複雑度が大きくなる。一方、ブロック１０１ｂは、領域Ｃ１内に配置されるので、複雑度は小さくなる。
【００３９】
同様に、撮像装置１０は、図２０に示す撮像画像３１０に対して、図３に示す複雑度マップ１１０を生成する。複雑度マップ１１０は、ブロック１１１毎に複雑度が設定されている。例えば、ブロック１１１ａは、領域Ｂ２と領域Ｃ２との境界に配置されるので、複雑度が大きくなる。なお、撮像装置１０は、図２２に示す撮像画像３２０に対しても、複雑度マップ１１０と同様のマップを生成する。撮像画像３１０と撮像画像３２０とは、背景領域である領域Ｃ２、Ｃ３の特徴量が互いに異なるが、特徴量の差分の絶対値は各ブロックで同様の値となるからである。
【００４０】
より具体的には、撮像装置１０は、図２４に示す撮像画像３３０に対して、図４に示す複雑度マップ１３０を生成する。複雑度マップ１３０は、ブロック１３１ごとに複雑度が設定されている。図４に示す複雑度マップ１３０では、複雑度を示す数値が各ブロックに記載されている。また、各ブロック１３１には、複雑度に応じた濃度のハッチングが付されている。この例では、輝度が大きくかつ面積の大きい背景領域（空及び地面が描かれている領域）の複雑度が小さくなっている。
【００４１】
そして、撮像装置１０は、複雑度に基づいて、各ブロックの輝度に重み付けを行なうことで、補正輝度を算出する。撮像装置１０は、複雑度が大きいほど、重みを大きくする。撮像装置１０は、補正輝度の平均値を平均輝度とし、この平均輝度が目標輝度に近づくように露出を制御する。
【００４２】
したがって、輝度が一様な領域、例えば背景領域の補正輝度は小さくなり、輝度の変化が激しい領域、例えば人物領域の補正輝度は大きくなるので、背景領域が平均輝度に与える影響は小さくなる一方、人物領域が平均輝度に与える影響は大きくなる。言い換えれば、図２５等に示したヒストグラムの縦軸を（度数）×（補正輝度）とした場合、ヒストグラムはより平坦に近づく。即ち、ヒストグラムの各輝度に対する（度数）×（補正輝度）の値が、目標輝度を中心としてより均等に分布する。このため、撮像装置１０は、より広範なダイナミックレンジを使って、平均輝度を算出することができ、かつ、露出を制御することができる。なお、撮像画像３００の背景領域の輝度は目標輝度に近いので、複雑度マップ１００が示す複雑度は、他の複雑度マップ１１０、１３０が示す複雑度に比べて小さい。したがって、各ブロック１０１の補正輝度は、補正前の輝度と同程度となるので、露出量は従来の場合とほぼ同程度となる。したがって、本実施形態による副作用は発生しない。
【００４３】
＜３．撮像装置の構成＞
次に、図１に示すブロック図に基づいて、第１の実施形態に係る撮像装置（露出制御装置）１０の構成について説明する。撮像装置１０は、レンズユニット１１と、撮像素子１２と、アナログ処理部１３と、信号処理部１４と、ブロック分割部１５と、特徴量算出部１６と、複雑度算出部１７と、補正輝度算出部１８と、露出量算出部１９と、露出制御部２０と、ドライバ２１とを備える。
【００４４】
なお、撮影装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、フラッシュメモリ等のハードウェアを有しており、ＣＰＵがＲＯＭに記憶されたプログラムを読みだして実行することによって、上記各機能ブロックによる処理が実現される。即ち、ＲＯＭには、撮像装置１０に、上記各機能ブロック、特にアナログ処理部１３と、信号処理部１４と、ブロック分割部１５と、特徴量算出部１６と、複雑度算出部１７と、補正輝度算出部１８と、露出量算出部１９と、露出制御部２０と、ドライバ２１とを実現させるためのプログラムが記憶されている。
【００４５】
なお、他の実施形態としては、ブロック分割部１５、特徴量算出部１６、複雑度算出部１７、補正輝度算出部１８、露出量算出部１９、及び露出制御部２０を備える露出制御装置（例えばパーソナルコンピュータやサーバ等のコンピュータ）が考えられる。この実施形態では、露出制御装置は撮像装置から撮像画像を取得する。
【００４６】
レンズユニット１１は、撮影装置１０に対して着脱可能となっており、複数のレンズ、絞り機構、及びシャッタ等を備える。レンズユニット１１は、撮影装置１０の外部から可視光を取り込み、取り込んだ光を、レンズ等を介して撮像素子１２に入射させる。
【００４７】
撮像素子１２は、マトリックス状に配置された複数の単位素子と、図示しない撮像素子制御部とを備える。単位素子は、撮像画像の単位画素に対応するものである。各単位素子は、赤色光、緑色光、青色光それぞれの受信強度に関するＲ情報、Ｇ情報、Ｂ情報（以下、これらをまとめて「ＲＧＢ情報」とも称する）を撮像素子制御部に出力する。撮像素子制御部は、各単位素子から与えられたＲＧＢ情報に基づいて、ＲＧＢ情報を画素毎に有する撮像画像を生成する。撮像素子制御部は、生成された撮像画像をアナログ処理部１３に出力する。
【００４８】
アナログ処理部１３は、撮像素子１２から与えられた撮像画像をアナログ・デジタル変換し、変換後の撮像画像、即ち撮像画像のＲＡＷデータを信号処理部１４及びブロック分割部１５に出力する。信号処理部１４は、撮像画像に対して各種の補正処理（オブティカルブラック除去、ホワイトバランス調整、色再現補正、ガンマ補正等）を行い、補正処理後の撮像画像を撮像素子１０のフラッシュメモリ等に記憶する。
【００４９】
ブロック分割部１５は、撮像画像を複数のブロック（例えば１６×１６のブロック）に分割し、各ブロックに識別番号を付与する。そして、ブロック分割部は、ブロック毎にＲ情報、Ｇ情報、Ｂ情報を積算することで、Ｒ積算値、Ｇ積算値、Ｂ積算値（以下、「これらをまとめてＲＧＢ積算値」とも称する）を算出する。さらに、ブロック分割部は、これらの積算値と、以下の式（１）とに基づいて、各ブロックの輝度を算出する。
【００５０】
【数１】
【００５１】
式（１）中、Ｙはブロックの輝度、Ｒ、Ｇ、ＢはそれぞれＲ積算値、Ｇ積算値、Ｂ積算値である。ブロック分割部１５は、ＲＧＢ積算値とブロックの識別番号とが関連付けられた積算値マップを生成し、特徴量算出部１６に出力する。さらに、ブロック分割部１５は、輝度とブロックの識別番号とが関連付けられた輝度マップを生成し、特徴量算出部１６及び補正輝度算出部１８に出力する。
【００５２】
特徴量算出部１６は、積算値マップ及び輝度マップと、以下の式（２）〜（５）に基づいて、各ブロックの特徴量として、色相、彩度、及びログ変換輝度を算出する。
【００５３】
【数２】
【００５４】
式（２）、（３）中、Ｈは色相であり、０〜３６０の値をとる。Ｈ＝０の色相と、Ｈ＝３６０の色相とは同じとなる。即ち、色相の値は循環する。Ｒ、Ｇ、ＢはそれぞれＲ積算値、Ｇ積算値、Ｂ積算値である。ＭＡＸはＲＧＢ積算値のうち最大の値であり、ＭＩＮは、ＲＧＢ積算値のうち最小の値である。
【００５５】
【数３】
【００５６】
式（４）中、Ｓは彩度であり、ＭＡＸ、ＭＩＮは式（２）、（３）と同様である。彩度は０〜１の値をとる。
【００５７】
【数４】
【００５８】
式（５）中、Ｌはログ変換輝度であり、Ｙは輝度である。第１の実施形態では、輝度の値によらず、後述する複雑度算出部１７によって算出される輝度差と人間が感じる輝度差とが近似するように、輝度をログ変換する。勿論、複雑度算出部１７は、式（１）で求められる輝度をそのまま用いて輝度差を算出してもよい。この場合、高輝度域で算出される輝度差と人間が感じる輝度差との乖離は、低輝度域での乖離よりも大きくなる。特徴量算出部１６は、ブロックの色相とブロックの識別番号とが関連付けられた色相マップ、ブロックの彩度とブロックの識別番号とが関連付けられた彩度マップ、及び、ブロックのログ変換輝度とブロックの識別番号とが関連付けられたログ変換輝度マップを生成し、複雑度算出部１７に出力する。
【００５９】
複雑度算出部１７は、色相マップ、彩度マップ、及びログ変換輝度マップに基づいて、各ブロックの色相複雑度、彩度複雑度、及び輝度複雑度を算出する。具体的には、複雑度算出部１７は、各ブロックと、当該ブロックの上下左右に隣接する４つのブロックとの特徴量の差分を算出し、当該差分に基づいて、各特徴量の複雑度を算出する。例えば、複雑度算出部１７は、図５に示すブロック３１ａの複雑度を、以下の式（６）〜（９）に基づいて算出する。
【００６０】
【数５】
【００６１】
式（６）、（７）中、ＣＨは色相複雑度、Ａ１〜Ｅ１は図５に示すブロック３１ａ〜３１ｅの色相である。
【００６２】
【数６】
【００６３】
式（８）中、ＣＳは彩度複雑度、Ａ２〜Ｅ２は図５に示すブロック３１ａ〜３１ｅの彩度である。
【００６４】
【数７】
【００６５】
式（９）中、ＣＬは輝度複雑度、Ａ３〜Ｅ３は図５に示すブロック３１ａ〜３１ｅのログ変換輝度である。
【００６６】
複雑度算出部１７は、各ブロックについて上述した処理を行うことで、各ブロックの色相複雑度、彩度複雑度、及び輝度複雑度を算出する。そして、複雑度算出部１７は、各ブロックの色相複雑度を示す色相複雑度マップ、各ブロックの彩度複雑度を示す彩度複雑度マップ、各ブロックの輝度複雑度を示す輝度複雑度マップを生成する。
【００６７】
例えば、図６（ａ）に示す色相マップ４０が生成された場合、複雑度算出部１７は、図６（ｂ）に示す色相複雑度マップ５０を生成する。色相マップ４０の各ブロックのうち、枠４２周辺のブロックがほぼ均一な色相（２００〜２２０）を有しているのに対し、枠４２内のブロック、特にブロック４１は、枠４２周辺のブロックの３／５程度の色相（１２０）を有している。したがって、色相複雑度マップ５０のうち、枠５２で囲まれたブロック、特にブロック５１の色相複雑度は、枠５２周辺の色相複雑度よりも大きくなっている。なお、複雑度算出部１７は、上下左右および斜め方向に隣接する８つのブロックの特徴量との差分に基づいて、複雑度を算出してもよい。
【００６８】
複雑度算出部１７は、以下の式（１０）〜（１２）に基づいて、各ブロックの複雑度を正規化する。これにより、複雑度算出部１７は、正規化色相複雑度マップ、正規化彩度複雑度マップ、及び正規化輝度複雑度マップを生成する。
【００６９】
【数８】
【００７０】
式（１０）中、ＩＨ（ｎ）は識別番号ｎのブロックの正規化色相複雑度、ＣＨ（ｎ）は識別番号ｎのブロックの色相複雑度、ＩＭＡＸは正規化後の彩度複雑度の最大値であり、予め所望の値に設定される。ＰＨは色相複雑度の正規化係数であり、予め所望の値に設定される。ｍａｘ（ＣＨ）は、色相複雑度マップの全ブロックが示す色相複雑度のうち、最大の値、即ち色相複雑度の最大値である。ｍａｘ（ＰＨ、ｍａｘ（ＣＨ））は、ＰＨ、ｍａｘ（ＣＨ）のうち、大きい方の値である。したがって、複雑度算出部１７は、色相複雑度の最大値で各ブロックの色相複雑度を正規化するが、色相複雑度の最大値が極端に小さい場合には、固定値であるＰＨで正規化することとなる。
【００７１】
【数９】
【００７２】
式（１１）中、ＩＳ（ｎ）は識別番号ｎのブロックの正規化彩度複雑度、ＣＳ（ｎ）は識別番号ｎのブロックの彩度複雑度、ＩＭＡＸは正規化後の彩度複雑度の最大値であり、予め所望の値に設定される。ＰＳは彩度複雑度の正規化係数であり、予め所望の値に設定される。ｍａｘ（ＣＳ）は、彩度複雑度マップの全ブロックが示す彩度複雑度のうち、最大の値、即ち色相複雑度の最大値である。ｍａｘ（ＰＳ、ｍａｘ（ＣＳ））は、ＰＳ、ｍａｘ（ＣＳ）のうち、大きい方の値である。
【００７３】
【数１０】
【００７４】
式（１２）中、ＩＬ（ｎ）は識別番号ｎのブロックの正規化輝度複雑度、ＣＬ（ｎ）は識別番号ｎのブロックの輝度複雑度、ＩＭＡＸは正規化後の輝度複雑度の最大値であり、予め所望の値に設定される。ＰＬは輝度複雑度の正規化係数であり、予め所望の値に設定される。ｍａｘ（ＣＬ）は、輝度複雑度マップの全ブロックが示す輝度複雑度のうち、最大の値、即ち輝度複雑度の最大値である。ｍａｘ（ＰＬ、ｍａｘ（ＣＬ））は、ＰＬ、ｍａｘ（ＣＬ）のうち、大きい方の値である。
【００７５】
式（１０）において、ＩＭＡＸ＝８、ＰＨ＝９０とすると、図６（ｂ）に示す色相複雑度マップは、図７に示す正規化色相複雑度マップ６０に正規化される。正規化色相複雑度マップ６０の各ブロック６１は、０〜８の正規化色相複雑度を有する。
【００７６】
さらに、複雑度算出部１７は、正規化色相複雑度、正規化彩度複雑度、及び正規化輝度複雑度をブロック毎に混合することで、混合複雑度を算出する。具体的には、複雑度算出部１７は、以下の式（１３）に基づいて、混合複雑度を算出する。そして、複雑度算出部１７は、ブロックの混合複雑度とブロックの識別番号とが関連付けられた混合複雑度マップを生成する。
【００７７】
【数１１】
【００７８】
式（１３）中、Ｉ（ｎ）は、識別番号ｎのブロックの混合複雑度である。ＷＨ、ＷＳ、ＷＬは色相、彩度、及び輝度それぞれの混合重み係数であり、予め所望の値に設定される。これらの係数を調整することで、各複雑度が混合複雑度に寄与する割合を調整することができる。ｍａｘ（ＩＨ（ｎ）×ＷＨ，ＩＳ（ｎ）×ＷＳ，ＩＬ（ｎ）×ＷＬ）は、ＩＨ（ｎ）×ＷＨ，ＩＳ（ｎ）×ＷＳ，ＩＬ（ｎ）×ＷＬのうち、最大の値を示す。例えば、複雑度算出部１７は、図７に示す正規化色相複雑度マップ６０、図８に示す正規化彩度複雑度マップ７０、図９に示す正規化輝度複雑度マップ８０を生成した場合には、これらを混合することで、図１０に示す混合複雑度マップ９０を生成する。複雑度算出部１７は、混合複雑度マップを補正輝度算出部１８に出力する。
【００７９】
補正輝度算出部１８は、各ブロックの輝度に混合複雑度を乗じることで、各ブロックの補正輝度を算出する。即ち、補正輝度算出部１８は、混合複雑度に基づいて、各ブロックの輝度に重み付けする。さらに、補正輝度算出部１８は、式（１４）に基づいて、撮像画像の補正平均輝度を算出する。
【００８０】
【数１２】
【００８１】
式（１４）中、ＣＹは撮像画像の補正平均輝度、Ｙ（ｎ）×Ｉ（ｎ）は識別番号ｎのブロックの補正輝度である。したがって、補正輝度算出部１８は、各ブロックの輝度を加重平均することで、補正平均輝度を算出する。なお、混合複雑度が０のブロックは、加重平均の変化に対する影響が大きい。そこで、補正輝度算出部１８は、混合複雑度マップを構成する各ブロックの混合複雑度にオフセットとして１を加算することで、混合複雑度が０となるブロックがなくなるようにしてもよい。
【００８２】
さらに、補正輝度算出部１８は、上述した輝度マップに従来の測光処理（例えば、中央重点測光、多分割測光等）を施すことで、基準平均輝度を算出する。そして、補正輝度算出部１８は、以下の式（１５）に基づいて、補正平均輝度と基準平均輝度とを混合することで、混合平均輝度を算出する。
【００８３】
【数１３】
【００８４】
式（１５）中、ＦＹは混合平均輝度、ＮＹは基準平均輝度、ＣＹは補正平均輝度である。ＷＮ、ＷＣは基準平均輝度及び補正平均輝度それぞれの混合重み係数であり、予め所望の値に設定される。これらの係数を調整することで、各平均輝度が混合複雑度に寄与する割合を調整することができる。なお、補正輝度算出部１８は、混合複雑度による輝度の補正が効き過ぎることを防止するために、基準平均輝度と補正平均輝度との差分が大きい場合には、補正平均輝度を所定値にクリップしてもよい。補正輝度算出部１８は、混合平均輝度に関する混合平均輝度情報を生成し、露出量算出部１９に出力する。
【００８５】
露出量算出部１９は、混合平均輝度情報に基づいて、混合平均輝度が予め設定された目標輝度に近づくように（即ち、これらの差分が０に近づくように）、撮像素子１２の露出量を算出する。露出量算出部１９は、算出された露出量、即ち補正露出量に関する補正露出量情報を生成し、露出制御部２０に出力する。
【００８６】
露出制御部２０は、補正露出量情報に基づいて、ドライバ２１を制御する。ドライバ２１は、露出制御部２０による制御により、レンズユニット１１の絞り、撮像素子１２の駆動タイミング、アナログ処理部１３のゲイン等を調整する。これにより、撮像素子１２の露出量が、補正露出量に一致する。
【００８７】
＜４．撮像装置による処理の手順＞
次に、撮像装置１０による処理の手順を図１１に示すフローチャートに沿って説明する。ステップＳ１１において、ブロック分割部１５は、アナログ処理部１３から与えられた撮像画像を複数のブロック（例えば１６×１６のブロック）に分割し、各ブロックに識別番号を付与する。次いで、ブロック分割部１５は、ブロック毎にＲ情報、Ｇ情報、Ｂ情報を積算することで、ＲＧＢ積算値を算出する。ブロック分割部１５は、ＲＧＢ積算値とブロックの識別番号とが関連付けられた積算値マップを生成し、特徴量算出部１６に出力する。さらに、ブロック分割部は、これらの積算値と、上述した式（１）とに基づいて、各ブロックの輝度を算出する。次いで、ブロック分割部１５は、輝度とブロックの識別番号とが関連付けられた輝度マップを生成し、特徴量算出部１６及び補正輝度算出部１８に出力する。
【００８８】
次いで、特徴量算出部１６は、積算値マップ及び輝度マップと、上述した式（２）〜（５）に基づいて、各ブロックの特徴量として、色相、彩度、及びログ変換輝度を算出する。
【００８９】
次いで、特徴量算出部１６は、ブロックの色相とブロックの識別番号とが関連付けられた色相マップ、ブロックの彩度とブロックの識別番号とが関連付けられた彩度マップ、及び、ブロックのログ変換輝度とブロックの識別番号とが関連付けられたログ変換輝度マップを生成し、複雑度算出部１７に出力する。
【００９０】
ステップＳ１３において、複雑度算出部１７は、色相マップ、彩度マップ、及びログ変換輝度マップに基づいて、各ブロックの色相複雑度、彩度複雑度、及び輝度複雑度を算出する。具体的には、複雑度算出部１７は、各ブロックと、当該ブロックの上下左右に隣接する４つのブロックとの特徴量の差分を算出し、当該差分に基づいて、各特徴量の複雑度を算出する。例えば、複雑度算出部１７は、図５に示すブロック３１ａの複雑度を、上述した式（６）〜（９）に基づいて算出する。
【００９１】
複雑度算出部１７は、各ブロックについて同様の処理を行うことで、各ブロックの色相複雑度、彩度複雑度、及び輝度複雑度を算出する。次いで、複雑度算出部１７は、各ブロックの色相複雑度を示す色相複雑度マップ、各ブロックの彩度複雑度を示す彩度複雑度マップ、各ブロックの輝度複雑度を示す輝度複雑度マップを生成する。
【００９２】
ステップＳ１４において、複雑度算出部１７は、上述した式（１０）〜（１２）に基づいて、各ブロックの複雑度を正規化する。これにより、複雑度算出部１７は、正規化色相複雑度マップ、正規化彩度複雑度マップ、及び正規化輝度複雑度マップを生成する。
【００９３】
ステップＳ１５において、複雑度算出部１７は、正規化色相複雑度、正規化彩度複雑度、及び正規化輝度複雑度をブロック毎に混合することで、混合複雑度を算出する。具体的には、複雑度算出部１７は、上述した式（１３）に基づいて、混合複雑度を算出する。次いで、複雑度算出部１７は、ブロックの混合複雑度とブロックの識別番号とが関連付けられた混合複雑度マップを生成する。複雑度算出部１７は、混合複雑度マップを補正輝度算出部１８に出力する。
【００９４】
ステップＳ１６において、補正輝度算出部１８は、各ブロックの輝度に混合複雑度を乗じることで、各ブロックの補正輝度を算出する。さらに、補正輝度算出部１８は、上述した式（１４）に基づいて、撮像画像の補正平均輝度を算出する。
【００９５】
ステップＳ１７において、補正輝度算出部１８は、上述した輝度マップに従来の測光処理（例えば、中央重点測光、多分割測光等）を施すことで、基準平均輝度を算出する。そして、補正輝度算出部１８は、上述した式（１５）に基づいて、補正平均輝度と基準平均輝度とを混合することで、混合平均輝度を算出する。補正輝度算出部１８は、混合平均輝度に関する混合平均輝度情報を生成し、露出量算出部１９に出力する。
【００９６】
ステップＳ１８において、露出量算出部１９は、混合平均輝度情報に基づいて、混合平均輝度が予め設定された目標輝度に近づくように（即ち、これらの差分が０に近づくように）、撮像素子１２の露出量を算出する。露出量算出部１９は、算出された露出量、即ち補正露出量に関する補正露出量情報を生成し、露出制御部２０に出力する。
【００９７】
次いで、露出制御部２０は、補正露出量情報に基づいて、ドライバ２１を制御する。ドライバ２１は、露出制御部２０による制御により、レンズユニット１１の絞り、撮像素子１２のシャッタスピード、アナログ処理部１３のゲイン等を調整する。即ち、露出制御部２０は、撮像時の露出を制御する。これにより、撮像素子１２の露出量が、補正露出量に一致する。
【００９８】
以上により、第１の実施形態によれば、撮像装置１０は、各ブロックの特徴量、具体的には色相、彩度、及びログ変換輝度に基づいて、各ブロックの複雑度を算出する。そして、撮像装置１０は、各ブロックの複雑度に基づいて、各ブロックの輝度に重み付けすることで、各ブロックの補正輝度を算出する。そして、撮像装置１０は、補正輝度の平均値、即ち補正平均輝度に基づいて、撮像時の露出を制御する。これにより、撮像装置１０は、輝度が一様な領域、例えば背景領域の補正輝度を小さくし、輝度の変化が激しい領域、例えば人物と背景との境界領域の補正輝度を大きくすることができる。
【００９９】
これにより、背景領域が平均輝度に与える影響は小さくなる一方、人物領域が平均輝度に与える影響は大きくなるので、撮像装置１０は、より広範なダイナミックレンジ（即ち、人物領域の補正輝度及び背景領域の補正輝度）を使って、露出を制御することができる。したがって、撮像装置１０は、従来よりも適正な露出制御を行うことができる。
【０１００】
さらに、撮像装置１０は、画素積算値、具体的にはＲＧＢ積算値に基づいて、各ブロックの特徴量を算出するので、各ブロックの複雑度をより正確に算出することができる。
【０１０１】
さらに、撮像装置１０は、隣接するブロック同士の特徴量の差分に基づいて、各ブロックの複雑度を算出するので、各ブロックの複雑度をより正確に算出することができる。
【０１０２】
さらに、撮像装置１０は、ブロック毎に複数種類の特徴量、即ち色相、彩度、及びログ変換輝度を算出する。そして、撮像装置１０は、各ブロックの色相複雑度、彩度複雑度、及び輝度複雑度を算出し、これらの複雑度をブロック毎に混合することで、各ブロックの混合複雑度を算出する。そして、撮像装置１０は、各ブロックの混合複雑度に基づいて、各ブロックの輝度に重み付けする。これにより、撮像装置１０は、補正輝度をより正確に算出することができる。
【０１０３】
＜５．第２の実施形態＞
次に、第２の実施形態について説明する。第２の実施形態の趣旨は以下の通りである。即ち、撮像画像中、人物の顔が描かれた領域、即ち顔領域が大きい場合、顔領域内での複雑度が小さくなる場合がある。そこで、第２の実施形態では、顔領域内の複雑度を補完する処理を行う。
【０１０４】
具体的には、撮像装置１０は、上述した処理に加え、以下の処理を行なう。即ち、複雑度算出部１７は、色相マップ及び彩度マップに基づいて、混合複雑度マップから、色相及び彩度が肌色を示す肌色領域を抽出する。さらに、複雑度算出部１７は、図１２に示す有効領域判定グラフＬ１及び図１３に示す有効領域判定マップ２３０に基づいて、有効領域を判定する。そして、複雑度算出部１７は、有効領域内の肌色領域が顔領域であると判定し、顔領域の複雑度を補完する。具体的には、複雑度算出部１７は、顔領域の複雑度を上昇させる。上昇量については、所望の値が予め設定される。これにより、複雑度算出部１７は、顔領域補完複雑度マップを生成する。その後の処理は第１の実施形態と同様である。
【０１０５】
ここで、有効領域判定グラフＬ１は、肌色領域の大きさと、有効領域として判定可能な有効判定可能番号との対応関係を示す。例えば、肌色領域の大きさがＴｈ１以下の場合には、有効判定可能番号は２となり、肌色領域の大きさがＴｈ２以上の場合には、有効判定可能番号は８となる。有効領域判定マップ２３０は、ブロック毎に１〜８の判定番号が付与されたマップである。即ち、複雑度算出部１７は、肌色領域の大きさと、有効領域判定グラフＬ１とに基づいて、有効判定可能番号を特定する。そして、複雑度算出部１７は、有効領域判定マップ２３０の各ブロックのうち、有効判定可能番号以上の判定番号を有するブロックを有効領域と判定する。
【０１０６】
例えば、複雑度算出部１７は、有効判定可能番号が２となる場合、有効領域判定マップ２３０内の領域２３２を有効領域として判定する。一方、複雑度算出部１７は、有効判定可能番号が８となる場合、有効領域判定マップ２３０内の領域２３３を有効領域として判定する。このように、複雑度算出部１７は、肌色領域が大きい場合には、顔以外の肌色領域を顔領域であると誤判定するのを防止するために、画像中央を有効領域として判定する。なお、複雑度算出部１７は、肌色領域に対する有効判定可能番号が整数にならない場合、取得した値を四捨五入することで、有効判定可能番号を取得する。
【０１０７】
例えば、図１４に示す撮像画像２００が生成された場合、画像中央のマネキン及び机が肌色となる。この場合、複雑度算出部１３は、図１５（ａ）に示す混合複雑度マップ２１０を生成する。なお、図１５（ａ）は、各ブロックの混合複雑度を省略している。そして、複雑度算出部１３は、混合複雑度マップ２１０から、肌色領域２１１を抽出する。肌色領域２１１の大きさはＴｈ２以上であるとする。そして、複雑度算出部１３は、有効領域判定グラフＬ１に基づいて、肌色領域２１１の大きさに対応する有効判定可能番号として、８を取得する。そして、複雑度算出部１３は、有効判定可能番号及び有効領域判定マップ２３０に基づいて、有効領域を判定する。これにより、複雑度算出部１３は、肌色領域２１１のうち、枠２２０で囲まれた肌色領域２１１ｂを除外し、肌色領域２１１ａのみを顔領域と判定する。そして、複雑度算出部１７は、混合複雑度マップ２００のうち、顔領域のみを補完する。例えば、複雑度算出部１７は、図１６（ａ）に示す混合複雑度マップ２００を補完することで、（ｂ）に示す顔領域補完複雑度マップ２４０を生成する。
【０１０８】
＜６．第２の実施形態による処理＞
次に、第２の実施形態による処理の手順を図１７に示すフローチャートに沿って説明する。第２の実施形態では、撮像装置１０は、上述したステップＳ１５とステップＳ１６との間に、図１７に示すステップＳ２１及びステップＳ２２の処理を行う。
【０１０９】
即ち、ステップＳ２１において、複雑度算出部１７は、複雑度算出部１７は、色相マップ及び彩度マップに基づいて、混合複雑度マップから、色相及び彩度が肌色を示す肌色領域を抽出する。
【０１１０】
ステップＳ２２において、複雑度算出部１７は、肌色領域の大きさと、有効領域判定グラフＬ１とに基づいて、有効判定可能番号を特定する。そして、複雑度算出部１７は、有効領域判定マップ２３０の各ブロックのうち、有効判定可能番号以上の判定番号を有するブロックを有効領域と判定する。次いで、複雑度算出部１７は、有効領域内の肌色領域が顔領域であると判定し、顔領域の複雑度を補完する。これにより、複雑度算出部１７は、顔領域補完複雑度マップを生成する。複雑度算出部１７は、顔領域補完複雑度マップを補正輝度算出部１８に出力する。その後、撮像装置１０は、顔領域補完複雑度マップに基づいて、ステップＳ１６以降の処理を行なう。第２の実施形態によれば、撮像装置１０は、顔領域の露出をより正確に制御することができる。
【０１１１】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１１２】
１０ 撮像装置
１１ レンズユニット
１２ 撮像素子
１３ アナログ処理部
１４ 信号処理部
１５ ブロック分割部
１６ 特徴量算出部
１７ 複雑度算出部
１８ 補正輝度算出部
１９ 露出量算出部
２０ 露出制御部
２１ ドライバ
【技術分野】
【０００１】
本発明は、露出制御装置に関する。
【背景技術】
【０００２】
撮像画像の中央領域の輝度に重み付けを行った上で平均輝度を算出し、この平均輝度が目標輝度に近づくように露出を制御する撮像装置、いわゆる中央重点測光を行う撮像装置が知られている。このように露出を制御するのは、撮像画像の中央領域に撮像対象の被写体が描かれているケースが多いと考えられるからである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１０６６１７号公報
【特許文献２】特開２００９−１６４６７７号公報
【特許文献３】特開２００７−１５８９９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、この技術では、被写体が中央領域からずれて描かれている場合、当該被写体について適切な露出が得られなかった。また、撮像画像の中央領域に重み付けを行なっても、平均輝度は、中央領域以外の背景領域の輝度の影響も強く受ける。背景領域は中央領域に比べて面積が大きいからである。このため、中央領域に対して背景領域が一様に高い輝度を有していた場合（例えば、白い壁を背にした人物を撮影する場合）には、平均輝度が背景領域の輝度の影響を受けてしまう。この場合、従来の撮像装置は、平均輝度を下げる制御を行うので、全体的に露出が不足した撮像画像を生成してしまっていた。
【０００５】
一方、中央領域に対して背景領域が一様に低い輝度を有していた場合（例えば、黒い壁を背にした人物を撮影する場合）にも、平均輝度が背景領域の輝度の影響を受けてしまう。この場合、従来の撮像装置は、平均輝度を上げる制御を行うので、全体的に露出が過剰な撮像画像を生成してしまっていた。この撮像画像では、例えば、暗部が不自然に明るい状態（浮いた状態）となり、人物の顔部分が飽和してしまう場合があった。
【０００６】
なお、特許文献１〜３には、露出制御に関する技術が開示されている。特許文献１に開示された技術は、輝度が所定値以上の高輝度グループを撮像画像から抽出し、高輝度グループの輝度及び面積に基づいて、露出を制御する。しかし、この技術では、上述した白い壁が高輝度グループに所属してしまうので、白い壁を背にした人物を撮影する場合には、やはり全体的に露出が不足した撮像画像が生成されてしまっていた。したがって、この技術では、上述した問題を解決することができなかった。
【０００７】
特許文献２に開示された技術は、撮像画像に対していわゆる顔検出処理を行うことで、撮像画像から顔画像を抽出し、顔画像及びその周辺の輝度に基づいて、露出を制御する。しかし、この技術には、顔検出という演算コストの高い処理が必要であった。さらに、特許文献２には、顔画像及びその周辺の輝度のバランスをどのように制御するかについて、何ら開示されていなかった。したがって、この技術では、上述した例のように、白い壁を背にした人物を撮影する場合、人物の顔画像と、背景画像との輝度のバランスを適切に調整することができなかった。したがって、この技術でも、上述した問題を解決することができなかった。
【０００８】
特許文献３に開示された技術は、撮像画像を複数のブロックに分割し、隣接するブロック間の輝度差を算出する。そして、この技術は、輝度差が所定値以上となるブロックから逆光のブロックを検出する。したがって、この技術は、逆光時にのみ効果があるものなので、上述した問題を解決することができなかった。
【０００９】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、従来よりも適切な露出制御を行うことが可能な、新規かつ改良された露出制御装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある観点によれば、撮像画像を取得する撮像画像取得部と、撮像画像を複数のブロックに分割するブロック分割部と、ブロック毎に輝度を含む特徴量を算出する特徴量算出部と、各ブロックの特徴量に基づいて、各ブロックの複雑度を算出する複雑度算出部と、各ブロックの複雑度に基づいて、各ブロックの輝度に重み付けすることで、各ブロックの補正輝度を算出する補正輝度算出部と、補正輝度に基づいて、撮像時の露出を制御する露出制御部と、を備えることを特徴とする、露出制御装置が提供される。
【００１１】
この観点によれば、露出制御装置は、各ブロックの特徴量に基づいて、各ブロックの複雑度を算出する。そして、露出制御装置は、各ブロックの複雑度に基づいて、各ブロックの輝度に重み付けすることで、各ブロックの補正輝度を算出する。そして、露出制御装置は、補正輝度に基づいて、撮像時の露出を制御する。これにより、露出制御装置は、輝度が一様な領域、例えば背景領域の補正輝度を小さくし、輝度の変化が激しい領域、例えば人物領域の補正輝度を大きくすることができる。したがって、露出制御装置は、より広範なダイナミックレンジ、特に人物領域の補正輝度を使って、露出を制御することができる。
【００１２】
ここで、ブロック分割部は、ブロック毎に画素値を積算することで、画素積算値を算出し、特徴量算出部は、各ブロックの画素積算値に基づいて、各ブロックの特徴量を算出してもよい。
【００１３】
この観点によれば、露出制御装置は、画素積算値に基づいて、各ブロックの特徴量を算出するので、各ブロックの複雑度をより正確に算出することができる。
【００１４】
また、複雑度算出部は、隣接するブロック同士の特徴量の差分に基づいて、各ブロックの複雑度を算出してもよい。
【００１５】
この観点によれば、露出制御装置は、隣接するブロック同士の特徴量の差分に基づいて、各ブロックの複雑度を算出するので、各ブロックの複雑度をより正確に算出することができる。
【００１６】
また、特徴量算出部は、ブロック毎に複数種類の特徴量を算出し、複雑度算出部は、特徴量の種類ごとに各ブロックの複雑度を算出し、特徴量の種類毎の複雑度をブロック毎に混合することで、各ブロックの混合複雑度を算出し、補正輝度算出部は、各ブロックの混合複雑度に基づいて、各ブロックの輝度に重み付けしてもよい。
【００１７】
この観点によれば、露出制御装置は、ブロック毎に複数種類の特徴量を算出する。そして、露出制御装置は、特徴量の種類ごとに各ブロックの複雑度を算出し、これらの複雑度をブロック毎に混合することで、各ブロックの混合複雑度を算出する。そして、露出制御装置は、各ブロックの混合複雑度に基づいて、各ブロックの輝度に重み付けする。これにより、露出制御装置は、補正輝度をより正確に算出することができる。
【００１８】
また、複雑度算出部は、各ブロックのうち、人物の顔が描かれた顔領域の複雑度を補完してもよい。
【００１９】
この観点によれば、露出制御装置は、顔領域の露出をより正確に制御することができる。
【００２０】
また、補正輝度算出部は、補正輝度の平均値である平均輝度を算出し、露出制御部は、平均輝度が所定の目標輝度に近づくように、撮像時の露出を制御してもよい。
【００２１】
この観点によれば、露出制御装置は、輝度が一様な領域、例えば背景領域が平均輝度に与える影響を小さくし、輝度の変化が激しい領域、例えば人物領域が平均輝度に与える影響を小さくすることができる。したがって、露出制御装置は、より広範なダイナミックレンジ、特に人物領域の補正輝度を使って、露出を制御することができる。
【００２２】
本発明の他の観点によれば、撮像画像を取得する撮像画像取得ステップと、前記撮像画像を複数のブロックに分割するブロック分割ステップと、ブロック毎に輝度を含む特徴量を算出する特徴量算出ステップと、各ブロックの特徴量に基づいて、各ブロックの複雑度を算出する複雑度算出ステップと、各ブロックの複雑度に基づいて、各ブロックの輝度に重み付けすることで、各ブロックの補正輝度を算出する補正輝度算出ステップと、前記補正輝度に基づいて、撮像時の露出を制御する露出制御ステップと、を含むことを特徴とする、露出制御方法が提供される。
【００２３】
この観点による露出制御方法は、各ブロックの特徴量に基づいて、各ブロックの複雑度を算出する。そして、露出制御方法は、各ブロックの複雑度に基づいて、各ブロックの輝度に重み付けすることで、各ブロックの補正輝度を算出する。そして、露出制御方法は、補正輝度に基づいて、撮像時の露出を制御する。これにより、露出制御方法は、輝度が一様な領域、例えば背景領域の補正輝度を小さくし、輝度の変化が激しい領域、例えば人物領域の補正輝度を大きくすることができる。したがって、露出制御方法は、より広範なダイナミックレンジ、特に人物領域の補正輝度を使って、露出を制御することができる。
【発明の効果】
【００２４】
以上説明したように本発明によれば、背景領域の補正輝度は小さくなる一方、人物領域の補正輝度は大きくなるので、露出制御装置は、より広範なダイナミックレンジ、特に人物領域の補正輝度を使って、露出を制御することができる。したがって、露出制御装置は、従来よりも適正な露出制御を行うことができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】撮像装置により生成された複雑度マップの一例を示す説明図である。
【図３】撮像装置により生成された複雑度マップの一例を示す説明図である。
【図４】撮像装置により生成された複雑度マップの一例を示す説明図である。
【図５】複雑度マップの生成過程を示す説明図である。
【図６】（ａ）各ブロックの色相積算値を示す色相積算値マップの一例を示す説明図である。（ｂ）各ブロックの色相複雑度を示す色相複雑度マップの一例を示す説明図である。
【図７】正規化された色相複雑度マップである正規化色相複雑度マップの一例を示す説明図である。
【図８】正規化彩度複雑度マップの一例を示す説明図である。
【図９】正規化輝度複雑度マップの一例を示す説明図である。
【図１０】各ブロックの混合複雑度を示す混合複雑度マップの一例を示す説明図である。
【図１１】撮像装置による処理の手順を示すフローチャートである。
【図１２】肌色領域の大きさと人物の顔とみなされる有効領域との対応関係を示すグラフである。
【図１３】有効領域マップの一例を示す説明図である。
【図１４】撮像画像の一例を示す説明図である。
【図１５】（ａ）、（ｂ）第２の実施形態による顔領域判定の内容を説明するための説明図である。
【図１６】（ａ）補正前の混合複雑度マップの一例を示す説明図である。（ｂ）補正後の混合複雑度マップの一例を示す説明図である。
【図１７】第２の実施形態に係る撮像装置による処理の手順を示すフローチャートである。
【図１８】撮像画像の一例を模式的に示す説明図である。
【図１９】図１８の撮像画像に対して露出補正を行った後の輝度分布を示すヒストグラムである。
【図２０】撮像画像の一例を模式的に示す説明図である。
【図２１】図２０の撮像画像に対して露出補正を行った後の輝度分布を示すヒストグラムである。
【図２２】撮像画像の一例を模式的に示す説明図である。
【図２３】図２２の撮像画像に対して露出補正を行った後の輝度分布を示すヒストグラムである。
【図２４】撮像画像の一例を模式的に示す説明図である。
【図２５】図２４の撮像画像に対して露出補正を行った後の輝度分布を示すヒストグラムである。
【発明を実施するための形態】
【００２６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２７】
＜１．中央重点測光の問題点＞
本発明者は、従来の撮像装置、具体的には中央重点測光を行う撮像装置の問題点について検討を重ねた結果、本実施形態に係る撮像装置に想到するに至った。そこで、まず、従来の撮像装置の問題点を詳細に説明する。
【００２８】
従来の撮像装置は、撮像画像の中央領域の輝度に重み付けを行った上で平均輝度を算出し、この平均輝度が目標輝度に近づくように露出を制御する。この目標輝度は、例えば、中輝度（グレー色の輝度）程度に設定される。中央重点測光は、撮像画像の中央領域に重み付けを行なうものであるが、平均輝度は、中央領域以外の背景領域の輝度の影響も強く受ける。
【００２９】
グレーの壁を背にした人物を従来の撮像装置を用いて撮影した場合、例えば図１８に示す撮像画像３００が得られる。撮像画像３００の領域Ａ１には人物の顔、領域Ｂ１には人物の胴体、領域Ｃ１には背景が描かれている。領域Ｃ１の輝度は一様であり、かつ、領域Ａ１、Ｂ１の輝度に近い。従来の撮像装置は、撮像画像３００の平均輝度を算出し、この平均輝度が目標輝度に近づくように露出を制御する。露出制御後の撮像画像は、例えば図１９に示す輝度分布を示す。図１９の横軸は輝度、縦軸は度数、即ち各輝度を有する画素の数を示す。ＴｈＬは目標輝度を示す。ヒストグラムＬＡ１は領域Ａ１の輝度分布、ヒストグラムＬＢ１は領域Ｂ１の輝度分布、ヒストグラムＬＣ１は領域Ｃ１の輝度分布を示す。この例の場合、背景領域である領域Ｃ１の輝度が目標輝度に近いので、適正な露出が行われる。
【００３０】
一方、黒い壁を背にした人物を従来の撮像装置を用いて撮影した場合、例えば図２０に示す撮像画像３１０が得られる。撮像画像３１０の領域Ａ２には人物の顔、領域Ｂ２には人物の胴体、領域Ｃ２には背景が描かれている。領域Ｃ２の輝度は一様であり、かつ、領域Ａ２、Ｂ２の輝度よりも低い。この例の場合、背景領域である領域Ｃ２の輝度が目標輝度よりも低く、かつ、領域Ｃ２の輝度が平均輝度に強く影響をあたえる。即ち、平均輝度は、領域Ｃ２の輝度の影響により、目標輝度よりも小さくなる。このため、従来の撮像装置は、平均輝度を目標輝度に近づけるため、平均輝度を上げる制御を行なう。したがって、従来の撮像装置は、領域Ａ２、Ｂ２の輝度を露出制御に反映させることができない。言い換えれば、従来の撮像装置は、撮像画像のダイナミックレンジを有効に使うことができない。
【００３１】
露出制御後の撮像画像は、例えば図２１に示す輝度分布を示す。図２１の横軸は輝度、縦軸は度数、即ち各輝度を有する画素の数を示す。ＴｈＬは目標輝度を示す。ヒストグラムＬＡ２は領域Ａ２の輝度分布、ヒストグラムＬＢ２は領域Ｂ２の輝度分布、ヒストグラムＬＣ２は領域Ｃ２の輝度分布を示す。図２１に示されるように、領域Ａ２、Ｂ２の輝度は、領域Ｃ２の輝度に引きずられて大きくなってしまうので、領域Ａ２の輝度が飽和してしまう（即ち、白飛びが起こってしまう）。また、領域Ｃ２の輝度が不自然に高くなってしまう。
【００３２】
一方、白い壁を背にした人物を従来の撮像装置を用いて撮影した場合、例えば図２２に示す撮像画像３２０が得られる。撮像画像３２０の領域Ａ３には人物の顔、領域Ｂ３には人物の胴体、領域Ｃ３には背景が描かれている。領域Ｃ３の輝度は一様であり、かつ、領域Ａ３、Ｂ３の輝度よりも高い。この例の場合、背景領域である領域Ｃ３の輝度が目標輝度よりも高く、かつ、領域Ｃ３の輝度が平均輝度に強く影響をあたえる。即ち、平均輝度は、領域Ｃ３の輝度の影響により、目標輝度よりも高くなる。このため、従来の撮像装置は、平均輝度を目標輝度に近づけるため、平均輝度を下げる制御を行なう。したがって、この場合にも、従来の撮像装置は、領域Ａ３、Ｂ３の輝度を露出制御に反映させることができない。言い換えれば、従来の撮像装置は、撮像画像のダイナミックレンジを有効に使うことができない。
【００３３】
露出制御後の撮像画像は、例えば図２３に示す輝度分布を示す。図２３の横軸は輝度、縦軸は度数、即ち各輝度を有する画素の数を示す。ＴｈＬは目標輝度を示す。ヒストグラムＬＡ３は領域Ａ３の輝度分布、ヒストグラムＬＢ３は領域Ｂ３の輝度分布、ヒストグラムＬＣ３は領域Ｃ３の輝度分布を示す。図２３に示されるように、領域Ａ３、Ｂ３の輝度は、領域Ｃ３の輝度に引きずられて小さくなってしまうので、領域Ａ３、Ｂ３の輝度、即ち露出が不足してしまう。
【００３４】
次に、より一般的なシーンについて検討する。雪が積もった地面に立っている人物を撮影した場合、例えば図２４に示す撮像画像３３０が得られる。この撮像画像３３０では、雪が積もった地面、及び晴天の空が背景として比較的広い領域に描かれている。これらの領域、即ち背景領域の輝度はほぼ一様であり、かつ、人物領域の輝度よりも高い。この例の場合、背景領域の輝度が目標輝度よりも高く、かつ、背景領域の輝度が平均輝度に強く影響をあたえる。即ち、平均輝度は、背景領域の輝度の影響により、目標輝度よりも高くなる。このため、従来の撮像装置は、平均輝度を目標輝度に近づけるため、平均輝度を下げる制御を行なう。したがって、この場合にも、従来の撮像装置は、人物領域の輝度を露出制御に反映させることができない。言い換えれば、従来の撮像装置は、撮像画像のダイナミックレンジを有効に使うことができない。
【００３５】
露出制御後の撮像画像は、例えば図２５に示す輝度分布を示す。図２５の横軸は輝度、縦軸は度数、即ち各輝度を有する画素の数を示す。ヒストグラムＬ１０は、撮像画像３３０の輝度分布を示す。特に、ピーク部分Ｌ１０ａは、背景領域の輝度分布を示す。図２５に示されるように、背景領域以外の領域、例えば人物領域輝度は、背景領域の輝度に引きずられて小さくなってしまうので、例えば人物領域の輝度、即ち露出が不足してしまう。
【００３６】
このように、従来の撮像装置は、撮像画像の各領域に描かれた被写体の種類を問題とせず、単に平均輝度を目標輝度に近づける制御を行なっていた。そして、平均輝度は、撮像画像のうち背景領域の影響を強く受ける。このため、従来の撮像装置は、晴天の空や雪の積もった地面のように、実際の（即ち、人間が被写体を直接視認したときの）輝度が高い被写体が背景領域として描かれている場合にも、平均輝度を下げる制御を行なっていた。即ち、従来の撮像装置は、背景領域の輝度を本来の露出方向（露出を高める方向）とは反対方向に露出を制御していた。さらに、従来の撮像装置は、背景領域が広いほど、大きく露出を変化させていた。したがって、背景領域が広いほど、撮像画像の輝度と実際の被写体の輝度との乖離が大きくなってしまっていた。
【００３７】
このため、従来の撮像装置は、ダイナミックレンジを使い切っていないにも関わらず、撮像画像の露出不足または過剰露出が生じてしまうという問題があった。本実施形態は、従来よりも適切な露出を行なうことができる撮像装置（露出制御装置）を提供することを目的とする。
【００３８】
＜２．第１の実施形態による処理の概要＞
次に、第１の実施形態による処理の概要について説明する。第１の実施形態に係る撮像装置１０（図１参照）は、撮像画像を複数のブロック（例えば１６×１６のブロック）に分割し、ブロック毎に輝度等の特徴量を算出する。撮像装置１０は、隣接するブロック同士の特徴量の差分を算出し、差分の絶対値に基づいて、各ブロックの複雑度を算出する。そして、撮像装置１０は、各ブロックの複雑度を示す複雑度マップを生成する。例えば、撮像装置１０は、図１８に示す撮像画像３００に対して、図２に示す複雑度マップ１００を生成する。複雑度マップ１００は、ブロック１０１毎に複雑度が設定されている。複雑度の大きさは、各ブロック１０１のハッチングの濃度で示される。複雑度が大きいほど、ハッチングの濃度が大きくなる（黒に近くなる）。例えば、ブロック１０１ａは、領域Ｂ１と領域Ｃ１との境界に配置されるので、複雑度が大きくなる。一方、ブロック１０１ｂは、領域Ｃ１内に配置されるので、複雑度は小さくなる。
【００３９】
同様に、撮像装置１０は、図２０に示す撮像画像３１０に対して、図３に示す複雑度マップ１１０を生成する。複雑度マップ１１０は、ブロック１１１毎に複雑度が設定されている。例えば、ブロック１１１ａは、領域Ｂ２と領域Ｃ２との境界に配置されるので、複雑度が大きくなる。なお、撮像装置１０は、図２２に示す撮像画像３２０に対しても、複雑度マップ１１０と同様のマップを生成する。撮像画像３１０と撮像画像３２０とは、背景領域である領域Ｃ２、Ｃ３の特徴量が互いに異なるが、特徴量の差分の絶対値は各ブロックで同様の値となるからである。
【００４０】
より具体的には、撮像装置１０は、図２４に示す撮像画像３３０に対して、図４に示す複雑度マップ１３０を生成する。複雑度マップ１３０は、ブロック１３１ごとに複雑度が設定されている。図４に示す複雑度マップ１３０では、複雑度を示す数値が各ブロックに記載されている。また、各ブロック１３１には、複雑度に応じた濃度のハッチングが付されている。この例では、輝度が大きくかつ面積の大きい背景領域（空及び地面が描かれている領域）の複雑度が小さくなっている。
【００４１】
そして、撮像装置１０は、複雑度に基づいて、各ブロックの輝度に重み付けを行なうことで、補正輝度を算出する。撮像装置１０は、複雑度が大きいほど、重みを大きくする。撮像装置１０は、補正輝度の平均値を平均輝度とし、この平均輝度が目標輝度に近づくように露出を制御する。
【００４２】
したがって、輝度が一様な領域、例えば背景領域の補正輝度は小さくなり、輝度の変化が激しい領域、例えば人物領域の補正輝度は大きくなるので、背景領域が平均輝度に与える影響は小さくなる一方、人物領域が平均輝度に与える影響は大きくなる。言い換えれば、図２５等に示したヒストグラムの縦軸を（度数）×（補正輝度）とした場合、ヒストグラムはより平坦に近づく。即ち、ヒストグラムの各輝度に対する（度数）×（補正輝度）の値が、目標輝度を中心としてより均等に分布する。このため、撮像装置１０は、より広範なダイナミックレンジを使って、平均輝度を算出することができ、かつ、露出を制御することができる。なお、撮像画像３００の背景領域の輝度は目標輝度に近いので、複雑度マップ１００が示す複雑度は、他の複雑度マップ１１０、１３０が示す複雑度に比べて小さい。したがって、各ブロック１０１の補正輝度は、補正前の輝度と同程度となるので、露出量は従来の場合とほぼ同程度となる。したがって、本実施形態による副作用は発生しない。
【００４３】
＜３．撮像装置の構成＞
次に、図１に示すブロック図に基づいて、第１の実施形態に係る撮像装置（露出制御装置）１０の構成について説明する。撮像装置１０は、レンズユニット１１と、撮像素子１２と、アナログ処理部１３と、信号処理部１４と、ブロック分割部１５と、特徴量算出部１６と、複雑度算出部１７と、補正輝度算出部１８と、露出量算出部１９と、露出制御部２０と、ドライバ２１とを備える。
【００４４】
なお、撮影装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、フラッシュメモリ等のハードウェアを有しており、ＣＰＵがＲＯＭに記憶されたプログラムを読みだして実行することによって、上記各機能ブロックによる処理が実現される。即ち、ＲＯＭには、撮像装置１０に、上記各機能ブロック、特にアナログ処理部１３と、信号処理部１４と、ブロック分割部１５と、特徴量算出部１６と、複雑度算出部１７と、補正輝度算出部１８と、露出量算出部１９と、露出制御部２０と、ドライバ２１とを実現させるためのプログラムが記憶されている。
【００４５】
なお、他の実施形態としては、ブロック分割部１５、特徴量算出部１６、複雑度算出部１７、補正輝度算出部１８、露出量算出部１９、及び露出制御部２０を備える露出制御装置（例えばパーソナルコンピュータやサーバ等のコンピュータ）が考えられる。この実施形態では、露出制御装置は撮像装置から撮像画像を取得する。
【００４６】
レンズユニット１１は、撮影装置１０に対して着脱可能となっており、複数のレンズ、絞り機構、及びシャッタ等を備える。レンズユニット１１は、撮影装置１０の外部から可視光を取り込み、取り込んだ光を、レンズ等を介して撮像素子１２に入射させる。
【００４７】
撮像素子１２は、マトリックス状に配置された複数の単位素子と、図示しない撮像素子制御部とを備える。単位素子は、撮像画像の単位画素に対応するものである。各単位素子は、赤色光、緑色光、青色光それぞれの受信強度に関するＲ情報、Ｇ情報、Ｂ情報（以下、これらをまとめて「ＲＧＢ情報」とも称する）を撮像素子制御部に出力する。撮像素子制御部は、各単位素子から与えられたＲＧＢ情報に基づいて、ＲＧＢ情報を画素毎に有する撮像画像を生成する。撮像素子制御部は、生成された撮像画像をアナログ処理部１３に出力する。
【００４８】
アナログ処理部１３は、撮像素子１２から与えられた撮像画像をアナログ・デジタル変換し、変換後の撮像画像、即ち撮像画像のＲＡＷデータを信号処理部１４及びブロック分割部１５に出力する。信号処理部１４は、撮像画像に対して各種の補正処理（オブティカルブラック除去、ホワイトバランス調整、色再現補正、ガンマ補正等）を行い、補正処理後の撮像画像を撮像素子１０のフラッシュメモリ等に記憶する。
【００４９】
ブロック分割部１５は、撮像画像を複数のブロック（例えば１６×１６のブロック）に分割し、各ブロックに識別番号を付与する。そして、ブロック分割部は、ブロック毎にＲ情報、Ｇ情報、Ｂ情報を積算することで、Ｒ積算値、Ｇ積算値、Ｂ積算値（以下、「これらをまとめてＲＧＢ積算値」とも称する）を算出する。さらに、ブロック分割部は、これらの積算値と、以下の式（１）とに基づいて、各ブロックの輝度を算出する。
【００５０】
【数１】
【００５１】
式（１）中、Ｙはブロックの輝度、Ｒ、Ｇ、ＢはそれぞれＲ積算値、Ｇ積算値、Ｂ積算値である。ブロック分割部１５は、ＲＧＢ積算値とブロックの識別番号とが関連付けられた積算値マップを生成し、特徴量算出部１６に出力する。さらに、ブロック分割部１５は、輝度とブロックの識別番号とが関連付けられた輝度マップを生成し、特徴量算出部１６及び補正輝度算出部１８に出力する。
【００５２】
特徴量算出部１６は、積算値マップ及び輝度マップと、以下の式（２）〜（５）に基づいて、各ブロックの特徴量として、色相、彩度、及びログ変換輝度を算出する。
【００５３】
【数２】
【００５４】
式（２）、（３）中、Ｈは色相であり、０〜３６０の値をとる。Ｈ＝０の色相と、Ｈ＝３６０の色相とは同じとなる。即ち、色相の値は循環する。Ｒ、Ｇ、ＢはそれぞれＲ積算値、Ｇ積算値、Ｂ積算値である。ＭＡＸはＲＧＢ積算値のうち最大の値であり、ＭＩＮは、ＲＧＢ積算値のうち最小の値である。
【００５５】
【数３】
【００５６】
式（４）中、Ｓは彩度であり、ＭＡＸ、ＭＩＮは式（２）、（３）と同様である。彩度は０〜１の値をとる。
【００５７】
【数４】
【００５８】
式（５）中、Ｌはログ変換輝度であり、Ｙは輝度である。第１の実施形態では、輝度の値によらず、後述する複雑度算出部１７によって算出される輝度差と人間が感じる輝度差とが近似するように、輝度をログ変換する。勿論、複雑度算出部１７は、式（１）で求められる輝度をそのまま用いて輝度差を算出してもよい。この場合、高輝度域で算出される輝度差と人間が感じる輝度差との乖離は、低輝度域での乖離よりも大きくなる。特徴量算出部１６は、ブロックの色相とブロックの識別番号とが関連付けられた色相マップ、ブロックの彩度とブロックの識別番号とが関連付けられた彩度マップ、及び、ブロックのログ変換輝度とブロックの識別番号とが関連付けられたログ変換輝度マップを生成し、複雑度算出部１７に出力する。
【００５９】
複雑度算出部１７は、色相マップ、彩度マップ、及びログ変換輝度マップに基づいて、各ブロックの色相複雑度、彩度複雑度、及び輝度複雑度を算出する。具体的には、複雑度算出部１７は、各ブロックと、当該ブロックの上下左右に隣接する４つのブロックとの特徴量の差分を算出し、当該差分に基づいて、各特徴量の複雑度を算出する。例えば、複雑度算出部１７は、図５に示すブロック３１ａの複雑度を、以下の式（６）〜（９）に基づいて算出する。
【００６０】
【数５】
【００６１】
式（６）、（７）中、ＣＨは色相複雑度、Ａ１〜Ｅ１は図５に示すブロック３１ａ〜３１ｅの色相である。
【００６２】
【数６】
【００６３】
式（８）中、ＣＳは彩度複雑度、Ａ２〜Ｅ２は図５に示すブロック３１ａ〜３１ｅの彩度である。
【００６４】
【数７】
【００６５】
式（９）中、ＣＬは輝度複雑度、Ａ３〜Ｅ３は図５に示すブロック３１ａ〜３１ｅのログ変換輝度である。
【００６６】
複雑度算出部１７は、各ブロックについて上述した処理を行うことで、各ブロックの色相複雑度、彩度複雑度、及び輝度複雑度を算出する。そして、複雑度算出部１７は、各ブロックの色相複雑度を示す色相複雑度マップ、各ブロックの彩度複雑度を示す彩度複雑度マップ、各ブロックの輝度複雑度を示す輝度複雑度マップを生成する。
【００６７】
例えば、図６（ａ）に示す色相マップ４０が生成された場合、複雑度算出部１７は、図６（ｂ）に示す色相複雑度マップ５０を生成する。色相マップ４０の各ブロックのうち、枠４２周辺のブロックがほぼ均一な色相（２００〜２２０）を有しているのに対し、枠４２内のブロック、特にブロック４１は、枠４２周辺のブロックの３／５程度の色相（１２０）を有している。したがって、色相複雑度マップ５０のうち、枠５２で囲まれたブロック、特にブロック５１の色相複雑度は、枠５２周辺の色相複雑度よりも大きくなっている。なお、複雑度算出部１７は、上下左右および斜め方向に隣接する８つのブロックの特徴量との差分に基づいて、複雑度を算出してもよい。
【００６８】
複雑度算出部１７は、以下の式（１０）〜（１２）に基づいて、各ブロックの複雑度を正規化する。これにより、複雑度算出部１７は、正規化色相複雑度マップ、正規化彩度複雑度マップ、及び正規化輝度複雑度マップを生成する。
【００６９】
【数８】
【００７０】
式（１０）中、ＩＨ（ｎ）は識別番号ｎのブロックの正規化色相複雑度、ＣＨ（ｎ）は識別番号ｎのブロックの色相複雑度、ＩＭＡＸは正規化後の彩度複雑度の最大値であり、予め所望の値に設定される。ＰＨは色相複雑度の正規化係数であり、予め所望の値に設定される。ｍａｘ（ＣＨ）は、色相複雑度マップの全ブロックが示す色相複雑度のうち、最大の値、即ち色相複雑度の最大値である。ｍａｘ（ＰＨ、ｍａｘ（ＣＨ））は、ＰＨ、ｍａｘ（ＣＨ）のうち、大きい方の値である。したがって、複雑度算出部１７は、色相複雑度の最大値で各ブロックの色相複雑度を正規化するが、色相複雑度の最大値が極端に小さい場合には、固定値であるＰＨで正規化することとなる。
【００７１】
【数９】
【００７２】
式（１１）中、ＩＳ（ｎ）は識別番号ｎのブロックの正規化彩度複雑度、ＣＳ（ｎ）は識別番号ｎのブロックの彩度複雑度、ＩＭＡＸは正規化後の彩度複雑度の最大値であり、予め所望の値に設定される。ＰＳは彩度複雑度の正規化係数であり、予め所望の値に設定される。ｍａｘ（ＣＳ）は、彩度複雑度マップの全ブロックが示す彩度複雑度のうち、最大の値、即ち色相複雑度の最大値である。ｍａｘ（ＰＳ、ｍａｘ（ＣＳ））は、ＰＳ、ｍａｘ（ＣＳ）のうち、大きい方の値である。
【００７３】
【数１０】
【００７４】
式（１２）中、ＩＬ（ｎ）は識別番号ｎのブロックの正規化輝度複雑度、ＣＬ（ｎ）は識別番号ｎのブロックの輝度複雑度、ＩＭＡＸは正規化後の輝度複雑度の最大値であり、予め所望の値に設定される。ＰＬは輝度複雑度の正規化係数であり、予め所望の値に設定される。ｍａｘ（ＣＬ）は、輝度複雑度マップの全ブロックが示す輝度複雑度のうち、最大の値、即ち輝度複雑度の最大値である。ｍａｘ（ＰＬ、ｍａｘ（ＣＬ））は、ＰＬ、ｍａｘ（ＣＬ）のうち、大きい方の値である。
【００７５】
式（１０）において、ＩＭＡＸ＝８、ＰＨ＝９０とすると、図６（ｂ）に示す色相複雑度マップは、図７に示す正規化色相複雑度マップ６０に正規化される。正規化色相複雑度マップ６０の各ブロック６１は、０〜８の正規化色相複雑度を有する。
【００７６】
さらに、複雑度算出部１７は、正規化色相複雑度、正規化彩度複雑度、及び正規化輝度複雑度をブロック毎に混合することで、混合複雑度を算出する。具体的には、複雑度算出部１７は、以下の式（１３）に基づいて、混合複雑度を算出する。そして、複雑度算出部１７は、ブロックの混合複雑度とブロックの識別番号とが関連付けられた混合複雑度マップを生成する。
【００７７】
【数１１】
【００７８】
式（１３）中、Ｉ（ｎ）は、識別番号ｎのブロックの混合複雑度である。ＷＨ、ＷＳ、ＷＬは色相、彩度、及び輝度それぞれの混合重み係数であり、予め所望の値に設定される。これらの係数を調整することで、各複雑度が混合複雑度に寄与する割合を調整することができる。ｍａｘ（ＩＨ（ｎ）×ＷＨ，ＩＳ（ｎ）×ＷＳ，ＩＬ（ｎ）×ＷＬ）は、ＩＨ（ｎ）×ＷＨ，ＩＳ（ｎ）×ＷＳ，ＩＬ（ｎ）×ＷＬのうち、最大の値を示す。例えば、複雑度算出部１７は、図７に示す正規化色相複雑度マップ６０、図８に示す正規化彩度複雑度マップ７０、図９に示す正規化輝度複雑度マップ８０を生成した場合には、これらを混合することで、図１０に示す混合複雑度マップ９０を生成する。複雑度算出部１７は、混合複雑度マップを補正輝度算出部１８に出力する。
【００７９】
補正輝度算出部１８は、各ブロックの輝度に混合複雑度を乗じることで、各ブロックの補正輝度を算出する。即ち、補正輝度算出部１８は、混合複雑度に基づいて、各ブロックの輝度に重み付けする。さらに、補正輝度算出部１８は、式（１４）に基づいて、撮像画像の補正平均輝度を算出する。
【００８０】
【数１２】
【００８１】
式（１４）中、ＣＹは撮像画像の補正平均輝度、Ｙ（ｎ）×Ｉ（ｎ）は識別番号ｎのブロックの補正輝度である。したがって、補正輝度算出部１８は、各ブロックの輝度を加重平均することで、補正平均輝度を算出する。なお、混合複雑度が０のブロックは、加重平均の変化に対する影響が大きい。そこで、補正輝度算出部１８は、混合複雑度マップを構成する各ブロックの混合複雑度にオフセットとして１を加算することで、混合複雑度が０となるブロックがなくなるようにしてもよい。
【００８２】
さらに、補正輝度算出部１８は、上述した輝度マップに従来の測光処理（例えば、中央重点測光、多分割測光等）を施すことで、基準平均輝度を算出する。そして、補正輝度算出部１８は、以下の式（１５）に基づいて、補正平均輝度と基準平均輝度とを混合することで、混合平均輝度を算出する。
【００８３】
【数１３】
【００８４】
式（１５）中、ＦＹは混合平均輝度、ＮＹは基準平均輝度、ＣＹは補正平均輝度である。ＷＮ、ＷＣは基準平均輝度及び補正平均輝度それぞれの混合重み係数であり、予め所望の値に設定される。これらの係数を調整することで、各平均輝度が混合複雑度に寄与する割合を調整することができる。なお、補正輝度算出部１８は、混合複雑度による輝度の補正が効き過ぎることを防止するために、基準平均輝度と補正平均輝度との差分が大きい場合には、補正平均輝度を所定値にクリップしてもよい。補正輝度算出部１８は、混合平均輝度に関する混合平均輝度情報を生成し、露出量算出部１９に出力する。
【００８５】
露出量算出部１９は、混合平均輝度情報に基づいて、混合平均輝度が予め設定された目標輝度に近づくように（即ち、これらの差分が０に近づくように）、撮像素子１２の露出量を算出する。露出量算出部１９は、算出された露出量、即ち補正露出量に関する補正露出量情報を生成し、露出制御部２０に出力する。
【００８６】
露出制御部２０は、補正露出量情報に基づいて、ドライバ２１を制御する。ドライバ２１は、露出制御部２０による制御により、レンズユニット１１の絞り、撮像素子１２の駆動タイミング、アナログ処理部１３のゲイン等を調整する。これにより、撮像素子１２の露出量が、補正露出量に一致する。
【００８７】
＜４．撮像装置による処理の手順＞
次に、撮像装置１０による処理の手順を図１１に示すフローチャートに沿って説明する。ステップＳ１１において、ブロック分割部１５は、アナログ処理部１３から与えられた撮像画像を複数のブロック（例えば１６×１６のブロック）に分割し、各ブロックに識別番号を付与する。次いで、ブロック分割部１５は、ブロック毎にＲ情報、Ｇ情報、Ｂ情報を積算することで、ＲＧＢ積算値を算出する。ブロック分割部１５は、ＲＧＢ積算値とブロックの識別番号とが関連付けられた積算値マップを生成し、特徴量算出部１６に出力する。さらに、ブロック分割部は、これらの積算値と、上述した式（１）とに基づいて、各ブロックの輝度を算出する。次いで、ブロック分割部１５は、輝度とブロックの識別番号とが関連付けられた輝度マップを生成し、特徴量算出部１６及び補正輝度算出部１８に出力する。
【００８８】
次いで、特徴量算出部１６は、積算値マップ及び輝度マップと、上述した式（２）〜（５）に基づいて、各ブロックの特徴量として、色相、彩度、及びログ変換輝度を算出する。
【００８９】
次いで、特徴量算出部１６は、ブロックの色相とブロックの識別番号とが関連付けられた色相マップ、ブロックの彩度とブロックの識別番号とが関連付けられた彩度マップ、及び、ブロックのログ変換輝度とブロックの識別番号とが関連付けられたログ変換輝度マップを生成し、複雑度算出部１７に出力する。
【００９０】
ステップＳ１３において、複雑度算出部１７は、色相マップ、彩度マップ、及びログ変換輝度マップに基づいて、各ブロックの色相複雑度、彩度複雑度、及び輝度複雑度を算出する。具体的には、複雑度算出部１７は、各ブロックと、当該ブロックの上下左右に隣接する４つのブロックとの特徴量の差分を算出し、当該差分に基づいて、各特徴量の複雑度を算出する。例えば、複雑度算出部１７は、図５に示すブロック３１ａの複雑度を、上述した式（６）〜（９）に基づいて算出する。
【００９１】
複雑度算出部１７は、各ブロックについて同様の処理を行うことで、各ブロックの色相複雑度、彩度複雑度、及び輝度複雑度を算出する。次いで、複雑度算出部１７は、各ブロックの色相複雑度を示す色相複雑度マップ、各ブロックの彩度複雑度を示す彩度複雑度マップ、各ブロックの輝度複雑度を示す輝度複雑度マップを生成する。
【００９２】
ステップＳ１４において、複雑度算出部１７は、上述した式（１０）〜（１２）に基づいて、各ブロックの複雑度を正規化する。これにより、複雑度算出部１７は、正規化色相複雑度マップ、正規化彩度複雑度マップ、及び正規化輝度複雑度マップを生成する。
【００９３】
ステップＳ１５において、複雑度算出部１７は、正規化色相複雑度、正規化彩度複雑度、及び正規化輝度複雑度をブロック毎に混合することで、混合複雑度を算出する。具体的には、複雑度算出部１７は、上述した式（１３）に基づいて、混合複雑度を算出する。次いで、複雑度算出部１７は、ブロックの混合複雑度とブロックの識別番号とが関連付けられた混合複雑度マップを生成する。複雑度算出部１７は、混合複雑度マップを補正輝度算出部１８に出力する。
【００９４】
ステップＳ１６において、補正輝度算出部１８は、各ブロックの輝度に混合複雑度を乗じることで、各ブロックの補正輝度を算出する。さらに、補正輝度算出部１８は、上述した式（１４）に基づいて、撮像画像の補正平均輝度を算出する。
【００９５】
ステップＳ１７において、補正輝度算出部１８は、上述した輝度マップに従来の測光処理（例えば、中央重点測光、多分割測光等）を施すことで、基準平均輝度を算出する。そして、補正輝度算出部１８は、上述した式（１５）に基づいて、補正平均輝度と基準平均輝度とを混合することで、混合平均輝度を算出する。補正輝度算出部１８は、混合平均輝度に関する混合平均輝度情報を生成し、露出量算出部１９に出力する。
【００９６】
ステップＳ１８において、露出量算出部１９は、混合平均輝度情報に基づいて、混合平均輝度が予め設定された目標輝度に近づくように（即ち、これらの差分が０に近づくように）、撮像素子１２の露出量を算出する。露出量算出部１９は、算出された露出量、即ち補正露出量に関する補正露出量情報を生成し、露出制御部２０に出力する。
【００９７】
次いで、露出制御部２０は、補正露出量情報に基づいて、ドライバ２１を制御する。ドライバ２１は、露出制御部２０による制御により、レンズユニット１１の絞り、撮像素子１２のシャッタスピード、アナログ処理部１３のゲイン等を調整する。即ち、露出制御部２０は、撮像時の露出を制御する。これにより、撮像素子１２の露出量が、補正露出量に一致する。
【００９８】
以上により、第１の実施形態によれば、撮像装置１０は、各ブロックの特徴量、具体的には色相、彩度、及びログ変換輝度に基づいて、各ブロックの複雑度を算出する。そして、撮像装置１０は、各ブロックの複雑度に基づいて、各ブロックの輝度に重み付けすることで、各ブロックの補正輝度を算出する。そして、撮像装置１０は、補正輝度の平均値、即ち補正平均輝度に基づいて、撮像時の露出を制御する。これにより、撮像装置１０は、輝度が一様な領域、例えば背景領域の補正輝度を小さくし、輝度の変化が激しい領域、例えば人物と背景との境界領域の補正輝度を大きくすることができる。
【００９９】
これにより、背景領域が平均輝度に与える影響は小さくなる一方、人物領域が平均輝度に与える影響は大きくなるので、撮像装置１０は、より広範なダイナミックレンジ（即ち、人物領域の補正輝度及び背景領域の補正輝度）を使って、露出を制御することができる。したがって、撮像装置１０は、従来よりも適正な露出制御を行うことができる。
【０１００】
さらに、撮像装置１０は、画素積算値、具体的にはＲＧＢ積算値に基づいて、各ブロックの特徴量を算出するので、各ブロックの複雑度をより正確に算出することができる。
【０１０１】
さらに、撮像装置１０は、隣接するブロック同士の特徴量の差分に基づいて、各ブロックの複雑度を算出するので、各ブロックの複雑度をより正確に算出することができる。
【０１０２】
さらに、撮像装置１０は、ブロック毎に複数種類の特徴量、即ち色相、彩度、及びログ変換輝度を算出する。そして、撮像装置１０は、各ブロックの色相複雑度、彩度複雑度、及び輝度複雑度を算出し、これらの複雑度をブロック毎に混合することで、各ブロックの混合複雑度を算出する。そして、撮像装置１０は、各ブロックの混合複雑度に基づいて、各ブロックの輝度に重み付けする。これにより、撮像装置１０は、補正輝度をより正確に算出することができる。
【０１０３】
＜５．第２の実施形態＞
次に、第２の実施形態について説明する。第２の実施形態の趣旨は以下の通りである。即ち、撮像画像中、人物の顔が描かれた領域、即ち顔領域が大きい場合、顔領域内での複雑度が小さくなる場合がある。そこで、第２の実施形態では、顔領域内の複雑度を補完する処理を行う。
【０１０４】
具体的には、撮像装置１０は、上述した処理に加え、以下の処理を行なう。即ち、複雑度算出部１７は、色相マップ及び彩度マップに基づいて、混合複雑度マップから、色相及び彩度が肌色を示す肌色領域を抽出する。さらに、複雑度算出部１７は、図１２に示す有効領域判定グラフＬ１及び図１３に示す有効領域判定マップ２３０に基づいて、有効領域を判定する。そして、複雑度算出部１７は、有効領域内の肌色領域が顔領域であると判定し、顔領域の複雑度を補完する。具体的には、複雑度算出部１７は、顔領域の複雑度を上昇させる。上昇量については、所望の値が予め設定される。これにより、複雑度算出部１７は、顔領域補完複雑度マップを生成する。その後の処理は第１の実施形態と同様である。
【０１０５】
ここで、有効領域判定グラフＬ１は、肌色領域の大きさと、有効領域として判定可能な有効判定可能番号との対応関係を示す。例えば、肌色領域の大きさがＴｈ１以下の場合には、有効判定可能番号は２となり、肌色領域の大きさがＴｈ２以上の場合には、有効判定可能番号は８となる。有効領域判定マップ２３０は、ブロック毎に１〜８の判定番号が付与されたマップである。即ち、複雑度算出部１７は、肌色領域の大きさと、有効領域判定グラフＬ１とに基づいて、有効判定可能番号を特定する。そして、複雑度算出部１７は、有効領域判定マップ２３０の各ブロックのうち、有効判定可能番号以上の判定番号を有するブロックを有効領域と判定する。
【０１０６】
例えば、複雑度算出部１７は、有効判定可能番号が２となる場合、有効領域判定マップ２３０内の領域２３２を有効領域として判定する。一方、複雑度算出部１７は、有効判定可能番号が８となる場合、有効領域判定マップ２３０内の領域２３３を有効領域として判定する。このように、複雑度算出部１７は、肌色領域が大きい場合には、顔以外の肌色領域を顔領域であると誤判定するのを防止するために、画像中央を有効領域として判定する。なお、複雑度算出部１７は、肌色領域に対する有効判定可能番号が整数にならない場合、取得した値を四捨五入することで、有効判定可能番号を取得する。
【０１０７】
例えば、図１４に示す撮像画像２００が生成された場合、画像中央のマネキン及び机が肌色となる。この場合、複雑度算出部１３は、図１５（ａ）に示す混合複雑度マップ２１０を生成する。なお、図１５（ａ）は、各ブロックの混合複雑度を省略している。そして、複雑度算出部１３は、混合複雑度マップ２１０から、肌色領域２１１を抽出する。肌色領域２１１の大きさはＴｈ２以上であるとする。そして、複雑度算出部１３は、有効領域判定グラフＬ１に基づいて、肌色領域２１１の大きさに対応する有効判定可能番号として、８を取得する。そして、複雑度算出部１３は、有効判定可能番号及び有効領域判定マップ２３０に基づいて、有効領域を判定する。これにより、複雑度算出部１３は、肌色領域２１１のうち、枠２２０で囲まれた肌色領域２１１ｂを除外し、肌色領域２１１ａのみを顔領域と判定する。そして、複雑度算出部１７は、混合複雑度マップ２００のうち、顔領域のみを補完する。例えば、複雑度算出部１７は、図１６（ａ）に示す混合複雑度マップ２００を補完することで、（ｂ）に示す顔領域補完複雑度マップ２４０を生成する。
【０１０８】
＜６．第２の実施形態による処理＞
次に、第２の実施形態による処理の手順を図１７に示すフローチャートに沿って説明する。第２の実施形態では、撮像装置１０は、上述したステップＳ１５とステップＳ１６との間に、図１７に示すステップＳ２１及びステップＳ２２の処理を行う。
【０１０９】
即ち、ステップＳ２１において、複雑度算出部１７は、複雑度算出部１７は、色相マップ及び彩度マップに基づいて、混合複雑度マップから、色相及び彩度が肌色を示す肌色領域を抽出する。
【０１１０】
ステップＳ２２において、複雑度算出部１７は、肌色領域の大きさと、有効領域判定グラフＬ１とに基づいて、有効判定可能番号を特定する。そして、複雑度算出部１７は、有効領域判定マップ２３０の各ブロックのうち、有効判定可能番号以上の判定番号を有するブロックを有効領域と判定する。次いで、複雑度算出部１７は、有効領域内の肌色領域が顔領域であると判定し、顔領域の複雑度を補完する。これにより、複雑度算出部１７は、顔領域補完複雑度マップを生成する。複雑度算出部１７は、顔領域補完複雑度マップを補正輝度算出部１８に出力する。その後、撮像装置１０は、顔領域補完複雑度マップに基づいて、ステップＳ１６以降の処理を行なう。第２の実施形態によれば、撮像装置１０は、顔領域の露出をより正確に制御することができる。
【０１１１】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１１２】
１０ 撮像装置
１１ レンズユニット
１２ 撮像素子
１３ アナログ処理部
１４ 信号処理部
１５ ブロック分割部
１６ 特徴量算出部
１７ 複雑度算出部
１８ 補正輝度算出部
１９ 露出量算出部
２０ 露出制御部
２１ ドライバ
【特許請求の範囲】
【請求項１】
撮像画像を取得する撮像画像取得部と、
前記撮像画像を複数のブロックに分割するブロック分割部と、
ブロック毎に輝度を含む特徴量を算出する特徴量算出部と、
各ブロックの特徴量に基づいて、各ブロックの複雑度を算出する複雑度算出部と、
各ブロックの複雑度に基づいて、各ブロックの輝度に重み付けすることで、各ブロックの補正輝度を算出する補正輝度算出部と、
前記補正輝度に基づいて、撮像時の露出を制御する露出制御部と、を備えることを特徴とする、露出制御装置。
【請求項２】
前記ブロック分割部は、ブロック毎に画素値を積算することで、画素積算値を算出し、
前記特徴量算出部は、各ブロックの画素積算値に基づいて、各ブロックの特徴量を算出することを特徴とする、請求項１記載の露出制御装置。
【請求項３】
前記複雑度算出部は、隣接するブロック同士の特徴量の差分に基づいて、各ブロックの複雑度を算出することを特徴とする、請求項１または２記載の露出制御装置。
【請求項４】
前記特徴量算出部は、ブロック毎に複数種類の特徴量を算出し、
前記複雑度算出部は、前記特徴量の種類ごとに各ブロックの複雑度を算出し、前記特徴量の種類毎の複雑度をブロック毎に混合することで、各ブロックの混合複雑度を算出し、
前記補正輝度算出部は、各ブロックの混合複雑度に基づいて、各ブロックの輝度に重み付けすることを特徴とする、請求項１〜３のいずれか１項に記載の露出制御装置。
【請求項５】
前記複雑度算出部は、前記各ブロックのうち、人物の顔が描かれた顔領域の複雑度を補完することを特徴とする、請求項１〜４のいずれか１項に記載の情報処理装置。
【請求項６】
前記補正輝度算出部は、前記補正輝度の平均値である平均輝度を算出し、
前記露出制御部は、前記平均輝度が所定の目標輝度に近づくように、撮像時の露出を制御することを特徴とする、請求項１〜５のいずれか１項に記載の露出制御装置。
【請求項７】
撮像画像を取得する撮像画像取得ステップと、
前記撮像画像を複数のブロックに分割するブロック分割ステップと、
ブロック毎に輝度を含む特徴量を算出する特徴量算出ステップと、
各ブロックの特徴量に基づいて、各ブロックの複雑度を算出する複雑度算出ステップと、
各ブロックの複雑度に基づいて、各ブロックの輝度に重み付けすることで、各ブロックの補正輝度を算出する補正輝度算出ステップと、
前記補正輝度に基づいて、撮像時の露出を制御する露出制御ステップと、を含むことを特徴とする、露出制御方法。
【請求項１】
撮像画像を取得する撮像画像取得部と、
前記撮像画像を複数のブロックに分割するブロック分割部と、
ブロック毎に輝度を含む特徴量を算出する特徴量算出部と、
各ブロックの特徴量に基づいて、各ブロックの複雑度を算出する複雑度算出部と、
各ブロックの複雑度に基づいて、各ブロックの輝度に重み付けすることで、各ブロックの補正輝度を算出する補正輝度算出部と、
前記補正輝度に基づいて、撮像時の露出を制御する露出制御部と、を備えることを特徴とする、露出制御装置。
【請求項２】
前記ブロック分割部は、ブロック毎に画素値を積算することで、画素積算値を算出し、
前記特徴量算出部は、各ブロックの画素積算値に基づいて、各ブロックの特徴量を算出することを特徴とする、請求項１記載の露出制御装置。
【請求項３】
前記複雑度算出部は、隣接するブロック同士の特徴量の差分に基づいて、各ブロックの複雑度を算出することを特徴とする、請求項１または２記載の露出制御装置。
【請求項４】
前記特徴量算出部は、ブロック毎に複数種類の特徴量を算出し、
前記複雑度算出部は、前記特徴量の種類ごとに各ブロックの複雑度を算出し、前記特徴量の種類毎の複雑度をブロック毎に混合することで、各ブロックの混合複雑度を算出し、
前記補正輝度算出部は、各ブロックの混合複雑度に基づいて、各ブロックの輝度に重み付けすることを特徴とする、請求項１〜３のいずれか１項に記載の露出制御装置。
【請求項５】
前記複雑度算出部は、前記各ブロックのうち、人物の顔が描かれた顔領域の複雑度を補完することを特徴とする、請求項１〜４のいずれか１項に記載の情報処理装置。
【請求項６】
前記補正輝度算出部は、前記補正輝度の平均値である平均輝度を算出し、
前記露出制御部は、前記平均輝度が所定の目標輝度に近づくように、撮像時の露出を制御することを特徴とする、請求項１〜５のいずれか１項に記載の露出制御装置。
【請求項７】
撮像画像を取得する撮像画像取得ステップと、
前記撮像画像を複数のブロックに分割するブロック分割ステップと、
ブロック毎に輝度を含む特徴量を算出する特徴量算出ステップと、
各ブロックの特徴量に基づいて、各ブロックの複雑度を算出する複雑度算出ステップと、
各ブロックの複雑度に基づいて、各ブロックの輝度に重み付けすることで、各ブロックの補正輝度を算出する補正輝度算出ステップと、
前記補正輝度に基づいて、撮像時の露出を制御する露出制御ステップと、を含むことを特徴とする、露出制御方法。
【図１】
【図２】
【図３】
【図５】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１６】
【図２】
【図３】
【図５】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１６】
【公開番号】特開２０１３−１１３９１１（Ｐ２０１３−１１３９１１Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５７７１３（Ｐ２０１１−２５７７１３）
【出願日】平成２３年１１月２５日（２０１１．１１．２５）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２５日（２０１１．１１．２５）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
[ Back to top ]