撮像装置
【課題】撮影状況によって主要被写体（例えば、人物の顔）が検出できなかった場合でも、撮像画面内の主要被写体を検出することができる撮像装置を提供する。
【解決手段】撮影用撮像素子１１から出力される画像信号によって生成された第１の画像データと、補助撮像ユニット３の補助撮像素子から出力される画像信号によって生成された第２の画像データとに対して、任意の露出制御を行う制御部１５（露出制御手段）と、第１の画像データと第２の画像データからそれぞれ撮像画面内に位置する主要被写体としての人物の顔を検出する顔検出部１５ａとを備え、顔検出部１５ａが、撮影状況により第１の画像データから人物の顔を検出できなかった場合には、制御部１５により、第２の画像データに対して高輝度側又は低輝度側に露出シフト制御して、露出シフト制御された第２の画像データから人物の顔の検出を顔検出部１５ａで行う。
【解決手段】撮影用撮像素子１１から出力される画像信号によって生成された第１の画像データと、補助撮像ユニット３の補助撮像素子から出力される画像信号によって生成された第２の画像データとに対して、任意の露出制御を行う制御部１５（露出制御手段）と、第１の画像データと第２の画像データからそれぞれ撮像画面内に位置する主要被写体としての人物の顔を検出する顔検出部１５ａとを備え、顔検出部１５ａが、撮影状況により第１の画像データから人物の顔を検出できなかった場合には、制御部１５により、第２の画像データに対して高輝度側又は低輝度側に露出シフト制御して、露出シフト制御された第２の画像データから人物の顔の検出を顔検出部１５ａで行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置に関する。
【背景技術】
【０００２】
最近のデジタルスチルカメラ（以下、「デジタルカメラ」という）には、オートフォーカス（ＡＦ）機能、オート露出（ＡＥ）機能、オートホワイトバランス（ＡＷ）機能の他に、撮像画面内に主要被写体として人物の顔がある場合にこの人物の顔を自動的に検出する顔検出手段を備えているものが一般的になってきている（例えば、特許文献１参照）。
【０００３】
前記特許文献１のデジタルカメラのように、人物の顔を検出する顔検出手段を備えている場合、撮影レンズを通して被写体像が撮像素子の受光面に結像したときに、この撮像素子から出力される画像データが、顔検出手段に入力される。そして、顔検出手段により、入力された画像データの中から公知の方法で人物の顔を主要被写体として検出すると、制御部は、顔検出手段で検出した人物の顔の位置に対して焦点（合焦位置）を決定し、更に人物の顔を測光エリアとして最適な露出、ホワイトバランスを決定する処理を行っている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、顔検出手段は、前記したように入力された画像データの中から公知の方法で人物の顔を主要被写体として検出する構成であるが、例えば極端な逆光で主要被写体である人物の顔が所定以上に暗くなり過ぎていると、人物の顔を検出すること自体が困難となることがある。また、主要被写体である人物の顔周辺の背景が暗く、この人物の顔に正面から極端に明るい照明が当たって所定以上に明る過ぎている場合でも、人物の顔を検出すること自体が困難となることがある。
【０００５】
このように、撮像画面内に主要被写体としての人物の顔があっても、上記のような撮影状況によって人物の顔が検出できない場合には、人物の顔の位置に対して焦点（合焦位置）を決定できず、更に人物の顔を測光エリアとして最適な露出、ホワイトバランスを決定することもできないので、撮影者の意図と異なる撮影画像が得られてしまうことがある。
【０００６】
そこで、本発明は、撮影状況（例えば、逆光で主要被写体が暗くなり過ぎている場合や、逆に主要被写体に前方側から強い照明光が当たって白とびしている場合など）によって主要被写体（例えば、人物の顔）が検出できなかった場合でも、撮像画面内の主要被写体を検出することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を達成するために請求項１に記載の撮像装置は、主撮影用光学系を介して主撮影用の画像を撮像する主撮影用撮像素子と、補助撮影用光学系を介して補助撮影用の画像を撮像する補助撮影用撮像素子と、前記主撮影用撮像素子から出力される画像信号によって生成された第１の画像データと、前記補助撮影用撮像素子から出力される画像信号によって生成された第２の画像データとに対して、任意の露出制御を行う露出制御手段と、前記第１の画像データと前記第２の画像データからそれぞれ撮像画面内に位置する主要被写体を検出する主要被写体検出手段と、を備え、前記主要被写体検出手段が、撮影状況により前記第１の画像データから前記主要被写体を検出できなかった場合には、前記露出制御手段により、前記第２の画像データに対して高輝度側又は低輝度側に露出シフト制御して、露出シフト制御された前記第２の画像データから前記主要被写体の検出を前記主要被写体検出手段で行うことを特徴としている。
【０００８】
請求項２に記載の撮像装置は、前記主要被写体検出手段が、露出シフト制御された前記第２の画像データから前記主要被写体を検出できた場合、前記露出制御手段は、露出シフト制御された前記第２の画像データから検出された前記主要被写体の位置情報に基づき、前記第１の画像データに対して対応する位置を測光エリアとして測光処理を行い、この測光結果に基づいて前記主要被写体の露出制御を行うことを特徴としている。
【０００９】
請求項３に記載の撮像装置は、少なくとも一対の前記補助撮影用光学系と前記補助撮影用撮像素子を有し、前記露出制御手段は、一対のうちの一方の前記補助撮影用撮像素子から出力される画像信号によって生成された前記第２の画像データに対しては高輝度側に露出シフト制御し、他方の補助撮影用撮像素子から出力される画像信号によって生成された前記第２の画像データに対しては低輝度側に露出シフト制御することを特徴としている。
【００１０】
請求項４に記載の撮像装置は、一つの前記補助撮影用光学系と前記補助撮影用撮像素子を有し、前記露出制御手段は、一つの前記補助撮影用撮像素子から出力される画像信号によって生成された前記第２の画像データに対して、高輝度側への露出シフト制御と低輝度側への露出シフト制御とに切り替え可能であることを特徴としている。
【００１１】
請求項５に記載の撮像装置は、一つの前記補助撮影用光学系と前記補助撮影用撮像素子を有し、前記露出制御手段は、一つの前記補助撮影用撮像素子から出力される画像信号によって生成された前記第２の画像データに対して、高輝度側又は低輝度側のいずれか一方に露出シフト制御することを特徴としている。
【００１２】
請求項６に記載の撮像装置は、前記主撮影用光学系はズーム機能を有し、前記補助撮影用光学系の画角は、前記主撮影用光学系の広角端側の画角と略同じに設定されており、前記主撮影用光学系が広角端よりも望遠側にズームされている画角のときは、前記補助撮影用撮像素子の全撮像領域のうちの前記主撮影用光学系の画角に対応した領域内から前記主要被写体を検出することを特徴としている。
【００１３】
請求項７に記載の撮像装置は、前記主要被写体検出手段が、前記第１の画像データから前記主要被写体を検出できている場合には、前記露出制御手段は前記第２の画像データに対して露出シフト制御を行わず、かつ前記主要被写体検出手段は前記第２の画像データから前記主要被写体の検出を行わないことを特徴としている。
【００１４】
請求項８に記載の撮像装置は、前記主要被写体検出手段が、前記第１の画像データから前記主要被写体を検出できている場合には、前記補助撮影用撮像素子による撮像動作を行わないことを特徴としている。
【００１５】
請求項９に記載の撮像装置は、前記主要被写体は人物の顔であり、前記主要被写体検出手段は、主要被写体としての人物の顔を検出することを特徴としている。
【発明の効果】
【００１６】
本発明に係る撮像装置によれば、撮影状況により主撮影用撮像素子から出力される画像信号によって生成された第１の画像データから主要被写体を検出できなかった場合でも、高輝度側又は低輝度側に露出シフト制御された補助撮影用撮像素子から出力される画像信号によって生成された第２の画像データから主要被写体の検出を行うことができる。よって、第２の画像データから検出した主要被写体の位置に基づき、第１の画像データに対して対応する位置に対して焦点（合焦位置）を決定することができ、更に最適な露出とホワイトバランスを決定することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態１に係る撮像装置の一例としてのデジタルカメラを示す正面図。
【図２】実施形態１におけるデジタルカメラのシステム構成の概要を示すブロック図。
【図３】モニタリング動作時における、露出制御と顔検出処理の時間間隔を示す図。
【図４】（ａ）は、実施形態１における補助撮像ユニットを示す概略断面図、（ｂ）は、この補助撮像ユニットの第１、第２の補助撮像素子を示す平面図。
【図５】（ａ）は、撮影レンズを最広角側にズームしているときの撮影画角を示す図、（ｂ）は、補助撮像素子用レンズの画角を示す図。
【図６】（ａ）は、撮影レンズを最広角から望遠側にズームしているときの撮影画角を示す図、（ｂ）は、補助撮像素子用レンズの画角とこのときの撮影画角に対応した領域を示す図。
【図７】本発明の実施形態１のモニタリング動作時における人物の顔を検出する顔検出処理と露出制御処理を示すフローチャート。
【図８】（ａ）は、逆光によって人物の顔が暗くなり過ぎているときの画像の一例を示す図、（ｂ）は、高輝度側に露出シフト制御され、人物の顔が明るくなっている画像の一例を示す図。
【図９】本発明の実施形態２、３に係る撮像装置の一例としてのデジタルカメラを示す正面図。
【図１０】実施形態２、３における補助撮像ユニットを示す概略断面図。
【図１１】本発明の実施形態２のモニタリング動作時における人物の顔を検出する顔検出処理と露出制御処理を示すフローチャート。
【図１２】本発明の実施形態３のモニタリング動作時における人物の顔を検出する顔検出処理と露出制御処理を示すフローチャート。
【発明を実施するための形態】
【００１８】
以下、本発明を図示の実施形態に基づいて説明する。
【００１９】
〈実施形態１〉
図１は、本発明の実施形態１に係る撮像装置の一例としてのデジタルカメラを示す正面図、図２は、図１に示したデジタルカメラのシステム構成の概要を示すブロック図である。
【００２０】
（デジタルカメラの外観構成）
図１に示すように、本実施形態に係るデジタルカメラ１の正面（前面）側には、光学ズーム機能を有する被写体撮影用の撮影レンズ２、後述する補助撮像ユニット３の前面側のレンズアレイ４等が設けられている。レンズアレイ４の表面には、所定の間隔で左右方向に設けた一対（２つ）の補助撮像素子用レンズ５ａ，５ｂが一体に形成されている。撮像レンズ２と補助撮像素子用レンズ５ａ，５ｂの各光軸は平行である。また、デジタルカメラ１の上面側には、レリーズボタン６、撮影モード切換ボタン７、不図示の電源スイッチ、ズームスイッチ等が設けられている。
【００２１】
（デジタルカメラ１のシステム構成）
図２に示すように、このデジタルカメラ１は、複数のレンズ群を有する撮影レンズ２、シャッタ機能を有する絞りユニット１０、撮影レンズ２を通して入射される撮影像が受光面上に結像するＣＣＤイメージセンサ等の撮影用撮像素子１１、撮影用撮像素子１１から出力される画像信号（電気信号）をアナログフロントエンド（ＡＦＥ）部１２でデジタル処理して取り込み、撮影画像を表示や記録が可能な画像データに変換処理する信号処理部１３、操作部（レリーズボタン６、撮影モード切換ボタン７（図１参照）等）１４からの操作入力情報に基づき、ＲＯＭ（不図示）に記憶された制御プログラムに基づいてデジタルカメラ１全体のシステム制御等を行う制御部（ＣＰＵ）１５、信号処理部１３で生成された画像データ（撮影画像）等を表示する液晶モニタ（ＬＣＤ）１６、撮影レンズ２の複数のレンズ群を駆動するレンズ駆動部１７、絞りユニット１０を駆動する絞りユニット駆動部１８、及び前記補助撮像ユニット３等を備えている。信号処理部１３で生成された画像データは、メモリカード収納部（不図示）内に収納自在なメモリカード１９に記録される。
【００２２】
液晶モニタ（ＬＣＤ）１６は、画像データ（撮影画像）を表示する以外にも、撮影時の撮影モードなどの各種動作内容等を表示したり、電子ファインダとしてモニタリング画像（動画）を表示することができる。液晶モニタ（ＬＣＤ）１６は、デジタルカメラ１の背面側に設けられている。なお、実際に撮影する前のモニタリング時においては、撮影用撮像素子１１からの画像信号に対して画素数を間引き処理した画像が液晶モニタ（ＬＣＤ）１６に表示される。
【００２３】
制御部（ＣＰＵ）１５は、撮影用撮像素子１１からアナログフロントエンド（ＡＦＥ）部１２を介して取り込んだ画像信号より、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。
【００２４】
ＡＦ評価値は、例えば、高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ２の光軸方向に沿った各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。
【００２５】
ＡＥ評価値とＡＷＢ評価値は、取り込んだ撮影用撮像素子１１からの画像信号におけるＲＧＢ値のそれぞれの積分値から算出される。例えば、撮影用撮像素子１１の全画素の受光面に対応した撮像画面を１０２４エリアに等分割（水平３２分割、垂直３２分割）し、それぞれのエリアのＲＧＢ積算を算出する。
【００２６】
そして、制御部１５は、ＡＥ評価値（算出されたＲＧＢ積算値）を読み出し、撮像画面内の各エリアの輝度を算出して、輝度分布から適正な露光量を決定する測光処理（ＡＥ処理）を行う。そして、制御部１５は、決定した露光量に基づいて、露出条件（撮影用撮像素子１１の電子シャッタ回数、絞りユニット１０の絞り値等）を設定し、露出制御を行う。また、制御部１５は、ＡＷＢ評価値（算出されたＲＧＢ積算値）を読み出し、撮像画面内の各エリアのＲＧＢの分布から被写体色や光源色を判定し、光源の色に合わせたＡＷＢの制御値を決定する処理（ＡＷＢ処理）を行う。
【００２７】
また、制御部１５は、顔検出部１５ａを有している。
【００２８】
顔検出部１５ａは、例えば、前記撮像画面内の各エリアの輝度データを読み出し、予め記憶されている人物の顔の目と鼻の輝度パターンテンプレートとのマッチングを行うことで、主要被写体である人物の顔を検出する処理を行う。前記輝度パターンテンプレートは、複数種類の大きさのものが予めＲＯＭ（不図示）に記憶されており、それぞれの大きさの輝度パターンテンプレートで撮像画面内の各エリアにおいてパターンマッチングすることで人物の顔の検出を行う。人物の顔部が検出されると、人物の顔部が撮像画面内で移動してもそれに追尾して検出状態を保持する。
【００２９】
図３に示すように、撮影モードに設定して実際に被写体を撮影する前のモニタリング動作時（構図やシャッタチャンス等を確認するために、液晶モニタ１６に撮影する画像（動画）が表示されている時）から、制御部１５は、前記露出制御を一定時間間隔で行っており、また、顔検出部１５ａは、露出制御とは非同期で前記顔検出処理を一定時間間隔（露出制御の一定時間間隔よりも長い）で行っており、顔検出結果情報を露出制御側へ通知する。
【００３０】
そして、制御部１５は、撮像画面内で人物の顔が検出されるとその顔を測光エリアとしてＡＥ評価値を算出し、算出したＡＥ評価値に基づいて露光量を決定する。そして、決定した露光量に基づいて、露出条件（撮影用撮像素子１１の電子シャッタ回数、絞りユニット１０の絞り値等）を設定し、露出制御を行う。
【００３１】
なお、撮像画面内に人物の顔があるのに顔検出ができない撮影状況の場合、撮像画面内に人物の顔がいない場合、顔検出モードがＯＦＦの場合には、例えば分割測光方式（撮像画面を複数のエリアに分割し、各エリア毎に輝度の平均値を算出して算出した輝度平均値の分布パターンから輝度データを決定する方式）で測光して露光制御を行う。
【００３２】
また、このモニタリング動作時には、露出制御とは非同期で前記ＡＦ動作を一定時間間隔（露出制御の一定時間間隔よりも長い）で行っており、例えば、顔検出処理で主要被写体である人物の顔を検出した場合には、検出した顔の位置に対してＡＦ動作を行なう。
【００３３】
（補助撮像ユニット３の構成）
図４（ａ），（ｂ）に示すように、本実施形態の補助撮像ユニット３は、前面側（図４（ａ）の上側）が開口した筐体２０と、この筐体２０の前面側に一対の補助撮像用レンズ５ａ，５ｂが一列（デジタルカメラ１の左右方向）に一体に形成された透明樹脂材からなるレンズアレイ４と、レンズアレイ４と対向する筐体２０内の背面側（図４（ａ）の下側）に配置された薄板状の撮像素子基板２１と、撮像素子基板２１上に等間隔で形成された平面状（２次元状）のＣＣＤ等の第１、第２の補助撮像素子２２ａ，２２ｂと、撮像素子基板２１の背面に配置された第１、第２の補助撮像素子２２ａ，２２ｂから出力される画像信号（電気信号）をデジタル信号に変換処理するアナログフロントエンド（ＡＦＥ）部等２３を備えている。アナログフロントエンド部２３でデジタル信号に変換された画像信号は、前記信号処理部１３に入力される。
【００３４】
第１、第２の各補助撮像素子２２ａ，２２ｂは、補助撮像素子用レンズ５ａ，５ｂとそれぞれ対向するようにして配置されている。第１、第２の補助撮像素子２２ａ，２２ｂのサイズは前記撮影用撮像素子１１よりも小さく、第１、第２の補助撮像素子２２ａ，２２ｂの各撮像領域２２ａ１，２２ｂ１の画素数は、例えば、撮影用撮像素子１１の画素数を間引き処理したモニタリング時と同程度である。
【００３５】
第１、第２の補助撮像素子用レンズ５ａ，５ｂの各光軸は平行であり、各撮像領域２２ａ１，２２ｂ１の対角中心と第１、第２の補助撮像素子用レンズ５ａ，５ｂの光軸が略一致するように位置決めされている。第１、第２の補助撮像素子用レンズ５ａ，５ｂの画角は、本実施形態では前記撮影レンズ２の最広角ズーム側付近の撮影画角に対応している。補助撮像素子用レンズ５ａ，５ｂは、該補助撮像素子用レンズ５ａ，５ｂに入射する被写体光が各撮像領域２２ａ１，２２ｂ１に結像するような焦点距離を有している。なお、レンズアレイ４の前面側の補助撮像素子用レンズ５ａ，５ｂ以外の部分は遮光部材（不図示）で覆われている。
【００３６】
制御部（ＣＰＵ）１５は、第１、第２の補助撮像素子２２ａ，２２ｂ（各撮像領域２２ａ１，２２ｂ１）からアナログフロントエンド（ＡＦＥ）部２３を介して取り込んだ画像信号より、各撮像領域２２ａ１，２２ｂ１の受光面に対応した撮像画面を複数のエリアに分割して、それぞれのエリアでＡＥ評価値を算出することができる。
【００３７】
そして、制御部１５は、第１の補助撮像素子２２ａ（撮像領域２２ａ１）からの画像信号に対しては高輝度側にシフトした露出制御を行い、第２の補助撮像素子２２ｂ（撮像領域２２１）からの画像信号に対しては低輝度側にシフトした露出制御を行う。高輝度側に露出制御する場合は、例えば、第１、第２の補助撮像素子２２ａ，２２ｂから出力される画像信号をデジタル信号に変換処理するアナログフロントエンド部２３でのゲイン値を高くし、低輝度側に露出制御する場合は、逆にゲイン値を低くする。
【００３８】
なお、第１、第２の補助撮像素子２２ａ，２２ｂ（各撮像領域２２ａ１，２２ｂ１）からの画像信号は信号処理部１３に入力されるが、画像として液晶モニタ１６に表示されたり、メモリカード１９に記録されることはない。
【００３９】
顔検出部１５ａは、モニタリング動作時に撮影用撮像素子１１からの画像信号によって顔検出処理を行ったときに逆光等の撮影状況によって人物の顔を検出できなかった場合、第１、第２の補助撮像素子２２ａ，２２ｂ（各撮像領域２２ａ１，２２ｂ１）からの画像信号によって顔検出処理を行う（詳細は後述する）。
【００４０】
なお、図５（ａ）は、撮影レンズ２を最広角側にズームしているときの撮影画角、図５（ｂ）は、補助撮像ユニット３の補助撮像素子用レンズ５ａ，５ｂの画角を示しており、両者の画角は略同じである。この場合の画面内の画像は両者とも略同じ大きさとなる。よって、撮影レンズ２を最広角側にズームしているときは、第１、第２の補助撮像素子２２ａ，２２ｂの各撮像領域２２ａ１，２２ｂ１の全体から主要被写体である人物の顔を検出する。
【００４１】
また、図６（ａ）は、撮影レンズ２を最広角から望遠側にズームしているときの撮影画角、図６（ｂ）は、補助撮像ユニット３の補助撮像素子用レンズ５ａ，５ｂの画角を示しており、撮影レンズ２の撮影画角の方が狭くなる。よって、この場合は、第１、第２の補助撮像素子２２ａ，２２ｂの撮像領域２２ａ１，２２ｂ１のうちの前記撮影レンズ２の撮影画角に対応した領域Ａから主要被写体である人物の顔を検出する。
【００４２】
次に、実施形態１における、本撮影前のモニタリング動作時での人物の顔を検出する顔検出処理と露出制御処理を、図７に示すフローチャートを参照して説明する。なお、図７に示したフローチャートでの顔検出処理と露出制御処理は、撮像画角内に主要被写体である人物の顔がある場合を前提としている（後述する実施形態２、３のフローチャートでも同様である）。
【００４３】
撮影者がデジタルカメラ１の電源スイッチ（不図示）をＯＮして撮影モード、顔検出モードに設定すると、モニタリング動作が開始され、撮影レンズ２を通して撮影像が撮影用撮像素子１１に結像し、撮影用撮像素子１１からアナログフロントエンド部１２を介して画像信号が信号処理部１３に出力され、画像データが生成される。
【００４４】
そして、顔検出部１５ａは、信号処理部１３に取り込まれた撮影用撮像素子１１からの画像信号で生成された画像データによって、主要被写体としての人物の顔を検出する処理を行う（ステップＳ１）。
【００４５】
そして、ステップＳ１での顔検出処理時において、撮影状況（逆光で人物の顔が暗くなり過ぎている場合や、逆に人物の顔に前方側から強い照明光が当たって白とびしている場合など）によって顔が検出できなかった場合（ステップＳ２：ＮＯ）、制御部１５は、最初に第１の補助撮像素子２２ａ（撮像領域２２ａ１）からの画像信号によって、高輝度側に露出シフト制御した画像データを生成し、顔検出部１５ａは、この画像データから人物の顔を検出する処理を行う（ステップＳ３）。
【００４６】
そして、ステップＳ３での顔検出処理時において、高輝度側に露出シフト制御した画像データから顔が検出できなかった場合（ステップＳ４：ＮＯ）、制御部１５は、次に第２の補助撮像素子２２ｂ（撮像領域２２ｂ１）からの画像信号によって、低輝度側に露出シフト制御した画像データを生成し、顔検出部１５ａは、この画像データから人物の顔を検出する処理を行う（ステップＳ５）。
【００４７】
そして、ステップＳ５での顔検出処理時において、低輝度側に露出シフト制御された画像データから顔を検出した場合（ステップＳ６：ＹＥＳ）、制御部１５は、検出した顔の位置情報に基づき、撮影用撮像素子１１からの画像信号で生成された画像データによって測光処理を行う（ステップＳ７）。そして、ステップＳ７での測光結果に基づいて露出制御を行う（ステップＳ８）。
【００４８】
なお、ステップＳ２において、撮影用撮像素子１１からの画像信号で生成された画像データから顔が検出できた場合（ステップＳ２：ＹＥＳ）は、通常の撮影状況であり、制御部１５は、検出した顔の位置を測光エリアとして、撮影用撮像素子１１からの画像信号で生成された画像データによって測光処理を行う（ステップＳ７）。
【００４９】
また、ステップＳ４において、高輝度側に露出シフト制御した画像データから顔が検出できた場合（ステップＳ４：ＹＥＳ）においては、図８（ａ）のように、例えば、逆光によって被写体である人物の顔Ｆが暗くなり過ぎていて顔検出できないときに、図８（ｂ）のような高輝度側に露出シフト制御された画像を生成することで、人物の顔Ｆを検出することができる。そして、制御部１５は、検出した顔の位置情報に基づき、撮影用撮像素子１１からの画像信号で生成された画像データによって測光処理を行う（ステップＳ７）。
【００５０】
なお、図８（ａ）は、逆光によって主要被写体である人物の顔Ｆが暗くなり過ぎているときに、撮影用撮像素子１１からの画像信号によって液晶モニタ１６に表示された画像の一例である。また、図８（ｂ）は、第１の補助撮像素子２２ａ（撮像領域２２ａ１）からの画像信号によって生成された画像（高輝度側に露出シフトされ、人物の顔Ｆが明るくなっている画像）のイメージであるが、この画像は液晶モニタ１６に表示されることはない。
【００５１】
よって、モニタリング動作時に液晶モニタ１６に表示される画像に、例えば、暗くなり過ぎている人物の顔が急に高輝度側に露出シフトされて明るくなるなどの変化が生じることなく、撮影者に違和感を与えることはない。
【００５２】
また、ステップＳ５での顔検出処理時において、低輝度側に露出シフト制御した画像データから顔が検出できなかった場合（ステップＳ６：ＮＯ）においては、撮像画面内に主要被写体である人物の顔があっても顔検出ができない悪条件下である。この場合には制御部１５は、撮影用撮像素子１１からの画像信号で生成された画像データによって通常の測光方式（例えば、分割測光方式）で測光処理を行う（ステップＳ９）。そして、ステップＳ９での測光結果に基づいて露出制御を行う（ステップＳ１０）。
【００５３】
このように、本実施形態のデジタルカメラ１によれば、モニタリング動作時に撮影用撮像素子１１からの画像信号で生成された画像データでは顔検出ができない撮影状況でも、補助撮像ユニット３の第１、２の補助撮像素子２２ａ，２２ｂ（撮像領域２２ａ１，２２ｂ１）からの各画像信号によって、高輝度側と低輝度側にそれぞれ露出シフト制御した画像データを生成し、これらの露出シフト制御された画像データから人物の顔を検出して、顔の位置情報を得ることができる。
【００５４】
そして、制御部１５は、検出された人物の顔の位置に対して焦点（合焦位置）を決定し、更に人物の顔を測光エリアとして最適な露出、ホワイトバランスを決定する処理を行い、本撮影を行う。
【００５５】
また、本実施形態のデジタルカメラ１では、図７のフローチャートのステップＳ２において、撮影用撮像素子１１からの画像信号で生成された画像データから顔が検出できた場合（ステップＳ２：ＹＥＳ）において、制御部１５は第２の画像データに対して露出シフト制御を行わず、かつ顔検出部１５ａは第２の画像データから人物の顔の検出を行わないようにするとよい。これにより、不要な演算処理が実行されることが防止され、かつ消費電力を低減することができる。
【００５６】
更に、図７のフローチャートのステップＳ２において、撮影用撮像素子１１からの画像信号で生成された画像データから顔が検出できた場合（ステップＳ２：ＹＥＳ）において、補助撮像ユニット３への通電をＯＦＦにし、第１、第２の補助撮像素子２２ａ，２２ｂによる撮像動作を行なわないようにしてもよい。これにより、不要な演算処理が実行されることが防止され、かつ消費電力をより低減することができる。
【００５７】
〈実施形態２〉
図９は、本発明の実施形態２に係るデジタルカメラを示す正面図、図１０は、このデジタルカメラに設けた補助撮像ユニットを示す断面図である。
【００５８】
図９、図１０に示すように、本実施形態のデジタルカメラ１ａに設けられた補助撮像ユニット３ａは、１つの補助撮像素子用レンズ５と補助撮像素子２４を有している。補助撮像素子２４の撮像領域２４ａの対角中心と補助撮像素子用レンズ５の光軸が略一致するように位置決めされている。補助撮像ユニット３ａの他の構成は、図４（ａ）に示した実施形態１と同様である。また、デジタルカメラ１ａのシステム構成は、図２に示した実施形態１と同様であり、以下のフローチャートでは図２を参照して説明する。
【００５９】
本実施形態では、デジタルカメラ１ａの制御部１５（図２参照）は、補助撮像素子２４（撮像領域２４ａ）からの画像信号によって生成された画像データに対して、高輝度側にシフトした露出制御と低輝度側にシフトした露出制御を切り替えて行うことができる。なお、補助撮像素子２４（撮像領域２４ａ）からの画像信号は信号処理部１３に入力されるが、画像として液晶モニタ１６に表示されたり、メモリカード１９に記録されることはない。
【００６０】
顔検出部１５ａは、モニタリング動作時に撮影用撮像素子１１からの画像信号によって顔検出処理を行ったときに逆光等の悪条件によって人物の顔を検出できなかった場合、補助撮像素子２４（撮像領域２４ａ）からの画像信号によって生成された画像データで顔検出処理を行う（詳細は後述する）。
【００６１】
次に、本実施形態おける、本撮影前のモニタリング動作時での人物の顔を検出する顔検出処理と露出制御処理を、図１１に示すフローチャートを参照して説明する。
【００６２】
撮影者がデジタルカメラ１ａの電源スイッチ（不図示）をＯＮして撮影モード、顔検出モードに設定すると、モニタリング動作が開始され、撮影レンズ２を通して撮影像が撮影用撮像素子１１に結像し、撮影用撮像素子１１からアナログフロントエンド部１２を介して画像信号が信号処理部１３に出力され、画像データが生成される。
【００６３】
そして、顔検出部１５ａは、信号処理部１３に取り込まれた撮影用撮像素子１１からの画像信号で生成された画像データによって、主要被写体としての人物の顔を検出する処理を行う（ステップＳ１１）。
【００６４】
そして、ステップＳ１１での顔検出処理時において、撮影状況（逆光で人物の顔が暗くなり過ぎている場合や、逆に人物の顔に前方側から強い照明光が当たって白とびしている場合など）によって顔が検出できなかった場合（ステップＳ１２：ＮＯ）、制御部１５は、最初に補助撮像素子２４（撮像領域２４ａ）からの画像信号によって、高輝度側に露出シフト制御した画像データを生成し、顔検出部１５ａは、この画像データから人物の顔を検出する処理を行う（ステップＳ１３）。
【００６５】
そして、ステップＳ１３での顔検出処理時において、高輝度側に露出シフト制御した画像データから顔が検出できなかった場合（ステップＳ１４：ＮＯ）、制御部１５は、次に補助撮像素子２４（撮像領域２４ａ）からの画像信号によって、低輝度側に切り替えるような露出シフト制御した画像データを生成し、顔検出部１５ａは、この画像データから人物の顔を検出する処理を行う（ステップＳ１５）。
【００６６】
そして、ステップＳ１５での顔検出処理時において、低輝度側に露出シフト制御された画像データから顔を検出した場合（ステップＳ１６：ＹＥＳ）、制御部１５は、検出した顔の位置情報に基づき、撮影用撮像素子１１からの画像信号で生成された画像データによって測光処理を行う（ステップＳ１７）。そして、ステップＳ１７での測光結果に基づいて露出制御を行う（ステップＳ１８）。
【００６７】
なお、ステップＳ１２において、撮影用撮像素子１１からの画像信号で生成された画像データから顔が検出できた場合（ステップＳ１２：ＹＥＳ）、及びステップＳ１４において、高輝度側に露出シフト制御した画像データから顔が検出できた場合（ステップＳ１４：ＹＥＳ）においては、実施形態１と同様に制御部１５は、検出した顔の位置を測光エリアとして、撮影用撮像素子１１からの画像信号で生成された画像データによって測光処理を行う（ステップＳ１７）。
【００６８】
また、ステップＳ１５での顔検出処理時において、低輝度側に露出シフト制御した画像データから顔が検出できなかった場合（ステップＳ１６：ＮＯ）においては、撮像画面内に主要被写体である人物の顔があっても顔検出ができない悪条件下である。この場合には制御部１５は、撮影用撮像素子１１からの画像信号で生成された画像データによって通常の測光方式（例えば、分割測光方式）で測光処理を行う（ステップＳ１９）。そして、ステップＳ１９での測光結果に基づいて露出制御を行う（ステップＳ２０）。
【００６９】
このように、本実施形態のデジタルカメラ１ａによれば、モニタリング動作時に撮影用撮像素子１１からの画像信号で生成された画像データでは主要被写体である顔が検出できない撮影状況でも、補助撮像ユニット３の補助撮像素子２４（撮像領域２４ａ）からの画像信号で生成された画像データに対して、高輝度側にシフトした露出制御と低輝度側にシフトした露出制御を切り替えて行い、これらの露出シフト制御された画像データから人物の顔を検出して、顔の位置情報を得ることができる。
【００７０】
そして、制御部１５は、検出された人物の顔の位置に対して焦点（合焦位置）を決定し、更に人物の顔を測光エリアとして最適な露出、ホワイトバランスを決定する処理を行い、本撮影を行う。
【００７１】
〈実施形態３〉
本実施形態のデジタルカメラは、図９、図１０に示した実施形態２と同様に、１つの補助撮像素子用レンズ５と補助撮像素子２４を有する補助撮像ユニット３ａを備えている。また、本実施形態のデジタルカメラのシステム構成も、図２に示した実施形態１と同様である。
【００７２】
本実施形態では、デジタルカメラ１ａの制御部１５（図２参照）は、補助撮像素子２４（撮像領域２４ａ）からの画像信号によって生成された画像データに対して、所定の輝度に露出設定（例えば、高輝度側にシフトした露出設定）を行っている。なお、補助撮像素子２４（撮像領域２４ａ）からの画像信号は信号処理部１３に入力されるが、画像として液晶モニタ１６に表示されたり、メモリカード１９に記録されることはない。
【００７３】
顔検出部１５ａは、モニタリング動作時に撮影用撮像素子１１からの画像信号によって顔検出処理を行ったときに逆光等の悪条件によって主要被写体である人物の顔を検出できなかった場合、補助撮像素子２４（撮像領域２４ａ）からの画像信号によって生成された画像データで顔検出処理を行う（詳細は後述する）。
【００７４】
次に、本実施形態における、本撮影前のモニタリング動作時の人物の顔を検出する顔検出処理と露出制御処理を、図１２に示すフローチャートを参照して説明する。
【００７５】
撮影者がデジタルカメラ１ａの電源スイッチ（不図示）をＯＮして撮影モード、顔検出モードに設定すると、モニタリング動作が開始され、撮影レンズ２を通して撮影像が撮影用撮像素子１１に結像し、撮影用撮像素子１１からアナログフロントエンド部１２を介して画像信号が信号処理部１３に出力され、画像データが生成される。
【００７６】
そして、顔検出部１５ａは、信号処理部１３に取り込まれた撮影用撮像素子１１からの画像信号で生成された画像データによって、主要被写体としての人物の顔を検出する処理を行う（ステップＳ２１）。
【００７７】
そして、ステップＳ２１での顔検出処理時において、撮影状況（逆光で人物の顔が暗くなり過ぎている場合や、逆に人物の顔に前方側から強い照明光が当たって白とびしている場合など）によって顔が検出できなかった場合（ステップＳ２２：ＮＯ）、制御部１５は、補助撮像素子２４（撮像領域２４ａ）からの画像信号によって所定の輝度に露出設定（例えば、高輝度側にシフトした露出設定）した画像データを生成し、顔検出部１５ａは、この画像データから人物の顔を検出する処理を行う（ステップＳ２３）。
【００７８】
そして、ステップＳ２３での顔検出処理時において、所定の輝度に露出設定（例えば、高輝度側にシフトした露出設定）した画像データから顔を検出した場合（ステップＳ２４：ＹＥＳ）、制御部１５は、検出した顔の位置情報に基づき、撮影用撮像素子１１からの画像信号で生成された画像データによって測光処理を行う（ステップＳ２５）。そして、ステップＳ２５での測光結果に基づいて露出制御を行う（ステップＳ２６）。
【００７９】
なお、ステップＳ２２において、撮影用撮像素子１１からの画像信号で生成された画像データから顔が検出できた場合（ステップＳ２２：ＹＥＳ）においては、実施形態１と同様に制御部１５は、検出した顔の位置を測光エリアとして、撮影用撮像素子１１からの画像信号で生成された画像データによって測光処理を行う（ステップＳ２５）。
【００８０】
また、ステップＳ２４での顔検出処理時において、所定の輝度に露出設定（例えば、高輝度側にシフトした露出設定）した画像データから顔が検出できなかった場合（ステップＳ２４：ＮＯ）においては、撮像画面内に主要被写体である人物の顔があっても顔検出ができない悪条件下である。この場合には制御部１５は、撮影用撮像素子１１からの画像信号で生成された画像データによって通常の測光方式（例えば、分割測光方式）で測光処理を行う（ステップＳ２７）。そして、ステップＳ２７での測光結果に基づいて露出制御を行う（ステップＳ２８）。
【００８１】
このように、本実施形態のデジタルカメラ１ａによれば、モニタリング動作時に撮影用撮像素子１１からの画像信号で生成された画像データでは顔検出ができない撮影状況でも、補助撮像ユニット３の補助撮像素子２４（撮像領域２４ａ）からの画像信号で生成された画像データに対して、所定の輝度に露出設定（例えば、高輝度側にシフトした露出設定）を行い、所定の輝度に露出設定された画像データから人物の顔を検出して、顔の位置情報を得ることができる。
【００８２】
なお、前記した各実施形態では、主要被写体検出手段としての顔検出部１５ａで主要被写体としての人物の顔を検出する構成であったが、主要被写体検出手段としてはこれ以外も、例えば、液晶モニタ１６の画面に主要被写体検出用の枠を表示し、この枠内にある画像を主要被写体として検出するようにしてもよい。
【符号の説明】
【００８３】
１ デジタルタカメラ（撮像装置）
２ 撮影レンズ
３、３ａ 補助撮像ユニット
５ 補助撮像素子用レンズ
５ａ 第１の補助撮像素子用レンズ
５ｂ 第２の補助撮像素子用レンズ
１１ 撮影用撮像素子
１３ 信号処理部
１５ 制御部（露出制御手段）
１５ａ 顔検出部（主要被写体検出手段）
２２ａ 第１の補助撮像素子
２２ｂ 第２の補助撮像素子
２４ 補助撮像素子
【先行技術文献】
【特許文献】
【００８４】
【特許文献１】特開２００３−１０７３３５号公報
【技術分野】
【０００１】
本発明は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置に関する。
【背景技術】
【０００２】
最近のデジタルスチルカメラ（以下、「デジタルカメラ」という）には、オートフォーカス（ＡＦ）機能、オート露出（ＡＥ）機能、オートホワイトバランス（ＡＷ）機能の他に、撮像画面内に主要被写体として人物の顔がある場合にこの人物の顔を自動的に検出する顔検出手段を備えているものが一般的になってきている（例えば、特許文献１参照）。
【０００３】
前記特許文献１のデジタルカメラのように、人物の顔を検出する顔検出手段を備えている場合、撮影レンズを通して被写体像が撮像素子の受光面に結像したときに、この撮像素子から出力される画像データが、顔検出手段に入力される。そして、顔検出手段により、入力された画像データの中から公知の方法で人物の顔を主要被写体として検出すると、制御部は、顔検出手段で検出した人物の顔の位置に対して焦点（合焦位置）を決定し、更に人物の顔を測光エリアとして最適な露出、ホワイトバランスを決定する処理を行っている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、顔検出手段は、前記したように入力された画像データの中から公知の方法で人物の顔を主要被写体として検出する構成であるが、例えば極端な逆光で主要被写体である人物の顔が所定以上に暗くなり過ぎていると、人物の顔を検出すること自体が困難となることがある。また、主要被写体である人物の顔周辺の背景が暗く、この人物の顔に正面から極端に明るい照明が当たって所定以上に明る過ぎている場合でも、人物の顔を検出すること自体が困難となることがある。
【０００５】
このように、撮像画面内に主要被写体としての人物の顔があっても、上記のような撮影状況によって人物の顔が検出できない場合には、人物の顔の位置に対して焦点（合焦位置）を決定できず、更に人物の顔を測光エリアとして最適な露出、ホワイトバランスを決定することもできないので、撮影者の意図と異なる撮影画像が得られてしまうことがある。
【０００６】
そこで、本発明は、撮影状況（例えば、逆光で主要被写体が暗くなり過ぎている場合や、逆に主要被写体に前方側から強い照明光が当たって白とびしている場合など）によって主要被写体（例えば、人物の顔）が検出できなかった場合でも、撮像画面内の主要被写体を検出することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を達成するために請求項１に記載の撮像装置は、主撮影用光学系を介して主撮影用の画像を撮像する主撮影用撮像素子と、補助撮影用光学系を介して補助撮影用の画像を撮像する補助撮影用撮像素子と、前記主撮影用撮像素子から出力される画像信号によって生成された第１の画像データと、前記補助撮影用撮像素子から出力される画像信号によって生成された第２の画像データとに対して、任意の露出制御を行う露出制御手段と、前記第１の画像データと前記第２の画像データからそれぞれ撮像画面内に位置する主要被写体を検出する主要被写体検出手段と、を備え、前記主要被写体検出手段が、撮影状況により前記第１の画像データから前記主要被写体を検出できなかった場合には、前記露出制御手段により、前記第２の画像データに対して高輝度側又は低輝度側に露出シフト制御して、露出シフト制御された前記第２の画像データから前記主要被写体の検出を前記主要被写体検出手段で行うことを特徴としている。
【０００８】
請求項２に記載の撮像装置は、前記主要被写体検出手段が、露出シフト制御された前記第２の画像データから前記主要被写体を検出できた場合、前記露出制御手段は、露出シフト制御された前記第２の画像データから検出された前記主要被写体の位置情報に基づき、前記第１の画像データに対して対応する位置を測光エリアとして測光処理を行い、この測光結果に基づいて前記主要被写体の露出制御を行うことを特徴としている。
【０００９】
請求項３に記載の撮像装置は、少なくとも一対の前記補助撮影用光学系と前記補助撮影用撮像素子を有し、前記露出制御手段は、一対のうちの一方の前記補助撮影用撮像素子から出力される画像信号によって生成された前記第２の画像データに対しては高輝度側に露出シフト制御し、他方の補助撮影用撮像素子から出力される画像信号によって生成された前記第２の画像データに対しては低輝度側に露出シフト制御することを特徴としている。
【００１０】
請求項４に記載の撮像装置は、一つの前記補助撮影用光学系と前記補助撮影用撮像素子を有し、前記露出制御手段は、一つの前記補助撮影用撮像素子から出力される画像信号によって生成された前記第２の画像データに対して、高輝度側への露出シフト制御と低輝度側への露出シフト制御とに切り替え可能であることを特徴としている。
【００１１】
請求項５に記載の撮像装置は、一つの前記補助撮影用光学系と前記補助撮影用撮像素子を有し、前記露出制御手段は、一つの前記補助撮影用撮像素子から出力される画像信号によって生成された前記第２の画像データに対して、高輝度側又は低輝度側のいずれか一方に露出シフト制御することを特徴としている。
【００１２】
請求項６に記載の撮像装置は、前記主撮影用光学系はズーム機能を有し、前記補助撮影用光学系の画角は、前記主撮影用光学系の広角端側の画角と略同じに設定されており、前記主撮影用光学系が広角端よりも望遠側にズームされている画角のときは、前記補助撮影用撮像素子の全撮像領域のうちの前記主撮影用光学系の画角に対応した領域内から前記主要被写体を検出することを特徴としている。
【００１３】
請求項７に記載の撮像装置は、前記主要被写体検出手段が、前記第１の画像データから前記主要被写体を検出できている場合には、前記露出制御手段は前記第２の画像データに対して露出シフト制御を行わず、かつ前記主要被写体検出手段は前記第２の画像データから前記主要被写体の検出を行わないことを特徴としている。
【００１４】
請求項８に記載の撮像装置は、前記主要被写体検出手段が、前記第１の画像データから前記主要被写体を検出できている場合には、前記補助撮影用撮像素子による撮像動作を行わないことを特徴としている。
【００１５】
請求項９に記載の撮像装置は、前記主要被写体は人物の顔であり、前記主要被写体検出手段は、主要被写体としての人物の顔を検出することを特徴としている。
【発明の効果】
【００１６】
本発明に係る撮像装置によれば、撮影状況により主撮影用撮像素子から出力される画像信号によって生成された第１の画像データから主要被写体を検出できなかった場合でも、高輝度側又は低輝度側に露出シフト制御された補助撮影用撮像素子から出力される画像信号によって生成された第２の画像データから主要被写体の検出を行うことができる。よって、第２の画像データから検出した主要被写体の位置に基づき、第１の画像データに対して対応する位置に対して焦点（合焦位置）を決定することができ、更に最適な露出とホワイトバランスを決定することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態１に係る撮像装置の一例としてのデジタルカメラを示す正面図。
【図２】実施形態１におけるデジタルカメラのシステム構成の概要を示すブロック図。
【図３】モニタリング動作時における、露出制御と顔検出処理の時間間隔を示す図。
【図４】（ａ）は、実施形態１における補助撮像ユニットを示す概略断面図、（ｂ）は、この補助撮像ユニットの第１、第２の補助撮像素子を示す平面図。
【図５】（ａ）は、撮影レンズを最広角側にズームしているときの撮影画角を示す図、（ｂ）は、補助撮像素子用レンズの画角を示す図。
【図６】（ａ）は、撮影レンズを最広角から望遠側にズームしているときの撮影画角を示す図、（ｂ）は、補助撮像素子用レンズの画角とこのときの撮影画角に対応した領域を示す図。
【図７】本発明の実施形態１のモニタリング動作時における人物の顔を検出する顔検出処理と露出制御処理を示すフローチャート。
【図８】（ａ）は、逆光によって人物の顔が暗くなり過ぎているときの画像の一例を示す図、（ｂ）は、高輝度側に露出シフト制御され、人物の顔が明るくなっている画像の一例を示す図。
【図９】本発明の実施形態２、３に係る撮像装置の一例としてのデジタルカメラを示す正面図。
【図１０】実施形態２、３における補助撮像ユニットを示す概略断面図。
【図１１】本発明の実施形態２のモニタリング動作時における人物の顔を検出する顔検出処理と露出制御処理を示すフローチャート。
【図１２】本発明の実施形態３のモニタリング動作時における人物の顔を検出する顔検出処理と露出制御処理を示すフローチャート。
【発明を実施するための形態】
【００１８】
以下、本発明を図示の実施形態に基づいて説明する。
【００１９】
〈実施形態１〉
図１は、本発明の実施形態１に係る撮像装置の一例としてのデジタルカメラを示す正面図、図２は、図１に示したデジタルカメラのシステム構成の概要を示すブロック図である。
【００２０】
（デジタルカメラの外観構成）
図１に示すように、本実施形態に係るデジタルカメラ１の正面（前面）側には、光学ズーム機能を有する被写体撮影用の撮影レンズ２、後述する補助撮像ユニット３の前面側のレンズアレイ４等が設けられている。レンズアレイ４の表面には、所定の間隔で左右方向に設けた一対（２つ）の補助撮像素子用レンズ５ａ，５ｂが一体に形成されている。撮像レンズ２と補助撮像素子用レンズ５ａ，５ｂの各光軸は平行である。また、デジタルカメラ１の上面側には、レリーズボタン６、撮影モード切換ボタン７、不図示の電源スイッチ、ズームスイッチ等が設けられている。
【００２１】
（デジタルカメラ１のシステム構成）
図２に示すように、このデジタルカメラ１は、複数のレンズ群を有する撮影レンズ２、シャッタ機能を有する絞りユニット１０、撮影レンズ２を通して入射される撮影像が受光面上に結像するＣＣＤイメージセンサ等の撮影用撮像素子１１、撮影用撮像素子１１から出力される画像信号（電気信号）をアナログフロントエンド（ＡＦＥ）部１２でデジタル処理して取り込み、撮影画像を表示や記録が可能な画像データに変換処理する信号処理部１３、操作部（レリーズボタン６、撮影モード切換ボタン７（図１参照）等）１４からの操作入力情報に基づき、ＲＯＭ（不図示）に記憶された制御プログラムに基づいてデジタルカメラ１全体のシステム制御等を行う制御部（ＣＰＵ）１５、信号処理部１３で生成された画像データ（撮影画像）等を表示する液晶モニタ（ＬＣＤ）１６、撮影レンズ２の複数のレンズ群を駆動するレンズ駆動部１７、絞りユニット１０を駆動する絞りユニット駆動部１８、及び前記補助撮像ユニット３等を備えている。信号処理部１３で生成された画像データは、メモリカード収納部（不図示）内に収納自在なメモリカード１９に記録される。
【００２２】
液晶モニタ（ＬＣＤ）１６は、画像データ（撮影画像）を表示する以外にも、撮影時の撮影モードなどの各種動作内容等を表示したり、電子ファインダとしてモニタリング画像（動画）を表示することができる。液晶モニタ（ＬＣＤ）１６は、デジタルカメラ１の背面側に設けられている。なお、実際に撮影する前のモニタリング時においては、撮影用撮像素子１１からの画像信号に対して画素数を間引き処理した画像が液晶モニタ（ＬＣＤ）１６に表示される。
【００２３】
制御部（ＣＰＵ）１５は、撮影用撮像素子１１からアナログフロントエンド（ＡＦＥ）部１２を介して取り込んだ画像信号より、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。
【００２４】
ＡＦ評価値は、例えば、高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ２の光軸方向に沿った各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。
【００２５】
ＡＥ評価値とＡＷＢ評価値は、取り込んだ撮影用撮像素子１１からの画像信号におけるＲＧＢ値のそれぞれの積分値から算出される。例えば、撮影用撮像素子１１の全画素の受光面に対応した撮像画面を１０２４エリアに等分割（水平３２分割、垂直３２分割）し、それぞれのエリアのＲＧＢ積算を算出する。
【００２６】
そして、制御部１５は、ＡＥ評価値（算出されたＲＧＢ積算値）を読み出し、撮像画面内の各エリアの輝度を算出して、輝度分布から適正な露光量を決定する測光処理（ＡＥ処理）を行う。そして、制御部１５は、決定した露光量に基づいて、露出条件（撮影用撮像素子１１の電子シャッタ回数、絞りユニット１０の絞り値等）を設定し、露出制御を行う。また、制御部１５は、ＡＷＢ評価値（算出されたＲＧＢ積算値）を読み出し、撮像画面内の各エリアのＲＧＢの分布から被写体色や光源色を判定し、光源の色に合わせたＡＷＢの制御値を決定する処理（ＡＷＢ処理）を行う。
【００２７】
また、制御部１５は、顔検出部１５ａを有している。
【００２８】
顔検出部１５ａは、例えば、前記撮像画面内の各エリアの輝度データを読み出し、予め記憶されている人物の顔の目と鼻の輝度パターンテンプレートとのマッチングを行うことで、主要被写体である人物の顔を検出する処理を行う。前記輝度パターンテンプレートは、複数種類の大きさのものが予めＲＯＭ（不図示）に記憶されており、それぞれの大きさの輝度パターンテンプレートで撮像画面内の各エリアにおいてパターンマッチングすることで人物の顔の検出を行う。人物の顔部が検出されると、人物の顔部が撮像画面内で移動してもそれに追尾して検出状態を保持する。
【００２９】
図３に示すように、撮影モードに設定して実際に被写体を撮影する前のモニタリング動作時（構図やシャッタチャンス等を確認するために、液晶モニタ１６に撮影する画像（動画）が表示されている時）から、制御部１５は、前記露出制御を一定時間間隔で行っており、また、顔検出部１５ａは、露出制御とは非同期で前記顔検出処理を一定時間間隔（露出制御の一定時間間隔よりも長い）で行っており、顔検出結果情報を露出制御側へ通知する。
【００３０】
そして、制御部１５は、撮像画面内で人物の顔が検出されるとその顔を測光エリアとしてＡＥ評価値を算出し、算出したＡＥ評価値に基づいて露光量を決定する。そして、決定した露光量に基づいて、露出条件（撮影用撮像素子１１の電子シャッタ回数、絞りユニット１０の絞り値等）を設定し、露出制御を行う。
【００３１】
なお、撮像画面内に人物の顔があるのに顔検出ができない撮影状況の場合、撮像画面内に人物の顔がいない場合、顔検出モードがＯＦＦの場合には、例えば分割測光方式（撮像画面を複数のエリアに分割し、各エリア毎に輝度の平均値を算出して算出した輝度平均値の分布パターンから輝度データを決定する方式）で測光して露光制御を行う。
【００３２】
また、このモニタリング動作時には、露出制御とは非同期で前記ＡＦ動作を一定時間間隔（露出制御の一定時間間隔よりも長い）で行っており、例えば、顔検出処理で主要被写体である人物の顔を検出した場合には、検出した顔の位置に対してＡＦ動作を行なう。
【００３３】
（補助撮像ユニット３の構成）
図４（ａ），（ｂ）に示すように、本実施形態の補助撮像ユニット３は、前面側（図４（ａ）の上側）が開口した筐体２０と、この筐体２０の前面側に一対の補助撮像用レンズ５ａ，５ｂが一列（デジタルカメラ１の左右方向）に一体に形成された透明樹脂材からなるレンズアレイ４と、レンズアレイ４と対向する筐体２０内の背面側（図４（ａ）の下側）に配置された薄板状の撮像素子基板２１と、撮像素子基板２１上に等間隔で形成された平面状（２次元状）のＣＣＤ等の第１、第２の補助撮像素子２２ａ，２２ｂと、撮像素子基板２１の背面に配置された第１、第２の補助撮像素子２２ａ，２２ｂから出力される画像信号（電気信号）をデジタル信号に変換処理するアナログフロントエンド（ＡＦＥ）部等２３を備えている。アナログフロントエンド部２３でデジタル信号に変換された画像信号は、前記信号処理部１３に入力される。
【００３４】
第１、第２の各補助撮像素子２２ａ，２２ｂは、補助撮像素子用レンズ５ａ，５ｂとそれぞれ対向するようにして配置されている。第１、第２の補助撮像素子２２ａ，２２ｂのサイズは前記撮影用撮像素子１１よりも小さく、第１、第２の補助撮像素子２２ａ，２２ｂの各撮像領域２２ａ１，２２ｂ１の画素数は、例えば、撮影用撮像素子１１の画素数を間引き処理したモニタリング時と同程度である。
【００３５】
第１、第２の補助撮像素子用レンズ５ａ，５ｂの各光軸は平行であり、各撮像領域２２ａ１，２２ｂ１の対角中心と第１、第２の補助撮像素子用レンズ５ａ，５ｂの光軸が略一致するように位置決めされている。第１、第２の補助撮像素子用レンズ５ａ，５ｂの画角は、本実施形態では前記撮影レンズ２の最広角ズーム側付近の撮影画角に対応している。補助撮像素子用レンズ５ａ，５ｂは、該補助撮像素子用レンズ５ａ，５ｂに入射する被写体光が各撮像領域２２ａ１，２２ｂ１に結像するような焦点距離を有している。なお、レンズアレイ４の前面側の補助撮像素子用レンズ５ａ，５ｂ以外の部分は遮光部材（不図示）で覆われている。
【００３６】
制御部（ＣＰＵ）１５は、第１、第２の補助撮像素子２２ａ，２２ｂ（各撮像領域２２ａ１，２２ｂ１）からアナログフロントエンド（ＡＦＥ）部２３を介して取り込んだ画像信号より、各撮像領域２２ａ１，２２ｂ１の受光面に対応した撮像画面を複数のエリアに分割して、それぞれのエリアでＡＥ評価値を算出することができる。
【００３７】
そして、制御部１５は、第１の補助撮像素子２２ａ（撮像領域２２ａ１）からの画像信号に対しては高輝度側にシフトした露出制御を行い、第２の補助撮像素子２２ｂ（撮像領域２２１）からの画像信号に対しては低輝度側にシフトした露出制御を行う。高輝度側に露出制御する場合は、例えば、第１、第２の補助撮像素子２２ａ，２２ｂから出力される画像信号をデジタル信号に変換処理するアナログフロントエンド部２３でのゲイン値を高くし、低輝度側に露出制御する場合は、逆にゲイン値を低くする。
【００３８】
なお、第１、第２の補助撮像素子２２ａ，２２ｂ（各撮像領域２２ａ１，２２ｂ１）からの画像信号は信号処理部１３に入力されるが、画像として液晶モニタ１６に表示されたり、メモリカード１９に記録されることはない。
【００３９】
顔検出部１５ａは、モニタリング動作時に撮影用撮像素子１１からの画像信号によって顔検出処理を行ったときに逆光等の撮影状況によって人物の顔を検出できなかった場合、第１、第２の補助撮像素子２２ａ，２２ｂ（各撮像領域２２ａ１，２２ｂ１）からの画像信号によって顔検出処理を行う（詳細は後述する）。
【００４０】
なお、図５（ａ）は、撮影レンズ２を最広角側にズームしているときの撮影画角、図５（ｂ）は、補助撮像ユニット３の補助撮像素子用レンズ５ａ，５ｂの画角を示しており、両者の画角は略同じである。この場合の画面内の画像は両者とも略同じ大きさとなる。よって、撮影レンズ２を最広角側にズームしているときは、第１、第２の補助撮像素子２２ａ，２２ｂの各撮像領域２２ａ１，２２ｂ１の全体から主要被写体である人物の顔を検出する。
【００４１】
また、図６（ａ）は、撮影レンズ２を最広角から望遠側にズームしているときの撮影画角、図６（ｂ）は、補助撮像ユニット３の補助撮像素子用レンズ５ａ，５ｂの画角を示しており、撮影レンズ２の撮影画角の方が狭くなる。よって、この場合は、第１、第２の補助撮像素子２２ａ，２２ｂの撮像領域２２ａ１，２２ｂ１のうちの前記撮影レンズ２の撮影画角に対応した領域Ａから主要被写体である人物の顔を検出する。
【００４２】
次に、実施形態１における、本撮影前のモニタリング動作時での人物の顔を検出する顔検出処理と露出制御処理を、図７に示すフローチャートを参照して説明する。なお、図７に示したフローチャートでの顔検出処理と露出制御処理は、撮像画角内に主要被写体である人物の顔がある場合を前提としている（後述する実施形態２、３のフローチャートでも同様である）。
【００４３】
撮影者がデジタルカメラ１の電源スイッチ（不図示）をＯＮして撮影モード、顔検出モードに設定すると、モニタリング動作が開始され、撮影レンズ２を通して撮影像が撮影用撮像素子１１に結像し、撮影用撮像素子１１からアナログフロントエンド部１２を介して画像信号が信号処理部１３に出力され、画像データが生成される。
【００４４】
そして、顔検出部１５ａは、信号処理部１３に取り込まれた撮影用撮像素子１１からの画像信号で生成された画像データによって、主要被写体としての人物の顔を検出する処理を行う（ステップＳ１）。
【００４５】
そして、ステップＳ１での顔検出処理時において、撮影状況（逆光で人物の顔が暗くなり過ぎている場合や、逆に人物の顔に前方側から強い照明光が当たって白とびしている場合など）によって顔が検出できなかった場合（ステップＳ２：ＮＯ）、制御部１５は、最初に第１の補助撮像素子２２ａ（撮像領域２２ａ１）からの画像信号によって、高輝度側に露出シフト制御した画像データを生成し、顔検出部１５ａは、この画像データから人物の顔を検出する処理を行う（ステップＳ３）。
【００４６】
そして、ステップＳ３での顔検出処理時において、高輝度側に露出シフト制御した画像データから顔が検出できなかった場合（ステップＳ４：ＮＯ）、制御部１５は、次に第２の補助撮像素子２２ｂ（撮像領域２２ｂ１）からの画像信号によって、低輝度側に露出シフト制御した画像データを生成し、顔検出部１５ａは、この画像データから人物の顔を検出する処理を行う（ステップＳ５）。
【００４７】
そして、ステップＳ５での顔検出処理時において、低輝度側に露出シフト制御された画像データから顔を検出した場合（ステップＳ６：ＹＥＳ）、制御部１５は、検出した顔の位置情報に基づき、撮影用撮像素子１１からの画像信号で生成された画像データによって測光処理を行う（ステップＳ７）。そして、ステップＳ７での測光結果に基づいて露出制御を行う（ステップＳ８）。
【００４８】
なお、ステップＳ２において、撮影用撮像素子１１からの画像信号で生成された画像データから顔が検出できた場合（ステップＳ２：ＹＥＳ）は、通常の撮影状況であり、制御部１５は、検出した顔の位置を測光エリアとして、撮影用撮像素子１１からの画像信号で生成された画像データによって測光処理を行う（ステップＳ７）。
【００４９】
また、ステップＳ４において、高輝度側に露出シフト制御した画像データから顔が検出できた場合（ステップＳ４：ＹＥＳ）においては、図８（ａ）のように、例えば、逆光によって被写体である人物の顔Ｆが暗くなり過ぎていて顔検出できないときに、図８（ｂ）のような高輝度側に露出シフト制御された画像を生成することで、人物の顔Ｆを検出することができる。そして、制御部１５は、検出した顔の位置情報に基づき、撮影用撮像素子１１からの画像信号で生成された画像データによって測光処理を行う（ステップＳ７）。
【００５０】
なお、図８（ａ）は、逆光によって主要被写体である人物の顔Ｆが暗くなり過ぎているときに、撮影用撮像素子１１からの画像信号によって液晶モニタ１６に表示された画像の一例である。また、図８（ｂ）は、第１の補助撮像素子２２ａ（撮像領域２２ａ１）からの画像信号によって生成された画像（高輝度側に露出シフトされ、人物の顔Ｆが明るくなっている画像）のイメージであるが、この画像は液晶モニタ１６に表示されることはない。
【００５１】
よって、モニタリング動作時に液晶モニタ１６に表示される画像に、例えば、暗くなり過ぎている人物の顔が急に高輝度側に露出シフトされて明るくなるなどの変化が生じることなく、撮影者に違和感を与えることはない。
【００５２】
また、ステップＳ５での顔検出処理時において、低輝度側に露出シフト制御した画像データから顔が検出できなかった場合（ステップＳ６：ＮＯ）においては、撮像画面内に主要被写体である人物の顔があっても顔検出ができない悪条件下である。この場合には制御部１５は、撮影用撮像素子１１からの画像信号で生成された画像データによって通常の測光方式（例えば、分割測光方式）で測光処理を行う（ステップＳ９）。そして、ステップＳ９での測光結果に基づいて露出制御を行う（ステップＳ１０）。
【００５３】
このように、本実施形態のデジタルカメラ１によれば、モニタリング動作時に撮影用撮像素子１１からの画像信号で生成された画像データでは顔検出ができない撮影状況でも、補助撮像ユニット３の第１、２の補助撮像素子２２ａ，２２ｂ（撮像領域２２ａ１，２２ｂ１）からの各画像信号によって、高輝度側と低輝度側にそれぞれ露出シフト制御した画像データを生成し、これらの露出シフト制御された画像データから人物の顔を検出して、顔の位置情報を得ることができる。
【００５４】
そして、制御部１５は、検出された人物の顔の位置に対して焦点（合焦位置）を決定し、更に人物の顔を測光エリアとして最適な露出、ホワイトバランスを決定する処理を行い、本撮影を行う。
【００５５】
また、本実施形態のデジタルカメラ１では、図７のフローチャートのステップＳ２において、撮影用撮像素子１１からの画像信号で生成された画像データから顔が検出できた場合（ステップＳ２：ＹＥＳ）において、制御部１５は第２の画像データに対して露出シフト制御を行わず、かつ顔検出部１５ａは第２の画像データから人物の顔の検出を行わないようにするとよい。これにより、不要な演算処理が実行されることが防止され、かつ消費電力を低減することができる。
【００５６】
更に、図７のフローチャートのステップＳ２において、撮影用撮像素子１１からの画像信号で生成された画像データから顔が検出できた場合（ステップＳ２：ＹＥＳ）において、補助撮像ユニット３への通電をＯＦＦにし、第１、第２の補助撮像素子２２ａ，２２ｂによる撮像動作を行なわないようにしてもよい。これにより、不要な演算処理が実行されることが防止され、かつ消費電力をより低減することができる。
【００５７】
〈実施形態２〉
図９は、本発明の実施形態２に係るデジタルカメラを示す正面図、図１０は、このデジタルカメラに設けた補助撮像ユニットを示す断面図である。
【００５８】
図９、図１０に示すように、本実施形態のデジタルカメラ１ａに設けられた補助撮像ユニット３ａは、１つの補助撮像素子用レンズ５と補助撮像素子２４を有している。補助撮像素子２４の撮像領域２４ａの対角中心と補助撮像素子用レンズ５の光軸が略一致するように位置決めされている。補助撮像ユニット３ａの他の構成は、図４（ａ）に示した実施形態１と同様である。また、デジタルカメラ１ａのシステム構成は、図２に示した実施形態１と同様であり、以下のフローチャートでは図２を参照して説明する。
【００５９】
本実施形態では、デジタルカメラ１ａの制御部１５（図２参照）は、補助撮像素子２４（撮像領域２４ａ）からの画像信号によって生成された画像データに対して、高輝度側にシフトした露出制御と低輝度側にシフトした露出制御を切り替えて行うことができる。なお、補助撮像素子２４（撮像領域２４ａ）からの画像信号は信号処理部１３に入力されるが、画像として液晶モニタ１６に表示されたり、メモリカード１９に記録されることはない。
【００６０】
顔検出部１５ａは、モニタリング動作時に撮影用撮像素子１１からの画像信号によって顔検出処理を行ったときに逆光等の悪条件によって人物の顔を検出できなかった場合、補助撮像素子２４（撮像領域２４ａ）からの画像信号によって生成された画像データで顔検出処理を行う（詳細は後述する）。
【００６１】
次に、本実施形態おける、本撮影前のモニタリング動作時での人物の顔を検出する顔検出処理と露出制御処理を、図１１に示すフローチャートを参照して説明する。
【００６２】
撮影者がデジタルカメラ１ａの電源スイッチ（不図示）をＯＮして撮影モード、顔検出モードに設定すると、モニタリング動作が開始され、撮影レンズ２を通して撮影像が撮影用撮像素子１１に結像し、撮影用撮像素子１１からアナログフロントエンド部１２を介して画像信号が信号処理部１３に出力され、画像データが生成される。
【００６３】
そして、顔検出部１５ａは、信号処理部１３に取り込まれた撮影用撮像素子１１からの画像信号で生成された画像データによって、主要被写体としての人物の顔を検出する処理を行う（ステップＳ１１）。
【００６４】
そして、ステップＳ１１での顔検出処理時において、撮影状況（逆光で人物の顔が暗くなり過ぎている場合や、逆に人物の顔に前方側から強い照明光が当たって白とびしている場合など）によって顔が検出できなかった場合（ステップＳ１２：ＮＯ）、制御部１５は、最初に補助撮像素子２４（撮像領域２４ａ）からの画像信号によって、高輝度側に露出シフト制御した画像データを生成し、顔検出部１５ａは、この画像データから人物の顔を検出する処理を行う（ステップＳ１３）。
【００６５】
そして、ステップＳ１３での顔検出処理時において、高輝度側に露出シフト制御した画像データから顔が検出できなかった場合（ステップＳ１４：ＮＯ）、制御部１５は、次に補助撮像素子２４（撮像領域２４ａ）からの画像信号によって、低輝度側に切り替えるような露出シフト制御した画像データを生成し、顔検出部１５ａは、この画像データから人物の顔を検出する処理を行う（ステップＳ１５）。
【００６６】
そして、ステップＳ１５での顔検出処理時において、低輝度側に露出シフト制御された画像データから顔を検出した場合（ステップＳ１６：ＹＥＳ）、制御部１５は、検出した顔の位置情報に基づき、撮影用撮像素子１１からの画像信号で生成された画像データによって測光処理を行う（ステップＳ１７）。そして、ステップＳ１７での測光結果に基づいて露出制御を行う（ステップＳ１８）。
【００６７】
なお、ステップＳ１２において、撮影用撮像素子１１からの画像信号で生成された画像データから顔が検出できた場合（ステップＳ１２：ＹＥＳ）、及びステップＳ１４において、高輝度側に露出シフト制御した画像データから顔が検出できた場合（ステップＳ１４：ＹＥＳ）においては、実施形態１と同様に制御部１５は、検出した顔の位置を測光エリアとして、撮影用撮像素子１１からの画像信号で生成された画像データによって測光処理を行う（ステップＳ１７）。
【００６８】
また、ステップＳ１５での顔検出処理時において、低輝度側に露出シフト制御した画像データから顔が検出できなかった場合（ステップＳ１６：ＮＯ）においては、撮像画面内に主要被写体である人物の顔があっても顔検出ができない悪条件下である。この場合には制御部１５は、撮影用撮像素子１１からの画像信号で生成された画像データによって通常の測光方式（例えば、分割測光方式）で測光処理を行う（ステップＳ１９）。そして、ステップＳ１９での測光結果に基づいて露出制御を行う（ステップＳ２０）。
【００６９】
このように、本実施形態のデジタルカメラ１ａによれば、モニタリング動作時に撮影用撮像素子１１からの画像信号で生成された画像データでは主要被写体である顔が検出できない撮影状況でも、補助撮像ユニット３の補助撮像素子２４（撮像領域２４ａ）からの画像信号で生成された画像データに対して、高輝度側にシフトした露出制御と低輝度側にシフトした露出制御を切り替えて行い、これらの露出シフト制御された画像データから人物の顔を検出して、顔の位置情報を得ることができる。
【００７０】
そして、制御部１５は、検出された人物の顔の位置に対して焦点（合焦位置）を決定し、更に人物の顔を測光エリアとして最適な露出、ホワイトバランスを決定する処理を行い、本撮影を行う。
【００７１】
〈実施形態３〉
本実施形態のデジタルカメラは、図９、図１０に示した実施形態２と同様に、１つの補助撮像素子用レンズ５と補助撮像素子２４を有する補助撮像ユニット３ａを備えている。また、本実施形態のデジタルカメラのシステム構成も、図２に示した実施形態１と同様である。
【００７２】
本実施形態では、デジタルカメラ１ａの制御部１５（図２参照）は、補助撮像素子２４（撮像領域２４ａ）からの画像信号によって生成された画像データに対して、所定の輝度に露出設定（例えば、高輝度側にシフトした露出設定）を行っている。なお、補助撮像素子２４（撮像領域２４ａ）からの画像信号は信号処理部１３に入力されるが、画像として液晶モニタ１６に表示されたり、メモリカード１９に記録されることはない。
【００７３】
顔検出部１５ａは、モニタリング動作時に撮影用撮像素子１１からの画像信号によって顔検出処理を行ったときに逆光等の悪条件によって主要被写体である人物の顔を検出できなかった場合、補助撮像素子２４（撮像領域２４ａ）からの画像信号によって生成された画像データで顔検出処理を行う（詳細は後述する）。
【００７４】
次に、本実施形態における、本撮影前のモニタリング動作時の人物の顔を検出する顔検出処理と露出制御処理を、図１２に示すフローチャートを参照して説明する。
【００７５】
撮影者がデジタルカメラ１ａの電源スイッチ（不図示）をＯＮして撮影モード、顔検出モードに設定すると、モニタリング動作が開始され、撮影レンズ２を通して撮影像が撮影用撮像素子１１に結像し、撮影用撮像素子１１からアナログフロントエンド部１２を介して画像信号が信号処理部１３に出力され、画像データが生成される。
【００７６】
そして、顔検出部１５ａは、信号処理部１３に取り込まれた撮影用撮像素子１１からの画像信号で生成された画像データによって、主要被写体としての人物の顔を検出する処理を行う（ステップＳ２１）。
【００７７】
そして、ステップＳ２１での顔検出処理時において、撮影状況（逆光で人物の顔が暗くなり過ぎている場合や、逆に人物の顔に前方側から強い照明光が当たって白とびしている場合など）によって顔が検出できなかった場合（ステップＳ２２：ＮＯ）、制御部１５は、補助撮像素子２４（撮像領域２４ａ）からの画像信号によって所定の輝度に露出設定（例えば、高輝度側にシフトした露出設定）した画像データを生成し、顔検出部１５ａは、この画像データから人物の顔を検出する処理を行う（ステップＳ２３）。
【００７８】
そして、ステップＳ２３での顔検出処理時において、所定の輝度に露出設定（例えば、高輝度側にシフトした露出設定）した画像データから顔を検出した場合（ステップＳ２４：ＹＥＳ）、制御部１５は、検出した顔の位置情報に基づき、撮影用撮像素子１１からの画像信号で生成された画像データによって測光処理を行う（ステップＳ２５）。そして、ステップＳ２５での測光結果に基づいて露出制御を行う（ステップＳ２６）。
【００７９】
なお、ステップＳ２２において、撮影用撮像素子１１からの画像信号で生成された画像データから顔が検出できた場合（ステップＳ２２：ＹＥＳ）においては、実施形態１と同様に制御部１５は、検出した顔の位置を測光エリアとして、撮影用撮像素子１１からの画像信号で生成された画像データによって測光処理を行う（ステップＳ２５）。
【００８０】
また、ステップＳ２４での顔検出処理時において、所定の輝度に露出設定（例えば、高輝度側にシフトした露出設定）した画像データから顔が検出できなかった場合（ステップＳ２４：ＮＯ）においては、撮像画面内に主要被写体である人物の顔があっても顔検出ができない悪条件下である。この場合には制御部１５は、撮影用撮像素子１１からの画像信号で生成された画像データによって通常の測光方式（例えば、分割測光方式）で測光処理を行う（ステップＳ２７）。そして、ステップＳ２７での測光結果に基づいて露出制御を行う（ステップＳ２８）。
【００８１】
このように、本実施形態のデジタルカメラ１ａによれば、モニタリング動作時に撮影用撮像素子１１からの画像信号で生成された画像データでは顔検出ができない撮影状況でも、補助撮像ユニット３の補助撮像素子２４（撮像領域２４ａ）からの画像信号で生成された画像データに対して、所定の輝度に露出設定（例えば、高輝度側にシフトした露出設定）を行い、所定の輝度に露出設定された画像データから人物の顔を検出して、顔の位置情報を得ることができる。
【００８２】
なお、前記した各実施形態では、主要被写体検出手段としての顔検出部１５ａで主要被写体としての人物の顔を検出する構成であったが、主要被写体検出手段としてはこれ以外も、例えば、液晶モニタ１６の画面に主要被写体検出用の枠を表示し、この枠内にある画像を主要被写体として検出するようにしてもよい。
【符号の説明】
【００８３】
１ デジタルタカメラ（撮像装置）
２ 撮影レンズ
３、３ａ 補助撮像ユニット
５ 補助撮像素子用レンズ
５ａ 第１の補助撮像素子用レンズ
５ｂ 第２の補助撮像素子用レンズ
１１ 撮影用撮像素子
１３ 信号処理部
１５ 制御部（露出制御手段）
１５ａ 顔検出部（主要被写体検出手段）
２２ａ 第１の補助撮像素子
２２ｂ 第２の補助撮像素子
２４ 補助撮像素子
【先行技術文献】
【特許文献】
【００８４】
【特許文献１】特開２００３−１０７３３５号公報
【特許請求の範囲】
【請求項１】
主撮影用光学系を介して主撮影用の画像を撮像する主撮影用撮像素子と、
補助撮影用光学系を介して補助撮影用の画像を撮像する補助撮影用撮像素子と、
前記主撮影用撮像素子から出力される画像信号によって生成された第１の画像データと、前記補助撮影用撮像素子から出力される画像信号によって生成された第２の画像データとに対して、任意の露出制御を行う露出制御手段と、
前記第１の画像データと前記第２の画像データからそれぞれ撮像画面内に位置する主要被写体を検出する主要被写体検出手段と、を備え、
前記主要被写体検出手段が、撮影状況により前記第１の画像データから前記主要被写体を検出できなかった場合には、
前記露出制御手段により、前記第２の画像データに対して高輝度側又は低輝度側に露出シフト制御して、露出シフト制御された前記第２の画像データから前記主要被写体の検出を前記主要被写体検出手段で行うことを特徴とする撮像装置。
【請求項２】
前記主要被写体検出手段が、露出シフト制御された前記第２の画像データから前記主要被写体を検出できた場合、前記露出制御手段は、露出シフト制御された前記第２の画像データから検出された前記主要被写体の位置情報に基づき、前記第１の画像データに対して対応する位置を測光エリアとして測光処理を行い、この測光結果に基づいて前記主要被写体の露出制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
少なくとも一対の前記補助撮影用光学系と前記補助撮影用撮像素子を有し、
前記露出制御手段は、一対のうちの一方の前記補助撮影用撮像素子から出力される画像信号によって生成された前記第２の画像データに対しては高輝度側に露出シフト制御し、他方の補助撮影用撮像素子から出力される画像信号によって生成された前記第２の画像データに対しては低輝度側に露出シフト制御することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
一つの前記補助撮影用光学系と前記補助撮影用撮像素子を有し、
前記露出制御手段は、一つの前記補助撮影用撮像素子から出力される画像信号によって生成された前記第２の画像データに対して、高輝度側への露出シフト制御と低輝度側への露出シフト制御とに切り替え可能であることを特徴とする請求項１又は２に記載の撮像装置。
【請求項５】
一つの前記補助撮影用光学系と前記補助撮影用撮像素子を有し、
前記露出制御手段は、一つの前記補助撮影用撮像素子から出力される画像信号によって生成された前記第２の画像データに対して、高輝度側又は低輝度側のいずれか一方に露出シフト制御することを特徴とする請求項１又は２に記載の撮像装置。
【請求項６】
前記主撮影用光学系はズーム機能を有し、
前記補助撮影用光学系の画角は、前記主撮影用光学系の広角端側の画角と略同じに設定されており、
前記主撮影用光学系が広角端よりも望遠側にズームされている画角のときは、前記補助撮影用撮像素子の全撮像領域のうちの前記主撮影用光学系の画角に対応した領域内から前記主要被写体を検出することを特徴とする請求項１乃至５のいずれか一項に撮像装置。
【請求項７】
前記主要被写体検出手段が、前記第１の画像データから前記主要被写体を検出できている場合には、前記露出制御手段は前記第２の画像データに対して露出シフト制御を行わず、かつ前記主要被写体検出手段は前記第２の画像データから前記主要被写体の検出を行わないことを特徴とする請求項１乃至６のいずれか一項に撮像装置。
【請求項８】
前記主要被写体検出手段が、前記第１の画像データから前記主要被写体を検出できている場合には、前記補助撮影用撮像素子による撮像動作を行わないことを特徴とする請求項１乃至６のいずれか一項に撮像装置。
【請求項９】
前記主要被写体は人物の顔であり、前記主要被写体検出手段は、主要被写体としての人物の顔を検出することを特徴とする請求項１乃至８のいずれか一項に撮像装置。
【請求項１】
主撮影用光学系を介して主撮影用の画像を撮像する主撮影用撮像素子と、
補助撮影用光学系を介して補助撮影用の画像を撮像する補助撮影用撮像素子と、
前記主撮影用撮像素子から出力される画像信号によって生成された第１の画像データと、前記補助撮影用撮像素子から出力される画像信号によって生成された第２の画像データとに対して、任意の露出制御を行う露出制御手段と、
前記第１の画像データと前記第２の画像データからそれぞれ撮像画面内に位置する主要被写体を検出する主要被写体検出手段と、を備え、
前記主要被写体検出手段が、撮影状況により前記第１の画像データから前記主要被写体を検出できなかった場合には、
前記露出制御手段により、前記第２の画像データに対して高輝度側又は低輝度側に露出シフト制御して、露出シフト制御された前記第２の画像データから前記主要被写体の検出を前記主要被写体検出手段で行うことを特徴とする撮像装置。
【請求項２】
前記主要被写体検出手段が、露出シフト制御された前記第２の画像データから前記主要被写体を検出できた場合、前記露出制御手段は、露出シフト制御された前記第２の画像データから検出された前記主要被写体の位置情報に基づき、前記第１の画像データに対して対応する位置を測光エリアとして測光処理を行い、この測光結果に基づいて前記主要被写体の露出制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
少なくとも一対の前記補助撮影用光学系と前記補助撮影用撮像素子を有し、
前記露出制御手段は、一対のうちの一方の前記補助撮影用撮像素子から出力される画像信号によって生成された前記第２の画像データに対しては高輝度側に露出シフト制御し、他方の補助撮影用撮像素子から出力される画像信号によって生成された前記第２の画像データに対しては低輝度側に露出シフト制御することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
一つの前記補助撮影用光学系と前記補助撮影用撮像素子を有し、
前記露出制御手段は、一つの前記補助撮影用撮像素子から出力される画像信号によって生成された前記第２の画像データに対して、高輝度側への露出シフト制御と低輝度側への露出シフト制御とに切り替え可能であることを特徴とする請求項１又は２に記載の撮像装置。
【請求項５】
一つの前記補助撮影用光学系と前記補助撮影用撮像素子を有し、
前記露出制御手段は、一つの前記補助撮影用撮像素子から出力される画像信号によって生成された前記第２の画像データに対して、高輝度側又は低輝度側のいずれか一方に露出シフト制御することを特徴とする請求項１又は２に記載の撮像装置。
【請求項６】
前記主撮影用光学系はズーム機能を有し、
前記補助撮影用光学系の画角は、前記主撮影用光学系の広角端側の画角と略同じに設定されており、
前記主撮影用光学系が広角端よりも望遠側にズームされている画角のときは、前記補助撮影用撮像素子の全撮像領域のうちの前記主撮影用光学系の画角に対応した領域内から前記主要被写体を検出することを特徴とする請求項１乃至５のいずれか一項に撮像装置。
【請求項７】
前記主要被写体検出手段が、前記第１の画像データから前記主要被写体を検出できている場合には、前記露出制御手段は前記第２の画像データに対して露出シフト制御を行わず、かつ前記主要被写体検出手段は前記第２の画像データから前記主要被写体の検出を行わないことを特徴とする請求項１乃至６のいずれか一項に撮像装置。
【請求項８】
前記主要被写体検出手段が、前記第１の画像データから前記主要被写体を検出できている場合には、前記補助撮影用撮像素子による撮像動作を行わないことを特徴とする請求項１乃至６のいずれか一項に撮像装置。
【請求項９】
前記主要被写体は人物の顔であり、前記主要被写体検出手段は、主要被写体としての人物の顔を検出することを特徴とする請求項１乃至８のいずれか一項に撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−８４９６２（Ｐ２０１２−８４９６２Ａ）
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１０−２２７２５６（Ｐ２０１０−２２７２５６）
【出願日】平成２２年１０月７日（２０１０．１０．７）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願日】平成２２年１０月７日（２０１０．１０．７）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]