人物適応露出制御装置
【目的】一般の風景撮影における場合と、人物撮影における場合とでは、異なる露出で撮影できるようにした露出制御装置を提供することを目的とする。
【構成】本発明の露出制御装置は、主被写体が人物か否かを判定する人物判定手段と、該人物判定手段により主被写体が人物であると判定されたときと人物以外であると判定されたときで異なる露出設定を行う露出制御手段とから成っている。
【構成】本発明の露出制御装置は、主被写体が人物か否かを判定する人物判定手段と、該人物判定手段により主被写体が人物であると判定されたときと人物以外であると判定されたときで異なる露出設定を行う露出制御手段とから成っている。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明はビデオカメラ等の撮影機器における露出制御装置に関するものである。
【０００２】
【従来の技術】ビデオカメラ等においては、人物を如何に上手に撮影することができるか、その特性が問われている。人物を上手に撮影する要素の１つとして適正な露出で撮影することが挙げられる。この点、従来の露出制御装置は映像信号のレベルを検出して、そのレベルが一定になるようにＡＧＣ回路等を制御しているだけであった。従って、主被写体が人物であっても、風景であっても、その露出制御形態は同一であった。
【０００３】
【発明が解決しようとする課題】しかしながら、テレビジョンシステムの研究成果では、人物撮影の場合は、その顔部の露出レベルは映像信号レベルで６０〜７０ＩＲＥ程度に調整されればテレビジョン受信機のブラウン管上にて自然で美しい人物表現が可能であるとしている。従来技術では人物顔部がいつも自動的にこの映像信号レベルに調整されることは保障されていない。また主被写体の露出レベルを人物と人物以外とで選択的に自動調整することもできなかった。本発明はこのような点に鑑みなされたものであって、一般の風景撮影における場合と、人物撮影における場合とでは、異なる露出で撮影できるようにした露出制御装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】上記の目的を達成するため本発明の露出制御装置は、主被写体が人物か否かを判定する人物判定手段と、該人物判定手段により主被写体が人物であると判定されたときと人物以外であると判定されたときで異なる露出設定を行う露出制御手段とから成っている。その際、判定手段はビデオ撮影機器の撮影映像信号中の肌色を示す色度情報より得た該色度情報の撮像平面上での形状及び面積と撮影系の撮影倍率を用いて人物の顔部を示すパラメータとの比較を行うことにより人物か否かの判定を行う。また、露出制御手段は、前記人物判定手段により主被写体が人物であると判定されたとき、該人物の顔部の輝度信号レベルが６５ＩＲＥ付近の値に設定されるように露出制御を行う。
【０００５】
【作用】このような構成によると、人物撮影のときは、人物撮影に適した露出制御（例えば顔部露出制御）を行うことができる。また、人物以外の撮影のときは、その撮影に適した露出制御（例えば撮影映像の輝度信号レベルに基づく通常の露出制御）を行うことができる。
【０００６】また、前記撮影機器はビデオ撮影機器であり、前記判定手段は撮影映像中の肌色を示す色度情報より得た該色度情報の撮像平面上での形状及び面積と撮影系の撮影倍率を用いて人物の顔部を示すパラメータとの比較を行うことにより人物か否かの判定を行うことを特徴とする請求項１に記載の露出制御装置のような場合は、色度信号を作り、その色度信号に基づいて肌色を検出していることにより、色検出精度が高くなるので、より精度のよい露出制御が実現できる。色度信号に代わるものとして色差信号を使うことが考えられるが、色差信号は被写体の色情報が不変でも露出レベルが変化するとその信号レベルは変化するため色検出精度が悪い。これに対し、色度信号では露出レベルに対し不変な色情報を示すため色検出精度は高い。更に、予め人物パラメータを設定し、撮影倍率を用いて撮像した肌色部との比較参照を行うことにより、処理が簡単で精度の高い人物検出ができる。
【０００７】
【実施例】以下、本発明の実施例について説明する。図１は本発明を実施したビデオカメラのブロック回路図であり、１は撮像レンズ部、２は絞りである。撮像レンズ部１は、そのズーム情報や測距情報を撮影倍率算出部１３へ出力する。３はＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）等の撮像素子を含み、撮像映像のＲ（赤）、Ｇ（緑）、Ｂ（青）信号成分を出力する撮像部である。４はこの撮像部３で得られた映像信号の平均又はピークのレベルを検出し、そのレベルが一定値となるように絞りを制御する露出制御部である。
【０００８】５、６、７は絞り２が開放となる低照度時において動作を開始するように制御処理部１２によりゲインコントロールされるＡＧＣ回路である。８、９はＲチャンネルと、Ｂチャンネルにそれぞれ挿入されたホワイトバランス用の利得可変増幅器であって、外光式のホワイトバランスセンサ（ＷＢセンサ）部１４で得られた被写体照明光の色温度情報に基づいて制御処理部１２を介して、その利得が制御され所定のホワイトバランスを実現する。この場合、制御処理部１２は予め色温度情報に対応したコントロールデータを用意しており、ホワイトバランスセンサ部１４から与えられた色温度情報に対応するコントロールデータを出力して利得可変増幅器８、９へ与える。尚、そのコントロールデータはＤ／Ａ変換されてから利得可変増幅器８、９へ導かれるものとする。
【０００９】次に、１０は入力されたＲ、Ｇ、Ｂ信号にガンマ補正やマトリックス処理を施して輝度信号Ｙを形成するとともに、色信号ＣＳを形成して出力する信号処理部である。この場合、輝度信号Ｙには水平、垂直の同期信号が付加されているものとする。また、色信号ＣＳは色副搬送波（ＮＴＳＣ規格の場合は３.５８ＭＨｚ）をＲ−Ｙ、Ｂ−Ｙ信号で平衡変調して形成され且つカラーバースト信号が付加されているものとする。信号処理部１０で出力された輝度信号Ｙは別途ローパスフィルタ３０に与えられ、ここで帯域制限された後、制御処理部１２に取り込まれる。
【００１０】制御処理部１２はその入力された輝度信号のレベルによって低照度状態を検出すると、そのレベルが所望のレベルとなるようにＡＧＣ回路５、６、７を制御する。尚、この制御は本明細書でいう通常の露出制御であり、主被写体が人物部であるときの露出制御（後述する）とは区別される。人物自動露出モードにおいては制御処理部１２からの制御信号でＡＧＣ回路５、６、７は所定の動作を行う。
【００１１】１１は、ホワイトバランスがなされたＲ、Ｇ、Ｂ信号を入力して肌色検出信号Ｂ、Ｃを発生する肌色検出部であり、クロックＣＬＫが与えられるとともに、制御処理部１２からは指示信号Ａを受ける。肌色検出信号Ｃは常に出されているが、肌色検出信号Ｂは前記指示信号が入ってきたときにのみ出力される。これらの肌色検出信号Ｂ、Ｃはいずれも制御処理部１２へ与えられる。１５は人物データを格納している人物データ部であり、制御処理部１２から要求信号Ｄがあった場合に人物データを制御処理部１２へ与える。
【００１２】１３は撮影倍率βを算出する撮影倍率算出部で、撮像レンズ部１のズーム情報よりその焦点距離ｆ値を得るとともに、測距情報より例えば被写体から撮像レンズ部１の前側主点までの距離Ｌｓを得て、それぞれｆ、Ｌｓ値より撮影倍率βをβ＝ｆ／（Ｌｓ−ｆ）より算出し、制御処理部１２へ出力する。２４は人物自動露出モードの設定のための手動スイッチで、制御処理部１２へ人物自動露出モードの設定を知らせる。
【００１３】肌色検出部１１は図２に示すように構成されている。１６はＲ、Ｇ、Ｂの各信号より撮像映像信号の有する色度情報を量子化データとして出力する色度情報抽出部で、その出力は肌色比較部２３へ送られる。Ｒ、Ｇ、Ｂ信号はマトリックス部１７にそれぞれ出力され次式により混合される。マトリックス部１７の混合出力信号をＭとすると、Ｍ＝（Ｒ＋１．８Ｇ＋Ｂ）／３．８ （０≦Ｍ≦１：正規化信号）
で示される。Ｒ、Ｍ、Ｂ信号はＡ／Ｄ（アナログ・デジタル変換）部１８、１９、２０へそれぞれ出力され、水平及び垂直同期信号φＨ、φＶに同期したφＨよりも高い周波数を持つクロック信号ＣＬＫ（例えば、ＮＴＳＣ規格色副搬送波信号）の周期にて量子化される。
【００１４】量子化されたＲ、Ｍ、Ｂ信号は除算部２１、２２にそれぞれ与えられＲ信号を分子、Ｍ信号を分母とする除算結果Ｒ／Ｍ信号と、Ｂ信号を分子、Ｍ信号を分母とする除算結果Ｂ／Ｍ信号を得る。Ａ／Ｄ部１８、１９、２０はそれぞれサンプリング定理に基づき、折り返しノイズを防ぐための帯域制限手段と適当な量子化ビット数を持つものであるとする。除算部２１、２２の構成は例えばメモリーによるルック・アップ・テーブル法でもロジック構成の除算器でも良い。
【００１５】また、Ｍ信号の混合比（Ｒ：Ｇ：Ｂ＝１：１．８：１）はＵＶＷ表色系において刺激和を示すＵ＋Ｖ＋Ｗ値をＮＴＳＣ規格受像３原色Ｒ、Ｇ、Ｂ刺激値を用いて表したもので、正確には下式となるが、該除算部２１、２２を同じ構成とするため近似的に用いる。
Ｍ＝０．２６１Ｒ＋０．４６９Ｇ＋０．２７０Ｂ（０≦Ｍ≦１：正規化信号）
【００１６】よって、Ｒ／Ｍ、Ｂ／Ｍ各信号は、ＮＴＳＣ規格に合致している撮像システムを用いた場合に、撮像映像信号の有する色度情報が均等知覚色度図であるＣＩＥ１９６０ＵＣＳ色度図（（ｕ、ｖ）色度図）又はＣＩＥ１９７６ＵＣＳ色度図（（ｕ´、ｖ´）色度図）を（Ｇ、Ｒ）軸、（Ｇ、Ｂ）軸に沿って均等に量子化可能とするものである。図３にこの様子を示す（Ｒ／Ｍ、Ｂ／Ｍ各信号の量子化ビット数は５ビットとし、（ｕ´、ｖ´）色度図を用いた）。
【００１７】この量子化法により、人間の色度知覚に対する量子化ノイズを色度情報の抽出範囲内でおおよそ均一に処理できるため、最小限の量子化ビット数を考えた場合、人物による肌色色度の差や肌色以外の色度との区別が該色度知覚に対応してデータ処理できる利点がある。
【００１８】色度情報抽出部１６のＲ／Ｍ、Ｂ／Ｍ各信号は肌色比較部２３へ送られる。肌色比較部２３は予め用意された肌色色度データ群を持っており、入力色度情報Ｒ／Ｍ、Ｂ／Ｍ各信号と比較処理することにより、撮像映像信号に対し肌色の有無を検出できる。該検出結果は、肌色検出信号Ｂ及びＣとして出力される。肌色が検出できた場合は、直ちに制御処理部１２に対して肌色検出信号Ｃを送る。
【００１９】制御処理部１２はメモリ部を有しており、例えばフィールドメモリ構成で、肌色比較部２３へ指示信号Ａを出力した後、クロック信号ＣＬＫの周期毎に肌色比較部２３より肌色検出信号Ｂを取り込み、水平及び垂直同期信号φＨ、φＶによって、撮像画面に対応した肌色色度の位置を示すパターン（肌色パターンとする）を１フィールド分得るものである。例えば図４に示すように、（ａ）が撮像した人物被写体とすれば、（ｂ）が該メモリ部に上述した動作により記憶されている肌色パターンである。ただし、該パターンは、肌色が有りの場合“斜線”、無しの場合“白”の画素として表記した。
【００２０】メモリ部が肌色検出信号Ｂを得る動作は、あるタイミングにて制御処理部１２が肌色検出信号Ｃを調べて、肌色が有りの状態の場合のみ制御処理部１２により肌色比較部２３に対して指示信号Ａを出力する。次に肌色比較部２３は、指示信号Ａを受けた時点から次のフィールド期間に相当する肌色検出信号Ｂを制御処理部１２に出力し、制御処理部１２のメモリ部はこれを１フィールド分記憶する。
【００２１】人物データ部１５は人物の顔部の特徴を示すパラメータとして、顔部の面積Ｓ及びその円形度Ｋに対応するデータ（人物データＨとする）をそれぞれｎ組予め保有している。制御処理部１２は人物データ部１５に対して指示信号Ｄを出力する。人物データ部１５は該信号Ｄに従い、人物データＨを順にあるいは指定された人物データを制御処理部１２に出力する。
【００２２】ここで、円形度Ｋについて述べる。円形度とはその図形の形の複雑さを表す一つの尺度係数で、ある図形の面積をＳ、その周囲長をＬとしたときに下式より求まる係数Ｋと本発明にて定義する。
Ｋ＝Ｌ2／Ｓ （Ｋ≧４π）
例えば、円形の場合は４π（最小値）となり、正方形では１６となる。その形状が複雑になる程その値は大きくなるものである。人物の顔部（肌色部）は形状が円状で単純であるので、比較的小さな円形度Ｋが得られるため、人物以外の肌色色度を有する物体との区別がこの値により弁別可能となる。
【００２３】制御処理部１２では１フィールド分の肌色検出信号Ｂより求まる肌色パターン、撮影倍率β、人物データＨより、その肌色パターン内の肌色面積部が人物か否かを判定する。人物と判定したなら制御処理部１２は、該面積部の輝度信号Ｙの平均レベルが６５ＩＲＥになるようにＡＧＣ回路５、６、７を制御する。人物以外（風景）と判定したなら制御処理部１２はＡＧＣ回路５、６、７に対し現状通りの制御を続ける、つまり新たには何もしない。
【００２４】以下、本実施例における制御処理部１２による制御動作を説明する。まず、肌色パターン内の肌色面積部が人物か否かの判定の手順を図５、図６のフローチャートに従って説明する。肌色パターン内に複数個の肌色面積部が存在すると仮定し、その中に顔部に相当する肌色面積部があるか否かを調べるものである。このフローが開始されると、まずステップ＃５でスイッチ２４がＯＮかＯＦＦかを調べて人物自動露出モードが設定されているかどうかを判定する。スイッチ２４がＯＦＦであれば、ステップ＃５５へ進んで通常の自動露出モードでの露出処理を行うが、ＯＮであればステップ＃１０以降の人物自動露出モードでの露出処理を行う。
【００２５】ステップ＃１０では、肌色比較部２３の肌色検出信号Ｃを調べて肌色の有無を判定する。肌色が無ければステップ＃５５へ進んで通常の露出モードを行う。肌色があれば、ステップ＃１５で撮影倍率算出部１３より現在の撮影倍率βを取り込む。次に、ステップ＃２０に進んで、前に取り込んだ撮影倍率βが所定の値β１及びβ２（β１＜β２）の範囲内か否かを調べる。尚、ここでβ１は撮影素子の撮像サイズにおいて人物の顔の大きさがある程度以下であれば、たとえ主被写体が人物であっても風景を撮影していると見なすための閾値定数であり、β２は撮影サイズにおいて人物の顔の大きさが不自然に大きくなりなり始める閾値定数である。
【００２６】前記撮影倍率βがβ１〜β２の範囲外であれば、主被写体は風景であるとして、ステップ＃５５へ進む。βがβ１〜β２の範囲内であればステップ＃２５へ進んで、肌色比較部２３に対して肌色検出信号Ｂを得るため指示信号Ａを与える。しかる後、ステップ＃３０で肌色比較部２３より肌色検出信号Ｂを制御処理部１２内のメモリ（フィールドメモリ）に取り込み、肌色パターンとする。
【００２７】次に、ステップ＃３５で、肌色パターンに対して収縮・膨張画像処理を施す。収縮・膨張画像処理とは、文献「画像処理装置とその使い方」丸谷洋二著 日刊工業新聞社発行に記載の技術で、ここでは肌色パターン内の肌色を示す面積部に存在する突起形状部や鋭角部を比較的なめらかな輪郭部に変換する処理のことをいう。例えば、顔の額部に頭髪がかかっている状態で肌色抽出を行うと、肌色面積部にその頭髪部分に相当する突起形状部が発生するのでこれを除去することにより複雑な形を有する肌色面積部を比較的単純な形状に変換し、顔部の検出精度を向上させる。この処理を適当に繰り返して最適な形状を得る。また、この処理によって肌色面積部に対して非常に小さい他の肌色面積部は消滅するので、後処理で行う人物データＨとの比較処理回数が減る効果もある。
【００２８】前記ステップ＃３５での処理が終了した後、ステップ＃４０に進み、肌色パターン内の複数個の肌色面積部の内、画面中央位置から優先してラベリング画像処理をまだ施していない肌色面積部を１つ選択する。この理由は人物が主被写体の場合、画面中央付近にその顔部が位置する確率が高いからである。次のステップ＃４５では、前記ステップ＃３５の処理にて選択できた肌色面積部の有無を判定する。該判定結果が有りであればステップ＃５０の処理へ進み、無しであれば主被写体は人物以外（風景）と判定し上記ステップ＃５５の処理へ進む。
【００２９】ステップ＃５０では、ステップ＃４０で選んだ肌色面積部にラベリング画像処理を施す。ラベリング画像処理とは、連結している画素に同じラベル記号を付け、異なった連結画素群には異なったラベル記号を付けることにより複数の連結画素群を区別することである。また同時に肌色面積部を構成する画素数Ｎを計数する。画素数Ｎはその肌色面積部の面積に相当する値である。
【００３０】次に、図６のステップ＃５５へ進み、該ステップ＃５５でｎ組の人物データＨの内、特定の１つを選ぶ変数をｉとして、１番目を選ぶ（Ｈｉと表記する）処理を行う。そして、次のステップ＃６０で、人物データ部１５に変数ｉ＝１を含む指示信号Ｄを出力し、ステップ＃６５で人物データ部１５より変数ｉ＝１に対応する人物データＨｉ（Ｓｉ、Ｋｉ）を受け取る。
【００３１】しかる後、ステップ＃７０で、Ｎ／（Ｓｉ・β2）を計算すると共に、このＮ／（Ｓｉ・β2）が、所定の比率γ１からγ２内に納まっているか否かを判定する。尚、ここで、Ｎは画素数であり、Ｓｉは人物データである。このステップ＃７０の判定は、前記肌色面積部の画素数Ｎ（肌色部面積に相当）と、現在の撮影倍率βでの面積倍率β2を人物顔部の面積Ｓｉにかけて得られる撮像素子（ＣＣＤ）上での顔部面積Ｓｉ・β2とを比較することにより、肌色面積部が人物か人物以外（風景）かを見極めるものである。
【００３２】この判定でＮ／（Ｓｉ・β2）がγ１〜γ２内に存しない場合はステップ＃８５で人物データ変数ｉを１だけインクリメントしてステップ＃９０へ進み、その人物データ変数ｉが人物データ組数ｎ以内であればステップ＃６０の処理に戻る。該人物組数ｎを超えたならステップ＃４０の処理に戻る。ステップ＃７０の判定でＮ／（Ｓｉ・β2）がγ１〜γ２内であれば、ステップ＃７５に進んで、上記ステップ＃５０の処理にてラベリングを施した肌色面積部の周囲長Ｌを求める。周囲長Ｌは該肌色面積部の輪郭を構成する画素を数えることによりそれに相当するデータを得る。ただし輪郭画素の並ぶ様子によって画素の意味する長さが異なるのでその様子に従って補正を加える。
【００３３】次に、ステップ＃８０では画素数Ｎ、人物データＫｉ、周囲長Ｌについて、｜Ｌ2／Ｎ−Ｋｉ｜≦ε１の演算を行い、それが所定の誤差ε１内に納まるか否か判定する。この判定は前記面積部の円形度Ｌ2／Ｎと人物顔部の円形度Ｋｉを比較することにより、前記面積部が人物か人物以外（風景）かを見極めるものである。ＮＯ（納まらない）であれば、前記ステップ＃８５へ進み、ＹＥＳ（納まる）であれば、図７のステップ＃１００へ進む。尚、ここでＹＥＳの場合は主被写体が人物と判定されたことになる。
【００３４】以上のような手順で人物検出が行われるが、次に主被写体が人物と判定した後の露出制御法を図７を参照して説明する。まず、ステップ＃１００で肌色比較部２３に対して肌色検出信号Ｂを得るため指示信号Ａを出力し、次のステップ＃１０５へ進む。
【００３５】ステップ＃１０５では、肌色比較部２３より肌色検出信号Ｂを得、先の処理にて人物顔部と判定した肌色面積部と論理積をとりその結果の画素数Ｎａを計数する。この処理は先の肌色面積部が人物か否かの判定処理にて幾分時間を要するため、新たに最新の肌色検出信号Ｂを得て、これと人物と判定した肌色面積部とのＡＮＤ信号が現在の肌色面積部と見なすためである。ステップ＃１０５の処理が済むと、ステップ＃１１０へ進み、ここで上記ステップ＃５０での処理の肌色面積部の画素数Ｎとステップ＃１０５の処理での画素数Ｎａの比Ｎａ／Ｎを求め、ある決められた値γ３との比較を行う。
【００３６】Ｎａ／Ｎがγ３より小さい場合は、主被写体や撮影状況に変化があったとしてステップ＃５の処理へ戻る。Ｎａ／Ｎがγ３以上であれば、ステップ＃１１５へ進んで、肌色面積部内の輝度信号レベルが６５ＩＲＥ以上の画素を計数してＮｂを得る。この点を図８を用いて説明すると、制御処理部１２へ出力された輝度信号Ｙはゲート部２４にてゲート信号に相当する期間のみ比較部２６へ出力される。該ゲート信号はＡＮＤ回路２５において、人物顔部と判定した肌色面積部の信号と肌色検出信号Ｂとの論理積を行って得られたＡＮＤ信号である。つまり現在の肌色面積部を意味する信号である。このゲート信号はＡＮＤ回路２８にてクロックＣＬＫとのＡＮＤをとることにより、肌色面積部の画素信号パルスＰＮａとなる。
【００３７】一方、比較部２６では入力輝度信号Ｙの信号レベルと基準輝度信号レベルとの比較を行い、Ｙの信号レベルが基準輝度信号レベル以上の場合に比較出力信号をＡＮＤ回路２７に出力する。ＡＮＤ回路２７では該比較部２６の出力信号とクロック信号ＣＬＫとのＡＮＤをとることにより、Ｙの信号レベルが基準輝度信号レベル以上の画素信号パルスＰＮｂを得る。基準輝度信号レベルについて、テレビジョンシステムの研究成果によると人物肌色の再現輝度レベルはおよそ６０〜７０ＩＲＥが最適とされており、ここでは一応６５ＩＲＥとした。
【００３８】２９はＡＮＤ回路２８、２７からの信号パルスＰＮａ、ＰＮｂを計数する計数部で、１フィールド分の該信号パルスの計数値Ｎａ、Ｎｂをそれぞれ出力する。さて、図７に戻って、上記ステップ＃１１５での処理が終ると、ステップ＃１２０で、上記ステップ＃１０５と＃１１５の処理にて得た肌色面積部画素数Ｎａと輝度信号レベルが６５ＩＲＥ以上の画素数Ｎｂについて、Ｎｂ−Ｎａ／２の値を求めて０との大小関係を判別する。
【００３９】尚、この判別の意味は肌色面積部画素数Ｎａが示す輝度信号レベルが６５ＩＲＥを境にして半分ずつ存在しているかどうかを調べることにより、肌色面積部の平均輝度信号レベルを６５ＩＲＥに設定しようとするものである。そして、上式と０との比較結果によりＡＧＣ回路５、６、７の利得を所定の単位レベルだけ上下させる。即ち、上記式（Ｎｂ−Ｎａ／２）が０より大きい場合はステップ＃１２５へ進んで、ＡＧＣ回路５、６、７の利得を単位レベル下げ、しかる後ステップ＃１００の処理へ戻る。上記式が０より小さければ、ステップ＃１３０へ進んでＡＧＣ回路５、６、７の利得を単位レベル上げた後、ステップ＃１００の処理へ戻る。０であれば、フローを終了する。
【００４０】次に露出制御法について他の実施例を図９及び図１０を参照して説明する。この図９、図１０に示す制御法は主被写体が人物であると判定した場合において、撮影画角に占める人物の大きさの相対比により、通常露出制御の程度と人物自動露出制御の程度に対して重み付けを行う。人物のその比率が高くなる程、通常自動露出制御から人物自動露出制御へと連続的に移行するものである。
【００４１】まず、ステップ＃２００で比較部２６に初期の基準輝度信号レベルＹｒｅｆとして例えば６５ＩＲＥを設定する。しかる後、ステップ＃２０５、＃２１０、＃２１５で先の実施例のステップ＃１００、＃１０５、＃１１０と同じ処理をした後、ステップ＃２２０で肌色面積部内の輝度信号レベルがＹｒｅｆ以上の画素を計数してＮｂを得る。
【００４２】次に、ステップ＃２２５で肌色面積部画素数Ｎａと輝度信号レベルがＹｒｅｆ以上の画素数Ｎｂについて、（Ｎｂ−Ｎａ／２）の値を求めて、０との比較を行う。Ｎｂ−Ｎａ／２＞０のときはステップ＃２３０へ進んで、基準輝度信号レベルをＹｒｅｆ値より所定の単位レベルだけ上げ、Ｎｂ−Ｎａ／２＜０のときはステップ＃２３５で所定の単位レベルだけ下げ、それぞれステップ＃２０５へ戻る。Ｎｂ−Ｎａ／２＝０のときは、図１０のステップ＃２４０へ進む。ここまでのループ処理により、通常自動露出制御による現在の肌色面積部の平均の輝度信号レベルＹｒｅｆが判明する。
【００４３】次からの処理おいて、肌色面積部の輝度信号レベルの目標とする設定値を求める。該設定値は、該Ｙｒｅｆ値と人物肌色の再現輝度信号レベル６５ＩＲＥに対して撮影倍率β値による重み付けを行った合成値とする。まず、ステップ＃２４０、＃２４５、＃２５０でそれぞれ上記ステップ＃１００、＃１０５、＃１１０と同じ処理をした後、ステップ＃２５５で撮影倍率算出部１３より現在の撮影倍率βを得て重み係数ＷＥを求める。重み係数ＷＥは例えば、ｄの処理にて使用した撮影倍率βの閾値β１、β２より下式にて決定する。
【００４４】
ＷＥ＝（β−β１）／（β２−β１）
又は、ＷＥ＝｛β2−（β１）2｝／｛（β２）2−（β１）2｝
である。ただし、β＜β１の場合ＷＥ＝０、β＞β２の場合ＷＥ＝１とする。よって、重み係数ＷＥの値域は０≦ＷＥ≦１である。
【００４５】続いて次のステップ＃２６０で、前記ステップ＃２５５の処理にて得た重み係数ＷＥを用いて、現在の肌色面積部の平均の輝度レベルＹｒｅｆと人物肌色の再現輝度信号レベル６５ＩＲＥに対する重み付け合成値、つまり目標基準輝度信号レベルを下式により求める。
（６５−Ｙｒｅｆ）・ＷＥ＋Ｙｒｅｆそして、上式の値を新しいＹｒｅｆ値とする。
【００４６】以下、ステップ＃２６５〜＃２８０で、それぞれ上述したステップ＃２２０、＃１２０、＃１２５、＃１３０と同じ処理を行い、ステップ＃２７５、＃２８０へ進んだ場合は、それらの処理をした後、ステップ＃２４０へ戻る。
【００４７】
【発明の効果】以上説明したように本発明によれば、人物撮影のときは、人物撮影に適した露出制御を行うことができる。また、人物以外の撮影のときは、その撮影に適した露出制御を行うことができる。また、判定手段が撮影映像中の肌色を示す色度情報より得た該色度情報の撮像平面上での形状及び面積と撮影系の撮影倍率を用いて人物の顔部を示すパラメータとの比較を行うことにより人物か否かの判定を行うようにした場合は、露出レベルに対し不変な色情報を示す色度信号を作り、その色度信号に基づいて肌色を検出することになり、色検出精度が高くなるので、より精度のよい露出制御が実現できる。更に、人物パラメータを設定し、撮影倍率を用いて撮像した肌色部との比較参照を行うことにより、簡単で精度の高い人物検出ができる。
【図面の簡単な説明】
【図１】 本発明を実施したビデオカメラの要部ブロック回路図。
【図２】 その肌色検出部の構成を示すブロック回路図。
【図３】 ＣＩＥ１９７６ＵＣＳ色度図。
【図４】 人物被写体と記憶される肌色パターンを示す図。
【図５】 本実施例の人物検出の動作フローを示すフローチャート。
【図６】 図５に引き続くフローチャート。
【図７】 本実施例の露出制御のフローチャート。
【図８】 その説明図。
【図９】 本発明の他の実施例の露出制御を示すフローチャート。
【図１０】 図９に引き続くフローチャート。
【符号の説明】
５、６、７ ＡＧＣ回路
１０ 信号処理部
１１ 肌色検出部
１２ 制御処理部
１３ 撮影倍率算出手段
１５ 人物データ部
１６ 色度情報抽出部
２３ 肌色比較部
【０００１】
【産業上の利用分野】本発明はビデオカメラ等の撮影機器における露出制御装置に関するものである。
【０００２】
【従来の技術】ビデオカメラ等においては、人物を如何に上手に撮影することができるか、その特性が問われている。人物を上手に撮影する要素の１つとして適正な露出で撮影することが挙げられる。この点、従来の露出制御装置は映像信号のレベルを検出して、そのレベルが一定になるようにＡＧＣ回路等を制御しているだけであった。従って、主被写体が人物であっても、風景であっても、その露出制御形態は同一であった。
【０００３】
【発明が解決しようとする課題】しかしながら、テレビジョンシステムの研究成果では、人物撮影の場合は、その顔部の露出レベルは映像信号レベルで６０〜７０ＩＲＥ程度に調整されればテレビジョン受信機のブラウン管上にて自然で美しい人物表現が可能であるとしている。従来技術では人物顔部がいつも自動的にこの映像信号レベルに調整されることは保障されていない。また主被写体の露出レベルを人物と人物以外とで選択的に自動調整することもできなかった。本発明はこのような点に鑑みなされたものであって、一般の風景撮影における場合と、人物撮影における場合とでは、異なる露出で撮影できるようにした露出制御装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】上記の目的を達成するため本発明の露出制御装置は、主被写体が人物か否かを判定する人物判定手段と、該人物判定手段により主被写体が人物であると判定されたときと人物以外であると判定されたときで異なる露出設定を行う露出制御手段とから成っている。その際、判定手段はビデオ撮影機器の撮影映像信号中の肌色を示す色度情報より得た該色度情報の撮像平面上での形状及び面積と撮影系の撮影倍率を用いて人物の顔部を示すパラメータとの比較を行うことにより人物か否かの判定を行う。また、露出制御手段は、前記人物判定手段により主被写体が人物であると判定されたとき、該人物の顔部の輝度信号レベルが６５ＩＲＥ付近の値に設定されるように露出制御を行う。
【０００５】
【作用】このような構成によると、人物撮影のときは、人物撮影に適した露出制御（例えば顔部露出制御）を行うことができる。また、人物以外の撮影のときは、その撮影に適した露出制御（例えば撮影映像の輝度信号レベルに基づく通常の露出制御）を行うことができる。
【０００６】また、前記撮影機器はビデオ撮影機器であり、前記判定手段は撮影映像中の肌色を示す色度情報より得た該色度情報の撮像平面上での形状及び面積と撮影系の撮影倍率を用いて人物の顔部を示すパラメータとの比較を行うことにより人物か否かの判定を行うことを特徴とする請求項１に記載の露出制御装置のような場合は、色度信号を作り、その色度信号に基づいて肌色を検出していることにより、色検出精度が高くなるので、より精度のよい露出制御が実現できる。色度信号に代わるものとして色差信号を使うことが考えられるが、色差信号は被写体の色情報が不変でも露出レベルが変化するとその信号レベルは変化するため色検出精度が悪い。これに対し、色度信号では露出レベルに対し不変な色情報を示すため色検出精度は高い。更に、予め人物パラメータを設定し、撮影倍率を用いて撮像した肌色部との比較参照を行うことにより、処理が簡単で精度の高い人物検出ができる。
【０００７】
【実施例】以下、本発明の実施例について説明する。図１は本発明を実施したビデオカメラのブロック回路図であり、１は撮像レンズ部、２は絞りである。撮像レンズ部１は、そのズーム情報や測距情報を撮影倍率算出部１３へ出力する。３はＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）等の撮像素子を含み、撮像映像のＲ（赤）、Ｇ（緑）、Ｂ（青）信号成分を出力する撮像部である。４はこの撮像部３で得られた映像信号の平均又はピークのレベルを検出し、そのレベルが一定値となるように絞りを制御する露出制御部である。
【０００８】５、６、７は絞り２が開放となる低照度時において動作を開始するように制御処理部１２によりゲインコントロールされるＡＧＣ回路である。８、９はＲチャンネルと、Ｂチャンネルにそれぞれ挿入されたホワイトバランス用の利得可変増幅器であって、外光式のホワイトバランスセンサ（ＷＢセンサ）部１４で得られた被写体照明光の色温度情報に基づいて制御処理部１２を介して、その利得が制御され所定のホワイトバランスを実現する。この場合、制御処理部１２は予め色温度情報に対応したコントロールデータを用意しており、ホワイトバランスセンサ部１４から与えられた色温度情報に対応するコントロールデータを出力して利得可変増幅器８、９へ与える。尚、そのコントロールデータはＤ／Ａ変換されてから利得可変増幅器８、９へ導かれるものとする。
【０００９】次に、１０は入力されたＲ、Ｇ、Ｂ信号にガンマ補正やマトリックス処理を施して輝度信号Ｙを形成するとともに、色信号ＣＳを形成して出力する信号処理部である。この場合、輝度信号Ｙには水平、垂直の同期信号が付加されているものとする。また、色信号ＣＳは色副搬送波（ＮＴＳＣ規格の場合は３.５８ＭＨｚ）をＲ−Ｙ、Ｂ−Ｙ信号で平衡変調して形成され且つカラーバースト信号が付加されているものとする。信号処理部１０で出力された輝度信号Ｙは別途ローパスフィルタ３０に与えられ、ここで帯域制限された後、制御処理部１２に取り込まれる。
【００１０】制御処理部１２はその入力された輝度信号のレベルによって低照度状態を検出すると、そのレベルが所望のレベルとなるようにＡＧＣ回路５、６、７を制御する。尚、この制御は本明細書でいう通常の露出制御であり、主被写体が人物部であるときの露出制御（後述する）とは区別される。人物自動露出モードにおいては制御処理部１２からの制御信号でＡＧＣ回路５、６、７は所定の動作を行う。
【００１１】１１は、ホワイトバランスがなされたＲ、Ｇ、Ｂ信号を入力して肌色検出信号Ｂ、Ｃを発生する肌色検出部であり、クロックＣＬＫが与えられるとともに、制御処理部１２からは指示信号Ａを受ける。肌色検出信号Ｃは常に出されているが、肌色検出信号Ｂは前記指示信号が入ってきたときにのみ出力される。これらの肌色検出信号Ｂ、Ｃはいずれも制御処理部１２へ与えられる。１５は人物データを格納している人物データ部であり、制御処理部１２から要求信号Ｄがあった場合に人物データを制御処理部１２へ与える。
【００１２】１３は撮影倍率βを算出する撮影倍率算出部で、撮像レンズ部１のズーム情報よりその焦点距離ｆ値を得るとともに、測距情報より例えば被写体から撮像レンズ部１の前側主点までの距離Ｌｓを得て、それぞれｆ、Ｌｓ値より撮影倍率βをβ＝ｆ／（Ｌｓ−ｆ）より算出し、制御処理部１２へ出力する。２４は人物自動露出モードの設定のための手動スイッチで、制御処理部１２へ人物自動露出モードの設定を知らせる。
【００１３】肌色検出部１１は図２に示すように構成されている。１６はＲ、Ｇ、Ｂの各信号より撮像映像信号の有する色度情報を量子化データとして出力する色度情報抽出部で、その出力は肌色比較部２３へ送られる。Ｒ、Ｇ、Ｂ信号はマトリックス部１７にそれぞれ出力され次式により混合される。マトリックス部１７の混合出力信号をＭとすると、Ｍ＝（Ｒ＋１．８Ｇ＋Ｂ）／３．８ （０≦Ｍ≦１：正規化信号）
で示される。Ｒ、Ｍ、Ｂ信号はＡ／Ｄ（アナログ・デジタル変換）部１８、１９、２０へそれぞれ出力され、水平及び垂直同期信号φＨ、φＶに同期したφＨよりも高い周波数を持つクロック信号ＣＬＫ（例えば、ＮＴＳＣ規格色副搬送波信号）の周期にて量子化される。
【００１４】量子化されたＲ、Ｍ、Ｂ信号は除算部２１、２２にそれぞれ与えられＲ信号を分子、Ｍ信号を分母とする除算結果Ｒ／Ｍ信号と、Ｂ信号を分子、Ｍ信号を分母とする除算結果Ｂ／Ｍ信号を得る。Ａ／Ｄ部１８、１９、２０はそれぞれサンプリング定理に基づき、折り返しノイズを防ぐための帯域制限手段と適当な量子化ビット数を持つものであるとする。除算部２１、２２の構成は例えばメモリーによるルック・アップ・テーブル法でもロジック構成の除算器でも良い。
【００１５】また、Ｍ信号の混合比（Ｒ：Ｇ：Ｂ＝１：１．８：１）はＵＶＷ表色系において刺激和を示すＵ＋Ｖ＋Ｗ値をＮＴＳＣ規格受像３原色Ｒ、Ｇ、Ｂ刺激値を用いて表したもので、正確には下式となるが、該除算部２１、２２を同じ構成とするため近似的に用いる。
Ｍ＝０．２６１Ｒ＋０．４６９Ｇ＋０．２７０Ｂ（０≦Ｍ≦１：正規化信号）
【００１６】よって、Ｒ／Ｍ、Ｂ／Ｍ各信号は、ＮＴＳＣ規格に合致している撮像システムを用いた場合に、撮像映像信号の有する色度情報が均等知覚色度図であるＣＩＥ１９６０ＵＣＳ色度図（（ｕ、ｖ）色度図）又はＣＩＥ１９７６ＵＣＳ色度図（（ｕ´、ｖ´）色度図）を（Ｇ、Ｒ）軸、（Ｇ、Ｂ）軸に沿って均等に量子化可能とするものである。図３にこの様子を示す（Ｒ／Ｍ、Ｂ／Ｍ各信号の量子化ビット数は５ビットとし、（ｕ´、ｖ´）色度図を用いた）。
【００１７】この量子化法により、人間の色度知覚に対する量子化ノイズを色度情報の抽出範囲内でおおよそ均一に処理できるため、最小限の量子化ビット数を考えた場合、人物による肌色色度の差や肌色以外の色度との区別が該色度知覚に対応してデータ処理できる利点がある。
【００１８】色度情報抽出部１６のＲ／Ｍ、Ｂ／Ｍ各信号は肌色比較部２３へ送られる。肌色比較部２３は予め用意された肌色色度データ群を持っており、入力色度情報Ｒ／Ｍ、Ｂ／Ｍ各信号と比較処理することにより、撮像映像信号に対し肌色の有無を検出できる。該検出結果は、肌色検出信号Ｂ及びＣとして出力される。肌色が検出できた場合は、直ちに制御処理部１２に対して肌色検出信号Ｃを送る。
【００１９】制御処理部１２はメモリ部を有しており、例えばフィールドメモリ構成で、肌色比較部２３へ指示信号Ａを出力した後、クロック信号ＣＬＫの周期毎に肌色比較部２３より肌色検出信号Ｂを取り込み、水平及び垂直同期信号φＨ、φＶによって、撮像画面に対応した肌色色度の位置を示すパターン（肌色パターンとする）を１フィールド分得るものである。例えば図４に示すように、（ａ）が撮像した人物被写体とすれば、（ｂ）が該メモリ部に上述した動作により記憶されている肌色パターンである。ただし、該パターンは、肌色が有りの場合“斜線”、無しの場合“白”の画素として表記した。
【００２０】メモリ部が肌色検出信号Ｂを得る動作は、あるタイミングにて制御処理部１２が肌色検出信号Ｃを調べて、肌色が有りの状態の場合のみ制御処理部１２により肌色比較部２３に対して指示信号Ａを出力する。次に肌色比較部２３は、指示信号Ａを受けた時点から次のフィールド期間に相当する肌色検出信号Ｂを制御処理部１２に出力し、制御処理部１２のメモリ部はこれを１フィールド分記憶する。
【００２１】人物データ部１５は人物の顔部の特徴を示すパラメータとして、顔部の面積Ｓ及びその円形度Ｋに対応するデータ（人物データＨとする）をそれぞれｎ組予め保有している。制御処理部１２は人物データ部１５に対して指示信号Ｄを出力する。人物データ部１５は該信号Ｄに従い、人物データＨを順にあるいは指定された人物データを制御処理部１２に出力する。
【００２２】ここで、円形度Ｋについて述べる。円形度とはその図形の形の複雑さを表す一つの尺度係数で、ある図形の面積をＳ、その周囲長をＬとしたときに下式より求まる係数Ｋと本発明にて定義する。
Ｋ＝Ｌ2／Ｓ （Ｋ≧４π）
例えば、円形の場合は４π（最小値）となり、正方形では１６となる。その形状が複雑になる程その値は大きくなるものである。人物の顔部（肌色部）は形状が円状で単純であるので、比較的小さな円形度Ｋが得られるため、人物以外の肌色色度を有する物体との区別がこの値により弁別可能となる。
【００２３】制御処理部１２では１フィールド分の肌色検出信号Ｂより求まる肌色パターン、撮影倍率β、人物データＨより、その肌色パターン内の肌色面積部が人物か否かを判定する。人物と判定したなら制御処理部１２は、該面積部の輝度信号Ｙの平均レベルが６５ＩＲＥになるようにＡＧＣ回路５、６、７を制御する。人物以外（風景）と判定したなら制御処理部１２はＡＧＣ回路５、６、７に対し現状通りの制御を続ける、つまり新たには何もしない。
【００２４】以下、本実施例における制御処理部１２による制御動作を説明する。まず、肌色パターン内の肌色面積部が人物か否かの判定の手順を図５、図６のフローチャートに従って説明する。肌色パターン内に複数個の肌色面積部が存在すると仮定し、その中に顔部に相当する肌色面積部があるか否かを調べるものである。このフローが開始されると、まずステップ＃５でスイッチ２４がＯＮかＯＦＦかを調べて人物自動露出モードが設定されているかどうかを判定する。スイッチ２４がＯＦＦであれば、ステップ＃５５へ進んで通常の自動露出モードでの露出処理を行うが、ＯＮであればステップ＃１０以降の人物自動露出モードでの露出処理を行う。
【００２５】ステップ＃１０では、肌色比較部２３の肌色検出信号Ｃを調べて肌色の有無を判定する。肌色が無ければステップ＃５５へ進んで通常の露出モードを行う。肌色があれば、ステップ＃１５で撮影倍率算出部１３より現在の撮影倍率βを取り込む。次に、ステップ＃２０に進んで、前に取り込んだ撮影倍率βが所定の値β１及びβ２（β１＜β２）の範囲内か否かを調べる。尚、ここでβ１は撮影素子の撮像サイズにおいて人物の顔の大きさがある程度以下であれば、たとえ主被写体が人物であっても風景を撮影していると見なすための閾値定数であり、β２は撮影サイズにおいて人物の顔の大きさが不自然に大きくなりなり始める閾値定数である。
【００２６】前記撮影倍率βがβ１〜β２の範囲外であれば、主被写体は風景であるとして、ステップ＃５５へ進む。βがβ１〜β２の範囲内であればステップ＃２５へ進んで、肌色比較部２３に対して肌色検出信号Ｂを得るため指示信号Ａを与える。しかる後、ステップ＃３０で肌色比較部２３より肌色検出信号Ｂを制御処理部１２内のメモリ（フィールドメモリ）に取り込み、肌色パターンとする。
【００２７】次に、ステップ＃３５で、肌色パターンに対して収縮・膨張画像処理を施す。収縮・膨張画像処理とは、文献「画像処理装置とその使い方」丸谷洋二著 日刊工業新聞社発行に記載の技術で、ここでは肌色パターン内の肌色を示す面積部に存在する突起形状部や鋭角部を比較的なめらかな輪郭部に変換する処理のことをいう。例えば、顔の額部に頭髪がかかっている状態で肌色抽出を行うと、肌色面積部にその頭髪部分に相当する突起形状部が発生するのでこれを除去することにより複雑な形を有する肌色面積部を比較的単純な形状に変換し、顔部の検出精度を向上させる。この処理を適当に繰り返して最適な形状を得る。また、この処理によって肌色面積部に対して非常に小さい他の肌色面積部は消滅するので、後処理で行う人物データＨとの比較処理回数が減る効果もある。
【００２８】前記ステップ＃３５での処理が終了した後、ステップ＃４０に進み、肌色パターン内の複数個の肌色面積部の内、画面中央位置から優先してラベリング画像処理をまだ施していない肌色面積部を１つ選択する。この理由は人物が主被写体の場合、画面中央付近にその顔部が位置する確率が高いからである。次のステップ＃４５では、前記ステップ＃３５の処理にて選択できた肌色面積部の有無を判定する。該判定結果が有りであればステップ＃５０の処理へ進み、無しであれば主被写体は人物以外（風景）と判定し上記ステップ＃５５の処理へ進む。
【００２９】ステップ＃５０では、ステップ＃４０で選んだ肌色面積部にラベリング画像処理を施す。ラベリング画像処理とは、連結している画素に同じラベル記号を付け、異なった連結画素群には異なったラベル記号を付けることにより複数の連結画素群を区別することである。また同時に肌色面積部を構成する画素数Ｎを計数する。画素数Ｎはその肌色面積部の面積に相当する値である。
【００３０】次に、図６のステップ＃５５へ進み、該ステップ＃５５でｎ組の人物データＨの内、特定の１つを選ぶ変数をｉとして、１番目を選ぶ（Ｈｉと表記する）処理を行う。そして、次のステップ＃６０で、人物データ部１５に変数ｉ＝１を含む指示信号Ｄを出力し、ステップ＃６５で人物データ部１５より変数ｉ＝１に対応する人物データＨｉ（Ｓｉ、Ｋｉ）を受け取る。
【００３１】しかる後、ステップ＃７０で、Ｎ／（Ｓｉ・β2）を計算すると共に、このＮ／（Ｓｉ・β2）が、所定の比率γ１からγ２内に納まっているか否かを判定する。尚、ここで、Ｎは画素数であり、Ｓｉは人物データである。このステップ＃７０の判定は、前記肌色面積部の画素数Ｎ（肌色部面積に相当）と、現在の撮影倍率βでの面積倍率β2を人物顔部の面積Ｓｉにかけて得られる撮像素子（ＣＣＤ）上での顔部面積Ｓｉ・β2とを比較することにより、肌色面積部が人物か人物以外（風景）かを見極めるものである。
【００３２】この判定でＮ／（Ｓｉ・β2）がγ１〜γ２内に存しない場合はステップ＃８５で人物データ変数ｉを１だけインクリメントしてステップ＃９０へ進み、その人物データ変数ｉが人物データ組数ｎ以内であればステップ＃６０の処理に戻る。該人物組数ｎを超えたならステップ＃４０の処理に戻る。ステップ＃７０の判定でＮ／（Ｓｉ・β2）がγ１〜γ２内であれば、ステップ＃７５に進んで、上記ステップ＃５０の処理にてラベリングを施した肌色面積部の周囲長Ｌを求める。周囲長Ｌは該肌色面積部の輪郭を構成する画素を数えることによりそれに相当するデータを得る。ただし輪郭画素の並ぶ様子によって画素の意味する長さが異なるのでその様子に従って補正を加える。
【００３３】次に、ステップ＃８０では画素数Ｎ、人物データＫｉ、周囲長Ｌについて、｜Ｌ2／Ｎ−Ｋｉ｜≦ε１の演算を行い、それが所定の誤差ε１内に納まるか否か判定する。この判定は前記面積部の円形度Ｌ2／Ｎと人物顔部の円形度Ｋｉを比較することにより、前記面積部が人物か人物以外（風景）かを見極めるものである。ＮＯ（納まらない）であれば、前記ステップ＃８５へ進み、ＹＥＳ（納まる）であれば、図７のステップ＃１００へ進む。尚、ここでＹＥＳの場合は主被写体が人物と判定されたことになる。
【００３４】以上のような手順で人物検出が行われるが、次に主被写体が人物と判定した後の露出制御法を図７を参照して説明する。まず、ステップ＃１００で肌色比較部２３に対して肌色検出信号Ｂを得るため指示信号Ａを出力し、次のステップ＃１０５へ進む。
【００３５】ステップ＃１０５では、肌色比較部２３より肌色検出信号Ｂを得、先の処理にて人物顔部と判定した肌色面積部と論理積をとりその結果の画素数Ｎａを計数する。この処理は先の肌色面積部が人物か否かの判定処理にて幾分時間を要するため、新たに最新の肌色検出信号Ｂを得て、これと人物と判定した肌色面積部とのＡＮＤ信号が現在の肌色面積部と見なすためである。ステップ＃１０５の処理が済むと、ステップ＃１１０へ進み、ここで上記ステップ＃５０での処理の肌色面積部の画素数Ｎとステップ＃１０５の処理での画素数Ｎａの比Ｎａ／Ｎを求め、ある決められた値γ３との比較を行う。
【００３６】Ｎａ／Ｎがγ３より小さい場合は、主被写体や撮影状況に変化があったとしてステップ＃５の処理へ戻る。Ｎａ／Ｎがγ３以上であれば、ステップ＃１１５へ進んで、肌色面積部内の輝度信号レベルが６５ＩＲＥ以上の画素を計数してＮｂを得る。この点を図８を用いて説明すると、制御処理部１２へ出力された輝度信号Ｙはゲート部２４にてゲート信号に相当する期間のみ比較部２６へ出力される。該ゲート信号はＡＮＤ回路２５において、人物顔部と判定した肌色面積部の信号と肌色検出信号Ｂとの論理積を行って得られたＡＮＤ信号である。つまり現在の肌色面積部を意味する信号である。このゲート信号はＡＮＤ回路２８にてクロックＣＬＫとのＡＮＤをとることにより、肌色面積部の画素信号パルスＰＮａとなる。
【００３７】一方、比較部２６では入力輝度信号Ｙの信号レベルと基準輝度信号レベルとの比較を行い、Ｙの信号レベルが基準輝度信号レベル以上の場合に比較出力信号をＡＮＤ回路２７に出力する。ＡＮＤ回路２７では該比較部２６の出力信号とクロック信号ＣＬＫとのＡＮＤをとることにより、Ｙの信号レベルが基準輝度信号レベル以上の画素信号パルスＰＮｂを得る。基準輝度信号レベルについて、テレビジョンシステムの研究成果によると人物肌色の再現輝度レベルはおよそ６０〜７０ＩＲＥが最適とされており、ここでは一応６５ＩＲＥとした。
【００３８】２９はＡＮＤ回路２８、２７からの信号パルスＰＮａ、ＰＮｂを計数する計数部で、１フィールド分の該信号パルスの計数値Ｎａ、Ｎｂをそれぞれ出力する。さて、図７に戻って、上記ステップ＃１１５での処理が終ると、ステップ＃１２０で、上記ステップ＃１０５と＃１１５の処理にて得た肌色面積部画素数Ｎａと輝度信号レベルが６５ＩＲＥ以上の画素数Ｎｂについて、Ｎｂ−Ｎａ／２の値を求めて０との大小関係を判別する。
【００３９】尚、この判別の意味は肌色面積部画素数Ｎａが示す輝度信号レベルが６５ＩＲＥを境にして半分ずつ存在しているかどうかを調べることにより、肌色面積部の平均輝度信号レベルを６５ＩＲＥに設定しようとするものである。そして、上式と０との比較結果によりＡＧＣ回路５、６、７の利得を所定の単位レベルだけ上下させる。即ち、上記式（Ｎｂ−Ｎａ／２）が０より大きい場合はステップ＃１２５へ進んで、ＡＧＣ回路５、６、７の利得を単位レベル下げ、しかる後ステップ＃１００の処理へ戻る。上記式が０より小さければ、ステップ＃１３０へ進んでＡＧＣ回路５、６、７の利得を単位レベル上げた後、ステップ＃１００の処理へ戻る。０であれば、フローを終了する。
【００４０】次に露出制御法について他の実施例を図９及び図１０を参照して説明する。この図９、図１０に示す制御法は主被写体が人物であると判定した場合において、撮影画角に占める人物の大きさの相対比により、通常露出制御の程度と人物自動露出制御の程度に対して重み付けを行う。人物のその比率が高くなる程、通常自動露出制御から人物自動露出制御へと連続的に移行するものである。
【００４１】まず、ステップ＃２００で比較部２６に初期の基準輝度信号レベルＹｒｅｆとして例えば６５ＩＲＥを設定する。しかる後、ステップ＃２０５、＃２１０、＃２１５で先の実施例のステップ＃１００、＃１０５、＃１１０と同じ処理をした後、ステップ＃２２０で肌色面積部内の輝度信号レベルがＹｒｅｆ以上の画素を計数してＮｂを得る。
【００４２】次に、ステップ＃２２５で肌色面積部画素数Ｎａと輝度信号レベルがＹｒｅｆ以上の画素数Ｎｂについて、（Ｎｂ−Ｎａ／２）の値を求めて、０との比較を行う。Ｎｂ−Ｎａ／２＞０のときはステップ＃２３０へ進んで、基準輝度信号レベルをＹｒｅｆ値より所定の単位レベルだけ上げ、Ｎｂ−Ｎａ／２＜０のときはステップ＃２３５で所定の単位レベルだけ下げ、それぞれステップ＃２０５へ戻る。Ｎｂ−Ｎａ／２＝０のときは、図１０のステップ＃２４０へ進む。ここまでのループ処理により、通常自動露出制御による現在の肌色面積部の平均の輝度信号レベルＹｒｅｆが判明する。
【００４３】次からの処理おいて、肌色面積部の輝度信号レベルの目標とする設定値を求める。該設定値は、該Ｙｒｅｆ値と人物肌色の再現輝度信号レベル６５ＩＲＥに対して撮影倍率β値による重み付けを行った合成値とする。まず、ステップ＃２４０、＃２４５、＃２５０でそれぞれ上記ステップ＃１００、＃１０５、＃１１０と同じ処理をした後、ステップ＃２５５で撮影倍率算出部１３より現在の撮影倍率βを得て重み係数ＷＥを求める。重み係数ＷＥは例えば、ｄの処理にて使用した撮影倍率βの閾値β１、β２より下式にて決定する。
【００４４】
ＷＥ＝（β−β１）／（β２−β１）
又は、ＷＥ＝｛β2−（β１）2｝／｛（β２）2−（β１）2｝
である。ただし、β＜β１の場合ＷＥ＝０、β＞β２の場合ＷＥ＝１とする。よって、重み係数ＷＥの値域は０≦ＷＥ≦１である。
【００４５】続いて次のステップ＃２６０で、前記ステップ＃２５５の処理にて得た重み係数ＷＥを用いて、現在の肌色面積部の平均の輝度レベルＹｒｅｆと人物肌色の再現輝度信号レベル６５ＩＲＥに対する重み付け合成値、つまり目標基準輝度信号レベルを下式により求める。
（６５−Ｙｒｅｆ）・ＷＥ＋Ｙｒｅｆそして、上式の値を新しいＹｒｅｆ値とする。
【００４６】以下、ステップ＃２６５〜＃２８０で、それぞれ上述したステップ＃２２０、＃１２０、＃１２５、＃１３０と同じ処理を行い、ステップ＃２７５、＃２８０へ進んだ場合は、それらの処理をした後、ステップ＃２４０へ戻る。
【００４７】
【発明の効果】以上説明したように本発明によれば、人物撮影のときは、人物撮影に適した露出制御を行うことができる。また、人物以外の撮影のときは、その撮影に適した露出制御を行うことができる。また、判定手段が撮影映像中の肌色を示す色度情報より得た該色度情報の撮像平面上での形状及び面積と撮影系の撮影倍率を用いて人物の顔部を示すパラメータとの比較を行うことにより人物か否かの判定を行うようにした場合は、露出レベルに対し不変な色情報を示す色度信号を作り、その色度信号に基づいて肌色を検出することになり、色検出精度が高くなるので、より精度のよい露出制御が実現できる。更に、人物パラメータを設定し、撮影倍率を用いて撮像した肌色部との比較参照を行うことにより、簡単で精度の高い人物検出ができる。
【図面の簡単な説明】
【図１】 本発明を実施したビデオカメラの要部ブロック回路図。
【図２】 その肌色検出部の構成を示すブロック回路図。
【図３】 ＣＩＥ１９７６ＵＣＳ色度図。
【図４】 人物被写体と記憶される肌色パターンを示す図。
【図５】 本実施例の人物検出の動作フローを示すフローチャート。
【図６】 図５に引き続くフローチャート。
【図７】 本実施例の露出制御のフローチャート。
【図８】 その説明図。
【図９】 本発明の他の実施例の露出制御を示すフローチャート。
【図１０】 図９に引き続くフローチャート。
【符号の説明】
５、６、７ ＡＧＣ回路
１０ 信号処理部
１１ 肌色検出部
１２ 制御処理部
１３ 撮影倍率算出手段
１５ 人物データ部
１６ 色度情報抽出部
２３ 肌色比較部
【特許請求の範囲】
【請求項１】撮影機器における露出制御装置であって、主被写体が人物か否かを判定する人物判定手段と、前記人物判定手段により主被写体が人物であると判定されたときと人物以外であると判定されたときで異なる露出設定を行う露出制御手段とから成る露出制御装置。
【請求項２】前記撮影機器はビデオ撮影機器であり、前記判定手段は撮影映像信号中の肌色を示す色度情報より得た該色度情報の撮像平面上での形状及び面積と撮影系の撮影倍率を用いて人物の顔部を示すパラメータとの比較を行うことにより人物か否かの判定を行うことを特徴とする請求項１に記載の露出制御装置。
【請求項３】前記露出制御手段は、前記人物判定手段により主被写体が人物であると判定されたとき、該人物の顔部の輝度信号レベルが６５ＩＲＥ付近の値に設定されるように露出制御を行うことを特徴とする請求項２に記載の露出制御装置。
【請求項４】人物の顔部の面積が画面内に占める大きさを撮影倍率によって重み付けすることを特徴とする請求項３に記載の露出制御装置。
【請求項１】撮影機器における露出制御装置であって、主被写体が人物か否かを判定する人物判定手段と、前記人物判定手段により主被写体が人物であると判定されたときと人物以外であると判定されたときで異なる露出設定を行う露出制御手段とから成る露出制御装置。
【請求項２】前記撮影機器はビデオ撮影機器であり、前記判定手段は撮影映像信号中の肌色を示す色度情報より得た該色度情報の撮像平面上での形状及び面積と撮影系の撮影倍率を用いて人物の顔部を示すパラメータとの比較を行うことにより人物か否かの判定を行うことを特徴とする請求項１に記載の露出制御装置。
【請求項３】前記露出制御手段は、前記人物判定手段により主被写体が人物であると判定されたとき、該人物の顔部の輝度信号レベルが６５ＩＲＥ付近の値に設定されるように露出制御を行うことを特徴とする請求項２に記載の露出制御装置。
【請求項４】人物の顔部の面積が画面内に占める大きさを撮影倍率によって重み付けすることを特徴とする請求項３に記載の露出制御装置。
【図１】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【公開番号】特開平５−４１８３０
【公開日】平成５年（１９９３）２月１９日
【国際特許分類】
【出願番号】特願平３−２２２０８３
【出願日】平成３年（１９９１）８月６日
【出願人】（０００００６０７９）ミノルタカメラ株式会社 (155)
【公開日】平成５年（１９９３）２月１９日
【国際特許分類】
【出願日】平成３年（１９９１）８月６日
【出願人】（０００００６０７９）ミノルタカメラ株式会社 (155)
[ Back to top ]