撮像装置
【課題】電子カメラにおいて、スルー画を表示部へ出力する場合、スルー画で表示された被写体に対応したターゲットマークを表示するには、撮影者の選択操作が必要であり、被写体に対応したターゲットマークを自動で表示部に表示することができない。
【解決手段】電子カメラにおいて、スルー画を表示部へ出力する場合、スルー画で表示された被写体を自動で検出し、被写体に対応したターゲットマークのテーブルを用いることにより、被写体に対応したターゲットマークを自動で表示部に表示することができる。
【解決手段】電子カメラにおいて、スルー画を表示部へ出力する場合、スルー画で表示された被写体を自動で検出し、被写体に対応したターゲットマークのテーブルを用いることにより、被写体に対応したターゲットマークを自動で表示部に表示することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に登録物体像に符合する物体像を被写体像から探索して、物体像に対応する枠画像を表示する機能を備えるディジタルカメラ等の電子カメラに関する。
【背景技術】
【０００２】
従来、電子カメラにおいて、様々な撮影構図に対応したターゲットマークをモニター部に表示する機能を備えたものが考えられている。
【０００３】
この種のカメラの一例が、特許文献１に開示されている。この従来の技術のカメラは、撮影構図決定のガイドとなるターゲットマークを被写体観察画面内に表示し、撮影者の選択操作に応じて、ターゲットマークの表示内容を変更設定することができる技術が開示されている。
【特許文献１】特開２００２−１３１８２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１においては、様々な撮影構図に対応したターゲットマークをモニター部に表示する技術が開示されている。しかしながら、様々な撮影構図に対応したターゲットマークをモニター部に表示するには撮影者の選択操作が必要であり、被写体に対応したターゲットマークを自動でモニター部に表示することができない。
【課題を解決するための手段】
【０００５】
第一の発明の撮像装置は、被写体像を撮像素子に結像して撮像信号を順次生成する撮像手段と、前記撮像信号を基に得られた画像データを順次表示する表示手段と、複数の特徴パターン、および該複数の特徴パターンに対応する複数の枠画像を記憶する記憶手段と、前記画像データを前記複数の特徴パターンの各々と照合して既定条件を満足する部分画像を探索する探索手段と、前記部分画像に対応する枠画像を重畳する重畳手段を備えることを特徴とする。
【０００６】
第二の発明の撮像装置は、第一の発明の撮像装置に従属し、前記記憶手段は、前記複数の特徴パターンに対応する複数の音声情報をさらに含み、前記撮像装置本体に対し所定の動作を行わせるための操作を受け付ける操作受付手段と、前記操作受付手段に応答して、前記部分画像に対応する音声情報を報知する報知手段を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、電子カメラにおいて、撮影者が選択操作をすることなく、被写体に対応したターゲットマークを自動でモニター部に表示することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施例である電子カメラの外観を示す外観図である。
【図２】本発明の一実施例である電子カメラの構成を示すブロック図である。
【図３】特定被写体検出部７ａの内部構成の概略を示すブロック図である。
【図４】縮小画像生成手段によって得られる階層画像の一例を示す図解図である。
【図５】被写体検出処理の処理動作を示す図解図である。
【図６】ターゲットマークテーブル構造の一例を示す図解図である。
【図７】音声データテーブル構造の一例を示す図解図である。
【図８】被写体の顔にターゲットマークが重畳された画像の一例を示す図解図である。
【図９】本発明の一実施例である動作の一例を示すフロー図である。
【図１０】本発明の一実施例である動作の一例を示すフロー図である。
【発明を実施するための形態】
【０００９】
以下の実施例を、撮像装置の１つの例として、電子カメラ１０の形態を図面を参照しながら説明する。
【００１０】
電子カメラ１０の外観図を図１に示す。図１の電子カメラ１０は、少なくとも図示しない撮像部、操作部２、表示部４、マイク部６、およびスピーカ８を備える。撮像部では撮像動作が行われる。操作部２を構成する２ａ〜２ｈを詳しく説明すると、２ａは撮像動作を指示するシャッタボタン、２ｂは画像を拡大させるＴＥＬＥボタン、２ｃは画像を縮小させるＷＩＤＥボタンである。画像を拡大、縮小させるズーム処理は、図２のＣＰＵ３６の制御に基づいてドライバ２５及び撮像レンズ２２によって実現される。
【００１１】
この場合、ユーザがＴＥＬＥボタン２ｂに圧力を付与することによってＴＥＬＥボタン２ｂを押し下げればズーム倍率の可変範囲内においてズーム倍率は増大し、ユーザがＷＩＤＥボタン２ｃに圧力を付与することによってＷＩＤＥボタン２ｃを押し下げればズーム倍率の可変範囲内においてズーム倍率は減少する。ズーム倍率の増大量又は減少量は、ＴＥＬＥボタン２ｂ又はＷＩＤＥボタン２ｃを押し下げている時間の長さに比例する。即ち、ＴＥＬＥボタン２ｂを押し下げている時間の長さが増加するに伴ってズーム倍率の増大量は増加し、ＷＩＤＥボタン２ｃを押し下げている時間の長さが増加するに伴ってズーム倍率の減少量は増加する。
【００１２】
２ｄは再生モードボタンであり、押下されると電子カメラは再生モードに移行する。同様に、２ｆは静止画撮像モードボタン、２ｅは動画像記録モードボタンであり、押下されると電子カメラはそれぞれのモードに移行する。２ｇは４方向に操作されることにより表示部４内に表示される項目等を選択指示するカーソルキーであり、４方向の中心部が押下されることにより、項目等を決定することができる。そして、２ｈは表示部４に、選択可能な項目等を表示させるメニューボタンである。
【００１３】
さらに図１で示した電子カメラ１０内部のブロック図である図２を用いて電子カメラ１０を更に詳細に説明する。電子カメラ１０は、操作部２、表示部４、マイク部６、スピーカ８、撮像レンズ２２、絞り機構２４、ドライバ２５、ＣＣＤイメージャ２６、撮像処理部２８、ＳＤＲＡＭ３０、ビデオエンコーダ３２、メニュー切替スイッチ３４、ＣＰＵ３６、ＡＥ・ＡＦ処理部３８、圧縮・伸張処理部４０、スピーカアンプ４２、カード制御部４４、音声処理部４８、画像用Ｄ／Ａ変換回路５０、データ処理部７、フラッシュメモリ５６、音声用Ｄ／Ａ変換回路５８、およびキャラクタ生成部６１を備えて構成されている。
【００１４】
撮像レンズ２２は、被写体の光学像を撮像デバイスであるＣＣＤイメージャ２６の撮像面上に結像させる。また、撮像レンズ２２はＣＣＤイメージャ２６の出力信号に基づいて光軸方向の移動が調節される。絞り機構２４は、制御されることにより撮像レンズ２２よりＣＣＤイメージャ２６に入る光を調節する。更に、撮像レンズ２２は画像を拡大、縮小させるズーム機構を備えている。これらの撮像レンズ２２、および絞り機構２４の調節はドライバ２５で行われる。
【００１５】
ＣＣＤイメージャ２６から出力されたアナログ撮像信号は、撮像処理部２８によってＡ／Ｄ変換、色分離、白バランス調整、ＹＵＶ変換等の所定の処理が行われ、輝度信号であるＹ信号および色差信号であるＵ、Ｖ信号に変換される。
【００１６】
ＣＰＵ３６は、操作部２、ドライバ２５、撮像処理部２８、ＳＤＲＡＭ３０、メニュー切替スイッチ３４、ＡＥ・ＡＦ処理部３８、圧縮・伸張処理部４０、スピーカアンプ４２、カード制御部４４、音声処理部４８、画像用Ｄ／Ａ変換回路５０、データ処理部７、フラッシュメモリ５６、音声用Ｄ／Ａ変換回路５８、およびキャラクタ生成部６１に接続される。ＣＰＵ３６は、フラッシュメモリ５６に格納されているプログラムに従って、撮像処理部２８、ＳＤＲＡＭ３０、圧縮・伸張処理部４０、スピーカアンプ４２、カード制御部４４、音声処理部４８、画像用Ｄ／Ａ変換回路５０、データ処理部７、音声用Ｄ／Ａ変換回路５８、およびキャラクタ生成部６１の制御を行う。
【００１７】
次に、操作部２が操作されることによる電子カメラ１０の動作の説明をする。
【００１８】
上述したように、操作部２は、各種ボタンまたはキー２ａ〜２ｈで構成される。ＣＰＵ３６は静止画撮像モードボタン２ｆが押下されることによって静止画撮像モード状態にあるとき、シャッタボタン２ａが押下されることによって静止画撮像操作がなされる。そして、１フレーム分の被写体の光学像が撮像レンズ２２、絞り機構２４、ＣＣＤイメージャ２６、撮像処理部２８によって所定の処理がなされ、撮像処理部２８によって得られたＹ、Ｕ、Ｖ信号であるディジタル画像データがＳＤＲＡＭ３０に一旦格納される。
【００１９】
その後、一旦格納された１フレーム分のディジタル画像データは、圧縮・信号処理部４０、ここではＪＰＥＧコーデックによって、ＪＰＥＧ形式で圧縮される。圧縮された圧縮ディジタル画像データは再びＳＤＲＡＭ３０に格納される。
【００２０】
また、データ処理部７にて、一旦格納された１フレーム分のディジタル画像データから縮小処理によりサムネイルデータが生成される。その後、ＳＤＲＡＭ３０に格納され、圧縮・伸張処理部４０にて、ＪＰＥＧコーデックによってＪＰＥＧ圧縮される。圧縮された圧縮サムネイルデータは、再びＳＤＲＡＭ３０に格納される。
【００２１】
そして、圧縮ディジタル画像データおよび圧縮サムネイルデータは、ＣＰＵ３６が１つの静止画像ファイルとしてカード制御部４４を制御することによって外部メモリカード４６に記録される。
【００２２】
ＡＥ・ＡＦ処理部３８のＡＦ処理では、静止画撮像モード中にスルー画としてＣＣＤイメージャ２６から入力される撮像画像を、撮像処理部２８にて処理することにより得られるＹデータの高域周波数成分を１フレーム毎に積分する。積分結果つまりフォーカス評価値はＣＰＵ３６によって取り込まれ、ＣＰＵ３６は取り込んだフォーカス評価値に基づいてドライバ２５を制御する。この結果、光学レンズ２２の光軸方向の位置が調整される。このとき、撮影状況に応じた適切な評価を行うため、評価エリアは撮影状況に応じて周辺部を含む大範囲と中央部分等の一部のみの小範囲とに切換わり、この評価エリアの変化により合焦制御方式が変わる。
【００２３】
また、ＡＥ・ＡＦ処理部３８のＡＥ処理では、撮像処理部２８にて処理することにより得られるＹデータが最適な値になるように、ＣＰＵ３６はドライバ２５を制御する。この結果、絞り機構２４が調整され、かつ撮像処理部２８によって信号処理が行われる。このとき、撮影状況に応じた適切な評価を行うため、評価エリアは撮影状況に応じて周辺部を含む大範囲と中央部分等の一部のみの小範囲とに切換わる。
【００２４】
そして、同時に複数のディジタル画像データは、時系列に画像用Ｄ／Ａ変換回路５０によりアナログ画像信号に変換される。ビデオエンコーダ３２は、画像用Ｄ／Ａ変換回路５０からのアナログ画像データを基に映像信号に変換し、表示部４において変換された映像信号を表示する。
【００２５】
更に、ＣＰＵ３６は、ビデオエンコーダ３２によって変換されたアナログ映像信号に、キャラクタ生成部６１で生成したキャラクタをデータ処理部７により付加し、表示部４においてキャラクタが重畳された映像信号を表示する。
【００２６】
次に、この撮像装置の被写体検出処理について説明する。本実施例に係る撮像装置は、特定被写体検出部７ａを備え、入力された画像信号から人物の顔や動物の顔などの特定被写体を検出することができる。ここでは、人物の顔を検出する場合を例として、特定被写体検出部７ａの構成及び動作について以下に説明する。
【００２７】
図３は、特定被写体検出部７ａの構成の概略を示すブロック図である。特定被写体検出部７ａは、撮像処理部２８によって得られた画像信号に基づいて１または複数の縮小画像を生成する縮小画像生成部７１、入力画像及びその縮小画像から構成される各階層画像とフラッシュメモリ５６に記憶された特定被写体検出用の重みテーブルである被写体検出辞書Ｄとを用いて入力画像に特定被写体が存在するか否かを判定する被写体判定部７２を備えている。尚、被写体検出辞書Ｄは、外部メモリカード４６に記憶しておくようにしても良い。
【００２８】
また、フラッシュメモリ５６に記憶された被写体検出辞書Ｄは、入力画像から特定被写体を検出するのに用いる判定領域と同じ大きさの各方向のエッジ特徴画像（例えば、水平方向エッジ画像や垂直方向エッジ画像など）の画素位置を、エッジ特徴画像の種類、エッジ特徴画像の各画素の行番号及び列番号で定義する。エッジ特徴画像とは、画像のエッジ部分のみを抽出した画像のことである。
【００２９】
このような被写体検出辞書Ｄは、大量のサンプル（例えば、顔を検出する辞書である場合、顔および非顔のサンプル画像など）から求められたものである。例えば、正面顔を検出する正面顔検出辞書、横顔を検出する横顔検出辞書などを個別に作成することもできる。
【００３０】
また、人物に限らず、例えば、犬や猫などの動物を検出する辞書や自動車などを検出する辞書を作成することもできる。
【００３１】
図４は、縮小画像生成部７１によって得られる階層画像の一例を示している。階層画像とは、撮像装置が取得した画像を任意の縮小率Ｒ（０＜Ｒ＜１、理想的には０．８や０．９など１に近い値が望ましい。）に従い縮小された複数の画像である。図４において、Ｐ１は入力画像を、Ｐ２〜Ｐ５はそれぞれＲ倍、Ｒ２倍、Ｒ３倍、Ｒ４倍に縮小された縮小画像を示している。Ｆ１は判定領域を示している。判定領域は、例えば、縦２４画素、横２４画素の大きさに設定される。判定領域の大きさは、入力画像及びその縮小画像においても同じである。被写体検出処理は、各階層画像に設定された判定領域に対応する複数のエッジ特徴画像と被写体検出辞書Ｄに含まれる辞書の各々とを用いて行われる。
【００３２】
本実施例では、矢印で示すように、階層画像上で判定領域を左から右に移動させる、水平方向走査を、画像の上方から下方に向かって行いながらパターンマッチングを行うことで被写体を検出する。各判定領域と被写体検出辞書Ｄの各辞書との類似度（similarity measure）によって、当該判定領域が顔領域であるか否かの検出を行う。ただし、走査順はこれに限られるものではない。
【００３３】
入力画像Ｐ１の他に、複数の縮小画像Ｐ２〜Ｐ５を生成しているのは、大きさが異なる複数の顔を検出するためである。
【００３４】
図５は被写体検出処理を説明するための図である。被写体判定部７２による被写体検出処理は、各階層画像に対して行われるが、処理方法は同様なので、ここでは入力画像Ｐ１に対して行われる被写体検出処理についてのみ説明する。
【００３５】
図５には、入力画像Ｐ１と、入力画像内に設定された判定領域Ｆ１とを示している。階層画像毎に行われる顔検出処理は、画像内に設定された判定領域に対応する画像と被写体検出辞書Ｄとを用いた、パターンマッチングによって行われる。パターンマッチングとは、入力画像の中に被写体検出辞書Ｄに設定されているパターンと同じ物があるか、或いは近いものがあるかを検出することを指し、本実施例では、入力画像に被写体検出辞書Ｄを重ねながら移動し、２つの画像が画素データレベルの相関（類似性）を有するか否かを調べる。入力画像と被写体検出辞書Ｄとの相関は、例えば、類似度判定によって行われる。
【００３６】
類似度は、例えば、ＳＳＤ（Sum of Squared Difference）やＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross-Correlation）を用いて導出する。ＳＳＤやＳＡＤを用いる場合、類似度の値は画像が類似しているほど小さくなり、類似度の値が所定の閾値以下であれば、当該判定領域は顔領域であると判定する。また、ＮＣＣを用いる場合は、ベクトルのなす角の余弦が１に近いほど類似度が高くなり、類似度の値から１を減算した値の絶対値が所定の閾値以下であれば、当該判定領域は顔領域であると判定する。
【００３７】
被写体検出処理は粗い判定から順次細かい判定に移行する複数の判定ステップからなり、ある判定ステップにおいて、被写体が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域に被写体は存在しないと判定する。全ての判定ステップにおいて、被写体が検出された場合にのみ、当該判定領域に顔が存在すると判定し、判定領域を走査して次の判定領域での判定に移行する。
【００３８】
以上、人物の顔を検出する場合を例として、特定被写体の検出手法について説明したが、上記手法により、人物の顔以外の特定被写体（例えば、動物や自動車など。）を検出することも可能である。
【００３９】
尚、本実施例に係る撮像装置は、図３に示すように、人物の顔を検出する人物検出辞書、犬の顔を検出する犬検出辞書、及び猫の顔を検出する猫検出辞書を備えているものとする。また、人物検出辞書、犬検出辞書、及び猫検出辞書は、それぞれ正面顔を検出する正面顔辞書、横顔を検出する横顔辞書などの辞書を備えているものとする。
【００４０】
次にＣＰＵ３６が行う処理を図６乃至図１０を用いて詳述する。
【００４１】
まず、図９を参照して、撮影処理を説明する。
【００４２】
ＣＰＵ３６はステップＳ１０１において、ＣＣＤイメージャ２６から出力されたアナログ撮像信号に基づいて、信号処理等の上述した処理が施されたディジタル画像データを、スルー画像として表示部４へ出力し、ステップＳ１０３へ進む。
【００４３】
ステップＳ１０３において、被写体が検出されたか否かを判断する。ステップＳ１０３にてＹＥＳと判断した場合、ステップＳ１０５へ進み、検出された被写体を表す識別情報“Ｆ＝Ｋ”をＳＤＲＡＭ３０に記憶する。その後、図６のターゲットマークテーブルに示すように、検出された被写体の種類“Ｋ”に応じたターゲットマーク“Ｔ”がスルー画の被写体の顔位置に重畳される。例えば、図８に示すように、犬が検出された場合、犬の顔位置に犬のターゲットマークが重畳される。また、キャラクタ生成部６１にキャラクタを生成させて、ターゲットマーク“Ｔ”を追加することも可能である。
【００４４】
そして、ステップＳ１０７へ進み、スルー画像においてターゲットマーク“Ｔ”が重畳されている顔画像を基準にＡＥとＡＦの制御を行い、ステップＳ１０９へ進む。
【００４５】
また、ステップＳ１０３にてＮＯと判断した場合、ステップＳ１０８へ進み、ステップＳ１０８では識別情報“Ｆ＝０”をＳＤＲＡＭ３０に記憶した後、スルー画像の全体が最適な値になるようにＡＥとＡＦの制御を行う。次に、ステップＳ１０９へ進む。
【００４６】
そして、ステップＳ１０９では、シャッタボタン２ａが押下されたか否かを判断する。ステップＳ１０９にてＮＯと判断した場合、ステップＳ１０１へ戻る。また、ステップＳ１０９にてＹＥＳと判断した場合、ステップＳ１１０へ進み、ＳＤＲＡＭ３０に識別情報“Ｆ＝０”が記憶されているか否かを判断する。ステップＳ１１０にてＮＯと判断した場合、つまり、被写体が検出された場合、ステップＳ１１１へ進み、図７の音声データテーブルに示すように、検出された被写体の種類“Ｋ”に応じた音声“Ｓ”が報知される。その後、ステップＳ１１３へ進む。
【００４７】
また、ステップＳ１１０にてＹＥＳと判断した場合、つまり、被写体が検出されていない場合、ステップＳ１１３へ進む。
【００４８】
ステップＳ１１３では、ＣＣＤイメージャ２６から画像信号の取り込みを行う。そして、ステップＳ１１５へ進み、撮像処理部２８にて信号処理を行い、ステップＳ１１７にて画像データと共に被写体の種類を表す識別情報“Ｆ＝Ｋ”または、被写体の非検出を表す“Ｆ＝０”をＳＤＲＡＭ３０に記憶する。
【００４９】
その後、ステップＳ１１９へ進み、圧縮・伸張処理部４０にてＳＤＲＡＭ３０に記憶済みの画像データと識別情報“Ｆ＝Ｋ”または“Ｆ＝０”の圧縮を行い、外部メモリカード４６に記録される。そして、撮影処理を終了する。
【００５０】
次に、図１０を参照して、再生処理を説明する。
【００５１】
ＣＰＵ３６はステップＳ２０１において、電子カメラの使用者が操作部２の操作により再生画を選択する。その後、ステップＳ２０３へ進み、選択された画像データと共に被写体の種類を表す識別情報“Ｆ＝Ｋ”が記録されているか否かを判断する。ステップＳ２０３にてＹＥＳと判断した場合、ステップＳ２０５へ進み、図７の音声データテーブルに示すように、被写体の種類“Ｋ”に応じた音声“Ｓ”を報知しながら、再生画を表示部４へ出力する。その後、ステップＳ２０７へ進む。
【００５２】
また、ステップＳ２０３にてＮＯと判断した場合、ステップＳ２０７へ進む。
【００５３】
ステップＳ２０７では、電子カメラの使用者が、次の再生画を表示するために操作部２の操作により再生画を選択したか否かを判断する。ステップＳ２０７にてＹＥＳと判断した場合、ステップＳ２０３へ戻る。また、ステップＳ２０７にてＮＯと判断した場合、再生処理を終了する。
【００５４】
以上のように、電子カメラのスルー画において、撮影者が選択操作をすることなく、被写体に対応したターゲットマークを自動でモニター部に表示することが可能となる。
【００５５】
なお、上述した実施例での被写体検出処理方法は一実施例であり、これに限定されるものではなく、他の検出処理方法であっても良い。
【００５６】
また、上述した実施例では、被写体検出辞書として、人物、犬、及び猫を用いて説明したが、これに限定されるものではなく、例えばウサギなど、他の動物、物体でも同様の構成が可能である。
【００５７】
更に、上述した実施例では、撮像素子としてＣＣＤイメージャを用いて説明したが、これに限定されるものではなく、例えばＣＭＯＳセンサなど他の撮像素子でも同様の構成が可能である。
【００５８】
また、上述した実施例では、記録媒体として外部メモリカードを記載したが、例えば、内蔵のハードディスクなど他の記録媒体であっても良い。
【符号の説明】
【００５９】
２ …操作部
４ …表示部
７ …データ処理部
１０ …電子カメラ
３０ …ＳＤＲＡＭ
３２ …ビデオエンコーダ
３６ …ＣＰＵ
４０ …圧縮・伸張処理部
４４ …カード制御部
４６ …外部メモリカード
５０ …画像用Ｄ／Ａ変換回路
５６ …フラッシュメモリ
５８ …音声用Ｄ／Ａ変換回路
６１ …キャラクタ生成部
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に登録物体像に符合する物体像を被写体像から探索して、物体像に対応する枠画像を表示する機能を備えるディジタルカメラ等の電子カメラに関する。
【背景技術】
【０００２】
従来、電子カメラにおいて、様々な撮影構図に対応したターゲットマークをモニター部に表示する機能を備えたものが考えられている。
【０００３】
この種のカメラの一例が、特許文献１に開示されている。この従来の技術のカメラは、撮影構図決定のガイドとなるターゲットマークを被写体観察画面内に表示し、撮影者の選択操作に応じて、ターゲットマークの表示内容を変更設定することができる技術が開示されている。
【特許文献１】特開２００２−１３１８２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１においては、様々な撮影構図に対応したターゲットマークをモニター部に表示する技術が開示されている。しかしながら、様々な撮影構図に対応したターゲットマークをモニター部に表示するには撮影者の選択操作が必要であり、被写体に対応したターゲットマークを自動でモニター部に表示することができない。
【課題を解決するための手段】
【０００５】
第一の発明の撮像装置は、被写体像を撮像素子に結像して撮像信号を順次生成する撮像手段と、前記撮像信号を基に得られた画像データを順次表示する表示手段と、複数の特徴パターン、および該複数の特徴パターンに対応する複数の枠画像を記憶する記憶手段と、前記画像データを前記複数の特徴パターンの各々と照合して既定条件を満足する部分画像を探索する探索手段と、前記部分画像に対応する枠画像を重畳する重畳手段を備えることを特徴とする。
【０００６】
第二の発明の撮像装置は、第一の発明の撮像装置に従属し、前記記憶手段は、前記複数の特徴パターンに対応する複数の音声情報をさらに含み、前記撮像装置本体に対し所定の動作を行わせるための操作を受け付ける操作受付手段と、前記操作受付手段に応答して、前記部分画像に対応する音声情報を報知する報知手段を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、電子カメラにおいて、撮影者が選択操作をすることなく、被写体に対応したターゲットマークを自動でモニター部に表示することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施例である電子カメラの外観を示す外観図である。
【図２】本発明の一実施例である電子カメラの構成を示すブロック図である。
【図３】特定被写体検出部７ａの内部構成の概略を示すブロック図である。
【図４】縮小画像生成手段によって得られる階層画像の一例を示す図解図である。
【図５】被写体検出処理の処理動作を示す図解図である。
【図６】ターゲットマークテーブル構造の一例を示す図解図である。
【図７】音声データテーブル構造の一例を示す図解図である。
【図８】被写体の顔にターゲットマークが重畳された画像の一例を示す図解図である。
【図９】本発明の一実施例である動作の一例を示すフロー図である。
【図１０】本発明の一実施例である動作の一例を示すフロー図である。
【発明を実施するための形態】
【０００９】
以下の実施例を、撮像装置の１つの例として、電子カメラ１０の形態を図面を参照しながら説明する。
【００１０】
電子カメラ１０の外観図を図１に示す。図１の電子カメラ１０は、少なくとも図示しない撮像部、操作部２、表示部４、マイク部６、およびスピーカ８を備える。撮像部では撮像動作が行われる。操作部２を構成する２ａ〜２ｈを詳しく説明すると、２ａは撮像動作を指示するシャッタボタン、２ｂは画像を拡大させるＴＥＬＥボタン、２ｃは画像を縮小させるＷＩＤＥボタンである。画像を拡大、縮小させるズーム処理は、図２のＣＰＵ３６の制御に基づいてドライバ２５及び撮像レンズ２２によって実現される。
【００１１】
この場合、ユーザがＴＥＬＥボタン２ｂに圧力を付与することによってＴＥＬＥボタン２ｂを押し下げればズーム倍率の可変範囲内においてズーム倍率は増大し、ユーザがＷＩＤＥボタン２ｃに圧力を付与することによってＷＩＤＥボタン２ｃを押し下げればズーム倍率の可変範囲内においてズーム倍率は減少する。ズーム倍率の増大量又は減少量は、ＴＥＬＥボタン２ｂ又はＷＩＤＥボタン２ｃを押し下げている時間の長さに比例する。即ち、ＴＥＬＥボタン２ｂを押し下げている時間の長さが増加するに伴ってズーム倍率の増大量は増加し、ＷＩＤＥボタン２ｃを押し下げている時間の長さが増加するに伴ってズーム倍率の減少量は増加する。
【００１２】
２ｄは再生モードボタンであり、押下されると電子カメラは再生モードに移行する。同様に、２ｆは静止画撮像モードボタン、２ｅは動画像記録モードボタンであり、押下されると電子カメラはそれぞれのモードに移行する。２ｇは４方向に操作されることにより表示部４内に表示される項目等を選択指示するカーソルキーであり、４方向の中心部が押下されることにより、項目等を決定することができる。そして、２ｈは表示部４に、選択可能な項目等を表示させるメニューボタンである。
【００１３】
さらに図１で示した電子カメラ１０内部のブロック図である図２を用いて電子カメラ１０を更に詳細に説明する。電子カメラ１０は、操作部２、表示部４、マイク部６、スピーカ８、撮像レンズ２２、絞り機構２４、ドライバ２５、ＣＣＤイメージャ２６、撮像処理部２８、ＳＤＲＡＭ３０、ビデオエンコーダ３２、メニュー切替スイッチ３４、ＣＰＵ３６、ＡＥ・ＡＦ処理部３８、圧縮・伸張処理部４０、スピーカアンプ４２、カード制御部４４、音声処理部４８、画像用Ｄ／Ａ変換回路５０、データ処理部７、フラッシュメモリ５６、音声用Ｄ／Ａ変換回路５８、およびキャラクタ生成部６１を備えて構成されている。
【００１４】
撮像レンズ２２は、被写体の光学像を撮像デバイスであるＣＣＤイメージャ２６の撮像面上に結像させる。また、撮像レンズ２２はＣＣＤイメージャ２６の出力信号に基づいて光軸方向の移動が調節される。絞り機構２４は、制御されることにより撮像レンズ２２よりＣＣＤイメージャ２６に入る光を調節する。更に、撮像レンズ２２は画像を拡大、縮小させるズーム機構を備えている。これらの撮像レンズ２２、および絞り機構２４の調節はドライバ２５で行われる。
【００１５】
ＣＣＤイメージャ２６から出力されたアナログ撮像信号は、撮像処理部２８によってＡ／Ｄ変換、色分離、白バランス調整、ＹＵＶ変換等の所定の処理が行われ、輝度信号であるＹ信号および色差信号であるＵ、Ｖ信号に変換される。
【００１６】
ＣＰＵ３６は、操作部２、ドライバ２５、撮像処理部２８、ＳＤＲＡＭ３０、メニュー切替スイッチ３４、ＡＥ・ＡＦ処理部３８、圧縮・伸張処理部４０、スピーカアンプ４２、カード制御部４４、音声処理部４８、画像用Ｄ／Ａ変換回路５０、データ処理部７、フラッシュメモリ５６、音声用Ｄ／Ａ変換回路５８、およびキャラクタ生成部６１に接続される。ＣＰＵ３６は、フラッシュメモリ５６に格納されているプログラムに従って、撮像処理部２８、ＳＤＲＡＭ３０、圧縮・伸張処理部４０、スピーカアンプ４２、カード制御部４４、音声処理部４８、画像用Ｄ／Ａ変換回路５０、データ処理部７、音声用Ｄ／Ａ変換回路５８、およびキャラクタ生成部６１の制御を行う。
【００１７】
次に、操作部２が操作されることによる電子カメラ１０の動作の説明をする。
【００１８】
上述したように、操作部２は、各種ボタンまたはキー２ａ〜２ｈで構成される。ＣＰＵ３６は静止画撮像モードボタン２ｆが押下されることによって静止画撮像モード状態にあるとき、シャッタボタン２ａが押下されることによって静止画撮像操作がなされる。そして、１フレーム分の被写体の光学像が撮像レンズ２２、絞り機構２４、ＣＣＤイメージャ２６、撮像処理部２８によって所定の処理がなされ、撮像処理部２８によって得られたＹ、Ｕ、Ｖ信号であるディジタル画像データがＳＤＲＡＭ３０に一旦格納される。
【００１９】
その後、一旦格納された１フレーム分のディジタル画像データは、圧縮・信号処理部４０、ここではＪＰＥＧコーデックによって、ＪＰＥＧ形式で圧縮される。圧縮された圧縮ディジタル画像データは再びＳＤＲＡＭ３０に格納される。
【００２０】
また、データ処理部７にて、一旦格納された１フレーム分のディジタル画像データから縮小処理によりサムネイルデータが生成される。その後、ＳＤＲＡＭ３０に格納され、圧縮・伸張処理部４０にて、ＪＰＥＧコーデックによってＪＰＥＧ圧縮される。圧縮された圧縮サムネイルデータは、再びＳＤＲＡＭ３０に格納される。
【００２１】
そして、圧縮ディジタル画像データおよび圧縮サムネイルデータは、ＣＰＵ３６が１つの静止画像ファイルとしてカード制御部４４を制御することによって外部メモリカード４６に記録される。
【００２２】
ＡＥ・ＡＦ処理部３８のＡＦ処理では、静止画撮像モード中にスルー画としてＣＣＤイメージャ２６から入力される撮像画像を、撮像処理部２８にて処理することにより得られるＹデータの高域周波数成分を１フレーム毎に積分する。積分結果つまりフォーカス評価値はＣＰＵ３６によって取り込まれ、ＣＰＵ３６は取り込んだフォーカス評価値に基づいてドライバ２５を制御する。この結果、光学レンズ２２の光軸方向の位置が調整される。このとき、撮影状況に応じた適切な評価を行うため、評価エリアは撮影状況に応じて周辺部を含む大範囲と中央部分等の一部のみの小範囲とに切換わり、この評価エリアの変化により合焦制御方式が変わる。
【００２３】
また、ＡＥ・ＡＦ処理部３８のＡＥ処理では、撮像処理部２８にて処理することにより得られるＹデータが最適な値になるように、ＣＰＵ３６はドライバ２５を制御する。この結果、絞り機構２４が調整され、かつ撮像処理部２８によって信号処理が行われる。このとき、撮影状況に応じた適切な評価を行うため、評価エリアは撮影状況に応じて周辺部を含む大範囲と中央部分等の一部のみの小範囲とに切換わる。
【００２４】
そして、同時に複数のディジタル画像データは、時系列に画像用Ｄ／Ａ変換回路５０によりアナログ画像信号に変換される。ビデオエンコーダ３２は、画像用Ｄ／Ａ変換回路５０からのアナログ画像データを基に映像信号に変換し、表示部４において変換された映像信号を表示する。
【００２５】
更に、ＣＰＵ３６は、ビデオエンコーダ３２によって変換されたアナログ映像信号に、キャラクタ生成部６１で生成したキャラクタをデータ処理部７により付加し、表示部４においてキャラクタが重畳された映像信号を表示する。
【００２６】
次に、この撮像装置の被写体検出処理について説明する。本実施例に係る撮像装置は、特定被写体検出部７ａを備え、入力された画像信号から人物の顔や動物の顔などの特定被写体を検出することができる。ここでは、人物の顔を検出する場合を例として、特定被写体検出部７ａの構成及び動作について以下に説明する。
【００２７】
図３は、特定被写体検出部７ａの構成の概略を示すブロック図である。特定被写体検出部７ａは、撮像処理部２８によって得られた画像信号に基づいて１または複数の縮小画像を生成する縮小画像生成部７１、入力画像及びその縮小画像から構成される各階層画像とフラッシュメモリ５６に記憶された特定被写体検出用の重みテーブルである被写体検出辞書Ｄとを用いて入力画像に特定被写体が存在するか否かを判定する被写体判定部７２を備えている。尚、被写体検出辞書Ｄは、外部メモリカード４６に記憶しておくようにしても良い。
【００２８】
また、フラッシュメモリ５６に記憶された被写体検出辞書Ｄは、入力画像から特定被写体を検出するのに用いる判定領域と同じ大きさの各方向のエッジ特徴画像（例えば、水平方向エッジ画像や垂直方向エッジ画像など）の画素位置を、エッジ特徴画像の種類、エッジ特徴画像の各画素の行番号及び列番号で定義する。エッジ特徴画像とは、画像のエッジ部分のみを抽出した画像のことである。
【００２９】
このような被写体検出辞書Ｄは、大量のサンプル（例えば、顔を検出する辞書である場合、顔および非顔のサンプル画像など）から求められたものである。例えば、正面顔を検出する正面顔検出辞書、横顔を検出する横顔検出辞書などを個別に作成することもできる。
【００３０】
また、人物に限らず、例えば、犬や猫などの動物を検出する辞書や自動車などを検出する辞書を作成することもできる。
【００３１】
図４は、縮小画像生成部７１によって得られる階層画像の一例を示している。階層画像とは、撮像装置が取得した画像を任意の縮小率Ｒ（０＜Ｒ＜１、理想的には０．８や０．９など１に近い値が望ましい。）に従い縮小された複数の画像である。図４において、Ｐ１は入力画像を、Ｐ２〜Ｐ５はそれぞれＲ倍、Ｒ２倍、Ｒ３倍、Ｒ４倍に縮小された縮小画像を示している。Ｆ１は判定領域を示している。判定領域は、例えば、縦２４画素、横２４画素の大きさに設定される。判定領域の大きさは、入力画像及びその縮小画像においても同じである。被写体検出処理は、各階層画像に設定された判定領域に対応する複数のエッジ特徴画像と被写体検出辞書Ｄに含まれる辞書の各々とを用いて行われる。
【００３２】
本実施例では、矢印で示すように、階層画像上で判定領域を左から右に移動させる、水平方向走査を、画像の上方から下方に向かって行いながらパターンマッチングを行うことで被写体を検出する。各判定領域と被写体検出辞書Ｄの各辞書との類似度（similarity measure）によって、当該判定領域が顔領域であるか否かの検出を行う。ただし、走査順はこれに限られるものではない。
【００３３】
入力画像Ｐ１の他に、複数の縮小画像Ｐ２〜Ｐ５を生成しているのは、大きさが異なる複数の顔を検出するためである。
【００３４】
図５は被写体検出処理を説明するための図である。被写体判定部７２による被写体検出処理は、各階層画像に対して行われるが、処理方法は同様なので、ここでは入力画像Ｐ１に対して行われる被写体検出処理についてのみ説明する。
【００３５】
図５には、入力画像Ｐ１と、入力画像内に設定された判定領域Ｆ１とを示している。階層画像毎に行われる顔検出処理は、画像内に設定された判定領域に対応する画像と被写体検出辞書Ｄとを用いた、パターンマッチングによって行われる。パターンマッチングとは、入力画像の中に被写体検出辞書Ｄに設定されているパターンと同じ物があるか、或いは近いものがあるかを検出することを指し、本実施例では、入力画像に被写体検出辞書Ｄを重ねながら移動し、２つの画像が画素データレベルの相関（類似性）を有するか否かを調べる。入力画像と被写体検出辞書Ｄとの相関は、例えば、類似度判定によって行われる。
【００３６】
類似度は、例えば、ＳＳＤ（Sum of Squared Difference）やＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross-Correlation）を用いて導出する。ＳＳＤやＳＡＤを用いる場合、類似度の値は画像が類似しているほど小さくなり、類似度の値が所定の閾値以下であれば、当該判定領域は顔領域であると判定する。また、ＮＣＣを用いる場合は、ベクトルのなす角の余弦が１に近いほど類似度が高くなり、類似度の値から１を減算した値の絶対値が所定の閾値以下であれば、当該判定領域は顔領域であると判定する。
【００３７】
被写体検出処理は粗い判定から順次細かい判定に移行する複数の判定ステップからなり、ある判定ステップにおいて、被写体が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域に被写体は存在しないと判定する。全ての判定ステップにおいて、被写体が検出された場合にのみ、当該判定領域に顔が存在すると判定し、判定領域を走査して次の判定領域での判定に移行する。
【００３８】
以上、人物の顔を検出する場合を例として、特定被写体の検出手法について説明したが、上記手法により、人物の顔以外の特定被写体（例えば、動物や自動車など。）を検出することも可能である。
【００３９】
尚、本実施例に係る撮像装置は、図３に示すように、人物の顔を検出する人物検出辞書、犬の顔を検出する犬検出辞書、及び猫の顔を検出する猫検出辞書を備えているものとする。また、人物検出辞書、犬検出辞書、及び猫検出辞書は、それぞれ正面顔を検出する正面顔辞書、横顔を検出する横顔辞書などの辞書を備えているものとする。
【００４０】
次にＣＰＵ３６が行う処理を図６乃至図１０を用いて詳述する。
【００４１】
まず、図９を参照して、撮影処理を説明する。
【００４２】
ＣＰＵ３６はステップＳ１０１において、ＣＣＤイメージャ２６から出力されたアナログ撮像信号に基づいて、信号処理等の上述した処理が施されたディジタル画像データを、スルー画像として表示部４へ出力し、ステップＳ１０３へ進む。
【００４３】
ステップＳ１０３において、被写体が検出されたか否かを判断する。ステップＳ１０３にてＹＥＳと判断した場合、ステップＳ１０５へ進み、検出された被写体を表す識別情報“Ｆ＝Ｋ”をＳＤＲＡＭ３０に記憶する。その後、図６のターゲットマークテーブルに示すように、検出された被写体の種類“Ｋ”に応じたターゲットマーク“Ｔ”がスルー画の被写体の顔位置に重畳される。例えば、図８に示すように、犬が検出された場合、犬の顔位置に犬のターゲットマークが重畳される。また、キャラクタ生成部６１にキャラクタを生成させて、ターゲットマーク“Ｔ”を追加することも可能である。
【００４４】
そして、ステップＳ１０７へ進み、スルー画像においてターゲットマーク“Ｔ”が重畳されている顔画像を基準にＡＥとＡＦの制御を行い、ステップＳ１０９へ進む。
【００４５】
また、ステップＳ１０３にてＮＯと判断した場合、ステップＳ１０８へ進み、ステップＳ１０８では識別情報“Ｆ＝０”をＳＤＲＡＭ３０に記憶した後、スルー画像の全体が最適な値になるようにＡＥとＡＦの制御を行う。次に、ステップＳ１０９へ進む。
【００４６】
そして、ステップＳ１０９では、シャッタボタン２ａが押下されたか否かを判断する。ステップＳ１０９にてＮＯと判断した場合、ステップＳ１０１へ戻る。また、ステップＳ１０９にてＹＥＳと判断した場合、ステップＳ１１０へ進み、ＳＤＲＡＭ３０に識別情報“Ｆ＝０”が記憶されているか否かを判断する。ステップＳ１１０にてＮＯと判断した場合、つまり、被写体が検出された場合、ステップＳ１１１へ進み、図７の音声データテーブルに示すように、検出された被写体の種類“Ｋ”に応じた音声“Ｓ”が報知される。その後、ステップＳ１１３へ進む。
【００４７】
また、ステップＳ１１０にてＹＥＳと判断した場合、つまり、被写体が検出されていない場合、ステップＳ１１３へ進む。
【００４８】
ステップＳ１１３では、ＣＣＤイメージャ２６から画像信号の取り込みを行う。そして、ステップＳ１１５へ進み、撮像処理部２８にて信号処理を行い、ステップＳ１１７にて画像データと共に被写体の種類を表す識別情報“Ｆ＝Ｋ”または、被写体の非検出を表す“Ｆ＝０”をＳＤＲＡＭ３０に記憶する。
【００４９】
その後、ステップＳ１１９へ進み、圧縮・伸張処理部４０にてＳＤＲＡＭ３０に記憶済みの画像データと識別情報“Ｆ＝Ｋ”または“Ｆ＝０”の圧縮を行い、外部メモリカード４６に記録される。そして、撮影処理を終了する。
【００５０】
次に、図１０を参照して、再生処理を説明する。
【００５１】
ＣＰＵ３６はステップＳ２０１において、電子カメラの使用者が操作部２の操作により再生画を選択する。その後、ステップＳ２０３へ進み、選択された画像データと共に被写体の種類を表す識別情報“Ｆ＝Ｋ”が記録されているか否かを判断する。ステップＳ２０３にてＹＥＳと判断した場合、ステップＳ２０５へ進み、図７の音声データテーブルに示すように、被写体の種類“Ｋ”に応じた音声“Ｓ”を報知しながら、再生画を表示部４へ出力する。その後、ステップＳ２０７へ進む。
【００５２】
また、ステップＳ２０３にてＮＯと判断した場合、ステップＳ２０７へ進む。
【００５３】
ステップＳ２０７では、電子カメラの使用者が、次の再生画を表示するために操作部２の操作により再生画を選択したか否かを判断する。ステップＳ２０７にてＹＥＳと判断した場合、ステップＳ２０３へ戻る。また、ステップＳ２０７にてＮＯと判断した場合、再生処理を終了する。
【００５４】
以上のように、電子カメラのスルー画において、撮影者が選択操作をすることなく、被写体に対応したターゲットマークを自動でモニター部に表示することが可能となる。
【００５５】
なお、上述した実施例での被写体検出処理方法は一実施例であり、これに限定されるものではなく、他の検出処理方法であっても良い。
【００５６】
また、上述した実施例では、被写体検出辞書として、人物、犬、及び猫を用いて説明したが、これに限定されるものではなく、例えばウサギなど、他の動物、物体でも同様の構成が可能である。
【００５７】
更に、上述した実施例では、撮像素子としてＣＣＤイメージャを用いて説明したが、これに限定されるものではなく、例えばＣＭＯＳセンサなど他の撮像素子でも同様の構成が可能である。
【００５８】
また、上述した実施例では、記録媒体として外部メモリカードを記載したが、例えば、内蔵のハードディスクなど他の記録媒体であっても良い。
【符号の説明】
【００５９】
２ …操作部
４ …表示部
７ …データ処理部
１０ …電子カメラ
３０ …ＳＤＲＡＭ
３２ …ビデオエンコーダ
３６ …ＣＰＵ
４０ …圧縮・伸張処理部
４４ …カード制御部
４６ …外部メモリカード
５０ …画像用Ｄ／Ａ変換回路
５６ …フラッシュメモリ
５８ …音声用Ｄ／Ａ変換回路
６１ …キャラクタ生成部
【特許請求の範囲】
【請求項１】
被写体像を撮像素子に結像して撮像信号を順次生成する撮像手段と、
前記撮像信号を基に得られた画像データを順次表示する表示手段と、
複数の特徴パターン、および該複数の特徴パターンに対応する複数の枠画像を記憶する記憶手段と、
前記画像データを前記複数の特徴パターンの各々と照合して既定条件を満足する部分画像を探索する探索手段と、
前記部分画像に対応する枠画像を重畳する重畳手段を備えることを特徴とする撮像装置。
【請求項２】
前記記憶手段は、前記複数の特徴パターンに対応する複数の音声情報をさらに含み、
前記撮像装置本体に対し所定の動作を行わせるための操作を受け付ける操作受付手段と、
前記操作受付手段に応答して、前記部分画像に対応する音声情報を報知する報知手段を備えることを特徴とする請求項１記載の撮像装置。
【請求項１】
被写体像を撮像素子に結像して撮像信号を順次生成する撮像手段と、
前記撮像信号を基に得られた画像データを順次表示する表示手段と、
複数の特徴パターン、および該複数の特徴パターンに対応する複数の枠画像を記憶する記憶手段と、
前記画像データを前記複数の特徴パターンの各々と照合して既定条件を満足する部分画像を探索する探索手段と、
前記部分画像に対応する枠画像を重畳する重畳手段を備えることを特徴とする撮像装置。
【請求項２】
前記記憶手段は、前記複数の特徴パターンに対応する複数の音声情報をさらに含み、
前記撮像装置本体に対し所定の動作を行わせるための操作を受け付ける操作受付手段と、
前記操作受付手段に応答して、前記部分画像に対応する音声情報を報知する報知手段を備えることを特徴とする請求項１記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１９１３２４（Ｐ２０１２−１９１３２４Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５１５５３（Ｐ２０１１−５１５５３）
【出願日】平成２３年３月９日（２０１１．３．９）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月９日（２０１１．３．９）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]