説明

電子カメラ

【課題】 人物撮影時に被写体の顔を検出するとともに、被写体の顔の特徴に基づいてユーザーが要求する処理を簡単に行う。
【解決手段】 電子カメラは、被写体像を撮影する撮像素子と、メモリと、顔検出部と、顔認識部と、外部に音を出力するスピーカーと、制御部とを備える。メモリは、認識対象となる顔の特徴量を示す登録データと、認識対象の人物の出身地または使用言語に関する特性データとの対応関係を記録する。顔検出部は、撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴量を抽出する。顔認識部は、顔領域に対応する特徴量のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。制御部は、顔認識部の認識結果に基づいて、特性データに応じて決定されたかけ声を撮影時にスピーカーから出力させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子カメラに関する。
【背景技術】
【0002】
従来から、人物の顔を撮影した撮影画像から人物の顔の特徴点を抽出し、認識する人物に関する顔認識データと上記の特徴点との一致度に基づいて顔認識を行う技術が開示されている(特許文献1参照)。また、撮影画像から人種、年齢、性別を推定して顔画像を補正する画像処理装置も開示されている(特許文献2参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平6−259534号公報
【特許文献2】特開2004−246456号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、近年では電子カメラの多機能化は益々進展しており、それに伴って電子カメラの操作も煩雑になる傾向がある。そのため、人物撮影時においてユーザーの意図する機能を簡単に使用できる電子カメラが要望されている。
【0005】
本発明は上記従来技術の課題を解決するためのものである。本発明の目的は、人物撮影時に被写体の顔を検出するとともに、被写体の顔の特徴に基づいてユーザーが要求する処理を簡単に行うことのできる電子カメラを提供することである。
【課題を解決するための手段】
【0006】
本発明の第1の例に係る電子カメラは、被写体像を撮影する撮像素子と、メモリと、顔検出部と、顔認識部と、外部に音を出力するスピーカーと、制御部とを備える。メモリは、認識対象となる顔の特徴量を示す登録データと、認識対象の人物の出身地または使用言語に関する特性データとの対応関係を記録する。顔検出部は、撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴量を抽出する。顔認識部は、顔領域に対応する特徴量のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。制御部は、顔認識部の認識結果に基づいて、特性データに応じて決定されたかけ声を撮影時にスピーカーから出力させる。
【0007】
本発明の第2の例に係る電子カメラは、被写体像を撮影する撮像素子と、メモリと、顔検出部と、顔認識部と、撮影日時を取得するタイマと、画像処理部と、制御部とを備える。メモリは、認識対象となる顔の特徴量を示す登録データと、認識対象の人物の出身地または使用言語に関する特性データとの対応関係を記録する。顔検出部は、撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴量を抽出する。顔認識部は、顔領域に対応する特徴量のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。画像処理部は、顔認識部の認識結果に基づいて、撮像素子で撮影された記録用画像に対して、撮影日の表示を合成する画像処理を実行する。制御部は、特性データに基づいて、撮影日の表示順を変更する。
【0008】
本発明の第3の例に係る電子カメラは、被写体像を撮影する撮像素子と、メモリと、顔検出部と、顔認識部と、制御部とを備える。メモリは、認識対象となる顔の特徴量を示す登録データと、認識対象の人物の性別に関する特性データとの対応関係を記録する。顔検出部は、撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴量を抽出する。顔認識部は、顔領域に対応する特徴量のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。制御部は、特性データの性別が女性を示す場合には、判定において顔領域が認識対象であるとする基準を緩和する補正を行う。
【0009】
本発明の第4の例に係る電子カメラは、被写体像を撮影する撮像素子と、メモリと、顔検出部と、顔認識部と、制御部とを備える。メモリは、認識対象となる顔の特徴量を示す登録データと、認識対象の人物の性別に関する特性データとの対応関係を記録する。顔検出部は、撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴量を抽出する。顔認識部は、顔領域に対応する特徴量のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。制御部は、特性データが眼鏡を着用する人物を示す場合には、判定において顔領域が認識対象であるとする基準を緩和する補正を行う。
【0010】
本発明の第5の例に係る電子カメラは、被写体像を撮影する撮像素子と、メモリと、顔検出部と、顔認識部と、撮影日時を取得するタイマと、制御部とを備える。メモリは、認識対象となる顔の特徴量を示す登録データと、認識対象の人物の誕生日に関する特性データとの対応関係を記録する。顔検出部は、撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴量を抽出する。顔認識部は、顔領域に対応する特徴量のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。制御部は、顔認識部の認識結果に基づいて、認識対象を撮影した記録用画像のデータに対して、誕生日から起算した日時に関するデータを付加する。
【0011】
本発明の第6の例に係る電子カメラは、被写体像を撮影する撮像素子と、メモリと、顔検出部と、顔認識部と、画像処理部と、を備える。メモリは、キャラクタの画像または文字情報からなる付帯表示のデータを記録するとともに、認識対象となる顔の特徴量を示す登録データと、認識対象に対応する付帯表示を示す特性データとの対応関係を記録する。顔検出部は、撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、顔領域から被写体の顔の特徴量を抽出する。顔認識部は、顔領域に対応する特徴量のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。画像処理部は、顔認識部の認識結果に基づいて、撮像素子で撮影された記録用画像に対して、特性データの示す付帯表示を合成する画像処理を実行する。
【0012】
本発明の第7の例に係る電子カメラは、被写体像を撮影する撮像素子と、メモリと、顔検出部と、顔認識部と、画像処理部と、制御部とを備える。メモリは、認識対象となる顔の特徴量を示す登録データと、認識対象の人物を撮影したときに画像に合成される文字情報の表示の設定および文字情報の合成位置の少なくとも一方に関する特性データとの対応関係を記録する。顔検出部は、撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴量を抽出する。顔認識部は、顔領域に対応する特徴量のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。画像処理部は、顔認識部の認識結果に基づいて、撮像素子で撮影された記録用画像に対して、文字情報を合成する画像処理を実行する。制御部は、特性データに基づいて、文字情報の表示および合成位置の少なくとも一方を変更する。
【0013】
本発明の第8の例に係る電子カメラは、被写体像を撮影する撮像素子と、顔検出部と、推論部と、メモリと、画像処理部とを備える。顔検出部は、撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、顔領域から被写体の顔の特徴量を抽出する。推論部は、特徴量に基づいて被写体の年齢、性別のいずれかに関する推論処理を実行する。メモリは、キャラクタの画像または文字情報からなる付帯表示のデータを記録する。画像処理部は、推論部の推論結果に基づいて、撮像素子で撮影された記録用画像に対して、付帯表示を合成する画像処理を実行する。
【0014】
本発明の第9の例に係る電子カメラは、被写体像を撮影する撮像素子と、顔検出部と、推論部と、制御部とを備える。顔検出部は、撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、顔領域から被写体の顔の特徴量を抽出する。推論部は、特徴量に基づいて被写体の年齢に関する推論処理を実行する。制御部は、推論部の推論結果に基づいて、撮像素子で撮影された記録用画像の印刷を行うための印刷データを生成する。
【0015】
本発明の第10の例に係る電子カメラは、被写体像を撮影する撮像素子と、メモリと、顔検出部と、推論部と、第1顔認識部と、第2顔認識部とを備える。メモリは、認識対象となる顔の特徴量を示す登録データと、認識対象の人物の性別、人種、年齢のいずれかに関する特性データとの対応関係を記録する。顔検出部は、撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴量を抽出する。推論部は、特徴量に基づいて被写体の年齢、性別のいずれかに関する推論処理を実行する。第1顔認識部は、顔領域に対応する特徴量のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。第2顔認識部は、推論部の推論結果と特性データとに基づいて、顔領域が認識対象であるか否かを判定する。
【発明の効果】
【0016】
本発明によれば、人物撮影時に被写体の顔を検出するとともに、被写体の顔の特徴に基づいてユーザーが要求する処理を簡単に行うことができる。
【図面の簡単な説明】
【0017】
【図1】第1実施形態の電子カメラの構成を示すブロック図
【図2】第1実施形態における電子カメラの撮影動作の一例を説明する流れ図
【図3】第2実施形態における電子カメラの撮影動作の一例を説明する流れ図
【発明を実施するための形態】
【0018】
(第1実施形態の説明)
図1は第1実施形態の電子カメラの構成を示すブロック図である。
【0019】
電子カメラは、撮影レンズ11と、レンズ駆動部12と、絞り13と、絞り駆動部14と、撮像素子15と、アナログ処理部16と、A/D変換部17と、タイミングジェネレータ(TG)18と、第1メモリ19と、画像処理部20と、記録I/F21と、表示I/F22と、モニタ23と、操作部24と、通信部25と、外部I/F26と、マイク27およびスピーカー28と、閃光発光部29と、外光AF部30と、CPU31と、第2メモリ32と、システムバス33とを有している。なお、第1メモリ19、画像処理部20、記録I/F21、表示I/F22、通信部25、外部I/F26およびCPU31はシステムバス33を介して接続されている。
【0020】
撮影レンズ11は、ズームレンズと、合焦位置調節用のフォーカスレンズとを含む複数のレンズ群で構成されている。撮影レンズ11を構成する各々のレンズは、レンズ駆動部12によって光軸方向に移動する。なお、レンズ駆動部12の入出力はCPU31と接続されている。
【0021】
絞り13は、撮影レンズ11からの入射光量を調節する。絞り13の開口量は、絞り駆動部14によって調整される。なお、絞り駆動部14の入出力はCPU31と接続されている。
【0022】
撮像素子15は、撮影レンズ11を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。被写体の撮影を行う撮影モードでは、撮像素子15は、撮影時に記録用の撮影画像を撮影するとともに、撮影待機時にも所定間隔毎に間引き読み出しでスルー画像を出力する。上記のスルー画像のデータは、CPU31による各種の演算処理やモニタ23での表示などに使用される。
【0023】
アナログ処理部16は、撮像素子15の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このアナログ処理部16はCDS回路やゲイン回路を内部に有している。アナログ処理部16のCDS回路は、相関二重サンプリングによって撮像素子15の出力のノイズ成分を低減する。アナログ処理部16のゲイン回路は、CPU31の指示に基づいて入力信号の利得を増幅する。上記のゲイン回路では、ISO感度に相当する撮像感度の調整を行うことができる。
【0024】
A/D変換部17は、アナログ処理部16から出力されたアナログの画像信号にA/D変換を行う。このA/D変換部17の出力は第1メモリ19に接続されている。
【0025】
TG18は、CPU31の指示に基づいて、撮像素子15、アナログ処理部16およびA/D変換部17に対してタイミングパルスを供給する。撮像素子15、アナログ処理部16およびA/D変換部17の駆動タイミングは、TG18のタイミングパルスによって制御される。
【0026】
第1メモリ19は、後述の画像処理の前工程や後工程などで画像のデータを一時的に記録するためのバッファメモリである。
【0027】
画像処理部20は、上記の撮影モードにおいて撮影時のデジタル画像信号に各種の画像処理を施して撮影画像を生成する。また、画像処理部20は撮影画像のデータをJPEG形式で圧縮する。さらに、画像処理部20は、上記の撮影モードにおいて、CPU31の指示によりスルー画像の画像信号から表示用画像(ビュー画像)を生成する。
【0028】
一方、撮影画像の再生などを行う編集モードでは、画像処理部20は、圧縮された撮影画像のデータを伸長復元する処理を実行する。また、画像処理部20は、上記の編集モードにおいて、撮影画像のデータに画像処理を施すことも可能である。なお、画像処理部20による画像処理の具体的な内容は後述する。
【0029】
記録I/F21には記録媒体34を接続するためのコネクタが形成されている。そして、記録I/F21は、コネクタに接続された記録媒体34に対して撮影画像データの書き込み/読み込みを実行する。上記の記録媒体34は、ハードディスクや半導体メモリを内蔵したメモリカードなどで構成される。なお、図1では記録媒体34の一例としてメモリカードを図示する。
【0030】
表示I/F22は、CPU31の指示に基づいてモニタ23の表示を制御する。また、表示I/F22は、外部に画像出力を行うための映像端子を有している。そのため、本実施形態の電子カメラでは、表示I/F22の映像端子を介して、外部の表示装置(テレビなど)に再生画像を表示させることも可能である。
【0031】
モニタ23は、CPU31および表示I/F22の指示に応じて各種画像を表示する。本実施形態でのモニタ23は液晶モニタで構成されている。このモニタ23には、撮影モードでの撮影待機時にビュー画像が動画表示される。また、モニタ23は、オンスクリーン機能によって、撮影に必要となる各種情報の表示(例えば、撮影可能なフレーム数、焦点検出エリアの位置、後述の顔検出処理で検出された顔領域の枠表示など)をビュー画像に重畳表示させることもできる。
【0032】
さらに、モニタ23には、撮影画像のデータに基づく再生画像や、GUI(Graphical User Interface)形式の入力が可能なメニュー画面なども表示できる(なお、モニタ23におけるビュー画像およびメニュー画面の図示は省略する)。
【0033】
操作部24は、レリーズ釦や操作釦などを有している。操作部24のレリーズ釦は露光動作開始の指示入力をユーザーから受け付ける。操作部24の操作釦は、上記のメニュー画面等での入力や、電子カメラの撮影モードの切り換え入力などをユーザーから受け付ける。
【0034】
通信部25は、無線LANの標準規格IEEE802.11に規定された仕様に準拠して、外部装置との通信を制御する。例えば、撮影画像のデータを外部装置に送信する場合、通信部25は撮影画像のデータを無線通信可能なデータに変換するとともに、変換後のデータを外部装置に送信する。
【0035】
外部I/F26は、USB(Universal Serial Bus)などのシリアル通信規格の接続端子を有している。そして、外部I/F26は、接続端子を介して接続されたコンピュータなどとのデータ送受信を上記の通信規格に準拠して制御する。
【0036】
マイク27は、電子カメラの外部音声を録音するために設けられている。また、スピーカー28は、撮影時などに電子カメラの外部に音声を出力するために設けられている。マイク27およびスピーカー28はCPU31と接続されている。
【0037】
閃光発光部29は、例えば、キセノン発光管、発光のエネルギを蓄えるメインコンデンサ、閃光を被写体に効率良く照射するための反射傘やレンズ部材、発光制御回路などから構成されている。
【0038】
外光AF部30は、撮影レンズ11とは独立した光学系により焦点検出を行う公知のパッシブ型焦点検出装置である。外光AF部30は一対の測距レンズ30aと、ミラー30b,30cおよびイメージセンサ30dとを有する。一対の測距レンズ30aを通過した被写体光は、ミラー30b,30cで反射された後にイメージセンサ30d上に2つの像として検出される。
【0039】
CPU31は、不図示のROMに格納されたシーケンスプログラムに従って、電子カメラの各部動作を制御するとともに、撮影などに必要となる各種演算を実行する(これらの内容については後述する)。また、本実施形態のCPU31は、AF制御部31a、顔検出部31b、顔認識部31c、推論部31d、撮影日時を取得するためのタイマ31eとして機能する。
【0040】
AF制御部31aは、撮像素子15から取得したスルー画像のデータに基づいて、コントラスト検出方式での公知のAF演算を実行する。また、AF制御部31aは、外光AF部30のイメージセンサから検出した2像間隔に基づいてデフォーカス量を演算するとともに、このデフォーカス量に基づいてAFを行う。なお、第1実施形態では、通常の撮影モードにおいて、AF制御部31aは、外光AF部30のデフォーカス量でAFを行った後に、コントラスト検出方式のAFをさらに実行することでピント合わせの精度を向上させている。
【0041】
顔検出部31bは、スルー画像または撮影画像のデータから特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。例えば、顔検出部31bは、特開2001−16573号公報などに記載された特徴点抽出処理によって顔領域を抽出する。また、上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。
【0042】
顔認識部31cは、顔検出部31bで検出した特徴点に基づいて顔認識データを生成する。例えば、顔認識部31cは、検出した顔の特徴点の位置、特徴点から求まる顔パーツの大きさ、各特徴点の相対距離などから認識対象となる登録人物の顔認識データを生成する。
【0043】
また、顔認識部31cは、撮影画面内の人物の顔が顔認識データの人物の顔か否かを判定する顔認識処理を行う。具体的には、まず顔認識部31cは検出された顔の特徴点に基づいて、撮影人物の顔の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算する。次に顔認識部31cは、上記の演算結果と顔認識データとを比較して、顔認識データの人物の顔と撮影人物の顔との相似度を求める。そして、顔認識部31cは上記の相似度が閾値を上回る場合に撮影人物が顔認識データの人物に合致すると判定する。
【0044】
推論部31dは、顔の器官を構成する特徴点を用いた演算処理により人種、年齢、性別などを判別する。人種の推定では、たとえば、下記の文献1の手法を適用できるが、これに限らず、顔画像内の輝度分布を検出する方法を用いることができる。また、年齢や性別を推定するには、たとえば、下記の文献2に開示された方法を使用することができる。
【0045】
<文献1>:グレゴリー シャナロビッチ(Gregory Shakhnarovich),ポール A ヴィオラ(Paul A. Viola),ババック モハダム(Baback Moghaddam);「ア ユニファイド ラーニング フレームワーク フォア リアルタイム フェイス ディテクション アンド クラシフィケーション(A Unified Learning Framework for Real Time Face Detection and Classification)」;プロシーディングス オブ ザ フィフス IEEE インターナショナル コンファレンス オン オートマティック フェイス アンド ジェスチャー レコグニッション(Proceedings of the Fifth IEEE International Conference on Automatic Face and Gesture and Gesture Recognition);(米国) インスティチュート オブ エレクトリカル アンド エレクトロニクス エンジニアズ(Institute of Electrical and Electronics Engineers,略称 IEEE);2002年5月
<文献2>:細井聖,瀧川えりな,川出雅人;「ガボールウェーブレット変換とサポートベクタマシンによる性別・年代推定システム」;第8回画像センシングシンポジウム講演論文集;画像センシング技術研究会;2002年7月
上記の推論処理に使用される特徴量は、主として顔画像の検出領域から導き出されるが、これに限らず、顔画像の周辺領域や、画像全体または画像の一部の特徴量も含めてもよい。特徴量としては、顔画像の色彩や明度の平均や分散、強度分布、周囲画像との色彩差や明度差などを検出することができる。また、これらの特徴量を所定の演算式にあてはめて、推論に必要な二次的な特徴量を求めることもできる。
【0046】
第2メモリ32はCPU31と接続されている。第2メモリ32には、顔認識部31cで生成された顔認識データが記録される。この第2メモリ32には登録した人物(登録人物)ごとにグループフォルダを生成することができ、グループフォルダによって顔認識データを登録人物ごとにグループ化できる。例えば、グループフォルダには、同一の登録人物に関して、顔の向きや撮影条件などが異なる複数の顔認識データを記録することができる。
【0047】
また、第2メモリ32の各々のグループフォルダには、その登録人物の特徴や撮影時の設定を示す特性データを記録できる。
【0048】
上記の特性データとしては、(1)登録人物の名称、(2)登録人物の生年月日、(3)登録人物の性別、(4)登録人物の人種、(5)登録人物の出身地/言語、(6)眼鏡の着用の有無、(7)撮影画像への付帯表示の設定、(8)文字の表示、が含まれる。また、特性データとして、登録人物の電話番号、住所、メールアドレス、ニックネームなどを記録できるようにしてもよい。
【0049】
ここで、上記(7)の付帯表示の設定は、撮影画像に付帯表示を合成するか否かを示している。この付帯表示としては、漫画のキャラクタや、文字や絵などのスタンプや、撮影画像の周囲を飾るフレームなどのテンプレートや、撮影日のニュースなどの文字情報などが含まれる。また、付帯表示の設定には、画像中で付帯表示を合成する位置の設定も含まれる。なお、付帯表示のデータは第2メモリ32に記録されている。なお、CPU31は、第2メモリ32の付帯表示のデータを、例えば外部のサーバーから通信部25を介してダウンロードすることで追加、更新できるようにしてもよい。
【0050】
また、上記(8)の文字の表示は、撮影画像に文字を合成する場合(撮影日の表示や、上記の付帯表示の文字情報など)の文字に関する設定項目である。例えば、撮影画像に合成する文字のフォントの種類、文字のサイズ、文字の色や、画像中で文字を合成する位置の設定が含まれる。
【0051】
さらに、第2メモリ32には、撮影時の合図に使用されるかけ声の音声データが記録されている。この音声データは、複数の言語に対応するかけ声のデータがそれぞれ記録されている。また、1つの言語に対しても標準語と方言とで複数パターンのかけ声のデータを有している。
【0052】
次に、図2の流れ図を参照しつつ、第1実施形態における電子カメラの撮影動作の一例を説明する。ここで、以下の説明では、人物の年齢および性別の推論機能をオンに設定するとともに、顔認識機能をオフに設定した場合を説明する。
【0053】
ステップ101:CPU31は、撮像素子15を駆動させてスルー画像の取得を開始する。撮像素子15は所定間隔毎に間引き読み出しでスルー画像の画像信号を取得する。画像処理部20はスルー画像のデータに基づいてビュー画像を逐次生成する。そして、撮影待機時のモニタ23にはビュー画像が動画表示される。したがって、ユーザーはモニタ23のビュー画像によって、撮影構図を決定するためのフレーミングを行うことができる。
【0054】
ステップ102:CPU31の顔検出部31bは、スルー画像のデータに顔検出処理を施して撮影画面内の顔領域を検出する。
【0055】
ステップ103:CPU31は、S102の顔検出処理で顔領域を検出したか否かを判定する。顔領域を検出した場合(YES側)にはS104に移行する。一方、顔領域を検出していない場合(NO側)にはS107に移行する。
【0056】
ステップ104:CPU31の推論部31dは、S102の顔領域に対して主要被写体の年齢および性別を推定する推論処理を実行する。一例として、CPU31は、被写体の性別、年齢のそれぞれのカテゴリについて複数のクラスを設定して、各クラス毎の尤度を求める。そして、CPU31は最も尤度の高いクラスに基づいて主要被写体の年齢および性別を推定する。
【0057】
ここで、S102で複数の顔領域が検出されている場合、CPU31は顔のサイズが最も大きくて至近側にあると考えられる顔領域または最も中央に位置する顔領域のいずれかを主要被写体として推論処理を実行する。
【0058】
ステップ105:CPU31は、S104の推論処理で推定された年齢から主要被写体が子供であるか否かを判定する。具体的には、CPU31は、主要被写体の推定年齢が閾値以下(例えば6〜10歳以下)の場合には主要被写体が子供であると判定する。主要被写体が子供の場合(YES側)にはS108に移行する。一方、主要被写体が子供ではない場合(NO側)にはS106に移行する。
【0059】
ステップ106:CPU31は、S104の推論処理で推定された性別から主要被写体が女性であるか否かを判定する。主要被写体が女性の場合(YES側)にはS109に移行する。一方、主要被写体が男性の場合(NO側)にはS107に移行する。
【0060】
ステップ107:この場合には、CPU31は通常の撮影モードで被写体を撮影する。通常の撮影モードでは、レリーズ釦の半押しに応じてCPU31はAFを行うとともに、AE(自動露出演算)を実行して撮影条件を設定する。その後、レリーズ釦の全押しに応じてCPU31は被写体を撮影し、画像処理部20が撮影画像のデータを生成する。そして、CPU31は撮影画像のデータを記録媒体34に記録してS110に移行する。なお、S102で顔領域が検出されている場合には、CPU31のAF制御部31aは検出した顔領域を焦点検出エリアとしてAFを実行するのが好ましい。
【0061】
ステップ108:この場合には、CPU31は子供の撮影に適した第1撮影モードに移行して被写体を撮影する。この第1撮影モードでは、CPU31はS107の通常の撮影モードとほぼ同じ流れで撮影を行うが、CPU31が以下の(1)から(11)のいずれかの制御を実行する点で相違する。
【0062】
(1)CPU31は、撮影条件の設定時において、通常の撮影モードよりも露光時間を短くする補正を行う。上記のように露光時間を短くすることで、子供の動きに起因する被写体ブレを抑制できる。
【0063】
例えば、第1撮影モードでは、CPU31は通常の撮影モードの場合よりも撮像感度を高くするとともに、絞り値を小さくして露光時間を短くする。勿論、CPU31は撮像感度の補正と絞り値の補正とのいずれかの一方のみを行って露光時間を短くしてもよい。
【0064】
(2)CPU31は、撮影条件の設定時において、通常の撮影モードよりも絞り値を大きくして被写界深度を深くする。子供を撮影するシーンでは子供が動いてピントが合わせづらくなることがあるが、被写界深度を深くすることで撮影失敗の可能性を低くできる。なお、上記の(1)と(2)との設定は、ユーザーが操作部24の操作で相互に切り替えることができる。
【0065】
(3)CPU31は、撮影レンズ11を近接撮影に適した位置に移動させる。特に乳児を撮影するシーンでは、カメラを人物に近づけて接写をする場合が多いからである。
【0066】
(4)CPU31は、露光開始直前に閃光発光部29を発光させるとともに、スピーカー28から音声を出力する設定を行う。撮影時に子供の注意を電子カメラに向けて撮影失敗を防止するためである。
【0067】
(5)CPU31は、撮影時に閃光発光部29の発光を禁止するとともに、スピーカー28の音声出力をオフにする設定を行う。例えば、就寝中の子供を撮影する場合に、撮影時のフラッシュや撮影音で子供を起こさないようにするためである。なお、上記の(4)と(5)との設定は、ユーザーが操作部24の操作で相互に切り替えることができる。
【0068】
(6)CPU31のAF制御部31aは、外光AF部30のみでAFを実行する。すなわち、第1撮影モードにおいて、CPU31は合焦までに時間のかかるコントラスト検出方式でのAFを行わないようにできる。これにより、AFが迅速に行われるのでシャッターチャンスを逃すおそれが低下する。
【0069】
(7)CPU31は、主要被写体の顔領域の表情を推定する。そして、CPU31は主要被写体の表情が所定の状態(例えば、目つぶりしていない状態または笑顔の状態)である場合のみ撮影できるようにする。これにより、ユーザーは主要被写体の表情が所望の状態の撮影画像を得ることができ、撮影失敗の可能性が低減する。
【0070】
ここで、上記の顔の表情の検出は以下の手段によって行われる。例えば、特開2004−272933号公報のように、普通の表情、目をつぶった顔、口を開いた顔、笑顔などのクラスに分類された学習用顔画像を予め用意し、CPU31が正準判別分析による識別を行なった上で各クラスごとに設定された評価値で顔の表情を判別してもよい。あるいは、開いた目、閉じた目、開いた口、閉じた口などの標準パターンを予め用意し、CPU31が各パターンと顔領域とのマッチングをとり、パターンの組合せから表情を推定してもよい。
【0071】
(8)CPU31は、1回のレリーズ釦の全押しで複数フレームの連写撮影を実行する。これにより、ユーザーは複数の撮影画像から最良の画像を選択できるので撮影失敗の可能性が低下する。
【0072】
(9)CPU31は、撮影時にマイク27で録音を実行する。例えば、CPU31は撮影画像の撮影に前後して録音を行い、撮影画像のデータに録音のデータを関連付けして記録する。これにより、撮影したシーンの状況を音声によっても把握することが可能となる。
【0073】
(10)CPU31は、画像処理部20に対して撮影画像にソフトフォーカス処理を施す指示を行う。これにより、主要被写体の子供が強調されるとともに柔らかみのある好ましい撮影画像を得ることができる。
【0074】
ここで、画像処理部20のソフトフォーカス処理は以下の手段で行われる。例えば、画像処理部20は、所定のソフトフォーカス効果を示すフィルタやローパスフィルタなどによるフィルタ処理を撮影画像に施してソフトフォーカス画像を生成する。また、画像処理部20は、撮影画像からマスク画像を生成するとともに、マスク画像に基づいてフィルタ処理後の画像と原画像とを合成してソフトフォーカス画像を生成してもよい。
【0075】
(11)CPU31は、画像処理部20に対して付帯表示の合成処理を指示する。そして、画像処理部20は、撮影画像に漫画などのキャラクタや撮影日のニュースなどを合成する。これにより、エンタテイメント性の高い撮影画像をユーザーに提供することができる。
【0076】
ステップ109:この場合には、CPU31は女性の撮影に適した第2撮影モードに移行して被写体を撮影する。この第2撮影モードでは、CPU31はS107の通常の撮影モードとほぼ同じ流れで撮影を行うが、CPU31が以下の(1)から(4)のいずれかの制御を実行する点で相違する。
【0077】
(1)CPU31は、画像処理部20に対して撮影画像の露出をオーバー側に補正する露出補正処理の指示を行う。これにより、主要被写体の女性の肌が白く表現された好ましい撮影画像を得ることができる。
【0078】
(2)CPU31は、画像処理部20に対して撮影画像にソフトフォーカス処理を施す指示を行う。これにより、主要被写体の女性が強調されるとともに柔らかみのある好ましい撮影画像を得ることができる。また、主要被写体の女性のしわや肌荒れなどが目立ちにくい好ましい撮影画像を得ることができる。なお、ソフトフォーカス処理の説明は、上記のS107と同様であるので重複説明は省略する。
【0079】
(3)CPU31は、画像処理部20に対して撮影画像の彩度のパラメータを補正する指示を行う。例えば、画像処理部20は、肌色の領域の彩度を下げる補正を行って肌を白く表現する。あるいは、画像処理部20は、肌色の領域の彩度を上げる補正を行って肌色のくすみなどを軽減するようにしてもよい。
【0080】
(4)CPU31は、画像処理部20に対して撮影画像の人物を痩身にみせる補正を実行する指示を行う。これにより、主要被写体の女性が痩せてみえる好ましい撮影画像を得ることができる。
【0081】
ここで、上記の撮影人物を痩身にみせる処理は以下の手段で行われる。例えば、画像処理部20は、撮影画像の縦横比を若干縦長に変更した後、画像をトリミングして画像サイズを調整する。あるいは、画像処理部20は、特開2004−264893号公報のように、画像処理で顔の輪郭を補正して頬を細くみせるようにしてもよい。
【0082】
ステップ110:CPU31は、DPOF(Digital Print Order Format)規格による印刷設定データの生成がオンに設定されているか否かを判定する。上記設定がオンとなっている場合(YES側)にはS111に移行する。一方、上記設定がオフとなっている場合(NO側)には、CPU31は印刷設定データを生成することなく撮影動作を終了する。
【0083】
ステップ111:CPU31は、S104の推論処理で推定された年齢から主要被写体が高齢者であるか否かを判定する。具体的には、CPU31は、主要被写体の推定年齢が閾値以上(例えば60歳以上)の場合には主要被写体が高齢者であると判定する。主要被写体が高齢者の場合(YES側)にはS112に移行する。一方、顔領域が検出されていない場合や主要被写体が高齢者ではない場合(NO側)にはS113に移行する。
【0084】
ステップ112:CPU31は、印刷のサイズを通常の場合よりも大きなサイズに変更して印刷設定データを生成する。例えば、標準の印刷のサイズがL判である場合、CPU31は印刷のサイズを2L判にして印刷設定データを生成する。これにより、印刷設定データによって高齢者に見やすい撮影画像をプリントアウトすることができる。
【0085】
ステップ113:CPU31は、通常の印刷のサイズで印刷設定データを生成する。例えば、標準の印刷のサイズがL判である場合、CPU31は印刷のサイズをL判にして印刷設定データを生成する。以上で第1実施形態の電子カメラの撮影動作の説明を終了する。
【0086】
(第2実施形態の説明)
図3は第2実施形態における電子カメラの撮影動作の一例を説明する流れ図である。第2実施形態では、人物の年齢および性別の推論機能と顔認識機能とをオンに設定して登録人物の認識を行う場合である。
【0087】
ここで、第2実施形態の電子カメラの基本構成は第1実施形態と共通であるので重複説明は省略する。また、図3のS201、S202は第1実施形態のS101、S102にそれぞれ対応するので重複説明を省略する。
【0088】
ステップ203:CPU31は、S202の顔検出処理で顔領域を検出したか否かを判定する。顔領域を検出した場合(YES側)にはS204に移行する。一方、顔領域を検出していない場合(NO側)にはS208に移行する。
【0089】
ステップ204:CPU31の顔認識部31cは、S202の顔検出処理で取得した特徴点のデータと、第2メモリ32の顔認識データとに基づいて、上記の顔領域のうちから認識対象となる登録人物の顔を検出する顔認識処理を実行する。
【0090】
ここで、S204の顔認識処理では、CPU31は第2メモリ32の特性データに基づいて顔認識処理の判定基準の閾値を登録人物ごとに補正する。例えば、特性データの性別が女性である登録人物については、CPU31は判定基準の閾値を低く補正して顔領域の人物を登録人物として判断する可能性を高くする。女性の場合には、化粧やヘアスタイルの変化などで顔認識の正解率が低くなる可能性があるからである。また、特性データが眼鏡の着用を示す登録人物については、CPU31は判定基準の閾値を低く補正して顔領域の人物を登録人物として判断する可能性を高くする。眼鏡を着用する人物の場合には、眼鏡の有無や眼鏡の変更などで顔認識の正解率が低くなる可能性があるからである。
【0091】
ステップ205:CPU31は、S204の顔認識処理で登録人物の顔を検出したか否かを判定する。登録人物の顔を検出した場合(YES側)にはS206に移行する。一方、登録人物の顔を検出していない場合(NO側)にはS208に移行する。
【0092】
ステップ206:CPU31の推論部31dは、S204で登録人物と認められた顔領域に対して被写体の性別、人種、年齢を推定する推論処理を実行する。一例として、CPU31は、被写体の性別、人種、年齢のそれぞれのカテゴリについて複数のクラスを設定して、各クラス毎の尤度を求める。そして、CPU31は最も尤度の高いクラスに基づいて被写体の性別、人種、年齢を推定する。
【0093】
ステップ207:CPU31は、第2メモリ32の特性データと、S206で推定された性別、人種、年齢とが一致するか否かを判定する。例えば、CPU31は、被写体の性別、人種、年齢について、S206の推定結果と特性データとの一致度を示す評価値を演算する。そして、この評価値が閾値以上の場合にはS204の顔領域が登録人物に一致するものと判定する。両者が一致する場合(YES側)にはS209に移行する。一方、両者が一致しない場合(NO側)にはS208に移行する。
【0094】
ステップ208:この場合には、CPU31は通常の撮影モードで被写体を撮影する。通常の撮影モードでは、レリーズ釦の半押しに応じてCPU31はAFを行うとともに、AEを実行して撮影条件を設定する。その後、レリーズ釦の全押しに応じてCPU31は被写体を撮影し、画像処理部20が撮影画像のデータを生成する。そして、CPU31は撮影画像のデータを記録媒体34に記録する。なお、S202で顔領域が検出されている場合には、CPU31のAF制御部31aは検出した顔領域を焦点検出エリアとしてAFを実行するのが好ましい。
【0095】
ステップ209:この場合には、CPU31は登録人物の撮影モードに移行して被写体を撮影する。この登録人物の撮影モードでは、CPU31はS208の通常の撮影モードとほぼ同じ流れで撮影を行うが、CPU31はS204で検出した登録人物の特性データを第2メモリ32から読み出して、その特性データに基づいて以下の(1)から(4)のいずれかの制御を実行する点で相違する。
【0096】
(1)CPU31は撮影の合図を示すかけ声を撮影時にスピーカー28から出力する。ここで、CPU31は上記のかけ声を登録人物の特性データに基づいて変化させる。具体的には、CPU31は、特性データの登録人物の出身地/言語に基づいて第2メモリ32の音声データから再生する音声データを選択する。例えば、特性データにおける言語が英語を示す場合には、CPU31は英語のかけ声の音声データを再生する。また、1つの言語に複数の方言が設定されている場合には、CPU31は特性データの登録人物の出身地に基づいて出身地に対応する方言の音声データを再生するようにしてもよい。これにより、主要被写体である登録人物に対して撮影の合図を分かり易く伝達することができる。
【0097】
(2)CPU31は、画像処理部20に対して撮影日を表示する指示を行う。画像処理部20は、タイマ31eから取得した年月日を撮影画像の所定の位置に合成する。ここで、CPU31は、登録人物の特性データに基づいて年月日の表示順を変化させる。例えば、特性データの登録人物の言語が日本語の場合には、CPU31は撮影日を年月日の順に表記する。また、特性データの登録人物の言語が英語の場合には、CPU31は撮影日を日月年または月日年の順に表記する。これにより、主要被写体である登録人物にとって日時が分かり易く表示された撮影画像を提供できる。
【0098】
(3)CPU31は、登録人物の生年月日に基づいて、誕生日から起算した日時を撮影画像に付加する。例えば、CPU31は、画像処理部20に対して、年齢を示す文字(例えば、○×歳、生後×ヶ月など)を撮影画像に合成する画像処理を指示する。あるいは、CPU31は撮影画像のデータに、誕生日から起算した日時のデータを記録するようにしてもよい。これにより、主要被写体である登録人物の成長が容易に把握でき、アルバム編集などに適した撮影画像を提供することができる。
【0099】
(4)CPU31は、画像処理部20に対して付帯表示の合成処理を指示する。そして、画像処理部20は、特性データで登録人物ごとに指定されているキャラクタなどを撮影画像に合成する。なお、画像処理部20は、特性データに基づいて、付帯表示の合成位置を登録人物ごとに変更することもできる。これにより、エンタテイメント性の高い撮影画像をユーザーに提供することができる。
【0100】
なお、S209で撮影画像に撮影日などの文字を合成する場合、画像処理部20は特性データの文字の表示の項目に基づいて、登録人物ごとに文字のフォント、色、サイズ、合成位置を変更する。以上で、第2実施形態の電子カメラの撮影動作の説明を終了する。
【0101】
上記第2実施形態の電子カメラでは、顔領域から検出された特徴量に基づいて顔認識処理を実行するとともに、顔領域から推定される人種、年齢、性別と特性データとを照合して顔認識結果の妥当性をチェックする。そのため、顔認識処理の精度を一層向上させることができる。
【0102】
また、上記第2実施形態では、特性データの性別や眼鏡の有無などの情報に基づいて、顔認識処理の判定基準の閾値を登録人物ごとに補正する。そのため、顔認識処理において登録人物が検出されない可能性を低下させることができる。
【0103】
(実施形態の補足事項)
(1)第2実施形態では、被写体の人種、年齢、性別などを推定する処理を顔認識処理とともに実行する例を説明したが、本発明では被写体の人種などを推定する処理を省略するようにしてもよい。
【0104】
(2)第2実施形態における登録人物の撮影モードでの処理はあくまで一例にすぎない。例えば、登録人物毎の特性データとして撮影時の撮影条件、画像処理の設定、電子メールによる自動の画像送信の設定などを第2メモリ32に記録してもよい。そして、CPU31は、顔認識時には特性データに基づいて撮影条件や画像処理を自動的に設定してもよく、また、撮影後に所定のアドレスに撮影画像のデータを自動送信するようにしてもよい。
【符号の説明】
【0105】
11…撮影レンズ、12…レンズ駆動部、13…絞り、14…絞り駆動部、15…撮像素子、16…アナログ処理部、20…画像処理部、27…マイク、28…スピーカー、29…閃光発光部、30…外光AF部、31…CPU、31a…AF制御部、31b…顔検出部、31c…顔認識部、31d…推論部、31e…タイマ、32…第2メモリ


【特許請求の範囲】
【請求項1】
被写体像を撮影する撮像素子と、
認識対象となる顔の特徴量を示す登録データと、前記認識対象の人物の出身地または使用言語に関する特性データとの対応関係を記録したメモリと、
前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記顔領域に対応する前記特徴量のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
外部に音を出力するスピーカーと、
前記顔認識部の認識結果に基づいて、前記特性データに応じて決定されたかけ声を撮影時に前記スピーカーから出力させる制御部と、
を備えることを特徴とする電子カメラ。
【請求項2】
被写体像を撮影する撮像素子と、
認識対象となる顔の特徴量を示す登録データと、前記認識対象の人物の出身地または使用言語に関する特性データとの対応関係を記録したメモリと、
前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記顔領域に対応する前記特徴量のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
撮影日時を取得するタイマと、
前記顔認識部の認識結果に基づいて、前記撮像素子で撮影された記録用画像に対して、撮影日の表示を合成する画像処理を実行する画像処理部と、
前記特性データに基づいて、前記撮影日の表示順を変更する制御部と、
を備えることを特徴とする電子カメラ。
【請求項3】
被写体像を撮影する撮像素子と、
認識対象となる顔の特徴量を示す登録データと、前記認識対象の人物の性別に関する特性データとの対応関係を記録したメモリと、
前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記顔領域に対応する前記特徴量のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
前記特性データの性別が女性を示す場合には、前記判定において前記顔領域が前記認識対象であるとする基準を緩和する補正を行う制御部と、
を備えることを特徴とする電子カメラ。
【請求項4】
被写体像を撮影する撮像素子と、
認識対象となる顔の特徴量を示す登録データと、前記認識対象の人物の性別に関する特性データとの対応関係を記録したメモリと、
前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記顔領域に対応する前記特徴量のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
前記特性データが眼鏡を着用する人物を示す場合には、前記判定において前記顔領域が前記認識対象であるとする基準を緩和する補正を行う制御部と、
を備えることを特徴とする電子カメラ。
【請求項5】
被写体像を撮影する撮像素子と、
認識対象となる顔の特徴量を示す登録データと、前記認識対象の人物の誕生日に関する特性データとの対応関係を記録したメモリと、
前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記顔領域に対応する前記特徴量のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
撮影日時を取得するタイマと、
前記顔認識部の認識結果に基づいて、前記認識対象を撮影した記録用画像のデータに対して、誕生日から起算した日時に関するデータを付加する制御部と、
を備えることを特徴とする電子カメラ。
【請求項6】
被写体像を撮影する撮像素子と、
キャラクタの画像または文字情報からなる付帯表示のデータを記録するとともに、認識対象となる顔の特徴量を示す登録データと、前記認識対象に対応する前記付帯表示を示す特性データとの対応関係を記録したメモリと、
前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、前記顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記顔領域に対応する前記特徴量のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
前記顔認識部の認識結果に基づいて、前記撮像素子で撮影された記録用画像に対して、前記特性データの示す前記付帯表示を合成する画像処理を実行する画像処理部と、
を備えることを特徴とする電子カメラ。
【請求項7】
被写体像を撮影する撮像素子と、
認識対象となる顔の特徴量を示す登録データと、前記認識対象の人物を撮影したときに画像に合成される文字情報の表示の設定および前記文字情報の合成位置の少なくとも一方に関する特性データとの対応関係を記録したメモリと、
前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記顔領域に対応する前記特徴量のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
前記顔認識部の認識結果に基づいて、前記撮像素子で撮影された記録用画像に対して、前記文字情報を合成する画像処理を実行する画像処理部と、
前記特性データに基づいて、前記文字情報の表示および合成位置の少なくとも一方を前記認識対象に応じて変更する制御部と、
を備えることを特徴とする電子カメラ。
【請求項8】
被写体像を撮影する撮像素子と、
前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、前記顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記特徴量に基づいて被写体の年齢、性別のいずれかに関する推論処理を実行する推論部と、
キャラクタの画像または文字情報からなる付帯表示のデータを記録するメモリと、
前記推論部の推論結果に基づいて、前記撮像素子で撮影された記録用画像に対して、前記付帯表示を合成する画像処理を実行する画像処理部と、
を備えることを特徴とする電子カメラ。
【請求項9】
被写体像を撮影する撮像素子と、
前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、前記顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記特徴量に基づいて被写体の年齢に関する推論処理を実行する推論部と、
前記推論部の推論結果に基づいて、前記撮像素子で撮影された記録用画像の印刷を行うための印刷データを生成する制御部と、
を備えることを特徴とする電子カメラ。
【請求項10】
被写体像を撮影する撮像素子と、
認識対象となる顔の特徴量を示す登録データと、前記認識対象の人物の性別、人種、年齢のいずれかに関する特性データとの対応関係を記録したメモリと、
前記撮像素子の出力に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴量を抽出する顔検出部と、
前記特徴量に基づいて被写体の年齢、性別のいずれかに関する推論処理を実行する推論部と、
前記顔領域に対応する前記特徴量のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する第1顔認識部と、
前記推論部の推論結果と前記特性データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する第2顔認識部と、
を備えることを特徴とする電子カメラ。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2012−209947(P2012−209947A)
【公開日】平成24年10月25日(2012.10.25)
【国際特許分類】
【出願番号】特願2012−110345(P2012−110345)
【出願日】平成24年5月14日(2012.5.14)
【分割の表示】特願2006−109006(P2006−109006)の分割
【原出願日】平成18年4月11日(2006.4.11)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】