画像向き判定装置、画像向き判定方法、及びプログラム、並びに記録媒体
【課題】ユーザーの意図する向きで画像を表示する。
【解決手段】顔画像領域検出回路は、取り込んだデジタルの画像データから顔画像領域を検出する。画像向き判定手段３０は、登録画像判定部３５、目つぶり判定部３６、年齢判定部３７、表情判定部３８、顔画像サイズ判定部３９、及び顔画像向き判定部４０を備え、検出した顔画像が事前に登録されているか、目つぶりの顔画像でないか、顔画像の年齢が月齢六ヶ月以上か、及び怒り顔の顔画像かの条件のうちの少なくともいずれか１つの条件と、顔画像のサイズ又は向きとの条件を組み合わせて画像データの向きを判定する。
【解決手段】顔画像領域検出回路は、取り込んだデジタルの画像データから顔画像領域を検出する。画像向き判定手段３０は、登録画像判定部３５、目つぶり判定部３６、年齢判定部３７、表情判定部３８、顔画像サイズ判定部３９、及び顔画像向き判定部４０を備え、検出した顔画像が事前に登録されているか、目つぶりの顔画像でないか、顔画像の年齢が月齢六ヶ月以上か、及び怒り顔の顔画像かの条件のうちの少なくともいずれか１つの条件と、顔画像のサイズ又は向きとの条件を組み合わせて画像データの向きを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの縦横の向きを判定する画像向き判定装置、画像向き判定方法、及びプログラム、並びに電子カメラに関する。
【背景技術】
【０００２】
従来、撮像画像から顔画像領域と、その顔画像に対応する手足画像とを抽出し、これらの位置関係に基づいて撮像画像の縦横の向きを判定する画像の向き判定方法が知られている（特許文献１）。
【０００３】
また、撮像画像から顔画像領域を検出し、検出した顔画像の方向（被写体の向き）を検出し、検出した顔画像の方向に基づいて撮像画像の縦横方向を判別する画像処理方法が提案されている（特許文献２）。
【０００４】
撮像画像データに含まれる人物の顔画像領域を検出し、撮像画像データが表す平面に対する垂直方向を回転軸としたときの顔画像領域の角度であるロール顔角度に基づいて、各顔画像領域の縦横方向をそれぞれ判別し、各顔画像領域の縦又は横方向であるかの判別結果に基づいて多数決的に撮像画像データの縦横方向を判別するデジタルカメラが提案されている（特許文献３）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−１３８０２４号公報
【特許文献２】特開２００６−１０９１７５号公報
【特許文献３】特開２００８−２７７９０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述した公報記載の発明では、基本的に顔画像の向きや大きさ、手足との位置関係等に基づいて画像データの縦・横の向きを判定しているため、構図によってはユーザーの意図しない向きを判定するおそれがある。
【０００７】
本発明は、かかる点に鑑みてなされたものであり、ユーザーの意図する向きと無関係な向きに画像を回転して表示することを防ぐようにした画像向き判定装置、画像向き判定方法、及びプログラム、並びに記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像向き判定装置では、人物の顔の向き、又は大きさに、顔から判断される年齢、表情、顔が事前に登録されているかの登録情報、画像のアスペクト比の情報、動画撮影又は連写撮影から得られた画像であるかの撮影情報、及びレンズの制御情報とのうちの少なくとも１つを組み合わせて画像の向きを判定する判定手段を備えたものである。判定手段としては、人物の顔が写っている画像が一つの場合で、かつ年齢、又は表情が特定の場合には、横向きと判定するようにしてもよい。年齢や表情は、目や口の配置などから判断するのが望ましい。
【０００９】
また、本発明としては、画像向き判定方法としてもよい。さらに本発明は、画像向き判定方法を実行させるコンピュータが読み取り可能なプログラム、並びにコンピュータが読み取り可能なプログラムを記録した記録媒体の発明としてもよい。
【発明の効果】
【００１０】
本発明によれば、人物の顔の向き、又は大きさに加えて、顔から判断される年齢、表情、及び顔が事前に登録されているかの登録情報、画像のアスペクト比の情報、動画撮影又は連写撮影から得られた画像であるかの撮影情報、及びレンズの制御情報とのうちの少なくとも１つを組み合わせて画像の向きを判定するため、ユーザーの意図する向きで画像を表示することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の画像向き判定部を使用した電子カメラの概略を示すブロック図である。
【図２】画像向き判定部の概略を示すブロック図である。
【図３】画像向き判定部の判定手順を示すフローチャートである。
【図４】顔画像が複数有る場合の縦横判定の手順を示すフローチャートである。
【図５】顔画像が１個の場合の縦横判定の手順を示すフローチャートである。
【図６】第２実施形態の画像向き判定部の概略を示すブロック図である。
【図７】図６で説明した画像向き判定部の判定手順を示すフローチャートである。
【図８】第３実施形態のパーソナルコンピュータの概略を示すブロック図である。
【図９】図８で説明したパーソナルコンピュータで実行される画像向き判定プログラムの手順を示すフローチャートである。
【発明を実施するための形態】
【００１２】
＜第１実施形態＞
本発明の画像向き判定装置を用いた電子カメラ１０は、図１に示すように、ＣＰＵ１１を備えている。ＣＰＵ１１には、不揮発性メモリ１２、及びバッファメモリ１３が接続されており、不揮発性メモリ１２には、ＣＰＵ１１が種々の制御を行う際に参照される制御プログラムなどが格納されている。ＣＰＵ１１は、不揮発性メモリ１２に格納されている制御プログラムに従い、バッファメモリ１３を一時記憶作業領域として利用して各部（回路）の制御を行い、電子カメラ１０の各部（回路）の機能を作動させる。
【００１３】
撮影レンズ１４から入射する被写体光は、ＣＣＤやＣＭＯＳ等の撮像素子１５の撮像面に結像する。撮像素子駆動回路１６は、ＣＰＵ１１からの制御信号に基づいて撮像素子１５を駆動させる。これにより、撮像素子１５の撮像面に結像した被写体像は、アナログの撮像信号に変換されて、ＡＦＥ（Analog Front End）回路を構成するＣＤＳ１７、及びＡＭＰ１８に順に出力される。変換された撮像信号は、ＡＦＥ回路で所定のアナログ処理が施され、Ａ／Ｄ（Analog/Digital変換器）１９においてデジタル信号に変換される。
【００１４】
ＡＳＩＣ（Application Specific Integrated Circuit）２０は、画像処理回路を構成しており、Ａ／Ｄ１９でデジタル信号に変換された撮像信号を入力し、この撮像信号に対して、ホワイトバランス処理やガンマ補正等の画像処理を施す。画像処理を施した画像データは、ＳＤＲＡＭ２１にいったん記憶される。
【００１５】
ＳＤＲＡＭ２１に記憶した画像データは、ＣＰＵ１１の制御により読み出されてＹＣ変換処理回路２２で輝度信号Ｙと色差信号Ｃｒ，Ｃｂとに変換され、その後、圧縮伸長回路２３で圧縮処理が施される。ＣＰＵ１１は、圧縮した画像データに画像の向き等のタグ情報（撮影情報）を付与して作成した圧縮ファイルを、メディアコントローラ２４を介してメモリカード２５に記録する。なお、符号２６は、ＣＰＵ１１と各部（回路）とを繋ぐバスである。
【００１６】
バス２６には、表示制御部２７、ＡＥ・ＡＦ検出回路２８、顔画像領域検出回路２９、及び画像向き判定部３０が接続されている。表示制御部２７は、ＶＲＡＭを有し、ボディ背面に設けたＬＣＤ表示部３１に文字や画像を表示するのを制御する。スルー画像をＬＣＤ表示部３１に表示する場合、ＣＰＵ１１は、画像データを読み出してＹＣ変換処理回路２２で輝度信号Ｙと色差信号Ｃｒ，Ｃｂとに変換し、変換した画像データを表示制御部２７のＶＲＡＭに送ってここで展開する。表示制御部２７は、展開した画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換してＬＣＤ表示部３１に出力する。
【００１７】
ＡＥ・ＡＦ検出回路２８は、ＳＤＲＡＭ２１に取り込んだ画像データに基づいて明暗差（コントラスト）を検出し、検出結果をＣＰＵ１１に送る。ＣＰＵ１１は、ＡＥ・ＡＦ検出回路２８から得られる明暗差（コントラスト）を確認しながらレンズ駆動部３２を、明暗差が大きくなる合焦位置に撮影レンズ１４が移動するよう制御する。
【００１８】
また、ＣＰＵ１１は、ＡＥ・ＡＦ検出回路２８で検出した被写体輝度に基づいてその時点で設定されているＩＳＯ感度に対する絞り値とシャッタスピードを算出し、算出した値に基づいて、電子シャッタや電子アイリスを制御する。なお、絞り兼用のレンズシャッタを設けて機械的にシャッタ及び絞りを制御してもよい。
【００１９】
顔画像領域検出回路２９は、ＳＤＲＡＭ２１に記憶した画像データの中から複数の顔画像領域を検出する。検出した顔画像のデータは、ＳＤＲＡＭ２１に一時的に記憶される。なお、ＣＰＵ１１には、レリーズボタン３３、電源スイッチ３４等の操作部が接続されている。
【００２０】
画像向き判定部３０は、図２に示すように、登録顔画像判定部３５、目つぶり判定部３６、年齢判定部３７、表情判定部３８、顔画像サイズ判定部３９、及び顔画像向き判定部４０で構成されている。
【００２１】
登録顔画像判定部は、事前に登録済みの顔画像は主要被写体の可能性が大きいため、顔画像領域検出回路２９で検出した顔画像から目立つ特徴、例えば、顔の部品の相対位置や大きさ、目や鼻やほお骨やあごの形等を抽出し、予めＤＢ４１に登録した登録済みの顔画像の特徴と比較することで、その時点で撮像した画像データに写る顔画像が事前に登録済みの顔画像かを判定する。
【００２２】
目つぶり判定部３６は、目をつぶっている人は寝ている可能性が大きく、よって横画像の可能性が高いため、顔画像から目の特徴点（目の中央や目尻、目頭など）を検出し、検出した目の特徴点を解析して目つぶりでない顔画像かを判定する。なお、顔画像から瞳領域を検出し、検出した瞳領域の面積から目つぶりの度合に基づいて判定してもよい。
【００２３】
年齢判定部３７は、乳児の場合寝ている可能性が大きいため、予めＤＢ４１に事前に登録した乳児用のテンプレートマッチングにより、例えば月齢６ヶ月以下の年齢の顔画像か否かを判定する。
【００２４】
表情判定部３８は、怒っている人が直立している可能性が大きいため、顔画像から抽出した前記特長点に基づいて怒り顔かを判定する。
【００２５】
顔画像サイズ判定部３９は、顔画像のサイズを判定する。顔画像向き判定部４０は、顔画像のうち肌色領域の範囲に対する目、口などの部品の位置に基づいて顔画像の向きを判定する。
【００２６】
画像向き判定部３０は、検出した顔画像に対して、前述した各判定部３５〜４０での判定により、事前に登録済みか、目つぶりでないか、月齢６ヶ月以上の顔画像か、及び怒り顔かのうちの少なくともいずれか１つの判定結果と、顔画像のサイズ又は顔画像の向き、あるいは両方の判定結果とに基づいて画像データの向きを判定する。
【００２７】
次に上記構成の作用を、図３を参照しながら説明する。電子カメラの電源スイッチ３４をオンすると、撮像素子１５が駆動して、撮像素子１５から取り込んだデジタルの画像データがＳＤＲＡＭ２１に取り込まれる。ＣＰＵ１１は、ＳＤＲＡＭ２１から読み込んだ画像データを顔画像領域検出回路２９に送り、顔画像領域検出回路２９を制御して画像データの中から顔画像領域を検出する（Ｓ−１）。ここで、ＣＰＵ１１は、顔画像領域検出回路２９で顔画像領域が検出されるか否かを判断する（Ｓ−２）。検出されない場合には、画像データが横画像の向きであると判定する（Ｓ−３）。検出した場合には、検出した顔画像が複数か単数かを判定する（Ｓ−４）。複数検出している場合には、顔画像が複数ある場合の縦横判定処理に移行する（Ｓ−５）。単数検出の場合には、顔画像が１個の場合の縦横判定処理に移行する（Ｓ−６）。なお、顔画像領域検出回路２９で検出した顔画像領域の画像データは、ＳＤＲＡＭ２１に記憶される。
【００２８】
顔画像が複数ある場合の縦横判定処理の場合、ＣＰＵ１１は、画像向き判定部３０を制御して、図４に示す手順で判定処理を行う。すなわち、顔画像領域検出回路２９で検出した全部の顔画像を第１判定用顔画像候補とし（Ｓ−７）、登録顔画像判定部３５で、第１判定用顔画像候補とした複数の顔画像が事前に登録した顔画像かを順に判定する（Ｓ−８）。ＣＰＵ１１は、登録顔画像判定部３５で事前に登録したものであると判定した顔画像だけを新たな第２判定用顔画像候補とする（Ｓ−９）。ここで、事前登録した顔画像と判定したものが無かった場合、登録顔画像判定部３５は、事前に登録してないと判定した顔画像を第２判定用顔画像候補とする（Ｓ−１０）。ここでは、事前に登録してないと判定した顔画像は、全検出の顔画像になる。
【００２９】
その後、ＣＰＵ１１は、目つぶり判定部３６を制御して第２判定用顔画像候補の顔画像に対して目つぶりでない顔画像かを判定する（Ｓ−１１）。ＣＰＵ１１は、目つぶり判定部３６で目つぶりでない顔画像であると判定した顔画像を第３判定用顔画像候補とする（Ｓ―１２）。なお、第２判定用顔画像候補の全てが目つぶりの顔画像であると判定した場合、目つぶり判定部３６は、目つぶりの顔画像を第３判定用顔画像候補とする（Ｓ−１３）。
【００３０】
その後、ＣＰＵ１１は、年齢判定部３７を制御して第３判定用顔画像候補の顔画像のうちの月齢６ヶ月以上の年齢の顔画像であるかを判定する（Ｓ−１４）。ＣＰＵ１１は、年齢判定部３７で月齢６ヶ月以上の年齢のものであると判定した顔画像を第４判定用顔画像候補とする（Ｓ−１５）。なお、第３判定用顔画像候補の全てが月齢６ヶ月未満の顔画像であると判定した場合、年齢判定部３７は、月齢６ヶ月未満の顔画像を第４判定用顔画像候補とする（Ｓ−１６）。
【００３１】
その後、ＣＰＵ１１は、表情判定部３８を制御して第４判定用顔画像候補の顔画像のうち怒り顔かを判定する（Ｓ−１７）。ＣＰＵ１１は、表情判定部３８で怒り顔であると判定した顔画像を第５判定用顔画像候補とする（Ｓ−１８）
）。なお、第４判定用顔画像候補の全てが怒っていない顔画像であると判定した場合、表情判定部３８は、怒っていない顔画像を第５判定用顔画像候補とする（Ｓ−１９）。
【００３２】
その後、ＣＰＵ１１は、顔画像サイズ判定部３９を制御して、第５判定用顔画像候補の顔画像のサイズ（高さ方向の長さ）を調べ、サイズの最も大きい顔画像を判定用顔画像とする（Ｓ−２０）。
【００３３】
最後にＣＰＵ１１は、顔画像向き判定部４０を制御して、判定用顔画像の向きを判定し（Ｓ−２１）、縦向きの顔画像である場合には、その時点に取り込んだ画像データが縦画像であると判定する（Ｓ−２２）。そして、判定用顔画像の向きが横向きの画像である場合には、横画像であると判定する（Ｓ−２３）。このように複数の顔画像を検出した時には、前述した複数の判定条件をクリアした顔画像だけに対して、顔画像のサイズや顔画像の向きに基づいて画像の向きを判定する。
【００３４】
次に、顔画像が１個の場合の縦横判定処理について、図５を参照しながら説明する。ＣＰＵ１１は、年齢判定部３７を制御して、検出した１つの顔画像が月齢６ヶ月以上の年齢の顔画像であるかを判定する（Ｓ−２４）。月齢６ヶ月以上の年齢の顔画像でない場合には、その画像データが横画像であると判定する（Ｓ−２５）。月齢６ヶ月以上の年齢の顔画像であると判定した場合、ＣＰＵ１１は、目つぶり判定部３６を制御して、目つぶり判定部３６で目つぶりの顔画像であるかを判定する（Ｓ−２６）。目つぶりの顔画像であると判定した場合には、画像データが横画像であると判定する（Ｓ−２５）。目つぶりでない顔画像であると判定した場合には、ＣＰＵ１１は、顔画像向き判定部４０を制御して、顔画像向き判定部４０で顔画像の向きを判定する（Ｓ−２７）。縦向きの顔画像であると判定した場合には、その顔画像を含む画像データが縦画像であると判定する（Ｓ−２８）。そして、横向きの顔画像であると判定した場合には、画像データが横画像であると判定する（Ｓ−２５）。
【００３５】
撮影を行う場合には、レリーズボタン３３を半押し操作する。これに応答してＣＰＵ１１は、ＡＥ・ＡＦ検出回路２８を制御して細かいピント調節を行う等の撮影準備動作を行う。そして、レリーズボタン３３の全押し操作に応答して、ＣＰＵ１１は、その時点にＳＤＲＡＭ２１に記憶されている画像データを読み出してＹＣ変換処理回路２２で輝度信号Ｙと色差信号Ｃｒ，Ｃｂとに変換し、その後、圧縮伸長回路２３で圧縮処理を施して圧縮画像データを作る。一方、ＣＰＵ１１は、前述したように画像向き判定部３０を制御して画像データの画像の向きを判定する。ＣＰＵ１１は、判定した画像の向きをタグ情報として圧縮画像データに付与して圧縮ファイルを作成し、作成した圧縮ファイルを、メディアコントローラ２４を介してメモリカード２５に記録する。
【００３６】
なお、画像データの向き判定は、レリーズボタン３３の全押し操作に応答して、すなわち画像データを記録する時だけ行うようにするのが望ましい。
＜第２実施形態＞
上記第１実施形態では、電子カメラ１０で撮像した画像データに対して画像の向きを判定しているが、この第２実施形態では、メモリカード２５等の記録媒体に記録した画像データをＬＣＤ表示部３１に再生する時の画像の向きを判定する。
【００３７】
この場合、画像向き判定部４４には、図６に示すように、図２で説明した各判定部３５〜４０に加えて、タグ情報判定部４５を備える。
【００３８】
タグ情報判定部４５は、画像データに付与されているタグ情報を読み取り、例えば前の画像の撮影日時を比較して連写撮影のものか、また、画像データのアスペクト比、さらに、動画撮影中の静止画か等の複数の条件に基づいて各々判定する。直前に向きを判定した画像に対して撮影日時の間隔が予め決めた閾値よりも近い場合、電子カメラ１０の姿勢を変更した可能性の低い連写撮影と見なし、顔画像のサイズや向きによる判定を行わず、直前の画像データと同じ向きであると判定する。アスペクト比の判定は、画像データが例えば１６：９や１：１のアスペクト比の場合、電子カメラ１０を縦姿勢にして撮影をした可能性が低いため、横画像であると判定する。さらに動画撮影中に取得した静止画像データの場合には、電子カメラ１０を縦姿勢にして撮影をした可能性が低いため、横画像であると判定する。
【００３９】
また、タグ情報判定部４５は、タグ情報に記載のレンズ情報を読み出し、読み出したレンズ情報に基づいて電子カメラ１０の姿勢（画像の向き）を判定する。レンズ情報は、撮影時の手振れ補正機構やレンズ移動制御機構に用いるアクチュエータへの通電状態の情報がタグ情報として画像データに記録されている。そこで、レンズ情報に基づいて撮影時の電子カメラ１０の姿勢を判定する。アクチュエータとしては、ＶＣＭ（ボイスコイルモータ）等がある。ＶＣＭを用いる場合は、常時給電のアクチュエータの制御状態、詳しくはレンズを駆動する際の負荷に基づいて、被写体像における重力方向を検出する検出手段により電子カメラ１０の撮影時の姿勢を推測することができる。
【００４０】
電子カメラ１０には、モード変更操作部と再生ファイル選択操作部とが設けられており、これら操作部を操作して撮影モードから再生モードに変更し、再生するファイルを選択する。これにより、ＣＰＵ１１は、メモリカード２５から選択したファイルを読み出し、圧縮伸張回路２３で伸張した後に、伸張した再生画像データをＳＤＲＡＭ２１に記憶する。
【００４１】
その後、ＣＰＵ１１は、画像向き判定部４４を制御して、記憶した画像データに基づいて画像向き判定の処理を行う。この処理は、まず、タグ情報判定部４５を制御して、図７に示すように、再生画像データのタグ情報のうちの撮影日時を読み取る。ＣＰＵ１１は、直前に判定した再生画像データの撮影日時をバッファメモリ１３に記憶しており、互いの撮影日時を比較することで、連写撮影の２コマ目以降の画像でないかを判定する（Ｓ−２９）。２コマ目以降の画像であると判定した場合には、直前に判定した前の再生画像データのタグ情報を読み出し、縦画像の情報が記載されているかを調べ（Ｓ−３０）、横画像の情報が記載されている場合には横画像であると判定し（Ｓ−３１）、また、縦画像の情報が記載されている場合には、顔情報による縦横判定処理（Ｓ−３２）を行う。
【００４２】
顔情報による縦横判定処理は、図３で説明したと同じ処理を行って縦横の判定を行う（Ｓ−３３）。つまり、ＣＰＵ１１は、再生画像データを読み出して顔画像領域検出回路２９に送る。ＣＰＵ１１は、顔画像領域検出回路２９を制御して、再生画像データから顔画像領域を検出する。検出した顔画像のデータは、ＳＤＲＡＭ２１に記憶される。その後、複数の顔画像を検出した場合には、図４で説明したように、事前に登録済みか、目つぶりでないか、月齢６ヶ月以上の年齢か、怒り顔かの条件を順番に判定し、判定した結果、縦画像と判定された顔画像のものに対して、顔画像のサイズ、及び顔画像の向きとの条件を順に判定し、その結果に基づいて画像データの向きを判定する。ここで、ＣＰＵ１１は、横向きであると判定した顔画像を含む再生画像データは、横向きであると判定する（Ｓ−３１）。
【００４３】
縦向きであると判定した画像データに対しては、ＣＰＵ１１は、タグ情報判定部４５を制御して、再生画像データのタグ情報からアスペクト比の情報を読み出し、読み出したアスペクト比が１６：９又は１：１であるかに基づいて判定する（Ｓ−３４）。ここで、アスペクト比が１６：９又は１：１であると判定した場合には、その再生画像データが横画像であると判定する（Ｓ−３１）。アスペクト比が１６：９又は１：１以外であると判定した再生画像データの場合には、ＣＰＵ１１は、タグ情報判定部４５を制御して、再生画像データのタグ情報から動画撮影中に取得した静止画像データであるかを判定する（Ｓ−３５）。
【００４４】
動画撮影中の静止画像データであると判定した場合には、その再生画像データが横画像であると判定する（Ｓ−３１）。動画撮影中の静止画像データでないと判定した場合には、ＣＰＵ１１は、タグ情報判定部４５を制御して、タグ情報からレンズ情報を読み出し、撮影時の電子カメラ１０の姿勢を判定する（Ｓ−３６）。ここで電子カメラ１０が横姿勢で撮影をしたと判定した場合には、その再生画像データが横画像であると判定し（Ｓ−３１）、また、縦姿勢で撮影をしたと判定した場合には、再生画像データが縦画像であると判定する（Ｓ−３７）。これにより、再生画像データのタグ情報に記録するための、縦又は横の向き情報のタグが決定される（Ｓ−３８）。
＜第３実施形態＞
上記各実施形態では、電子カメラ１０に設けた画像向き判定部３０，４４について説明しているが、図８に示すように、パーソナルコンピュータ５０で画像向き判定用のプログラムを実行し、ハードディスク５１やメモリカード５２等の記憶部から読み込んだ画像データを、表示制御部４９を介してモニタ５３に表示する時に、画像の向きを判定するように構成してもよい。
【００４５】
なお、画像向き判定用のプログラムは、画像処理用や画像閲覧用のアプリケーションに組み込んだ構成のものでもよい。この場合、前記アプリケーションを記録した記録媒体を記録媒体読取りドライブにセットしてハードディスク５１等にインストールしておけばよい。
【００４６】
画像向き判定用のプログラムを実行すると、ＣＰＵ５４は、画像向き判定部５５を生成する。画像向き判定部５５は、図６で説明したと同じ構成、すなわち図２で説明した各判定部３５〜４０に加えて、タグ情報判定部、及び顔画像領域検出部を備える。
【００４７】
操作部５６から画像ファイルの読み込み指示を受け付けると、ＣＰＵ５４は、ハードディスク５１、又はメモリカード５２からＩ／Ｆ５７又はメディアコントローラ５８を介して再生用の画像データを読み出し、バス６０を介してＳＤＲＡＭ５９に格納する。その後、ＣＰＵ５４は、タグ情報判定部４５を制御して、図９に示すように、ＳＤＲＡＭ５９に格納した再生用の画像データに記載のタグ情報を読み出し、タグ情報に縦画像である旨の向き又は回転情報が記載されているかを調べる（Ｓ−３９）。縦画像と記載されている場合には、縦画像であると判定する（Ｓ−４０）。縦画像であると記載されていない場合には、顔情報による縦横判定処理（Ｓ−４１）を行う。
【００４８】
顔情報による縦横判定処理は、図３で説明したと同じ処理を行って縦横の判定を行う（Ｓ−４２）。つまり、ＣＰＵ５４は、顔画像領域検出回路２９を制御してＳＤＲＡＭ５９から読み出した再生用の画像データから顔画像領域を検出する。検出した顔画像のデータは、バッファメモリ６１に記憶しておく。その後、複数の顔画像を検出した場合には、図４で説明したように、事前に登録済みか、目つぶりでないか、月齢６ヶ月以上の年齢か、怒り顔か等の条件を順番に判定し、判定した結果、縦画像と判定された顔画像に対して、顔画像のサイズ、及び顔画像の向きとの条件を順に判定し、その結果に基づいて画像の向きを判定する。ここで、ＣＰＵ５４は、横向きであると判定した顔画像を含む再生用の画像データを横画像であると判定する（Ｓ−４３）。
【００４９】
縦向きであると判定した再生用の画像データに対しては、ＣＰＵ５４は、タグ情報判定部４５を制御して、再生用の画像データのタグ情報からアスペクト比の情報を読み出し、読み出したアスペクト比が１６：９又は１：１かを判定する（Ｓ−４４）。ここで、アスペクト比が１６：９又は１：１であると判定した場合には、再生用の画像データが横画像であると判定する（Ｓ−４３）。アスペクト比が１６：９又は１：１以外であると判定した場合には、ＣＰＵ５４は、タグ情報判定部４５を制御して、再生用の画像データのタグ情報からメーカーノート情報を読み出し、その情報を読み取ることができるかを調べる（Ｓ−４５）。
【００５０】
ここで、メーカーノート情報は、メーカー独自で決めたフォーマットで記載した撮影に関する情報である。ＣＰＵ５４は、メーカーノート情報を読み取ることが不可（使用不可）の場合には、その再生用の画像データが縦画像であると判断する（Ｓ−４０）。読み取ることが可能（使用可能）である場合には、ＣＰＵ５４は、タグ情報判定部４５を制御して、その再生用の画像データが動画撮影中に取得した静止画像データであるかを判定する（Ｓ−４６）。
【００５１】
動画撮影中の静止画像データであると判定した場合には、横画像であると判定する（Ｓ−４３）。動画撮影中の静止画像データでないと判定した場合には、ＣＰＵ５４は、タグ情報判定部４５を制御して、タグ情報からレンズ情報を読み出し、撮影時のカメラの姿勢を判定する（Ｓ−４７）。ここでカメラが横姿勢で撮影をしたと判定した場合には、横画像であると判定し（Ｓ−４３）、また、縦姿勢で撮影をしたと判定した場合には、再生画像データが縦画像であると判定する（Ｓ−４０）。これにより、ＣＰＵ５４は、最終的に判定した縦横の向きで表示されるように、再生用の画像データを回転してモニタ５３に表示する。
【００５２】
上記各実施形態では、人物の顔の向き、又は大きさに、顔から判断される年齢、表情、及び顔が事前に登録されているかの登録情報、あるいは、これらに画像のアスペクト比の情報、動画撮影又は連写撮影から得られた画像であるかの撮影情報、及びレンズの制御情報を組み合わせて画像の向きを判定しているが、本発明ではこれに限らず、これの条件のうちの少なくともいずれか１つと、人物の顔の向き、又は大きさとを組み合わせて画像の向きを判定してもよい。
【符号の説明】
【００５３】
１０ 電子カメラ
２９ 顔画像領域検出回路
３０，４４ 画像向き判定部
【技術分野】
【０００１】
本発明は、画像データの縦横の向きを判定する画像向き判定装置、画像向き判定方法、及びプログラム、並びに電子カメラに関する。
【背景技術】
【０００２】
従来、撮像画像から顔画像領域と、その顔画像に対応する手足画像とを抽出し、これらの位置関係に基づいて撮像画像の縦横の向きを判定する画像の向き判定方法が知られている（特許文献１）。
【０００３】
また、撮像画像から顔画像領域を検出し、検出した顔画像の方向（被写体の向き）を検出し、検出した顔画像の方向に基づいて撮像画像の縦横方向を判別する画像処理方法が提案されている（特許文献２）。
【０００４】
撮像画像データに含まれる人物の顔画像領域を検出し、撮像画像データが表す平面に対する垂直方向を回転軸としたときの顔画像領域の角度であるロール顔角度に基づいて、各顔画像領域の縦横方向をそれぞれ判別し、各顔画像領域の縦又は横方向であるかの判別結果に基づいて多数決的に撮像画像データの縦横方向を判別するデジタルカメラが提案されている（特許文献３）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−１３８０２４号公報
【特許文献２】特開２００６−１０９１７５号公報
【特許文献３】特開２００８−２７７９０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述した公報記載の発明では、基本的に顔画像の向きや大きさ、手足との位置関係等に基づいて画像データの縦・横の向きを判定しているため、構図によってはユーザーの意図しない向きを判定するおそれがある。
【０００７】
本発明は、かかる点に鑑みてなされたものであり、ユーザーの意図する向きと無関係な向きに画像を回転して表示することを防ぐようにした画像向き判定装置、画像向き判定方法、及びプログラム、並びに記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像向き判定装置では、人物の顔の向き、又は大きさに、顔から判断される年齢、表情、顔が事前に登録されているかの登録情報、画像のアスペクト比の情報、動画撮影又は連写撮影から得られた画像であるかの撮影情報、及びレンズの制御情報とのうちの少なくとも１つを組み合わせて画像の向きを判定する判定手段を備えたものである。判定手段としては、人物の顔が写っている画像が一つの場合で、かつ年齢、又は表情が特定の場合には、横向きと判定するようにしてもよい。年齢や表情は、目や口の配置などから判断するのが望ましい。
【０００９】
また、本発明としては、画像向き判定方法としてもよい。さらに本発明は、画像向き判定方法を実行させるコンピュータが読み取り可能なプログラム、並びにコンピュータが読み取り可能なプログラムを記録した記録媒体の発明としてもよい。
【発明の効果】
【００１０】
本発明によれば、人物の顔の向き、又は大きさに加えて、顔から判断される年齢、表情、及び顔が事前に登録されているかの登録情報、画像のアスペクト比の情報、動画撮影又は連写撮影から得られた画像であるかの撮影情報、及びレンズの制御情報とのうちの少なくとも１つを組み合わせて画像の向きを判定するため、ユーザーの意図する向きで画像を表示することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の画像向き判定部を使用した電子カメラの概略を示すブロック図である。
【図２】画像向き判定部の概略を示すブロック図である。
【図３】画像向き判定部の判定手順を示すフローチャートである。
【図４】顔画像が複数有る場合の縦横判定の手順を示すフローチャートである。
【図５】顔画像が１個の場合の縦横判定の手順を示すフローチャートである。
【図６】第２実施形態の画像向き判定部の概略を示すブロック図である。
【図７】図６で説明した画像向き判定部の判定手順を示すフローチャートである。
【図８】第３実施形態のパーソナルコンピュータの概略を示すブロック図である。
【図９】図８で説明したパーソナルコンピュータで実行される画像向き判定プログラムの手順を示すフローチャートである。
【発明を実施するための形態】
【００１２】
＜第１実施形態＞
本発明の画像向き判定装置を用いた電子カメラ１０は、図１に示すように、ＣＰＵ１１を備えている。ＣＰＵ１１には、不揮発性メモリ１２、及びバッファメモリ１３が接続されており、不揮発性メモリ１２には、ＣＰＵ１１が種々の制御を行う際に参照される制御プログラムなどが格納されている。ＣＰＵ１１は、不揮発性メモリ１２に格納されている制御プログラムに従い、バッファメモリ１３を一時記憶作業領域として利用して各部（回路）の制御を行い、電子カメラ１０の各部（回路）の機能を作動させる。
【００１３】
撮影レンズ１４から入射する被写体光は、ＣＣＤやＣＭＯＳ等の撮像素子１５の撮像面に結像する。撮像素子駆動回路１６は、ＣＰＵ１１からの制御信号に基づいて撮像素子１５を駆動させる。これにより、撮像素子１５の撮像面に結像した被写体像は、アナログの撮像信号に変換されて、ＡＦＥ（Analog Front End）回路を構成するＣＤＳ１７、及びＡＭＰ１８に順に出力される。変換された撮像信号は、ＡＦＥ回路で所定のアナログ処理が施され、Ａ／Ｄ（Analog/Digital変換器）１９においてデジタル信号に変換される。
【００１４】
ＡＳＩＣ（Application Specific Integrated Circuit）２０は、画像処理回路を構成しており、Ａ／Ｄ１９でデジタル信号に変換された撮像信号を入力し、この撮像信号に対して、ホワイトバランス処理やガンマ補正等の画像処理を施す。画像処理を施した画像データは、ＳＤＲＡＭ２１にいったん記憶される。
【００１５】
ＳＤＲＡＭ２１に記憶した画像データは、ＣＰＵ１１の制御により読み出されてＹＣ変換処理回路２２で輝度信号Ｙと色差信号Ｃｒ，Ｃｂとに変換され、その後、圧縮伸長回路２３で圧縮処理が施される。ＣＰＵ１１は、圧縮した画像データに画像の向き等のタグ情報（撮影情報）を付与して作成した圧縮ファイルを、メディアコントローラ２４を介してメモリカード２５に記録する。なお、符号２６は、ＣＰＵ１１と各部（回路）とを繋ぐバスである。
【００１６】
バス２６には、表示制御部２７、ＡＥ・ＡＦ検出回路２８、顔画像領域検出回路２９、及び画像向き判定部３０が接続されている。表示制御部２７は、ＶＲＡＭを有し、ボディ背面に設けたＬＣＤ表示部３１に文字や画像を表示するのを制御する。スルー画像をＬＣＤ表示部３１に表示する場合、ＣＰＵ１１は、画像データを読み出してＹＣ変換処理回路２２で輝度信号Ｙと色差信号Ｃｒ，Ｃｂとに変換し、変換した画像データを表示制御部２７のＶＲＡＭに送ってここで展開する。表示制御部２７は、展開した画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換してＬＣＤ表示部３１に出力する。
【００１７】
ＡＥ・ＡＦ検出回路２８は、ＳＤＲＡＭ２１に取り込んだ画像データに基づいて明暗差（コントラスト）を検出し、検出結果をＣＰＵ１１に送る。ＣＰＵ１１は、ＡＥ・ＡＦ検出回路２８から得られる明暗差（コントラスト）を確認しながらレンズ駆動部３２を、明暗差が大きくなる合焦位置に撮影レンズ１４が移動するよう制御する。
【００１８】
また、ＣＰＵ１１は、ＡＥ・ＡＦ検出回路２８で検出した被写体輝度に基づいてその時点で設定されているＩＳＯ感度に対する絞り値とシャッタスピードを算出し、算出した値に基づいて、電子シャッタや電子アイリスを制御する。なお、絞り兼用のレンズシャッタを設けて機械的にシャッタ及び絞りを制御してもよい。
【００１９】
顔画像領域検出回路２９は、ＳＤＲＡＭ２１に記憶した画像データの中から複数の顔画像領域を検出する。検出した顔画像のデータは、ＳＤＲＡＭ２１に一時的に記憶される。なお、ＣＰＵ１１には、レリーズボタン３３、電源スイッチ３４等の操作部が接続されている。
【００２０】
画像向き判定部３０は、図２に示すように、登録顔画像判定部３５、目つぶり判定部３６、年齢判定部３７、表情判定部３８、顔画像サイズ判定部３９、及び顔画像向き判定部４０で構成されている。
【００２１】
登録顔画像判定部は、事前に登録済みの顔画像は主要被写体の可能性が大きいため、顔画像領域検出回路２９で検出した顔画像から目立つ特徴、例えば、顔の部品の相対位置や大きさ、目や鼻やほお骨やあごの形等を抽出し、予めＤＢ４１に登録した登録済みの顔画像の特徴と比較することで、その時点で撮像した画像データに写る顔画像が事前に登録済みの顔画像かを判定する。
【００２２】
目つぶり判定部３６は、目をつぶっている人は寝ている可能性が大きく、よって横画像の可能性が高いため、顔画像から目の特徴点（目の中央や目尻、目頭など）を検出し、検出した目の特徴点を解析して目つぶりでない顔画像かを判定する。なお、顔画像から瞳領域を検出し、検出した瞳領域の面積から目つぶりの度合に基づいて判定してもよい。
【００２３】
年齢判定部３７は、乳児の場合寝ている可能性が大きいため、予めＤＢ４１に事前に登録した乳児用のテンプレートマッチングにより、例えば月齢６ヶ月以下の年齢の顔画像か否かを判定する。
【００２４】
表情判定部３８は、怒っている人が直立している可能性が大きいため、顔画像から抽出した前記特長点に基づいて怒り顔かを判定する。
【００２５】
顔画像サイズ判定部３９は、顔画像のサイズを判定する。顔画像向き判定部４０は、顔画像のうち肌色領域の範囲に対する目、口などの部品の位置に基づいて顔画像の向きを判定する。
【００２６】
画像向き判定部３０は、検出した顔画像に対して、前述した各判定部３５〜４０での判定により、事前に登録済みか、目つぶりでないか、月齢６ヶ月以上の顔画像か、及び怒り顔かのうちの少なくともいずれか１つの判定結果と、顔画像のサイズ又は顔画像の向き、あるいは両方の判定結果とに基づいて画像データの向きを判定する。
【００２７】
次に上記構成の作用を、図３を参照しながら説明する。電子カメラの電源スイッチ３４をオンすると、撮像素子１５が駆動して、撮像素子１５から取り込んだデジタルの画像データがＳＤＲＡＭ２１に取り込まれる。ＣＰＵ１１は、ＳＤＲＡＭ２１から読み込んだ画像データを顔画像領域検出回路２９に送り、顔画像領域検出回路２９を制御して画像データの中から顔画像領域を検出する（Ｓ−１）。ここで、ＣＰＵ１１は、顔画像領域検出回路２９で顔画像領域が検出されるか否かを判断する（Ｓ−２）。検出されない場合には、画像データが横画像の向きであると判定する（Ｓ−３）。検出した場合には、検出した顔画像が複数か単数かを判定する（Ｓ−４）。複数検出している場合には、顔画像が複数ある場合の縦横判定処理に移行する（Ｓ−５）。単数検出の場合には、顔画像が１個の場合の縦横判定処理に移行する（Ｓ−６）。なお、顔画像領域検出回路２９で検出した顔画像領域の画像データは、ＳＤＲＡＭ２１に記憶される。
【００２８】
顔画像が複数ある場合の縦横判定処理の場合、ＣＰＵ１１は、画像向き判定部３０を制御して、図４に示す手順で判定処理を行う。すなわち、顔画像領域検出回路２９で検出した全部の顔画像を第１判定用顔画像候補とし（Ｓ−７）、登録顔画像判定部３５で、第１判定用顔画像候補とした複数の顔画像が事前に登録した顔画像かを順に判定する（Ｓ−８）。ＣＰＵ１１は、登録顔画像判定部３５で事前に登録したものであると判定した顔画像だけを新たな第２判定用顔画像候補とする（Ｓ−９）。ここで、事前登録した顔画像と判定したものが無かった場合、登録顔画像判定部３５は、事前に登録してないと判定した顔画像を第２判定用顔画像候補とする（Ｓ−１０）。ここでは、事前に登録してないと判定した顔画像は、全検出の顔画像になる。
【００２９】
その後、ＣＰＵ１１は、目つぶり判定部３６を制御して第２判定用顔画像候補の顔画像に対して目つぶりでない顔画像かを判定する（Ｓ−１１）。ＣＰＵ１１は、目つぶり判定部３６で目つぶりでない顔画像であると判定した顔画像を第３判定用顔画像候補とする（Ｓ―１２）。なお、第２判定用顔画像候補の全てが目つぶりの顔画像であると判定した場合、目つぶり判定部３６は、目つぶりの顔画像を第３判定用顔画像候補とする（Ｓ−１３）。
【００３０】
その後、ＣＰＵ１１は、年齢判定部３７を制御して第３判定用顔画像候補の顔画像のうちの月齢６ヶ月以上の年齢の顔画像であるかを判定する（Ｓ−１４）。ＣＰＵ１１は、年齢判定部３７で月齢６ヶ月以上の年齢のものであると判定した顔画像を第４判定用顔画像候補とする（Ｓ−１５）。なお、第３判定用顔画像候補の全てが月齢６ヶ月未満の顔画像であると判定した場合、年齢判定部３７は、月齢６ヶ月未満の顔画像を第４判定用顔画像候補とする（Ｓ−１６）。
【００３１】
その後、ＣＰＵ１１は、表情判定部３８を制御して第４判定用顔画像候補の顔画像のうち怒り顔かを判定する（Ｓ−１７）。ＣＰＵ１１は、表情判定部３８で怒り顔であると判定した顔画像を第５判定用顔画像候補とする（Ｓ−１８）
）。なお、第４判定用顔画像候補の全てが怒っていない顔画像であると判定した場合、表情判定部３８は、怒っていない顔画像を第５判定用顔画像候補とする（Ｓ−１９）。
【００３２】
その後、ＣＰＵ１１は、顔画像サイズ判定部３９を制御して、第５判定用顔画像候補の顔画像のサイズ（高さ方向の長さ）を調べ、サイズの最も大きい顔画像を判定用顔画像とする（Ｓ−２０）。
【００３３】
最後にＣＰＵ１１は、顔画像向き判定部４０を制御して、判定用顔画像の向きを判定し（Ｓ−２１）、縦向きの顔画像である場合には、その時点に取り込んだ画像データが縦画像であると判定する（Ｓ−２２）。そして、判定用顔画像の向きが横向きの画像である場合には、横画像であると判定する（Ｓ−２３）。このように複数の顔画像を検出した時には、前述した複数の判定条件をクリアした顔画像だけに対して、顔画像のサイズや顔画像の向きに基づいて画像の向きを判定する。
【００３４】
次に、顔画像が１個の場合の縦横判定処理について、図５を参照しながら説明する。ＣＰＵ１１は、年齢判定部３７を制御して、検出した１つの顔画像が月齢６ヶ月以上の年齢の顔画像であるかを判定する（Ｓ−２４）。月齢６ヶ月以上の年齢の顔画像でない場合には、その画像データが横画像であると判定する（Ｓ−２５）。月齢６ヶ月以上の年齢の顔画像であると判定した場合、ＣＰＵ１１は、目つぶり判定部３６を制御して、目つぶり判定部３６で目つぶりの顔画像であるかを判定する（Ｓ−２６）。目つぶりの顔画像であると判定した場合には、画像データが横画像であると判定する（Ｓ−２５）。目つぶりでない顔画像であると判定した場合には、ＣＰＵ１１は、顔画像向き判定部４０を制御して、顔画像向き判定部４０で顔画像の向きを判定する（Ｓ−２７）。縦向きの顔画像であると判定した場合には、その顔画像を含む画像データが縦画像であると判定する（Ｓ−２８）。そして、横向きの顔画像であると判定した場合には、画像データが横画像であると判定する（Ｓ−２５）。
【００３５】
撮影を行う場合には、レリーズボタン３３を半押し操作する。これに応答してＣＰＵ１１は、ＡＥ・ＡＦ検出回路２８を制御して細かいピント調節を行う等の撮影準備動作を行う。そして、レリーズボタン３３の全押し操作に応答して、ＣＰＵ１１は、その時点にＳＤＲＡＭ２１に記憶されている画像データを読み出してＹＣ変換処理回路２２で輝度信号Ｙと色差信号Ｃｒ，Ｃｂとに変換し、その後、圧縮伸長回路２３で圧縮処理を施して圧縮画像データを作る。一方、ＣＰＵ１１は、前述したように画像向き判定部３０を制御して画像データの画像の向きを判定する。ＣＰＵ１１は、判定した画像の向きをタグ情報として圧縮画像データに付与して圧縮ファイルを作成し、作成した圧縮ファイルを、メディアコントローラ２４を介してメモリカード２５に記録する。
【００３６】
なお、画像データの向き判定は、レリーズボタン３３の全押し操作に応答して、すなわち画像データを記録する時だけ行うようにするのが望ましい。
＜第２実施形態＞
上記第１実施形態では、電子カメラ１０で撮像した画像データに対して画像の向きを判定しているが、この第２実施形態では、メモリカード２５等の記録媒体に記録した画像データをＬＣＤ表示部３１に再生する時の画像の向きを判定する。
【００３７】
この場合、画像向き判定部４４には、図６に示すように、図２で説明した各判定部３５〜４０に加えて、タグ情報判定部４５を備える。
【００３８】
タグ情報判定部４５は、画像データに付与されているタグ情報を読み取り、例えば前の画像の撮影日時を比較して連写撮影のものか、また、画像データのアスペクト比、さらに、動画撮影中の静止画か等の複数の条件に基づいて各々判定する。直前に向きを判定した画像に対して撮影日時の間隔が予め決めた閾値よりも近い場合、電子カメラ１０の姿勢を変更した可能性の低い連写撮影と見なし、顔画像のサイズや向きによる判定を行わず、直前の画像データと同じ向きであると判定する。アスペクト比の判定は、画像データが例えば１６：９や１：１のアスペクト比の場合、電子カメラ１０を縦姿勢にして撮影をした可能性が低いため、横画像であると判定する。さらに動画撮影中に取得した静止画像データの場合には、電子カメラ１０を縦姿勢にして撮影をした可能性が低いため、横画像であると判定する。
【００３９】
また、タグ情報判定部４５は、タグ情報に記載のレンズ情報を読み出し、読み出したレンズ情報に基づいて電子カメラ１０の姿勢（画像の向き）を判定する。レンズ情報は、撮影時の手振れ補正機構やレンズ移動制御機構に用いるアクチュエータへの通電状態の情報がタグ情報として画像データに記録されている。そこで、レンズ情報に基づいて撮影時の電子カメラ１０の姿勢を判定する。アクチュエータとしては、ＶＣＭ（ボイスコイルモータ）等がある。ＶＣＭを用いる場合は、常時給電のアクチュエータの制御状態、詳しくはレンズを駆動する際の負荷に基づいて、被写体像における重力方向を検出する検出手段により電子カメラ１０の撮影時の姿勢を推測することができる。
【００４０】
電子カメラ１０には、モード変更操作部と再生ファイル選択操作部とが設けられており、これら操作部を操作して撮影モードから再生モードに変更し、再生するファイルを選択する。これにより、ＣＰＵ１１は、メモリカード２５から選択したファイルを読み出し、圧縮伸張回路２３で伸張した後に、伸張した再生画像データをＳＤＲＡＭ２１に記憶する。
【００４１】
その後、ＣＰＵ１１は、画像向き判定部４４を制御して、記憶した画像データに基づいて画像向き判定の処理を行う。この処理は、まず、タグ情報判定部４５を制御して、図７に示すように、再生画像データのタグ情報のうちの撮影日時を読み取る。ＣＰＵ１１は、直前に判定した再生画像データの撮影日時をバッファメモリ１３に記憶しており、互いの撮影日時を比較することで、連写撮影の２コマ目以降の画像でないかを判定する（Ｓ−２９）。２コマ目以降の画像であると判定した場合には、直前に判定した前の再生画像データのタグ情報を読み出し、縦画像の情報が記載されているかを調べ（Ｓ−３０）、横画像の情報が記載されている場合には横画像であると判定し（Ｓ−３１）、また、縦画像の情報が記載されている場合には、顔情報による縦横判定処理（Ｓ−３２）を行う。
【００４２】
顔情報による縦横判定処理は、図３で説明したと同じ処理を行って縦横の判定を行う（Ｓ−３３）。つまり、ＣＰＵ１１は、再生画像データを読み出して顔画像領域検出回路２９に送る。ＣＰＵ１１は、顔画像領域検出回路２９を制御して、再生画像データから顔画像領域を検出する。検出した顔画像のデータは、ＳＤＲＡＭ２１に記憶される。その後、複数の顔画像を検出した場合には、図４で説明したように、事前に登録済みか、目つぶりでないか、月齢６ヶ月以上の年齢か、怒り顔かの条件を順番に判定し、判定した結果、縦画像と判定された顔画像のものに対して、顔画像のサイズ、及び顔画像の向きとの条件を順に判定し、その結果に基づいて画像データの向きを判定する。ここで、ＣＰＵ１１は、横向きであると判定した顔画像を含む再生画像データは、横向きであると判定する（Ｓ−３１）。
【００４３】
縦向きであると判定した画像データに対しては、ＣＰＵ１１は、タグ情報判定部４５を制御して、再生画像データのタグ情報からアスペクト比の情報を読み出し、読み出したアスペクト比が１６：９又は１：１であるかに基づいて判定する（Ｓ−３４）。ここで、アスペクト比が１６：９又は１：１であると判定した場合には、その再生画像データが横画像であると判定する（Ｓ−３１）。アスペクト比が１６：９又は１：１以外であると判定した再生画像データの場合には、ＣＰＵ１１は、タグ情報判定部４５を制御して、再生画像データのタグ情報から動画撮影中に取得した静止画像データであるかを判定する（Ｓ−３５）。
【００４４】
動画撮影中の静止画像データであると判定した場合には、その再生画像データが横画像であると判定する（Ｓ−３１）。動画撮影中の静止画像データでないと判定した場合には、ＣＰＵ１１は、タグ情報判定部４５を制御して、タグ情報からレンズ情報を読み出し、撮影時の電子カメラ１０の姿勢を判定する（Ｓ−３６）。ここで電子カメラ１０が横姿勢で撮影をしたと判定した場合には、その再生画像データが横画像であると判定し（Ｓ−３１）、また、縦姿勢で撮影をしたと判定した場合には、再生画像データが縦画像であると判定する（Ｓ−３７）。これにより、再生画像データのタグ情報に記録するための、縦又は横の向き情報のタグが決定される（Ｓ−３８）。
＜第３実施形態＞
上記各実施形態では、電子カメラ１０に設けた画像向き判定部３０，４４について説明しているが、図８に示すように、パーソナルコンピュータ５０で画像向き判定用のプログラムを実行し、ハードディスク５１やメモリカード５２等の記憶部から読み込んだ画像データを、表示制御部４９を介してモニタ５３に表示する時に、画像の向きを判定するように構成してもよい。
【００４５】
なお、画像向き判定用のプログラムは、画像処理用や画像閲覧用のアプリケーションに組み込んだ構成のものでもよい。この場合、前記アプリケーションを記録した記録媒体を記録媒体読取りドライブにセットしてハードディスク５１等にインストールしておけばよい。
【００４６】
画像向き判定用のプログラムを実行すると、ＣＰＵ５４は、画像向き判定部５５を生成する。画像向き判定部５５は、図６で説明したと同じ構成、すなわち図２で説明した各判定部３５〜４０に加えて、タグ情報判定部、及び顔画像領域検出部を備える。
【００４７】
操作部５６から画像ファイルの読み込み指示を受け付けると、ＣＰＵ５４は、ハードディスク５１、又はメモリカード５２からＩ／Ｆ５７又はメディアコントローラ５８を介して再生用の画像データを読み出し、バス６０を介してＳＤＲＡＭ５９に格納する。その後、ＣＰＵ５４は、タグ情報判定部４５を制御して、図９に示すように、ＳＤＲＡＭ５９に格納した再生用の画像データに記載のタグ情報を読み出し、タグ情報に縦画像である旨の向き又は回転情報が記載されているかを調べる（Ｓ−３９）。縦画像と記載されている場合には、縦画像であると判定する（Ｓ−４０）。縦画像であると記載されていない場合には、顔情報による縦横判定処理（Ｓ−４１）を行う。
【００４８】
顔情報による縦横判定処理は、図３で説明したと同じ処理を行って縦横の判定を行う（Ｓ−４２）。つまり、ＣＰＵ５４は、顔画像領域検出回路２９を制御してＳＤＲＡＭ５９から読み出した再生用の画像データから顔画像領域を検出する。検出した顔画像のデータは、バッファメモリ６１に記憶しておく。その後、複数の顔画像を検出した場合には、図４で説明したように、事前に登録済みか、目つぶりでないか、月齢６ヶ月以上の年齢か、怒り顔か等の条件を順番に判定し、判定した結果、縦画像と判定された顔画像に対して、顔画像のサイズ、及び顔画像の向きとの条件を順に判定し、その結果に基づいて画像の向きを判定する。ここで、ＣＰＵ５４は、横向きであると判定した顔画像を含む再生用の画像データを横画像であると判定する（Ｓ−４３）。
【００４９】
縦向きであると判定した再生用の画像データに対しては、ＣＰＵ５４は、タグ情報判定部４５を制御して、再生用の画像データのタグ情報からアスペクト比の情報を読み出し、読み出したアスペクト比が１６：９又は１：１かを判定する（Ｓ−４４）。ここで、アスペクト比が１６：９又は１：１であると判定した場合には、再生用の画像データが横画像であると判定する（Ｓ−４３）。アスペクト比が１６：９又は１：１以外であると判定した場合には、ＣＰＵ５４は、タグ情報判定部４５を制御して、再生用の画像データのタグ情報からメーカーノート情報を読み出し、その情報を読み取ることができるかを調べる（Ｓ−４５）。
【００５０】
ここで、メーカーノート情報は、メーカー独自で決めたフォーマットで記載した撮影に関する情報である。ＣＰＵ５４は、メーカーノート情報を読み取ることが不可（使用不可）の場合には、その再生用の画像データが縦画像であると判断する（Ｓ−４０）。読み取ることが可能（使用可能）である場合には、ＣＰＵ５４は、タグ情報判定部４５を制御して、その再生用の画像データが動画撮影中に取得した静止画像データであるかを判定する（Ｓ−４６）。
【００５１】
動画撮影中の静止画像データであると判定した場合には、横画像であると判定する（Ｓ−４３）。動画撮影中の静止画像データでないと判定した場合には、ＣＰＵ５４は、タグ情報判定部４５を制御して、タグ情報からレンズ情報を読み出し、撮影時のカメラの姿勢を判定する（Ｓ−４７）。ここでカメラが横姿勢で撮影をしたと判定した場合には、横画像であると判定し（Ｓ−４３）、また、縦姿勢で撮影をしたと判定した場合には、再生画像データが縦画像であると判定する（Ｓ−４０）。これにより、ＣＰＵ５４は、最終的に判定した縦横の向きで表示されるように、再生用の画像データを回転してモニタ５３に表示する。
【００５２】
上記各実施形態では、人物の顔の向き、又は大きさに、顔から判断される年齢、表情、及び顔が事前に登録されているかの登録情報、あるいは、これらに画像のアスペクト比の情報、動画撮影又は連写撮影から得られた画像であるかの撮影情報、及びレンズの制御情報を組み合わせて画像の向きを判定しているが、本発明ではこれに限らず、これの条件のうちの少なくともいずれか１つと、人物の顔の向き、又は大きさとを組み合わせて画像の向きを判定してもよい。
【符号の説明】
【００５３】
１０ 電子カメラ
２９ 顔画像領域検出回路
３０，４４ 画像向き判定部
【特許請求の範囲】
【請求項１】
人物の顔が写っている画像の向きを判定する画像向き判定装置において、
前記人物の顔の向き、又は大きさに、前記顔から判断される年齢、表情、顔が事前に登録されているかの登録情報、画像のアスペクト比の情報、動画撮影又は連写撮影から得られた画像であるかの撮影情報、及びレンズの制御情報とのうちの少なくとも１つを組み合わせて画像の向きを判定する判定手段を備えていることを特徴とする画像向き判定装置。
【請求項２】
請求項１に記載の画像向き判定装置において、
前記判定手段は、人物の顔が写っている画像が一つの場合で、かつ前記年齢、又は表情が特定の場合、横向きと判定する、
ことを特徴とする画像向き判定装置。
【請求項３】
人物の顔が写っている画像の向きを判定する画像向き判定方法において、
前記 前記人物の顔の向き、又は大きさに、前記顔から判断される年齢、表情、顔が事前に登録されているかの登録情報、画像のアスペクト比の情報、動画撮影又は連写撮影から得られた画像であるかの撮影情報、及びレンズの制御情報とのうちの少なくとも１つを組み合わせて画像の向きを判定することを特徴とする画像向き判定方法。
【請求項４】
請求項３に記載の画像向き判定方法において、
前記人物の顔が写っている画像が一つの場合で、かつ前記年齢、又は表情が特定の場合には、横向きと判定することを特徴とする画像向き判定方法。
【請求項５】
請求項３又は４に記載の方法をコンピュータに実行せるためのプログラム。
【請求項６】
請求項５に記載のプログラムを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
人物の顔が写っている画像の向きを判定する画像向き判定装置において、
前記人物の顔の向き、又は大きさに、前記顔から判断される年齢、表情、顔が事前に登録されているかの登録情報、画像のアスペクト比の情報、動画撮影又は連写撮影から得られた画像であるかの撮影情報、及びレンズの制御情報とのうちの少なくとも１つを組み合わせて画像の向きを判定する判定手段を備えていることを特徴とする画像向き判定装置。
【請求項２】
請求項１に記載の画像向き判定装置において、
前記判定手段は、人物の顔が写っている画像が一つの場合で、かつ前記年齢、又は表情が特定の場合、横向きと判定する、
ことを特徴とする画像向き判定装置。
【請求項３】
人物の顔が写っている画像の向きを判定する画像向き判定方法において、
前記 前記人物の顔の向き、又は大きさに、前記顔から判断される年齢、表情、顔が事前に登録されているかの登録情報、画像のアスペクト比の情報、動画撮影又は連写撮影から得られた画像であるかの撮影情報、及びレンズの制御情報とのうちの少なくとも１つを組み合わせて画像の向きを判定することを特徴とする画像向き判定方法。
【請求項４】
請求項３に記載の画像向き判定方法において、
前記人物の顔が写っている画像が一つの場合で、かつ前記年齢、又は表情が特定の場合には、横向きと判定することを特徴とする画像向き判定方法。
【請求項５】
請求項３又は４に記載の方法をコンピュータに実行せるためのプログラム。
【請求項６】
請求項５に記載のプログラムを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−８５０２３（Ｐ２０１３−８５０２３Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２１６８６（Ｐ２０１１−２２１６８６）
【出願日】平成２３年１０月６日（２０１１．１０．６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月６日（２０１１．１０．６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]