撮像装置及びプログラム
【課題】特別な操作を行うことなく、画像の表示内容をその画像を見る使用者に応じて適切に変更できるようにする。
【解決手段】表示部５を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像するサブ撮像部８を備え、制御部１は、このサブ撮像部８により撮像された使用者の顔を検出すると共に、検出した使用者の顔或いは顔の部分の状態を判別し、この顔或いは顔の部分の状態に応じて、表示部５に表示されている画像に対して画像処理を行う。例えば、使用者の瞳が青色であれば、色温度を下げる処理（白色がやや赤味を帯びる処理）を行い、使用者が少年”であれば、コントラストを高くする処理を行う。
【解決手段】表示部５を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像するサブ撮像部８を備え、制御部１は、このサブ撮像部８により撮像された使用者の顔を検出すると共に、検出した使用者の顔或いは顔の部分の状態を判別し、この顔或いは顔の部分の状態に応じて、表示部５に表示されている画像に対して画像処理を行う。例えば、使用者の瞳が青色であれば、色温度を下げる処理（白色がやや赤味を帯びる処理）を行い、使用者が少年”であれば、コントラストを高くする処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した画像を表示する撮像装置及びプログラムに関する。
【背景技術】
【０００２】
従来、撮像した画像を表示する表示部を備えた撮像装置としてのデジタルカメラ（コンパクトカメラ）にあっては、その表示部が配設されている表示部側の面に対してその逆側の面に、被写体を撮像するメインカメラ（メイン撮像部）を備えるほか、表示部側の面にサブカメラ（サブ撮像部）を備え、このサブカメラによりその撮影者（使用者）を撮影し、その撮影者の表情や動作の変化に応じてメインカメラを起動して被写体を撮像するようにした技術が開示されている（特許文献１参照）。これによって撮影者がデジタルカメラ本体から離れていても撮影者の意図に応じた撮像が可能であるほか、レリーズボタンを操作する際の手ブレを防ぐことも可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１１２５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した先行技術にあっては、レリーズボタンを操作しなくても被写体を撮像可能とするために撮影者（使用者）を撮像してその表情や動作の変化に応じて被写体を撮像するようにしたものであり、レリーズボタン操作による不具合を解消するにすぎなかった。
【０００５】
本発明の課題は、特別な操作を行うことなく、画像の表示内容をその画像を見る使用者に応じて適切に変更できるようにすることである。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために請求項１記載の発明は、
撮像した画像を表示する表示手段を備えた撮像装置であって、
前記表示手段を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像する撮像手段と、
前記撮像手段により撮像された使用者の顔を検出する検出手段と、
前記検出手段により検出された使用者の顔或いは顔の部分の状態を判別する判別手段と、
前記判別手段により判別された顔或いは顔の部分の状態に応じて、前記表示手段に表示されている画像に対して画像処理を行う画像処理手段と、
を具備したことを特徴とする。
【０００７】
請求項１に従属する発明として、
被写体を撮像する第２の撮像手段を更に備え、
前記表示手段に表示される画像は、前記第２の撮像手段により撮像された画像である、
ことを特徴とする請求項２記載の発明であってもよい。
【０００８】
請求項１或いは請求項２に従属する発明として、
画像を記憶する記憶手段を更に備え、
前記表示手段に表示される画像は、前記記憶手段に記憶されている画像である、
ことを特徴とするに請求項３記載の発明であってもよい。
【０００９】
請求項１或いは請求項３に従属する発明として、
前記撮像手段は、その撮像方向として、前記表示手段の画面を見る使用者の顔を撮像する方向と該使用者と相対する被写体を撮像する方向に変更可能な撮影方向変更部を備える、
ようにしたことを特徴とする請求項４記載の発明であってもよい。
【００１０】
請求項１〜請求項４のいずれかに従属する発明として、
前記判別手段は、前記使用者の顔の向きを判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の顔の向きに応じて、前記表示手段に表示されている画像の向きを変更する処理を行う、
ようにしたことを特徴とする請求項５記載の発明であってもよい。
【００１１】
請求項１〜請求項４のいずれかに従属する発明として、
前記判別手段は、前記使用者の瞳の色を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の瞳の色に応じて、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項６記載の発明であってもよい。
【００１２】
請求項１〜請求項４のいずれかに従属する発明として、
前記判別手段は、前記使用者の年齢を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の年齢に応じて、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項７記載の発明であってもよい。
【００１３】
請求項１〜請求項４のいずれかに従属する発明として、
前記判別手段は、前記使用者の性別を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の性別に応じて、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項８記載の発明であってもよい。
【００１４】
また、上述した課題を解決するために請求項９記載の発明は、
コンピュータに対して、
表示手段を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像する撮像手段により撮像された使用者の顔を検出する機能と、
前記検出された使用者の顔或いは顔の部分の状態を判別する機能と、
前記判別された顔或いは顔の部分の状態に応じて、前記表示手段に表示されている画像に対して画像処理を行う機能と、
を実現させるためのプログラム、であることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、特別な操作を行うことなく、画像の表示内容をその画像を見る使用者に応じて適切に変更することができ、使用者に合った画像表示を容易に実現可能とする。
【図面の簡単な説明】
【００１６】
【図１】撮像装置として適用したデジタルカメラ（コンパクトカメラ）の基本的な構成要素を示したブロック図。
【図２】デジタルカメラの外観図で、（１）はその前面図、（２）はその背面図。
【図３】画像処理テーブル記憶部Ｍ３を説明するための図。
【図４】電源投入に応じて実行開始されるデジタルカメラの全体動作、特に本実施形態の特徴部分の動作概要を示したフローチャート。
【図５】図４の動作に続くフローチャート。
【図６】第２実施形態において、撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図。
【図７】第２実施形態におけるデジタルカメラの外観図で、（１）はその前面図、（２）はその背面図。
【発明を実施するための形態】
【００１７】
（実施形態１）
以下、図１〜図５を参照して本発明の実施形態を説明する。
図１は、撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図である。
デジタルカメラは、例えば、光学１０倍の広角・高倍率ズームを搭載したコンパクトカメラで、制御部１を中核として動作する構成となっている。制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのデジタルカメラの全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。
【００１８】
記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、図４及び図５に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラム記憶部Ｍ１、多くの撮像済み画像を所定のファイル形式で保存する画像記憶部Ｍ２、後述する画像処理テーブル記憶部Ｍ３などを有している。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続された状態では所定の外部サーバ側の記憶領域であってもよい。
【００１９】
ＲＡＭ４は、フラグ情報、画面情報など、このデジタルカメラが動作するために必要となる各種の情報を一時的に記憶するワーク領域である。表示部５は、例えば、高精細液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、電気泳動型ディスプレイ（電子ペーパ）のいずれかを使用し、画像を高精細に表示するもので、撮像された画像（スルー画像：ライブビュー画像）を表示するファインダ画面（モニタ画面）として機能したり、保存済み画像を表示する再生画面として機能したりする。なお、表示部５に表示されている画像を見る使用者とは、撮影時にはファインダ画面（モニタ画面）を見る撮影者であるが、再生時にはその再生画面を見る画像視認者である。この場合、デジタルカメラの所有者（ユーザ）に限らず、画像を見る者である。
【００２０】
また、この表示部５の表面に指の接触を検出する透明なタッチパネルを積層配設することにより、例えば、静電容量方式のタッチスクリーン（タッチ画面）を構成するようにしている。操作部６は、図示省略したが、押しボタン形式の各種のキーとして、被写体の撮像を開始させるレリーズボタン（シャッタボタン）、撮影モードと再生モードとを切り換え選択するモード選択ボタンなどの各種のファンクションキー及び十字キーなどの操作ボタンを備えたもので、制御部１は、この操作部６からの入力操作信号に応じた処理として、例えば、撮影処理、保存処理、データ入力処理などを行う。
【００２１】
メイン撮像部７は、その表示部５が配設されている表示部側の面に対してその逆側の面に、被写体を撮像するメインカメラとして備えられたもので、光学１０倍の広角・高倍率ズームを搭載した高精細画像を撮像可能なカメラである。そして、このメイン撮像部７は、図示省略したが、撮像レンズ、絞り機構、Ｃ−ＭＯＳ或いはＣＣＤなどの撮像素子（エリアイメージセンサ）、光学系駆動部などのほか、照明用のストロボ、アナログ処理回路、信号処理回路などを備えている。制御部１は、オートフォーカス処理（ＡＦ処理）、ズーム処理、露出調整処理（ＡＥ処理）を実行したり、メイン撮像部７からの画像データに対して各種の画像処理としてホワイトバランス調整・色補間・階調変換処理、輪郭強調処理を実行したり、更に画像処理として画像の向き変更・コントラスト変更・色調変更処理を施したり、ＪＰＥＧ形式などのデータ形式に圧縮する圧縮処理を実行したり、この圧縮データを伸長復元する復元処理などを実行したりする。
【００２２】
サブ撮像部８は、例えば、３２万画素程度の小さなＣ−ＭＯＳセンサを有する構成で、その表示部５を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者（撮影者などの画像視認者）の顔を撮像するサブカメラとして備えられたものである。そしてサブ撮像部８は、図示省略したが、撮像レンズ、絞り機構、撮像素子（エリアイメージセンサ）、光学系駆動部などのほか、アナログ処理回路、信号処理回路などを備えている。制御部１は、サブ撮像部８により撮像された画像を解析することにより使用者の顔を検出して、その使用者の顔或いは顔の部分の状態を判別し、顔或いは顔の部分の状態に応じて、表示部５に表示されている画像に対して画像処理を行うようにしている。
【００２３】
この場合、使用者の顔の状態として、使用者の顔の向き、年齢、性別を判別してそれに応じた画像処理を行うようにしている。また、使用者の顔の一部分の状態として、使用者の瞳の色を判別して、それに応じた画像処理を行うようにしている。このような画像処理は、メイン撮像部７により被写体を撮像する撮影モード時に限らず、画像記憶部Ｍ２内に記憶保存されている撮像済み画像を読み出して表示部５に表示させる再生モード時においても同様に実行可能となっている。
【００２４】
図２は、デジタルカメラの外観図を示した図である。
図２（１）は、表示部５が配設されている表示部側の面に対してその逆側の面からデジタルカメラを見た前面図で、その前面中央部には、メイン撮像部７の撮像レンズ７ａが配設され、図中、前面左上部分には、メイン撮像部７用のストロボ７ｂが配設されている。また、デジタルカメラの上面左端部分には、操作部６のレリーズボタン６ａが配設されている。また、図２（２）は、デジタルカメラの背面図で、その背面部には、表示部５が配設されていると共に、サブ撮像部８の撮像レンズ８ａが配設され、更には、操作部６の操作ボタン６ｂが配設されている。このようにメイン撮像部７は、表示部５の逆側にメインカメラとして備えられ、サブ撮像部８は、表示部５側にサブカメラとして備えられたものである。
【００２５】
図３は、画像処理テーブル記憶部Ｍ３を説明するための図である。
画像処理テーブル記憶部Ｍ３は、表示部５に表示されている画像の表示状態をその画像を見る使用者に応じて変更するために該画像に施す画像処理内容を記憶する。すなわち、画像処理テーブル記憶部Ｍ３は、サブ撮像部８により撮像された使用者の顔或いは顔の部分の状態に応じて、表示部５に表示されている画像に対してどのような画像処理を施すかを示す画像処理内容を記憶するもので、「顔或いは顔の部分の状態」に対応して「画像処理内容」の項目を有する構成となっている。「顔或いは顔の部分の状態」は、使用者の顔の状態或いは使用者の顔の部分の状態を示し、“使用者の顔の向き”、“使用者の瞳の色”、“使用者の年齢”、“使用者の性別”に区分されている。更に、“使用者の顔の向き”は“横向き”、“縦向き”に区分され、“使用者の瞳の色”は、“青”、“茶”に区分され、“使用者の年齢”は、“少年”、“青年”、“中年”、“老年”に区分され、“使用者の性別”は、“男性”、“女性”に区分されている。
【００２６】
「画像処理内容」は、表示部５に表示されている画像に対してどのような画像処理を施すかを示すもので、上述の“使用者の顔の向き”である“横向き”に対応する「画像処理内容」として“画像を横向きに変更”が記憶され、“縦向き”に対応して“画像を縦向きに変更”が記憶されている。また、“使用者の瞳の色”の“青”に対応して“色温度を下げる”が記憶され、“茶”に対応して“色温度を上げる”が記憶されている。また、“使用者の年齢”の“少年”に対応して“コントラストを高くする”が記憶され、“青年”に対応して“標準のコントラスト”が記憶され、“中年”に対応して“コントラストをやや低くする”が記憶され、“老年”に対応して“コントラストを低くする”が記憶されている。また、“使用者の性別”の“男性”に対応して“風景が美しくなる処理”が記憶され、“女性”に対応して“顔が美しくなる処理”が記憶されている。なお、この「画像処理内容」は、ユーザ操作により任意に設定されたもので、自分の好みに応じた処理を設定することができる。
【００２７】
次に、第１実施形態におけるデジタルカメラの動作概念を図４及び図５に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードに従った動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。
【００２８】
図４及び図５は、デジタルカメラの全体動作、特に本実施形態の特徴部分の動作概要を示したフローチャートで、電源投入に応じて実行開始される。
先ず、制御部１は、撮影モード、再生モードのいずれに切り換えられているかを調べる（ステップＳ１）。すなわち、メイン撮像部７により被写体を撮像する撮影モードに切り換えられているか、画像記憶部Ｍ２内に記憶保存されている撮像済み画像を読み出して表示部５に表示させる再生モードに切り換えられているかを調べ、撮影モードに切り換えられているときには（ステップＳ１でＹＥＳ）、サブ撮像部８により撮像された画像を解析して使用者の顔を検出する処理を行う（ステップＳ２）。この場合、顔の各部位（眼、鼻、口、耳など）、それらの位置関係、眼鏡などから総合的に判断して顔検出処理を行うが、その際、顔を検出したとしても所定以上の大きさの顔を検出したか、つまり、所定距離以内（表示部５の近傍）に使用者が居るかを加味して、使用者の顔を検出したか否かを判別するようにしている（ステップＳ３）。
【００２９】
ここで、使用者の顔を検出しなかった場合又は使用者の顔を検出したとしても所定距離以内に使用者が居なかった場合には（ステップＳ３でＮＯ）、レリーズボタン６ａの操作有無を調べたり（ステップＳ７）、モード選択ボタンの操作有無を調べたり（ステップＳ１３）、その他の操作有無を調べたりする（ステップＳ１５）。ここで、いずれの操作も行われなければ（ステップＳ１５でＮＯ）、上述のステップＳ３に戻るが、レリーズボタン６ａ、モード選択ボタン以外の操作として、例えば、露出設定、ズーム、撮影シーン設定などの操作が行われたときには（ステップＳ１５でＹＥＳ）、その操作に応じた処理として、露出設定処理、ズーム処理、撮影シーン設定処理などを行った後（ステップＳ１６）、上述のステップＳ３に移る。
【００３０】
また、レリーズボタン６ａが操作されたときには（ステップＳ７でＹＥＳ）、ＡＥ処理、ＡＦ処理などを実行した後（ステップＳ８）、上述の「顔或いは顔の部分の状態」に基づいて画像処理テーブル記憶部Ｍ３を参照し、その結果、該当する「画像処理内容」が記憶されているかを調べるが（ステップＳ９）、いま、「顔或いは顔の部分の状態」を判別することができなかった場合であるから撮影処理に移り（ステップＳ１１）、メイン撮像部７により撮像されて表示部５に表示されている画像に対してホワイトバランス調整などを行った後、圧縮処理によって圧縮した画像データを画像記憶部Ｍ２に記憶保存させる保存処理を行う（ステップＳ１２）。その後、上述のステップＳ３に戻る。
【００３１】
また、上述の顔検出処理の結果（ステップＳ２）、顔を検出することができたときには（ステップＳ３でＹＥＳ）、その使用者の顔或いは顔の部分の状態を判別する処理を行う（ステップＳ４）。この場合、使用者の顔の状態として、使用者の顔の向き、年齢、性別を判別するが、その際、顔の各部位（眼、鼻、口、耳など）、それらの位置関係、顔の皺、皮膚の弛み、化粧状態、肌色などを総合的に判断して顔の状態を判別したり、使用者の顔の一部分の状態として、使用者の瞳の色を判別したりする。そして、この判別結果の「顔或いは顔の部分の状態」に基づいて画像処理テーブル記憶部Ｍ３を参照する（ステップＳ５）。
【００３２】
そして、メイン撮像部７により被写体を撮像した画像（スルー画像：ライブビュー画像）をファインダ画面（モニタ画面）として表示部５に表示させた後（ステップＳ６）、レリーズボタン６ａの操作有無を調べるステップＳ７に移る。いま、レリーズボタン６ａが操作されたときには（ステップＳ７でＹＥＳ）、ＡE処理、ＡF処理などを実行した後（ステップＳ８）、上述の「顔或いは顔の部分の状態」に基づいて画像処理テーブル記憶部Ｍ３を参照し、その結果、該当する「画像処理内容」が記憶されているかを調べ（ステップＳ９）、該当する「画像処理内容」が記憶されていれば（ステップＳ９でＹＥＳ）、表示部５に表示されている画像に対して、その「画像処理内容」で示される画像処理を行う（ステップＳ１０）。
【００３３】
すなわち、“使用者の顔の向き”が“縦向き”であれば、つまり、デジタルカメラを横向きに構えている状態であれば、表示部５に表示されている画像を縦向きに回転変更する処理を行い、“横向き”であれば、つまり、デジタルカメラを縦向きに構えている状態であれば、表示部５に表示されている画像を横向きに回転変更する処理を行う。また、“使用者の瞳の色”が“青”であれば、色温度を下げる処理（白色がやや赤味を帯びる処理）を行い、“茶”であれば、色温度を上げる処理（白色がやや青味を帯びる処理）を行う。また、“使用者の年齢”が“少年”であれば、コントラストを高くする処理を行い、“青年”であれば、標準のコントラスト”にする処理を行い、“中年”であれば、コントラストをやや低くする処理を行い、“老年”であれば、コントラストを低くする処理を行う。また、“使用者の性別”が“男性”であれば風景が美しくなる処理（特徴的な色を際出させる処理など）を行い、“女性”であれば、顔が美しくなる処理（美肌、ぼかし処理など）を行う。
【００３４】
そして、撮影処理に移り（ステップＳ１１）、メイン撮像部７により撮像されて表示部５に表示されている画像に対してホワイトバランス調整などを行った後、圧縮処理によって圧縮した画像データを画像記憶部Ｍ２に記憶保存させる保存処理を行う（ステップＳ１２）。その後、上述のステップＳ３に戻る。
【００３５】
また、撮影モードにおいてモード選択ボタンが操作されたときには（ステップＳ１３でＹＥＳ）、撮影モードから再生モードへの切り換えを行った後（ステップＳ１４）、図５のフローに移る。ここで、画像記憶部Ｍ２に記憶されている撮像済み画像の中から再生対象として所望する画像を選択する画像選択操作が行われると（ステップＳ１７でＹＥＳ）、その選択画像を再生対象として読み出す（ステップＳ１８）。そして、上述の場合と同様に、サブ撮像部８により撮像された画像（表示部５を見る使用者の画像）を解析して使用者の顔を検出する処理を行う（ステップＳ１９）。この場合、使用者は、再生モードに切り換えて画像選択操作を行った後、顔を表示部５に向けたり、表示部５を顔に向けたりする。
【００３６】
ここで、顔検出処理により顔を検出すると（ステップＳ２０でＹＥＳ）、その使用者の顔或いは顔の部分の状態を判別する処理を行い（ステップＳ２１）、その判別処理の結果である「顔或いは顔の部分の状態」に基づいて画像処理テーブル記憶部Ｍ３を参照し（ステップＳ２２）、該当する「画像処理内容」が記憶されているかを調べる（ステップＳ２３）。その結果、該当する「画像処理内容」が記憶されていなければ（ステップＳ２３でＮＯ）、画像表示処理を行うステップＳ２５に移るが、該当する「画像処理内容」が記憶されていれば（ステップＳ２３でＹＥＳ）、再生対象として選択された画像又は表示部５に表示されている画像に対して、その「画像処理内容」で示される画像処理を行った後（ステップＳ２４）、その画像を表示部５に表示させる（ステップＳ２５）。
【００３７】
以下、画像送り操作が行われたかを調べたり（ステップＳ２６）、モード選択ボタンが操作されたかを調べたり（ステップＳ２８）、その他の操作が行われたかを調べたりする（ステップＳ３０）。ここで、いずれの操作も行われなければ（ステップＳ３０でＮＯ）、上述のステップＳ１９に戻るが、画像送り操作が行われたときには（ステップＳ２６でＹＥＳ）、再生対象として次の画像を画像記憶部Ｍ２から読み出して表示部５に表示させる画像送り処理を行った後（ステップＳ２７）、上述のステップＳ１９に戻る。また、その他の操作として、画像の削除などの編集、スライドショーの開始などが操作されたときには（ステップＳ３０でＹＥＳ）、操作に応じた処理として編集処理、スライドショー表示処理などを実行した後（ステップＳ３１）、上述のステップＳ１９に戻る。また、再生モードにおいてモード選択ボタンが操作されたときには（ステップＳ２８でＹＥＳ）、再生モードから撮影モードへの切り換えを行った後（ステップＳ２９）、図４のステップＳ１に移る。
【００３８】
以上のように、第１実施形態においては、表示部５を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像するサブ撮像部８を備え、制御部１は、このサブ撮像部８により撮像された使用者の顔を検出すると共に、検出した使用者の顔或いは顔の部分の状態を判別し、この顔或いは顔の部分の状態に応じて、表示部５に表示されている画像に対して画像処理を行うようにしたので、特別な操作を行うことなく、使用者を撮像した画像を利用して、画像の表示内容を適切に変更することができ、使用者の状態に合った画像表示が可能となる。
【００３９】
被写体を撮像するメイン撮像部７のほかに備えられているサブ撮像部８により表示部５を見る使用者を撮像するようにしたので、専用カメラにより表示部５を見る使用者をいつでも撮像することが可能となる。
【００４０】
画像記憶部Ｍ２に記憶されている画像を読み出して、表示部５に表示させるようにしたので、メイン撮像部７によりリアルタイムに撮像された画像に対する画像処理に限らず、画像記憶部Ｍ２に記憶保存されている撮影済み画像に対して画像処理を行うことができる。例えば、外部から取得した画像を表示部５に表示させる場合でも、使用者に合った画像表示が可能となる。
【００４１】
使用者の顔の向きに応じて、表示部５に表示されている画像の向きを変更する処理を行うようにしたので、デジタルカメラを横向きに構えているのか縦向きに構えているのかに応じて、表示部５に表示されている画像の向きを変更することができ、画像の向きを検出する向きセンサ（縦横センサ）の代替えとすることができる。
【００４２】
使用者の瞳の色に応じて、表示部５に表示されている画像の色温度を変更する画像処理を行うようにしたので、人種などに適した表示が可能となり、使用者にとって画像が見易くなる。
【００４３】
使用者の年齢に応じて、表示部５に表示されている画像のコントラストを変更する画像処理を行うようにしたので、若い人ほどコントラストの高い画像を好む傾向を加味するなど、年齢層に適した表示が可能となり、使用者にとって画像が見易くなる。
【００４４】
使用者の性別に応じて、表示部５に表示されている画像に対する画像処理を行うようにしたので、性別に適した表示が可能となる。この場合、使用者が女性の場合は、友人や知人などの顔を美しく見ることができ、友人、知人にとっても受け入れられるものとなる。
【００４５】
（実施形態２）
以下、この発明の第２実施形態について図６及び図７を参照して説明する。
なお、上述した第１実施形態においては、被写体を撮像するメイン撮像部７のほかに、表示部５を見る使用者を撮像する専用カメラとしてサブ撮像部８を備えたが、この第２実施形態においては、被写体の撮像と、表示部５を見る使用者の撮像を１台の撮像部で兼用するようにしたものである。ここで、両実施形態において基本的或いは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。
【００４６】
図６は、第２実施形態において、撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図である。
デジタルカメラは、上述した第１実施形態と同様のコンパクトカメラで、制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのデジタルカメラの全体動作を制御する。記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されている。ＲＡＭ４は、このデジタルカメラが動作するために必要となる各種の情報を一時的に記憶するワーク領域である。
【００４７】
表示部５は、例えば、高精細液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパのいずれかを使用し、画像を高精細に表示するもので、撮像された画像（スルー画像）を表示するファインダ画面として機能したり、保存済み画像を表示する再生画面として機能したりする。操作部６は、図示省略したが、押しボタン形式の各種のキーとして、被写体の撮像を開始させるレリーズボタン６ａ、撮影モードと再生モードとを切り換え選択するモード選択ボタンなどの各種のファンクションキーや十字キーなどの操作ボタンを備えたもので、制御部１は、この操作部６からの入力操作信号に応じた処理として、例えば、撮影処理、保存処理、データ入力処理などを行う。
【００４８】
撮像部１１は、その撮像方向として、表示部５を見る使用者の顔を撮像する方向と、使用者と相対する被写体を撮像する方向に変更可能なもので、上述のメイン撮像部７と同様の構成となっている。制御部１は、撮像部１１により使用者の顔を撮像した場合に、その撮像された画像を解析することにより使用者の顔を検出して、その使用者の顔或いは顔の部分の状態を判別し、顔或いは顔の部分の状態に応じて、表示部５に表示されている画像に対して画像処理を行うが、その際、使用者の顔の状態として使用者の顔の向き、年齢、性別を判別したり、使用者の顔の一部分の状態として、使用者の瞳の色を判別したりしてそれに応じた画像処理を行うようにしている。
【００４９】
図７は、第２実施形態におけるデジタルカメラの外観図で、図７（１）は、表示部５が配設されている面の逆側であるデジタルカメラの前面図、図７（２）は、デジタルカメラの背面図である。
デジタルカメラを構成する筺体は、長方体の本体部１２と、この本体部１２の長辺方向の一端部に回転可能に取り付けられている可動部１３を有する構成で、本体部１２の長辺方向一端部においてその短辺方向の中心位置に設けた支軸（図示省略）を介して可動部１３が１８０°回転可能に取り付けられている。この場合、使用者は、本体部１２に対して支軸を中心に可動部１３を弾性力（バネ力）に抗して回すことにより撮像部１１の撮像方向を１８０°変更するようにしている。上述の支軸、バネなどにより撮影方向変更部１４を構成するが、この撮影方向変更部１４は、機構部に限らず、モータを備えた駆動部であってもよく、その構成は任意である。
【００５０】
そして、図７（１）に示すように、デジタルカメラの前面側に撮像部１１の撮像レンズ１１ａを向けた状態においては、可動部１３に配設されている撮像レンズ１１ａとそのストロボ１１ｂが表示部５の逆側を向くようになる。また、図７（２）に示すように、デジタルカメラの背面側に撮像部１１の撮像レンズ１１ａを向けた状態においては、本体部１２の背面側に配設されている表示部５及び操作部６の操作ボタン６ｂと、可動部１３に配設されている撮像レンズ１１ａ及びストロボ１１ｂとが同じ方向を向くようになる。
【００５１】
以上のように、第２実施形態においては、撮像部１１の撮像方向として、表示部５を見る使用者の顔を撮像する方向と、使用者と相対する被写体を撮像する方向に変更可能な撮影方向変更部１４を備えるようにしたので、上述した第１実施形態と同様に、特別な操作を行うことなく、使用者を撮像した画像を利用して、画像の表示状態を適切に変更することができ、使用者の状態に合った画像表示が可能となるほか、単一の撮像部１１で被写体の撮像と使用者の撮像とを行うことができ、構成の簡素化と共に、使用者にあっては、本体部１２に対して可動部１３を弾性力に抗して回すだけで撮影方向を容易に変更することができる。
【００５２】
なお、上述した各実施形態においては、撮像装置としてデジタルカメラ（コンパクトカメラ）に適用した場合を示したが、カメラ機能付きの携帯電話機・ＰＤＡ・音楽プレイヤーなどであってもよい。
【００５３】
その他、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【符号の説明】
【００５４】
１ 制御部
３ 記憶部
５ 表示部
６ 操作部
７ メイン撮像部
８ サブ撮像部
１１ 撮像部
１２ 本体部
１３ 可動部
１４ 撮影方向変更部
Ｍ１ プログラム記憶部
Ｍ２ 画像記憶部
Ｍ３ 画像処理テーブル記憶部
【技術分野】
【０００１】
本発明は、撮像した画像を表示する撮像装置及びプログラムに関する。
【背景技術】
【０００２】
従来、撮像した画像を表示する表示部を備えた撮像装置としてのデジタルカメラ（コンパクトカメラ）にあっては、その表示部が配設されている表示部側の面に対してその逆側の面に、被写体を撮像するメインカメラ（メイン撮像部）を備えるほか、表示部側の面にサブカメラ（サブ撮像部）を備え、このサブカメラによりその撮影者（使用者）を撮影し、その撮影者の表情や動作の変化に応じてメインカメラを起動して被写体を撮像するようにした技術が開示されている（特許文献１参照）。これによって撮影者がデジタルカメラ本体から離れていても撮影者の意図に応じた撮像が可能であるほか、レリーズボタンを操作する際の手ブレを防ぐことも可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１１２５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した先行技術にあっては、レリーズボタンを操作しなくても被写体を撮像可能とするために撮影者（使用者）を撮像してその表情や動作の変化に応じて被写体を撮像するようにしたものであり、レリーズボタン操作による不具合を解消するにすぎなかった。
【０００５】
本発明の課題は、特別な操作を行うことなく、画像の表示内容をその画像を見る使用者に応じて適切に変更できるようにすることである。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために請求項１記載の発明は、
撮像した画像を表示する表示手段を備えた撮像装置であって、
前記表示手段を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像する撮像手段と、
前記撮像手段により撮像された使用者の顔を検出する検出手段と、
前記検出手段により検出された使用者の顔或いは顔の部分の状態を判別する判別手段と、
前記判別手段により判別された顔或いは顔の部分の状態に応じて、前記表示手段に表示されている画像に対して画像処理を行う画像処理手段と、
を具備したことを特徴とする。
【０００７】
請求項１に従属する発明として、
被写体を撮像する第２の撮像手段を更に備え、
前記表示手段に表示される画像は、前記第２の撮像手段により撮像された画像である、
ことを特徴とする請求項２記載の発明であってもよい。
【０００８】
請求項１或いは請求項２に従属する発明として、
画像を記憶する記憶手段を更に備え、
前記表示手段に表示される画像は、前記記憶手段に記憶されている画像である、
ことを特徴とするに請求項３記載の発明であってもよい。
【０００９】
請求項１或いは請求項３に従属する発明として、
前記撮像手段は、その撮像方向として、前記表示手段の画面を見る使用者の顔を撮像する方向と該使用者と相対する被写体を撮像する方向に変更可能な撮影方向変更部を備える、
ようにしたことを特徴とする請求項４記載の発明であってもよい。
【００１０】
請求項１〜請求項４のいずれかに従属する発明として、
前記判別手段は、前記使用者の顔の向きを判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の顔の向きに応じて、前記表示手段に表示されている画像の向きを変更する処理を行う、
ようにしたことを特徴とする請求項５記載の発明であってもよい。
【００１１】
請求項１〜請求項４のいずれかに従属する発明として、
前記判別手段は、前記使用者の瞳の色を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の瞳の色に応じて、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項６記載の発明であってもよい。
【００１２】
請求項１〜請求項４のいずれかに従属する発明として、
前記判別手段は、前記使用者の年齢を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の年齢に応じて、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項７記載の発明であってもよい。
【００１３】
請求項１〜請求項４のいずれかに従属する発明として、
前記判別手段は、前記使用者の性別を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の性別に応じて、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項８記載の発明であってもよい。
【００１４】
また、上述した課題を解決するために請求項９記載の発明は、
コンピュータに対して、
表示手段を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像する撮像手段により撮像された使用者の顔を検出する機能と、
前記検出された使用者の顔或いは顔の部分の状態を判別する機能と、
前記判別された顔或いは顔の部分の状態に応じて、前記表示手段に表示されている画像に対して画像処理を行う機能と、
を実現させるためのプログラム、であることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、特別な操作を行うことなく、画像の表示内容をその画像を見る使用者に応じて適切に変更することができ、使用者に合った画像表示を容易に実現可能とする。
【図面の簡単な説明】
【００１６】
【図１】撮像装置として適用したデジタルカメラ（コンパクトカメラ）の基本的な構成要素を示したブロック図。
【図２】デジタルカメラの外観図で、（１）はその前面図、（２）はその背面図。
【図３】画像処理テーブル記憶部Ｍ３を説明するための図。
【図４】電源投入に応じて実行開始されるデジタルカメラの全体動作、特に本実施形態の特徴部分の動作概要を示したフローチャート。
【図５】図４の動作に続くフローチャート。
【図６】第２実施形態において、撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図。
【図７】第２実施形態におけるデジタルカメラの外観図で、（１）はその前面図、（２）はその背面図。
【発明を実施するための形態】
【００１７】
（実施形態１）
以下、図１〜図５を参照して本発明の実施形態を説明する。
図１は、撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図である。
デジタルカメラは、例えば、光学１０倍の広角・高倍率ズームを搭載したコンパクトカメラで、制御部１を中核として動作する構成となっている。制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのデジタルカメラの全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。
【００１８】
記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、図４及び図５に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラム記憶部Ｍ１、多くの撮像済み画像を所定のファイル形式で保存する画像記憶部Ｍ２、後述する画像処理テーブル記憶部Ｍ３などを有している。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続された状態では所定の外部サーバ側の記憶領域であってもよい。
【００１９】
ＲＡＭ４は、フラグ情報、画面情報など、このデジタルカメラが動作するために必要となる各種の情報を一時的に記憶するワーク領域である。表示部５は、例えば、高精細液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、電気泳動型ディスプレイ（電子ペーパ）のいずれかを使用し、画像を高精細に表示するもので、撮像された画像（スルー画像：ライブビュー画像）を表示するファインダ画面（モニタ画面）として機能したり、保存済み画像を表示する再生画面として機能したりする。なお、表示部５に表示されている画像を見る使用者とは、撮影時にはファインダ画面（モニタ画面）を見る撮影者であるが、再生時にはその再生画面を見る画像視認者である。この場合、デジタルカメラの所有者（ユーザ）に限らず、画像を見る者である。
【００２０】
また、この表示部５の表面に指の接触を検出する透明なタッチパネルを積層配設することにより、例えば、静電容量方式のタッチスクリーン（タッチ画面）を構成するようにしている。操作部６は、図示省略したが、押しボタン形式の各種のキーとして、被写体の撮像を開始させるレリーズボタン（シャッタボタン）、撮影モードと再生モードとを切り換え選択するモード選択ボタンなどの各種のファンクションキー及び十字キーなどの操作ボタンを備えたもので、制御部１は、この操作部６からの入力操作信号に応じた処理として、例えば、撮影処理、保存処理、データ入力処理などを行う。
【００２１】
メイン撮像部７は、その表示部５が配設されている表示部側の面に対してその逆側の面に、被写体を撮像するメインカメラとして備えられたもので、光学１０倍の広角・高倍率ズームを搭載した高精細画像を撮像可能なカメラである。そして、このメイン撮像部７は、図示省略したが、撮像レンズ、絞り機構、Ｃ−ＭＯＳ或いはＣＣＤなどの撮像素子（エリアイメージセンサ）、光学系駆動部などのほか、照明用のストロボ、アナログ処理回路、信号処理回路などを備えている。制御部１は、オートフォーカス処理（ＡＦ処理）、ズーム処理、露出調整処理（ＡＥ処理）を実行したり、メイン撮像部７からの画像データに対して各種の画像処理としてホワイトバランス調整・色補間・階調変換処理、輪郭強調処理を実行したり、更に画像処理として画像の向き変更・コントラスト変更・色調変更処理を施したり、ＪＰＥＧ形式などのデータ形式に圧縮する圧縮処理を実行したり、この圧縮データを伸長復元する復元処理などを実行したりする。
【００２２】
サブ撮像部８は、例えば、３２万画素程度の小さなＣ−ＭＯＳセンサを有する構成で、その表示部５を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者（撮影者などの画像視認者）の顔を撮像するサブカメラとして備えられたものである。そしてサブ撮像部８は、図示省略したが、撮像レンズ、絞り機構、撮像素子（エリアイメージセンサ）、光学系駆動部などのほか、アナログ処理回路、信号処理回路などを備えている。制御部１は、サブ撮像部８により撮像された画像を解析することにより使用者の顔を検出して、その使用者の顔或いは顔の部分の状態を判別し、顔或いは顔の部分の状態に応じて、表示部５に表示されている画像に対して画像処理を行うようにしている。
【００２３】
この場合、使用者の顔の状態として、使用者の顔の向き、年齢、性別を判別してそれに応じた画像処理を行うようにしている。また、使用者の顔の一部分の状態として、使用者の瞳の色を判別して、それに応じた画像処理を行うようにしている。このような画像処理は、メイン撮像部７により被写体を撮像する撮影モード時に限らず、画像記憶部Ｍ２内に記憶保存されている撮像済み画像を読み出して表示部５に表示させる再生モード時においても同様に実行可能となっている。
【００２４】
図２は、デジタルカメラの外観図を示した図である。
図２（１）は、表示部５が配設されている表示部側の面に対してその逆側の面からデジタルカメラを見た前面図で、その前面中央部には、メイン撮像部７の撮像レンズ７ａが配設され、図中、前面左上部分には、メイン撮像部７用のストロボ７ｂが配設されている。また、デジタルカメラの上面左端部分には、操作部６のレリーズボタン６ａが配設されている。また、図２（２）は、デジタルカメラの背面図で、その背面部には、表示部５が配設されていると共に、サブ撮像部８の撮像レンズ８ａが配設され、更には、操作部６の操作ボタン６ｂが配設されている。このようにメイン撮像部７は、表示部５の逆側にメインカメラとして備えられ、サブ撮像部８は、表示部５側にサブカメラとして備えられたものである。
【００２５】
図３は、画像処理テーブル記憶部Ｍ３を説明するための図である。
画像処理テーブル記憶部Ｍ３は、表示部５に表示されている画像の表示状態をその画像を見る使用者に応じて変更するために該画像に施す画像処理内容を記憶する。すなわち、画像処理テーブル記憶部Ｍ３は、サブ撮像部８により撮像された使用者の顔或いは顔の部分の状態に応じて、表示部５に表示されている画像に対してどのような画像処理を施すかを示す画像処理内容を記憶するもので、「顔或いは顔の部分の状態」に対応して「画像処理内容」の項目を有する構成となっている。「顔或いは顔の部分の状態」は、使用者の顔の状態或いは使用者の顔の部分の状態を示し、“使用者の顔の向き”、“使用者の瞳の色”、“使用者の年齢”、“使用者の性別”に区分されている。更に、“使用者の顔の向き”は“横向き”、“縦向き”に区分され、“使用者の瞳の色”は、“青”、“茶”に区分され、“使用者の年齢”は、“少年”、“青年”、“中年”、“老年”に区分され、“使用者の性別”は、“男性”、“女性”に区分されている。
【００２６】
「画像処理内容」は、表示部５に表示されている画像に対してどのような画像処理を施すかを示すもので、上述の“使用者の顔の向き”である“横向き”に対応する「画像処理内容」として“画像を横向きに変更”が記憶され、“縦向き”に対応して“画像を縦向きに変更”が記憶されている。また、“使用者の瞳の色”の“青”に対応して“色温度を下げる”が記憶され、“茶”に対応して“色温度を上げる”が記憶されている。また、“使用者の年齢”の“少年”に対応して“コントラストを高くする”が記憶され、“青年”に対応して“標準のコントラスト”が記憶され、“中年”に対応して“コントラストをやや低くする”が記憶され、“老年”に対応して“コントラストを低くする”が記憶されている。また、“使用者の性別”の“男性”に対応して“風景が美しくなる処理”が記憶され、“女性”に対応して“顔が美しくなる処理”が記憶されている。なお、この「画像処理内容」は、ユーザ操作により任意に設定されたもので、自分の好みに応じた処理を設定することができる。
【００２７】
次に、第１実施形態におけるデジタルカメラの動作概念を図４及び図５に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードに従った動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。
【００２８】
図４及び図５は、デジタルカメラの全体動作、特に本実施形態の特徴部分の動作概要を示したフローチャートで、電源投入に応じて実行開始される。
先ず、制御部１は、撮影モード、再生モードのいずれに切り換えられているかを調べる（ステップＳ１）。すなわち、メイン撮像部７により被写体を撮像する撮影モードに切り換えられているか、画像記憶部Ｍ２内に記憶保存されている撮像済み画像を読み出して表示部５に表示させる再生モードに切り換えられているかを調べ、撮影モードに切り換えられているときには（ステップＳ１でＹＥＳ）、サブ撮像部８により撮像された画像を解析して使用者の顔を検出する処理を行う（ステップＳ２）。この場合、顔の各部位（眼、鼻、口、耳など）、それらの位置関係、眼鏡などから総合的に判断して顔検出処理を行うが、その際、顔を検出したとしても所定以上の大きさの顔を検出したか、つまり、所定距離以内（表示部５の近傍）に使用者が居るかを加味して、使用者の顔を検出したか否かを判別するようにしている（ステップＳ３）。
【００２９】
ここで、使用者の顔を検出しなかった場合又は使用者の顔を検出したとしても所定距離以内に使用者が居なかった場合には（ステップＳ３でＮＯ）、レリーズボタン６ａの操作有無を調べたり（ステップＳ７）、モード選択ボタンの操作有無を調べたり（ステップＳ１３）、その他の操作有無を調べたりする（ステップＳ１５）。ここで、いずれの操作も行われなければ（ステップＳ１５でＮＯ）、上述のステップＳ３に戻るが、レリーズボタン６ａ、モード選択ボタン以外の操作として、例えば、露出設定、ズーム、撮影シーン設定などの操作が行われたときには（ステップＳ１５でＹＥＳ）、その操作に応じた処理として、露出設定処理、ズーム処理、撮影シーン設定処理などを行った後（ステップＳ１６）、上述のステップＳ３に移る。
【００３０】
また、レリーズボタン６ａが操作されたときには（ステップＳ７でＹＥＳ）、ＡＥ処理、ＡＦ処理などを実行した後（ステップＳ８）、上述の「顔或いは顔の部分の状態」に基づいて画像処理テーブル記憶部Ｍ３を参照し、その結果、該当する「画像処理内容」が記憶されているかを調べるが（ステップＳ９）、いま、「顔或いは顔の部分の状態」を判別することができなかった場合であるから撮影処理に移り（ステップＳ１１）、メイン撮像部７により撮像されて表示部５に表示されている画像に対してホワイトバランス調整などを行った後、圧縮処理によって圧縮した画像データを画像記憶部Ｍ２に記憶保存させる保存処理を行う（ステップＳ１２）。その後、上述のステップＳ３に戻る。
【００３１】
また、上述の顔検出処理の結果（ステップＳ２）、顔を検出することができたときには（ステップＳ３でＹＥＳ）、その使用者の顔或いは顔の部分の状態を判別する処理を行う（ステップＳ４）。この場合、使用者の顔の状態として、使用者の顔の向き、年齢、性別を判別するが、その際、顔の各部位（眼、鼻、口、耳など）、それらの位置関係、顔の皺、皮膚の弛み、化粧状態、肌色などを総合的に判断して顔の状態を判別したり、使用者の顔の一部分の状態として、使用者の瞳の色を判別したりする。そして、この判別結果の「顔或いは顔の部分の状態」に基づいて画像処理テーブル記憶部Ｍ３を参照する（ステップＳ５）。
【００３２】
そして、メイン撮像部７により被写体を撮像した画像（スルー画像：ライブビュー画像）をファインダ画面（モニタ画面）として表示部５に表示させた後（ステップＳ６）、レリーズボタン６ａの操作有無を調べるステップＳ７に移る。いま、レリーズボタン６ａが操作されたときには（ステップＳ７でＹＥＳ）、ＡE処理、ＡF処理などを実行した後（ステップＳ８）、上述の「顔或いは顔の部分の状態」に基づいて画像処理テーブル記憶部Ｍ３を参照し、その結果、該当する「画像処理内容」が記憶されているかを調べ（ステップＳ９）、該当する「画像処理内容」が記憶されていれば（ステップＳ９でＹＥＳ）、表示部５に表示されている画像に対して、その「画像処理内容」で示される画像処理を行う（ステップＳ１０）。
【００３３】
すなわち、“使用者の顔の向き”が“縦向き”であれば、つまり、デジタルカメラを横向きに構えている状態であれば、表示部５に表示されている画像を縦向きに回転変更する処理を行い、“横向き”であれば、つまり、デジタルカメラを縦向きに構えている状態であれば、表示部５に表示されている画像を横向きに回転変更する処理を行う。また、“使用者の瞳の色”が“青”であれば、色温度を下げる処理（白色がやや赤味を帯びる処理）を行い、“茶”であれば、色温度を上げる処理（白色がやや青味を帯びる処理）を行う。また、“使用者の年齢”が“少年”であれば、コントラストを高くする処理を行い、“青年”であれば、標準のコントラスト”にする処理を行い、“中年”であれば、コントラストをやや低くする処理を行い、“老年”であれば、コントラストを低くする処理を行う。また、“使用者の性別”が“男性”であれば風景が美しくなる処理（特徴的な色を際出させる処理など）を行い、“女性”であれば、顔が美しくなる処理（美肌、ぼかし処理など）を行う。
【００３４】
そして、撮影処理に移り（ステップＳ１１）、メイン撮像部７により撮像されて表示部５に表示されている画像に対してホワイトバランス調整などを行った後、圧縮処理によって圧縮した画像データを画像記憶部Ｍ２に記憶保存させる保存処理を行う（ステップＳ１２）。その後、上述のステップＳ３に戻る。
【００３５】
また、撮影モードにおいてモード選択ボタンが操作されたときには（ステップＳ１３でＹＥＳ）、撮影モードから再生モードへの切り換えを行った後（ステップＳ１４）、図５のフローに移る。ここで、画像記憶部Ｍ２に記憶されている撮像済み画像の中から再生対象として所望する画像を選択する画像選択操作が行われると（ステップＳ１７でＹＥＳ）、その選択画像を再生対象として読み出す（ステップＳ１８）。そして、上述の場合と同様に、サブ撮像部８により撮像された画像（表示部５を見る使用者の画像）を解析して使用者の顔を検出する処理を行う（ステップＳ１９）。この場合、使用者は、再生モードに切り換えて画像選択操作を行った後、顔を表示部５に向けたり、表示部５を顔に向けたりする。
【００３６】
ここで、顔検出処理により顔を検出すると（ステップＳ２０でＹＥＳ）、その使用者の顔或いは顔の部分の状態を判別する処理を行い（ステップＳ２１）、その判別処理の結果である「顔或いは顔の部分の状態」に基づいて画像処理テーブル記憶部Ｍ３を参照し（ステップＳ２２）、該当する「画像処理内容」が記憶されているかを調べる（ステップＳ２３）。その結果、該当する「画像処理内容」が記憶されていなければ（ステップＳ２３でＮＯ）、画像表示処理を行うステップＳ２５に移るが、該当する「画像処理内容」が記憶されていれば（ステップＳ２３でＹＥＳ）、再生対象として選択された画像又は表示部５に表示されている画像に対して、その「画像処理内容」で示される画像処理を行った後（ステップＳ２４）、その画像を表示部５に表示させる（ステップＳ２５）。
【００３７】
以下、画像送り操作が行われたかを調べたり（ステップＳ２６）、モード選択ボタンが操作されたかを調べたり（ステップＳ２８）、その他の操作が行われたかを調べたりする（ステップＳ３０）。ここで、いずれの操作も行われなければ（ステップＳ３０でＮＯ）、上述のステップＳ１９に戻るが、画像送り操作が行われたときには（ステップＳ２６でＹＥＳ）、再生対象として次の画像を画像記憶部Ｍ２から読み出して表示部５に表示させる画像送り処理を行った後（ステップＳ２７）、上述のステップＳ１９に戻る。また、その他の操作として、画像の削除などの編集、スライドショーの開始などが操作されたときには（ステップＳ３０でＹＥＳ）、操作に応じた処理として編集処理、スライドショー表示処理などを実行した後（ステップＳ３１）、上述のステップＳ１９に戻る。また、再生モードにおいてモード選択ボタンが操作されたときには（ステップＳ２８でＹＥＳ）、再生モードから撮影モードへの切り換えを行った後（ステップＳ２９）、図４のステップＳ１に移る。
【００３８】
以上のように、第１実施形態においては、表示部５を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像するサブ撮像部８を備え、制御部１は、このサブ撮像部８により撮像された使用者の顔を検出すると共に、検出した使用者の顔或いは顔の部分の状態を判別し、この顔或いは顔の部分の状態に応じて、表示部５に表示されている画像に対して画像処理を行うようにしたので、特別な操作を行うことなく、使用者を撮像した画像を利用して、画像の表示内容を適切に変更することができ、使用者の状態に合った画像表示が可能となる。
【００３９】
被写体を撮像するメイン撮像部７のほかに備えられているサブ撮像部８により表示部５を見る使用者を撮像するようにしたので、専用カメラにより表示部５を見る使用者をいつでも撮像することが可能となる。
【００４０】
画像記憶部Ｍ２に記憶されている画像を読み出して、表示部５に表示させるようにしたので、メイン撮像部７によりリアルタイムに撮像された画像に対する画像処理に限らず、画像記憶部Ｍ２に記憶保存されている撮影済み画像に対して画像処理を行うことができる。例えば、外部から取得した画像を表示部５に表示させる場合でも、使用者に合った画像表示が可能となる。
【００４１】
使用者の顔の向きに応じて、表示部５に表示されている画像の向きを変更する処理を行うようにしたので、デジタルカメラを横向きに構えているのか縦向きに構えているのかに応じて、表示部５に表示されている画像の向きを変更することができ、画像の向きを検出する向きセンサ（縦横センサ）の代替えとすることができる。
【００４２】
使用者の瞳の色に応じて、表示部５に表示されている画像の色温度を変更する画像処理を行うようにしたので、人種などに適した表示が可能となり、使用者にとって画像が見易くなる。
【００４３】
使用者の年齢に応じて、表示部５に表示されている画像のコントラストを変更する画像処理を行うようにしたので、若い人ほどコントラストの高い画像を好む傾向を加味するなど、年齢層に適した表示が可能となり、使用者にとって画像が見易くなる。
【００４４】
使用者の性別に応じて、表示部５に表示されている画像に対する画像処理を行うようにしたので、性別に適した表示が可能となる。この場合、使用者が女性の場合は、友人や知人などの顔を美しく見ることができ、友人、知人にとっても受け入れられるものとなる。
【００４５】
（実施形態２）
以下、この発明の第２実施形態について図６及び図７を参照して説明する。
なお、上述した第１実施形態においては、被写体を撮像するメイン撮像部７のほかに、表示部５を見る使用者を撮像する専用カメラとしてサブ撮像部８を備えたが、この第２実施形態においては、被写体の撮像と、表示部５を見る使用者の撮像を１台の撮像部で兼用するようにしたものである。ここで、両実施形態において基本的或いは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。
【００４６】
図６は、第２実施形態において、撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図である。
デジタルカメラは、上述した第１実施形態と同様のコンパクトカメラで、制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのデジタルカメラの全体動作を制御する。記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されている。ＲＡＭ４は、このデジタルカメラが動作するために必要となる各種の情報を一時的に記憶するワーク領域である。
【００４７】
表示部５は、例えば、高精細液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパのいずれかを使用し、画像を高精細に表示するもので、撮像された画像（スルー画像）を表示するファインダ画面として機能したり、保存済み画像を表示する再生画面として機能したりする。操作部６は、図示省略したが、押しボタン形式の各種のキーとして、被写体の撮像を開始させるレリーズボタン６ａ、撮影モードと再生モードとを切り換え選択するモード選択ボタンなどの各種のファンクションキーや十字キーなどの操作ボタンを備えたもので、制御部１は、この操作部６からの入力操作信号に応じた処理として、例えば、撮影処理、保存処理、データ入力処理などを行う。
【００４８】
撮像部１１は、その撮像方向として、表示部５を見る使用者の顔を撮像する方向と、使用者と相対する被写体を撮像する方向に変更可能なもので、上述のメイン撮像部７と同様の構成となっている。制御部１は、撮像部１１により使用者の顔を撮像した場合に、その撮像された画像を解析することにより使用者の顔を検出して、その使用者の顔或いは顔の部分の状態を判別し、顔或いは顔の部分の状態に応じて、表示部５に表示されている画像に対して画像処理を行うが、その際、使用者の顔の状態として使用者の顔の向き、年齢、性別を判別したり、使用者の顔の一部分の状態として、使用者の瞳の色を判別したりしてそれに応じた画像処理を行うようにしている。
【００４９】
図７は、第２実施形態におけるデジタルカメラの外観図で、図７（１）は、表示部５が配設されている面の逆側であるデジタルカメラの前面図、図７（２）は、デジタルカメラの背面図である。
デジタルカメラを構成する筺体は、長方体の本体部１２と、この本体部１２の長辺方向の一端部に回転可能に取り付けられている可動部１３を有する構成で、本体部１２の長辺方向一端部においてその短辺方向の中心位置に設けた支軸（図示省略）を介して可動部１３が１８０°回転可能に取り付けられている。この場合、使用者は、本体部１２に対して支軸を中心に可動部１３を弾性力（バネ力）に抗して回すことにより撮像部１１の撮像方向を１８０°変更するようにしている。上述の支軸、バネなどにより撮影方向変更部１４を構成するが、この撮影方向変更部１４は、機構部に限らず、モータを備えた駆動部であってもよく、その構成は任意である。
【００５０】
そして、図７（１）に示すように、デジタルカメラの前面側に撮像部１１の撮像レンズ１１ａを向けた状態においては、可動部１３に配設されている撮像レンズ１１ａとそのストロボ１１ｂが表示部５の逆側を向くようになる。また、図７（２）に示すように、デジタルカメラの背面側に撮像部１１の撮像レンズ１１ａを向けた状態においては、本体部１２の背面側に配設されている表示部５及び操作部６の操作ボタン６ｂと、可動部１３に配設されている撮像レンズ１１ａ及びストロボ１１ｂとが同じ方向を向くようになる。
【００５１】
以上のように、第２実施形態においては、撮像部１１の撮像方向として、表示部５を見る使用者の顔を撮像する方向と、使用者と相対する被写体を撮像する方向に変更可能な撮影方向変更部１４を備えるようにしたので、上述した第１実施形態と同様に、特別な操作を行うことなく、使用者を撮像した画像を利用して、画像の表示状態を適切に変更することができ、使用者の状態に合った画像表示が可能となるほか、単一の撮像部１１で被写体の撮像と使用者の撮像とを行うことができ、構成の簡素化と共に、使用者にあっては、本体部１２に対して可動部１３を弾性力に抗して回すだけで撮影方向を容易に変更することができる。
【００５２】
なお、上述した各実施形態においては、撮像装置としてデジタルカメラ（コンパクトカメラ）に適用した場合を示したが、カメラ機能付きの携帯電話機・ＰＤＡ・音楽プレイヤーなどであってもよい。
【００５３】
その他、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【符号の説明】
【００５４】
１ 制御部
３ 記憶部
５ 表示部
６ 操作部
７ メイン撮像部
８ サブ撮像部
１１ 撮像部
１２ 本体部
１３ 可動部
１４ 撮影方向変更部
Ｍ１ プログラム記憶部
Ｍ２ 画像記憶部
Ｍ３ 画像処理テーブル記憶部
【特許請求の範囲】
【請求項１】
撮像した画像を表示する表示手段を備えた撮像装置であって、
前記表示手段を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像する撮像手段と、
前記撮像手段により撮像された使用者の顔を検出する検出手段と、
前記検出手段により検出された使用者の顔或いは顔の部分の状態を判別する判別手段と、
前記判別手段により判別された顔或いは顔の部分の状態に応じて、前記表示手段に表示されている画像に対して画像処理を行う画像処理手段と、
を具備したことを特徴とする撮像装置。
【請求項２】
被写体を撮像する第２の撮像手段を更に備え、
前記表示手段に表示される画像は、前記第２の撮像手段により撮像された画像である、
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
画像を記憶する記憶手段を更に備え、
前記表示手段に表示される画像は、前記記憶手段に記憶されている画像である、
ことを特徴とする請求項１或いは請求項２記載の撮像装置。
【請求項４】
前記撮像手段は、その撮像方向として、前記表示手段の画面を見る使用者の顔を撮像する方向と該使用者と相対する被写体を撮像する方向に変更可能な撮影方向変更部を備える、
ようにしたことを特徴とする請求項１或いは請求項３記載の撮像装置。
【請求項５】
前記判別手段は、前記使用者の顔の向きを判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の顔の向きに応じて、前記表示手段に表示されている画像の向きを変更する処理を行う、
ようにしたことを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
【請求項６】
前記判別手段は、前記使用者の瞳の色を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の瞳の色に応じて、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
【請求項７】
前記判別手段は、前記使用者の年齢を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の年齢に応じて、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
【請求項８】
前記判別手段は、前記使用者の性別を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の性別に応じて、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
【請求項９】
コンピュータに対して、
表示手段を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像する撮像手段により撮像された使用者の顔を検出する機能と、
前記検出された使用者の顔或いは顔の部分の状態を判別する機能と、
前記判別された顔或いは顔の部分の状態に応じて、前記表示手段に表示されている画像に対して画像処理を行う機能と、
を実現させるためのプログラム。
【請求項１】
撮像した画像を表示する表示手段を備えた撮像装置であって、
前記表示手段を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像する撮像手段と、
前記撮像手段により撮像された使用者の顔を検出する検出手段と、
前記検出手段により検出された使用者の顔或いは顔の部分の状態を判別する判別手段と、
前記判別手段により判別された顔或いは顔の部分の状態に応じて、前記表示手段に表示されている画像に対して画像処理を行う画像処理手段と、
を具備したことを特徴とする撮像装置。
【請求項２】
被写体を撮像する第２の撮像手段を更に備え、
前記表示手段に表示される画像は、前記第２の撮像手段により撮像された画像である、
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
画像を記憶する記憶手段を更に備え、
前記表示手段に表示される画像は、前記記憶手段に記憶されている画像である、
ことを特徴とする請求項１或いは請求項２記載の撮像装置。
【請求項４】
前記撮像手段は、その撮像方向として、前記表示手段の画面を見る使用者の顔を撮像する方向と該使用者と相対する被写体を撮像する方向に変更可能な撮影方向変更部を備える、
ようにしたことを特徴とする請求項１或いは請求項３記載の撮像装置。
【請求項５】
前記判別手段は、前記使用者の顔の向きを判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の顔の向きに応じて、前記表示手段に表示されている画像の向きを変更する処理を行う、
ようにしたことを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
【請求項６】
前記判別手段は、前記使用者の瞳の色を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の瞳の色に応じて、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
【請求項７】
前記判別手段は、前記使用者の年齢を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の年齢に応じて、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
【請求項８】
前記判別手段は、前記使用者の性別を判別し、
前記画像処理手段は、前記判別手段が判別した前記使用者の性別に応じて、前記表示手段に表示されている画像に対する画像処理を行う、
ようにしたことを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
【請求項９】
コンピュータに対して、
表示手段を構成する画面の配設方向に対して略同方向を撮像方向とし、該画面を見る使用者を撮像する撮像手段により撮像された使用者の顔を検出する機能と、
前記検出された使用者の顔或いは顔の部分の状態を判別する機能と、
前記判別された顔或いは顔の部分の状態に応じて、前記表示手段に表示されている画像に対して画像処理を行う機能と、
を実現させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−７４８２８（Ｐ２０１２−７４８２８Ａ）
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願番号】特願２０１０−２１６９４０（Ｐ２０１０−２１６９４０）
【出願日】平成２２年９月２８日（２０１０．９．２８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願日】平成２２年９月２８日（２０１０．９．２８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]