撮像装置および撮像プログラム
【課題】3次元画像の撮影操作をユーザに適切に実行させるための支援を行うことができる撮像装置および撮像プログラムを提供する。
【解決手段】被写体を撮像して該被写体の画像データを生成する撮像部が移動する前後または移動する間に生成される画像データであって3次元画像を構成する一対の画像データを取得する際の操作方法を説明するガイダンス情報を音声、文字、画像等を用いて作成して出力し、このガイダンス情報にしたがった操作がなされた場合に該操作に対応する撮影制御を自動的に行う。
【解決手段】被写体を撮像して該被写体の画像データを生成する撮像部が移動する前後または移動する間に生成される画像データであって3次元画像を構成する一対の画像データを取得する際の操作方法を説明するガイダンス情報を音声、文字、画像等を用いて作成して出力し、このガイダンス情報にしたがった操作がなされた場合に該操作に対応する撮影制御を自動的に行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体を撮像して電子的な画像データを生成する撮像装置および撮像プログラムに関する。
【背景技術】
【0002】
近年、同一の被写体に対して異なる位置から一対の2次元画像データを取得し、この取得した一対の画像データに含まれる被写体像の視差を利用することにより、ユーザが立体視することが可能な3次元画像を撮影する技術が普及してきつつある。
【0003】
このような技術として、2眼式の撮像装置を用いて3次元画像を撮影する技術が知られている(例えば、特許文献1を参照)。しかしながら、2眼式の撮像装置は構成が複雑である上、左右の画像の視差を撮影時に調整する、いわゆる輻輳調整が必要であった。
【0004】
2眼式の撮像装置が有する問題を解決するために、構成が単純な1眼式の撮像装置を所定方向に沿って移動させながら複数の画像データを取得することによって3次元画像を撮影する技術が知られている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−128683号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した1眼式の撮像装置の場合、撮像装置を適切に動かさなければ、3次元画像のもととなる一対の2次元画像を正しく取得することができない。しかしながら、初心者のように経験が浅いユーザは3次元画像を撮影する際の操作方法に戸惑ってしまい、撮像装置を適切に動かすことができない場合が多かった。このため、3次元画像の撮影操作をユーザに適切に実行させるための支援を行うことができる技術が求められていた。
【0007】
本発明は、上記に鑑みてなされたものであって、3次元画像の撮影操作をユーザに適切に実行させるための支援を行うことができる撮像装置および撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体を撮像して該被写体の画像データを生成する撮像部が移動する前後または移動する間に前記撮像部によって生成される画像データであって3次元画像を構成する一対の画像データを取得することが可能な撮像装置において、前記一対の画像データを取得する際の操作方法を説明するガイダンス情報を作成するガイダンス情報作成部と、前記ガイダンス情報作成部が作成したガイダンス情報を出力するガイダンス情報出力部と、を備え、前記ガイダンス情報にしたがった操作がなされた場合に該操作に対応する撮影制御を自動的に行うことを特徴とする。
【0009】
また、本発明に係る撮像装置は、上記発明において、前記ガイダンス情報出力部は、 前記ガイダンス情報を音声によって出力する音声出力部を有することを特徴とする。
【0010】
また、本発明に係る撮像装置は、上記発明において、前記ガイダンス情報出力部は、前記ガイダンス情報を文字および/または画像によって表示する表示部を有することを特徴とする。
【0011】
また、本発明に係る撮像装置は、上記発明において、前記撮像部が生成した画像データに含まれる人物の顔を検出する顔検出部をさらに備え、前記ガイダンス情報作成部は、前記顔検出部が検出した顔の情報に基づいて前記撮像部の移動距離を算出し、この移動距離をガイダンス情報の一部とすることを特徴とする。
【0012】
また、本発明に係る撮像装置は、上記発明において、前記ガイダンス情報は、前記一対の画像データを順次取得する2つの撮影のうち時間的に早く行われる第1撮影の前に前記ガイダンス情報出力部によって出力される初期ガイダンス情報と、前記第1撮影の後であって、該第1撮影よりも時間的に後に行われる第2撮影の前に前記ガイダンス情報出力部によって出力される第1撮影後ガイダンス情報と、を含むことを特徴とする。
【0013】
また、本発明に係る撮像装置は、上記発明において、前記ガイダンス情報は、被写体が目および/または顔を動かして前記撮像部の動きを追うことを禁止するメッセージを含むことを特徴とする。
【0014】
また、本発明に係る撮像プログラムは、被写体を撮像して該被写体の画像データを生成する撮像部が移動する前後または移動する間に前記撮像部によって生成される画像データであって3次元画像を構成する一対の画像データを取得することが可能な撮像装置に、前記一対の画像データを取得する際の操作方法を説明するガイダンス情報を作成するガイダンス情報作成ステップと、前記ガイダンス情報作成ステップで作成したガイダンス情報を出力するガイダンス情報出力ステップと、前記ガイダンス情報にしたがった操作がなされた場合に該操作に対応する撮影制御を自動的に行う制御ステップと、を実行させることを特徴とする。
【発明の効果】
【0015】
本発明によれば、3次元画像を構成する一対の画像データを取得する際の操作方法を説明するガイダンス情報を作成して出力し、このガイダンス情報にしたがった操作がなされた場合に該操作に対応する撮影制御を行うため、3次元画像の撮影操作をユーザに適切に実行させるための支援を行うことができる。
【図面の簡単な説明】
【0016】
【図1】図1は、本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。
【図2】図2は、本発明の一実施の形態に係る撮像装置の被写体側(前面側)の構成を示す斜視図である。
【図3】図3は、本発明の一実施の形態に係る撮像装置のユーザ側(背面側)の構成を示す斜視図である。
【図4】図4は、本発明の一実施の形態に係る撮像装置が備える表示部の概略構成を示す模式図である。
【図5】図5は、本発明の一実施の形態に係る撮像装置が3D他人撮りモードに設定されている場合に表示部が表示する初期ガイダンス情報の表示例を示す図である。
【図6】図6は、本発明の一実施の形態に係る撮像装置が3D他人撮りモードに設定されている場合に表示部が表示する第1撮影後ガイダンス情報の表示例を示す図である。
【図7】図7は、本発明の一実施の形態に係る撮像装置が3D他人撮りモードに設定されている場合に一対の画像データを生成する状況を示す模式図である。
【図8】図8は、本発明の一実施の形態に係る撮像装置が3D他人撮りモードに設定されている場合に移動前撮影位置で撮影した画像(左目画像)の一例を示す図である。
【図9】図9は、本発明の一実施の形態に係る撮像装置が3D他人撮りモードに設定されている場合に移動前撮影位置で撮影した画像(右目画像)の一例を示す図である。
【図10】図10は、図8に示す左目画像と図9に示す右目画像を重ねた重畳画像を模式的に示す図である。
【図11】図11は、図8に示す左目画像と図9に示す右目画像を用いることによって生成された3次元画像を模式的に示す図である。
【図12】図12は、本発明の一実施の形態に係る撮像装置が3D自分撮りモードに設定されている場合の撮影動作の概要を模式的に示す図である。
【図13】図13は、本発明の一実施の形態に係る撮像装置が3D自分撮りモードに設定されている場合に表示部が表示する初期ガイダンス情報の表示例を示す図である。
【図14】図14は、本発明の一実施の形態に係る撮像装置が3D他人撮りモードに設定されている場合に表示部が表示する第1撮影後ガイダンス情報の表示例を示す図である。
【図15】図15は、本発明の一実施の形態に係る撮像装置が行う処理の概要を示すフローチャートである。
【図16】図16は、本発明の一実施の形態に係る撮像装置が行う3D自分撮りの処理の概要を示すフローチャートである。
【図17】図17は、本発明の一実施の形態に係る撮像装置が備えるガイダンス情報作成部における被写体距離の算出処理の概要を示す図である。
【図18】図18は、本発明の一実施の形態に係る撮像装置が行う3D他人撮りの処理の概要を示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、添付図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)を説明する。
【0018】
図1は、本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。図2は、本実施の形態に係る撮像装置の被写体に面する側(前面側)の構成を示す斜視図である。図3は、本実施の形態に係る撮像装置のユーザに面する側(背面側)の構成を示す斜視図である。図1〜図3に示す撮像装置1は、自身が移動される前後で自動的に取得した画像データを用いて3次元画像を生成する機能を有する。
【0019】
撮像装置1は、被写体を撮影し、撮影した被写体の電子的な画像データを生成する撮像部2と、撮像装置1の加速度を検出する姿勢検出部3と、撮像部2が撮影する視野領域にフラッシュを発光するフラッシュ発光部4と、撮影日時の判定機能やタイマー機能を有する時計5と、撮像装置1の各種情報の入力を受け付ける操作入力部6と、撮像部2が生成した画像データに対応する画像を表示する表示部7と、外部からの接触位置に応じた信号の入力を受け付けるタッチパネル8と、音声データを出力する音声出力部9と、撮像部2によって生成された画像データを含む各種情報を記憶する記憶部10と、撮像装置1の動作を制御する制御部11と、を備える。表示部7および音声出力部9は、3次元画像を撮影する際の撮像装置1の操作方法を説明するガイダンス情報を出力するガイダンス情報出力部としての機能を有する。
【0020】
撮像部2は、フォーカスレンズやズームレンズ等によって構成され、所定の視野領域からの光を集光するレンズ部2aと、DCモータ等によって構成され、レンズ部2aのフォーカスレンズやズームレンズ等を光軸L1上で移動させることにより、レンズ部2aのピント位置や焦点距離等の変更を行うレンズ駆動機構2bと、レンズ部2aが集光した光の入射量を制限することにより露出の調整を行う絞り2cと、ステッピングモータ等によって構成され、絞り2cを駆動する絞り駆動機構2dとを有する。また、撮像部2は、撮像素子2gの状態を露光状態または遮光状態に設定するシャッタ2eと、ステッピングモータ等によって構成され、レリーズ信号に応じてシャッタ2eを駆動するシャッタ駆動機構2fと、レンズ部2aが集光した光を受光して電気信号(アナログ信号)に変換するCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等によって実現される撮像素子2gと、撮像素子2gが出力する電気信号に増幅等の信号処理を施した後、A/D変換を行うことによってデジタルの画像データに変換して制御部11に出力する信号処理部2hとを有する。
【0021】
姿勢検出部3は、加速度センサによって構成され、撮像装置1の加速度を検出することにより、撮像装置1の姿勢および動きを検出する。
【0022】
フラッシュ発光部4は、キセノンランプやLED(Light Emitting Diode)等で構成される。フラッシュ発光部4は、撮像部2の視野領域へ向けて補助光であるフラッシュ光を照射する。
【0023】
操作入力部6は、撮像装置1の電源状態をオン状態またはオフ状態に切換える電源スイッチ6aと、撮影の指示を与えるレリーズ信号を入力するレリーズスイッチ6bと、撮像装置1の各種動作モードの切換えを行うモード切換スイッチ6cと、撮像装置1の各種設定を切換える操作スイッチ6dと、撮像装置1の動作モードや設定等に関する情報を表示部7に表示させるメニュースイッチ6eと、撮像部2のズーム操作を行うズームスイッチ6fとを有する。
【0024】
表示部7は、パララックスバリア(Parallax Barrier)方式に基づいて3次元画像を表示する機能を有する。図4は、表示部7の概略構成を示す模式図である。図4に示すように、表示部7は、バックライト71と、表示パネル72と、視差バリア73とを有する。
【0025】
バックライト71は、LED(Light Emitting Diode)等によって構成され、画像を表示するための光を表示パネル72の背面側(図4では下面側)から照射する。表示パネル72は、液晶または有機EL(Electro Luminescence)等の表示パネルによって構成される。視差バリア73は、液晶等によって構成され、表示パネル72の前面側(図4では上面側)に積層されてなる。視差バリア73は、表示パネル72における隣接画素の間隔よりも狭い間隔で設けられる複数のスリットを有する。この複数のスリットは、3次元画像を構成する一対の画像である右目画像および左目画像をユーザの右目ERおよび左目ELにそれぞれ届くように分離する機能を有する。これにより、ユーザは、表示部7が表示する3次元画像を立体視することができる。
【0026】
表示部7は、2次元画像を表示することも可能である。表示部7が表示する画像を3次元画像から2次元画像に切り換える際には、視差バリア73に印加される電圧がオン状態からオフ状態に変化することによって視差バリア73が遮光状態から透過状態に遷移し、左目画像または右目画像のどちらか一方が表示パネル72に出力される。
【0027】
なお、表示部7に対し、視差バリア73の代わりにレンティキュラレンズ(lenticular lens)レンズを設けることにより、3次元画像を表示する機能を具備させてもよい。
【0028】
タッチパネル8は、表示部7の表示画面上に重ねて設けられる(図3を参照)。タッチパネル8は、ユーザが表示部7で表示される情報に基づいて接触した位置を検出し、この接触位置に応じた操作信号の入力を受け付ける。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学式等がある。本実施の形態では、いずれの方式のタッチパネルであっても適用可能である。
【0029】
記憶部10は、撮像部2が撮影した画像データを記憶する画像データ記憶部10aと、撮像装置1が実行する各種プログラムおよび本実施の形態に係る撮像プログラムを記憶するプログラム記憶部10bと、撮像部2が撮影した画像データを一時的に記憶する画像データ仮記憶部10cと、ユーザが3次元画像を撮影する際の操作方法を説明するガイダンス情報を記憶するガイダンス情報記憶部10dと、を有する。記憶部10は、撮像装置1の内部に固定的に設けられるフラッシュメモリやRAM(Random Access Memory)等の半導体メモリを用いて実現される。なお、記憶部10に対し、外部から装着されるメモリカード等の記憶媒体に対して情報を記憶する一方、記憶媒体が記憶する情報を読み出す記憶媒体インターフェースとしての機能を具備させてもよい。
【0030】
制御部11は、CPU(Central Processing Unit)等によって実現される。制御部11は、操作入力部6からの操作信号等に応じて記憶部10のプログラム記憶部10bからプログラムを読み出して実行し、撮像装置1の各構成部に対する指示信号の出力やデータの転送等を行うことによって撮像装置1の動作を統括的に制御する。制御部11は、信号処理部2hから出力された画像データに対してエッジ強調、色補正およびγ補正等の各種画像処理を施す画像処理部11aと、撮像した画像に含まれる人物の顔を検出する顔検出部11bと、3次元画像に必要な一対の画像データを取得するための操作方法を説明するガイダンス情報を作成するガイダンス情報作成部11cと、画像中における顔の位置が正常な位置にあるか否かを判定する判定部11dと、画像処理部11aによって画像処理された一対の画像データを用いて3次元画像を生成する立体画像生成部11eと、を有する。
【0031】
顔検出部11bは、パターンマッチング等の公知の技術を用いることによって画像データに含まれる人物の顔を検出する。なお、顔検出部11bは、人物以外の顔、例えば犬や猫等の顔を検出するようにしてもよい。また、顔検出部11bは、検出した人物の顔の動きを判別することにより、撮像装置1の動きを検出する機能を有していてもよい。
【0032】
以上の構成を有する撮像装置1は、撮影モードとして、通常の撮影を行う通常撮影モード以外に、被写体として人物を含む3次元画像を撮影するモードである3D他人撮りモードと、ユーザ自身を被写体として含む3次元画像を撮影するモードである3D自分撮りモードとを設定することができる。
【0033】
ここで、撮像装置1が3D他人撮りモードに設定されている場合の撮像装置1の動作の概要を説明する。図5は、3D他人撮りモードが設定された直後に表示部7が表示するガイダンス情報(初期ガイダンス情報)の表示例を示す図である。撮像装置1が3D他人撮りモードに設定されると、表示部7は、まず図5(a)に示す初期ガイダンス画面101aを表示する。初期ガイダンス画面101aでは、「このモードは、カメラを横にシフトさせながら撮影するモードです。」というメッセージ、およびユーザの動作を模式的に示す絵が表示される。音声出力部9は、表示部7が初期ガイダンス画面101aを表示する間、表示されるメッセージと同じ内容を音声で出力する。
【0034】
その後、表示部7は、図5(b)に示す初期ガイダンス画面101bを表示する。初期ガイダンス画面101bでは、「この後、撮影用の画面に変わってからカメラが静止すると、自動的に最初の撮影を行います。」というメッセージ、およびユーザの動作を模式的に示す絵が表示される。初期ガイダンス図面101bで表示される絵は、初期ガイダンス画面101aで表示された絵とは異なる絵であって、ユーザがカメラを移動した状態を示す絵である。音声出力部9は、表示部7が初期ガイダンス画面101bを表示する間、表示されるメッセージと同じ内容を音声で出力する。
【0035】
続いて、表示部7はスルー画を表示する。スルー画を見たユーザが構図を決めてから撮像装置1を安定した状態で静止させると、撮像装置1は静止状態を検出し、自動的に撮像中の画像データを取得して記憶部10に記録する最初の撮影(以下、第1撮影という)を自動的に行う。なお、第1撮影を行う前に、初期ガイダンス画面101a、101bを交互に周期的に表示するようにしてもよい。また、ユーザの動作をアニメーションで表示するようにしてもよい。
【0036】
図6は、第1撮影後であって2回目の撮影(以下、第2撮影という)の前に表示部7が表示するガイダンス情報(第1撮影後ガイダンス情報)の表示例を示す図である。同図に示す第1撮影後ガイダンス画面102では、「最初の撮影が終了しました。カメラを右にMだけシフトして下さい。シフト時にぶれないようにして下さい。」というメッセージおよびシフト方向を示す矢印が表示されるとともに、スルー画Thが縮小表示される。ここで、撮像装置1のシフト量は、ガイダンス情報作成部11cによって算出される。ガイダンス情報作成部11cは、被写体の顔までの距離(被写体距離)を算出し、この被写体距離に基づいてシフト量を算出する。音声出力部9は、表示部7が第1撮影後ガイダンス画面102を表示している間、表示されるメッセージと同じ内容を音声で出力する。
【0037】
この後、ユーザが第1撮影後ガイダンス情報にしたがって撮像装置1をシフトさせてから静止すると、撮像装置1は第2撮影を行う。
【0038】
図7は、撮像装置1が3D他人撮りモードに設定されている場合に3次元画像のもととなる一対の画像データを生成する状況を示す模式図である。図7に示すように、撮像装置1は、レンズ部2aからの距離が異なる被写体A、Bを含む領域に対して、移動前の第1撮影位置P1、および移動後の第2撮影位置P2で3次元画像用の一対の画像データを自動的に取得する。図7に示す場合、レンズ部2aと被写体Aとの距離L1は、レンズ部2aと被写体Bとの距離L2より小さい(L1<L2)。
【0039】
図8は、撮像装置1が第1撮影(撮影位置P1)によって取得する画像(左目画像)の一例を示す図である。図9は、撮像装置1が第2撮影(撮影位置P2)によって取得する画像(右目画像)の一例を示す図である。図8と図9を比較すると、図8における被写体ALと被写体BLの画面上での距離が、図9における被写体ARと被写体BRの画面上での距離より小さい。
【0040】
図10は、図8に示す左目画像WL1と図9に示す右目画像WR1とを重ねた重畳画像を示す図である。図10に示す重畳画像WLR1は、撮像装置1に対して被写体Bより近くに位置する被写体Aが、被写体Bよりも視差の影響を受けている。すなわち、重畳画像WLR1では、被写体BLと被写体BRはほぼ重なっていて一つの被写体Bとして見えるのに対し、被写体ALと被写体ARは大きくずれている。換言すれば、重畳画像WLR1では、撮像装置1からの距離が近い被写体ほど、左目画像WL1と右目画像WR1において互いに対応する画素点の視差が大きい。
【0041】
図11は、立体画像生成部11eが、左目画像WL1および右目画像WR1を用いることによって生成した3次元画像を模式的に示す図である。図11に示す3次元画像W1においては、被写体Aが仮想的に飛び出して見える。なお、被写体Aの飛び出し量を調整可能とすることもできる。この場合には、立体画像生成部11eに対し、2つの画像における対応画素点の視差量を調整する機能を具備させればよい。
【0042】
次に、撮像装置1が3D自分撮りモードに設定されている場合の撮像装置1の動作の概要を説明する。図12は、撮像装置1が3D自分撮りモードに設定されている場合の撮影動作の概要を模式的に示す図である。図12に示す場合、ユーザ自身である被写体Cは、撮像装置1を手で把持しながら水平方向に沿って距離Nだけ移動させる(図12(a)→図12(b))。撮像装置1は、この移動の前後で自動的に撮影した一対の画像データに基づいて3次元画像を生成する。
【0043】
図13は、3D自分撮りモードが設定された直後に表示部7が表示する初期ガイダンス情報の表示例を示す図である。撮像装置1が3D自分撮りモードに設定されると、表示部7は、図13(a)に示す初期ガイダンス画面103aを表示する。初期ガイダンス画面103aでは、「このモードはカメラを横にシフトさせながら自分撮りを行うモードです。」というメッセージ、およびユーザの動作を模式的に示す絵が表示される。
【0044】
この後、表示部7は、図13(b)に示す初期ガイダンス画面103bを表示する。初期ガイダンス画面103bでは、初期ガイダンス画面103bと同じメッセージが表示されるとともに、撮像装置1をシフトした後の状態を示す絵であって初期ガイダンス画面103aで表示される絵とは異なる絵が表示される。なお、表示部7が、初期ガイダンス画面103a、103bを所定回数だけ交互に繰り返して表示するようにしてもよい。音声出力部9は、表示部7が初期ガイダンス画面103a、103bを表示している間、表示されるメッセージと同じ内容を音声で出力する。
【0045】
続いて、表示部7は、図13(c)に示す初期ガイダンス画面103cを表示する。初期ガイダンス画面103cでは、「撮影レンズを自分に向けて構えて下さい。カメラが静止すると、自動的に最初の撮影を行います。」というメッセージが表示されるとともに、ユーザが構える状況を模式的に示す絵(初期ガイダンス画面103aと同じ状態を示す絵)が表示される。音声出力部9は、表示部7が初期ガイダンス画面103cを表示している間、表示されるメッセージと同じ内容を音声で出力する。
【0046】
図14は、第1撮影後であって第2撮影前に撮像装置1が出力するガイダンス情報(第1撮影後ガイダンス情報)の出力例を示す図である。第1撮影後ガイダンス情報は、「最初の撮影が終了しました。カメラを左にNだけシフトしてください。ぶれに注意し、カメラの動きに合わせて目や顔を動かさないようにして下さい。」という内容のメッセージである。メッセージに含まれる撮像装置1のシフト量Nは、3D他人撮りモードの場合と同様、ガイダンス情報作成部11cにより、被写体Cと撮像部2との距離Lに基づいて算出される。
【0047】
3D自分撮りモードの場合、ユーザは表示部7を見れない状態にある。このため、第1撮影後ガイダンス情報は、音声出力部9が音声としてのみ出力すれば十分である。
【0048】
3D自分撮りモードにおける第1撮影後ガイダンス情報として、撮像装置1の動きを追うことを禁止するメッセージを加える理由を説明する。3D自分撮りモードでは、撮像装置1と被写体Cとの距離が近く、たかだか1m程度である。このため、2回の撮影を行う間に被写体Cが撮像装置1を見ていると、移動前と移動後では、黒目(眼球)が回転してしまったり、顔が動いてしまったりすることがある。このように被写体Cが2回の撮影の間に目や顔を動かしてしまうと、3次元画像における被写体Cの顔の表示が違和感を伴うものになってしまう。そのため、3D自分撮りモードでは、第1撮影後ガイダンス情報として、撮像装置1の動きを禁止するメッセージを出力する。なお、上述した3D他人撮りモードにおける第1撮影後ガイダンス情報として、撮像装置1の動きを禁止するメッセージを追加してもよい。
【0049】
以上説明したように、本実施の形態では、撮像装置1が3D他人撮りモードや3D自分撮りモードに設定されている場合、撮影動作前や撮影動作中の適切なタイミングでガイダンス情報を出力するため、それらのモードに設定された撮像装置1の操作に不慣れなユーザであっても、ガイダンス情報を頼りに容易に操作を行うことができる。
【0050】
以下、撮像装置1の動作をより詳細に説明する。図15は、撮像装置1が撮影モードまたは再生モードに設定されている場合の処理の概要を示すフローチャートである。
【0051】
図15において、まず、制御部11は、撮像装置1の電源がオンになっているか否かを判断する(ステップS101)。撮像装置1の電源がオンになっている場合(ステップS101:Yes)、撮像装置1はステップS102に移行する。一方、撮像装置1の電源がオンになっていない場合(ステップS101:No)、撮像装置1は本処理を終了する。
【0052】
ステップS102において、撮像装置1が撮影モードに設定されている場合(ステップS102:撮影モード)、撮像装置1はステップS103へ移行する。一方、撮像装置1が再生モードに設定されている場合(ステップS102:再生モード)、撮像装置1はステップS114へ移行する。
【0053】
撮像装置1が撮影モードに設定されている場合(ステップS102:撮影モード)を説明する。上述したように、撮像装置1は、撮影モードとして3D自分撮りモード、3D他人撮りモードおよび通常モードの三つのモードを設定することが可能である。まず、撮像装置1が3D自分撮りモードに設定されている場合(ステップS103:Yes)を説明する。この場合、制御部11は、3D自分撮りの処理を行う(ステップS104)。
【0054】
図16は、3D自分撮りの処理の概要を示すフローチャートである。以下の説明において、姿勢検出部3は、所定の周期で撮像装置1の姿勢および動きを検出しているものとする。制御部11は、表示部7および音声出力部9に初期ガイダンス情報を出力させる(ステップS201)。具体的には、制御部11は、表示部7に初期ガイダンス情報を表示させるとともに、音声出力部9に初期ガイダンス情報を音声で出力させる。表示部7が表示する初期ガイダンス情報は、例えば図13に示す初期ガイダンス画面103a〜103cである。
【0055】
初期ガイダンス画面103cを表示した後、撮像部2は画像データを取得する(ステップS202)。この後、顔検出部11bは、撮像部2が取得した画像データに含まれる顔を検出する(ステップS203)。顔検出部11bが検出した結果、顔が画像中に正しく配置されている場合(ステップS204:Yes)において、姿勢検出部3が検出した撮像装置1の姿勢が安定しているとき(ステップS205:Yes)、撮像装置1は第1回目の撮影(第1撮影)を行い、画像データ仮記憶部10cに画像データを仮記憶する(ステップS206)。
【0056】
その後、ガイダンス情報作成部11cは、顔検出部11bが検出した顔までの距離(被写体距離)を算出する(ステップS207)。図17は、ガイダンス情報作成部11cにおける被写体距離の算出処理の概要を模式的に示す図である。顔検出部11bは、検出した顔の撮像素子2gにおける顔幅Xfを用いるとともに、被写体A1の顔幅として所定値XF、および撮影レンズの焦点距離Fを用いることにより、被写体距離L=F・XF/Xfを算出する。ここで、顔幅XFは、例えば15〜25cm程度である。
【0057】
続いて、ガイダンス情報作成部11cは、被写体距離Lをもとに撮像装置1の移動距離を算出する(ステップS208)。この移動距離Nは、例えばN=L/30で求められる。具体的には、被写体距離L=60(cm)の場合、移動距離N=2(cm)となる。このように設定することにより、仮に被写体Cが撮像装置1の動きを追って目を動かしてしまったとしても、眼球の回転角θ〜arctan(N/L)を1°程度に抑えることができるため、違和感の少ない3次元画像を生成することができる。
【0058】
その後、制御部11は、音声出力部9に第1撮影後ガイダンス情報を出力させる(ステップS209)。音声出力部9が出力するメッセージは、例えば図14に示すようなメッセージである。
【0059】
この後、姿勢検出部3が撮像装置1のシフト動作を検出し(ステップS210:Yes)、かつシフト動作後に撮像装置1が静止するのを検出した場合(ステップS211:Yes)、撮像装置1は第2撮影を行い、取得した画像データを画像データ仮記憶部10cに仮記憶する(ステップS212)。
【0060】
撮像装置1が第2撮影を行った後、判定部11dは、第1および第2撮影で撮影した一対の画像データを画像データ仮記憶部10cから読み出し、各画像データに含まれる被写体の顔位置を比較することにより、顔が正しく撮影されているか否かを判定する(ステップS213)。ここで、判定部11dは、一対の画像中の所定領域(例えば画像の中央部を含む領域)に顔がそれぞれ写っており、かつ顔に含まれる黒目が一対の画像で所定角度(例えば2°〜5°程度)以上変化していなければ、顔が正しく撮影されていると判定する。
【0061】
判定部11dが判定した結果、顔が正しく撮影されている場合(ステップS213:Yes)、制御部11は、第1および第2撮影で取得した一対の画像を3次元画像用としてペア化した上で画像データ記憶部10aに記憶させる(ステップS214)。ここでのペア化とは、例えば各画像データに対して、ペアとなる相手の画像データの情報を追加することを意味する。なお、ステップS214において、制御部11は、画像データ仮記憶部10cが記憶する一対の画像データを削除する。
【0062】
続いて、制御部11は、音声出力部9に終了ガイダンス情報を出力させる(ステップS215)。終了ガイダンス情報の内容は、例えば「3D自分撮りが終了しました。」というメッセージである。
【0063】
この後、制御部11は、表示部7に撮影した3次元画像をレックビュー表示させる(ステップS216)。
【0064】
ステップS216の後、撮像装置1は、図15に示すメインルーチンへ戻り、後述するステップS105へ移行する。
【0065】
ステップS204で顔が正しく配置されていない場合(ステップS204:No)、またはステップS205で撮像装置1の姿勢が安定していない場合(ステップS205:No)、初期ガイダンス情報を出力してから所定時間経過していないとき(ステップS217:No)、撮像装置1はステップS202へ戻る。一方、ステップS217において、初期ガイダンス情報を出力してから所定時間経過したとき(ステップS217:Yes)、制御部11は音声出力部9に保持状態警告情報を出力させる(ステップS218)。ここで音声出力部9が出力する保持状態警告情報は、例えば「初めからやり直してください。」というメッセージである。ステップS217における所定時間は、例えば5〜10秒程度である。ステップS218の後、撮像装置1はメインルーチンへ戻る。
【0066】
ステップS210で姿勢検出部3が撮像装置1のシフト動作を検出せず(ステップS210:No)、第1撮影後ガイダンス情報を出力してから所定時間経過していなければ(ステップS219:No)、撮像装置1はステップS210へ戻る。一方、ステップS210で姿勢検出部3が撮像装置1のシフトを検出せず(ステップS210:No)、第1撮影後ガイダンス情報を出力してから所定時間経過した場合(ステップS219:Yes)、撮像装置1は後述するステップS221へ移行する。ステップS219における所定時間は、例えば5〜10秒程度である。
【0067】
ステップS211で姿勢検出部3が撮像装置1の静止を検出しない場合(ステップS211:No)において、撮像装置1のシフト動作開始から所定時間経過していないとき(ステップS220:No)、撮像装置1はステップS211に戻る。一方、ステップS211で姿勢検出部3が撮像装置1の静止を検出しない場合(ステップS211:No)において、撮像装置1のシフト開始から所定時間経過した場合(ステップS220:Yes)、制御部11は、音声出力部9に時間超過警告情報を出力させる(ステップS221)。時間超過警告情報は、例えば「制限時間を過ぎましたので、初めからやり直してください。」というメッセージである。ステップS220における所定時間は、例えば2秒程度である。ステップS221の後、撮像装置1はメインルーチンへ戻る。
【0068】
ステップS213で判定部11dが判定した結果、顔が正常に撮影されていない場合(ステップS213:No)、制御部11は、画像データ仮記憶部10cが記憶する一対の画像データを削除し(ステップS222)、音声出力部9に撮影内容警告情報を出力させる(ステップS223)。撮影内容警告情報は、例えば「撮影に失敗したので初めからやり直してください。」というメッセージである。その後、撮像装置1はメインルーチンへ戻る。
【0069】
図15に戻り、ステップS104の後に続く処理を説明する。ステップS105では、操作入力部6によってモード変更指示信号が入力された場合(ステップS105:Yes)、制御部11は撮像装置1の動作モードの設定を変更する(ステップS106)。その後、撮像装置1はステップS101へ戻る。これに対し、ステップS105においてモード変更指示信号が入力されない場合(ステップS105:No)、撮像装置1は直接ステップS101へ戻る。
【0070】
次に、撮像装置1が3D自分撮りモードに設定されていない場合(ステップS103:No)を説明する。この場合において、撮像装置1が3D他人撮りモードに設定されているとき(ステップS107:Yes)、撮像装置1は3D他人撮り処理を行う(ステップS108)。一方、ステップS107において、撮像装置1が3D他人撮りモードに設定されていないとき(ステップS107:No)、撮像装置1はステップS109へ移行する。
【0071】
図18は、3D他人撮りの処理の概要を示すフローチャートである。姿勢検出部3は、3D他人撮りモードにおいても、3D自分撮りモードの場合と同様、所定の周期で撮像装置1の姿勢および動きを検出する。制御部11は、まず表示部7および音声出力部9に初期ガイダンス情報を出力させる(ステップS301)。表示部7が表示する初期ガイダンス情報は、例えば図5に示す初期ガイダンス画面101a、101bである。
【0072】
続いて、制御部11は、撮像部2が生成する画像データに対応する画像であるスルー画を表示部7に表示させる(ステップS302)。表示部7がスルー画表示を開始した後、姿勢検出部3が撮像装置1の静止を検出した場合(ステップS303:Yes)、顔検出部11bはスルー画の画像データに含まれる顔を検出する(ステップS304)。顔検出部11bが検出した顔が正しく配置されており(ステップS305:Yes)、かつ姿勢検出部3が検出した撮像装置1の姿勢が安定しているとき(ステップS306:Yes)、撮像装置1は第1撮影を行い、画像データ仮記憶部10cに画像データを仮記憶する(ステップS307)。
【0073】
その後、ガイダンス情報作成部11cは、顔検出部11bが検出した顔までの被写体距離を算出し(ステップS308)、撮像装置1の移動距離を算出する(ステップS309)。顔検出部11bが複数の顔を検出した場合、ガイダンス情報作成部11cは、例えば最も大きい顔までの被写体距離を算出すればよい。なお、顔検出部11bが複数の顔を検出した場合、ガイダンス情報作成部11cは、顔の配置位置でもっとも優先順位が高い位置で検出された顔までの被写体距離を算出するようにしてもよい。
【0074】
ステップS309の後、制御部11は、表示部7および音声出力部9に第1撮影後ガイダンス情報を出力させる(ステップS310)。表示部7が表示する第1撮影後ガイダンス情報は、例えば図6に示す第1撮影後ガイダンス画面102である。
【0075】
表示部7および音声出力部9が第1ガイダンス情報を出力してから所定時間(例えば5秒程度)経過後、制御部11は、表示部7にスルー画のみを表示させ(ステップS311)、音声出力部9に注意喚起情報を出力させる(ステップS312)。ここでの注意喚起情報は、例えば「カメラを目で追わずに視線を一定にしてください。」というメッセージである。
【0076】
この後のステップS313〜S319の処理は、上述した3D自分撮り処理におけるステップS210〜S216の処理に順次対応している。ステップS319の後、撮像装置1は、図15に示すメインルーチンへ戻り、ステップS105へ移行する。
【0077】
ステップS303において、姿勢検出部3が撮像装置1の静止を検出しない場合(ステップS303:No)、表示部7がスルー画を表示してから所定時間が経過していなければ(ステップS320:No)、撮像装置1はステップS302へ戻る。一方、ステップS320において、表示部7がスルー画を表示してから所定時間が経過していれば(ステップS320:Yes)、撮像装置1はメインルーチンへ戻る。ステップS320における所定時間は、例えば30秒程度である。
【0078】
ステップS305で顔が正しく配置されていない場合(ステップS305:No)、またはステップS306で撮像装置1の姿勢が安定していない場合(ステップS306:No)、撮像装置1が静止と判断されてから所定時間経過していないとき(ステップS321:No)、撮像装置1はステップS302へ戻る。一方、ステップS321において、撮像装置1が静止と判断されてから所定時間経過したとき(ステップS321:Yes)、制御部11は音声出力部9に保持状態警告情報を出力させる(ステップS322)。ステップS321における所定時間は、例えば5〜10秒程度である。ステップS322の後、撮像装置1はメインルーチンへ戻る。
【0079】
ステップS313で姿勢検出部3が撮像装置1のシフト動作を検出せず(ステップS313:No)、第1撮影後ガイダンス情報を出力してから所定時間経過していない場合(ステップS323:No)、撮像装置1はステップS313へ戻る。一方、ステップS313で姿勢検出部3が撮像装置1のシフト動作を検出せず(ステップS313:No)、第1撮影後ガイダンス情報を出力してから所定時間経過した場合(ステップS323:Yes)、撮像装置1は後述するステップS325へ移行する。ステップS323における所定時間は、例えば5〜10秒程度である。
【0080】
ステップS314で姿勢検出部3が撮像装置1の静止を検出しない場合(ステップS314:No)において、撮像装置1のシフト動作開始から所定時間経過していないとき(ステップS324:No)、撮像装置1はステップS314に戻る。一方、ステップS314で姿勢検出部3が撮像装置1の静止を検出しない場合(ステップS314:No)において、撮像装置1のシフト開始から所定時間経過した場合(ステップS324:Yes)、制御部11は、音声出力部9に時間超過警告情報を出力させる(ステップS325)。ステップS324における所定時間は、例えば2秒程度である。その後、撮像装置1はメインルーチンへ戻る。
【0081】
ステップS316で判定部11dが判定した結果、顔が正常に撮影されていない場合(ステップS316:No)、制御部11は、画像データ仮記憶部10cが記憶する一対の画像データを削除し(ステップS326)、音声出力部9に撮影内容警告情報を出力させる(ステップS327)。その後、撮像装置1はメインルーチンへ戻る。
【0082】
次に、図15のステップS107において、撮像装置1が3D他人撮りモードに設定されていない場合(ステップS107:No)を説明する。この場合、撮像装置1は通常モードに設定されている。制御部11は、まず表示部7にスルー画を表示させる(ステップS109)。その後、レリーズスイッチ6bが押されてレリーズ信号が入力された場合(ステップS110:Yes)、撮像装置1は撮影を行う(ステップS111)。続いて、制御部11は、撮影した画像データに対応する画像を表示部7にレックビュー表示させ(ステップS112)、その画像データを画像データ記憶部10aに記憶させる(ステップS113)。その後、撮像装置1はステップS105へ移行する。
【0083】
次に、図15のステップS102において、撮像装置1が再生モードに設定されている場合(ステップS102:再生モード)を説明する。制御部11は、表示部7に、画像データ記憶部10aが記憶する複数の画像をまとめて表示する画像選択画面を表示させる(ステップS114)。
【0084】
続いて、操作入力部6またはタッチパネル8の操作によって画像選択画面の中から画像が選択された場合(ステップS115:Yes)、制御部11は、選択された画像を表示部7に全画面表示させる(ステップS116)。
【0085】
この後、操作入力部6によって画像の切換指示が入力された場合(ステップS117:Yes)、制御部11は、入力された切換指示にしたがって表示部7が表示する画像を切換えて表示部7に全画面表示させる(ステップS118)。
【0086】
続いて、操作入力部6によって再生の終了指示が入力された場合(ステップS119:Yes)、撮像装置1はステップS105へ移行する。一方、操作入力部6によって再生の終了指示が入力されない場合(ステップS119:No)、撮像装置1はステップS114へ戻る。
【0087】
ステップS115で操作入力部6またはタッチパネル8の操作によって画像選択画面の中から画像が選択されない場合(ステップS115:No)、またはステップS117で操作入力部6によって画像の切換指示が入力されない場合(ステップS117:No)、撮像装置1はステップS119へ移行する。
【0088】
以上説明した本発明の一実施の形態によれば、3次元画像を構成する一対の画像データを取得する際の操作方法を説明するガイダンス情報を作成して出力し、このガイダンス情報にしたがった操作がなされた場合に該操作に対応する撮影制御を行うため、3次元画像の撮影操作をユーザに適切に実行させるための支援を行うことができる。
【0089】
また、本実施の形態によれば、ガイダンス情報を文字や絵として表示したり音声で出力したりするため、ユーザは利用シーンに応じたガイダンス情報を確実に得ることができる。
【0090】
また、本実施の形態によれば、撮像部が生成した画像データに含まれる人物の顔を検出し、検出された顔の情報に基づいて移動距離を算出し、この移動距離をガイダンス情報の一部とするため、人物の顔を含む3次元画像の撮影に好適な撮像装置を提供することができる。
【0091】
また、本実施の形態によれば、ガイダンス情報として目および/または顔の動きを禁止するメッセージを発するため、被写体が動くのを抑制することができる。
【0092】
なお、以上の説明においては、撮像装置を移動する前後の画像データを対として3次元画像を生成していたが、移動中に撮影した一対の画像を用いることによって3次元画像を生成することも可能である。
【0093】
また、本発明に係る撮像装置は、たとえばデジタルビデオカメラや、カメラ付き携帯電話等の撮影機能および表示機能を備えた各種電子機器として実現することができる。
【符号の説明】
【0094】
1 撮像装置
2 撮像部
2a レンズ部
2b レンズ駆動機構
2c 絞り
2d 絞り駆動機構
2e シャッタ
2f シャッタ駆動機構
2g 撮像素子
2h 信号処理部
3 姿勢検出部
4 フラッシュ発光部
5 時計
6 操作入力部
6a 電源スイッチ
6b レリーズスイッチ
6c モード切換スイッチ
6e メニュースイッチ
6f ズームスイッチ
7 表示部
8 タッチパネル
9 音声出力部
10 記憶部
10a 画像データ記憶部
10b プログラム記憶部
10c 画像データ仮記憶部
10d ガイダンス情報記憶部
11 制御部
11a 画像処理部
11b 顔検出部
11c ガイダンス情報作成部
11d 判定部
11e 立体画像生成部
【技術分野】
【0001】
本発明は、被写体を撮像して電子的な画像データを生成する撮像装置および撮像プログラムに関する。
【背景技術】
【0002】
近年、同一の被写体に対して異なる位置から一対の2次元画像データを取得し、この取得した一対の画像データに含まれる被写体像の視差を利用することにより、ユーザが立体視することが可能な3次元画像を撮影する技術が普及してきつつある。
【0003】
このような技術として、2眼式の撮像装置を用いて3次元画像を撮影する技術が知られている(例えば、特許文献1を参照)。しかしながら、2眼式の撮像装置は構成が複雑である上、左右の画像の視差を撮影時に調整する、いわゆる輻輳調整が必要であった。
【0004】
2眼式の撮像装置が有する問題を解決するために、構成が単純な1眼式の撮像装置を所定方向に沿って移動させながら複数の画像データを取得することによって3次元画像を撮影する技術が知られている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−128683号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した1眼式の撮像装置の場合、撮像装置を適切に動かさなければ、3次元画像のもととなる一対の2次元画像を正しく取得することができない。しかしながら、初心者のように経験が浅いユーザは3次元画像を撮影する際の操作方法に戸惑ってしまい、撮像装置を適切に動かすことができない場合が多かった。このため、3次元画像の撮影操作をユーザに適切に実行させるための支援を行うことができる技術が求められていた。
【0007】
本発明は、上記に鑑みてなされたものであって、3次元画像の撮影操作をユーザに適切に実行させるための支援を行うことができる撮像装置および撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体を撮像して該被写体の画像データを生成する撮像部が移動する前後または移動する間に前記撮像部によって生成される画像データであって3次元画像を構成する一対の画像データを取得することが可能な撮像装置において、前記一対の画像データを取得する際の操作方法を説明するガイダンス情報を作成するガイダンス情報作成部と、前記ガイダンス情報作成部が作成したガイダンス情報を出力するガイダンス情報出力部と、を備え、前記ガイダンス情報にしたがった操作がなされた場合に該操作に対応する撮影制御を自動的に行うことを特徴とする。
【0009】
また、本発明に係る撮像装置は、上記発明において、前記ガイダンス情報出力部は、 前記ガイダンス情報を音声によって出力する音声出力部を有することを特徴とする。
【0010】
また、本発明に係る撮像装置は、上記発明において、前記ガイダンス情報出力部は、前記ガイダンス情報を文字および/または画像によって表示する表示部を有することを特徴とする。
【0011】
また、本発明に係る撮像装置は、上記発明において、前記撮像部が生成した画像データに含まれる人物の顔を検出する顔検出部をさらに備え、前記ガイダンス情報作成部は、前記顔検出部が検出した顔の情報に基づいて前記撮像部の移動距離を算出し、この移動距離をガイダンス情報の一部とすることを特徴とする。
【0012】
また、本発明に係る撮像装置は、上記発明において、前記ガイダンス情報は、前記一対の画像データを順次取得する2つの撮影のうち時間的に早く行われる第1撮影の前に前記ガイダンス情報出力部によって出力される初期ガイダンス情報と、前記第1撮影の後であって、該第1撮影よりも時間的に後に行われる第2撮影の前に前記ガイダンス情報出力部によって出力される第1撮影後ガイダンス情報と、を含むことを特徴とする。
【0013】
また、本発明に係る撮像装置は、上記発明において、前記ガイダンス情報は、被写体が目および/または顔を動かして前記撮像部の動きを追うことを禁止するメッセージを含むことを特徴とする。
【0014】
また、本発明に係る撮像プログラムは、被写体を撮像して該被写体の画像データを生成する撮像部が移動する前後または移動する間に前記撮像部によって生成される画像データであって3次元画像を構成する一対の画像データを取得することが可能な撮像装置に、前記一対の画像データを取得する際の操作方法を説明するガイダンス情報を作成するガイダンス情報作成ステップと、前記ガイダンス情報作成ステップで作成したガイダンス情報を出力するガイダンス情報出力ステップと、前記ガイダンス情報にしたがった操作がなされた場合に該操作に対応する撮影制御を自動的に行う制御ステップと、を実行させることを特徴とする。
【発明の効果】
【0015】
本発明によれば、3次元画像を構成する一対の画像データを取得する際の操作方法を説明するガイダンス情報を作成して出力し、このガイダンス情報にしたがった操作がなされた場合に該操作に対応する撮影制御を行うため、3次元画像の撮影操作をユーザに適切に実行させるための支援を行うことができる。
【図面の簡単な説明】
【0016】
【図1】図1は、本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。
【図2】図2は、本発明の一実施の形態に係る撮像装置の被写体側(前面側)の構成を示す斜視図である。
【図3】図3は、本発明の一実施の形態に係る撮像装置のユーザ側(背面側)の構成を示す斜視図である。
【図4】図4は、本発明の一実施の形態に係る撮像装置が備える表示部の概略構成を示す模式図である。
【図5】図5は、本発明の一実施の形態に係る撮像装置が3D他人撮りモードに設定されている場合に表示部が表示する初期ガイダンス情報の表示例を示す図である。
【図6】図6は、本発明の一実施の形態に係る撮像装置が3D他人撮りモードに設定されている場合に表示部が表示する第1撮影後ガイダンス情報の表示例を示す図である。
【図7】図7は、本発明の一実施の形態に係る撮像装置が3D他人撮りモードに設定されている場合に一対の画像データを生成する状況を示す模式図である。
【図8】図8は、本発明の一実施の形態に係る撮像装置が3D他人撮りモードに設定されている場合に移動前撮影位置で撮影した画像(左目画像)の一例を示す図である。
【図9】図9は、本発明の一実施の形態に係る撮像装置が3D他人撮りモードに設定されている場合に移動前撮影位置で撮影した画像(右目画像)の一例を示す図である。
【図10】図10は、図8に示す左目画像と図9に示す右目画像を重ねた重畳画像を模式的に示す図である。
【図11】図11は、図8に示す左目画像と図9に示す右目画像を用いることによって生成された3次元画像を模式的に示す図である。
【図12】図12は、本発明の一実施の形態に係る撮像装置が3D自分撮りモードに設定されている場合の撮影動作の概要を模式的に示す図である。
【図13】図13は、本発明の一実施の形態に係る撮像装置が3D自分撮りモードに設定されている場合に表示部が表示する初期ガイダンス情報の表示例を示す図である。
【図14】図14は、本発明の一実施の形態に係る撮像装置が3D他人撮りモードに設定されている場合に表示部が表示する第1撮影後ガイダンス情報の表示例を示す図である。
【図15】図15は、本発明の一実施の形態に係る撮像装置が行う処理の概要を示すフローチャートである。
【図16】図16は、本発明の一実施の形態に係る撮像装置が行う3D自分撮りの処理の概要を示すフローチャートである。
【図17】図17は、本発明の一実施の形態に係る撮像装置が備えるガイダンス情報作成部における被写体距離の算出処理の概要を示す図である。
【図18】図18は、本発明の一実施の形態に係る撮像装置が行う3D他人撮りの処理の概要を示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、添付図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)を説明する。
【0018】
図1は、本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。図2は、本実施の形態に係る撮像装置の被写体に面する側(前面側)の構成を示す斜視図である。図3は、本実施の形態に係る撮像装置のユーザに面する側(背面側)の構成を示す斜視図である。図1〜図3に示す撮像装置1は、自身が移動される前後で自動的に取得した画像データを用いて3次元画像を生成する機能を有する。
【0019】
撮像装置1は、被写体を撮影し、撮影した被写体の電子的な画像データを生成する撮像部2と、撮像装置1の加速度を検出する姿勢検出部3と、撮像部2が撮影する視野領域にフラッシュを発光するフラッシュ発光部4と、撮影日時の判定機能やタイマー機能を有する時計5と、撮像装置1の各種情報の入力を受け付ける操作入力部6と、撮像部2が生成した画像データに対応する画像を表示する表示部7と、外部からの接触位置に応じた信号の入力を受け付けるタッチパネル8と、音声データを出力する音声出力部9と、撮像部2によって生成された画像データを含む各種情報を記憶する記憶部10と、撮像装置1の動作を制御する制御部11と、を備える。表示部7および音声出力部9は、3次元画像を撮影する際の撮像装置1の操作方法を説明するガイダンス情報を出力するガイダンス情報出力部としての機能を有する。
【0020】
撮像部2は、フォーカスレンズやズームレンズ等によって構成され、所定の視野領域からの光を集光するレンズ部2aと、DCモータ等によって構成され、レンズ部2aのフォーカスレンズやズームレンズ等を光軸L1上で移動させることにより、レンズ部2aのピント位置や焦点距離等の変更を行うレンズ駆動機構2bと、レンズ部2aが集光した光の入射量を制限することにより露出の調整を行う絞り2cと、ステッピングモータ等によって構成され、絞り2cを駆動する絞り駆動機構2dとを有する。また、撮像部2は、撮像素子2gの状態を露光状態または遮光状態に設定するシャッタ2eと、ステッピングモータ等によって構成され、レリーズ信号に応じてシャッタ2eを駆動するシャッタ駆動機構2fと、レンズ部2aが集光した光を受光して電気信号(アナログ信号)に変換するCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等によって実現される撮像素子2gと、撮像素子2gが出力する電気信号に増幅等の信号処理を施した後、A/D変換を行うことによってデジタルの画像データに変換して制御部11に出力する信号処理部2hとを有する。
【0021】
姿勢検出部3は、加速度センサによって構成され、撮像装置1の加速度を検出することにより、撮像装置1の姿勢および動きを検出する。
【0022】
フラッシュ発光部4は、キセノンランプやLED(Light Emitting Diode)等で構成される。フラッシュ発光部4は、撮像部2の視野領域へ向けて補助光であるフラッシュ光を照射する。
【0023】
操作入力部6は、撮像装置1の電源状態をオン状態またはオフ状態に切換える電源スイッチ6aと、撮影の指示を与えるレリーズ信号を入力するレリーズスイッチ6bと、撮像装置1の各種動作モードの切換えを行うモード切換スイッチ6cと、撮像装置1の各種設定を切換える操作スイッチ6dと、撮像装置1の動作モードや設定等に関する情報を表示部7に表示させるメニュースイッチ6eと、撮像部2のズーム操作を行うズームスイッチ6fとを有する。
【0024】
表示部7は、パララックスバリア(Parallax Barrier)方式に基づいて3次元画像を表示する機能を有する。図4は、表示部7の概略構成を示す模式図である。図4に示すように、表示部7は、バックライト71と、表示パネル72と、視差バリア73とを有する。
【0025】
バックライト71は、LED(Light Emitting Diode)等によって構成され、画像を表示するための光を表示パネル72の背面側(図4では下面側)から照射する。表示パネル72は、液晶または有機EL(Electro Luminescence)等の表示パネルによって構成される。視差バリア73は、液晶等によって構成され、表示パネル72の前面側(図4では上面側)に積層されてなる。視差バリア73は、表示パネル72における隣接画素の間隔よりも狭い間隔で設けられる複数のスリットを有する。この複数のスリットは、3次元画像を構成する一対の画像である右目画像および左目画像をユーザの右目ERおよび左目ELにそれぞれ届くように分離する機能を有する。これにより、ユーザは、表示部7が表示する3次元画像を立体視することができる。
【0026】
表示部7は、2次元画像を表示することも可能である。表示部7が表示する画像を3次元画像から2次元画像に切り換える際には、視差バリア73に印加される電圧がオン状態からオフ状態に変化することによって視差バリア73が遮光状態から透過状態に遷移し、左目画像または右目画像のどちらか一方が表示パネル72に出力される。
【0027】
なお、表示部7に対し、視差バリア73の代わりにレンティキュラレンズ(lenticular lens)レンズを設けることにより、3次元画像を表示する機能を具備させてもよい。
【0028】
タッチパネル8は、表示部7の表示画面上に重ねて設けられる(図3を参照)。タッチパネル8は、ユーザが表示部7で表示される情報に基づいて接触した位置を検出し、この接触位置に応じた操作信号の入力を受け付ける。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学式等がある。本実施の形態では、いずれの方式のタッチパネルであっても適用可能である。
【0029】
記憶部10は、撮像部2が撮影した画像データを記憶する画像データ記憶部10aと、撮像装置1が実行する各種プログラムおよび本実施の形態に係る撮像プログラムを記憶するプログラム記憶部10bと、撮像部2が撮影した画像データを一時的に記憶する画像データ仮記憶部10cと、ユーザが3次元画像を撮影する際の操作方法を説明するガイダンス情報を記憶するガイダンス情報記憶部10dと、を有する。記憶部10は、撮像装置1の内部に固定的に設けられるフラッシュメモリやRAM(Random Access Memory)等の半導体メモリを用いて実現される。なお、記憶部10に対し、外部から装着されるメモリカード等の記憶媒体に対して情報を記憶する一方、記憶媒体が記憶する情報を読み出す記憶媒体インターフェースとしての機能を具備させてもよい。
【0030】
制御部11は、CPU(Central Processing Unit)等によって実現される。制御部11は、操作入力部6からの操作信号等に応じて記憶部10のプログラム記憶部10bからプログラムを読み出して実行し、撮像装置1の各構成部に対する指示信号の出力やデータの転送等を行うことによって撮像装置1の動作を統括的に制御する。制御部11は、信号処理部2hから出力された画像データに対してエッジ強調、色補正およびγ補正等の各種画像処理を施す画像処理部11aと、撮像した画像に含まれる人物の顔を検出する顔検出部11bと、3次元画像に必要な一対の画像データを取得するための操作方法を説明するガイダンス情報を作成するガイダンス情報作成部11cと、画像中における顔の位置が正常な位置にあるか否かを判定する判定部11dと、画像処理部11aによって画像処理された一対の画像データを用いて3次元画像を生成する立体画像生成部11eと、を有する。
【0031】
顔検出部11bは、パターンマッチング等の公知の技術を用いることによって画像データに含まれる人物の顔を検出する。なお、顔検出部11bは、人物以外の顔、例えば犬や猫等の顔を検出するようにしてもよい。また、顔検出部11bは、検出した人物の顔の動きを判別することにより、撮像装置1の動きを検出する機能を有していてもよい。
【0032】
以上の構成を有する撮像装置1は、撮影モードとして、通常の撮影を行う通常撮影モード以外に、被写体として人物を含む3次元画像を撮影するモードである3D他人撮りモードと、ユーザ自身を被写体として含む3次元画像を撮影するモードである3D自分撮りモードとを設定することができる。
【0033】
ここで、撮像装置1が3D他人撮りモードに設定されている場合の撮像装置1の動作の概要を説明する。図5は、3D他人撮りモードが設定された直後に表示部7が表示するガイダンス情報(初期ガイダンス情報)の表示例を示す図である。撮像装置1が3D他人撮りモードに設定されると、表示部7は、まず図5(a)に示す初期ガイダンス画面101aを表示する。初期ガイダンス画面101aでは、「このモードは、カメラを横にシフトさせながら撮影するモードです。」というメッセージ、およびユーザの動作を模式的に示す絵が表示される。音声出力部9は、表示部7が初期ガイダンス画面101aを表示する間、表示されるメッセージと同じ内容を音声で出力する。
【0034】
その後、表示部7は、図5(b)に示す初期ガイダンス画面101bを表示する。初期ガイダンス画面101bでは、「この後、撮影用の画面に変わってからカメラが静止すると、自動的に最初の撮影を行います。」というメッセージ、およびユーザの動作を模式的に示す絵が表示される。初期ガイダンス図面101bで表示される絵は、初期ガイダンス画面101aで表示された絵とは異なる絵であって、ユーザがカメラを移動した状態を示す絵である。音声出力部9は、表示部7が初期ガイダンス画面101bを表示する間、表示されるメッセージと同じ内容を音声で出力する。
【0035】
続いて、表示部7はスルー画を表示する。スルー画を見たユーザが構図を決めてから撮像装置1を安定した状態で静止させると、撮像装置1は静止状態を検出し、自動的に撮像中の画像データを取得して記憶部10に記録する最初の撮影(以下、第1撮影という)を自動的に行う。なお、第1撮影を行う前に、初期ガイダンス画面101a、101bを交互に周期的に表示するようにしてもよい。また、ユーザの動作をアニメーションで表示するようにしてもよい。
【0036】
図6は、第1撮影後であって2回目の撮影(以下、第2撮影という)の前に表示部7が表示するガイダンス情報(第1撮影後ガイダンス情報)の表示例を示す図である。同図に示す第1撮影後ガイダンス画面102では、「最初の撮影が終了しました。カメラを右にMだけシフトして下さい。シフト時にぶれないようにして下さい。」というメッセージおよびシフト方向を示す矢印が表示されるとともに、スルー画Thが縮小表示される。ここで、撮像装置1のシフト量は、ガイダンス情報作成部11cによって算出される。ガイダンス情報作成部11cは、被写体の顔までの距離(被写体距離)を算出し、この被写体距離に基づいてシフト量を算出する。音声出力部9は、表示部7が第1撮影後ガイダンス画面102を表示している間、表示されるメッセージと同じ内容を音声で出力する。
【0037】
この後、ユーザが第1撮影後ガイダンス情報にしたがって撮像装置1をシフトさせてから静止すると、撮像装置1は第2撮影を行う。
【0038】
図7は、撮像装置1が3D他人撮りモードに設定されている場合に3次元画像のもととなる一対の画像データを生成する状況を示す模式図である。図7に示すように、撮像装置1は、レンズ部2aからの距離が異なる被写体A、Bを含む領域に対して、移動前の第1撮影位置P1、および移動後の第2撮影位置P2で3次元画像用の一対の画像データを自動的に取得する。図7に示す場合、レンズ部2aと被写体Aとの距離L1は、レンズ部2aと被写体Bとの距離L2より小さい(L1<L2)。
【0039】
図8は、撮像装置1が第1撮影(撮影位置P1)によって取得する画像(左目画像)の一例を示す図である。図9は、撮像装置1が第2撮影(撮影位置P2)によって取得する画像(右目画像)の一例を示す図である。図8と図9を比較すると、図8における被写体ALと被写体BLの画面上での距離が、図9における被写体ARと被写体BRの画面上での距離より小さい。
【0040】
図10は、図8に示す左目画像WL1と図9に示す右目画像WR1とを重ねた重畳画像を示す図である。図10に示す重畳画像WLR1は、撮像装置1に対して被写体Bより近くに位置する被写体Aが、被写体Bよりも視差の影響を受けている。すなわち、重畳画像WLR1では、被写体BLと被写体BRはほぼ重なっていて一つの被写体Bとして見えるのに対し、被写体ALと被写体ARは大きくずれている。換言すれば、重畳画像WLR1では、撮像装置1からの距離が近い被写体ほど、左目画像WL1と右目画像WR1において互いに対応する画素点の視差が大きい。
【0041】
図11は、立体画像生成部11eが、左目画像WL1および右目画像WR1を用いることによって生成した3次元画像を模式的に示す図である。図11に示す3次元画像W1においては、被写体Aが仮想的に飛び出して見える。なお、被写体Aの飛び出し量を調整可能とすることもできる。この場合には、立体画像生成部11eに対し、2つの画像における対応画素点の視差量を調整する機能を具備させればよい。
【0042】
次に、撮像装置1が3D自分撮りモードに設定されている場合の撮像装置1の動作の概要を説明する。図12は、撮像装置1が3D自分撮りモードに設定されている場合の撮影動作の概要を模式的に示す図である。図12に示す場合、ユーザ自身である被写体Cは、撮像装置1を手で把持しながら水平方向に沿って距離Nだけ移動させる(図12(a)→図12(b))。撮像装置1は、この移動の前後で自動的に撮影した一対の画像データに基づいて3次元画像を生成する。
【0043】
図13は、3D自分撮りモードが設定された直後に表示部7が表示する初期ガイダンス情報の表示例を示す図である。撮像装置1が3D自分撮りモードに設定されると、表示部7は、図13(a)に示す初期ガイダンス画面103aを表示する。初期ガイダンス画面103aでは、「このモードはカメラを横にシフトさせながら自分撮りを行うモードです。」というメッセージ、およびユーザの動作を模式的に示す絵が表示される。
【0044】
この後、表示部7は、図13(b)に示す初期ガイダンス画面103bを表示する。初期ガイダンス画面103bでは、初期ガイダンス画面103bと同じメッセージが表示されるとともに、撮像装置1をシフトした後の状態を示す絵であって初期ガイダンス画面103aで表示される絵とは異なる絵が表示される。なお、表示部7が、初期ガイダンス画面103a、103bを所定回数だけ交互に繰り返して表示するようにしてもよい。音声出力部9は、表示部7が初期ガイダンス画面103a、103bを表示している間、表示されるメッセージと同じ内容を音声で出力する。
【0045】
続いて、表示部7は、図13(c)に示す初期ガイダンス画面103cを表示する。初期ガイダンス画面103cでは、「撮影レンズを自分に向けて構えて下さい。カメラが静止すると、自動的に最初の撮影を行います。」というメッセージが表示されるとともに、ユーザが構える状況を模式的に示す絵(初期ガイダンス画面103aと同じ状態を示す絵)が表示される。音声出力部9は、表示部7が初期ガイダンス画面103cを表示している間、表示されるメッセージと同じ内容を音声で出力する。
【0046】
図14は、第1撮影後であって第2撮影前に撮像装置1が出力するガイダンス情報(第1撮影後ガイダンス情報)の出力例を示す図である。第1撮影後ガイダンス情報は、「最初の撮影が終了しました。カメラを左にNだけシフトしてください。ぶれに注意し、カメラの動きに合わせて目や顔を動かさないようにして下さい。」という内容のメッセージである。メッセージに含まれる撮像装置1のシフト量Nは、3D他人撮りモードの場合と同様、ガイダンス情報作成部11cにより、被写体Cと撮像部2との距離Lに基づいて算出される。
【0047】
3D自分撮りモードの場合、ユーザは表示部7を見れない状態にある。このため、第1撮影後ガイダンス情報は、音声出力部9が音声としてのみ出力すれば十分である。
【0048】
3D自分撮りモードにおける第1撮影後ガイダンス情報として、撮像装置1の動きを追うことを禁止するメッセージを加える理由を説明する。3D自分撮りモードでは、撮像装置1と被写体Cとの距離が近く、たかだか1m程度である。このため、2回の撮影を行う間に被写体Cが撮像装置1を見ていると、移動前と移動後では、黒目(眼球)が回転してしまったり、顔が動いてしまったりすることがある。このように被写体Cが2回の撮影の間に目や顔を動かしてしまうと、3次元画像における被写体Cの顔の表示が違和感を伴うものになってしまう。そのため、3D自分撮りモードでは、第1撮影後ガイダンス情報として、撮像装置1の動きを禁止するメッセージを出力する。なお、上述した3D他人撮りモードにおける第1撮影後ガイダンス情報として、撮像装置1の動きを禁止するメッセージを追加してもよい。
【0049】
以上説明したように、本実施の形態では、撮像装置1が3D他人撮りモードや3D自分撮りモードに設定されている場合、撮影動作前や撮影動作中の適切なタイミングでガイダンス情報を出力するため、それらのモードに設定された撮像装置1の操作に不慣れなユーザであっても、ガイダンス情報を頼りに容易に操作を行うことができる。
【0050】
以下、撮像装置1の動作をより詳細に説明する。図15は、撮像装置1が撮影モードまたは再生モードに設定されている場合の処理の概要を示すフローチャートである。
【0051】
図15において、まず、制御部11は、撮像装置1の電源がオンになっているか否かを判断する(ステップS101)。撮像装置1の電源がオンになっている場合(ステップS101:Yes)、撮像装置1はステップS102に移行する。一方、撮像装置1の電源がオンになっていない場合(ステップS101:No)、撮像装置1は本処理を終了する。
【0052】
ステップS102において、撮像装置1が撮影モードに設定されている場合(ステップS102:撮影モード)、撮像装置1はステップS103へ移行する。一方、撮像装置1が再生モードに設定されている場合(ステップS102:再生モード)、撮像装置1はステップS114へ移行する。
【0053】
撮像装置1が撮影モードに設定されている場合(ステップS102:撮影モード)を説明する。上述したように、撮像装置1は、撮影モードとして3D自分撮りモード、3D他人撮りモードおよび通常モードの三つのモードを設定することが可能である。まず、撮像装置1が3D自分撮りモードに設定されている場合(ステップS103:Yes)を説明する。この場合、制御部11は、3D自分撮りの処理を行う(ステップS104)。
【0054】
図16は、3D自分撮りの処理の概要を示すフローチャートである。以下の説明において、姿勢検出部3は、所定の周期で撮像装置1の姿勢および動きを検出しているものとする。制御部11は、表示部7および音声出力部9に初期ガイダンス情報を出力させる(ステップS201)。具体的には、制御部11は、表示部7に初期ガイダンス情報を表示させるとともに、音声出力部9に初期ガイダンス情報を音声で出力させる。表示部7が表示する初期ガイダンス情報は、例えば図13に示す初期ガイダンス画面103a〜103cである。
【0055】
初期ガイダンス画面103cを表示した後、撮像部2は画像データを取得する(ステップS202)。この後、顔検出部11bは、撮像部2が取得した画像データに含まれる顔を検出する(ステップS203)。顔検出部11bが検出した結果、顔が画像中に正しく配置されている場合(ステップS204:Yes)において、姿勢検出部3が検出した撮像装置1の姿勢が安定しているとき(ステップS205:Yes)、撮像装置1は第1回目の撮影(第1撮影)を行い、画像データ仮記憶部10cに画像データを仮記憶する(ステップS206)。
【0056】
その後、ガイダンス情報作成部11cは、顔検出部11bが検出した顔までの距離(被写体距離)を算出する(ステップS207)。図17は、ガイダンス情報作成部11cにおける被写体距離の算出処理の概要を模式的に示す図である。顔検出部11bは、検出した顔の撮像素子2gにおける顔幅Xfを用いるとともに、被写体A1の顔幅として所定値XF、および撮影レンズの焦点距離Fを用いることにより、被写体距離L=F・XF/Xfを算出する。ここで、顔幅XFは、例えば15〜25cm程度である。
【0057】
続いて、ガイダンス情報作成部11cは、被写体距離Lをもとに撮像装置1の移動距離を算出する(ステップS208)。この移動距離Nは、例えばN=L/30で求められる。具体的には、被写体距離L=60(cm)の場合、移動距離N=2(cm)となる。このように設定することにより、仮に被写体Cが撮像装置1の動きを追って目を動かしてしまったとしても、眼球の回転角θ〜arctan(N/L)を1°程度に抑えることができるため、違和感の少ない3次元画像を生成することができる。
【0058】
その後、制御部11は、音声出力部9に第1撮影後ガイダンス情報を出力させる(ステップS209)。音声出力部9が出力するメッセージは、例えば図14に示すようなメッセージである。
【0059】
この後、姿勢検出部3が撮像装置1のシフト動作を検出し(ステップS210:Yes)、かつシフト動作後に撮像装置1が静止するのを検出した場合(ステップS211:Yes)、撮像装置1は第2撮影を行い、取得した画像データを画像データ仮記憶部10cに仮記憶する(ステップS212)。
【0060】
撮像装置1が第2撮影を行った後、判定部11dは、第1および第2撮影で撮影した一対の画像データを画像データ仮記憶部10cから読み出し、各画像データに含まれる被写体の顔位置を比較することにより、顔が正しく撮影されているか否かを判定する(ステップS213)。ここで、判定部11dは、一対の画像中の所定領域(例えば画像の中央部を含む領域)に顔がそれぞれ写っており、かつ顔に含まれる黒目が一対の画像で所定角度(例えば2°〜5°程度)以上変化していなければ、顔が正しく撮影されていると判定する。
【0061】
判定部11dが判定した結果、顔が正しく撮影されている場合(ステップS213:Yes)、制御部11は、第1および第2撮影で取得した一対の画像を3次元画像用としてペア化した上で画像データ記憶部10aに記憶させる(ステップS214)。ここでのペア化とは、例えば各画像データに対して、ペアとなる相手の画像データの情報を追加することを意味する。なお、ステップS214において、制御部11は、画像データ仮記憶部10cが記憶する一対の画像データを削除する。
【0062】
続いて、制御部11は、音声出力部9に終了ガイダンス情報を出力させる(ステップS215)。終了ガイダンス情報の内容は、例えば「3D自分撮りが終了しました。」というメッセージである。
【0063】
この後、制御部11は、表示部7に撮影した3次元画像をレックビュー表示させる(ステップS216)。
【0064】
ステップS216の後、撮像装置1は、図15に示すメインルーチンへ戻り、後述するステップS105へ移行する。
【0065】
ステップS204で顔が正しく配置されていない場合(ステップS204:No)、またはステップS205で撮像装置1の姿勢が安定していない場合(ステップS205:No)、初期ガイダンス情報を出力してから所定時間経過していないとき(ステップS217:No)、撮像装置1はステップS202へ戻る。一方、ステップS217において、初期ガイダンス情報を出力してから所定時間経過したとき(ステップS217:Yes)、制御部11は音声出力部9に保持状態警告情報を出力させる(ステップS218)。ここで音声出力部9が出力する保持状態警告情報は、例えば「初めからやり直してください。」というメッセージである。ステップS217における所定時間は、例えば5〜10秒程度である。ステップS218の後、撮像装置1はメインルーチンへ戻る。
【0066】
ステップS210で姿勢検出部3が撮像装置1のシフト動作を検出せず(ステップS210:No)、第1撮影後ガイダンス情報を出力してから所定時間経過していなければ(ステップS219:No)、撮像装置1はステップS210へ戻る。一方、ステップS210で姿勢検出部3が撮像装置1のシフトを検出せず(ステップS210:No)、第1撮影後ガイダンス情報を出力してから所定時間経過した場合(ステップS219:Yes)、撮像装置1は後述するステップS221へ移行する。ステップS219における所定時間は、例えば5〜10秒程度である。
【0067】
ステップS211で姿勢検出部3が撮像装置1の静止を検出しない場合(ステップS211:No)において、撮像装置1のシフト動作開始から所定時間経過していないとき(ステップS220:No)、撮像装置1はステップS211に戻る。一方、ステップS211で姿勢検出部3が撮像装置1の静止を検出しない場合(ステップS211:No)において、撮像装置1のシフト開始から所定時間経過した場合(ステップS220:Yes)、制御部11は、音声出力部9に時間超過警告情報を出力させる(ステップS221)。時間超過警告情報は、例えば「制限時間を過ぎましたので、初めからやり直してください。」というメッセージである。ステップS220における所定時間は、例えば2秒程度である。ステップS221の後、撮像装置1はメインルーチンへ戻る。
【0068】
ステップS213で判定部11dが判定した結果、顔が正常に撮影されていない場合(ステップS213:No)、制御部11は、画像データ仮記憶部10cが記憶する一対の画像データを削除し(ステップS222)、音声出力部9に撮影内容警告情報を出力させる(ステップS223)。撮影内容警告情報は、例えば「撮影に失敗したので初めからやり直してください。」というメッセージである。その後、撮像装置1はメインルーチンへ戻る。
【0069】
図15に戻り、ステップS104の後に続く処理を説明する。ステップS105では、操作入力部6によってモード変更指示信号が入力された場合(ステップS105:Yes)、制御部11は撮像装置1の動作モードの設定を変更する(ステップS106)。その後、撮像装置1はステップS101へ戻る。これに対し、ステップS105においてモード変更指示信号が入力されない場合(ステップS105:No)、撮像装置1は直接ステップS101へ戻る。
【0070】
次に、撮像装置1が3D自分撮りモードに設定されていない場合(ステップS103:No)を説明する。この場合において、撮像装置1が3D他人撮りモードに設定されているとき(ステップS107:Yes)、撮像装置1は3D他人撮り処理を行う(ステップS108)。一方、ステップS107において、撮像装置1が3D他人撮りモードに設定されていないとき(ステップS107:No)、撮像装置1はステップS109へ移行する。
【0071】
図18は、3D他人撮りの処理の概要を示すフローチャートである。姿勢検出部3は、3D他人撮りモードにおいても、3D自分撮りモードの場合と同様、所定の周期で撮像装置1の姿勢および動きを検出する。制御部11は、まず表示部7および音声出力部9に初期ガイダンス情報を出力させる(ステップS301)。表示部7が表示する初期ガイダンス情報は、例えば図5に示す初期ガイダンス画面101a、101bである。
【0072】
続いて、制御部11は、撮像部2が生成する画像データに対応する画像であるスルー画を表示部7に表示させる(ステップS302)。表示部7がスルー画表示を開始した後、姿勢検出部3が撮像装置1の静止を検出した場合(ステップS303:Yes)、顔検出部11bはスルー画の画像データに含まれる顔を検出する(ステップS304)。顔検出部11bが検出した顔が正しく配置されており(ステップS305:Yes)、かつ姿勢検出部3が検出した撮像装置1の姿勢が安定しているとき(ステップS306:Yes)、撮像装置1は第1撮影を行い、画像データ仮記憶部10cに画像データを仮記憶する(ステップS307)。
【0073】
その後、ガイダンス情報作成部11cは、顔検出部11bが検出した顔までの被写体距離を算出し(ステップS308)、撮像装置1の移動距離を算出する(ステップS309)。顔検出部11bが複数の顔を検出した場合、ガイダンス情報作成部11cは、例えば最も大きい顔までの被写体距離を算出すればよい。なお、顔検出部11bが複数の顔を検出した場合、ガイダンス情報作成部11cは、顔の配置位置でもっとも優先順位が高い位置で検出された顔までの被写体距離を算出するようにしてもよい。
【0074】
ステップS309の後、制御部11は、表示部7および音声出力部9に第1撮影後ガイダンス情報を出力させる(ステップS310)。表示部7が表示する第1撮影後ガイダンス情報は、例えば図6に示す第1撮影後ガイダンス画面102である。
【0075】
表示部7および音声出力部9が第1ガイダンス情報を出力してから所定時間(例えば5秒程度)経過後、制御部11は、表示部7にスルー画のみを表示させ(ステップS311)、音声出力部9に注意喚起情報を出力させる(ステップS312)。ここでの注意喚起情報は、例えば「カメラを目で追わずに視線を一定にしてください。」というメッセージである。
【0076】
この後のステップS313〜S319の処理は、上述した3D自分撮り処理におけるステップS210〜S216の処理に順次対応している。ステップS319の後、撮像装置1は、図15に示すメインルーチンへ戻り、ステップS105へ移行する。
【0077】
ステップS303において、姿勢検出部3が撮像装置1の静止を検出しない場合(ステップS303:No)、表示部7がスルー画を表示してから所定時間が経過していなければ(ステップS320:No)、撮像装置1はステップS302へ戻る。一方、ステップS320において、表示部7がスルー画を表示してから所定時間が経過していれば(ステップS320:Yes)、撮像装置1はメインルーチンへ戻る。ステップS320における所定時間は、例えば30秒程度である。
【0078】
ステップS305で顔が正しく配置されていない場合(ステップS305:No)、またはステップS306で撮像装置1の姿勢が安定していない場合(ステップS306:No)、撮像装置1が静止と判断されてから所定時間経過していないとき(ステップS321:No)、撮像装置1はステップS302へ戻る。一方、ステップS321において、撮像装置1が静止と判断されてから所定時間経過したとき(ステップS321:Yes)、制御部11は音声出力部9に保持状態警告情報を出力させる(ステップS322)。ステップS321における所定時間は、例えば5〜10秒程度である。ステップS322の後、撮像装置1はメインルーチンへ戻る。
【0079】
ステップS313で姿勢検出部3が撮像装置1のシフト動作を検出せず(ステップS313:No)、第1撮影後ガイダンス情報を出力してから所定時間経過していない場合(ステップS323:No)、撮像装置1はステップS313へ戻る。一方、ステップS313で姿勢検出部3が撮像装置1のシフト動作を検出せず(ステップS313:No)、第1撮影後ガイダンス情報を出力してから所定時間経過した場合(ステップS323:Yes)、撮像装置1は後述するステップS325へ移行する。ステップS323における所定時間は、例えば5〜10秒程度である。
【0080】
ステップS314で姿勢検出部3が撮像装置1の静止を検出しない場合(ステップS314:No)において、撮像装置1のシフト動作開始から所定時間経過していないとき(ステップS324:No)、撮像装置1はステップS314に戻る。一方、ステップS314で姿勢検出部3が撮像装置1の静止を検出しない場合(ステップS314:No)において、撮像装置1のシフト開始から所定時間経過した場合(ステップS324:Yes)、制御部11は、音声出力部9に時間超過警告情報を出力させる(ステップS325)。ステップS324における所定時間は、例えば2秒程度である。その後、撮像装置1はメインルーチンへ戻る。
【0081】
ステップS316で判定部11dが判定した結果、顔が正常に撮影されていない場合(ステップS316:No)、制御部11は、画像データ仮記憶部10cが記憶する一対の画像データを削除し(ステップS326)、音声出力部9に撮影内容警告情報を出力させる(ステップS327)。その後、撮像装置1はメインルーチンへ戻る。
【0082】
次に、図15のステップS107において、撮像装置1が3D他人撮りモードに設定されていない場合(ステップS107:No)を説明する。この場合、撮像装置1は通常モードに設定されている。制御部11は、まず表示部7にスルー画を表示させる(ステップS109)。その後、レリーズスイッチ6bが押されてレリーズ信号が入力された場合(ステップS110:Yes)、撮像装置1は撮影を行う(ステップS111)。続いて、制御部11は、撮影した画像データに対応する画像を表示部7にレックビュー表示させ(ステップS112)、その画像データを画像データ記憶部10aに記憶させる(ステップS113)。その後、撮像装置1はステップS105へ移行する。
【0083】
次に、図15のステップS102において、撮像装置1が再生モードに設定されている場合(ステップS102:再生モード)を説明する。制御部11は、表示部7に、画像データ記憶部10aが記憶する複数の画像をまとめて表示する画像選択画面を表示させる(ステップS114)。
【0084】
続いて、操作入力部6またはタッチパネル8の操作によって画像選択画面の中から画像が選択された場合(ステップS115:Yes)、制御部11は、選択された画像を表示部7に全画面表示させる(ステップS116)。
【0085】
この後、操作入力部6によって画像の切換指示が入力された場合(ステップS117:Yes)、制御部11は、入力された切換指示にしたがって表示部7が表示する画像を切換えて表示部7に全画面表示させる(ステップS118)。
【0086】
続いて、操作入力部6によって再生の終了指示が入力された場合(ステップS119:Yes)、撮像装置1はステップS105へ移行する。一方、操作入力部6によって再生の終了指示が入力されない場合(ステップS119:No)、撮像装置1はステップS114へ戻る。
【0087】
ステップS115で操作入力部6またはタッチパネル8の操作によって画像選択画面の中から画像が選択されない場合(ステップS115:No)、またはステップS117で操作入力部6によって画像の切換指示が入力されない場合(ステップS117:No)、撮像装置1はステップS119へ移行する。
【0088】
以上説明した本発明の一実施の形態によれば、3次元画像を構成する一対の画像データを取得する際の操作方法を説明するガイダンス情報を作成して出力し、このガイダンス情報にしたがった操作がなされた場合に該操作に対応する撮影制御を行うため、3次元画像の撮影操作をユーザに適切に実行させるための支援を行うことができる。
【0089】
また、本実施の形態によれば、ガイダンス情報を文字や絵として表示したり音声で出力したりするため、ユーザは利用シーンに応じたガイダンス情報を確実に得ることができる。
【0090】
また、本実施の形態によれば、撮像部が生成した画像データに含まれる人物の顔を検出し、検出された顔の情報に基づいて移動距離を算出し、この移動距離をガイダンス情報の一部とするため、人物の顔を含む3次元画像の撮影に好適な撮像装置を提供することができる。
【0091】
また、本実施の形態によれば、ガイダンス情報として目および/または顔の動きを禁止するメッセージを発するため、被写体が動くのを抑制することができる。
【0092】
なお、以上の説明においては、撮像装置を移動する前後の画像データを対として3次元画像を生成していたが、移動中に撮影した一対の画像を用いることによって3次元画像を生成することも可能である。
【0093】
また、本発明に係る撮像装置は、たとえばデジタルビデオカメラや、カメラ付き携帯電話等の撮影機能および表示機能を備えた各種電子機器として実現することができる。
【符号の説明】
【0094】
1 撮像装置
2 撮像部
2a レンズ部
2b レンズ駆動機構
2c 絞り
2d 絞り駆動機構
2e シャッタ
2f シャッタ駆動機構
2g 撮像素子
2h 信号処理部
3 姿勢検出部
4 フラッシュ発光部
5 時計
6 操作入力部
6a 電源スイッチ
6b レリーズスイッチ
6c モード切換スイッチ
6e メニュースイッチ
6f ズームスイッチ
7 表示部
8 タッチパネル
9 音声出力部
10 記憶部
10a 画像データ記憶部
10b プログラム記憶部
10c 画像データ仮記憶部
10d ガイダンス情報記憶部
11 制御部
11a 画像処理部
11b 顔検出部
11c ガイダンス情報作成部
11d 判定部
11e 立体画像生成部
【特許請求の範囲】
【請求項1】
被写体を撮像して該被写体の画像データを生成する撮像部が移動する前後または移動する間に前記撮像部によって生成される画像データであって3次元画像を構成する一対の画像データを取得することが可能な撮像装置において、
前記一対の画像データを取得する際の操作方法を説明するガイダンス情報を作成するガイダンス情報作成部と、
前記ガイダンス情報作成部が作成したガイダンス情報を出力するガイダンス情報出力部と、
を備え、
前記ガイダンス情報にしたがった操作がなされた場合に該操作に対応する撮影制御を自動的に行うことを特徴とする撮像装置。
【請求項2】
前記ガイダンス情報出力部は、
前記ガイダンス情報を音声によって出力する音声出力部を有することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記ガイダンス情報出力部は、
前記ガイダンス情報を文字および/または画像によって表示する表示部を有することを特徴とする請求項1または2に記載の撮像装置。
【請求項4】
前記撮像部が生成した画像データに含まれる人物の顔を検出する顔検出部をさらに備え、
前記ガイダンス情報作成部は、
前記顔検出部が検出した顔の情報に基づいて前記撮像部の移動距離を算出し、この移動距離をガイダンス情報の一部とすることを特徴とする請求項1〜3のいずれか一項に記載の撮像装置。
【請求項5】
前記ガイダンス情報は、
前記一対の画像データを順次取得する2つの撮影のうち時間的に早く行われる第1撮影の前に前記ガイダンス情報出力部によって出力される初期ガイダンス情報と、
前記第1撮影の後であって、該第1撮影よりも時間的に後に行われる第2撮影の前に前記ガイダンス情報出力部によって出力される第1撮影後ガイダンス情報と、
を含むことを特徴とする請求項1〜4のいずれか一項に記載の撮像装置。
【請求項6】
前記ガイダンス情報は、
被写体が目および/または顔を動かして前記撮像部の動きを追うことを禁止するメッセージを含むことを特徴とする請求項1〜5のいずれか一項に記載の撮像装置。
【請求項7】
被写体を撮像して該被写体の画像データを生成する撮像部が移動する前後または移動する間に前記撮像部によって生成される画像データであって3次元画像を構成する一対の画像データを取得することが可能な撮像装置に、
前記一対の画像データを取得する際の操作方法を説明するガイダンス情報を作成するガイダンス情報作成ステップと、
前記ガイダンス情報作成ステップで作成したガイダンス情報を出力するガイダンス情報出力ステップと、
前記ガイダンス情報にしたがった操作がなされた場合に該操作に対応する撮影制御を自動的に行う制御ステップと、
を実行させることを特徴とする撮像プログラム。
【請求項1】
被写体を撮像して該被写体の画像データを生成する撮像部が移動する前後または移動する間に前記撮像部によって生成される画像データであって3次元画像を構成する一対の画像データを取得することが可能な撮像装置において、
前記一対の画像データを取得する際の操作方法を説明するガイダンス情報を作成するガイダンス情報作成部と、
前記ガイダンス情報作成部が作成したガイダンス情報を出力するガイダンス情報出力部と、
を備え、
前記ガイダンス情報にしたがった操作がなされた場合に該操作に対応する撮影制御を自動的に行うことを特徴とする撮像装置。
【請求項2】
前記ガイダンス情報出力部は、
前記ガイダンス情報を音声によって出力する音声出力部を有することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記ガイダンス情報出力部は、
前記ガイダンス情報を文字および/または画像によって表示する表示部を有することを特徴とする請求項1または2に記載の撮像装置。
【請求項4】
前記撮像部が生成した画像データに含まれる人物の顔を検出する顔検出部をさらに備え、
前記ガイダンス情報作成部は、
前記顔検出部が検出した顔の情報に基づいて前記撮像部の移動距離を算出し、この移動距離をガイダンス情報の一部とすることを特徴とする請求項1〜3のいずれか一項に記載の撮像装置。
【請求項5】
前記ガイダンス情報は、
前記一対の画像データを順次取得する2つの撮影のうち時間的に早く行われる第1撮影の前に前記ガイダンス情報出力部によって出力される初期ガイダンス情報と、
前記第1撮影の後であって、該第1撮影よりも時間的に後に行われる第2撮影の前に前記ガイダンス情報出力部によって出力される第1撮影後ガイダンス情報と、
を含むことを特徴とする請求項1〜4のいずれか一項に記載の撮像装置。
【請求項6】
前記ガイダンス情報は、
被写体が目および/または顔を動かして前記撮像部の動きを追うことを禁止するメッセージを含むことを特徴とする請求項1〜5のいずれか一項に記載の撮像装置。
【請求項7】
被写体を撮像して該被写体の画像データを生成する撮像部が移動する前後または移動する間に前記撮像部によって生成される画像データであって3次元画像を構成する一対の画像データを取得することが可能な撮像装置に、
前記一対の画像データを取得する際の操作方法を説明するガイダンス情報を作成するガイダンス情報作成ステップと、
前記ガイダンス情報作成ステップで作成したガイダンス情報を出力するガイダンス情報出力ステップと、
前記ガイダンス情報にしたがった操作がなされた場合に該操作に対応する撮影制御を自動的に行う制御ステップと、
を実行させることを特徴とする撮像プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2012−186646(P2012−186646A)
【公開日】平成24年9月27日(2012.9.27)
【国際特許分類】
【出願番号】特願2011−48157(P2011−48157)
【出願日】平成23年3月4日(2011.3.4)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】
【公開日】平成24年9月27日(2012.9.27)
【国際特許分類】
【出願日】平成23年3月4日(2011.3.4)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】
[ Back to top ]