擬似立体画像生成装置及びカメラ
【課題】非立体画像信号を擬似立体画像信号に変換する場合に、どのような非立体画像のシーンであっても、違和感のない現実のイメージに近い擬似立体画像信号を生成する。
【解決手段】ＣＰＵ１０８は、入力された、測距エリアの撮影画面内での位置、被写体までの推定距離、推定被写界深度、被写体が顔か否かのデータ、顔の場合の顔の大きさのデータなど各種データに基づいて、フレーム毎に制御信号ＣＴＬ１、ＣＴＬ２及びＣＴＬ３を算出して、非立体画像から擬似立体画像を生成する２Ｄ３Ｄ変換部１１５の擬似立体画像生成用パラメータとして供給する。制御信号ＣＴＬ１は、複数の基本奥行きモデルタイプの各画像の合成比率を制御する。制御信号ＣＴＬ２は、復号画像信号ａ中のＲ信号成分のみを重み付けするための重み付け係数を示す制御信号である。制御信号ＣＴＬ３は、奥行きを示すパラメータと輻輳を示すパラメータとを含む制御信号である。
【解決手段】ＣＰＵ１０８は、入力された、測距エリアの撮影画面内での位置、被写体までの推定距離、推定被写界深度、被写体が顔か否かのデータ、顔の場合の顔の大きさのデータなど各種データに基づいて、フレーム毎に制御信号ＣＴＬ１、ＣＴＬ２及びＣＴＬ３を算出して、非立体画像から擬似立体画像を生成する２Ｄ３Ｄ変換部１１５の擬似立体画像生成用パラメータとして供給する。制御信号ＣＴＬ１は、複数の基本奥行きモデルタイプの各画像の合成比率を制御する。制御信号ＣＴＬ２は、復号画像信号ａ中のＲ信号成分のみを重み付けするための重み付け係数を示す制御信号である。制御信号ＣＴＬ３は、奥行きを示すパラメータと輻輳を示すパラメータとを含む制御信号である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は擬似立体画像生成装置及びカメラに係り、特に奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない通常の動画像（非立体動画像）から擬似的な立体画像を生成する擬似立体動画像生成装置及びカメラに関する。
【背景技術】
【０００２】
近年、立体画像を生成する立体画像生成装置が、数多く発表されている。この立体画像生成装置は大きく３種類に分類できる。一つ目は、右目用と左目用の光学系をそれぞれ備えて、それぞれの光学系で撮影した画像を記録、再生するものである。二つ目は、主たる一つの光学系に加えて現実の奥行き情報を測定する構成を備えて、主たる一つの光学系で撮影した２次元の静止画像又は動画像（以下、非立体画像という）と、測定した奥行き情報とを合成して立体画像を構成するものである。
【０００３】
特許文献１に開示された立体画像生成装置では、非立体画像である２次元画像の画面の各画素について距離を測定する。そして、２つのカメラ又はレーザー光を用いて、画面内の全ての被写体とカメラとの距離を測定し、２次元画像の画面の各画素についての距離情報を得る。続いて、この立体画像生成装置では、撮影者の撮影時の意図を反映させた奥行き画像及び奥行き精度画像を簡便に生成するために、個々の画素毎に、非線形な関数（マッピングテーブル）によって距離情報から奥行き値を算出する。このとき、複数のマッピングテーブルを撮影情報に応じて選択する。また、この立体画像生成装置では、奥行き情報の精度について、画面内で精度の高い部分と低い部分とを設けることができるようにしている。
【０００４】
三つ目は、非立体画像から推定して擬似的な奥行き情報を生成し、その擬似的な奥行き情報と非立体画像とを合成して立体画像を構成する立体画像生成装置である。この立体画像生成装置は、推定によって擬似的な奥行き情報を生成するので、２次元画像の画面の各画素について距離を測定することはない構成である。
【０００５】
また、本出願人による特許文献２には、擬似立体画像を生成する際に、自動的な処理方法で推定される奥行き情報を、非立体画像の１画面毎の場面（以下、シーンという）に応じて補正することを可能にする擬似立体画像生成装置が開示されている。
【０００６】
この特許文献２に開示された擬似立体画像生成装置では、奥行き感を有する画像（以下、基本奥行きモデルタイプという）を複数用意し、非立体画像の１画面における輝度信号の高域成分を算出して、その算出値に基づいて複数の基本奥行きモデルタイプの合成比率を自動的に算出する。そして、算出した合成比率から非立体画像の奥行き感を出すための奥行きデータを推定して、非立体画像と奥行きデータとにより擬似立体画像を生成する。
【０００７】
このとき、複数の基本奥行きモデルタイプの合成比率は、すべての非立体画像に対して予め定めた同一の方法により自動的に算出すると、シーンによっては、適切な奥行き情報が得られず、違和感のある擬似立体画像が生成されてしまう場合がある。しかし、非立体画像のシーンに応じて、その都度ユーザー自身が擬似立体画像のアルゴリズムやパラメータを調整することは現実的に困難である。そこで、上記の特許文献２記載の擬似立体画像生成装置では、違和感のない、現実のイメージにより近い擬似立体画像を生成するために、製作者側において奥行き情報を、シーンに応じて補正することを目的にしている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−１４１６６６号公報
【特許文献２】特開２００９−０４４７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１記載の立体画像生成装置では、距離情報の取得のために２つのカメラあるいはレーザー光を用いた距離測定手段が必要であるため、装置が高価格のものになってしまう。また、この立体画像生成装置では、撮影した情報を記録する場合には、２次元画像データと共に各画素毎の奥行き情報を記録する必要があり、記録画データが大きくなって、その保存や伝送にかかるコストも問題となる。
【００１０】
一方、特許文献２には、奥行き情報の調整を行うための具体的な方法については開示されていない。例えば、人が実際にシーンを視聴して、手作業で調整パラメータを決定してもよい。しかしながら、ユーザーがハンディビデオカメラで撮影した非立体画像を擬似立体画像に変換するような場合には、特許文献２記載の擬似立体画像生成装置では、ユーザーが製作者となって、手作業で調整パラメータを調整することとなるが、違和感のない、現実のイメージにより近い擬似立体画像を生成するための調整は非常に煩わしい。
【００１１】
本発明は、上記の点に鑑みなされたもので、ビデオカメラで撮影した得られた非立体画像信号を擬似立体画像信号に変換する場合に、どのような非立体画像のシーンであっても、違和感のない、現実のイメージにより近い擬似立体画像信号を生成することができる擬似立体画像生成装置及びカメラを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成するため、本発明の擬似立体画像生成装置は、ズームレンズ、フォーカスレンズ及び絞りを含む光学系を通して撮像素子の撮像面に結像された被写体の光学像を、撮像素子により光電変換して得られた非立体画像信号から被写体が人物であるとき、その人物の顔の大きさ情報を取得する顔の大きさ情報取得手段と、非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、基本奥行きモデル発生手段から供給される複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、非立体画像信号に対して第２の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第３の制御信号により奥行きと輻輳とが調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第１〜第３の制御信号をそれぞれ算出して出力する際に、顔の大きさ情報を用いて、算出する第１〜第３の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段とを有することを特徴とする。
【００１３】
また、上記の目的を達成するため、本発明の擬似立体画像生成装置は、光学系を構成するズームレンズ及びフォーカスレンズの各位置をそれぞれ取得するレンズ位置取得手段と、レンズ位置取得手段で取得されたズームレンズ位置及びフォーカスレンズの位置に基づいて、フォーカスレンズの位置から被写体までの推定距離を算出する被写体推定距離算出手段と、光学系を通して撮像素子の撮像面に結像された被写体の光学像を、撮像素子により光電変換して得られた非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、基本奥行きモデル発生手段から供給される複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、非立体画像信号に対して第２の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第３の制御信号により奥行きと輻輳とが調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第１乃び第３の制御信号をそれぞれ算出して出力する際に、算出された被写体までの推定距離の情報を用いて、算出する第１及び第３の制御信号のうちの少なくともいずれか一方の制御信号の値を可変する制御信号算出手段とを有することを特徴とする。
【００１４】
また、上記の目的を達成するため、本発明の擬似立体画像生成装置は、光学系を構成するズームレンズの位置、フォーカスレンズの位置及び絞りの絞り値をそれぞれ取得する光学系情報取得手段と、光学系情報取得手段で取得された絞り値及びズームレンズ位置に基づいて、推定被写界深度を算出する被写界深度算出手段と、光学系を通して撮像素子の撮像面に結像された被写体の光学像を、撮像素子により光電変換して得られた非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、基本奥行きモデル発生手段から供給される複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、非立体画像信号に対して第２の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第３の制御信号により奥行きと輻輳とが調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第１〜第３の制御信号をそれぞれ算出して出力する際に、算出された推定被写界深度の情報を用いて、算出する第１〜第３の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段とを有することを特徴とする。
【００１５】
また、上記の目的を達成するため、本発明の擬似立体画像生成装置は、光学系を構成するズームレンズ及びフォーカスレンズの各位置をそれぞれ取得するレンズ位置取得手段と、光学系を通して撮像素子の撮像面に結像された被写体の光学像を、撮像素子により光電変換して得られた非立体画像信号のうち、撮像素子の撮像画面内の所定の小領域である測距エリア内の非立体画像信号の高域成分が最大となる合焦位置を求めるために、フォーカスレンズの位置を移動制御する自動焦点調節手段と、撮像画面内の測距エリアの位置データを取得する位置データ取得手段と、フォーカスレンズの合焦位置から被写体までの推定距離を算出する被写体推定距離算出手段と、非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、基本奥行きモデル発生手段から供給される複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、非立体画像信号に対して第２の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第３の制御信号により奥行きと輻輳とが調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第１〜第３の制御信号をそれぞれ算出して出力する際に、測距エリアの位置データと被写体までの推定距離とに応じて、算出する第１及び第３の制御信号のうち少なくともいずれか一方の制御信号を可変する制御信号算出手段とを有することを特徴とする。
【００１６】
また、上記の目的を達成するため、本発明の擬似立体画像生成装置は、光学系を通して撮像面に結像された被写体の光学像を光電変換して非立体画像信号を得る撮像素子の搖動の大きさ情報と、パンニング、チルティングの大きさ情報とからなる手振れ情報を検出する手振れ検出手段と、撮像素子により得られた非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、基本奥行きモデル発生手段から供給される複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、非立体画像信号に対して第２の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第３の制御信号により奥行きと輻輳とが調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第１〜第３の制御信号をそれぞれ算出して出力する際に、手振れ情報を用いて、算出する第１〜第３の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段とを有することを特徴とする。
【００１７】
また、上記の目的を達成するため、本発明の擬似立体画像生成装置は、光学系を通して撮像面に結像された被写体の光学像を光電変換して非立体画像信号を得る撮像素子の光軸周りのロール角度を検出するロール角度検出手段と、撮像素子により得られた非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、基本奥行きモデル発生手段から供給される複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、非立体画像信号に対して第２の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第３の制御信号により奥行きと輻輳とが調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第１〜第３の制御信号をそれぞれ算出して出力する際に、ロール角度検出手段により検出されたロール角度検出情報を用いて、算出する第１及び第３の制御信号のうちの少なくともいずれか一方の制御信号の値を可変する制御信号算出手段とを有することを特徴とする。
【００１８】
更に、上記の目的を達成するため、本発明のカメラは、光学系を通して撮像面に結像された被写体の光学像を光電変換して、非立体画像信号を得る撮像素子を有するカメラにおいて、カメラから被写体までの推定距離を算出する被写体推定距離算出手段と、光学系を通して撮像面に結像された被写体の光学像を光電変換する撮像素子から出力される非立体画像信号の隣接する２フレーム間の信号変化と推定距離とに基づいて、撮影シーン情報を取得する撮影シーン情報取得手段と、撮像素子から出力される非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、基本奥行きモデル発生手段から供給される複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、非立体画像信号に対して第２の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第３の制御信号により奥行きと輻輳とが調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第１乃至第３の制御信号をそれぞれ算出して出力する際に、撮影シーン情報取得手段により取得された撮影シーン情報を用いて、算出する第１乃至第３の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段とを有することを特徴とする。
【発明の効果】
【００１９】
本発明によれば、画面毎に得られる撮影時のパラメータから制御信号を補正することにより、撮影して得られた非立体画像信号に対して、最適な奥行きモデルの擬似立体画像信号を生成することができ、これにより擬似立体画像信号を視聴するユーザーの違和感や疲労感を抑制し、更に迫力や臨場感のある擬似立体画像信号を生成することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の擬似立体画像生成装置を備えたビデオカメラの第１の実施形態のブロック図である。
【図２】図１中の２Ｄ３Ｄ変換部の一例のブロック図である。
【図３】図２中の奥行き推定データ生成部の一例のブロック図である。
【図４】図２中のステレオペア生成部の一例のブロック図である。
【図５】基本奥行きモデルタイプＡの画像の立体構造の一例である。
【図６】基本奥行きモデルタイプＢの画像の立体構造の一例である。
【図７】基本奥行きモデルタイプＣの画像の立体構造の一例である。
【図８】図３中の合成比率決定部における合成比率の決定条件の一例を示す図である。
【図９】図３中の奥行きモデル合成部の一例のブロック図である。
【図１０】本発明の擬似立体画像生成装置を備えたビデオカメラの第２の実施形態のブロック図である。
【図１１】本発明の擬似立体画像生成装置を備えたビデオカメラの第３の実施形態のブロック図である。
【発明を実施するための形態】
【００２１】
次に、本発明の各実施形態について図面と共に説明する。
【００２２】
＜第１の実施形態＞
図１は、本発明になる擬似立体画像生成装置を備えたカメラの第１の実施形態のブロック図を示す。以後の各実施形態の説明において、カメラはビデオカメラとして説明するが、ビデオカメラに限定するものではない。本実施形態のビデオカメラ１００は、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３及び撮像素子１０４からなる光学系を有するハンディビデオカメラである。
【００２３】
ズームレンズ１０１はズームレンズ駆動部１０５により、またフォーカスレンズ１０２はフォーカスレンズ駆動部１０６により、それぞれ撮像素子１０４の撮像面に対して近付く方向又は遠ざかる方向に互いに独立して移動制御される。絞り１０３は、絞り駆動部１０７により絞り値が制御される。撮像素子１０４は、ＣＣＤ（Charge Coupled Devise；電荷結合素子）あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサからなり、行方向及び列方向に多数個の画素がマトリクス状に配列された撮像面を有する。撮像素子１０４は、撮像面に結像された被写体の光学像を光電変換して撮像信号を出力する。
【００２４】
また、ズームレンズ駆動部１０５は、ズームレンズ１０１の移動位置を検出する機能を有する。同様に、フォーカスレンズ駆動部１０６は、フォーカスレンズ１０２の移動位置を検出する機能を有する。絞り駆動部１０７は、絞り量（絞り値）を検出する機能を有する。
【００２５】
ＣＰＵ（Central Processing Unit；中央処理装置）１０８は、本発明における被写体の顔の大きさ情報取得手段、ズームレンズ１０１及びフォーカスレンズ１０２の各位置をそれぞれ取得するレンズ位置取得手段、光学系を構成するズームレンズ１０１の位置、フォーカスレンズ１０２の位置及び絞り１０３の絞り値をそれぞれ取得する光学系情報取得手段、フォーカスレンズ１０２の合焦位置から被写体までの推定距離を算出する被写体推定距離算出手段、推定被写界深度を算出する被写界深度算出手段、撮像画面内の測距エリアの位置データを取得する位置データ取得手段、制御信号ＣＴＬ１〜ＣＴＬ３を算出する制御信号算出手段を構成している。また、ＣＰＵ１０８は、フォーカスレンズ駆動部１０６と共にフォーカスレンズ１０２を合焦位置に移動制御する自動焦点調節手段も構成している。
【００２６】
すなわち、ＣＰＵ１０８は、ズームレンズ駆動部１０５により検出されたズームレンズ１０１の移動位置、フォーカスレンズ駆動部１０６により検出されたフォーカスレンズ１０２の移動位置、及び絞り駆動部１０７により検出された絞り量（絞り値）が入力され、これらの入力情報をメモリ１０９に格納されたプログラム及びテーブルに従って演算処理する。また、ＣＰＵ１０８は、撮像信号のシーン毎に得られる撮影情報から後述する制御信号ＣＴＬ１、ＣＴＬ２及びＣＴＬ３を生成する。
【００２７】
メモリ１０９は、ズームレンズ１０１の移動位置と合焦状態でのフォーカスレンズ１０２の移動位置との組み合わせから、フォーカスレンズ１０２の合焦位置から被写体までの距離を推定するための数値テーブル（以下、「被写体距離推定テーブル」と称する）を格納している。また、メモリ１０９は、絞り値とズームレンズ１０１の移動位置と被写体との距離との推定値から、いわゆる被写界深度を推定するための数値テーブル（以下、「被写界深度テーブル」と称する）を格納している。
【００２８】
また、ビデオカメラ１００は、撮像信号をデジタル信号に変換するためのＡ／Ｄ変換器１１０、デジタル信号に対して所定の信号処理を行って画像データを出力する信号処理部１１１、信号処理された画像データを記憶する画像記憶部１１２、画像データに対して符号化等の画像処理を行う画像処理部１１３及び録再インタフェース（Ｉ／Ｆ;Interface）部１１４を有する。
【００２９】
更に、ビデオカメラ１００は、擬似立体画像生成部（以下、「２Ｄ３Ｄ変換部」という）１１５及び表示Ｉ／Ｆ部１１６を有する。２Ｄ３Ｄ変換部１１５は、後に詳述するように、ＣＰＵ１０８により生成された制御信号ＣＴＬ１、ＣＴＬ２及びＣＴＬ３に基づき、非立体画像である撮影画像から奥行き情報を推定して、各シーンで違和感の殆どない擬似立体画像を生成する。表示Ｉ／Ｆ部１１６は、擬似立体画像を表示する。２Ｄ３Ｄ変換部１１５は、前述したＣＰＵ１０８に直接に接続される一方、画像記憶部１１２、画像処理部１１３、録再Ｉ／Ｆ部１１４と共に双方向の画像データバス１１７を介してＣＰＵ１０８に接続されている。
【００３０】
また、ビデオカメラ１００は、操作部１１８を備えている。操作部１１８は、タッチパネルを備えており、タッチパネルのある位置にユーザーが指をタッチすることで、撮影画面でその位置に対応する位置が測距エリアとして選択されるようにされる。ビデオカメラ１００において、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３、撮像素子１０４、ズームレンズ駆動部１０５、フォーカスレンズ駆動部１０６、絞り駆動部１０７、ＣＰＵ１０８、メモリ１０９、録再Ｉ／Ｆ部１１４、及び２Ｄ３Ｄ変換部１１５は、本実施形態の擬似立体画像生成装置を構成している。
【００３１】
上記の各構成要素からなるビデオカメラ１００は、所望の撮影モードによる被写体の撮影、撮影した画像データの記録媒体への記録、記録媒体から再生した画像データに基づく擬似立体画像の生成、擬似立体画像の表示を適宜選択して行う。
【００３２】
そこで、まず、ビデオカメラ１００の撮影時と、撮影した画像データの記録媒体への記録時の動作について説明する。撮影時には、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３を順次に通過した被写体からの入射光は、撮像素子１０４の撮像面に光学像として結像されて光電変換され、撮像信号として出力される。
【００３３】
Ａ／Ｄ変換器１１０は、撮像素子１０４から出力された撮像信号をデジタル信号である画像データに変換し、信号処理部１１１に供給する。信号処理部１１１は、入力された画像データに対し、画素補間処理を含むカラープロセス処理を施し、デジタル値の輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）を生成すると共に、それらの信号中のノイズ除去を行う。画像記憶部１１２は、信号処理部１１１で生成されたデジタル値の輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）を順次格納する。画像記憶部１１２には、数フレーム分の信号が格納される。
【００３４】
画像処理部１１３は、画像データバス１１７を介して画像記憶部１１２にアクセスし、画像記憶部１１２に格納された画像データを、公知のＭＰＥＧ−２（Moving Picture Experts Group 2）方式やＭＰＥＧ−４ ＡＶＣ（Moving Picture Experts Group 4 Advanced Video Coding）方式によって符号化する。
【００３５】
このように撮影して得られた被写体の符号化画像データは記録媒体に記録される。すなわち、録再Ｉ／Ｆ部１１４は、被写体の撮像画像を画像処理部１１３により符号化して得られた画像データを、画像データバス１１７を介して取り込み、その画像データを図示しない記録媒体に記録する。ただし、記録媒体には後述するように符号化された画像データだけでなく、所定のデータが符号化された画像データに多重されて記録される。記録媒体としては、磁気ディスク、光ディスク、半導体記憶媒体、磁気テープ等がある。また、記憶媒体は、外部取り外しの可能な記憶媒体または内蔵の記憶媒体とすることができる。
【００３６】
ここで、ビデオカメラ１００は、自動焦点調節（ＡＦともいう）撮影モードを備えている。ＡＦ方法には、いくつかの方式が公知となっているが、ここでは画面内の所定の小領域の輝度信号（Ｙ）の高域成分が最大になるフォーカスレンズの位置を合焦位置とする方式（いわゆる山登り方式）を用いる。この山登り方式は測距範囲の全域にわたりフォーカスレンズ１０２の位置を移動しながら撮像素子１０４から得られる輝度信号の高域成分（以下焦点評価値という）を記憶していき、記憶した値の最大値に相当するフォーカスレンズ位置を合焦位置とする方式を用いる。一旦、合焦位置が求まったら、以後の撮影は合焦位置の近傍でフォーカスレンズ１０２を駆動して輝度信号の高域成分の最大値を求めることで、動画像撮影に対応する。
【００３７】
このＡＦ撮影モードでは、ＣＰＵ１０８は、画像記憶部１１２に格納されている１フレーム分の輝度信号（Ｙ）のうち、所定の小領域に属する画素のデータを画像データバス１１７を介して読み出す。そして、ＣＰＵ１０８は、この画素データから高域成分をデジタルフィルタ演算によって算出することで、焦点評価値を得る。また、ＣＰＵ１０８は、フォーカスレンズ駆動部１０６に指示を出してフォーカスレンズ１０２を移動させる。
【００３８】
上記の所定の小領域は、測距エリアと呼ばれる。この測距エリアを決定する方法にはいくつかの方法が知られている。第１の測距エリア決定方法は、測距エリアを撮影画面の中央部分に固定する方法である。第２の測距エリア決定方法は、測距エリアをユーザーが撮影画面の所望の位置に選択する方法である。この方法では、操作部１１８が備えるタッチパネルをユーザーがタッチすることで、撮影画面のタッチした位置に対応する位置を中心とする所定の大きさの小領域が測距エリアとして選択される。
【００３９】
また、第３の測距エリア決定方法は、ユーザーが上記タッチパネルにタッチした時点で撮影画面のタッチした位置に対応する位置を中心とする所定の大きさの小領域内に存在する被写体を追尾して、その追尾領域を測距エリアとする方法である。例えば、草原を歩き回る犬を撮影するような場合、撮影画面内の犬の位置に対応する位置をタッチすることで、それ以降に犬が歩き回っても、犬の位置を自動で追尾して測距エリアとする。
【００４０】
ＣＰＵ１０８は、画像記憶部１１２に格納されている１フレーム分の輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）を読み出し、それらの信号を用いてタッチパネルのタッチされた位置に対応する撮影画面内の位置を中心とする小領域の信号の特徴量を抽出する。特徴量としては、色の分布や輝度信号の高域成分の形状などを利用する。測距エリアを移動する被写体に追尾する方法では、被写体の移動中は、後続の各々のフレームの輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）を用いて類似の特徴量を有する位置を探索することで、測距エリアを決定する。
【００４１】
また、第４の測距エリア決定方法は、撮影画面内で被写体の人物の顔を自動で検出して、その顔の位置を中心とする所定の大きさの小領域を測距エリアとする方法である。人物の顔の検出手段自体は公知であるので、その説明は省略する。複数の顔が検出された場合は、その内で主要被写体と判断される顔の位置を中心とする所定の大きさの小領域を測距エリアとする。
【００４２】
この測距エリア決定方法としては、例えばユーザーが上記タッチパネルをタッチすることで、タッチした位置に相当する顔を主要被写体の顔と判断する方法がある。あるいは、個人認証機能により、予め登録した人物の特徴量がメモリ１０９に格納されている場合には、登録していない人物よりも登録した人物の顔を主要被写体の顔と判断し、登録した複数の人物の顔が検出された場合には、登録時にユーザーが設定した登録順位に従って主要被写体の顔と判断する方法がある。
【００４３】
なお、顔の位置を測距エリアとした場合には、その顔の大きさ情報も取得する。顔の大きさ情報は、例えば、撮影画面内で検出された被写体の人物の顔の撮影画面面積（画素数）を、その撮影時点におけるズームレンズ１０１の位置（ズーム比）と対応させた情報である。上記のＡＦ撮影モードでは測距エリアの合焦位置は時々刻々変化し、また、上記の追尾方式や顔検出方式では測距エリアの位置は時々刻々変化する。
【００４４】
また、撮影時には、操作部１１８に対するユーザーの操作に従いズームレンズ１０１を移動させて、撮影画面を拡大したり、縮小したりすることかできる。この場合、ＣＰＵ１０８は、操作部１１８から入力されるズームレンズ操作用信号に対応してズームレンズ駆動部１０５に指示を出してズームレンズ１０１を移動させる。
【００４５】
また、撮影時には、操作部１１８に対するユーザーの操作に従い絞り量（絞り値）を変化させることができる。この場合、ＣＰＵ１０８は、操作部１１８からの絞り制御信号に対応して絞り駆動部１０７に指示を出して絞り１０３の絞り量を変化させる。絞り量は被写体の明るさに応じて、ＣＰＵ１０８が自動で制御する場合もある。
【００４６】
ズームレンズ１０１の移動位置、フォーカスレンズ１０２の移動位置及び絞り１０３の絞り量は、ズームレンズ駆動部１０５、フォーカスレンズ駆動部１０６及び絞り駆動部１０７でそれぞれ取得され、その取得情報がＣＰＵ１０８に送られる。ＣＰＵ１０８は、これらの取得情報とメモリ１０９に格納されている被写体距離推定テーブルとを用いて、フォーカスレンズ１０２の合焦位置から被写体までの距離を推定する（すなわち、被写体までの推定距離を算出する）。また、ＣＰＵ１０８は、これらの取得情報とメモリ１０９に格納されている被写界深度テーブルとを用いて被写界深度を推定する。
【００４７】
続いて、ＣＰＵ１０８は、フレーム毎の測距エリアの撮影画面内での位置データ、被写体までの推定距離のデータ、被写界深度の推定データ及び被写体が顔か否かのデータ、更に顔の場合には顔の大きさのデータを含めて、それらの各種データを録再Ｉ／Ｆ部１１４に出力する。録再Ｉ／Ｆ部１１４は、画像処理部１１３で符号化された画像データと、ＣＰＵ１０８で生成された上記の各種データとを、対応させて多重化して図示しない記録媒体に記録する。上記の各種データを符号化画像データに多重化する方法は、特に限定されるものではないが、例えば、上記の各種データを符号化画像データの中に、ユーザデータとして公知の方法により埋め込むようにしてもよい。
【００４８】
なお、測距エリアの位置、被写体までの推定距離と推定被写界深度のデータの多重化は必ずしも毎フレームでなくてもよく、数フレーム置きでもよいし、所定の閾値よりも大きな変化があった場合に限定してもよい。
【００４９】
また、被写体までの推定距離と推定被写界深度については、これらの替りにズームレンズ１０１の移動位置、フォーカスレンズ１０２の移動位置、及び絞り１０３の絞り量を符号化するようにしてもよい。これらと共に被写体距離推定テーブル、被写界深度テーブルに相当するデータを多重化して記録すれば、再生側で被写体までの推定距離と推定被写界深度とが算出できる。また、自己記録再生に限定すれば、被写体距離推定テーブル、被写界深度テーブルは記録しなくてもよい。
【００５０】
また、本実施形態では、被写体までの推定距離を山登り法で求めたが、これに限定されるものではなく、赤外線を照射してその反射波を観測する方式や、いわゆる位相差検出方式を用いてもよい。
【００５１】
次に、本実施形態の記録媒体から再生した画像データに基づく擬似立体画像の生成時の動作について説明する。
【００５２】
再生時には、録再Ｉ／Ｆ部１１４は、図示しない記録媒体に記録されている多重化データを読み出し、その多重化データのうち符号化画像データは画像データバス１１７を介して画像処理部１１３に供給する。また、録再Ｉ／Ｆ部１１４は、読み出した多重化データのうち、符号化画像データ以外の、測距エリアの位置、被写体までの推定距離、推定被写界深度、被写体が顔か否かのデータ、顔の場合の顔の大きさのデータなど各種データは画像データバス１１７を介してＣＰＵ１０８に供給する。
【００５３】
画像処理部１１３は、入力された符号化画像データを復号して、デジタル値の復号輝度信号（Ｙ）及び復号色差信号（Ｃｂ，Ｃｒ）を得て、これらを画像記憶部１１２に格納する。画像記憶部１１２は、格納した復号輝度信号（Ｙ）及び復号色差信号（Ｃｂ，Ｃｒ）を、各フレームの時間順の並べ替えなどを行って読み出して、２Ｄ３Ｄ変換部１１５に供給する。
【００５４】
一方、ＣＰＵ１０８は、入力された、測距エリアの位置、被写体までの推定距離、推定被写界深度、被写体が顔か否かのデータ、顔の場合の顔の大きさのデータなど各種データに基づいて、後述するようにフレーム毎に制御信号ＣＴＬ１、ＣＴＬ２及びＣＴＬ３を算出して、２Ｄ３Ｄ変換部１１５に供給する。このとき、ＣＰＵ１０８は、上記の復号輝度信号（Ｙ）及び復号色差信号（Ｃｂ，Ｃｒ）（以下、これらを復号画像信号ａという）中のあるフレームが２Ｄ３Ｄ変換部１１５に入力するタイミングに合わせて、そのフレームに対応する前記の制御信号ＣＴＬ１〜ＣＴＬ３を２Ｄ３Ｄ変換部１１５に供給する。
【００５５】
ここで、上記の制御信号ＣＴＬ１〜ＣＴＬ３は、制御信号の無い場合に得られた擬似立体画像が不自然になる場合に、ＣＰＵ１０８によって１フレーム毎に自動的に生成される信号である。なお、制御信号ＣＴＬ１〜ＣＴＬ３は１フィールド毎に生成してもよい。
【００５６】
上記の制御信号ＣＴＬ１は、後述する基本奥行きモデルタイプＡ、Ｂ及びＣの各画像の合成比率を制御する信号であり、基本奥行きモデルタイプＡの合成比率ｋ１、基本奥行きモデルタイプＢの合成比率ｋ２、基本奥行きモデルタイプＣの合成比率ｋ３をそれぞれ示すパラメータを含む。なお、上記の３つの合成比率ｋ１〜ｋ３の合計値は常に「１」であるので、制御信号ＣＴＬ１は例えば３つの合成比率ｋ１〜ｋ３のうちの任意の２つの合成比率を伝送し、残りの１つの合成比率は２Ｄ３Ｄ変換部１１５内で、伝送される任意の２つの合成比率の和を「１」から減算することで生成させることも可能である。
【００５７】
また、上記の制御信号ＣＴＬ２は、画像処理部１１３で復号して得られた、非立体画像信号である復号画像信号ａ中の赤色信号（Ｒ信号）成分のみを重み付けするための重み付け係数を示す制御信号である。この制御信号ＣＴＬ２により、復号画像信号ａの輝度差が強い場合であっても、不自然な擬似立体画像となることを抑制することができる。
【００５８】
更に、上記の制御信号ＣＴＬ３は、奥行きを示すパラメータと輻輳を示すパラメータとを含む制御信号である。輻輳とは、遠景に対しては擬似立体画像のユーザーの両目の視線がほぼ平行となるようにし、近景に対しては両目の視線を内転させることができるようにすることをいう。
【００５９】
図１において、２Ｄ３Ｄ変換部１１５は、画像記憶部１１２から供給される復号映像信号ａと、ＣＰＵ１０８から供給される制御信号ＣＴＬ１〜ＣＴＬ３とを入力信号として受け、後述するように、復号映像信号ａ又は制御信号ＣＴＬ１及びＣＴＬ２に基づいて奥行き推定データｄを生成してＣＰＵ１０８に出力すると共に、復号映像信号ａ及び制御信号ＣＴＬ１〜ＣＴＬ３に基づいて擬似立体画像信号を生成する。
【００６０】
次に、２Ｄ３Ｄ変換部１１５の構成及び動作について詳細に説明する。
【００６１】
図２は、２Ｄ３Ｄ変換部１１５の一例のブロック図、図３は、図２中の奥行き推定データ生成部の一例のブロック図、図４は、図２中のステレオペア生成部３００の一例のブロック図を示す。
【００６２】
図２に示すように、２Ｄ３Ｄ変換部１１５は、奥行き推定データ生成部２００とステレオペア生成部３００とから構成される。２Ｄ３Ｄ変換部１１５は、画像記憶部１１２から供給される非立体画像信号である復号画像信号ａを、加工することなくそのまま例えば右目用映像信号ｅ２として出力すると共に、奥行き推定データ生成部２００及びステレオペア生成部３００にそれぞれ供給する。
【００６３】
奥行き推定データ生成部２００は、ＣＰＵ１０８から供給される制御信号ＣＴＬ１及びＣＴＬ２と、画像記憶部１１２から供給される復号画像信号ａとから奥行き推定データｄを生成してＣＰＵ１０８及びステレオペア生成部３００に供給する。ステレオペア生成部３００は、奥行き推定データｄと、ＣＰＵ１０８から供給される制御信号ＣＴＬ３と、画像記憶部１１２から供給される復号画像信号ａとから擬似立体画像信号の左目用映像信号ｅ１を生成して出力する。
【００６４】
奥行き推定データ生成部２００は、図３に示すように、画像入力部２０１と、画面上部の高域成分評価部２０２と、画面下部の高域成分評価部２０３と、合成比率決定部２０４と、スイッチ２０５と、奥行きモデル合成手段である奥行きモデル合成部２０６と、それぞれ基本奥行きモデル発生手段であるフレームメモリ２０７、２０８及び２０９と、制御信号判定部２１０と、重み付け手段である重み付け部２１１と、奥行き推定データを生成する奥行き推定データ生成手段である加算部２１２とから構成されている。
【００６５】
画像入力部２０１は、フレームメモリを備えており、非立体画像信号である１フレーム分の復号画像信号ａを一時記憶した後、その１フレーム分の復号画像信号ａを画面上部の高域成分評価部２０２及び画面下部の高域成分評価部２０３にそれぞれ供給すると共に、復号画像信号ａ中の赤色信号（Ｒ信号）成分のみを重み付け手段である重み付け部２１１の一方の入力端子に供給する。重み付け部２１１の他方の入力端子には、制御信号判定手段である制御信号判定部２１０からの制御信号ＣＴＬ２が供給される。
【００６６】
画面上部の高域成分評価部２０２は、１フレーム分の復号画像信号ａにおける画面の上部約２０％にあたる領域内での高域成分を求めて、画面上部の高域成分評価値として算出する。そして、画面上部の高域成分評価部２０２は、画面上部の高域成分評価値を合成比率決定部２０４に供給する。画面下部の高域成分評価部２０３は、１フレーム分の復号画像信号ａにおける画面の下部約２０％領域内にあたる領域内での高域成分を求めて、画面下部の高域成分評価値として算出する。そして、画面下部の高域成分評価部２０３は、画面下部の高域成分評価値を合成比率決定部２０４に供給する。
【００６７】
一方、フレームメモリ２０７は基本奥行きモデルタイプＡ、フレームメモリ２０８は基本奥行きモデルタイプＢ、フレームメモリ２０９は基本奥行きモデルタイプＣの画像を予め格納している。これらの基本奥行きモデルタイプＡ〜Ｃの画像は、それぞれ非立体画像信号を基に奥行き推定データを生成して擬似立体画像信号を生成するための基本となるシーンの画像を示す。
【００６８】
すなわち、上記の基本奥行きモデルタイプＡの画像は、球面状の凹面による奥行きモデルの画像で、図５に示すような立体構造の画像を示す。多くの場合に、この基本奥行きモデルタイプＡの画像が使用される。オブジェクトが存在しないシーンにおいては、画面中央を一番遠距離に設定することにより、違和感の少ない立体感及び快適な奥行き感が得られるからである。
【００６９】
また、上記の基本奥行きモデルタイプＢの画像は、基本奥行きモデルタイプＡの画像の上部を球面でなく、アーチ型の円筒面に置き換えたもので、図６に立体構造を示すような、上部を円筒面（軸は垂直方向）で下部を凹面（球面）としたモデルの画像である。
【００７０】
更に、上記の基本奥行きモデルタイプＣの画像は、図７に立体構造を示すような、上部を平面とし、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、上部が平面、下部が円筒面（軸は水平方向）としたモデルの画像である。基本奥行きモデルタイプ発生手段を構成するフレームメモリ２０７〜２０９に格納されている、これら基本奥行きモデルタイプＡ〜Ｃの画像は、奥行きモデル合成部２０６へ供給される。
【００７１】
合成比率決定部２０４は、画面上部の高域成分評価部２０２から供給された画面上部の高域成分評価値と、画面下部の高域成分評価部２０３から供給された画面下部の高域成分評価値とに基づいて、画像のシーンを考慮することなく、予め定められた方法により、基本奥行きモデルタイプＡの合成比率ｋ１、基本奥行きモデルタイプＢの合成比率ｋ２、基本奥行きモデルタイプＣの合成比率ｋ３を自動的に算出し、それらを合成比率信号ＣＯＭとして制御信号判定手段であるスイッチ２０５に供給する。なお、３つの合成比率ｋ１〜ｋ３の合計値は常に「１」である。
【００７２】
図８は、合成比率の決定条件の一例を示す。図８は、横軸に示す画面上部の高域成分評価値（以下、上部の高域成分評価値と略す）と、縦軸に示す画面下部の高域成分評価値（以下、下部の高域成分評価値と略す）の各値と、予め指定された値ｔｐｓ、ｔｐｌ、ｂｍｓ、ｂｍｌとの兼ね合いにより合成比率が決定されることを示す。この合成比率の決定条件は、本出願人が特許第４２１４９７６号公報にて開示した公知の決定条件であるが、これに限定されるものではない。
【００７３】
図８において、複数のタイプが記載されている領域については、高域成分評価値に応じて線形に合成される。例えば、図８において、「ｔｙｐｅＡ／Ｂ」の領域では、下記のように（上部の高域成分評価値）と（下部の高域成分評価値）の比率で基本奥行きモデルタイプＡの値であるｔｙｐｅＡと基本奥行きモデルタイプＢの値であるｔｙｐｅＢの比率が決定され、基本奥行きモデルタイプＣの値であるｔｙｐｅＣは比率の決定には用いられない。
【００７４】
ｔｙｐｅＡ：ｔｙｐｅＢ：ｔｙｐｅＣ
＝（上部の高域成分評価値−ｔｐｓ）：（ｔｐ１−下部の高域成分評価値）：０
また、図８において、「ｔｙｐｅＡ／Ｂ／Ｃ」の領域では、ｔｙｐｅＡ／ＢとｔｙｐｅＡ／Ｃとの平均を採用して、下記のようにｔｙｐｅＡ／Ｂ／Ｃの値が決定される。
【００７５】
ｔｙｐｅＡ：ｔｙｐｅＢ：ｔｙｐｅＣ
＝（上部の高域成分評価値−tps）＋（下部の高域成分評価値−bms）：（tpl−
上部の高域成分評価値）：（bml−下部の高域成分評価値）
なお、合成比率ｋ１、ｋ２、ｋ３は次式で算出される。
【００７６】
ｋ１＝ｔｙｐｅ１／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
ｋ２＝ｔｙｐｅ２／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
ｋ３＝ｔｙｐｅ３／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
図３に戻って説明する。スイッチ２０５は、ＣＰＵ１０８から制御信号ＣＴＬ１が供給される場合には制御信号ＣＴＬ１を選択して奥行きモデル合成部２０６に供給し、制御信号ＣＴＬ１が供給されない場合には合成比率決定部２０４より供給される合成比率信号ＣＯＭを選択する。スイッチ２０５は、選択した信号を合成手段である奥行きモデル合成部２０６に供給する。
【００７７】
奥行きモデル合成部２０６は、スイッチ２０５から供給された制御信号ＣＴＬ１あるいは合成比率信号ＣＯＭが示す合成比率ｋ１〜ｋ３が示す比率で、基本奥行きモデルタイプＡ〜Ｃの画像を合成して合成奥行きモデルとなる画像信号を生成する。
【００７８】
図９は、奥行きモデル合成部２０６の一例のブロック図を示す。同図に示すように、奥行きモデル合成部２０６は、スイッチ２０５により選択された制御信号ＣＴＬ１又は合成比率信号ＣＯＭが示す合成比率ｋ１、ｋ２、ｋ３と、フレームメモリ２０７、２０８、２０９からの基本奥行きモデルタイプＡ、Ｂ、Ｃの各画像信号とを、乗算器２０６１、２０６２、２０６３において別々に乗算し、それら３つの乗算結果を加算器２０６４で加算して、得られた加算結果を奥行き推定データ生成手段である加算部２１２へ出力する構成である。
【００７９】
図３において、制御信号判定部２１０は、ＣＰＵ１０８より制御信号ＣＴＬ２が供給されているか否かを判定する。制御信号判定部２１０は、制御信号ＣＴＬ２が供給される場合は、その制御信号ＣＴＬ２を重み付け部２１１に供給する。一方、制御信号ＣＴＬ２が供給されていない場合、予め制御信号判定部２１０内に設定されている重み付け係数に相当するパラメータを含む制御信号ＣＴＬ２を重み付け部２１１に供給する。
【００８０】
重み付け部２１１は、制御信号判定部２１０から供給される制御信号ＣＴＬ２に含まれる最大値を「１」とする重み付け係数と、画像入力部２０１から供給される復号画像信号ａのＲ信号成分とを乗算して、復号画像信号ａのＲ信号成分に重み付けをする。Ｒ信号成分は、画像入力部２０１において、輝度信号（Ｙ）及び色差信号Ｃｒとから、Ｒ＝Ｙ＋Ｃｒといった演算で算出される。
【００８１】
なお、Ｒ信号成分を使用する理由の一つは、順光に近い環境で、かつ、テクスチャの明るさの度合い（明度）の変化が大きくない条件下で、Ｒ信号成分の大きさが原画像の凹凸と一致する確率が高いという経験則による。テクスチャとは、画像を構成する要素であり、単一の画素もしくは画素群で構成される。
【００８２】
更に、Ｒ信号成分を使用するもう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。
【００８３】
なお、赤色及び暖色が前進色であるのに対し、青色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。よって、青色の部分を奥に配置することによっても立体感の強調は可能である。更に双方を併用して、赤色の部分を手前、青色の部分を奥に配置することによって立体感を強調することも可能である。
【００８４】
加算部２１２は、奥行きモデル合成部２０６より供給される合成奥行きモデルの画像信号と、重み付け部２１１から供給される重み付けされた復号画像信号ａのＲ信号成分とから、奥行き推定データｄを生成する。例えば、奥行きモデル合成部２０６より供給される合成奥行きモデルの画像信号に、重み付け部２１１から供給される重み付けされた復号画像信号ａのＲ信号成分を重畳して、奥行き推定データｄを生成する。重畳した値が奥行き推定データｄに割り当てられる所定のビット数を超える場合は、所定のビット数に制限される。生成された奥行き推定データｄは、ステレオペア生成部３００に供給される。また、ＣＰＵ１０８にも供給される。
【００８５】
次に、ステレオペア生成部３００の構成及び動作について説明する。図４は、ステレオペア生成部３００の一例のブロック図を示す。制御信号判定手段である制御信号判定部３０１は、ＣＰＵ１０８より制御信号ＣＴＬ３が供給されているか否かを判定する。制御信号ＣＴＬ３が供給されていない場合、予め制御信号判定部３０１内に設定されている輻輳及び奥行きを表す２つのパラメータをテクスチャシフト部３０２に供給する。制御信号ＣＴＬ３が供給されている場合、その制御信号ＣＴＬ３に含まれている輻輳及び奥行きを表す２つのパラメータをテクスチャシフト部３０２に供給する。
【００８６】
テクスチャシフト手段であるテクスチャシフト部３０２は、供給される復号画像信号ａと奥行き推定データｄと制御信号判定部３０１からの輻輳及び奥行きを表す２つのパラメータとに基づいて、復号画像信号ａとは別視点の画像信号を生成する。例えば、テクスチャシフト部３０２は、復号画像信号ａを画面表示させた場合の視点を基準にして、左に視点移動した画像信号を生成する。その場合、テクスチャシフト部３０２は、ユーザーに対してテクスチャを近景として表示させるときは、近い画像ほどユーザーの内側（鼻側）に見えるので、画面右側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。また、テクスチャシフト部３０２は、ユーザーに対してテクスチャを遠景として表示させるときは、遠い画像ほどユーザーの外側に見えるので、画面左側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。
【００８７】
ここでは、それぞれの画素に対する奥行き推定データｄを８ビットの値Ｄｄで表すものとする。テクスチャシフト部３０２は、Ｄｄの小さい値（すなわち、画面奥に位置するもの）から順に、そのＤｄに対応する復号画像信号ａのテクスチャをそれぞれの画素毎に（Ｄｄ−ｍ）／ｎ画素分右にシフトした画像信号を生成する。上記のｍは飛び出し感を表すパラメータ（輻輳値）であり、上記のｎは奥行きを表すパラメータ（奥行き値）である。
【００８８】
なお、ユーザーには、奥行き推定データｄを示す値Ｄｄの小さいテクスチャは画面奥側に見え、奥行き推定データｄを示す値Ｄｄの大きいテクスチャは画面手前に見える。奥行き推定データｄを示す値Ｄｄ、輻輳値ｍ、奥行き値ｎは０〜２５５の範囲の値であり、例えば、制御信号判定部３０１に予め設定されている値は、輻輳値ｍ＝２００、奥行き値ｎ＝２０である。
【００８９】
オクルージョン補償部３０３は、テクスチャシフト部３０２より出力された別視点の画像信号に対してオクルージョンの補償を行い、オクルージョン補償された画像信号をポスト処理部３０４に供給する。オクルージョンとは、テクスチャをシフトした結果、画像中の位置関係変化によりテクスチャの存在しない部分のことをいう。オクルージョン補償部３０３は、テクスチャシフトされた画像信号に対応する元の復号画像信号ａによりオクルージョンの箇所を充填する。また、公知の文献（山田邦男、望月研二、相澤清晴、齊藤隆弘："領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”、映像情報学会誌、Vol.56,No.5,pp.863〜866（2002.5））に記載の手法でオクルージョンを補償してもよい。
【００９０】
ポスト処理手段であるポスト処理部３０４は、オクルージョン補償部３０３によりオクルージョン補償された画像信号に対して、平滑化やノイズの除去などのポスト処理を公知の方法で必要に応じて行い、左目用画像信号ｅ１を出力する。なお、２Ｄ３Ｄ変換部１１５は、録再Ｉ／Ｆ部１１４により記録媒体から再生された復号画像信号ａを右目用画像信号ｅ２とする。
【００９１】
図１において、表示Ｉ／Ｆ部１１６は、２Ｄ３Ｄ変換部１１５から出力される右目用画像信号ｅ２とポスト処理された左目用画像信号ｅ１とを入力信号として受け、その入力信号をステレオ画像表示に対応したモニタ（図示せず）に出力する。これにより、ユーザーはステレオ画像を見ることができる。以上のようにして、記録媒体から再生した画像データに基づく擬似立体画像の生成と擬似立体画像の表示とが行われる。
【００９２】
次に、本実施形態の要部の動作について更に詳細に説明する。
【００９３】
ユーザーがビデオカメラ１００で撮影した非立体画像を擬似立体画像に変換する場合に、ユーザーが製作者となることなく、擬似立体画像生成用パラメータを自動的に調整するための制御信号ＣＴＬ１〜ＣＴＬ３の生成方法について具体的に説明する。
【００９４】
ＣＰＵ１０８は、録再Ｉ／Ｆ部１１４が図示しない記録媒体から読み出した多重化データのうち、測距エリアの位置、被写体までの推定距離、推定被写界深度、被写体が顔か否かのデータ、顔の場合の顔の大きさのデータなど各種データを取得する。そして、ＣＰＵ１０８は、この取得データと２Ｄ３Ｄ変換部１１５から供給される奥行き推定データｄとから、以下のように制御信号ＣＴＬ１〜ＣＴＬ３を算出する。
【００９５】
ＣＰＵ１０８は、測距エリアの撮影画面内での位置が画面の水平方向の中央で、かつ、被写体までの推定距離が所定の閾値１よりも小さい場合には、そうでない場合よりも基本奥行きモデルタイプＣの混合比率が高くなるように制御信号ＣＴＬ１を生成する。その理由は、近距離にある被写体が主たる被写体であり、再生鑑賞する際に注視する部分であることが多い。従って、基本奥行きモデルタイプＡやＢのように画面中央ほど遠方に配置されるモデルでは、注視部分が遠方になってしまい、違和感があるためである。
【００９６】
また、ＣＰＵ１０８は、被写体が顔であって、正規化した顔の大きさが所定の閾値２より大きい場合には、被写体の胸から上を含めた顔全体を捉えたショットであるバストショットの確率が高いので、そうでない場合よりも基本奥行きモデルタイプＣの混合比率が高くなるように制御信号ＣＴＬ１を生成する。これは、上記の理由と同じ理由に基づく。同様に、推定被写界深度が浅い値であるほど基本奥行きモデルタイプＣの混合比率が高くなるように制御信号ＣＴＬ１を生成する。焦点が合っていない部分の奥行きに変化があると違和感があるからである。
【００９７】
さらに、ＣＰＵ１０８は、測距エリアの撮影画面内での位置が画面の水平方向の右端または左端で、かつ、被写体までの推定距離が所定の閾値３よりも小さい場合には、基本奥行きモデルタイプＢの混合比率がそうでない場合よりも高くなるように制御信号ＣＴＬ１を生成する。その理由は、注視する部分が画面の水平方向の右端又は左端であると考えられるので、その部分を画面手前に、他の部分を画面奥側に配置するモデルにした方が違和感が少ないためである。
【００９８】
また、ＣＰＵ１０８は、被写体までの推定距離が所定の閾値４よりも大きい場合には、基本奥行きモデルタイプＡの混合比率がそうでない場合よりも高くなるように制御信号ＣＴＬ１を生成する。その理由は、画面に拡がり感を持たせることで擬似立体画像に迫力がでるからである。
【００９９】
これら以外の場合には制御信号ＣＴＬ１を出力しない。従って、上記以外の場合は、スイッチ２０５は合成比率信号ＣＯＭを出力する。 また、ＣＰＵ１０８は、主たる被写体が顔であって、正規化された顔の大きさが所定の閾値５より大きい場合には、制御信号ＣＴＬ２に含まれる重み付け係数を、それ以外の場合よりも大きな値とする。その理由は、顔の肌色部分にはＲ信号成分が含まれるため、重み付け係数を大きくすることで顔が周囲よりも画面の手前に配置されるので、擬似立体画像としての印象が強くなるからである。
【０１００】
更に、ＣＰＵ１０８は、推定被写界深度が深い値であるほど、制御信号ＣＴＬ２に含まれる重み付け係数を、それ以外の場合よりも大きな値とする。これは、推定被写界深度が深い値である場合、画面内の多くの部分がぼけないで映っていることが多く、２次元画像（非立体画像）で見ると、奥行き感が失われている状態となるので、奥行き感を持たせるためである。
【０１０１】
また、ＣＰＵ１０８は、奥行き推定データｄのそれぞれの画素のうち、測距エリアの撮影画面内での位置に相当する複数の画素の奥行き推定データｄを示す値Ｄｄの平均値を求める。この平均値をｍとする。すなわち、輻輳及び奥行きを制御する制御信号ＣＴＬ３のうちの輻輳値ｍが算出される。従って、前述のシフト量（Ｄｄ−ｍ）／ｎ画素分の式から、測距エリアの撮影画面内での位置に相当する領域が、シフト量０の領域となる。右目用と左目用の画像データでシフト量が０の領域は、立体表示ではモニタの実際の表示面に位置して見えるようにする。これは、測距エリアには、主たる被写体が存在し、再生鑑賞する際の注視部分であると考えられることから、その部分を常にモニタの実際の表示面に位置させることで、安定した印象を与えることが目的である。
【０１０２】
更に、ＣＰＵ１０８は、推定被写界深度が深い値であるほど、制御信号ＣＴＬ３のうちの奥行き値ｎの値を小さくする。すなわち、立体画像としての奥行きを大きくする。逆に、推定被写界深度が浅い値であるほど、ＣＰＵ１０８は制御信号ＣＴＬ３のうちの奥行き値ｎの値を小さくする。すなわち、立体画像としての奥行きを小さくする。
【０１０３】
これは次の理由による。推定被写界深度が深い値である場合、画面内の多くの画像部分がぼけないで映っていることが多い。この場合、２次元画像（非立体画像）で見ると、奥行き感が失われている状態となる。これを２Ｄ３Ｄ変換で補うことで、奥行き感を得ることができる。逆に、推定被写界深度が浅い値である場合には、焦点が合ったように見える画像部分が限定されていることが多く、２次元画像（非立体画像）で見ても、奥行き感が感じられる。この状態で２Ｄ３Ｄ変換により、更に奥行き感を加えると、ユーザーには目の焦点の位置まで強制されているように感じてしまい、不快な感じを抱くことがあるからである。
【０１０４】
また、ＣＰＵ１０８は、主たる被写体が顔であって、正規化された顔の大きさが所定の閾値５より大きい場合には、制御信号ＣＴＬ３のうちの奥行き値ｎの値をそれ以外の場合よりも小さくする。すなわち、立体画像としての奥行きを小さくする。
【０１０５】
なお、以上の制御信号ＣＴＬ１〜ＣＴＬ３の値は、連続するフレームにおいて時間的な連続を考慮して生成する。すなわち、値の変更が時間的に緩やかであるようにする。急激な変更には擬似立体画像を見るユーザーの視覚感覚がついていけないからである。
【０１０６】
以上のように、本実施形態によれば、非立体画像である撮影画像から奥行き情報を推定して擬似立体画像を生成する場合に、第１乃至第３の制御信号によって複数の基本奥行きモデルタイプの画像の合成比率や非立体画像信号の重み付け係数やテクスチャシフトの際の奥行き値や輻輳値を制御する際に、画面毎に得られる撮影時のパラメータから第１乃至第３の制御信号の値を最適な奥行きモデルが得られるように自動的に可変するようにしたため、ユーザーが撮影シーンなどに応じて個々に設定しなくても、どのような非立体画像のシーンであっても、違和感のない、現実のイメージにより近い擬似立体画像を生成することができる。
【０１０７】
また、本実施形態によれば、被写体が顔である場合には人物撮影に適した奥行き感を与えることができる。更に、合焦している領域である測距エリアがモニタの実際の表示面に位置して見えることで、安定した擬似立体画像を表示できる。また、本実施形態では、制御信号ＣＴＬ１〜ＣＴＬ３の値の変更を時間的に緩やかにするようにしているため、ボケ量と奥行きの関係がユーザーにとって違和感のない自然なものにできる。
【０１０８】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。図１０は、本発明になる擬似立体画像生成装置を備えたビデオカメラの第２の実施形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図１０に示す第２の実施形態のビデオカメラ１５０は、再生した画像データに対して２Ｄ３Ｄ変換を行うのではなく、撮影した画像信号に対して２Ｄ３Ｄ変換を行い、その結果を記録する点でビデオカメラ１００と相違する。
【０１０９】
このビデオカメラ１５０は、所望の撮影モードによる被写体の撮影、撮影した画像データに基づく擬似立体画像の生成と、その擬似立体画像の記録媒体への記録、記録媒体から再生した擬似立体画像の表示を適宜選択して行う。
【０１１０】
撮影時において、ビデオカメラ１５０内の画像記憶部１５１は、信号処理部１１１から出力される被写体画像のデジタル値の輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）を順次格納する点は画像記憶部１１２と同様であるが、格納した輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）をＣＰＵ１５２と２Ｄ３Ｄ変換部１１５にそれぞれ出力する点で画像記憶部１１２と異なる。
【０１１１】
ＣＰＵ１５２は、画像記憶部１５１から読み出された１フレーム分の輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）と、ズームレンズ１０１の移動位置、フォーカスレンズ１０２の移動位置及び絞り１０３の絞り量などの取得情報と、メモリ１０９に格納されている被写体距離推定テーブルや被写界深度テーブルなどを用いて、ＣＰＵ１０８と同様にしてフレーム毎の測距エリアの撮影画面内での位置データ、フォーカスレンズ１０２の合焦位置から被写体までの推定距離のデータ、被写界深度の推定データ及び被写体が顔か否かのデータ、更に顔の場合には顔の大きさのデータを生成する。
【０１１２】
続いて、ＣＰＵ１５２は、生成したそれら各種のデータと２Ｄ３Ｄ変換部１１５から供給される奥行き推定データｄとから、第１の実施形態で説明したと同様の方法により制御信号ＣＴＬ１〜ＣＴＬ３を算出して２Ｄ３Ｄ変換部１１５に供給する。
【０１１３】
２Ｄ３Ｄ変換部１１５は、画像記憶部１５１から読み出された、非立体画像信号である輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）と、ＣＰＵ１５２で算出された制御信号ＣＴＬ１及びＣＴＬ２とに基づいて、第１の実施形態で説明したと同様の方法により奥行き推定データｄを生成してＣＰＵ１５２に出力すると共に、非立体画像信号（Ｙ，Ｃｂ，Ｃｒ）と制御信号ＣＴＬ１〜ＣＴＬ３とに基づいて、左目用画像信号ｅ１及び右目用画像信号ｅ２を生成する。そして、２Ｄ３Ｄ変換部１１５は、生成した左目用画像信号ｅ１及び右目用画像信号ｅ２を画像処理部１５３に供給する。
【０１１４】
画像処理部１５３は、２Ｄ３Ｄ変換部１１５から供給される左目用画像信号ｅ１及び右目用画像信号ｅ２を、それぞれ独立に公知のＭＰＥＧ−２方式やＭＰＥＧ−４ ＡＶＣ方式によって符号化する。あるいは、画像処理部１５３は、２Ｄ３Ｄ変換部１１５から供給される左目用画像信号ｅ１及び右目用画像信号ｅ２を一組の擬似立体画像信号として、例えばＭＰＥＧ−４ＭＶＣ（Moving Picture Experts Group 4 Multiview Video Coding）方式に基づいて符号化する。
【０１１５】
録再Ｉ／Ｆ部１１４は、画像処理部１５３において符号化された画像信号が画像データバス１１７を介して入力され、その入力された符号化画像信号を図示しない記録媒体に記録する。
【０１１６】
本実施形態によれば、撮影した被写体画像の擬似立体画像信号を記録媒体に記録することができるので、このビデオカメラ１５０で記録媒体から擬似立体画像信号を再生する場合に限らず、他の装置でこのビデオカメラ１５０で記録した記録媒体から擬似立体画像信号を再生して表示させることができる。
【０１１７】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。図１１は、本発明になる擬似立体画像生成装置を備えたビデオカメラの第３の実施形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図１１に示す第３の実施形態のビデオカメラ１７０は、ビデオカメラ１００の構成に手振れセンサ１７１及び姿勢センサ１７２を追加した構成である。
【０１１８】
手振れセンサ１７１は、ジャイロセンサなどで構成され、カメラの搖動を測定して、その測定結果をＣＰＵ１７３に出力する。また、手振れセンサ１７１は、カメラのパンニング、チルティング操作を測定する手段ともなっている。カメラの搖動をジャイロセンサなどで測定した場合、その角速度成分の周波数が３〜１０Ｈｚであれば、その搖動は手振れによるものであると考えられる。一方、一定時間、一定方向にカメラを動かすパンニング、チルティング操作の場合、ほぼ直流成分の角速度となる。すなわち、手振れセンサ１７１からの出力信号であるカメラの搖動の測定結果を用いて、ＣＰＵ１７３で演算することで、その搖動が手振れによるものであるか、パンニング、チルティング操作によるものであるかを推定し、更にいずれの場合も揺れの大きさを算出する。
【０１１９】
なお、カメラの搖動は、ジャイロセンサなどによらない方法で算出してもよい。例えば、公知のように、撮影画面のあるフレームと次のフレームで画面内の全被写体の動きベクトルの平均値を算出し、その動きベクトルの画面毎の変動をカメラの搖動として測定してもよい。
【０１２０】
姿勢センサ１７２は、重力センサなどで構成され、ここでは撮像素子１０４の光軸周りのロール角度を測定して、その測定結果をＣＰＵ１７３に出力する。撮像素子１０４の光軸周りのロール角度は、水平線を撮影したときに、撮影画面で水平線が水平になる場合が０°であり、水平線が右下がりに撮影される場合が＋ａ°（ａは正数）、水平線が左下がりに撮影される場合が−ａ°（ａは正数）である。
【０１２１】
ＣＰＵ１７３は、本発明における被写体の顔の大きさ情報取得手段、ビデオカメラ１７０から被写体までの推定距離を算出する被写体推定距離算出手段、推定被写界深度を算出する被写界深度算出手段、撮像画面内の測距エリアの位置データを取得する位置データ取得手段、制御信号ＣＴＬ１〜ＣＴＬ３を算出する制御信号算出手段、手振れ検出手段、撮像素子の光軸周りのロール角度検出手段、及び撮影シーン情報取得手段を構成している。なお、手振れ検出手段が検出する手振れ情報には、前述した手振れによるカメラの搖動の大きさ情報だけでなく、パンニング及びチルティングの大きさ情報も含まれる。
【０１２２】
すなわち、ＣＰＵ１７３は、第１の実施形態で前述した、測距エリアの位置、被写体までの推定距離、推定被写界深度、被写体が顔か否かのデータ、顔の場合の顔の大きさのデータなど各種データに、更に手振れセンサ１７１により得られたカメラの搖動の大きさ情報と、パンニング、チルティングの大きさ情報と、姿勢センサ１７２により得られた撮像素子１０４の光軸周りのロール角度情報とを多重化する。
【０１２３】
なお、被写体までの推定距離は、第１の実施形態と同様に山登り法で求めてもよいし、赤外線を照射してその反射波を観測する方式や、いわゆる位相差検出方式を用いてもよい。また、被写体までの推定距離は、フォーカスレンズと被写体までの距離であってもよいし、カメラの他の部分と被写体までの距離であってもよい。
【０１２４】
また、ＣＰＵ１７３は、画像記憶部１１２に格納されている１フレーム分の輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）を読み出し、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）に変換する。更に、ＣＰＵ１７３は、１フレーム分の画面を、例えば横３０、縦２０に分割した各ブロックのそれぞれで、ブロック内の信号の色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）の平均値を算出して、その算出結果をメモリ１７４に格納する。メモリ１７４には、現在の１フレームの算出結果と、一つ前のフレームの算出結果とが格納される。なお、メモリ１７４には、ＣＰＵ１７３の動作用プログラムの他に、メモリ１０９と同様に、被写体距離推定テーブル及び被写界深度テーブルが格納されている。
【０１２５】
ＣＰＵ１７３は、これらの算出結果と前述の被写体までの推定距離とから撮影シーンを判定する。例えば、画面上部の多くのブロックの明度（Ｖ）が明るく、色相（Ｈ）が青で、推定距離が所定の閾値より大きい場合は、昼間の風景撮影シーンと判定する。また、ＣＰＵ１７３は、一画面全体において、一つ前のフレームの明度（Ｖ）と現在のフレームの明度（Ｖ）とを、画面内の同じ位置に相当するブロック同士で比較して、変化の大きさが第１の閾値よりも大きいブロックの数が第２の閾値よりも多い場合には、被写体の動きが多いと判断してスポーツ撮影シーンと判定する。また、ＣＰＵ１７３は、画面中央のブロックの色相（Ｈ）が赤や青で、彩度（Ｓ）が第３の閾値より大きく、被写体までの推定距離が第４の閾値より小さい場合は、花のマクロ撮影シーンと判定する。
【０１２６】
ＣＰＵ１７３は、これらの撮影シーン情報についても、上記の手振れによる振動の大きさ情報及び光軸周りのロール角度情報と、第１の実施形態で説明した各種データと共に多重化して、録再Ｉ／Ｆ部１１４に供給する。録再Ｉ／Ｆ部１１４は、供給された多重化データと、対応するフレームの符号化画像データと共に図示しない記録媒体に対応付けて記録する。
【０１２７】
次に、このビデオカメラ１７０の再生信号に基づく擬似立体画像信号生成動作について説明する。録再Ｉ／Ｆ部１１４は、図示しない記録媒体から読み出したデータのうち、符号化画像データは画像データバス１１７を介して画像処理部１１３に供給する一方、符号化画像データ以外の測距エリアの位置、被写体までの推定距離、推定被写界深度、被写体が顔か否かのデータ、顔の場合の顔の大きさのデータ、手振れによるカメラの搖動の大きさ情報、パンニング、チルティングの大きさ情報及び撮像素子の光軸周りのロール角度情報、及び撮影シーン情報を画像データバス１１７を介してＣＰＵ１７３に供給する。
【０１２８】
ＣＰＵ１７３は、この録再Ｉ／Ｆ部１１４から供給されるデータと、２Ｄ３Ｄ変換部１１５から供給される奥行き推定データｄとから、以下のように制御信号ＣＴＬ１〜ＣＴＬ３を算出する。なお、ＣＰＵ１７３による制御信号ＣＴＬ１〜ＣＴＬ３の算出動作は、ＣＰＵ１０８による制御信号ＣＴＬ１〜ＣＴＬ３の算出動作と同じ算出動作も含むが、その説明は既に説明したので省略し、本実施形態特有の制御信号ＣＴＬ１〜ＣＴＬ３の算出動作について以下説明する。
【０１２９】
ＣＰＵ１７３は、撮影シーン情報がスポーツ撮影シーンを示しているときには、基本奥行きモデルタイプＣの混合比率が、そうでない場合よりも高くなるように制御信号ＣＴＬ１を生成する。その理由は、スポーツ撮影シーンの場合、撮影対象の動きが激しいことが多く、画面の中央だけでなく画面の端の方にも撮影対象が動きまわるため、基本奥行きモデルタイプＡやＢのように、画面中央ほど画面奥側に配置されるモデルでは距離感の変化が大きく、擬似立体画像を視聴するユーザーの違和感につながることがあり、それを防止するためである。
【０１３０】
また、ＣＰＵ１７３は、パンニング、チルティングの大きさ情報の値が所定の閾値よりも大きい場合には、基本奥行きモデルタイプＣの混合比率が、そうでない場合よりも高くなるように制御信号ＣＴＬ１を生成する。その理由は、パンニングを行う場合、それまでは画面の左右の端にあった被写体が画面中央に移動することになる。その場合、その被写体の奥行き感が画面の左右の端にあった時と画面の中央にある時とで異なることになるのは不自然なので、そのような事態を防止するためである。
【０１３１】
また、ＣＰＵ１７３は、撮影シーン情報が昼間の風景撮影シーンを示しているときには、基本奥行きモデルタイプＡの混合比率が、そうでない場合よりも高くなるように制御信号ＣＴＬ１を生成する。その理由は、画面の拡がり感を持たせることで、擬似立体画像に迫力がでるからである。
【０１３２】
また、ＣＰＵ１７３は、撮影シーン情報が花のマクロ撮影シーンを示しているときには、制御信号ＣＴＬ２に含まれる重み付け係数を、それ以外の場合よりも大きな値とする。これは、重み付け係数を大きくすることで、Ｒ信号成分を含む花の画像が画面手前に配置され、擬似立体画像としての印象が強くなるためである。
【０１３３】
一方、ＣＰＵ１７３は、光軸周りのロール角度情報が０°から離れているほど、制御信号ＣＴＬ２に含まれる重み付け係数を小さくする。その理由は、光軸周りのロール角度情報が０°から離れているほど、撮影画面が水平線に対して傾いた状態で撮影が行われており、再生視聴時に立体感を強調すると、ユーザーの画像視聴中の姿勢は傾いていないために違和感があるため、これを防止するためである。同様に、手振れによる振動の大きさが大きいほど、制御信号ＣＴＬ２に含まれる重み付け係数を小さくする。画面が揺れている状態で立体感を強調すると、ユーザーの画像視聴中の姿勢は傾いていないために違和感があるからである。
【０１３４】
また、ＣＰＵ１７３は、手振れによる振動の大きさが大きいほど、制御信号ＣＴＬ３のうちの奥行き値ｎの値を大きくする。すなわち、立体画像としての奥行きを小さくする。手振れによる振動が大きい場合には、再生視聴時に画面の揺れが画像を見るユーザーに感知されるので、２次元画像（非立体画像）で見ても乗り物に酔ったような感じがする。この状態で２Ｄ３Ｄ変換して得た擬似立体画像を見ると、更に酔ったような感じが強くなる。これを防止するために、手振れによる振動の大きさが大きいほど、立体画像としての奥行き感を減らすのである。
【０１３５】
また、ＣＰＵ１７３は、光軸周りのロール角度情報が０°から離れているほど、制御信号ＣＴＬ３のうちの奥行き値ｎの値を大きくする。すなわち、立体画像としての奥行きを小さくする。その理由は、光軸周りのロール角度情報が０°から離れているほど、撮影画面が水平線に対して傾いた状態で撮影が行われており、表示される画像が画面の水平線に対して傾いているのに対し、表示画像を見るユーザーの両目の高さは表示画像の傾きに追従していないことが多いので、この状態で２Ｄ３Ｄ変換して得た擬似立体画像を奥行き感が大きな状態で表示すると、ユーザーの違和感が大きくなる、ということを防止するためである。
【０１３６】
また、ＣＰＵ１７３は、撮影シーン情報がスポーツ撮影シーンを示しているときには、制御信号ＣＴＬ３のうちの奥行き値ｎの値を大きくする。すなわち、立体画像としての奥行きを小さくする。この場合は、撮影対象の動きが激しいので、右目用画像と左目用画像との視差の時間的な変動も大きく、奥行き感の大きな擬似立体画像をユーザーが視聴した場合、ユーザーの疲労感につながるおそれがあるので、それを防止するためである。
【０１３７】
更に、ＣＰＵ１７３は、撮影シーン情報が昼間の風景撮影シーンを示しており、手振れによる振動の大きさが第１の所定値よりも小さく、光軸周りのロール角度が０°に近く、被写体までの推定距離が第２の所定値よりも大きいという条件を満たしている場合は、制御信号ＣＴＬ３のうちの奥行き値ｎの値を小さくする。すなわち、立体画像としての奥行きを大きくする。その理由は、この場合の画像に対しては、生成される擬似立体画像の奥行き感を強く持たせることで、臨場感を高めることができるためである。
【０１３８】
このように、本実施形態によれば、撮影時のパラメータを用いて２Ｄ３Ｄ変換部１１５に供給する制御信号ＣＴＬ１〜ＣＴＬ３を自動的に制御するようにしたので、ユーザーが撮影シーンなどに応じて個々に設定しなくても最適な奥行きモデルが自動的に生成される。特に本実施形態では、制御信号ＣＴＬ１〜ＣＴＬ３を自動的に制御する撮影時のパラメータとして、手振れによるカメラの搖動の大きさ情報、パンニング、チルティングの大きさ情報、光軸周りのロール角度情報及び撮影シーン情報を含んでいるため、スポーツ撮影シーン、昼間の風景撮影シーン、花のマクロ撮影シーンなどの撮影シーンに応じて、また画面の水平線に対して傾いている非立体画像や、画面内での揺れが大きな非立体画像に対して、最適な奥行きモデルの擬似立体画像を生成して、擬似立体画像を視聴するユーザーの違和感や疲労感を抑制し、更に迫力や臨場感のある擬似立体画像を生成して表示することができる。
【０１３９】
なお、本発明は以上の実施形態に限定されるものではなく、例えば、以上の各実施形態の擬似立体画像生成動作をＣＰＵ１０８、１５２、又は１７３により実行させる擬似立体画像生成プログラムも本発明に含まれる。この場合、擬似立体画像生成プログラムは、記録媒体からＣＰＵに取り込まれてもよいし、通信ネットワークを通して配信されてＣＰＵに取り込まれてもよい。
【０１４０】
また、本発明は第２の実施形態のビデオカメラ１５０に、手振れセンサや姿勢センサを追加して、これらにより得られた手振れによるカメラの搖動の大きさ情報、パンニング、チルティングの大きさ情報及び撮像素子の光軸周りのロール角度情報を用いて第３の実施形態と同様にして最適な奥行きモデルの擬似立体画像信号を生成し、その擬似立体画像信号を記録媒体に記録する構成も含む。さらに、基本奥行きモデルタイプの画像は前述したＡ、Ｂ、Ｃの立体構造に限定されるものではなく、また３種類以外の複数種類であってもよい。
【符号の説明】
【０１４１】
１００、１５０、１７０ ビデオカメラ
１０１ ズームレンズ
１０２ フォーカスレンズ
１０３ 絞り
１０４ 撮像素子
１０５ ズームレンズ駆動部
１０６ フォーカスレンズ駆動部
１０７ 絞り駆動部
１０８、１５２、１７３ 中央処理装置（ＣＰＵ）
１０９、１７４ メモリ
１１２、１５１ 画像記憶部
１１３、１５３ 画像処理部
１１４ 録再Ｉ／Ｆ部
１１５ ２Ｄ３Ｄ変換部
１１８ 操作部
１７１ 手振れセンサ
１７２ 姿勢センサ
２００ 奥行き推定データ生成部
２０２ 画面上部の高域成分評価部
２０３ 画面下部の高域成分評価部
２０４ 合成比率決定部
２０５ スイッチ
２０６ 奥行きモデル合成部
２０７〜２０９ フレームメモリ
２１０、３０１ 制御信号判定部
２１１ 重み付け部
２１２ 加算部
３００ ステレオペア生成部
３０２ テクスチャシフト部
３０３ オクルージョン補償部
３０４ ポスト処理部
【技術分野】
【０００１】
本発明は擬似立体画像生成装置及びカメラに係り、特に奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない通常の動画像（非立体動画像）から擬似的な立体画像を生成する擬似立体動画像生成装置及びカメラに関する。
【背景技術】
【０００２】
近年、立体画像を生成する立体画像生成装置が、数多く発表されている。この立体画像生成装置は大きく３種類に分類できる。一つ目は、右目用と左目用の光学系をそれぞれ備えて、それぞれの光学系で撮影した画像を記録、再生するものである。二つ目は、主たる一つの光学系に加えて現実の奥行き情報を測定する構成を備えて、主たる一つの光学系で撮影した２次元の静止画像又は動画像（以下、非立体画像という）と、測定した奥行き情報とを合成して立体画像を構成するものである。
【０００３】
特許文献１に開示された立体画像生成装置では、非立体画像である２次元画像の画面の各画素について距離を測定する。そして、２つのカメラ又はレーザー光を用いて、画面内の全ての被写体とカメラとの距離を測定し、２次元画像の画面の各画素についての距離情報を得る。続いて、この立体画像生成装置では、撮影者の撮影時の意図を反映させた奥行き画像及び奥行き精度画像を簡便に生成するために、個々の画素毎に、非線形な関数（マッピングテーブル）によって距離情報から奥行き値を算出する。このとき、複数のマッピングテーブルを撮影情報に応じて選択する。また、この立体画像生成装置では、奥行き情報の精度について、画面内で精度の高い部分と低い部分とを設けることができるようにしている。
【０００４】
三つ目は、非立体画像から推定して擬似的な奥行き情報を生成し、その擬似的な奥行き情報と非立体画像とを合成して立体画像を構成する立体画像生成装置である。この立体画像生成装置は、推定によって擬似的な奥行き情報を生成するので、２次元画像の画面の各画素について距離を測定することはない構成である。
【０００５】
また、本出願人による特許文献２には、擬似立体画像を生成する際に、自動的な処理方法で推定される奥行き情報を、非立体画像の１画面毎の場面（以下、シーンという）に応じて補正することを可能にする擬似立体画像生成装置が開示されている。
【０００６】
この特許文献２に開示された擬似立体画像生成装置では、奥行き感を有する画像（以下、基本奥行きモデルタイプという）を複数用意し、非立体画像の１画面における輝度信号の高域成分を算出して、その算出値に基づいて複数の基本奥行きモデルタイプの合成比率を自動的に算出する。そして、算出した合成比率から非立体画像の奥行き感を出すための奥行きデータを推定して、非立体画像と奥行きデータとにより擬似立体画像を生成する。
【０００７】
このとき、複数の基本奥行きモデルタイプの合成比率は、すべての非立体画像に対して予め定めた同一の方法により自動的に算出すると、シーンによっては、適切な奥行き情報が得られず、違和感のある擬似立体画像が生成されてしまう場合がある。しかし、非立体画像のシーンに応じて、その都度ユーザー自身が擬似立体画像のアルゴリズムやパラメータを調整することは現実的に困難である。そこで、上記の特許文献２記載の擬似立体画像生成装置では、違和感のない、現実のイメージにより近い擬似立体画像を生成するために、製作者側において奥行き情報を、シーンに応じて補正することを目的にしている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−１４１６６６号公報
【特許文献２】特開２００９−０４４７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１記載の立体画像生成装置では、距離情報の取得のために２つのカメラあるいはレーザー光を用いた距離測定手段が必要であるため、装置が高価格のものになってしまう。また、この立体画像生成装置では、撮影した情報を記録する場合には、２次元画像データと共に各画素毎の奥行き情報を記録する必要があり、記録画データが大きくなって、その保存や伝送にかかるコストも問題となる。
【００１０】
一方、特許文献２には、奥行き情報の調整を行うための具体的な方法については開示されていない。例えば、人が実際にシーンを視聴して、手作業で調整パラメータを決定してもよい。しかしながら、ユーザーがハンディビデオカメラで撮影した非立体画像を擬似立体画像に変換するような場合には、特許文献２記載の擬似立体画像生成装置では、ユーザーが製作者となって、手作業で調整パラメータを調整することとなるが、違和感のない、現実のイメージにより近い擬似立体画像を生成するための調整は非常に煩わしい。
【００１１】
本発明は、上記の点に鑑みなされたもので、ビデオカメラで撮影した得られた非立体画像信号を擬似立体画像信号に変換する場合に、どのような非立体画像のシーンであっても、違和感のない、現実のイメージにより近い擬似立体画像信号を生成することができる擬似立体画像生成装置及びカメラを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成するため、本発明の擬似立体画像生成装置は、ズームレンズ、フォーカスレンズ及び絞りを含む光学系を通して撮像素子の撮像面に結像された被写体の光学像を、撮像素子により光電変換して得られた非立体画像信号から被写体が人物であるとき、その人物の顔の大きさ情報を取得する顔の大きさ情報取得手段と、非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、基本奥行きモデル発生手段から供給される複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、非立体画像信号に対して第２の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第３の制御信号により奥行きと輻輳とが調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第１〜第３の制御信号をそれぞれ算出して出力する際に、顔の大きさ情報を用いて、算出する第１〜第３の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段とを有することを特徴とする。
【００１３】
また、上記の目的を達成するため、本発明の擬似立体画像生成装置は、光学系を構成するズームレンズ及びフォーカスレンズの各位置をそれぞれ取得するレンズ位置取得手段と、レンズ位置取得手段で取得されたズームレンズ位置及びフォーカスレンズの位置に基づいて、フォーカスレンズの位置から被写体までの推定距離を算出する被写体推定距離算出手段と、光学系を通して撮像素子の撮像面に結像された被写体の光学像を、撮像素子により光電変換して得られた非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、基本奥行きモデル発生手段から供給される複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、非立体画像信号に対して第２の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第３の制御信号により奥行きと輻輳とが調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第１乃び第３の制御信号をそれぞれ算出して出力する際に、算出された被写体までの推定距離の情報を用いて、算出する第１及び第３の制御信号のうちの少なくともいずれか一方の制御信号の値を可変する制御信号算出手段とを有することを特徴とする。
【００１４】
また、上記の目的を達成するため、本発明の擬似立体画像生成装置は、光学系を構成するズームレンズの位置、フォーカスレンズの位置及び絞りの絞り値をそれぞれ取得する光学系情報取得手段と、光学系情報取得手段で取得された絞り値及びズームレンズ位置に基づいて、推定被写界深度を算出する被写界深度算出手段と、光学系を通して撮像素子の撮像面に結像された被写体の光学像を、撮像素子により光電変換して得られた非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、基本奥行きモデル発生手段から供給される複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、非立体画像信号に対して第２の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第３の制御信号により奥行きと輻輳とが調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第１〜第３の制御信号をそれぞれ算出して出力する際に、算出された推定被写界深度の情報を用いて、算出する第１〜第３の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段とを有することを特徴とする。
【００１５】
また、上記の目的を達成するため、本発明の擬似立体画像生成装置は、光学系を構成するズームレンズ及びフォーカスレンズの各位置をそれぞれ取得するレンズ位置取得手段と、光学系を通して撮像素子の撮像面に結像された被写体の光学像を、撮像素子により光電変換して得られた非立体画像信号のうち、撮像素子の撮像画面内の所定の小領域である測距エリア内の非立体画像信号の高域成分が最大となる合焦位置を求めるために、フォーカスレンズの位置を移動制御する自動焦点調節手段と、撮像画面内の測距エリアの位置データを取得する位置データ取得手段と、フォーカスレンズの合焦位置から被写体までの推定距離を算出する被写体推定距離算出手段と、非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、基本奥行きモデル発生手段から供給される複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、非立体画像信号に対して第２の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第３の制御信号により奥行きと輻輳とが調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第１〜第３の制御信号をそれぞれ算出して出力する際に、測距エリアの位置データと被写体までの推定距離とに応じて、算出する第１及び第３の制御信号のうち少なくともいずれか一方の制御信号を可変する制御信号算出手段とを有することを特徴とする。
【００１６】
また、上記の目的を達成するため、本発明の擬似立体画像生成装置は、光学系を通して撮像面に結像された被写体の光学像を光電変換して非立体画像信号を得る撮像素子の搖動の大きさ情報と、パンニング、チルティングの大きさ情報とからなる手振れ情報を検出する手振れ検出手段と、撮像素子により得られた非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、基本奥行きモデル発生手段から供給される複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、非立体画像信号に対して第２の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第３の制御信号により奥行きと輻輳とが調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第１〜第３の制御信号をそれぞれ算出して出力する際に、手振れ情報を用いて、算出する第１〜第３の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段とを有することを特徴とする。
【００１７】
また、上記の目的を達成するため、本発明の擬似立体画像生成装置は、光学系を通して撮像面に結像された被写体の光学像を光電変換して非立体画像信号を得る撮像素子の光軸周りのロール角度を検出するロール角度検出手段と、撮像素子により得られた非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、基本奥行きモデル発生手段から供給される複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、非立体画像信号に対して第２の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第３の制御信号により奥行きと輻輳とが調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第１〜第３の制御信号をそれぞれ算出して出力する際に、ロール角度検出手段により検出されたロール角度検出情報を用いて、算出する第１及び第３の制御信号のうちの少なくともいずれか一方の制御信号の値を可変する制御信号算出手段とを有することを特徴とする。
【００１８】
更に、上記の目的を達成するため、本発明のカメラは、光学系を通して撮像面に結像された被写体の光学像を光電変換して、非立体画像信号を得る撮像素子を有するカメラにおいて、カメラから被写体までの推定距離を算出する被写体推定距離算出手段と、光学系を通して撮像面に結像された被写体の光学像を光電変換する撮像素子から出力される非立体画像信号の隣接する２フレーム間の信号変化と推定距離とに基づいて、撮影シーン情報を取得する撮影シーン情報取得手段と、撮像素子から出力される非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、基本奥行きモデル発生手段から供給される複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、非立体画像信号に対して第２の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第３の制御信号により奥行きと輻輳とが調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第１乃至第３の制御信号をそれぞれ算出して出力する際に、撮影シーン情報取得手段により取得された撮影シーン情報を用いて、算出する第１乃至第３の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段とを有することを特徴とする。
【発明の効果】
【００１９】
本発明によれば、画面毎に得られる撮影時のパラメータから制御信号を補正することにより、撮影して得られた非立体画像信号に対して、最適な奥行きモデルの擬似立体画像信号を生成することができ、これにより擬似立体画像信号を視聴するユーザーの違和感や疲労感を抑制し、更に迫力や臨場感のある擬似立体画像信号を生成することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の擬似立体画像生成装置を備えたビデオカメラの第１の実施形態のブロック図である。
【図２】図１中の２Ｄ３Ｄ変換部の一例のブロック図である。
【図３】図２中の奥行き推定データ生成部の一例のブロック図である。
【図４】図２中のステレオペア生成部の一例のブロック図である。
【図５】基本奥行きモデルタイプＡの画像の立体構造の一例である。
【図６】基本奥行きモデルタイプＢの画像の立体構造の一例である。
【図７】基本奥行きモデルタイプＣの画像の立体構造の一例である。
【図８】図３中の合成比率決定部における合成比率の決定条件の一例を示す図である。
【図９】図３中の奥行きモデル合成部の一例のブロック図である。
【図１０】本発明の擬似立体画像生成装置を備えたビデオカメラの第２の実施形態のブロック図である。
【図１１】本発明の擬似立体画像生成装置を備えたビデオカメラの第３の実施形態のブロック図である。
【発明を実施するための形態】
【００２１】
次に、本発明の各実施形態について図面と共に説明する。
【００２２】
＜第１の実施形態＞
図１は、本発明になる擬似立体画像生成装置を備えたカメラの第１の実施形態のブロック図を示す。以後の各実施形態の説明において、カメラはビデオカメラとして説明するが、ビデオカメラに限定するものではない。本実施形態のビデオカメラ１００は、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３及び撮像素子１０４からなる光学系を有するハンディビデオカメラである。
【００２３】
ズームレンズ１０１はズームレンズ駆動部１０５により、またフォーカスレンズ１０２はフォーカスレンズ駆動部１０６により、それぞれ撮像素子１０４の撮像面に対して近付く方向又は遠ざかる方向に互いに独立して移動制御される。絞り１０３は、絞り駆動部１０７により絞り値が制御される。撮像素子１０４は、ＣＣＤ（Charge Coupled Devise；電荷結合素子）あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサからなり、行方向及び列方向に多数個の画素がマトリクス状に配列された撮像面を有する。撮像素子１０４は、撮像面に結像された被写体の光学像を光電変換して撮像信号を出力する。
【００２４】
また、ズームレンズ駆動部１０５は、ズームレンズ１０１の移動位置を検出する機能を有する。同様に、フォーカスレンズ駆動部１０６は、フォーカスレンズ１０２の移動位置を検出する機能を有する。絞り駆動部１０７は、絞り量（絞り値）を検出する機能を有する。
【００２５】
ＣＰＵ（Central Processing Unit；中央処理装置）１０８は、本発明における被写体の顔の大きさ情報取得手段、ズームレンズ１０１及びフォーカスレンズ１０２の各位置をそれぞれ取得するレンズ位置取得手段、光学系を構成するズームレンズ１０１の位置、フォーカスレンズ１０２の位置及び絞り１０３の絞り値をそれぞれ取得する光学系情報取得手段、フォーカスレンズ１０２の合焦位置から被写体までの推定距離を算出する被写体推定距離算出手段、推定被写界深度を算出する被写界深度算出手段、撮像画面内の測距エリアの位置データを取得する位置データ取得手段、制御信号ＣＴＬ１〜ＣＴＬ３を算出する制御信号算出手段を構成している。また、ＣＰＵ１０８は、フォーカスレンズ駆動部１０６と共にフォーカスレンズ１０２を合焦位置に移動制御する自動焦点調節手段も構成している。
【００２６】
すなわち、ＣＰＵ１０８は、ズームレンズ駆動部１０５により検出されたズームレンズ１０１の移動位置、フォーカスレンズ駆動部１０６により検出されたフォーカスレンズ１０２の移動位置、及び絞り駆動部１０７により検出された絞り量（絞り値）が入力され、これらの入力情報をメモリ１０９に格納されたプログラム及びテーブルに従って演算処理する。また、ＣＰＵ１０８は、撮像信号のシーン毎に得られる撮影情報から後述する制御信号ＣＴＬ１、ＣＴＬ２及びＣＴＬ３を生成する。
【００２７】
メモリ１０９は、ズームレンズ１０１の移動位置と合焦状態でのフォーカスレンズ１０２の移動位置との組み合わせから、フォーカスレンズ１０２の合焦位置から被写体までの距離を推定するための数値テーブル（以下、「被写体距離推定テーブル」と称する）を格納している。また、メモリ１０９は、絞り値とズームレンズ１０１の移動位置と被写体との距離との推定値から、いわゆる被写界深度を推定するための数値テーブル（以下、「被写界深度テーブル」と称する）を格納している。
【００２８】
また、ビデオカメラ１００は、撮像信号をデジタル信号に変換するためのＡ／Ｄ変換器１１０、デジタル信号に対して所定の信号処理を行って画像データを出力する信号処理部１１１、信号処理された画像データを記憶する画像記憶部１１２、画像データに対して符号化等の画像処理を行う画像処理部１１３及び録再インタフェース（Ｉ／Ｆ;Interface）部１１４を有する。
【００２９】
更に、ビデオカメラ１００は、擬似立体画像生成部（以下、「２Ｄ３Ｄ変換部」という）１１５及び表示Ｉ／Ｆ部１１６を有する。２Ｄ３Ｄ変換部１１５は、後に詳述するように、ＣＰＵ１０８により生成された制御信号ＣＴＬ１、ＣＴＬ２及びＣＴＬ３に基づき、非立体画像である撮影画像から奥行き情報を推定して、各シーンで違和感の殆どない擬似立体画像を生成する。表示Ｉ／Ｆ部１１６は、擬似立体画像を表示する。２Ｄ３Ｄ変換部１１５は、前述したＣＰＵ１０８に直接に接続される一方、画像記憶部１１２、画像処理部１１３、録再Ｉ／Ｆ部１１４と共に双方向の画像データバス１１７を介してＣＰＵ１０８に接続されている。
【００３０】
また、ビデオカメラ１００は、操作部１１８を備えている。操作部１１８は、タッチパネルを備えており、タッチパネルのある位置にユーザーが指をタッチすることで、撮影画面でその位置に対応する位置が測距エリアとして選択されるようにされる。ビデオカメラ１００において、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３、撮像素子１０４、ズームレンズ駆動部１０５、フォーカスレンズ駆動部１０６、絞り駆動部１０７、ＣＰＵ１０８、メモリ１０９、録再Ｉ／Ｆ部１１４、及び２Ｄ３Ｄ変換部１１５は、本実施形態の擬似立体画像生成装置を構成している。
【００３１】
上記の各構成要素からなるビデオカメラ１００は、所望の撮影モードによる被写体の撮影、撮影した画像データの記録媒体への記録、記録媒体から再生した画像データに基づく擬似立体画像の生成、擬似立体画像の表示を適宜選択して行う。
【００３２】
そこで、まず、ビデオカメラ１００の撮影時と、撮影した画像データの記録媒体への記録時の動作について説明する。撮影時には、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３を順次に通過した被写体からの入射光は、撮像素子１０４の撮像面に光学像として結像されて光電変換され、撮像信号として出力される。
【００３３】
Ａ／Ｄ変換器１１０は、撮像素子１０４から出力された撮像信号をデジタル信号である画像データに変換し、信号処理部１１１に供給する。信号処理部１１１は、入力された画像データに対し、画素補間処理を含むカラープロセス処理を施し、デジタル値の輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）を生成すると共に、それらの信号中のノイズ除去を行う。画像記憶部１１２は、信号処理部１１１で生成されたデジタル値の輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）を順次格納する。画像記憶部１１２には、数フレーム分の信号が格納される。
【００３４】
画像処理部１１３は、画像データバス１１７を介して画像記憶部１１２にアクセスし、画像記憶部１１２に格納された画像データを、公知のＭＰＥＧ−２（Moving Picture Experts Group 2）方式やＭＰＥＧ−４ ＡＶＣ（Moving Picture Experts Group 4 Advanced Video Coding）方式によって符号化する。
【００３５】
このように撮影して得られた被写体の符号化画像データは記録媒体に記録される。すなわち、録再Ｉ／Ｆ部１１４は、被写体の撮像画像を画像処理部１１３により符号化して得られた画像データを、画像データバス１１７を介して取り込み、その画像データを図示しない記録媒体に記録する。ただし、記録媒体には後述するように符号化された画像データだけでなく、所定のデータが符号化された画像データに多重されて記録される。記録媒体としては、磁気ディスク、光ディスク、半導体記憶媒体、磁気テープ等がある。また、記憶媒体は、外部取り外しの可能な記憶媒体または内蔵の記憶媒体とすることができる。
【００３６】
ここで、ビデオカメラ１００は、自動焦点調節（ＡＦともいう）撮影モードを備えている。ＡＦ方法には、いくつかの方式が公知となっているが、ここでは画面内の所定の小領域の輝度信号（Ｙ）の高域成分が最大になるフォーカスレンズの位置を合焦位置とする方式（いわゆる山登り方式）を用いる。この山登り方式は測距範囲の全域にわたりフォーカスレンズ１０２の位置を移動しながら撮像素子１０４から得られる輝度信号の高域成分（以下焦点評価値という）を記憶していき、記憶した値の最大値に相当するフォーカスレンズ位置を合焦位置とする方式を用いる。一旦、合焦位置が求まったら、以後の撮影は合焦位置の近傍でフォーカスレンズ１０２を駆動して輝度信号の高域成分の最大値を求めることで、動画像撮影に対応する。
【００３７】
このＡＦ撮影モードでは、ＣＰＵ１０８は、画像記憶部１１２に格納されている１フレーム分の輝度信号（Ｙ）のうち、所定の小領域に属する画素のデータを画像データバス１１７を介して読み出す。そして、ＣＰＵ１０８は、この画素データから高域成分をデジタルフィルタ演算によって算出することで、焦点評価値を得る。また、ＣＰＵ１０８は、フォーカスレンズ駆動部１０６に指示を出してフォーカスレンズ１０２を移動させる。
【００３８】
上記の所定の小領域は、測距エリアと呼ばれる。この測距エリアを決定する方法にはいくつかの方法が知られている。第１の測距エリア決定方法は、測距エリアを撮影画面の中央部分に固定する方法である。第２の測距エリア決定方法は、測距エリアをユーザーが撮影画面の所望の位置に選択する方法である。この方法では、操作部１１８が備えるタッチパネルをユーザーがタッチすることで、撮影画面のタッチした位置に対応する位置を中心とする所定の大きさの小領域が測距エリアとして選択される。
【００３９】
また、第３の測距エリア決定方法は、ユーザーが上記タッチパネルにタッチした時点で撮影画面のタッチした位置に対応する位置を中心とする所定の大きさの小領域内に存在する被写体を追尾して、その追尾領域を測距エリアとする方法である。例えば、草原を歩き回る犬を撮影するような場合、撮影画面内の犬の位置に対応する位置をタッチすることで、それ以降に犬が歩き回っても、犬の位置を自動で追尾して測距エリアとする。
【００４０】
ＣＰＵ１０８は、画像記憶部１１２に格納されている１フレーム分の輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）を読み出し、それらの信号を用いてタッチパネルのタッチされた位置に対応する撮影画面内の位置を中心とする小領域の信号の特徴量を抽出する。特徴量としては、色の分布や輝度信号の高域成分の形状などを利用する。測距エリアを移動する被写体に追尾する方法では、被写体の移動中は、後続の各々のフレームの輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）を用いて類似の特徴量を有する位置を探索することで、測距エリアを決定する。
【００４１】
また、第４の測距エリア決定方法は、撮影画面内で被写体の人物の顔を自動で検出して、その顔の位置を中心とする所定の大きさの小領域を測距エリアとする方法である。人物の顔の検出手段自体は公知であるので、その説明は省略する。複数の顔が検出された場合は、その内で主要被写体と判断される顔の位置を中心とする所定の大きさの小領域を測距エリアとする。
【００４２】
この測距エリア決定方法としては、例えばユーザーが上記タッチパネルをタッチすることで、タッチした位置に相当する顔を主要被写体の顔と判断する方法がある。あるいは、個人認証機能により、予め登録した人物の特徴量がメモリ１０９に格納されている場合には、登録していない人物よりも登録した人物の顔を主要被写体の顔と判断し、登録した複数の人物の顔が検出された場合には、登録時にユーザーが設定した登録順位に従って主要被写体の顔と判断する方法がある。
【００４３】
なお、顔の位置を測距エリアとした場合には、その顔の大きさ情報も取得する。顔の大きさ情報は、例えば、撮影画面内で検出された被写体の人物の顔の撮影画面面積（画素数）を、その撮影時点におけるズームレンズ１０１の位置（ズーム比）と対応させた情報である。上記のＡＦ撮影モードでは測距エリアの合焦位置は時々刻々変化し、また、上記の追尾方式や顔検出方式では測距エリアの位置は時々刻々変化する。
【００４４】
また、撮影時には、操作部１１８に対するユーザーの操作に従いズームレンズ１０１を移動させて、撮影画面を拡大したり、縮小したりすることかできる。この場合、ＣＰＵ１０８は、操作部１１８から入力されるズームレンズ操作用信号に対応してズームレンズ駆動部１０５に指示を出してズームレンズ１０１を移動させる。
【００４５】
また、撮影時には、操作部１１８に対するユーザーの操作に従い絞り量（絞り値）を変化させることができる。この場合、ＣＰＵ１０８は、操作部１１８からの絞り制御信号に対応して絞り駆動部１０７に指示を出して絞り１０３の絞り量を変化させる。絞り量は被写体の明るさに応じて、ＣＰＵ１０８が自動で制御する場合もある。
【００４６】
ズームレンズ１０１の移動位置、フォーカスレンズ１０２の移動位置及び絞り１０３の絞り量は、ズームレンズ駆動部１０５、フォーカスレンズ駆動部１０６及び絞り駆動部１０７でそれぞれ取得され、その取得情報がＣＰＵ１０８に送られる。ＣＰＵ１０８は、これらの取得情報とメモリ１０９に格納されている被写体距離推定テーブルとを用いて、フォーカスレンズ１０２の合焦位置から被写体までの距離を推定する（すなわち、被写体までの推定距離を算出する）。また、ＣＰＵ１０８は、これらの取得情報とメモリ１０９に格納されている被写界深度テーブルとを用いて被写界深度を推定する。
【００４７】
続いて、ＣＰＵ１０８は、フレーム毎の測距エリアの撮影画面内での位置データ、被写体までの推定距離のデータ、被写界深度の推定データ及び被写体が顔か否かのデータ、更に顔の場合には顔の大きさのデータを含めて、それらの各種データを録再Ｉ／Ｆ部１１４に出力する。録再Ｉ／Ｆ部１１４は、画像処理部１１３で符号化された画像データと、ＣＰＵ１０８で生成された上記の各種データとを、対応させて多重化して図示しない記録媒体に記録する。上記の各種データを符号化画像データに多重化する方法は、特に限定されるものではないが、例えば、上記の各種データを符号化画像データの中に、ユーザデータとして公知の方法により埋め込むようにしてもよい。
【００４８】
なお、測距エリアの位置、被写体までの推定距離と推定被写界深度のデータの多重化は必ずしも毎フレームでなくてもよく、数フレーム置きでもよいし、所定の閾値よりも大きな変化があった場合に限定してもよい。
【００４９】
また、被写体までの推定距離と推定被写界深度については、これらの替りにズームレンズ１０１の移動位置、フォーカスレンズ１０２の移動位置、及び絞り１０３の絞り量を符号化するようにしてもよい。これらと共に被写体距離推定テーブル、被写界深度テーブルに相当するデータを多重化して記録すれば、再生側で被写体までの推定距離と推定被写界深度とが算出できる。また、自己記録再生に限定すれば、被写体距離推定テーブル、被写界深度テーブルは記録しなくてもよい。
【００５０】
また、本実施形態では、被写体までの推定距離を山登り法で求めたが、これに限定されるものではなく、赤外線を照射してその反射波を観測する方式や、いわゆる位相差検出方式を用いてもよい。
【００５１】
次に、本実施形態の記録媒体から再生した画像データに基づく擬似立体画像の生成時の動作について説明する。
【００５２】
再生時には、録再Ｉ／Ｆ部１１４は、図示しない記録媒体に記録されている多重化データを読み出し、その多重化データのうち符号化画像データは画像データバス１１７を介して画像処理部１１３に供給する。また、録再Ｉ／Ｆ部１１４は、読み出した多重化データのうち、符号化画像データ以外の、測距エリアの位置、被写体までの推定距離、推定被写界深度、被写体が顔か否かのデータ、顔の場合の顔の大きさのデータなど各種データは画像データバス１１７を介してＣＰＵ１０８に供給する。
【００５３】
画像処理部１１３は、入力された符号化画像データを復号して、デジタル値の復号輝度信号（Ｙ）及び復号色差信号（Ｃｂ，Ｃｒ）を得て、これらを画像記憶部１１２に格納する。画像記憶部１１２は、格納した復号輝度信号（Ｙ）及び復号色差信号（Ｃｂ，Ｃｒ）を、各フレームの時間順の並べ替えなどを行って読み出して、２Ｄ３Ｄ変換部１１５に供給する。
【００５４】
一方、ＣＰＵ１０８は、入力された、測距エリアの位置、被写体までの推定距離、推定被写界深度、被写体が顔か否かのデータ、顔の場合の顔の大きさのデータなど各種データに基づいて、後述するようにフレーム毎に制御信号ＣＴＬ１、ＣＴＬ２及びＣＴＬ３を算出して、２Ｄ３Ｄ変換部１１５に供給する。このとき、ＣＰＵ１０８は、上記の復号輝度信号（Ｙ）及び復号色差信号（Ｃｂ，Ｃｒ）（以下、これらを復号画像信号ａという）中のあるフレームが２Ｄ３Ｄ変換部１１５に入力するタイミングに合わせて、そのフレームに対応する前記の制御信号ＣＴＬ１〜ＣＴＬ３を２Ｄ３Ｄ変換部１１５に供給する。
【００５５】
ここで、上記の制御信号ＣＴＬ１〜ＣＴＬ３は、制御信号の無い場合に得られた擬似立体画像が不自然になる場合に、ＣＰＵ１０８によって１フレーム毎に自動的に生成される信号である。なお、制御信号ＣＴＬ１〜ＣＴＬ３は１フィールド毎に生成してもよい。
【００５６】
上記の制御信号ＣＴＬ１は、後述する基本奥行きモデルタイプＡ、Ｂ及びＣの各画像の合成比率を制御する信号であり、基本奥行きモデルタイプＡの合成比率ｋ１、基本奥行きモデルタイプＢの合成比率ｋ２、基本奥行きモデルタイプＣの合成比率ｋ３をそれぞれ示すパラメータを含む。なお、上記の３つの合成比率ｋ１〜ｋ３の合計値は常に「１」であるので、制御信号ＣＴＬ１は例えば３つの合成比率ｋ１〜ｋ３のうちの任意の２つの合成比率を伝送し、残りの１つの合成比率は２Ｄ３Ｄ変換部１１５内で、伝送される任意の２つの合成比率の和を「１」から減算することで生成させることも可能である。
【００５７】
また、上記の制御信号ＣＴＬ２は、画像処理部１１３で復号して得られた、非立体画像信号である復号画像信号ａ中の赤色信号（Ｒ信号）成分のみを重み付けするための重み付け係数を示す制御信号である。この制御信号ＣＴＬ２により、復号画像信号ａの輝度差が強い場合であっても、不自然な擬似立体画像となることを抑制することができる。
【００５８】
更に、上記の制御信号ＣＴＬ３は、奥行きを示すパラメータと輻輳を示すパラメータとを含む制御信号である。輻輳とは、遠景に対しては擬似立体画像のユーザーの両目の視線がほぼ平行となるようにし、近景に対しては両目の視線を内転させることができるようにすることをいう。
【００５９】
図１において、２Ｄ３Ｄ変換部１１５は、画像記憶部１１２から供給される復号映像信号ａと、ＣＰＵ１０８から供給される制御信号ＣＴＬ１〜ＣＴＬ３とを入力信号として受け、後述するように、復号映像信号ａ又は制御信号ＣＴＬ１及びＣＴＬ２に基づいて奥行き推定データｄを生成してＣＰＵ１０８に出力すると共に、復号映像信号ａ及び制御信号ＣＴＬ１〜ＣＴＬ３に基づいて擬似立体画像信号を生成する。
【００６０】
次に、２Ｄ３Ｄ変換部１１５の構成及び動作について詳細に説明する。
【００６１】
図２は、２Ｄ３Ｄ変換部１１５の一例のブロック図、図３は、図２中の奥行き推定データ生成部の一例のブロック図、図４は、図２中のステレオペア生成部３００の一例のブロック図を示す。
【００６２】
図２に示すように、２Ｄ３Ｄ変換部１１５は、奥行き推定データ生成部２００とステレオペア生成部３００とから構成される。２Ｄ３Ｄ変換部１１５は、画像記憶部１１２から供給される非立体画像信号である復号画像信号ａを、加工することなくそのまま例えば右目用映像信号ｅ２として出力すると共に、奥行き推定データ生成部２００及びステレオペア生成部３００にそれぞれ供給する。
【００６３】
奥行き推定データ生成部２００は、ＣＰＵ１０８から供給される制御信号ＣＴＬ１及びＣＴＬ２と、画像記憶部１１２から供給される復号画像信号ａとから奥行き推定データｄを生成してＣＰＵ１０８及びステレオペア生成部３００に供給する。ステレオペア生成部３００は、奥行き推定データｄと、ＣＰＵ１０８から供給される制御信号ＣＴＬ３と、画像記憶部１１２から供給される復号画像信号ａとから擬似立体画像信号の左目用映像信号ｅ１を生成して出力する。
【００６４】
奥行き推定データ生成部２００は、図３に示すように、画像入力部２０１と、画面上部の高域成分評価部２０２と、画面下部の高域成分評価部２０３と、合成比率決定部２０４と、スイッチ２０５と、奥行きモデル合成手段である奥行きモデル合成部２０６と、それぞれ基本奥行きモデル発生手段であるフレームメモリ２０７、２０８及び２０９と、制御信号判定部２１０と、重み付け手段である重み付け部２１１と、奥行き推定データを生成する奥行き推定データ生成手段である加算部２１２とから構成されている。
【００６５】
画像入力部２０１は、フレームメモリを備えており、非立体画像信号である１フレーム分の復号画像信号ａを一時記憶した後、その１フレーム分の復号画像信号ａを画面上部の高域成分評価部２０２及び画面下部の高域成分評価部２０３にそれぞれ供給すると共に、復号画像信号ａ中の赤色信号（Ｒ信号）成分のみを重み付け手段である重み付け部２１１の一方の入力端子に供給する。重み付け部２１１の他方の入力端子には、制御信号判定手段である制御信号判定部２１０からの制御信号ＣＴＬ２が供給される。
【００６６】
画面上部の高域成分評価部２０２は、１フレーム分の復号画像信号ａにおける画面の上部約２０％にあたる領域内での高域成分を求めて、画面上部の高域成分評価値として算出する。そして、画面上部の高域成分評価部２０２は、画面上部の高域成分評価値を合成比率決定部２０４に供給する。画面下部の高域成分評価部２０３は、１フレーム分の復号画像信号ａにおける画面の下部約２０％領域内にあたる領域内での高域成分を求めて、画面下部の高域成分評価値として算出する。そして、画面下部の高域成分評価部２０３は、画面下部の高域成分評価値を合成比率決定部２０４に供給する。
【００６７】
一方、フレームメモリ２０７は基本奥行きモデルタイプＡ、フレームメモリ２０８は基本奥行きモデルタイプＢ、フレームメモリ２０９は基本奥行きモデルタイプＣの画像を予め格納している。これらの基本奥行きモデルタイプＡ〜Ｃの画像は、それぞれ非立体画像信号を基に奥行き推定データを生成して擬似立体画像信号を生成するための基本となるシーンの画像を示す。
【００６８】
すなわち、上記の基本奥行きモデルタイプＡの画像は、球面状の凹面による奥行きモデルの画像で、図５に示すような立体構造の画像を示す。多くの場合に、この基本奥行きモデルタイプＡの画像が使用される。オブジェクトが存在しないシーンにおいては、画面中央を一番遠距離に設定することにより、違和感の少ない立体感及び快適な奥行き感が得られるからである。
【００６９】
また、上記の基本奥行きモデルタイプＢの画像は、基本奥行きモデルタイプＡの画像の上部を球面でなく、アーチ型の円筒面に置き換えたもので、図６に立体構造を示すような、上部を円筒面（軸は垂直方向）で下部を凹面（球面）としたモデルの画像である。
【００７０】
更に、上記の基本奥行きモデルタイプＣの画像は、図７に立体構造を示すような、上部を平面とし、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、上部が平面、下部が円筒面（軸は水平方向）としたモデルの画像である。基本奥行きモデルタイプ発生手段を構成するフレームメモリ２０７〜２０９に格納されている、これら基本奥行きモデルタイプＡ〜Ｃの画像は、奥行きモデル合成部２０６へ供給される。
【００７１】
合成比率決定部２０４は、画面上部の高域成分評価部２０２から供給された画面上部の高域成分評価値と、画面下部の高域成分評価部２０３から供給された画面下部の高域成分評価値とに基づいて、画像のシーンを考慮することなく、予め定められた方法により、基本奥行きモデルタイプＡの合成比率ｋ１、基本奥行きモデルタイプＢの合成比率ｋ２、基本奥行きモデルタイプＣの合成比率ｋ３を自動的に算出し、それらを合成比率信号ＣＯＭとして制御信号判定手段であるスイッチ２０５に供給する。なお、３つの合成比率ｋ１〜ｋ３の合計値は常に「１」である。
【００７２】
図８は、合成比率の決定条件の一例を示す。図８は、横軸に示す画面上部の高域成分評価値（以下、上部の高域成分評価値と略す）と、縦軸に示す画面下部の高域成分評価値（以下、下部の高域成分評価値と略す）の各値と、予め指定された値ｔｐｓ、ｔｐｌ、ｂｍｓ、ｂｍｌとの兼ね合いにより合成比率が決定されることを示す。この合成比率の決定条件は、本出願人が特許第４２１４９７６号公報にて開示した公知の決定条件であるが、これに限定されるものではない。
【００７３】
図８において、複数のタイプが記載されている領域については、高域成分評価値に応じて線形に合成される。例えば、図８において、「ｔｙｐｅＡ／Ｂ」の領域では、下記のように（上部の高域成分評価値）と（下部の高域成分評価値）の比率で基本奥行きモデルタイプＡの値であるｔｙｐｅＡと基本奥行きモデルタイプＢの値であるｔｙｐｅＢの比率が決定され、基本奥行きモデルタイプＣの値であるｔｙｐｅＣは比率の決定には用いられない。
【００７４】
ｔｙｐｅＡ：ｔｙｐｅＢ：ｔｙｐｅＣ
＝（上部の高域成分評価値−ｔｐｓ）：（ｔｐ１−下部の高域成分評価値）：０
また、図８において、「ｔｙｐｅＡ／Ｂ／Ｃ」の領域では、ｔｙｐｅＡ／ＢとｔｙｐｅＡ／Ｃとの平均を採用して、下記のようにｔｙｐｅＡ／Ｂ／Ｃの値が決定される。
【００７５】
ｔｙｐｅＡ：ｔｙｐｅＢ：ｔｙｐｅＣ
＝（上部の高域成分評価値−tps）＋（下部の高域成分評価値−bms）：（tpl−
上部の高域成分評価値）：（bml−下部の高域成分評価値）
なお、合成比率ｋ１、ｋ２、ｋ３は次式で算出される。
【００７６】
ｋ１＝ｔｙｐｅ１／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
ｋ２＝ｔｙｐｅ２／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
ｋ３＝ｔｙｐｅ３／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
図３に戻って説明する。スイッチ２０５は、ＣＰＵ１０８から制御信号ＣＴＬ１が供給される場合には制御信号ＣＴＬ１を選択して奥行きモデル合成部２０６に供給し、制御信号ＣＴＬ１が供給されない場合には合成比率決定部２０４より供給される合成比率信号ＣＯＭを選択する。スイッチ２０５は、選択した信号を合成手段である奥行きモデル合成部２０６に供給する。
【００７７】
奥行きモデル合成部２０６は、スイッチ２０５から供給された制御信号ＣＴＬ１あるいは合成比率信号ＣＯＭが示す合成比率ｋ１〜ｋ３が示す比率で、基本奥行きモデルタイプＡ〜Ｃの画像を合成して合成奥行きモデルとなる画像信号を生成する。
【００７８】
図９は、奥行きモデル合成部２０６の一例のブロック図を示す。同図に示すように、奥行きモデル合成部２０６は、スイッチ２０５により選択された制御信号ＣＴＬ１又は合成比率信号ＣＯＭが示す合成比率ｋ１、ｋ２、ｋ３と、フレームメモリ２０７、２０８、２０９からの基本奥行きモデルタイプＡ、Ｂ、Ｃの各画像信号とを、乗算器２０６１、２０６２、２０６３において別々に乗算し、それら３つの乗算結果を加算器２０６４で加算して、得られた加算結果を奥行き推定データ生成手段である加算部２１２へ出力する構成である。
【００７９】
図３において、制御信号判定部２１０は、ＣＰＵ１０８より制御信号ＣＴＬ２が供給されているか否かを判定する。制御信号判定部２１０は、制御信号ＣＴＬ２が供給される場合は、その制御信号ＣＴＬ２を重み付け部２１１に供給する。一方、制御信号ＣＴＬ２が供給されていない場合、予め制御信号判定部２１０内に設定されている重み付け係数に相当するパラメータを含む制御信号ＣＴＬ２を重み付け部２１１に供給する。
【００８０】
重み付け部２１１は、制御信号判定部２１０から供給される制御信号ＣＴＬ２に含まれる最大値を「１」とする重み付け係数と、画像入力部２０１から供給される復号画像信号ａのＲ信号成分とを乗算して、復号画像信号ａのＲ信号成分に重み付けをする。Ｒ信号成分は、画像入力部２０１において、輝度信号（Ｙ）及び色差信号Ｃｒとから、Ｒ＝Ｙ＋Ｃｒといった演算で算出される。
【００８１】
なお、Ｒ信号成分を使用する理由の一つは、順光に近い環境で、かつ、テクスチャの明るさの度合い（明度）の変化が大きくない条件下で、Ｒ信号成分の大きさが原画像の凹凸と一致する確率が高いという経験則による。テクスチャとは、画像を構成する要素であり、単一の画素もしくは画素群で構成される。
【００８２】
更に、Ｒ信号成分を使用するもう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。
【００８３】
なお、赤色及び暖色が前進色であるのに対し、青色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。よって、青色の部分を奥に配置することによっても立体感の強調は可能である。更に双方を併用して、赤色の部分を手前、青色の部分を奥に配置することによって立体感を強調することも可能である。
【００８４】
加算部２１２は、奥行きモデル合成部２０６より供給される合成奥行きモデルの画像信号と、重み付け部２１１から供給される重み付けされた復号画像信号ａのＲ信号成分とから、奥行き推定データｄを生成する。例えば、奥行きモデル合成部２０６より供給される合成奥行きモデルの画像信号に、重み付け部２１１から供給される重み付けされた復号画像信号ａのＲ信号成分を重畳して、奥行き推定データｄを生成する。重畳した値が奥行き推定データｄに割り当てられる所定のビット数を超える場合は、所定のビット数に制限される。生成された奥行き推定データｄは、ステレオペア生成部３００に供給される。また、ＣＰＵ１０８にも供給される。
【００８５】
次に、ステレオペア生成部３００の構成及び動作について説明する。図４は、ステレオペア生成部３００の一例のブロック図を示す。制御信号判定手段である制御信号判定部３０１は、ＣＰＵ１０８より制御信号ＣＴＬ３が供給されているか否かを判定する。制御信号ＣＴＬ３が供給されていない場合、予め制御信号判定部３０１内に設定されている輻輳及び奥行きを表す２つのパラメータをテクスチャシフト部３０２に供給する。制御信号ＣＴＬ３が供給されている場合、その制御信号ＣＴＬ３に含まれている輻輳及び奥行きを表す２つのパラメータをテクスチャシフト部３０２に供給する。
【００８６】
テクスチャシフト手段であるテクスチャシフト部３０２は、供給される復号画像信号ａと奥行き推定データｄと制御信号判定部３０１からの輻輳及び奥行きを表す２つのパラメータとに基づいて、復号画像信号ａとは別視点の画像信号を生成する。例えば、テクスチャシフト部３０２は、復号画像信号ａを画面表示させた場合の視点を基準にして、左に視点移動した画像信号を生成する。その場合、テクスチャシフト部３０２は、ユーザーに対してテクスチャを近景として表示させるときは、近い画像ほどユーザーの内側（鼻側）に見えるので、画面右側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。また、テクスチャシフト部３０２は、ユーザーに対してテクスチャを遠景として表示させるときは、遠い画像ほどユーザーの外側に見えるので、画面左側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。
【００８７】
ここでは、それぞれの画素に対する奥行き推定データｄを８ビットの値Ｄｄで表すものとする。テクスチャシフト部３０２は、Ｄｄの小さい値（すなわち、画面奥に位置するもの）から順に、そのＤｄに対応する復号画像信号ａのテクスチャをそれぞれの画素毎に（Ｄｄ−ｍ）／ｎ画素分右にシフトした画像信号を生成する。上記のｍは飛び出し感を表すパラメータ（輻輳値）であり、上記のｎは奥行きを表すパラメータ（奥行き値）である。
【００８８】
なお、ユーザーには、奥行き推定データｄを示す値Ｄｄの小さいテクスチャは画面奥側に見え、奥行き推定データｄを示す値Ｄｄの大きいテクスチャは画面手前に見える。奥行き推定データｄを示す値Ｄｄ、輻輳値ｍ、奥行き値ｎは０〜２５５の範囲の値であり、例えば、制御信号判定部３０１に予め設定されている値は、輻輳値ｍ＝２００、奥行き値ｎ＝２０である。
【００８９】
オクルージョン補償部３０３は、テクスチャシフト部３０２より出力された別視点の画像信号に対してオクルージョンの補償を行い、オクルージョン補償された画像信号をポスト処理部３０４に供給する。オクルージョンとは、テクスチャをシフトした結果、画像中の位置関係変化によりテクスチャの存在しない部分のことをいう。オクルージョン補償部３０３は、テクスチャシフトされた画像信号に対応する元の復号画像信号ａによりオクルージョンの箇所を充填する。また、公知の文献（山田邦男、望月研二、相澤清晴、齊藤隆弘："領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”、映像情報学会誌、Vol.56,No.5,pp.863〜866（2002.5））に記載の手法でオクルージョンを補償してもよい。
【００９０】
ポスト処理手段であるポスト処理部３０４は、オクルージョン補償部３０３によりオクルージョン補償された画像信号に対して、平滑化やノイズの除去などのポスト処理を公知の方法で必要に応じて行い、左目用画像信号ｅ１を出力する。なお、２Ｄ３Ｄ変換部１１５は、録再Ｉ／Ｆ部１１４により記録媒体から再生された復号画像信号ａを右目用画像信号ｅ２とする。
【００９１】
図１において、表示Ｉ／Ｆ部１１６は、２Ｄ３Ｄ変換部１１５から出力される右目用画像信号ｅ２とポスト処理された左目用画像信号ｅ１とを入力信号として受け、その入力信号をステレオ画像表示に対応したモニタ（図示せず）に出力する。これにより、ユーザーはステレオ画像を見ることができる。以上のようにして、記録媒体から再生した画像データに基づく擬似立体画像の生成と擬似立体画像の表示とが行われる。
【００９２】
次に、本実施形態の要部の動作について更に詳細に説明する。
【００９３】
ユーザーがビデオカメラ１００で撮影した非立体画像を擬似立体画像に変換する場合に、ユーザーが製作者となることなく、擬似立体画像生成用パラメータを自動的に調整するための制御信号ＣＴＬ１〜ＣＴＬ３の生成方法について具体的に説明する。
【００９４】
ＣＰＵ１０８は、録再Ｉ／Ｆ部１１４が図示しない記録媒体から読み出した多重化データのうち、測距エリアの位置、被写体までの推定距離、推定被写界深度、被写体が顔か否かのデータ、顔の場合の顔の大きさのデータなど各種データを取得する。そして、ＣＰＵ１０８は、この取得データと２Ｄ３Ｄ変換部１１５から供給される奥行き推定データｄとから、以下のように制御信号ＣＴＬ１〜ＣＴＬ３を算出する。
【００９５】
ＣＰＵ１０８は、測距エリアの撮影画面内での位置が画面の水平方向の中央で、かつ、被写体までの推定距離が所定の閾値１よりも小さい場合には、そうでない場合よりも基本奥行きモデルタイプＣの混合比率が高くなるように制御信号ＣＴＬ１を生成する。その理由は、近距離にある被写体が主たる被写体であり、再生鑑賞する際に注視する部分であることが多い。従って、基本奥行きモデルタイプＡやＢのように画面中央ほど遠方に配置されるモデルでは、注視部分が遠方になってしまい、違和感があるためである。
【００９６】
また、ＣＰＵ１０８は、被写体が顔であって、正規化した顔の大きさが所定の閾値２より大きい場合には、被写体の胸から上を含めた顔全体を捉えたショットであるバストショットの確率が高いので、そうでない場合よりも基本奥行きモデルタイプＣの混合比率が高くなるように制御信号ＣＴＬ１を生成する。これは、上記の理由と同じ理由に基づく。同様に、推定被写界深度が浅い値であるほど基本奥行きモデルタイプＣの混合比率が高くなるように制御信号ＣＴＬ１を生成する。焦点が合っていない部分の奥行きに変化があると違和感があるからである。
【００９７】
さらに、ＣＰＵ１０８は、測距エリアの撮影画面内での位置が画面の水平方向の右端または左端で、かつ、被写体までの推定距離が所定の閾値３よりも小さい場合には、基本奥行きモデルタイプＢの混合比率がそうでない場合よりも高くなるように制御信号ＣＴＬ１を生成する。その理由は、注視する部分が画面の水平方向の右端又は左端であると考えられるので、その部分を画面手前に、他の部分を画面奥側に配置するモデルにした方が違和感が少ないためである。
【００９８】
また、ＣＰＵ１０８は、被写体までの推定距離が所定の閾値４よりも大きい場合には、基本奥行きモデルタイプＡの混合比率がそうでない場合よりも高くなるように制御信号ＣＴＬ１を生成する。その理由は、画面に拡がり感を持たせることで擬似立体画像に迫力がでるからである。
【００９９】
これら以外の場合には制御信号ＣＴＬ１を出力しない。従って、上記以外の場合は、スイッチ２０５は合成比率信号ＣＯＭを出力する。 また、ＣＰＵ１０８は、主たる被写体が顔であって、正規化された顔の大きさが所定の閾値５より大きい場合には、制御信号ＣＴＬ２に含まれる重み付け係数を、それ以外の場合よりも大きな値とする。その理由は、顔の肌色部分にはＲ信号成分が含まれるため、重み付け係数を大きくすることで顔が周囲よりも画面の手前に配置されるので、擬似立体画像としての印象が強くなるからである。
【０１００】
更に、ＣＰＵ１０８は、推定被写界深度が深い値であるほど、制御信号ＣＴＬ２に含まれる重み付け係数を、それ以外の場合よりも大きな値とする。これは、推定被写界深度が深い値である場合、画面内の多くの部分がぼけないで映っていることが多く、２次元画像（非立体画像）で見ると、奥行き感が失われている状態となるので、奥行き感を持たせるためである。
【０１０１】
また、ＣＰＵ１０８は、奥行き推定データｄのそれぞれの画素のうち、測距エリアの撮影画面内での位置に相当する複数の画素の奥行き推定データｄを示す値Ｄｄの平均値を求める。この平均値をｍとする。すなわち、輻輳及び奥行きを制御する制御信号ＣＴＬ３のうちの輻輳値ｍが算出される。従って、前述のシフト量（Ｄｄ−ｍ）／ｎ画素分の式から、測距エリアの撮影画面内での位置に相当する領域が、シフト量０の領域となる。右目用と左目用の画像データでシフト量が０の領域は、立体表示ではモニタの実際の表示面に位置して見えるようにする。これは、測距エリアには、主たる被写体が存在し、再生鑑賞する際の注視部分であると考えられることから、その部分を常にモニタの実際の表示面に位置させることで、安定した印象を与えることが目的である。
【０１０２】
更に、ＣＰＵ１０８は、推定被写界深度が深い値であるほど、制御信号ＣＴＬ３のうちの奥行き値ｎの値を小さくする。すなわち、立体画像としての奥行きを大きくする。逆に、推定被写界深度が浅い値であるほど、ＣＰＵ１０８は制御信号ＣＴＬ３のうちの奥行き値ｎの値を小さくする。すなわち、立体画像としての奥行きを小さくする。
【０１０３】
これは次の理由による。推定被写界深度が深い値である場合、画面内の多くの画像部分がぼけないで映っていることが多い。この場合、２次元画像（非立体画像）で見ると、奥行き感が失われている状態となる。これを２Ｄ３Ｄ変換で補うことで、奥行き感を得ることができる。逆に、推定被写界深度が浅い値である場合には、焦点が合ったように見える画像部分が限定されていることが多く、２次元画像（非立体画像）で見ても、奥行き感が感じられる。この状態で２Ｄ３Ｄ変換により、更に奥行き感を加えると、ユーザーには目の焦点の位置まで強制されているように感じてしまい、不快な感じを抱くことがあるからである。
【０１０４】
また、ＣＰＵ１０８は、主たる被写体が顔であって、正規化された顔の大きさが所定の閾値５より大きい場合には、制御信号ＣＴＬ３のうちの奥行き値ｎの値をそれ以外の場合よりも小さくする。すなわち、立体画像としての奥行きを小さくする。
【０１０５】
なお、以上の制御信号ＣＴＬ１〜ＣＴＬ３の値は、連続するフレームにおいて時間的な連続を考慮して生成する。すなわち、値の変更が時間的に緩やかであるようにする。急激な変更には擬似立体画像を見るユーザーの視覚感覚がついていけないからである。
【０１０６】
以上のように、本実施形態によれば、非立体画像である撮影画像から奥行き情報を推定して擬似立体画像を生成する場合に、第１乃至第３の制御信号によって複数の基本奥行きモデルタイプの画像の合成比率や非立体画像信号の重み付け係数やテクスチャシフトの際の奥行き値や輻輳値を制御する際に、画面毎に得られる撮影時のパラメータから第１乃至第３の制御信号の値を最適な奥行きモデルが得られるように自動的に可変するようにしたため、ユーザーが撮影シーンなどに応じて個々に設定しなくても、どのような非立体画像のシーンであっても、違和感のない、現実のイメージにより近い擬似立体画像を生成することができる。
【０１０７】
また、本実施形態によれば、被写体が顔である場合には人物撮影に適した奥行き感を与えることができる。更に、合焦している領域である測距エリアがモニタの実際の表示面に位置して見えることで、安定した擬似立体画像を表示できる。また、本実施形態では、制御信号ＣＴＬ１〜ＣＴＬ３の値の変更を時間的に緩やかにするようにしているため、ボケ量と奥行きの関係がユーザーにとって違和感のない自然なものにできる。
【０１０８】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。図１０は、本発明になる擬似立体画像生成装置を備えたビデオカメラの第２の実施形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図１０に示す第２の実施形態のビデオカメラ１５０は、再生した画像データに対して２Ｄ３Ｄ変換を行うのではなく、撮影した画像信号に対して２Ｄ３Ｄ変換を行い、その結果を記録する点でビデオカメラ１００と相違する。
【０１０９】
このビデオカメラ１５０は、所望の撮影モードによる被写体の撮影、撮影した画像データに基づく擬似立体画像の生成と、その擬似立体画像の記録媒体への記録、記録媒体から再生した擬似立体画像の表示を適宜選択して行う。
【０１１０】
撮影時において、ビデオカメラ１５０内の画像記憶部１５１は、信号処理部１１１から出力される被写体画像のデジタル値の輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）を順次格納する点は画像記憶部１１２と同様であるが、格納した輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）をＣＰＵ１５２と２Ｄ３Ｄ変換部１１５にそれぞれ出力する点で画像記憶部１１２と異なる。
【０１１１】
ＣＰＵ１５２は、画像記憶部１５１から読み出された１フレーム分の輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）と、ズームレンズ１０１の移動位置、フォーカスレンズ１０２の移動位置及び絞り１０３の絞り量などの取得情報と、メモリ１０９に格納されている被写体距離推定テーブルや被写界深度テーブルなどを用いて、ＣＰＵ１０８と同様にしてフレーム毎の測距エリアの撮影画面内での位置データ、フォーカスレンズ１０２の合焦位置から被写体までの推定距離のデータ、被写界深度の推定データ及び被写体が顔か否かのデータ、更に顔の場合には顔の大きさのデータを生成する。
【０１１２】
続いて、ＣＰＵ１５２は、生成したそれら各種のデータと２Ｄ３Ｄ変換部１１５から供給される奥行き推定データｄとから、第１の実施形態で説明したと同様の方法により制御信号ＣＴＬ１〜ＣＴＬ３を算出して２Ｄ３Ｄ変換部１１５に供給する。
【０１１３】
２Ｄ３Ｄ変換部１１５は、画像記憶部１５１から読み出された、非立体画像信号である輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）と、ＣＰＵ１５２で算出された制御信号ＣＴＬ１及びＣＴＬ２とに基づいて、第１の実施形態で説明したと同様の方法により奥行き推定データｄを生成してＣＰＵ１５２に出力すると共に、非立体画像信号（Ｙ，Ｃｂ，Ｃｒ）と制御信号ＣＴＬ１〜ＣＴＬ３とに基づいて、左目用画像信号ｅ１及び右目用画像信号ｅ２を生成する。そして、２Ｄ３Ｄ変換部１１５は、生成した左目用画像信号ｅ１及び右目用画像信号ｅ２を画像処理部１５３に供給する。
【０１１４】
画像処理部１５３は、２Ｄ３Ｄ変換部１１５から供給される左目用画像信号ｅ１及び右目用画像信号ｅ２を、それぞれ独立に公知のＭＰＥＧ−２方式やＭＰＥＧ−４ ＡＶＣ方式によって符号化する。あるいは、画像処理部１５３は、２Ｄ３Ｄ変換部１１５から供給される左目用画像信号ｅ１及び右目用画像信号ｅ２を一組の擬似立体画像信号として、例えばＭＰＥＧ−４ＭＶＣ（Moving Picture Experts Group 4 Multiview Video Coding）方式に基づいて符号化する。
【０１１５】
録再Ｉ／Ｆ部１１４は、画像処理部１５３において符号化された画像信号が画像データバス１１７を介して入力され、その入力された符号化画像信号を図示しない記録媒体に記録する。
【０１１６】
本実施形態によれば、撮影した被写体画像の擬似立体画像信号を記録媒体に記録することができるので、このビデオカメラ１５０で記録媒体から擬似立体画像信号を再生する場合に限らず、他の装置でこのビデオカメラ１５０で記録した記録媒体から擬似立体画像信号を再生して表示させることができる。
【０１１７】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。図１１は、本発明になる擬似立体画像生成装置を備えたビデオカメラの第３の実施形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図１１に示す第３の実施形態のビデオカメラ１７０は、ビデオカメラ１００の構成に手振れセンサ１７１及び姿勢センサ１７２を追加した構成である。
【０１１８】
手振れセンサ１７１は、ジャイロセンサなどで構成され、カメラの搖動を測定して、その測定結果をＣＰＵ１７３に出力する。また、手振れセンサ１７１は、カメラのパンニング、チルティング操作を測定する手段ともなっている。カメラの搖動をジャイロセンサなどで測定した場合、その角速度成分の周波数が３〜１０Ｈｚであれば、その搖動は手振れによるものであると考えられる。一方、一定時間、一定方向にカメラを動かすパンニング、チルティング操作の場合、ほぼ直流成分の角速度となる。すなわち、手振れセンサ１７１からの出力信号であるカメラの搖動の測定結果を用いて、ＣＰＵ１７３で演算することで、その搖動が手振れによるものであるか、パンニング、チルティング操作によるものであるかを推定し、更にいずれの場合も揺れの大きさを算出する。
【０１１９】
なお、カメラの搖動は、ジャイロセンサなどによらない方法で算出してもよい。例えば、公知のように、撮影画面のあるフレームと次のフレームで画面内の全被写体の動きベクトルの平均値を算出し、その動きベクトルの画面毎の変動をカメラの搖動として測定してもよい。
【０１２０】
姿勢センサ１７２は、重力センサなどで構成され、ここでは撮像素子１０４の光軸周りのロール角度を測定して、その測定結果をＣＰＵ１７３に出力する。撮像素子１０４の光軸周りのロール角度は、水平線を撮影したときに、撮影画面で水平線が水平になる場合が０°であり、水平線が右下がりに撮影される場合が＋ａ°（ａは正数）、水平線が左下がりに撮影される場合が−ａ°（ａは正数）である。
【０１２１】
ＣＰＵ１７３は、本発明における被写体の顔の大きさ情報取得手段、ビデオカメラ１７０から被写体までの推定距離を算出する被写体推定距離算出手段、推定被写界深度を算出する被写界深度算出手段、撮像画面内の測距エリアの位置データを取得する位置データ取得手段、制御信号ＣＴＬ１〜ＣＴＬ３を算出する制御信号算出手段、手振れ検出手段、撮像素子の光軸周りのロール角度検出手段、及び撮影シーン情報取得手段を構成している。なお、手振れ検出手段が検出する手振れ情報には、前述した手振れによるカメラの搖動の大きさ情報だけでなく、パンニング及びチルティングの大きさ情報も含まれる。
【０１２２】
すなわち、ＣＰＵ１７３は、第１の実施形態で前述した、測距エリアの位置、被写体までの推定距離、推定被写界深度、被写体が顔か否かのデータ、顔の場合の顔の大きさのデータなど各種データに、更に手振れセンサ１７１により得られたカメラの搖動の大きさ情報と、パンニング、チルティングの大きさ情報と、姿勢センサ１７２により得られた撮像素子１０４の光軸周りのロール角度情報とを多重化する。
【０１２３】
なお、被写体までの推定距離は、第１の実施形態と同様に山登り法で求めてもよいし、赤外線を照射してその反射波を観測する方式や、いわゆる位相差検出方式を用いてもよい。また、被写体までの推定距離は、フォーカスレンズと被写体までの距離であってもよいし、カメラの他の部分と被写体までの距離であってもよい。
【０１２４】
また、ＣＰＵ１７３は、画像記憶部１１２に格納されている１フレーム分の輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）を読み出し、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）に変換する。更に、ＣＰＵ１７３は、１フレーム分の画面を、例えば横３０、縦２０に分割した各ブロックのそれぞれで、ブロック内の信号の色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）の平均値を算出して、その算出結果をメモリ１７４に格納する。メモリ１７４には、現在の１フレームの算出結果と、一つ前のフレームの算出結果とが格納される。なお、メモリ１７４には、ＣＰＵ１７３の動作用プログラムの他に、メモリ１０９と同様に、被写体距離推定テーブル及び被写界深度テーブルが格納されている。
【０１２５】
ＣＰＵ１７３は、これらの算出結果と前述の被写体までの推定距離とから撮影シーンを判定する。例えば、画面上部の多くのブロックの明度（Ｖ）が明るく、色相（Ｈ）が青で、推定距離が所定の閾値より大きい場合は、昼間の風景撮影シーンと判定する。また、ＣＰＵ１７３は、一画面全体において、一つ前のフレームの明度（Ｖ）と現在のフレームの明度（Ｖ）とを、画面内の同じ位置に相当するブロック同士で比較して、変化の大きさが第１の閾値よりも大きいブロックの数が第２の閾値よりも多い場合には、被写体の動きが多いと判断してスポーツ撮影シーンと判定する。また、ＣＰＵ１７３は、画面中央のブロックの色相（Ｈ）が赤や青で、彩度（Ｓ）が第３の閾値より大きく、被写体までの推定距離が第４の閾値より小さい場合は、花のマクロ撮影シーンと判定する。
【０１２６】
ＣＰＵ１７３は、これらの撮影シーン情報についても、上記の手振れによる振動の大きさ情報及び光軸周りのロール角度情報と、第１の実施形態で説明した各種データと共に多重化して、録再Ｉ／Ｆ部１１４に供給する。録再Ｉ／Ｆ部１１４は、供給された多重化データと、対応するフレームの符号化画像データと共に図示しない記録媒体に対応付けて記録する。
【０１２７】
次に、このビデオカメラ１７０の再生信号に基づく擬似立体画像信号生成動作について説明する。録再Ｉ／Ｆ部１１４は、図示しない記録媒体から読み出したデータのうち、符号化画像データは画像データバス１１７を介して画像処理部１１３に供給する一方、符号化画像データ以外の測距エリアの位置、被写体までの推定距離、推定被写界深度、被写体が顔か否かのデータ、顔の場合の顔の大きさのデータ、手振れによるカメラの搖動の大きさ情報、パンニング、チルティングの大きさ情報及び撮像素子の光軸周りのロール角度情報、及び撮影シーン情報を画像データバス１１７を介してＣＰＵ１７３に供給する。
【０１２８】
ＣＰＵ１７３は、この録再Ｉ／Ｆ部１１４から供給されるデータと、２Ｄ３Ｄ変換部１１５から供給される奥行き推定データｄとから、以下のように制御信号ＣＴＬ１〜ＣＴＬ３を算出する。なお、ＣＰＵ１７３による制御信号ＣＴＬ１〜ＣＴＬ３の算出動作は、ＣＰＵ１０８による制御信号ＣＴＬ１〜ＣＴＬ３の算出動作と同じ算出動作も含むが、その説明は既に説明したので省略し、本実施形態特有の制御信号ＣＴＬ１〜ＣＴＬ３の算出動作について以下説明する。
【０１２９】
ＣＰＵ１７３は、撮影シーン情報がスポーツ撮影シーンを示しているときには、基本奥行きモデルタイプＣの混合比率が、そうでない場合よりも高くなるように制御信号ＣＴＬ１を生成する。その理由は、スポーツ撮影シーンの場合、撮影対象の動きが激しいことが多く、画面の中央だけでなく画面の端の方にも撮影対象が動きまわるため、基本奥行きモデルタイプＡやＢのように、画面中央ほど画面奥側に配置されるモデルでは距離感の変化が大きく、擬似立体画像を視聴するユーザーの違和感につながることがあり、それを防止するためである。
【０１３０】
また、ＣＰＵ１７３は、パンニング、チルティングの大きさ情報の値が所定の閾値よりも大きい場合には、基本奥行きモデルタイプＣの混合比率が、そうでない場合よりも高くなるように制御信号ＣＴＬ１を生成する。その理由は、パンニングを行う場合、それまでは画面の左右の端にあった被写体が画面中央に移動することになる。その場合、その被写体の奥行き感が画面の左右の端にあった時と画面の中央にある時とで異なることになるのは不自然なので、そのような事態を防止するためである。
【０１３１】
また、ＣＰＵ１７３は、撮影シーン情報が昼間の風景撮影シーンを示しているときには、基本奥行きモデルタイプＡの混合比率が、そうでない場合よりも高くなるように制御信号ＣＴＬ１を生成する。その理由は、画面の拡がり感を持たせることで、擬似立体画像に迫力がでるからである。
【０１３２】
また、ＣＰＵ１７３は、撮影シーン情報が花のマクロ撮影シーンを示しているときには、制御信号ＣＴＬ２に含まれる重み付け係数を、それ以外の場合よりも大きな値とする。これは、重み付け係数を大きくすることで、Ｒ信号成分を含む花の画像が画面手前に配置され、擬似立体画像としての印象が強くなるためである。
【０１３３】
一方、ＣＰＵ１７３は、光軸周りのロール角度情報が０°から離れているほど、制御信号ＣＴＬ２に含まれる重み付け係数を小さくする。その理由は、光軸周りのロール角度情報が０°から離れているほど、撮影画面が水平線に対して傾いた状態で撮影が行われており、再生視聴時に立体感を強調すると、ユーザーの画像視聴中の姿勢は傾いていないために違和感があるため、これを防止するためである。同様に、手振れによる振動の大きさが大きいほど、制御信号ＣＴＬ２に含まれる重み付け係数を小さくする。画面が揺れている状態で立体感を強調すると、ユーザーの画像視聴中の姿勢は傾いていないために違和感があるからである。
【０１３４】
また、ＣＰＵ１７３は、手振れによる振動の大きさが大きいほど、制御信号ＣＴＬ３のうちの奥行き値ｎの値を大きくする。すなわち、立体画像としての奥行きを小さくする。手振れによる振動が大きい場合には、再生視聴時に画面の揺れが画像を見るユーザーに感知されるので、２次元画像（非立体画像）で見ても乗り物に酔ったような感じがする。この状態で２Ｄ３Ｄ変換して得た擬似立体画像を見ると、更に酔ったような感じが強くなる。これを防止するために、手振れによる振動の大きさが大きいほど、立体画像としての奥行き感を減らすのである。
【０１３５】
また、ＣＰＵ１７３は、光軸周りのロール角度情報が０°から離れているほど、制御信号ＣＴＬ３のうちの奥行き値ｎの値を大きくする。すなわち、立体画像としての奥行きを小さくする。その理由は、光軸周りのロール角度情報が０°から離れているほど、撮影画面が水平線に対して傾いた状態で撮影が行われており、表示される画像が画面の水平線に対して傾いているのに対し、表示画像を見るユーザーの両目の高さは表示画像の傾きに追従していないことが多いので、この状態で２Ｄ３Ｄ変換して得た擬似立体画像を奥行き感が大きな状態で表示すると、ユーザーの違和感が大きくなる、ということを防止するためである。
【０１３６】
また、ＣＰＵ１７３は、撮影シーン情報がスポーツ撮影シーンを示しているときには、制御信号ＣＴＬ３のうちの奥行き値ｎの値を大きくする。すなわち、立体画像としての奥行きを小さくする。この場合は、撮影対象の動きが激しいので、右目用画像と左目用画像との視差の時間的な変動も大きく、奥行き感の大きな擬似立体画像をユーザーが視聴した場合、ユーザーの疲労感につながるおそれがあるので、それを防止するためである。
【０１３７】
更に、ＣＰＵ１７３は、撮影シーン情報が昼間の風景撮影シーンを示しており、手振れによる振動の大きさが第１の所定値よりも小さく、光軸周りのロール角度が０°に近く、被写体までの推定距離が第２の所定値よりも大きいという条件を満たしている場合は、制御信号ＣＴＬ３のうちの奥行き値ｎの値を小さくする。すなわち、立体画像としての奥行きを大きくする。その理由は、この場合の画像に対しては、生成される擬似立体画像の奥行き感を強く持たせることで、臨場感を高めることができるためである。
【０１３８】
このように、本実施形態によれば、撮影時のパラメータを用いて２Ｄ３Ｄ変換部１１５に供給する制御信号ＣＴＬ１〜ＣＴＬ３を自動的に制御するようにしたので、ユーザーが撮影シーンなどに応じて個々に設定しなくても最適な奥行きモデルが自動的に生成される。特に本実施形態では、制御信号ＣＴＬ１〜ＣＴＬ３を自動的に制御する撮影時のパラメータとして、手振れによるカメラの搖動の大きさ情報、パンニング、チルティングの大きさ情報、光軸周りのロール角度情報及び撮影シーン情報を含んでいるため、スポーツ撮影シーン、昼間の風景撮影シーン、花のマクロ撮影シーンなどの撮影シーンに応じて、また画面の水平線に対して傾いている非立体画像や、画面内での揺れが大きな非立体画像に対して、最適な奥行きモデルの擬似立体画像を生成して、擬似立体画像を視聴するユーザーの違和感や疲労感を抑制し、更に迫力や臨場感のある擬似立体画像を生成して表示することができる。
【０１３９】
なお、本発明は以上の実施形態に限定されるものではなく、例えば、以上の各実施形態の擬似立体画像生成動作をＣＰＵ１０８、１５２、又は１７３により実行させる擬似立体画像生成プログラムも本発明に含まれる。この場合、擬似立体画像生成プログラムは、記録媒体からＣＰＵに取り込まれてもよいし、通信ネットワークを通して配信されてＣＰＵに取り込まれてもよい。
【０１４０】
また、本発明は第２の実施形態のビデオカメラ１５０に、手振れセンサや姿勢センサを追加して、これらにより得られた手振れによるカメラの搖動の大きさ情報、パンニング、チルティングの大きさ情報及び撮像素子の光軸周りのロール角度情報を用いて第３の実施形態と同様にして最適な奥行きモデルの擬似立体画像信号を生成し、その擬似立体画像信号を記録媒体に記録する構成も含む。さらに、基本奥行きモデルタイプの画像は前述したＡ、Ｂ、Ｃの立体構造に限定されるものではなく、また３種類以外の複数種類であってもよい。
【符号の説明】
【０１４１】
１００、１５０、１７０ ビデオカメラ
１０１ ズームレンズ
１０２ フォーカスレンズ
１０３ 絞り
１０４ 撮像素子
１０５ ズームレンズ駆動部
１０６ フォーカスレンズ駆動部
１０７ 絞り駆動部
１０８、１５２、１７３ 中央処理装置（ＣＰＵ）
１０９、１７４ メモリ
１１２、１５１ 画像記憶部
１１３、１５３ 画像処理部
１１４ 録再Ｉ／Ｆ部
１１５ ２Ｄ３Ｄ変換部
１１８ 操作部
１７１ 手振れセンサ
１７２ 姿勢センサ
２００ 奥行き推定データ生成部
２０２ 画面上部の高域成分評価部
２０３ 画面下部の高域成分評価部
２０４ 合成比率決定部
２０５ スイッチ
２０６ 奥行きモデル合成部
２０７〜２０９ フレームメモリ
２１０、３０１ 制御信号判定部
２１１ 重み付け部
２１２ 加算部
３００ ステレオペア生成部
３０２ テクスチャシフト部
３０３ オクルージョン補償部
３０４ ポスト処理部
【特許請求の範囲】
【請求項１】
ズームレンズ、フォーカスレンズ及び絞りを含む光学系を通して撮像素子の撮像面に結像された被写体の光学像を、前記撮像素子により光電変換して得られた非立体画像信号から前記被写体が人物であるとき、その人物の顔の大きさ情報を取得する顔の大きさ情報取得手段と、
前記非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、
前記複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、
前記非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、前記非立体画像信号に対して前記第２の制御信号が示す前記重み付け係数を乗算する重み付け手段と、
前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、
奥行きと輻輳とを示す第３の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、
前記第１〜第３の制御信号をそれぞれ算出して出力する際に、前記顔の大きさ情報を用いて、算出する前記第１〜第３の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段と
を有することを特徴とする擬似立体画像生成装置。
【請求項２】
光学系を構成するズームレンズ及びフォーカスレンズの各位置をそれぞれ取得するレンズ位置取得手段と、
前記レンズ位置取得手段で取得された前記ズームレンズ位置及び前記フォーカスレンズの位置に基づいて、前記フォーカスレンズの位置から前記被写体までの推定距離を算出する被写体推定距離算出手段と、
前記光学系を通して撮像素子の撮像面に結像された被写体の光学像を、前記撮像素子により光電変換して得られた非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、
前記複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、
前記非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、前記非立体画像信号に対して前記第２の制御信号が示す前記重み付け係数を乗算する重み付け手段と、
前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、
奥行きと輻輳とを示す第３の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、
前記第１乃び第３の制御信号をそれぞれ算出して出力する際に、算出された前記被写体までの推定距離の情報を用いて、算出する前記第１及び第３の制御信号のうちの少なくともいずれか一方の制御信号の値を可変する制御信号算出手段と
を有することを特徴とする擬似立体画像生成装置。
【請求項３】
光学系を構成するズームレンズの位置、フォーカスレンズの位置及び絞りの絞り値をそれぞれ取得する光学系情報取得手段と、
前記光学系情報取得手段で取得された前記絞り値及び前記ズームレンズ位置に基づいて、推定被写界深度を算出する被写界深度算出手段と、
前記光学系を通して撮像素子の撮像面に結像された被写体の光学像を、前記撮像素子により光電変換して得られた非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、
前記複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、
前記非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、前記非立体画像信号に対して前記第２の制御信号が示す前記重み付け係数を乗算する重み付け手段と、
前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、
奥行きと輻輳とを示す第３の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、
前記第１〜第３の制御信号をそれぞれ算出して出力する際に、算出された前記推定被写界深度の情報を用いて、算出する前記第１〜第３の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段と
を有することを特徴とする擬似立体画像生成装置。
【請求項４】
光学系を構成するズームレンズ及びフォーカスレンズの各位置をそれぞれ取得するレンズ位置取得手段と、
前記光学系を通して撮像素子の撮像面に結像された被写体の光学像を、前記撮像素子により光電変換して得られた非立体画像信号のうち、前記撮像素子の撮像画面内の所定の小領域である測距エリア内の前記非立体画像信号の高域成分が最大となる合焦位置を求めるために、前記フォーカスレンズの位置を移動制御する自動焦点調節手段と、
前記撮像画面内の前記測距エリアの位置データを取得する位置データ取得手段と、
前記フォーカスレンズの合焦位置から前記被写体までの推定距離を算出する被写体推定距離算出手段と、
前記非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、
前記複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、
前記非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、前記非立体画像信号に対して前記第２の制御信号が示す前記重み付け係数を乗算する重み付け手段と、
前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、
奥行きと輻輳とを示す第３の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、
前記第１〜第３の制御信号をそれぞれ算出して出力する際に、前記測距エリアの位置データと前記被写体までの推定距離とに応じて、算出する前記第１及び第３の制御信号のうち少なくともいずれか一方の制御信号を可変する制御信号算出手段と
を有することを特徴とする擬似立体画像生成装置。
【請求項５】
光学系を通して撮像面に結像された被写体の光学像を光電変換して非立体画像信号を得る撮像素子の搖動の大きさ情報と、パンニング、チルティングの大きさ情報とからなる手振れ情報を検出する手振れ検出手段と、
前記撮像素子により得られた前記非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、
前記複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、
前記非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、前記非立体画像信号に対して前記第２の制御信号が示す前記重み付け係数を乗算する重み付け手段と、
前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、
奥行きと輻輳とを示す第３の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、
前記第１〜第３の制御信号をそれぞれ算出して出力する際に、前記手振れ情報を用いて、算出する前記第１〜第３の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段と
を有することを特徴とする擬似立体画像生成装置。
【請求項６】
光学系を通して撮像面に結像された被写体の光学像を光電変換して非立体画像信号を得る撮像素子の光軸周りのロール角度を検出するロール角度検出手段と、
前記撮像素子により得られた前記非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、
前記複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、
前記非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、前記非立体画像信号に対して前記第２の制御信号が示す前記重み付け係数を乗算する重み付け手段と、
前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、
奥行きと輻輳とを示す第３の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、
前記第１〜第３の制御信号をそれぞれ算出して出力する際に、前記ロール角度検出手段により検出されたロール角度検出情報を用いて、算出する前記第１及び第３の制御信号のうちの少なくともいずれか一方の制御信号の値を可変する制御信号算出手段と
を有することを特徴とする擬似立体画像生成装置。
【請求項７】
光学系を通して撮像面に結像された被写体の光学像を光電変換して、非立体画像信号を得る撮像素子を有するカメラにおいて、
前記カメラから被写体までの推定距離を算出する被写体推定距離算出手段と、
前記光学系を通して撮像面に結像された被写体の光学像を光電変換する撮像素子から出力される非立体画像信号の隣接する２フレーム間の信号変化と前記推定距離とに基づいて、撮影シーン情報を取得する撮影シーン情報取得手段と、
前記撮像素子から出力される前記非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、
前記複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、
前記非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、前記非立体画像信号に対して前記第２の制御信号が示す前記重み付け係数を乗算する重み付け手段と、
前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、
奥行きと輻輳とを示す第３の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、
前記第１乃至第３の制御信号をそれぞれ算出して出力する際に、前記撮影シーン情報取得手段により取得された前記撮影シーン情報を用いて、算出する前記第１乃至第３の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段と
を有することを特徴とするカメラ。
【請求項１】
ズームレンズ、フォーカスレンズ及び絞りを含む光学系を通して撮像素子の撮像面に結像された被写体の光学像を、前記撮像素子により光電変換して得られた非立体画像信号から前記被写体が人物であるとき、その人物の顔の大きさ情報を取得する顔の大きさ情報取得手段と、
前記非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、
前記複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、
前記非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、前記非立体画像信号に対して前記第２の制御信号が示す前記重み付け係数を乗算する重み付け手段と、
前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、
奥行きと輻輳とを示す第３の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、
前記第１〜第３の制御信号をそれぞれ算出して出力する際に、前記顔の大きさ情報を用いて、算出する前記第１〜第３の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段と
を有することを特徴とする擬似立体画像生成装置。
【請求項２】
光学系を構成するズームレンズ及びフォーカスレンズの各位置をそれぞれ取得するレンズ位置取得手段と、
前記レンズ位置取得手段で取得された前記ズームレンズ位置及び前記フォーカスレンズの位置に基づいて、前記フォーカスレンズの位置から前記被写体までの推定距離を算出する被写体推定距離算出手段と、
前記光学系を通して撮像素子の撮像面に結像された被写体の光学像を、前記撮像素子により光電変換して得られた非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、
前記複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、
前記非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、前記非立体画像信号に対して前記第２の制御信号が示す前記重み付け係数を乗算する重み付け手段と、
前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、
奥行きと輻輳とを示す第３の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、
前記第１乃び第３の制御信号をそれぞれ算出して出力する際に、算出された前記被写体までの推定距離の情報を用いて、算出する前記第１及び第３の制御信号のうちの少なくともいずれか一方の制御信号の値を可変する制御信号算出手段と
を有することを特徴とする擬似立体画像生成装置。
【請求項３】
光学系を構成するズームレンズの位置、フォーカスレンズの位置及び絞りの絞り値をそれぞれ取得する光学系情報取得手段と、
前記光学系情報取得手段で取得された前記絞り値及び前記ズームレンズ位置に基づいて、推定被写界深度を算出する被写界深度算出手段と、
前記光学系を通して撮像素子の撮像面に結像された被写体の光学像を、前記撮像素子により光電変換して得られた非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、
前記複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、
前記非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、前記非立体画像信号に対して前記第２の制御信号が示す前記重み付け係数を乗算する重み付け手段と、
前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、
奥行きと輻輳とを示す第３の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、
前記第１〜第３の制御信号をそれぞれ算出して出力する際に、算出された前記推定被写界深度の情報を用いて、算出する前記第１〜第３の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段と
を有することを特徴とする擬似立体画像生成装置。
【請求項４】
光学系を構成するズームレンズ及びフォーカスレンズの各位置をそれぞれ取得するレンズ位置取得手段と、
前記光学系を通して撮像素子の撮像面に結像された被写体の光学像を、前記撮像素子により光電変換して得られた非立体画像信号のうち、前記撮像素子の撮像画面内の所定の小領域である測距エリア内の前記非立体画像信号の高域成分が最大となる合焦位置を求めるために、前記フォーカスレンズの位置を移動制御する自動焦点調節手段と、
前記撮像画面内の前記測距エリアの位置データを取得する位置データ取得手段と、
前記フォーカスレンズの合焦位置から前記被写体までの推定距離を算出する被写体推定距離算出手段と、
前記非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、
前記複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、
前記非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、前記非立体画像信号に対して前記第２の制御信号が示す前記重み付け係数を乗算する重み付け手段と、
前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、
奥行きと輻輳とを示す第３の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、
前記第１〜第３の制御信号をそれぞれ算出して出力する際に、前記測距エリアの位置データと前記被写体までの推定距離とに応じて、算出する前記第１及び第３の制御信号のうち少なくともいずれか一方の制御信号を可変する制御信号算出手段と
を有することを特徴とする擬似立体画像生成装置。
【請求項５】
光学系を通して撮像面に結像された被写体の光学像を光電変換して非立体画像信号を得る撮像素子の搖動の大きさ情報と、パンニング、チルティングの大きさ情報とからなる手振れ情報を検出する手振れ検出手段と、
前記撮像素子により得られた前記非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、
前記複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、
前記非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、前記非立体画像信号に対して前記第２の制御信号が示す前記重み付け係数を乗算する重み付け手段と、
前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、
奥行きと輻輳とを示す第３の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、
前記第１〜第３の制御信号をそれぞれ算出して出力する際に、前記手振れ情報を用いて、算出する前記第１〜第３の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段と
を有することを特徴とする擬似立体画像生成装置。
【請求項６】
光学系を通して撮像面に結像された被写体の光学像を光電変換して非立体画像信号を得る撮像素子の光軸周りのロール角度を検出するロール角度検出手段と、
前記撮像素子により得られた前記非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、
前記複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、
前記非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、前記非立体画像信号に対して前記第２の制御信号が示す前記重み付け係数を乗算する重み付け手段と、
前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、
奥行きと輻輳とを示す第３の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、
前記第１〜第３の制御信号をそれぞれ算出して出力する際に、前記ロール角度検出手段により検出されたロール角度検出情報を用いて、算出する前記第１及び第３の制御信号のうちの少なくともいずれか一方の制御信号の値を可変する制御信号算出手段と
を有することを特徴とする擬似立体画像生成装置。
【請求項７】
光学系を通して撮像面に結像された被写体の光学像を光電変換して、非立体画像信号を得る撮像素子を有するカメラにおいて、
前記カメラから被写体までの推定距離を算出する被写体推定距離算出手段と、
前記光学系を通して撮像面に結像された被写体の光学像を光電変換する撮像素子から出力される非立体画像信号の隣接する２フレーム間の信号変化と前記推定距離とに基づいて、撮影シーン情報を取得する撮影シーン情報取得手段と、
前記撮像素子から出力される前記非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、
前記複数の基本奥行きモデルタイプの画像の合成比率を示す第１の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、
前記非立体画像信号の重み付けをするための重み付け係数を示す第２の制御信号に基づいて、前記非立体画像信号に対して前記第２の制御信号が示す前記重み付け係数を乗算する重み付け手段と、
前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、
奥行きと輻輳とを示す第３の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、
前記第１乃至第３の制御信号をそれぞれ算出して出力する際に、前記撮影シーン情報取得手段により取得された前記撮影シーン情報を用いて、算出する前記第１乃至第３の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段と
を有することを特徴とするカメラ。
【図１】
【図２】
【図３】
【図４】
【図８】
【図９】
【図１０】
【図１１】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図８】
【図９】
【図１０】
【図１１】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−２２３２８４（Ｐ２０１１−２２３２８４Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−８９９７７（Ｐ２０１０−８９９７７）
【出願日】平成２２年４月９日（２０１０．４．９）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月９日（２０１０．４．９）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]