立体映像撮像装置、立体映像処理装置および立体映像撮像方法
【課題】視聴者が自然な立体映像を知覚することができる立体映像データを生成する。
【解決手段】立体映像撮像装置１００は、それぞれの光軸１３０ａ、１３０ｂが略平行または撮像方向で交わる位置に配され、それぞれにおいて映像データを生成する複数の撮像部１１０ａ、１１０ｂと、映像データに含まれる被写体のうち、撮像目的の被写体である主被写体１６０と撮像部との距離と、主被写体以外の被写体である準被写体と撮像部との距離との差である相対距離を取得する距離取得部１７２と、相対距離に基づいて、主被写体および準被写体のいずれか一方または両方の鮮明度を変更する映像補正部１７４とを備える。
【解決手段】立体映像撮像装置１００は、それぞれの光軸１３０ａ、１３０ｂが略平行または撮像方向で交わる位置に配され、それぞれにおいて映像データを生成する複数の撮像部１１０ａ、１１０ｂと、映像データに含まれる被写体のうち、撮像目的の被写体である主被写体１６０と撮像部との距離と、主被写体以外の被写体である準被写体と撮像部との距離との差である相対距離を取得する距離取得部１７２と、相対距離に基づいて、主被写体および準被写体のいずれか一方または両方の鮮明度を変更する映像補正部１７４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像部で生成された映像データを用いて立体映像を知覚させる立体映像データを生成する立体映像撮像装置、立体映像処理装置および立体映像撮像方法に関する。
【背景技術】
【０００２】
近年、ディスプレイ上に、水平視差（両眼視差）を有する２つの映像を提示し、観察者に対してあたかも被写体が立体的に存在するように知覚させる映像（立体映像）の技術が脚光を浴びている。かかる技術で用いられる２つの映像は、視点の異なる２つの撮像部で撮像された映像である。
【０００３】
この２つの撮像部が成す輻輳角を、装置から撮像目的とする被写体までの被写体距離に応じて調整し、物体を輻輳点の位置で撮像する立体映像撮像装置が提案されている（例えば、特許文献１）。また、被写体距離に応じて映像データの一部を切り出し、電子的に輻輳角を制御する技術も提案されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特公平６−６６９６７号公報
【特許文献２】特開平７−９５６２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、撮像装置は、携帯性を高めたいという撮像者の要望に応じ小型化および軽量化が進められ、それに伴ってレンズや撮像素子も小さくなっている。しかし、レンズや撮像素子の小型化は、被写界深度の深さに大きく影響を及ぼす。例えば、レンズの小型化により被写界深度が深くなった場合、撮像装置において、焦点が合う範囲が広くなり、撮像者の撮像目的である被写体（主被写体）以外の前後にある物や背景といった被写体（準被写体）まで焦点が合っている映像データが生成されてしまう。
【０００６】
これは、上述した特許文献１、２に示すような立体映像撮像装置を用いた場合であっても同様のことが言え、人間が直接被写体を視認する場合と撮像部を通じて被写体を撮像する場合とで焦点の合い方が異なることとなる。このような映像データでは、視聴者は、本来知覚しなくてもよいはずの撮像目的である被写体以外の物や背景といった被写体まで視認してしまい、特に、立体映像の場合は平面的な映像（平面映像）よりも処理する視覚情報が多いため、長時間の視認によって眼が疲労してしまう。
【０００７】
そこで本発明は、このような課題に鑑み、視聴者が自然な立体映像を知覚することができる立体映像データを生成可能な、立体映像撮像装置、立体映像処理装置および立体映像撮像方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の立体映像撮像装置は、それぞれの光軸が略平行または撮像方向で交わる位置に配され、それぞれにおいて映像データを生成する複数の撮像部と、映像データに含まれる被写体のうち、撮像目的の被写体である主被写体と撮像部との距離と、主被写体以外の被写体である準被写体と撮像部との距離との差である相対距離を取得する距離取得部と、相対距離に基づいて、主被写体および準被写体のいずれか一方または両方の鮮明度を変更する映像補正部と、を備えることを特徴とする。
【０００９】
上記距離取得部は、複数の撮像部で撮像された映像データ間で主被写体の視差と準被写体の視差を検出し、検出した主被写体の視差と準被写体の視差との差を相対距離としてもよい。
【００１０】
上記距離取得部は、フレームデータ間の同一の被写体を特定する動きベクトル検出を用いて複数の撮像部それぞれが生成した映像データ間の被写体の視差を導出し、動きベクトル検出は水平方向のみを対象としてもよい。
【００１１】
上記映像補正部は、相対距離が略０の場合、準被写体の鮮明度を最大とし、相対距離が大きくなるにつれて準被写体の鮮明度を小さくしてもよい。
【００１２】
上記映像補正部は、鮮明度に、被写界深度に応じた係数を乗じてもよい。
【００１３】
上記立体映像撮像装置は、映像データを所定のブロックに分割し、分割したブロックにおける画素の輝度の最大値と最小値との差分を導出する輝度差分導出部をさらに備え、映像補正部は、差分が所定閾値以下の場合、差分が所定閾値以下となるブロックの画素については、鮮明度の補正を行わなくてもよい。
【００１４】
上記距離取得部は、映像データを所定のブロックに分割し、分割したブロック毎に、同一の被写体を示すブロック間の視差を導出し、導出した視差をブロック内の各画素に割り当てた後、隣接する画素間で割り当てられた視差の変化を抑えるように、割り当てられた視差を補正してもよい。
【００１５】
上記課題を解決するために、本発明の立体映像処理装置は、両眼視差による立体映像を知覚させるための立体映像データを取得する映像取得部と、立体映像データに含まれる被写体のうち、撮像目的の被写体である主被写体と立体映像データを生成した撮像部との距離と、主被写体以外の被写体である準被写体と撮像部との距離との差である相対距離を取得する距離取得部と、相対距離に基づいて、主被写体および準被写体のいずれか一方または両方の鮮明度を変更する映像補正部と、を備えることを特徴とする。
【００１６】
上記課題を解決するために、本発明の立体映像撮像方法は、立体映像を生成するために、それぞれの光軸が略平行または撮像方向で交わる位置に配された複数の撮像部により、映像データを生成し、映像データに含まれる被写体のうち、撮像目的の被写体である主被写体と撮像部との距離と、主被写体以外の被写体である準被写体と撮像部との距離との差である相対距離を取得し、相対距離に基づいて、主被写体および準被写体のいずれか一方または両方の鮮明度を変更することを特徴とする。
【発明の効果】
【００１７】
以上説明したように本発明は、視聴者が自然な立体映像を知覚することができる立体映像データを生成することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態における立体映像撮像装置の概略的な機能を示した機能ブロック図である。
【図２】立体映像撮像装置の一例を示した外観図である。
【図３】主被写体距離の測定を説明するための説明図である。
【図４】相対距離および視差を説明するための説明図である。
【図５】距離取得部の動きベクトル検出を説明するための説明図である。
【図６】視差の補正を説明するための説明図である。
【図７】相対距離として用いる視差と、鮮明度との対応例を説明するための説明図である。
【図８】鮮明度の補正を説明するための説明図である。
【図９】輻輳角を固定とする場合の映像データにおける主被写体と視差との関係を説明するための説明図である。
【図１０】輻輳角を固定とする場合の映像データにおける主被写体と視差との関係を説明するための説明図である。
【図１１】映像処理による輻輳角の調整を説明するための説明図である。
【図１２】映像処理による輻輳角の調整を説明するための説明図である。
【図１３】第１の実施形態における立体映像撮像方法の処理の流れを示すフローチャートである。
【図１４】第２の実施形態における立体映像撮像装置の概略的な構成を示した機能ブロック図である。
【図１５】第３の実施形態における立体映像撮像装置を説明するための説明図である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２０】
（第１の実施形態：立体映像撮像装置１００）
図１は、第１の実施形態における立体映像撮像装置１００の概略的な機能を示した機能ブロック図であり、図２は、立体映像撮像装置１００の一例を示した外観図である。図１に示すように、立体映像撮像装置１００は、撮像部１１０（図中、１１０ａ、１１０ｂで示す）と、操作部１１２と、ビューファインダ１１４と、距離測定部１１６と、映像処理部１１８と、映像併合部１２０と、映像圧縮部１２２と、外部出力部１２４と、中央制御部１２６とを含んで構成される。ここでは、立体映像撮像装置１００としてビデオカメラを挙げているが、デジタルスチルカメラ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、撮像が可能な様々な電子機器を採用することができる。
【００２１】
撮像部１１０は、図２に示すように、それぞれの光軸１３０ａ、１３０ｂが略平行または撮像方向で交わり、撮像者が立体映像撮像装置１００の本体１３２を水平に把持した際に、その光軸１３０ａ、１３０ｂが同じ水平面に存在するように配置される２つの撮像部１１０ａ、１１０ｂで構成される。
【００２２】
撮像部１１０は、焦点調整に用いられるフォーカスレンズ１５０と、露光調整に用いられる絞り（アイリス）１５２と、撮像レンズ１５４（図中、１５４ａ、１５４ｂで示す）を通じて入射した光を光電変換し映像データにＡ／Ｄ変換する撮像素子１５６（図中、１５６ａ、１５６ｂで示す）と、フォーカスレンズ１５０、絞り１５２、撮像レンズ１５４および撮像素子１５６を駆動させる駆動回路１５８とを含んで構成され、それぞれの撮像部１１０ａ、１１０ｂにおいて映像データを生成する。映像データは、撮像部１１０ａが生成する、観察者の左眼に知覚させるための左眼用映像データと、撮像部１１０ｂが生成する、観察者の右眼に知覚させるための右眼用映像データとで構成され、動画および静止画のいずれでも形成可能である。
【００２３】
操作部１１２は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック、後述するビューファインダ１１４の表示面に配されたタッチパネル等のスイッチから構成され、撮像者の操作入力を受け付ける。
【００２４】
ビューファインダ１１４は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、映像処理部１１８が出力した映像データや、操作部１１２と連動した撮像状態を示す情報をＯＳＤ（On-Screen Display）として表示する。撮像者は、操作部１１２を操作することで、被写体を所望する位置および占有面積で捉えることが可能となる。
【００２５】
距離測定部１１６は、立体映像撮像装置１００自体、特に撮像部１１０と、被写体のうち撮像目的の被写体である主被写体との距離（以下、主被写体距離と称する）を測定する。主被写体距離は、後述する撮像制御部１７０が輻輳角を調整する際に用いられる。
【００２６】
ここで、主被写体は、ユーザが主に撮像を所望する被写体であって、例えば、撮像者による操作部１１２への操作入力に応じて、フォーカスを合わせたりすることで特定される。
【００２７】
図３は、主被写体距離の測定を説明するための説明図である。図３（ａ）に示すように、距離測定部１１６は、主被写体１６０に赤外線を照射し、その赤外線の反射に費やす時間（ＴＯＦ：Time Of Flight）を測定することで、撮像部１１０と主被写体１６０との距離を測定する。また、図３（ｂ）に示すように、立体映像撮像装置１００の正面に主被写体１６０が位置しない場合であっても、赤外線の照射角が予め広く設定されているので主被写体１６０からの反射光を受光し、図３（ａ）同様、主被写体距離を測定することができる。
【００２８】
複数の被写体が認識される場合、距離測定部１１６は、例えば、最も近くにある被写体を、撮像目的の主被写体１６０として主被写体距離を測定したり、所定の距離範囲にある被写体をすべて主被写体１６０として、それぞれの主被写体１６０との距離の平均値を主被写体距離としたりする。
【００２９】
また、フォーカスレンズ１５０の位置と主被写体距離とが対応しているので、距離測定部１１６は、駆動回路１５８を通じてフォーカスレンズ１５０の位置の情報である合焦情報を取得し、合焦情報に基づいて主被写体距離を求めてもよい。
【００３０】
映像処理部１１８は、撮像部１１０で生成された映像データに対して、Ｒ（Red）Ｇ（Green）Ｂ（Blue）処理（映像データからＲＧＢ信号への変換、γ補正、色補正等）、エンハンス処理、ノイズ低減処理、ホワイトバランス調整処理等の映像信号処理を行う。ここで復調されたＹ色差信号は、後述する動きベクトル検出で用いられる。また、映像処理部１１８が行うホワイトバランス調整や撮像制御部１７０が行うアイリス調整は、色合い、明るさ等が右眼用映像データと左眼用映像データとで異ならないように同じ調整値を用いる。
【００３１】
映像併合部１２０は、後述する映像補正部１７０が鮮明度を補正した映像データ（右眼用映像データと左眼用映像データ）を、サイドバイサイド方式、トップアンドボトム方式、およびフレームシーケンシャル方式等の、立体映像における所定の収録方式で併合し、立体映像データを生成する。
【００３２】
映像圧縮部１２２は、立体映像データを、Ｍ−ＪＰＥＧ（Motion-JPEG）やＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４などの所定の符号化方式で符号化した符号データとし、任意の記憶媒体１６２に記憶させる。任意の記憶媒体１６２としては、ＤＶＤ（Digital Versatile Disk）やＢＤ（Blu-ray Disc）といった光ディスク媒体や、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等の媒体を適用することができる。なお、ＨＤＤは正確には装置であるが、便宜上、本説明では他の記憶媒体と同義として扱う。
【００３３】
外部出力部１２４は、立体映像データをラインシーケンシャル方式、フレームシーケンシャル方式等の、立体映像における所定の表示方式のデータである立体表示データに変換し、立体映像撮像装置１００に接続された立体映像表示装置１６４に出力する。立体映像表示装置１６４は、ビューファインダ１１４同様、液晶ディスプレイ、有機ＥＬディスプレイ等で構成され、例えば、偏光特性が１ライン毎に異なるように形成されており、立体表示データを表示する。視聴者は、立体映像表示装置１６４に表示された立体表示データを左右で偏光特性が異なる眼鏡を通じて視認することで、立体映像を鑑賞することができる。
【００３４】
また、外部出力部１２４は、通信に適した信号圧縮、および誤り訂正符号の付加等を行った符号データを、例えば、インターネット、ＬＡＮ（Local Area Network）、携帯電話やＰＨＳ等の携帯機器の専用回線等の通信網を介して、立体映像表示装置１６４に出力してもよい。
【００３５】
中央制御部１２６は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、立体映像撮像装置１００全体を管理および制御する。また、本実施形態において、中央制御部１２６は、撮像制御部１７０、距離取得部１７２、映像補正部１７４、輝度差分導出部１７６、映像切出部１７８としても機能する。
【００３６】
撮像制御部１７０は、主被写体１６０に対して、焦点調整や露光調整等の撮像を制御する。具体的に、撮像制御部１７０は、撮像を制御するための制御指令を撮像部１２０の駆動回路１５８に伝達し、駆動回路１５８は、撮像制御部１７０からの制御指令に従って、フォーカスレンズ１５０や絞り１５２を調整する。
【００３７】
このとき、撮像制御部１７０は、例えば、右眼用映像データおよび左眼用映像データそれぞれの中央部の所定の領域をフォーカス調整に用いるフォーカス検出領域とし、この領域の映像データの高周波成分やコントラストが最大となるように、フォーカスレンズ１５０を調整してもよい。
【００３８】
さらに、撮像制御部１７０は、撮像部１１０ａ、１１０ｂの結線（撮像部１１０ａ、１１０ｂの物側主点を結ぶ線）の垂直二等分線上の主被写体距離の位置に輻輳点が重なるように輻輳角を調整する（トーインセッティング）。撮像制御部１７０は、主被写体距離と撮像素子１５６ａ、１５６ｂ間の距離から輻輳角を導出し、その輻輳角となるように、駆動回路１５８を通じて、撮像レンズ１５４ａ、１５４ｂと撮像素子１５６ａ、１５６ｂとを駆動させる。このとき、撮像レンズ１５４ａと撮像素子１５６ａ、および撮像レンズ１５４ｂと撮像素子１５６ｂとは撮像制御部１７０の制御に従って連動する。また、撮像レンズ１５４ａ、１５４ｂは、左右対称に同角度回動する（左右対称に光軸１３０ａ、１３０ｂを交差させる）ことで輻輳角を調整している。
【００３９】
また、輻輳角の調整は、例えば、撮像者が個々に入力した値（輻輳角、主被写体距離等）に基づいて行われてもよい。
【００４０】
距離取得部１７２は、映像データに含まれる被写体のうち、撮像目的の被写体である主被写体１６０と撮像部１１０との距離（主被写体距離）と、主被写体１６０以外の被写体である準被写体と撮像部１１０との距離との差である相対距離を取得する。後述する映像補正部１７４は、この相対距離に基づいて鮮明度を補正する。
【００４１】
相対距離は、主被写体１６０と、主被写体１６０以外の被写体である準被写体との撮像方向の距離なので、撮像部１１０ａ、１１０ｂでそれぞれ撮像される映像データにおいて検出される主被写体１６０の視差と準被写体の視差との差で表すこともできる。距離取得部１７２は、撮像部１１０ａ、１１０ｂで撮像された映像データ間で主被写体１６０の視差と準被写体の視差を検出し、検出した主被写体１６０の視差と準被写体の視差との差を相対距離とする。本実施形態において、主被写体１６０の視差は、撮像部１１０により撮像された映像データ間で検出される主被写体１６０の視差であり、準被写体の視差は、撮像部１１０により撮像された映像データ間で検出される準被写体の視差であり、以下、それぞれ単に主被写体１６０の視差、準被写体の視差と称する。
【００４２】
このとき計算を容易にするため、主被写体１６０自体も相対距離０（ゼロ）で表す。ただし、本実施形態においては、主被写体１６０が輻輳点となるように、すなわち、主被写体１６０の視差が略０となるように輻輳角を調整しているため、距離取得部１７２は、相対距離として、撮像部１１０ａ、１１０ｂそれぞれが生成した映像データ間で検出される準被写体の視差を取得（導出）すればよい。
【００４３】
図４は、相対距離および視差を説明するための説明図である。撮像制御部１７０は、主被写体１６０の位置に応じて輻輳角を調整する。そうすると図４（ａ）に示す各撮像レンズ１５４ａ、１５４ｂそれぞれの画角∠ＡＢＣ、∠ＤＥＦには主被写体１６０以外の被写体である準被写体も入ってくる。このとき、右眼用映像データ、左眼用映像データそれぞれにおける主被写体１６０の位置は、図４（ｂ）に示すように画面中央となる。
【００４４】
このような輻輳角が主被写体１６０の位置に応じて調整された状態で、撮像部１１０との距離が主被写体１６０と同じ主被写体距離となる準被写体１８４ａは、相対距離が０であり、右眼用映像データと左眼用映像データにおいて視差０で表わされる。一方、主被写体１６０よりも相対的に近くにある準被写体１８４ｂは左眼用映像データでは右端であるのに対し、右眼用映像データでは矢印１８６ａに示すように中央よりとなる。また、主被写体１６０より相対的に遠くにある準被写体１８４ｃは、左眼用映像データでは左端であるのに対し、右眼用映像データでは矢印１８６ｂに示すように中央よりとなる。準被写体１８４ｄは、主被写体１６０よりも相対的に遠く、左眼用映像データでは右側に位置するが、右眼用映像データでは矢印１８６ｃに示すように、範囲外となり表示されない。
【００４５】
このように、相対距離は、主被写体や準被写体といった被写体の視差によっても表わすことができる。この視差の導出には、フレームデータ間の同一の被写体を特定する動きベクトル検出が用いられる。ここで、フレームデータは、１の動画を構成する時系列に並べられた静止画データである。本実施形態では動きベクトル検出の対象である時間差のある２つのフレームデータを、同時に撮像された左右２つの映像データに置き換えている。距離取得部１７２は、映像データを所定のブロックに分割し、分割したブロック毎に、同一の被写体を示すブロック間の視差を導出する。
【００４６】
図５は、距離取得部１７２の動きベクトル検出を説明するための説明図である。動画圧縮技術であるＭＰＥＧにおいては、ブロックマッチングに基づいて動きベクトルを検出する動きベクトル検出が用いられる。ここで動きベクトルは、２つのフレームデータ間における同一の被写体の変位をベクトルで示したものである。ＭＰＥＧにおける動きベクトル検出では、図５（ａ）に示すように、フレームメモリから出力された過去の映像データを、所定のブロック（領域）１９０に分割し、過去のフレームデータから選択したブロック１９０ａについて、現在のフレームデータのうち、同一の大きさで最も類似しているブロック１９０ｂを抽出し両者の位置関係から動きベクトル１９２ａを検出している。
【００４７】
本実施形態において、距離取得部１７２は、ＭＰＥＧの符号化における動きベクトル検出とほとんど同等のアルゴリズムを用いるので、既存の動きベクトル検出技術を流用でき、右眼用映像データと左眼用映像データとの間の動きベクトルを検出する。
【００４８】
具体的に、距離取得部１７２は、図５（ｂ）に示すように、左眼用映像データから選択された比較元のブロック１９０ｃの各画素の輝度（Ｙ色差信号）と、その画素に対応する右眼用映像データの比較先の任意の位置におけるブロック１９０ｄの各画素の輝度との差を取り、ブロック内のすべての画素の輝度の差の総和を導出する。続いて、比較先のブロック１９０ｄを所定距離移動し、輝度の差の総和を導出する処理を繰り返し、輝度の差の総和が最も小さくなる位置におけるブロック１９０ｄを、輝度が最も近いブロック１９０ｄとして抽出し、その変位をブロック１９０ｃの動きベクトル１９２ｃとする。
【００４９】
また、距離取得部１７２は、図５（ｃ）に示すように、右眼用映像データから選択された比較元のブロック１９０ｅの各画素の輝度と、その画素に対応する左眼用映像データの比較先の任意の位置におけるブロック１９０ｆの各画素の輝度との差を取り、すべての画素の輝度の差の総和を導出する。続いて、比較先のブロック１９０ｆを所定距離移動して、輝度の差の総和を導出する処理を繰り返し、輝度の差の総和が最も小さくなる位置におけるブロック１９０ｆを、輝度が最も近いブロック１９０ｆとして抽出し、その変位をブロック１９０ｅの動きベクトル１９２ｅとする。こうして、左眼用映像データおよび右眼用データのいずれのブロックも動きベクトルが検出される。
【００５０】
かかる動きベクトル検出において、比較元のブロックは、例えば、映像データの左上から右方向に、右端に到達すると一段下げて再び左端から右方向に順次移動して選択され、最終的に映像データすべてが網羅される。
【００５１】
また、本実施形態の動きベクトル検出では、比較先のブロックを全範囲から抽出しなくとも、水平方向のみを、比較先のブロックの対象とすることができる。すなわち、比較先のブロック１９０としては、比較元のブロック１９０ｃ、１９０ｅに対して、垂直方向の座標が等しい領域（図５（ｂ）、（ｃ）において破線１９４ａ、１９４ｂで囲われた領域）のみが対象となる。
【００５２】
上述したように、映像圧縮において動きベクトル検出の技術が確立しており、本実施形態では、その動きベクトル検出を利用して視差を求める。また、動画圧縮に用いられる動きベクトルの検出と異なり、視差は、映像における水平方向の変位としてしか表れないため、距離取得部１７２は、水平方向にのみ動きベクトルを検出すればよい。かかる動きベクトルの検出を水平方向に限る構成により、処理時間および処理負荷を著しく低減でき、延いては回路を小型化することが可能となる。
【００５３】
距離取得部１７２は、図５に示すように、左眼用映像データのブロックについて、右眼用映像データ内で類似しているブロックを抽出すると、そのブロック間の動きベクトルを左眼用映像データのそのブロックの視差とする。同様に、距離取得部１７２は、右眼用映像データのブロックについて、左眼用映像データ内で類似しているブロックを抽出すると、そのブロック間の動きベクトルを右眼用映像データのそのブロックの視差とする。また、上記のように別々に算出した右眼用映像データの動きベクトルと、それに対応する左眼用映像データの動きベクトルは、大きさはほぼ同じであり、動きベクトルの向きが反対になっていると考えられる。そのため、この条件に当てはまらない動きベクトルが検出された場合には、動きベクトル検出におけるパラメータを変えて再度検出することにより、動きベクトル検出の精度を高める構成としてもよい。
【００５４】
そして、距離取得部１７２は、導出した視差をブロック内の各画素に割り当てた後、隣接する画素間で割り当てられた視差の変化を抑えるように、割り当てられた視差を補正する。
【００５５】
図６は、視差の補正を説明するための説明図である。距離取得部１７２は、ブロック１９０毎の視差を図６の如く導出した後、ブロック１９０の境界の画素に割り当てられた視差の急激な変化を抑えため、画素毎に低域通過フィルタを通過させ、図６の曲線１９８のように、映像データの水平方向の画素の並びに対して、隣接する画素に割り当てられた落差を減らし、視差の変化量を滑らかにする。かかる画素間で割り当てられた視差の変化を抑えるように平滑化する構成により、ブロックの境界において視差が急激に変化し、映像の連続性が損なわれて違和感が生じてしまう事態を回避することができる。
【００５６】
そして、映像補正部１７４は、撮像目的の被写体である主被写体１６０と撮像部１１０の距離と、主被写体１６０以外の被写体である準被写体と撮像部１１０との距離との差である相対距離に基づいて、映像データに含まれる主被写体および準被写体のいずれか一方または両方の鮮明度を画素単位で変更する。このとき、映像補正部１７４は、相対距離が略０の場合、準被写体の鮮明度を最大とし、相対距離が大きくなるにつれて準被写体の鮮明度を小さくしてもよい。
【００５７】
図７は、相対距離として用いる視差と、鮮明度との対応例を説明するための説明図である。図７において、横軸が視差（相対距離）、縦軸が鮮明度を示す。本実施形態において、視差は、右眼用映像データ、左眼用映像データそれぞれにおいて、準被写体が右側にずれる程プラス、左側にずれる程マイナスの値を取ることとする。映像補正部１７４は、例えば、正規曲線２００のように、視差が０の場合に準被写体の鮮明度を最大に、視差の絶対値が大きくなるにつれて、準被写体の鮮明度を連続的に弱くする。また、視差の絶対値が所定値以上となると、準被写体の鮮明度を所定の最小値に固定してぼかす処理を行うこととしてもよい。本実施形態において、鮮明度０は、映像データに対して鮮明度を変更する処理を何ら行わないことを示す。かかる鮮明度の補正を具体的に映像データに適用した例を図８を用いて説明する。
【００５８】
図８は、鮮明度の補正を説明するための説明図である。図８（ａ）は、鮮明度の補正前の映像データを、図８（ｂ）は、鮮明度の補正後の映像データの一例を示す。映像補正部１７４は、撮像目的の被写体である視差の無い主被写体１６０と、その近辺にあり同様に視差の無い準被写体１８４ａとは、鮮明度が強くなるように、視差が大きい（相対距離の大きい）準被写体１８４ｃ、１８４ｂは、鮮明度が弱くなるように、右眼用映像データにおいて画角から外れた準被写体１８４ｄは、さらに鮮明度が弱くなるように補正する。
【００５９】
本実施形態において、鮮明度は、例えば、シャープネス等、映像データの鮮明さの度合いを示す指標である。既存の撮像装置は、元々、生成した映像データについて、所定の周波数以上の高域周波数成分を強調するエッジ強調処理を通じて鮮明度を高める処理が行われている。したがって映像補正部１７４は、視差の無い主被写体１６０と、その近辺にあり同様に視差の無い準被写体１８４ａには、このエッジ強調処理が施された映像データをそのまま利用し、視差が大きい準被写体１８４ｂ、１８４ｃや、映像データのうちの一方において画角から外れた準被写体１８４ｄには、鮮明度を例えば０〜−２０ｄＢ程度落とす処理を行う。
【００６０】
その結果、立体映像表示装置１６４において表示される映像では、主被写体１６０および準被写体１８４ａが強調され、それ以外の準被写体１８４ｂ、１８４ｃ、１８４ｄは鮮明度が弱く目立たなくなる。特に、右眼用映像データにおいて画角から外れた準被写体１８４ｄは、例えば、１０８０ＴＶ本のうち、約２００ＴＶ本が何とか視認できる程度までぼやかす。ここで、ＴＶ本は、水平表示解像度を示す単位であり、１画素毎に白黒の点を表示させた場合に、識別できる点の数で表わされる、シャープネスの単位の一例である。
【００６１】
このように、本実施形態の立体映像撮像装置１００は、撮像目的の被写体である主被写体１６０や相対距離０の準被写体１８４ａの鮮明度を相対的に強くし、一方で主被写体１６０と距離のある準被写体１８４ｂ、１８４ｃ、１８４ｄの鮮明度を相対的に弱めている。そのため、立体映像撮像装置１００の被写界深度が深い場合であっても、人間が主被写体１６０を直接視認するときと同じような被写界深度となる映像データを生成することができる。
【００６２】
また、主被写体１６０や準被写体１８４ａの視差が略０であり、それ以外の物体をぼかして表示することで、立体映像を鑑賞するのに必要となる眼鏡が無い場合でも、主被写体１６０や相対距離０の準被写体１８４ａを自然な平面映像として見る事ができる。そのため、立体映像データをそのまま平面映像データとして利用することが可能となり立体映像の普及を促進できる。
【００６３】
さらに、鮮明度を弱めた背景や準被写体の情報量が減るため、同じ記憶媒体１６２により長時間の映像を記憶できたり、同じ帯域でより多くのチャネルの伝送が可能となったりする。
【００６４】
また、映像補正部１７４は、補正後の鮮明度に、さらに、被写界深度に応じた係数を乗じる。かかる構成により、被写界深度が既に人の眼に近い場合において、鮮明度を補正しすぎて主被写体１６０から撮像方向の前後に離れた準被写体が直接視認する場合よりもぼやけてしまい、視聴者に違和感を生じさせてしまう事態を回避できる。
【００６５】
輝度差分導出部１７６は、映像データを所定のブロックに分割し、分割されたブロックにおけるすべての画素において、輝度の最大値と最小値との差分を導出する。そして、映像補正部１７４は、輝度の差分が所定閾値以下の場合、差分が所定閾値以下となるブロックの画素については、鮮明度の補正を行わない。
【００６６】
ブロック自体に含まれる画素の輝度の最大値と最小値との差分が所定閾値以下のブロックは、壁や空等の背景の一部と捉えることができ、鮮明度が強い映像である必要性が低い。また、このように輝度の差分が小さいブロックは、動きベクトルの検出を用いても視差を正確に導出できない。そこで、鮮明度の補正を行わない回路、例えばコアリング回路を用いて、このようなブロックの処理負荷を低減する。かかる構成により、鮮明度の補正が不要なブロックに対する無駄な補正や誤った補正を回避することができ、処理負荷を軽減することが可能となる。
【００６７】
また、上述した実施形態では、輻輳角を制御する構成を述べたが、輻輳角を固定して撮像する場合においても、鮮明度の補正を行うことができる。以下、輻輳角を固定し、光軸１３０ａ、１３０ｂが所定の点で交わる場合について説明する。
【００６８】
図９および図１０は、輻輳角を固定とする場合の映像データにおける主被写体１６０と視差との関係を説明するための説明図である。ここでは理解を容易にするため、主被写体１６０が撮像部１１０ａ、１１０ｂの結線の垂直二等分線上の任意の位置にあるとする。輻輳角を固定とすると、図９（ａ）に示すように、主被写体１６０が輻輳点Ｍより撮像部１１０ａ、１１０ｂに近い場合、図９（ｂ）に示すように、主被写体１６０は、左眼用映像データでは主被写体１６０が水平方向中央の垂直線１０より右側に、右眼用映像データでは中心線２１０より左側に変位する。逆に、図１０（ａ）に示すように、主被写体１６０が輻輳点Ｍより撮像部１１０ａ、１１０ｂに遠い場合、図１０（ｂ）に示すように、主被写体１６０は、左眼用映像データでは中心線２１０より左側に、右眼用映像データでは中心線２１０より右側に変位することになる。したがって、輻輳角が固定されている場合、主被写体１６０は、撮像部１１０ａ、１１０ｂとの主被写体距離に応じて図９（ｂ）や図１０（ｂ）に示すような視差を有することになる。かかる視差は、輻輳角と主被写体距離とから以下のように導出することができる。
【００６９】
図９に示すように、主被写体１６０が輻輳点Ｍより撮像部１１０ａ、１１０ｂに近い場合、撮像部１１０ａの画角∠ＡＢＣの二等分線は、輻輳点Ｍを通る直線ＢＭであり、∠ＭＢＣは画角∠ＡＢＣの半分の角度となる。ここでは、輻輳角が固定のため輻輳点Ｍも固定となる。∠ＭＢＤは、以下の数式（１）で導出される。
∠ＭＢＤ＝ａｒｃｔａｎ（線分ＭＤ／線分ＢＤ） …（数式１）
ここで、線分ＢＤは撮像部１１０ａ、１１０ｂの間の距離の半分であり、線分ＭＤは輻輳角と線分ＢＤからＢＤ／ｔａｎ（輻輳角／２）で特定できる。また、∠ＥＢＤは、以下の数式（２）で導出される。
∠ＥＢＤ＝ａｒｃｔａｎ（線分ＥＤ／線分ＢＤ） …（数式２）
ここで線分ＥＤは取得された主被写体距離である。この∠ＭＢＤから∠ＥＢＤを減算することで、∠ＭＢＥが導出される。
∠ＭＢＥ＝∠ＭＢＤ−∠ＥＢＤ …（数式３）
【００７０】
ここで、左眼用映像データの水平方向中央の垂直線２１０を水平座標０とし、右側の画素程、水平座標が増加、左側の画素程、水平座標が減少するものとし、右端の水平座標をｇ、左端の水平座標を−ｇとする。左眼用映像データの主被写体１６０の水平座標ａは、∠ＭＢＥを用いて以下の数式（４）で導出される。
ａ＝ｇ×（∠ＭＢＥ／∠ＭＢＣ） …（数式４）
【００７１】
また、ここでは、主被写体１６０が撮像部１１０ａ、１１０ｂの結線の垂直二等分線上にあるので、右眼用映像データの主被写体１６０の水平座標は、左眼用映像データの主被写体１６０の水平座標ａと大きさが同じで符号が逆の値−ａとなる。したがって、主被写体１６０の視差は、ａ−（−ａ）＝２ａで表すことができる。
【００７２】
同様に、図１０（ａ）に示すように、輻輳点Ｍより主被写体１６０が撮像部１１０ａ、１１０ｂから遠い場合、撮像部１１０ａの画角∠ＡＢＣの二等分線は直線ＢＭであり、∠ＡＢＭは画角の半分の角度となる。また、∠ＥＢＤは、上述した数式（２）と同じ式で導出される。そして、∠ＥＢＤから∠ＭＢＤを減算することで、∠ＭＢＥが導出される。
∠ＭＢＥ＝∠ＥＢＤ−∠ＭＢＤ …（数式５）
【００７３】
図９を用いて説明した輻輳点Ｍより主被写体１６０が近い場合と同様に水平座標を定義すると、左眼用映像データの主被写体１６０の水平座標ａは、∠ＭＢＥを用いて以下の数式（６）で導出される。
ａ＝−ｇ×（∠ＭＢＥ／∠ＡＢＭ） …（数式６）
【００７４】
ここでも、右眼用映像データの主被写体１６０の水平座標は、左眼用映像データの主被写体１６０の水平座標ａと大きさが同じで符号が逆の値−ａとなるので、主被写体１６０の視差は、ａ−（−ａ）＝２ａで表すことができる。
【００７５】
そして、距離取得部１７２は、準被写体それぞれの視差から、上述した数式を通じて導出された主被写体１６０の視差２ａを減算し、主被写体１６０の視差２ａを相殺して、準被写体と主被写体１６０との視差の差を導出する。映像補正部１７４は、主被写体１６０の視差２ａが減算された視差に基づいて主被写体１６０および準被写体の鮮明度を補正する。
【００７６】
このように、立体映像撮像装置１００は、輻輳角を固定した撮像であっても、主被写体１６０や相対距離が略０の準被写体の鮮明度を強く、主被写体１６０から撮像方向の前後に離れ相対距離の絶対値が大きくなると鮮明度を弱くすることができる。
【００７７】
また、輻輳角を制御しつつ、表示面とは異なる、表示面の前後の任意の位置に主被写体１６０が結像されるように撮像する場合であっても、距離取得部１７２が、輻輳角と主被写体距離とを取得し主被写体１６０の視差を随時導出することで、本実施形態の鮮明度補正処理を実現することができる。
【００７８】
また、距離取得部１７２は、上述した輻輳角や主被写体距離を用いず、単に、ビューファインダ１１４に表示されている映像データから、撮像者が操作部１１２を通じて指定した被写体を主被写体１６０として特定し、主被写体１６０の視差と主被写体１６０以外の被写体である準被写体の視差との差を導出することでも、本実施形態の鮮明度補正処理を実現することができる。
【００７９】
主被写体１６０や準被写体は、それぞれ撮像部１１０との距離に応じて視差が生じる。その個々の撮像部１１０ａ、１１０ｂとの距離は、輻輳角が既知でなければ映像データから把握することができない。しかし、ここで必要なのは、主被写体１６０と準被写体との相対距離であり、相対距離は、主被写体１６０の視差と準被写体の視差との差から簡易的に求めることができるので、撮像者に指定された主被写体１６０の視差を基準に、他の準被写体の視差との差である相対距離を導出すれば、鮮明度を補正することができる。そのため、オートフォーカスや赤外線センサー等を用いた測定機構が設けられていない場合においても、本実施形態の目的を達成することが可能となる。
【００８０】
さらに、輻輳角の調整は、撮像制御部１７０が実際に撮像レンズ１５４ａ、１５４ｂと撮像素子１５６ａ、１５６ｂとを駆動させる構成に限らず、撮像部１１０ａ、１１０ｂの光軸１３０ａ、１３０ｂを固定し、映像処理によって行うこともできる。
【００８１】
映像切出部１７８は、撮像素子１５６から取得する映像データの切出範囲を変更させ、擬似的に輻輳角を調整してもよい。ただし、撮像素子１５６は、最終的に出力する映像データよりも、水平方向の画素数が多いこととする。
【００８２】
図１１および図１２は、映像処理による輻輳角の調整を説明するための説明図である。ここでは、撮像部１１０ａ、１１０ｂがそれぞれ調整画角∠ＡＢＣ、∠ＤＥＦの撮像能力を有し、その調整画角∠ＡＢＣ、∠ＤＥＦから任意の切り出し画角∠Ａ’ＢＣ’、∠Ｄ’ＥＦ’を切り出す処理を行う。
【００８３】
例えば、輻輳点を無限遠とすることを試みた場合、映像切出部１７８は、図１１（ｂ）に示す左眼用映像データに関して、調整画角∠ＡＢＣを撮像した映像データ２２０ａから映像データ２２２ａを切り出す。すると、切り出した映像データ２２２ａは、図１１（ａ）の切り出し画角∠Ａ’ＢＣ’に相当することとなり、その映像データ２２２ａの水平方向中央の垂直線２２４ａが図１１（ａ）の撮像方向２２６ａとなる。こうして、切り出した映像データ２２０ａは、光軸が立体映像撮像装置１００に垂直な、画角∠Ａ’ＢＣ’の撮像部で撮像した映像データと等しくなる。
【００８４】
また、右眼用映像データにおいても、調整画角∠ＤＥＦを撮像した映像データ２２０ｂから映像データ２２２ｂを切り出すので、切り出した映像データ２２２ｂは、図１１（ａ）の切り出し画角∠Ｄ’ＥＦ’に相当することとなり、その映像データ２２２ｂの水平方向中央の垂直線２２４ｂが図１１（ａ）の撮像方向２２６ｂとなる。切り出した映像データ２２２ｂは、光軸が立体映像撮像装置１００に垂直な、画角∠Ｄ’ＥＦ’の撮像部で撮像した映像データと等しくなる。こうして、両光軸が無限遠に向かって平行となる映像データ２２０ａ、２２０ｂを得ることができる。
【００８５】
また、輻輳点を撮像部１１０ａ、１１０ｂに近づける場合、映像切出部１７８は、図１２（ｂ）に示す左眼用映像データに関して、調整画角∠ＡＢＣを撮像した映像データ２２０ａから映像データ２２２ａを切り出す。すると、切り出した映像データ２２２ａは、図１２（ａ）の切り出し画角∠Ａ’ＢＣ’に相当することとなり、その映像データ２２０ａの水平方向中央の垂直線２２４ａが図１２（ａ）の撮像方向２２６ａとなる。また、右眼用映像データにおいても、図１２（ｃ）に示す同様な処理を施すことで、その映像データ２２０ｂの水平方向中央の垂直線２２４ｂが図１２（ａ）の撮像方向２２６ｂとなる。こうして、切り出した映像データ２２０ａと映像データ２２０ｂとの中央線２２４ａ、２２４ｂで示される疑似的な光軸（撮像方向２２６ａ、２２６ｂ）が図１２（ａ）の如く、輻輳点Ｍで交差し、輻輳角∠ＢＭＥの映像データ２２０ａ、２２０ｂを得ることができる。
【００８６】
このように、映像切出部１７８が映像データの切出範囲を変更させ、擬似的に輻輳角を調整することで、立体映像撮像装置１００は、撮像部１１０ａ、１１０ｂを実際に駆動させて輻輳角を調整する機構を搭載する必要が無くなり、部品点数を削減し安価に製造できる。
【００８７】
また、上述した立体映像撮像装置１００では、視差の導出から鮮明度の補正までを画一的に実行しているが、かかる場合に限らず、立体映像撮像装置１００において、視差の導出までを行い、立体映像表示装置１６４において、鮮明度の補正を行うこととしてもよい。
【００８８】
この場合、距離取得部１７２は、導出した視差を外部出力部１２４に出力し、外部出力部１２４は、視差と、立体映像データとを、それぞれ立体映像表示装置１６４に出力する。このとき、外部出力部１２４は、視差と立体映像データとの同期をとるため、例えば、それぞれに同期のための識別子を付加したり、視差と立体映像データとが対応するように、一つのストリームとしてまとめて出力したりすることができる。
【００８９】
立体映像表示装置１６４は、立体映像撮像装置１００で出力された立体映像データと視差とを取得すると、立体映像データの鮮明度を視差に基づいて補正し、立体映像における所定の表示方式に変換して表示する。この場合、視聴者は、立体映像の鑑賞時に、基準となる主被写体１６０の指定を変更することで、鮮明度の補正の度合いを調整できる。
【００９０】
以上、上述したように、本実施形態の立体映像撮像装置１００は、視聴者が自然な立体映像を知覚することができる立体映像データを生成することが可能となる。
【００９１】
（立体映像撮像方法）
さらに、上述した立体映像撮像装置１００を用いた立体映像撮像方法も提供される。図１３は、第１の実施形態における立体映像撮像方法の処理の流れを示すフローチャートである。
【００９２】
撮像者が操作部１１２を通じて撮像を指示すると（Ｓ２６０のＹＥＳ）、撮像部１１０ａ、１１０ｂが映像データを生成し（Ｓ２６２）、距離取得部１７２は、例えば、距離測定部１１６を通じて主被写体距離を取得する（Ｓ２６４）。そして、撮像制御部１７０は、撮像部１１０ａ、１１０ｂの結線の垂直二等分線上の主被写体距離の位置に輻輳点が重なるように輻輳角を調整する（Ｓ２６６）。
【００９３】
距離取得部１７２は、映像データのうち、左眼用映像データから１のブロックを選択し（Ｓ２６８）、そのブロックにおける画素の輝度の最大値と最小値との差分が所定閾値以下であるか否かを判定する（Ｓ２７０）。所定値以下である場合（Ｓ２７０のＹＥＳ）、ブロック選択ステップ（Ｓ２６８）に戻る。所定値より大きい場合（Ｓ２７０のＮＯ）、距離取得部１７２は、左眼用映像データのブロックと垂直方向の座標が等しい、右眼用映像データのブロックと比較し、輝度が最も近いブロックと比較元のブロックとの視差（動きベクトル）を導出し、左眼用映像データのブロックに関連付ける（Ｓ２７２）。
【００９４】
続いて、距離取得部１７２は、左眼用映像データのうち、まだ抽出を行っていないブロックがあるか否かを判断し（Ｓ２７４）、まだ抽出を行っていないブロックがあれば（Ｓ２７４のＮＯ）、ブロック選択ステップ（Ｓ２６８）に戻って、同様の処理を繰り返す。
【００９５】
左眼用映像データのすべてのブロックについて抽出処理を終えると（Ｓ２７４のＹＥＳ）、距離取得部１７２は、右眼用映像データから１のブロックを選択し（Ｓ２７６）、そのブロックにおける画素の輝度の最大値と最小値との差分が所定閾値以下であるか否かを判定する（Ｓ２７８）。所定値以下である場合（Ｓ２７８のＹＥＳ）、ブロック選択ステップ（Ｓ２７６）に戻る。所定値より大きい場合（Ｓ２７８のＮＯ）、距離取得部１７２は、右眼用映像データのブロックと垂直方向の座標が等しい、左眼用映像データのブロックと比較し、輝度が最も近いブロックと比較元のブロックとの視差（動きベクトル）を導出し、右眼用映像データのブロックに関連付ける（Ｓ２８０）。
【００９６】
そして、距離取得部１７２は、右眼用映像データのうち、まだ抽出を行っていないブロックがあるか否かを判断し（Ｓ２８２）、まだ抽出を行っていないブロックがあれば（Ｓ２８２のＮＯ）、ブロック選択ステップ（Ｓ２７６）に戻って、同様の処理を繰り返す。
【００９７】
そして、距離取得部１７２は、隣接する画素間で割り当てられた視差の変化を抑えるように、割り当てられた視差を補正（平滑化）する（Ｓ２８４）。
【００９８】
映像補正部１７４は、画素毎に、割り当てられた視差（相対距離）に基づいて、主被写体１６０および準被写体のいずれか一方または両方の鮮明度を変更する補正処理を行う（Ｓ２８６）。そして、映像併合部１２０は、映像データを、立体映像における所定の収録方式で合成し、立体映像データを生成し（Ｓ２８８）、映像圧縮部１２２は、立体映像データを、所定の符号化方式で符号化した符号データとし（Ｓ２９０）、任意の記憶媒体１６２に記憶させる（Ｓ２９２）。
【００９９】
上述したように、立体映像撮像装置１００を用いた立体映像撮像方法によれば、視聴者が自然な立体映像を知覚することができる立体映像データを生成することが可能となる。
【０１００】
（第２の実施形態：立体映像処理装置３００）
上述した第１の実施形態では、立体映像撮像装置１００は、撮像時において、視差に応じた鮮明度の補正処理を行っていた。第２の実施形態では、再生時において、鮮明度の補正処理を行う立体映像処理装置３００について説明する。なお、上述した立体映像撮像装置１００と実質的に等しい構成要素については、同一の符号を付して説明を省略する。
【０１０１】
図１４は、第２の実施形態における立体映像処理装置３００の概略的な構成を示した機能ブロック図である。立体映像処理装置３００は、映像取得部３１０と、操作部１１２と、映像復号部３２２と、表示部３２４と、中央制御部３２６とを含んで構成される。なお、上述した第１の実施形態と実質的に等しい構成要素については、同一の符号を付して説明を省略し、ここでは、構成が相違する映像取得部３１０、映像復号部３２２、中央制御部３２６を主に説明する。
【０１０２】
映像取得部３１０は、両眼視差による立体映像を知覚させるための立体映像データが符号化された符号データを立体映像撮像装置から取得する。映像復号部３２２は、符号データを復号し立体映像データに変換する。
【０１０３】
中央制御部３２６は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、立体映像処理装置３００全体を管理および制御する。また、中央制御部３２６は、距離取得部１７２、映像補正部１７４、輝度差分導出部１７６、映像切出部１７８、表示制御部３８０としても機能する。
【０１０４】
本実施形態の立体映像処理装置３００が、立体映像データを生成可能な撮像装置から立体映像データを取得すると、立体映像撮像装置１００と同様、距離取得部１７２は、立体映像データに含まれる主被写体１６０と立体映像データを生成した撮像部との距離と、主被写体１６０以外の被写体である準被写体と撮像部１１０との距離との差である相対距離を取得し、映像補正部１７４は、相対距離に基づいて、主被写体１６０および準被写体のいずれか一方または両方の鮮明度を変更する。表示制御部３８０は、立体映像データを立体映像における所定の表示方式に変換し、液晶ディスプレイ、有機ＥＬディスプレイ等で構成され、偏光特性が１ライン毎に異なるように形成された表示部３２４に表示させる。
【０１０５】
例えば、立体映像データを生成した立体映像撮像装置の被写界深度が深い場合であっても、立体映像処理装置３００を用いることで、主被写体１６０を直接視認するときと同じように被写界深度が人の眼と同等となる立体映像として鑑賞できる。また、主被写体１６０や準被写体の視差を略０とする場合、それ以外の物体をぼかして表示することで、立体映像を鑑賞するのに必要となる眼鏡が無い場合でも、相対距離０の準被写体を自然な平面映像として見る事ができる。
【０１０６】
また、本実施形態の立体映像処理装置３００によれば、予め生成された立体映像データについて、事後的に、鮮明度の補正を行うことが可能となり、視聴者は、例えば、立体映像の鑑賞時に鮮明度の補正の度合いを調整できる。
【０１０７】
（第３の実施形態：立体映像撮像装置４００）
上述した第１の実施形態では、１つの視点から知覚される立体映像を鑑賞できる映像データを生成する立体映像撮像装置１００について説明した。第３の実施形態では、複数の視点から知覚される立体映像撮像装置４００について説明する。なお、上述した立体映像撮像装置１００と実質的に等しい構成要素については、同一の符号を付して説明を省略する。
【０１０８】
図１５は、第３の実施形態における立体映像撮像装置４００を説明するための説明図である。立体映像撮像装置４００は、立体映像撮像装置１００と実質的に等しい構成であるが、撮像部１１０ａ、１１０ｂに加えて、撮像部１１０ｃをさらに備える。ここでは、理解を容易にするため、撮像部が３つの例を挙げて説明する。
【０１０９】
３つの撮像部１１０ａ、１１０ｂ、１１０ｃは、それぞれの光軸１３０ａ、１３０ｂ、１３０ｃが略平行または撮像方向で交わり、撮像者が立体映像撮像装置１００の本体１３２を水平に把持した際に、それぞれの光軸１３０ａ、１３０ｂ、１３０ｃが同じ水平面に存在するように配置される。
【０１１０】
例えば、撮像部１１０ａと撮像部１１０ｂとの間に配された距離測定部１１６が主被写体距離を測定すると、撮像制御部１７０は、主被写体距離に応じて輻輳角を調整する。撮像制御部１７０は、撮像部１１０ａ、１１０ｂを第１の実施形態同様、撮像部１１０ａ、１１０ｂの結線の垂直二等分線上の主被写体距離の位置に輻輳点が重なるように輻輳角を調整する。また、撮像部１１０ｃについて、撮像制御部１７０は、光軸１３０ｃが撮像部１１０ａ、１１０ｂの輻輳点を通過するように撮像部１１０ｃの撮像レンズおよび撮像素子を調整する。
【０１１１】
立体映像撮像装置４００は、撮像者が操作部１１２を通じて選択した撮像部１１０の組（ここでは、撮像部１１０ａ、１１０ｂ、または撮像部１１０ｂ、１１０ｃ）のうち、左側に位置する方が生成した映像データを左眼用映像データとし、右側に位置する撮像部１１０が生成した映像データを右眼用映像データとして、上述した立体映像撮像装置１００と同様、鮮明度の補正処理を行う。
【０１１２】
このような立体映像撮像装置４００を用いて生成した立体映像データの立体映像を視認する場合、撮像者は、撮像部１１０ａと撮像部１１０ｂとの組み合わせ、または撮像部１１０ｂと撮像部１１０ｃとの組み合わせの二つの視点から所望する視点を自由に選択でき、特に、近景を撮像する場合、視点の組み合わせによって大きく異なる二つの立体映像を楽しむことができる。
【０１１３】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１１４】
なお、本明細書の立体映像撮像方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１１５】
本発明は、複数の撮像部が生成した映像データを用いて立体映像を知覚させる立体映像データを生成する立体映像撮像装置、立体映像処理装置および立体映像撮像方法に利用することができる。
【符号の説明】
【０１１６】
１００、４００ …立体映像撮像装置
１１０（１１０ａ、１１０ｂ、１１０ｃ） …撮像部
１３０ａ、１３０ｂ …光軸
１７２、３７２ …距離取得部
１７４、３７４ …映像補正部
１７６ …輝度差分導出部
１７８ …映像切出部
３００ …立体映像処理装置
３１０ …映像取得部
【技術分野】
【０００１】
本発明は、複数の撮像部で生成された映像データを用いて立体映像を知覚させる立体映像データを生成する立体映像撮像装置、立体映像処理装置および立体映像撮像方法に関する。
【背景技術】
【０００２】
近年、ディスプレイ上に、水平視差（両眼視差）を有する２つの映像を提示し、観察者に対してあたかも被写体が立体的に存在するように知覚させる映像（立体映像）の技術が脚光を浴びている。かかる技術で用いられる２つの映像は、視点の異なる２つの撮像部で撮像された映像である。
【０００３】
この２つの撮像部が成す輻輳角を、装置から撮像目的とする被写体までの被写体距離に応じて調整し、物体を輻輳点の位置で撮像する立体映像撮像装置が提案されている（例えば、特許文献１）。また、被写体距離に応じて映像データの一部を切り出し、電子的に輻輳角を制御する技術も提案されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特公平６−６６９６７号公報
【特許文献２】特開平７−９５６２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、撮像装置は、携帯性を高めたいという撮像者の要望に応じ小型化および軽量化が進められ、それに伴ってレンズや撮像素子も小さくなっている。しかし、レンズや撮像素子の小型化は、被写界深度の深さに大きく影響を及ぼす。例えば、レンズの小型化により被写界深度が深くなった場合、撮像装置において、焦点が合う範囲が広くなり、撮像者の撮像目的である被写体（主被写体）以外の前後にある物や背景といった被写体（準被写体）まで焦点が合っている映像データが生成されてしまう。
【０００６】
これは、上述した特許文献１、２に示すような立体映像撮像装置を用いた場合であっても同様のことが言え、人間が直接被写体を視認する場合と撮像部を通じて被写体を撮像する場合とで焦点の合い方が異なることとなる。このような映像データでは、視聴者は、本来知覚しなくてもよいはずの撮像目的である被写体以外の物や背景といった被写体まで視認してしまい、特に、立体映像の場合は平面的な映像（平面映像）よりも処理する視覚情報が多いため、長時間の視認によって眼が疲労してしまう。
【０００７】
そこで本発明は、このような課題に鑑み、視聴者が自然な立体映像を知覚することができる立体映像データを生成可能な、立体映像撮像装置、立体映像処理装置および立体映像撮像方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の立体映像撮像装置は、それぞれの光軸が略平行または撮像方向で交わる位置に配され、それぞれにおいて映像データを生成する複数の撮像部と、映像データに含まれる被写体のうち、撮像目的の被写体である主被写体と撮像部との距離と、主被写体以外の被写体である準被写体と撮像部との距離との差である相対距離を取得する距離取得部と、相対距離に基づいて、主被写体および準被写体のいずれか一方または両方の鮮明度を変更する映像補正部と、を備えることを特徴とする。
【０００９】
上記距離取得部は、複数の撮像部で撮像された映像データ間で主被写体の視差と準被写体の視差を検出し、検出した主被写体の視差と準被写体の視差との差を相対距離としてもよい。
【００１０】
上記距離取得部は、フレームデータ間の同一の被写体を特定する動きベクトル検出を用いて複数の撮像部それぞれが生成した映像データ間の被写体の視差を導出し、動きベクトル検出は水平方向のみを対象としてもよい。
【００１１】
上記映像補正部は、相対距離が略０の場合、準被写体の鮮明度を最大とし、相対距離が大きくなるにつれて準被写体の鮮明度を小さくしてもよい。
【００１２】
上記映像補正部は、鮮明度に、被写界深度に応じた係数を乗じてもよい。
【００１３】
上記立体映像撮像装置は、映像データを所定のブロックに分割し、分割したブロックにおける画素の輝度の最大値と最小値との差分を導出する輝度差分導出部をさらに備え、映像補正部は、差分が所定閾値以下の場合、差分が所定閾値以下となるブロックの画素については、鮮明度の補正を行わなくてもよい。
【００１４】
上記距離取得部は、映像データを所定のブロックに分割し、分割したブロック毎に、同一の被写体を示すブロック間の視差を導出し、導出した視差をブロック内の各画素に割り当てた後、隣接する画素間で割り当てられた視差の変化を抑えるように、割り当てられた視差を補正してもよい。
【００１５】
上記課題を解決するために、本発明の立体映像処理装置は、両眼視差による立体映像を知覚させるための立体映像データを取得する映像取得部と、立体映像データに含まれる被写体のうち、撮像目的の被写体である主被写体と立体映像データを生成した撮像部との距離と、主被写体以外の被写体である準被写体と撮像部との距離との差である相対距離を取得する距離取得部と、相対距離に基づいて、主被写体および準被写体のいずれか一方または両方の鮮明度を変更する映像補正部と、を備えることを特徴とする。
【００１６】
上記課題を解決するために、本発明の立体映像撮像方法は、立体映像を生成するために、それぞれの光軸が略平行または撮像方向で交わる位置に配された複数の撮像部により、映像データを生成し、映像データに含まれる被写体のうち、撮像目的の被写体である主被写体と撮像部との距離と、主被写体以外の被写体である準被写体と撮像部との距離との差である相対距離を取得し、相対距離に基づいて、主被写体および準被写体のいずれか一方または両方の鮮明度を変更することを特徴とする。
【発明の効果】
【００１７】
以上説明したように本発明は、視聴者が自然な立体映像を知覚することができる立体映像データを生成することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態における立体映像撮像装置の概略的な機能を示した機能ブロック図である。
【図２】立体映像撮像装置の一例を示した外観図である。
【図３】主被写体距離の測定を説明するための説明図である。
【図４】相対距離および視差を説明するための説明図である。
【図５】距離取得部の動きベクトル検出を説明するための説明図である。
【図６】視差の補正を説明するための説明図である。
【図７】相対距離として用いる視差と、鮮明度との対応例を説明するための説明図である。
【図８】鮮明度の補正を説明するための説明図である。
【図９】輻輳角を固定とする場合の映像データにおける主被写体と視差との関係を説明するための説明図である。
【図１０】輻輳角を固定とする場合の映像データにおける主被写体と視差との関係を説明するための説明図である。
【図１１】映像処理による輻輳角の調整を説明するための説明図である。
【図１２】映像処理による輻輳角の調整を説明するための説明図である。
【図１３】第１の実施形態における立体映像撮像方法の処理の流れを示すフローチャートである。
【図１４】第２の実施形態における立体映像撮像装置の概略的な構成を示した機能ブロック図である。
【図１５】第３の実施形態における立体映像撮像装置を説明するための説明図である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２０】
（第１の実施形態：立体映像撮像装置１００）
図１は、第１の実施形態における立体映像撮像装置１００の概略的な機能を示した機能ブロック図であり、図２は、立体映像撮像装置１００の一例を示した外観図である。図１に示すように、立体映像撮像装置１００は、撮像部１１０（図中、１１０ａ、１１０ｂで示す）と、操作部１１２と、ビューファインダ１１４と、距離測定部１１６と、映像処理部１１８と、映像併合部１２０と、映像圧縮部１２２と、外部出力部１２４と、中央制御部１２６とを含んで構成される。ここでは、立体映像撮像装置１００としてビデオカメラを挙げているが、デジタルスチルカメラ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、撮像が可能な様々な電子機器を採用することができる。
【００２１】
撮像部１１０は、図２に示すように、それぞれの光軸１３０ａ、１３０ｂが略平行または撮像方向で交わり、撮像者が立体映像撮像装置１００の本体１３２を水平に把持した際に、その光軸１３０ａ、１３０ｂが同じ水平面に存在するように配置される２つの撮像部１１０ａ、１１０ｂで構成される。
【００２２】
撮像部１１０は、焦点調整に用いられるフォーカスレンズ１５０と、露光調整に用いられる絞り（アイリス）１５２と、撮像レンズ１５４（図中、１５４ａ、１５４ｂで示す）を通じて入射した光を光電変換し映像データにＡ／Ｄ変換する撮像素子１５６（図中、１５６ａ、１５６ｂで示す）と、フォーカスレンズ１５０、絞り１５２、撮像レンズ１５４および撮像素子１５６を駆動させる駆動回路１５８とを含んで構成され、それぞれの撮像部１１０ａ、１１０ｂにおいて映像データを生成する。映像データは、撮像部１１０ａが生成する、観察者の左眼に知覚させるための左眼用映像データと、撮像部１１０ｂが生成する、観察者の右眼に知覚させるための右眼用映像データとで構成され、動画および静止画のいずれでも形成可能である。
【００２３】
操作部１１２は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック、後述するビューファインダ１１４の表示面に配されたタッチパネル等のスイッチから構成され、撮像者の操作入力を受け付ける。
【００２４】
ビューファインダ１１４は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、映像処理部１１８が出力した映像データや、操作部１１２と連動した撮像状態を示す情報をＯＳＤ（On-Screen Display）として表示する。撮像者は、操作部１１２を操作することで、被写体を所望する位置および占有面積で捉えることが可能となる。
【００２５】
距離測定部１１６は、立体映像撮像装置１００自体、特に撮像部１１０と、被写体のうち撮像目的の被写体である主被写体との距離（以下、主被写体距離と称する）を測定する。主被写体距離は、後述する撮像制御部１７０が輻輳角を調整する際に用いられる。
【００２６】
ここで、主被写体は、ユーザが主に撮像を所望する被写体であって、例えば、撮像者による操作部１１２への操作入力に応じて、フォーカスを合わせたりすることで特定される。
【００２７】
図３は、主被写体距離の測定を説明するための説明図である。図３（ａ）に示すように、距離測定部１１６は、主被写体１６０に赤外線を照射し、その赤外線の反射に費やす時間（ＴＯＦ：Time Of Flight）を測定することで、撮像部１１０と主被写体１６０との距離を測定する。また、図３（ｂ）に示すように、立体映像撮像装置１００の正面に主被写体１６０が位置しない場合であっても、赤外線の照射角が予め広く設定されているので主被写体１６０からの反射光を受光し、図３（ａ）同様、主被写体距離を測定することができる。
【００２８】
複数の被写体が認識される場合、距離測定部１１６は、例えば、最も近くにある被写体を、撮像目的の主被写体１６０として主被写体距離を測定したり、所定の距離範囲にある被写体をすべて主被写体１６０として、それぞれの主被写体１６０との距離の平均値を主被写体距離としたりする。
【００２９】
また、フォーカスレンズ１５０の位置と主被写体距離とが対応しているので、距離測定部１１６は、駆動回路１５８を通じてフォーカスレンズ１５０の位置の情報である合焦情報を取得し、合焦情報に基づいて主被写体距離を求めてもよい。
【００３０】
映像処理部１１８は、撮像部１１０で生成された映像データに対して、Ｒ（Red）Ｇ（Green）Ｂ（Blue）処理（映像データからＲＧＢ信号への変換、γ補正、色補正等）、エンハンス処理、ノイズ低減処理、ホワイトバランス調整処理等の映像信号処理を行う。ここで復調されたＹ色差信号は、後述する動きベクトル検出で用いられる。また、映像処理部１１８が行うホワイトバランス調整や撮像制御部１７０が行うアイリス調整は、色合い、明るさ等が右眼用映像データと左眼用映像データとで異ならないように同じ調整値を用いる。
【００３１】
映像併合部１２０は、後述する映像補正部１７０が鮮明度を補正した映像データ（右眼用映像データと左眼用映像データ）を、サイドバイサイド方式、トップアンドボトム方式、およびフレームシーケンシャル方式等の、立体映像における所定の収録方式で併合し、立体映像データを生成する。
【００３２】
映像圧縮部１２２は、立体映像データを、Ｍ−ＪＰＥＧ（Motion-JPEG）やＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４などの所定の符号化方式で符号化した符号データとし、任意の記憶媒体１６２に記憶させる。任意の記憶媒体１６２としては、ＤＶＤ（Digital Versatile Disk）やＢＤ（Blu-ray Disc）といった光ディスク媒体や、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等の媒体を適用することができる。なお、ＨＤＤは正確には装置であるが、便宜上、本説明では他の記憶媒体と同義として扱う。
【００３３】
外部出力部１２４は、立体映像データをラインシーケンシャル方式、フレームシーケンシャル方式等の、立体映像における所定の表示方式のデータである立体表示データに変換し、立体映像撮像装置１００に接続された立体映像表示装置１６４に出力する。立体映像表示装置１６４は、ビューファインダ１１４同様、液晶ディスプレイ、有機ＥＬディスプレイ等で構成され、例えば、偏光特性が１ライン毎に異なるように形成されており、立体表示データを表示する。視聴者は、立体映像表示装置１６４に表示された立体表示データを左右で偏光特性が異なる眼鏡を通じて視認することで、立体映像を鑑賞することができる。
【００３４】
また、外部出力部１２４は、通信に適した信号圧縮、および誤り訂正符号の付加等を行った符号データを、例えば、インターネット、ＬＡＮ（Local Area Network）、携帯電話やＰＨＳ等の携帯機器の専用回線等の通信網を介して、立体映像表示装置１６４に出力してもよい。
【００３５】
中央制御部１２６は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、立体映像撮像装置１００全体を管理および制御する。また、本実施形態において、中央制御部１２６は、撮像制御部１７０、距離取得部１７２、映像補正部１７４、輝度差分導出部１７６、映像切出部１７８としても機能する。
【００３６】
撮像制御部１７０は、主被写体１６０に対して、焦点調整や露光調整等の撮像を制御する。具体的に、撮像制御部１７０は、撮像を制御するための制御指令を撮像部１２０の駆動回路１５８に伝達し、駆動回路１５８は、撮像制御部１７０からの制御指令に従って、フォーカスレンズ１５０や絞り１５２を調整する。
【００３７】
このとき、撮像制御部１７０は、例えば、右眼用映像データおよび左眼用映像データそれぞれの中央部の所定の領域をフォーカス調整に用いるフォーカス検出領域とし、この領域の映像データの高周波成分やコントラストが最大となるように、フォーカスレンズ１５０を調整してもよい。
【００３８】
さらに、撮像制御部１７０は、撮像部１１０ａ、１１０ｂの結線（撮像部１１０ａ、１１０ｂの物側主点を結ぶ線）の垂直二等分線上の主被写体距離の位置に輻輳点が重なるように輻輳角を調整する（トーインセッティング）。撮像制御部１７０は、主被写体距離と撮像素子１５６ａ、１５６ｂ間の距離から輻輳角を導出し、その輻輳角となるように、駆動回路１５８を通じて、撮像レンズ１５４ａ、１５４ｂと撮像素子１５６ａ、１５６ｂとを駆動させる。このとき、撮像レンズ１５４ａと撮像素子１５６ａ、および撮像レンズ１５４ｂと撮像素子１５６ｂとは撮像制御部１７０の制御に従って連動する。また、撮像レンズ１５４ａ、１５４ｂは、左右対称に同角度回動する（左右対称に光軸１３０ａ、１３０ｂを交差させる）ことで輻輳角を調整している。
【００３９】
また、輻輳角の調整は、例えば、撮像者が個々に入力した値（輻輳角、主被写体距離等）に基づいて行われてもよい。
【００４０】
距離取得部１７２は、映像データに含まれる被写体のうち、撮像目的の被写体である主被写体１６０と撮像部１１０との距離（主被写体距離）と、主被写体１６０以外の被写体である準被写体と撮像部１１０との距離との差である相対距離を取得する。後述する映像補正部１７４は、この相対距離に基づいて鮮明度を補正する。
【００４１】
相対距離は、主被写体１６０と、主被写体１６０以外の被写体である準被写体との撮像方向の距離なので、撮像部１１０ａ、１１０ｂでそれぞれ撮像される映像データにおいて検出される主被写体１６０の視差と準被写体の視差との差で表すこともできる。距離取得部１７２は、撮像部１１０ａ、１１０ｂで撮像された映像データ間で主被写体１６０の視差と準被写体の視差を検出し、検出した主被写体１６０の視差と準被写体の視差との差を相対距離とする。本実施形態において、主被写体１６０の視差は、撮像部１１０により撮像された映像データ間で検出される主被写体１６０の視差であり、準被写体の視差は、撮像部１１０により撮像された映像データ間で検出される準被写体の視差であり、以下、それぞれ単に主被写体１６０の視差、準被写体の視差と称する。
【００４２】
このとき計算を容易にするため、主被写体１６０自体も相対距離０（ゼロ）で表す。ただし、本実施形態においては、主被写体１６０が輻輳点となるように、すなわち、主被写体１６０の視差が略０となるように輻輳角を調整しているため、距離取得部１７２は、相対距離として、撮像部１１０ａ、１１０ｂそれぞれが生成した映像データ間で検出される準被写体の視差を取得（導出）すればよい。
【００４３】
図４は、相対距離および視差を説明するための説明図である。撮像制御部１７０は、主被写体１６０の位置に応じて輻輳角を調整する。そうすると図４（ａ）に示す各撮像レンズ１５４ａ、１５４ｂそれぞれの画角∠ＡＢＣ、∠ＤＥＦには主被写体１６０以外の被写体である準被写体も入ってくる。このとき、右眼用映像データ、左眼用映像データそれぞれにおける主被写体１６０の位置は、図４（ｂ）に示すように画面中央となる。
【００４４】
このような輻輳角が主被写体１６０の位置に応じて調整された状態で、撮像部１１０との距離が主被写体１６０と同じ主被写体距離となる準被写体１８４ａは、相対距離が０であり、右眼用映像データと左眼用映像データにおいて視差０で表わされる。一方、主被写体１６０よりも相対的に近くにある準被写体１８４ｂは左眼用映像データでは右端であるのに対し、右眼用映像データでは矢印１８６ａに示すように中央よりとなる。また、主被写体１６０より相対的に遠くにある準被写体１８４ｃは、左眼用映像データでは左端であるのに対し、右眼用映像データでは矢印１８６ｂに示すように中央よりとなる。準被写体１８４ｄは、主被写体１６０よりも相対的に遠く、左眼用映像データでは右側に位置するが、右眼用映像データでは矢印１８６ｃに示すように、範囲外となり表示されない。
【００４５】
このように、相対距離は、主被写体や準被写体といった被写体の視差によっても表わすことができる。この視差の導出には、フレームデータ間の同一の被写体を特定する動きベクトル検出が用いられる。ここで、フレームデータは、１の動画を構成する時系列に並べられた静止画データである。本実施形態では動きベクトル検出の対象である時間差のある２つのフレームデータを、同時に撮像された左右２つの映像データに置き換えている。距離取得部１７２は、映像データを所定のブロックに分割し、分割したブロック毎に、同一の被写体を示すブロック間の視差を導出する。
【００４６】
図５は、距離取得部１７２の動きベクトル検出を説明するための説明図である。動画圧縮技術であるＭＰＥＧにおいては、ブロックマッチングに基づいて動きベクトルを検出する動きベクトル検出が用いられる。ここで動きベクトルは、２つのフレームデータ間における同一の被写体の変位をベクトルで示したものである。ＭＰＥＧにおける動きベクトル検出では、図５（ａ）に示すように、フレームメモリから出力された過去の映像データを、所定のブロック（領域）１９０に分割し、過去のフレームデータから選択したブロック１９０ａについて、現在のフレームデータのうち、同一の大きさで最も類似しているブロック１９０ｂを抽出し両者の位置関係から動きベクトル１９２ａを検出している。
【００４７】
本実施形態において、距離取得部１７２は、ＭＰＥＧの符号化における動きベクトル検出とほとんど同等のアルゴリズムを用いるので、既存の動きベクトル検出技術を流用でき、右眼用映像データと左眼用映像データとの間の動きベクトルを検出する。
【００４８】
具体的に、距離取得部１７２は、図５（ｂ）に示すように、左眼用映像データから選択された比較元のブロック１９０ｃの各画素の輝度（Ｙ色差信号）と、その画素に対応する右眼用映像データの比較先の任意の位置におけるブロック１９０ｄの各画素の輝度との差を取り、ブロック内のすべての画素の輝度の差の総和を導出する。続いて、比較先のブロック１９０ｄを所定距離移動し、輝度の差の総和を導出する処理を繰り返し、輝度の差の総和が最も小さくなる位置におけるブロック１９０ｄを、輝度が最も近いブロック１９０ｄとして抽出し、その変位をブロック１９０ｃの動きベクトル１９２ｃとする。
【００４９】
また、距離取得部１７２は、図５（ｃ）に示すように、右眼用映像データから選択された比較元のブロック１９０ｅの各画素の輝度と、その画素に対応する左眼用映像データの比較先の任意の位置におけるブロック１９０ｆの各画素の輝度との差を取り、すべての画素の輝度の差の総和を導出する。続いて、比較先のブロック１９０ｆを所定距離移動して、輝度の差の総和を導出する処理を繰り返し、輝度の差の総和が最も小さくなる位置におけるブロック１９０ｆを、輝度が最も近いブロック１９０ｆとして抽出し、その変位をブロック１９０ｅの動きベクトル１９２ｅとする。こうして、左眼用映像データおよび右眼用データのいずれのブロックも動きベクトルが検出される。
【００５０】
かかる動きベクトル検出において、比較元のブロックは、例えば、映像データの左上から右方向に、右端に到達すると一段下げて再び左端から右方向に順次移動して選択され、最終的に映像データすべてが網羅される。
【００５１】
また、本実施形態の動きベクトル検出では、比較先のブロックを全範囲から抽出しなくとも、水平方向のみを、比較先のブロックの対象とすることができる。すなわち、比較先のブロック１９０としては、比較元のブロック１９０ｃ、１９０ｅに対して、垂直方向の座標が等しい領域（図５（ｂ）、（ｃ）において破線１９４ａ、１９４ｂで囲われた領域）のみが対象となる。
【００５２】
上述したように、映像圧縮において動きベクトル検出の技術が確立しており、本実施形態では、その動きベクトル検出を利用して視差を求める。また、動画圧縮に用いられる動きベクトルの検出と異なり、視差は、映像における水平方向の変位としてしか表れないため、距離取得部１７２は、水平方向にのみ動きベクトルを検出すればよい。かかる動きベクトルの検出を水平方向に限る構成により、処理時間および処理負荷を著しく低減でき、延いては回路を小型化することが可能となる。
【００５３】
距離取得部１７２は、図５に示すように、左眼用映像データのブロックについて、右眼用映像データ内で類似しているブロックを抽出すると、そのブロック間の動きベクトルを左眼用映像データのそのブロックの視差とする。同様に、距離取得部１７２は、右眼用映像データのブロックについて、左眼用映像データ内で類似しているブロックを抽出すると、そのブロック間の動きベクトルを右眼用映像データのそのブロックの視差とする。また、上記のように別々に算出した右眼用映像データの動きベクトルと、それに対応する左眼用映像データの動きベクトルは、大きさはほぼ同じであり、動きベクトルの向きが反対になっていると考えられる。そのため、この条件に当てはまらない動きベクトルが検出された場合には、動きベクトル検出におけるパラメータを変えて再度検出することにより、動きベクトル検出の精度を高める構成としてもよい。
【００５４】
そして、距離取得部１７２は、導出した視差をブロック内の各画素に割り当てた後、隣接する画素間で割り当てられた視差の変化を抑えるように、割り当てられた視差を補正する。
【００５５】
図６は、視差の補正を説明するための説明図である。距離取得部１７２は、ブロック１９０毎の視差を図６の如く導出した後、ブロック１９０の境界の画素に割り当てられた視差の急激な変化を抑えため、画素毎に低域通過フィルタを通過させ、図６の曲線１９８のように、映像データの水平方向の画素の並びに対して、隣接する画素に割り当てられた落差を減らし、視差の変化量を滑らかにする。かかる画素間で割り当てられた視差の変化を抑えるように平滑化する構成により、ブロックの境界において視差が急激に変化し、映像の連続性が損なわれて違和感が生じてしまう事態を回避することができる。
【００５６】
そして、映像補正部１７４は、撮像目的の被写体である主被写体１６０と撮像部１１０の距離と、主被写体１６０以外の被写体である準被写体と撮像部１１０との距離との差である相対距離に基づいて、映像データに含まれる主被写体および準被写体のいずれか一方または両方の鮮明度を画素単位で変更する。このとき、映像補正部１７４は、相対距離が略０の場合、準被写体の鮮明度を最大とし、相対距離が大きくなるにつれて準被写体の鮮明度を小さくしてもよい。
【００５７】
図７は、相対距離として用いる視差と、鮮明度との対応例を説明するための説明図である。図７において、横軸が視差（相対距離）、縦軸が鮮明度を示す。本実施形態において、視差は、右眼用映像データ、左眼用映像データそれぞれにおいて、準被写体が右側にずれる程プラス、左側にずれる程マイナスの値を取ることとする。映像補正部１７４は、例えば、正規曲線２００のように、視差が０の場合に準被写体の鮮明度を最大に、視差の絶対値が大きくなるにつれて、準被写体の鮮明度を連続的に弱くする。また、視差の絶対値が所定値以上となると、準被写体の鮮明度を所定の最小値に固定してぼかす処理を行うこととしてもよい。本実施形態において、鮮明度０は、映像データに対して鮮明度を変更する処理を何ら行わないことを示す。かかる鮮明度の補正を具体的に映像データに適用した例を図８を用いて説明する。
【００５８】
図８は、鮮明度の補正を説明するための説明図である。図８（ａ）は、鮮明度の補正前の映像データを、図８（ｂ）は、鮮明度の補正後の映像データの一例を示す。映像補正部１７４は、撮像目的の被写体である視差の無い主被写体１６０と、その近辺にあり同様に視差の無い準被写体１８４ａとは、鮮明度が強くなるように、視差が大きい（相対距離の大きい）準被写体１８４ｃ、１８４ｂは、鮮明度が弱くなるように、右眼用映像データにおいて画角から外れた準被写体１８４ｄは、さらに鮮明度が弱くなるように補正する。
【００５９】
本実施形態において、鮮明度は、例えば、シャープネス等、映像データの鮮明さの度合いを示す指標である。既存の撮像装置は、元々、生成した映像データについて、所定の周波数以上の高域周波数成分を強調するエッジ強調処理を通じて鮮明度を高める処理が行われている。したがって映像補正部１７４は、視差の無い主被写体１６０と、その近辺にあり同様に視差の無い準被写体１８４ａには、このエッジ強調処理が施された映像データをそのまま利用し、視差が大きい準被写体１８４ｂ、１８４ｃや、映像データのうちの一方において画角から外れた準被写体１８４ｄには、鮮明度を例えば０〜−２０ｄＢ程度落とす処理を行う。
【００６０】
その結果、立体映像表示装置１６４において表示される映像では、主被写体１６０および準被写体１８４ａが強調され、それ以外の準被写体１８４ｂ、１８４ｃ、１８４ｄは鮮明度が弱く目立たなくなる。特に、右眼用映像データにおいて画角から外れた準被写体１８４ｄは、例えば、１０８０ＴＶ本のうち、約２００ＴＶ本が何とか視認できる程度までぼやかす。ここで、ＴＶ本は、水平表示解像度を示す単位であり、１画素毎に白黒の点を表示させた場合に、識別できる点の数で表わされる、シャープネスの単位の一例である。
【００６１】
このように、本実施形態の立体映像撮像装置１００は、撮像目的の被写体である主被写体１６０や相対距離０の準被写体１８４ａの鮮明度を相対的に強くし、一方で主被写体１６０と距離のある準被写体１８４ｂ、１８４ｃ、１８４ｄの鮮明度を相対的に弱めている。そのため、立体映像撮像装置１００の被写界深度が深い場合であっても、人間が主被写体１６０を直接視認するときと同じような被写界深度となる映像データを生成することができる。
【００６２】
また、主被写体１６０や準被写体１８４ａの視差が略０であり、それ以外の物体をぼかして表示することで、立体映像を鑑賞するのに必要となる眼鏡が無い場合でも、主被写体１６０や相対距離０の準被写体１８４ａを自然な平面映像として見る事ができる。そのため、立体映像データをそのまま平面映像データとして利用することが可能となり立体映像の普及を促進できる。
【００６３】
さらに、鮮明度を弱めた背景や準被写体の情報量が減るため、同じ記憶媒体１６２により長時間の映像を記憶できたり、同じ帯域でより多くのチャネルの伝送が可能となったりする。
【００６４】
また、映像補正部１７４は、補正後の鮮明度に、さらに、被写界深度に応じた係数を乗じる。かかる構成により、被写界深度が既に人の眼に近い場合において、鮮明度を補正しすぎて主被写体１６０から撮像方向の前後に離れた準被写体が直接視認する場合よりもぼやけてしまい、視聴者に違和感を生じさせてしまう事態を回避できる。
【００６５】
輝度差分導出部１７６は、映像データを所定のブロックに分割し、分割されたブロックにおけるすべての画素において、輝度の最大値と最小値との差分を導出する。そして、映像補正部１７４は、輝度の差分が所定閾値以下の場合、差分が所定閾値以下となるブロックの画素については、鮮明度の補正を行わない。
【００６６】
ブロック自体に含まれる画素の輝度の最大値と最小値との差分が所定閾値以下のブロックは、壁や空等の背景の一部と捉えることができ、鮮明度が強い映像である必要性が低い。また、このように輝度の差分が小さいブロックは、動きベクトルの検出を用いても視差を正確に導出できない。そこで、鮮明度の補正を行わない回路、例えばコアリング回路を用いて、このようなブロックの処理負荷を低減する。かかる構成により、鮮明度の補正が不要なブロックに対する無駄な補正や誤った補正を回避することができ、処理負荷を軽減することが可能となる。
【００６７】
また、上述した実施形態では、輻輳角を制御する構成を述べたが、輻輳角を固定して撮像する場合においても、鮮明度の補正を行うことができる。以下、輻輳角を固定し、光軸１３０ａ、１３０ｂが所定の点で交わる場合について説明する。
【００６８】
図９および図１０は、輻輳角を固定とする場合の映像データにおける主被写体１６０と視差との関係を説明するための説明図である。ここでは理解を容易にするため、主被写体１６０が撮像部１１０ａ、１１０ｂの結線の垂直二等分線上の任意の位置にあるとする。輻輳角を固定とすると、図９（ａ）に示すように、主被写体１６０が輻輳点Ｍより撮像部１１０ａ、１１０ｂに近い場合、図９（ｂ）に示すように、主被写体１６０は、左眼用映像データでは主被写体１６０が水平方向中央の垂直線１０より右側に、右眼用映像データでは中心線２１０より左側に変位する。逆に、図１０（ａ）に示すように、主被写体１６０が輻輳点Ｍより撮像部１１０ａ、１１０ｂに遠い場合、図１０（ｂ）に示すように、主被写体１６０は、左眼用映像データでは中心線２１０より左側に、右眼用映像データでは中心線２１０より右側に変位することになる。したがって、輻輳角が固定されている場合、主被写体１６０は、撮像部１１０ａ、１１０ｂとの主被写体距離に応じて図９（ｂ）や図１０（ｂ）に示すような視差を有することになる。かかる視差は、輻輳角と主被写体距離とから以下のように導出することができる。
【００６９】
図９に示すように、主被写体１６０が輻輳点Ｍより撮像部１１０ａ、１１０ｂに近い場合、撮像部１１０ａの画角∠ＡＢＣの二等分線は、輻輳点Ｍを通る直線ＢＭであり、∠ＭＢＣは画角∠ＡＢＣの半分の角度となる。ここでは、輻輳角が固定のため輻輳点Ｍも固定となる。∠ＭＢＤは、以下の数式（１）で導出される。
∠ＭＢＤ＝ａｒｃｔａｎ（線分ＭＤ／線分ＢＤ） …（数式１）
ここで、線分ＢＤは撮像部１１０ａ、１１０ｂの間の距離の半分であり、線分ＭＤは輻輳角と線分ＢＤからＢＤ／ｔａｎ（輻輳角／２）で特定できる。また、∠ＥＢＤは、以下の数式（２）で導出される。
∠ＥＢＤ＝ａｒｃｔａｎ（線分ＥＤ／線分ＢＤ） …（数式２）
ここで線分ＥＤは取得された主被写体距離である。この∠ＭＢＤから∠ＥＢＤを減算することで、∠ＭＢＥが導出される。
∠ＭＢＥ＝∠ＭＢＤ−∠ＥＢＤ …（数式３）
【００７０】
ここで、左眼用映像データの水平方向中央の垂直線２１０を水平座標０とし、右側の画素程、水平座標が増加、左側の画素程、水平座標が減少するものとし、右端の水平座標をｇ、左端の水平座標を−ｇとする。左眼用映像データの主被写体１６０の水平座標ａは、∠ＭＢＥを用いて以下の数式（４）で導出される。
ａ＝ｇ×（∠ＭＢＥ／∠ＭＢＣ） …（数式４）
【００７１】
また、ここでは、主被写体１６０が撮像部１１０ａ、１１０ｂの結線の垂直二等分線上にあるので、右眼用映像データの主被写体１６０の水平座標は、左眼用映像データの主被写体１６０の水平座標ａと大きさが同じで符号が逆の値−ａとなる。したがって、主被写体１６０の視差は、ａ−（−ａ）＝２ａで表すことができる。
【００７２】
同様に、図１０（ａ）に示すように、輻輳点Ｍより主被写体１６０が撮像部１１０ａ、１１０ｂから遠い場合、撮像部１１０ａの画角∠ＡＢＣの二等分線は直線ＢＭであり、∠ＡＢＭは画角の半分の角度となる。また、∠ＥＢＤは、上述した数式（２）と同じ式で導出される。そして、∠ＥＢＤから∠ＭＢＤを減算することで、∠ＭＢＥが導出される。
∠ＭＢＥ＝∠ＥＢＤ−∠ＭＢＤ …（数式５）
【００７３】
図９を用いて説明した輻輳点Ｍより主被写体１６０が近い場合と同様に水平座標を定義すると、左眼用映像データの主被写体１６０の水平座標ａは、∠ＭＢＥを用いて以下の数式（６）で導出される。
ａ＝−ｇ×（∠ＭＢＥ／∠ＡＢＭ） …（数式６）
【００７４】
ここでも、右眼用映像データの主被写体１６０の水平座標は、左眼用映像データの主被写体１６０の水平座標ａと大きさが同じで符号が逆の値−ａとなるので、主被写体１６０の視差は、ａ−（−ａ）＝２ａで表すことができる。
【００７５】
そして、距離取得部１７２は、準被写体それぞれの視差から、上述した数式を通じて導出された主被写体１６０の視差２ａを減算し、主被写体１６０の視差２ａを相殺して、準被写体と主被写体１６０との視差の差を導出する。映像補正部１７４は、主被写体１６０の視差２ａが減算された視差に基づいて主被写体１６０および準被写体の鮮明度を補正する。
【００７６】
このように、立体映像撮像装置１００は、輻輳角を固定した撮像であっても、主被写体１６０や相対距離が略０の準被写体の鮮明度を強く、主被写体１６０から撮像方向の前後に離れ相対距離の絶対値が大きくなると鮮明度を弱くすることができる。
【００７７】
また、輻輳角を制御しつつ、表示面とは異なる、表示面の前後の任意の位置に主被写体１６０が結像されるように撮像する場合であっても、距離取得部１７２が、輻輳角と主被写体距離とを取得し主被写体１６０の視差を随時導出することで、本実施形態の鮮明度補正処理を実現することができる。
【００７８】
また、距離取得部１７２は、上述した輻輳角や主被写体距離を用いず、単に、ビューファインダ１１４に表示されている映像データから、撮像者が操作部１１２を通じて指定した被写体を主被写体１６０として特定し、主被写体１６０の視差と主被写体１６０以外の被写体である準被写体の視差との差を導出することでも、本実施形態の鮮明度補正処理を実現することができる。
【００７９】
主被写体１６０や準被写体は、それぞれ撮像部１１０との距離に応じて視差が生じる。その個々の撮像部１１０ａ、１１０ｂとの距離は、輻輳角が既知でなければ映像データから把握することができない。しかし、ここで必要なのは、主被写体１６０と準被写体との相対距離であり、相対距離は、主被写体１６０の視差と準被写体の視差との差から簡易的に求めることができるので、撮像者に指定された主被写体１６０の視差を基準に、他の準被写体の視差との差である相対距離を導出すれば、鮮明度を補正することができる。そのため、オートフォーカスや赤外線センサー等を用いた測定機構が設けられていない場合においても、本実施形態の目的を達成することが可能となる。
【００８０】
さらに、輻輳角の調整は、撮像制御部１７０が実際に撮像レンズ１５４ａ、１５４ｂと撮像素子１５６ａ、１５６ｂとを駆動させる構成に限らず、撮像部１１０ａ、１１０ｂの光軸１３０ａ、１３０ｂを固定し、映像処理によって行うこともできる。
【００８１】
映像切出部１７８は、撮像素子１５６から取得する映像データの切出範囲を変更させ、擬似的に輻輳角を調整してもよい。ただし、撮像素子１５６は、最終的に出力する映像データよりも、水平方向の画素数が多いこととする。
【００８２】
図１１および図１２は、映像処理による輻輳角の調整を説明するための説明図である。ここでは、撮像部１１０ａ、１１０ｂがそれぞれ調整画角∠ＡＢＣ、∠ＤＥＦの撮像能力を有し、その調整画角∠ＡＢＣ、∠ＤＥＦから任意の切り出し画角∠Ａ’ＢＣ’、∠Ｄ’ＥＦ’を切り出す処理を行う。
【００８３】
例えば、輻輳点を無限遠とすることを試みた場合、映像切出部１７８は、図１１（ｂ）に示す左眼用映像データに関して、調整画角∠ＡＢＣを撮像した映像データ２２０ａから映像データ２２２ａを切り出す。すると、切り出した映像データ２２２ａは、図１１（ａ）の切り出し画角∠Ａ’ＢＣ’に相当することとなり、その映像データ２２２ａの水平方向中央の垂直線２２４ａが図１１（ａ）の撮像方向２２６ａとなる。こうして、切り出した映像データ２２０ａは、光軸が立体映像撮像装置１００に垂直な、画角∠Ａ’ＢＣ’の撮像部で撮像した映像データと等しくなる。
【００８４】
また、右眼用映像データにおいても、調整画角∠ＤＥＦを撮像した映像データ２２０ｂから映像データ２２２ｂを切り出すので、切り出した映像データ２２２ｂは、図１１（ａ）の切り出し画角∠Ｄ’ＥＦ’に相当することとなり、その映像データ２２２ｂの水平方向中央の垂直線２２４ｂが図１１（ａ）の撮像方向２２６ｂとなる。切り出した映像データ２２２ｂは、光軸が立体映像撮像装置１００に垂直な、画角∠Ｄ’ＥＦ’の撮像部で撮像した映像データと等しくなる。こうして、両光軸が無限遠に向かって平行となる映像データ２２０ａ、２２０ｂを得ることができる。
【００８５】
また、輻輳点を撮像部１１０ａ、１１０ｂに近づける場合、映像切出部１７８は、図１２（ｂ）に示す左眼用映像データに関して、調整画角∠ＡＢＣを撮像した映像データ２２０ａから映像データ２２２ａを切り出す。すると、切り出した映像データ２２２ａは、図１２（ａ）の切り出し画角∠Ａ’ＢＣ’に相当することとなり、その映像データ２２０ａの水平方向中央の垂直線２２４ａが図１２（ａ）の撮像方向２２６ａとなる。また、右眼用映像データにおいても、図１２（ｃ）に示す同様な処理を施すことで、その映像データ２２０ｂの水平方向中央の垂直線２２４ｂが図１２（ａ）の撮像方向２２６ｂとなる。こうして、切り出した映像データ２２０ａと映像データ２２０ｂとの中央線２２４ａ、２２４ｂで示される疑似的な光軸（撮像方向２２６ａ、２２６ｂ）が図１２（ａ）の如く、輻輳点Ｍで交差し、輻輳角∠ＢＭＥの映像データ２２０ａ、２２０ｂを得ることができる。
【００８６】
このように、映像切出部１７８が映像データの切出範囲を変更させ、擬似的に輻輳角を調整することで、立体映像撮像装置１００は、撮像部１１０ａ、１１０ｂを実際に駆動させて輻輳角を調整する機構を搭載する必要が無くなり、部品点数を削減し安価に製造できる。
【００８７】
また、上述した立体映像撮像装置１００では、視差の導出から鮮明度の補正までを画一的に実行しているが、かかる場合に限らず、立体映像撮像装置１００において、視差の導出までを行い、立体映像表示装置１６４において、鮮明度の補正を行うこととしてもよい。
【００８８】
この場合、距離取得部１７２は、導出した視差を外部出力部１２４に出力し、外部出力部１２４は、視差と、立体映像データとを、それぞれ立体映像表示装置１６４に出力する。このとき、外部出力部１２４は、視差と立体映像データとの同期をとるため、例えば、それぞれに同期のための識別子を付加したり、視差と立体映像データとが対応するように、一つのストリームとしてまとめて出力したりすることができる。
【００８９】
立体映像表示装置１６４は、立体映像撮像装置１００で出力された立体映像データと視差とを取得すると、立体映像データの鮮明度を視差に基づいて補正し、立体映像における所定の表示方式に変換して表示する。この場合、視聴者は、立体映像の鑑賞時に、基準となる主被写体１６０の指定を変更することで、鮮明度の補正の度合いを調整できる。
【００９０】
以上、上述したように、本実施形態の立体映像撮像装置１００は、視聴者が自然な立体映像を知覚することができる立体映像データを生成することが可能となる。
【００９１】
（立体映像撮像方法）
さらに、上述した立体映像撮像装置１００を用いた立体映像撮像方法も提供される。図１３は、第１の実施形態における立体映像撮像方法の処理の流れを示すフローチャートである。
【００９２】
撮像者が操作部１１２を通じて撮像を指示すると（Ｓ２６０のＹＥＳ）、撮像部１１０ａ、１１０ｂが映像データを生成し（Ｓ２６２）、距離取得部１７２は、例えば、距離測定部１１６を通じて主被写体距離を取得する（Ｓ２６４）。そして、撮像制御部１７０は、撮像部１１０ａ、１１０ｂの結線の垂直二等分線上の主被写体距離の位置に輻輳点が重なるように輻輳角を調整する（Ｓ２６６）。
【００９３】
距離取得部１７２は、映像データのうち、左眼用映像データから１のブロックを選択し（Ｓ２６８）、そのブロックにおける画素の輝度の最大値と最小値との差分が所定閾値以下であるか否かを判定する（Ｓ２７０）。所定値以下である場合（Ｓ２７０のＹＥＳ）、ブロック選択ステップ（Ｓ２６８）に戻る。所定値より大きい場合（Ｓ２７０のＮＯ）、距離取得部１７２は、左眼用映像データのブロックと垂直方向の座標が等しい、右眼用映像データのブロックと比較し、輝度が最も近いブロックと比較元のブロックとの視差（動きベクトル）を導出し、左眼用映像データのブロックに関連付ける（Ｓ２７２）。
【００９４】
続いて、距離取得部１７２は、左眼用映像データのうち、まだ抽出を行っていないブロックがあるか否かを判断し（Ｓ２７４）、まだ抽出を行っていないブロックがあれば（Ｓ２７４のＮＯ）、ブロック選択ステップ（Ｓ２６８）に戻って、同様の処理を繰り返す。
【００９５】
左眼用映像データのすべてのブロックについて抽出処理を終えると（Ｓ２７４のＹＥＳ）、距離取得部１７２は、右眼用映像データから１のブロックを選択し（Ｓ２７６）、そのブロックにおける画素の輝度の最大値と最小値との差分が所定閾値以下であるか否かを判定する（Ｓ２７８）。所定値以下である場合（Ｓ２７８のＹＥＳ）、ブロック選択ステップ（Ｓ２７６）に戻る。所定値より大きい場合（Ｓ２７８のＮＯ）、距離取得部１７２は、右眼用映像データのブロックと垂直方向の座標が等しい、左眼用映像データのブロックと比較し、輝度が最も近いブロックと比較元のブロックとの視差（動きベクトル）を導出し、右眼用映像データのブロックに関連付ける（Ｓ２８０）。
【００９６】
そして、距離取得部１７２は、右眼用映像データのうち、まだ抽出を行っていないブロックがあるか否かを判断し（Ｓ２８２）、まだ抽出を行っていないブロックがあれば（Ｓ２８２のＮＯ）、ブロック選択ステップ（Ｓ２７６）に戻って、同様の処理を繰り返す。
【００９７】
そして、距離取得部１７２は、隣接する画素間で割り当てられた視差の変化を抑えるように、割り当てられた視差を補正（平滑化）する（Ｓ２８４）。
【００９８】
映像補正部１７４は、画素毎に、割り当てられた視差（相対距離）に基づいて、主被写体１６０および準被写体のいずれか一方または両方の鮮明度を変更する補正処理を行う（Ｓ２８６）。そして、映像併合部１２０は、映像データを、立体映像における所定の収録方式で合成し、立体映像データを生成し（Ｓ２８８）、映像圧縮部１２２は、立体映像データを、所定の符号化方式で符号化した符号データとし（Ｓ２９０）、任意の記憶媒体１６２に記憶させる（Ｓ２９２）。
【００９９】
上述したように、立体映像撮像装置１００を用いた立体映像撮像方法によれば、視聴者が自然な立体映像を知覚することができる立体映像データを生成することが可能となる。
【０１００】
（第２の実施形態：立体映像処理装置３００）
上述した第１の実施形態では、立体映像撮像装置１００は、撮像時において、視差に応じた鮮明度の補正処理を行っていた。第２の実施形態では、再生時において、鮮明度の補正処理を行う立体映像処理装置３００について説明する。なお、上述した立体映像撮像装置１００と実質的に等しい構成要素については、同一の符号を付して説明を省略する。
【０１０１】
図１４は、第２の実施形態における立体映像処理装置３００の概略的な構成を示した機能ブロック図である。立体映像処理装置３００は、映像取得部３１０と、操作部１１２と、映像復号部３２２と、表示部３２４と、中央制御部３２６とを含んで構成される。なお、上述した第１の実施形態と実質的に等しい構成要素については、同一の符号を付して説明を省略し、ここでは、構成が相違する映像取得部３１０、映像復号部３２２、中央制御部３２６を主に説明する。
【０１０２】
映像取得部３１０は、両眼視差による立体映像を知覚させるための立体映像データが符号化された符号データを立体映像撮像装置から取得する。映像復号部３２２は、符号データを復号し立体映像データに変換する。
【０１０３】
中央制御部３２６は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、立体映像処理装置３００全体を管理および制御する。また、中央制御部３２６は、距離取得部１７２、映像補正部１７４、輝度差分導出部１７６、映像切出部１７８、表示制御部３８０としても機能する。
【０１０４】
本実施形態の立体映像処理装置３００が、立体映像データを生成可能な撮像装置から立体映像データを取得すると、立体映像撮像装置１００と同様、距離取得部１７２は、立体映像データに含まれる主被写体１６０と立体映像データを生成した撮像部との距離と、主被写体１６０以外の被写体である準被写体と撮像部１１０との距離との差である相対距離を取得し、映像補正部１７４は、相対距離に基づいて、主被写体１６０および準被写体のいずれか一方または両方の鮮明度を変更する。表示制御部３８０は、立体映像データを立体映像における所定の表示方式に変換し、液晶ディスプレイ、有機ＥＬディスプレイ等で構成され、偏光特性が１ライン毎に異なるように形成された表示部３２４に表示させる。
【０１０５】
例えば、立体映像データを生成した立体映像撮像装置の被写界深度が深い場合であっても、立体映像処理装置３００を用いることで、主被写体１６０を直接視認するときと同じように被写界深度が人の眼と同等となる立体映像として鑑賞できる。また、主被写体１６０や準被写体の視差を略０とする場合、それ以外の物体をぼかして表示することで、立体映像を鑑賞するのに必要となる眼鏡が無い場合でも、相対距離０の準被写体を自然な平面映像として見る事ができる。
【０１０６】
また、本実施形態の立体映像処理装置３００によれば、予め生成された立体映像データについて、事後的に、鮮明度の補正を行うことが可能となり、視聴者は、例えば、立体映像の鑑賞時に鮮明度の補正の度合いを調整できる。
【０１０７】
（第３の実施形態：立体映像撮像装置４００）
上述した第１の実施形態では、１つの視点から知覚される立体映像を鑑賞できる映像データを生成する立体映像撮像装置１００について説明した。第３の実施形態では、複数の視点から知覚される立体映像撮像装置４００について説明する。なお、上述した立体映像撮像装置１００と実質的に等しい構成要素については、同一の符号を付して説明を省略する。
【０１０８】
図１５は、第３の実施形態における立体映像撮像装置４００を説明するための説明図である。立体映像撮像装置４００は、立体映像撮像装置１００と実質的に等しい構成であるが、撮像部１１０ａ、１１０ｂに加えて、撮像部１１０ｃをさらに備える。ここでは、理解を容易にするため、撮像部が３つの例を挙げて説明する。
【０１０９】
３つの撮像部１１０ａ、１１０ｂ、１１０ｃは、それぞれの光軸１３０ａ、１３０ｂ、１３０ｃが略平行または撮像方向で交わり、撮像者が立体映像撮像装置１００の本体１３２を水平に把持した際に、それぞれの光軸１３０ａ、１３０ｂ、１３０ｃが同じ水平面に存在するように配置される。
【０１１０】
例えば、撮像部１１０ａと撮像部１１０ｂとの間に配された距離測定部１１６が主被写体距離を測定すると、撮像制御部１７０は、主被写体距離に応じて輻輳角を調整する。撮像制御部１７０は、撮像部１１０ａ、１１０ｂを第１の実施形態同様、撮像部１１０ａ、１１０ｂの結線の垂直二等分線上の主被写体距離の位置に輻輳点が重なるように輻輳角を調整する。また、撮像部１１０ｃについて、撮像制御部１７０は、光軸１３０ｃが撮像部１１０ａ、１１０ｂの輻輳点を通過するように撮像部１１０ｃの撮像レンズおよび撮像素子を調整する。
【０１１１】
立体映像撮像装置４００は、撮像者が操作部１１２を通じて選択した撮像部１１０の組（ここでは、撮像部１１０ａ、１１０ｂ、または撮像部１１０ｂ、１１０ｃ）のうち、左側に位置する方が生成した映像データを左眼用映像データとし、右側に位置する撮像部１１０が生成した映像データを右眼用映像データとして、上述した立体映像撮像装置１００と同様、鮮明度の補正処理を行う。
【０１１２】
このような立体映像撮像装置４００を用いて生成した立体映像データの立体映像を視認する場合、撮像者は、撮像部１１０ａと撮像部１１０ｂとの組み合わせ、または撮像部１１０ｂと撮像部１１０ｃとの組み合わせの二つの視点から所望する視点を自由に選択でき、特に、近景を撮像する場合、視点の組み合わせによって大きく異なる二つの立体映像を楽しむことができる。
【０１１３】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１１４】
なお、本明細書の立体映像撮像方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【０１１５】
本発明は、複数の撮像部が生成した映像データを用いて立体映像を知覚させる立体映像データを生成する立体映像撮像装置、立体映像処理装置および立体映像撮像方法に利用することができる。
【符号の説明】
【０１１６】
１００、４００ …立体映像撮像装置
１１０（１１０ａ、１１０ｂ、１１０ｃ） …撮像部
１３０ａ、１３０ｂ …光軸
１７２、３７２ …距離取得部
１７４、３７４ …映像補正部
１７６ …輝度差分導出部
１７８ …映像切出部
３００ …立体映像処理装置
３１０ …映像取得部
【特許請求の範囲】
【請求項１】
それぞれの光軸が略平行または撮像方向で交わる位置に配され、それぞれにおいて映像データを生成する複数の撮像部と、
前記映像データに含まれる被写体のうち、撮像目的の被写体である主被写体と前記撮像部との距離と、前記主被写体以外の被写体である準被写体と前記撮像部との距離との差である相対距離を取得する距離取得部と、
前記相対距離に基づいて、前記主被写体および前記準被写体のいずれか一方または両方の鮮明度を変更する映像補正部と、
を備えることを特徴とする立体映像撮像装置。
【請求項２】
前記距離取得部は、前記複数の撮像部で撮像された映像データ間で前記主被写体の視差と前記準被写体の視差を検出し、前記検出した主被写体の視差と準被写体の視差との差を前記相対距離とすることを特徴とする請求項１に記載の立体映像撮像装置。
【請求項３】
前記距離取得部は、フレームデータ間の同一の被写体を特定する動きベクトル検出を用いて前記複数の撮像部それぞれが生成した映像データ間の被写体の視差を導出し、前記動きベクトル検出は水平方向のみを対象とすることを特徴とする請求項２に記載の立体映像撮像装置。
【請求項４】
前記映像補正部は、前記相対距離が略０の場合、前記準被写体の鮮明度を最大とし、前記相対距離が大きくなるにつれて前記準被写体の鮮明度を小さくすることを特徴とする請求項１から３のいずれか１項に記載の立体映像撮像装置。
【請求項５】
前記映像補正部は、前記鮮明度に、被写界深度に応じた係数を乗じることを特徴とする請求項１から４のいずれか１項に記載の立体映像撮像装置。
【請求項６】
前記映像データを所定のブロックに分割し、分割した前記ブロックにおける画素の輝度の最大値と最小値との差分を導出する輝度差分導出部をさらに備え、
前記映像補正部は、前記差分が所定閾値以下の場合、前記差分が所定閾値以下となるブロックの画素については、前記鮮明度の補正を行わないことを特徴とする請求項１から５のいずれか１項に記載の立体映像撮像装置。
【請求項７】
前記距離取得部は、前記映像データを所定のブロックに分割し、分割した前記ブロック毎に、同一の被写体を示すブロック間の視差を導出し、導出した前記視差を前記ブロック内の各画素に割り当てた後、隣接する前記画素間で割り当てられた視差の変化を抑えるように、割り当てられた視差を補正することを特徴とする請求項１から６のいずれか１項に記載の立体映像撮像装置。
【請求項８】
両眼視差による立体映像を知覚させるための立体映像データを取得する映像取得部と、
前記立体映像データに含まれる被写体のうち、撮像目的の被写体である主被写体と前記立体映像データを生成した撮像部との距離と、前記主被写体以外の被写体である準被写体と前記撮像部との距離との差である相対距離を取得する距離取得部と、
前記相対距離に基づいて、前記主被写体および前記準被写体のいずれか一方または両方の鮮明度を変更する映像補正部と、
を備えることを特徴とする立体映像処理装置。
【請求項９】
立体映像を生成するために、それぞれの光軸が略平行または撮像方向で交わる位置に配された複数の撮像部により、映像データを生成し、
前記映像データに含まれる被写体のうち、撮像目的の被写体である主被写体と前記撮像部との距離と、前記主被写体以外の被写体である準被写体と前記撮像部との距離との差である相対距離を取得し、
前記相対距離に基づいて、前記主被写体および前記準被写体のいずれか一方または両方の鮮明度を変更することを特徴とする立体映像撮像方法。
【請求項１】
それぞれの光軸が略平行または撮像方向で交わる位置に配され、それぞれにおいて映像データを生成する複数の撮像部と、
前記映像データに含まれる被写体のうち、撮像目的の被写体である主被写体と前記撮像部との距離と、前記主被写体以外の被写体である準被写体と前記撮像部との距離との差である相対距離を取得する距離取得部と、
前記相対距離に基づいて、前記主被写体および前記準被写体のいずれか一方または両方の鮮明度を変更する映像補正部と、
を備えることを特徴とする立体映像撮像装置。
【請求項２】
前記距離取得部は、前記複数の撮像部で撮像された映像データ間で前記主被写体の視差と前記準被写体の視差を検出し、前記検出した主被写体の視差と準被写体の視差との差を前記相対距離とすることを特徴とする請求項１に記載の立体映像撮像装置。
【請求項３】
前記距離取得部は、フレームデータ間の同一の被写体を特定する動きベクトル検出を用いて前記複数の撮像部それぞれが生成した映像データ間の被写体の視差を導出し、前記動きベクトル検出は水平方向のみを対象とすることを特徴とする請求項２に記載の立体映像撮像装置。
【請求項４】
前記映像補正部は、前記相対距離が略０の場合、前記準被写体の鮮明度を最大とし、前記相対距離が大きくなるにつれて前記準被写体の鮮明度を小さくすることを特徴とする請求項１から３のいずれか１項に記載の立体映像撮像装置。
【請求項５】
前記映像補正部は、前記鮮明度に、被写界深度に応じた係数を乗じることを特徴とする請求項１から４のいずれか１項に記載の立体映像撮像装置。
【請求項６】
前記映像データを所定のブロックに分割し、分割した前記ブロックにおける画素の輝度の最大値と最小値との差分を導出する輝度差分導出部をさらに備え、
前記映像補正部は、前記差分が所定閾値以下の場合、前記差分が所定閾値以下となるブロックの画素については、前記鮮明度の補正を行わないことを特徴とする請求項１から５のいずれか１項に記載の立体映像撮像装置。
【請求項７】
前記距離取得部は、前記映像データを所定のブロックに分割し、分割した前記ブロック毎に、同一の被写体を示すブロック間の視差を導出し、導出した前記視差を前記ブロック内の各画素に割り当てた後、隣接する前記画素間で割り当てられた視差の変化を抑えるように、割り当てられた視差を補正することを特徴とする請求項１から６のいずれか１項に記載の立体映像撮像装置。
【請求項８】
両眼視差による立体映像を知覚させるための立体映像データを取得する映像取得部と、
前記立体映像データに含まれる被写体のうち、撮像目的の被写体である主被写体と前記立体映像データを生成した撮像部との距離と、前記主被写体以外の被写体である準被写体と前記撮像部との距離との差である相対距離を取得する距離取得部と、
前記相対距離に基づいて、前記主被写体および前記準被写体のいずれか一方または両方の鮮明度を変更する映像補正部と、
を備えることを特徴とする立体映像処理装置。
【請求項９】
立体映像を生成するために、それぞれの光軸が略平行または撮像方向で交わる位置に配された複数の撮像部により、映像データを生成し、
前記映像データに含まれる被写体のうち、撮像目的の被写体である主被写体と前記撮像部との距離と、前記主被写体以外の被写体である準被写体と前記撮像部との距離との差である相対距離を取得し、
前記相対距離に基づいて、前記主被写体および前記準被写体のいずれか一方または両方の鮮明度を変更することを特徴とする立体映像撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−１８８００４（Ｐ２０１１−１８８００４Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−４７６６６（Ｐ２０１０−４７６６６）
【出願日】平成２２年３月４日（２０１０．３．４）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月４日（２０１０．３．４）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]