立体画像撮影装置
【課題】立体画像撮影経験の少ない撮影者でも、適切な立体感を持った立体画像を容易に撮影することができるようにする。
【解決手段】擬似立体画像生成装置１０７は、右画像入力部１０４から出力される非立体画像である２次元の右目用画像に基づいて、右目用画像１０９と擬似的な立体画像を構成する参照用左目画像１１０を生成する。画像合成部１１１は、左目画像１０８と参照用左目画像１１０とを、互いの違いを分かり易くするための画像処理を施して合成する。撮影者は、画像合成部１１１で合成された画像を表示する画像表示装置１１２の表示画面を目視にて確認しながら、例えば互いに異なる色で表示される参照用左目画像１１０と左目画像１０８とが重なっている領域が大きくなるように、左撮像センサ１０１と右撮像センサ１０２との間の基線長や輻輳角を調整する。
【解決手段】擬似立体画像生成装置１０７は、右画像入力部１０４から出力される非立体画像である２次元の右目用画像に基づいて、右目用画像１０９と擬似的な立体画像を構成する参照用左目画像１１０を生成する。画像合成部１１１は、左目画像１０８と参照用左目画像１１０とを、互いの違いを分かり易くするための画像処理を施して合成する。撮影者は、画像合成部１１１で合成された画像を表示する画像表示装置１１２の表示画面を目視にて確認しながら、例えば互いに異なる色で表示される参照用左目画像１１０と左目画像１０８とが重なっている領域が大きくなるように、左撮像センサ１０１と右撮像センサ１０２との間の基線長や輻輳角を調整する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体画像撮影装置に係り、特に奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない一視点の画像（非立体画像）から作成された擬似的な立体画像を参照用画像として利用して、複数視点の立体画像を撮影する立体画像撮影装置に関する。
【背景技術】
【０００２】
従来、２視点の画像を同時に撮影し記録する立体画像撮影装置として、ステレオカメラが知られている。ステレオカメラは、左目に対応するカメラ部（光学系や撮像系）と右目に対応するカメラ部（光学系や撮像系）とを持っており、これらの２つのカメラ部別に撮影した画像を記録することにより立体画像を記録する。ステレオカメラは、１つのカメラ筐体の中に２つのカメラ部と記録系を持ったものの他に、２台のカメラ部があれば簡単に手作りできるため、最近ではデジタルカメラやムービーを２台使ったものがある。
【０００３】
ステレオカメラで記録された立体画像を再生して得られる再生画像の立体感は、左右の見える像の位置の差である両眼視差が大きく関与する。両眼視差は、撮影時の２つのカメラ部の基線長および輻輳角、レンズの倍率で決まる。
【０００４】
図１６は、平行法で撮影した時のステレオカメラと被写体との関係の一例を示す。同図において、ステレオカメラは、左目用カメラ部１Ｌと右目用カメラ部１Ｒとを含む構成とされている。平行法で撮影するときには、図１６に示すように、左目用カメラ部１Ｌと右目用カメラ部１Ｒは、それぞれの光軸方向が互いに平行に保持されて、被写体２を撮影する。このときの左目用カメラ部１Ｌと右目用カメラ部１Ｒの各光軸との間の距離は基線長と呼ばれ、左目用カメラ部１Ｌと右目用カメラ部１Ｒが被写体２の同じ一点（注視点）を撮像するとき、左目用カメラ部１Ｌと右目用カメラ部１Ｒの各光軸が注視点となす交角は輻輳角と呼ばれる。
【０００５】
ここで、図１７に示すように、同じ被写体２ａを平行法で撮影している時にレンズの倍率を上げるため、左目用カメラ部１Ｌに対して右目用カメラ部１Ｒを１Ｒ’の位置に移動すると基線長が長くなり、また、画角が狭くなって輻輳角がａからａ’へ大きくなる方向に働く。レンズの倍率は、画の構図によって決めるため、基線長及び輻輳角を変えて立体感を調整する。調整としては、図１７のように、基線長を伸ばすことで、輻輳角が増える。
【０００６】
また、図１７に示すように、被写体２ａよりも遠い位置にある被写体２ｂに対しては、同じ基線長では輻輳角が輻輳角ａより小さな輻輳角ｂとなるので、基線長を同じ値だけ変化させると、被写体２ｂに対する輻輳角ｂ’は、被写体２ａに対する輻輳角ａ’よりも小さく変化する。
【０００７】
一方、図１８に示すように、左目用カメラ部１Ｌと右目用カメラ部１Ｒの各光軸方向を被写体２ａ、２ｂの位置に応じて変化させる撮影法では、被写体２ａ、２ｂまでの距離にかかわらず、一律に輻輳角が加減調整される。例えば、図１８に示すように、左目用カメラ部１Ｌと右目用カメラ部１Ｒの各光軸を平行にしたときの光軸方向の直線と左目用カメラ部１Ｌと右目用カメラ部１Ｒの光軸とのなす角度が、被写体２ａに対してはそれぞれθＬ、θＲであり、被写体２ｂに対してはそれぞれθＬ’、θＲ’であるので、被写体２ｂに両眼視差０となるように調整しても、被写体２ａに対しては、（θＬ’+θＲ’）の輻輳角がある。
【０００８】
これら２つの撮影法を組み合わせて、複数の被写体の奥行きを含めた立体感を調整することができる。しかし、再生した際の立体感を想定して基線長やカメラ側の輻輳(θＬ,θＲ)を調整する必要があるために、立体撮影は難しい。また、立体撮影時には、撮影時のズームやマクロ撮影により、基線長に光学倍率をかけた有効基線長となることも併せて調整しなければならない。
【０００９】
再生した際の立体感は、主に両眼視差に起因している。人間が立体視できる範囲は決まっており、過度の視差は立体視の成立を妨害し、２重像を生じさせ、視覚疲労、不快感の原因となる。非特許文献１によると、快適視差範囲は視差角１度以下が目安とされており、立体視できる上限である融合限界は不特定多数を対象とする場合、視差角２度以下とされている。
【先行技術文献】
【特許文献】
【００１０】
【非特許文献１】「人に優しい３Ｄ普及のための３ＤＣ安全ガイドライン」、２０１０年４月２０日改定、３Ｄコンソーシアム安全ガイドライン部会、p.21〜23
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、立体撮影に慣れていない撮影者は、再生した際の立体感を想定して基線長やカメラ側の輻輳を調整しても、視差をつけすぎて立体画像に見えなかったり、妙に飛び出たり引っ込んでみたりといった違和感を感じる画像を撮ることが多々ある。また、撮影する主たる被写体とそれ以外の背景で、片方に気を取られて調整し、バランスを欠く調整を行い、一部の立体感は良いが、他は駄目といった、失敗した立体画像を撮ることもある。
【００１２】
例えば、撮影対象とする２つの被写体（物体Ａと物体Ｂ）と背景に着目した場合、図１９、図２０及び図２１のいずれの場合も、視聴時の快適視野範囲に入っており、いずれの場合でも立体に見えるが、その立体感に大きな違いがある。なお、図２０〜図２１中、同一部分には同一符号を付してある。
【００１３】
図１９に示すように、視聴者の左目３Ｌ、右目３Ｒから見た場合、表示面７より奥に背景４があり、表示面７よりやや前方の位置５ａに物体Ａがあり、また表示面７よりやや後方の位置６ａに物体Ｂがあるときは、物体Ａと物体Ｂとの奥行きにある程度の差があり、最適な立体感をもたらす奥行きである。
【００１４】
これに対し、図２０に示すように、物体Ａ、物体Ｂがそれぞれ背景４に沿った遠くの位置５ｂ、６ｂにある場合は、その奥行きの差が少なく前後間に乏しく、また背景４に近いために物体Ａ、物体Ｂは背景４に埋没してしまう。一方、図２１に示すように、物体Ａが５ｃで示すように、表示面７よりかなり前方に位置するのに対し、物体Ｂが６ｃで示すように背景４に近い位置にある場合は、物体Ａと物体Ｂとの奥行きが必要以上に強調されてしまう。
【００１５】
図２０や図２１に示すように、背景や被写体の奥行きの配分が不適切な場合、撮影した画像は立体には見えるが、奥行きに違和感があり、撮影に失敗したと感じる。従って、立体撮影には、被写体までの奥行き、物体Ａと物体Ｂとの奥行き差、背景４までの奥行きのバランスが重要である。
【００１６】
前述した平行法の撮影ではこの３つのバランスは調整することができない。一方、基線長や輻輳角を調整する機構を持ったステレオカメラでは、このバランス調整は可能であるので、撮影時にモニタ画面で立体感を確認する方法が考えられる。
【００１７】
しかしながら、デジタルカメラやビデオカメラに付属のモニタ画面は、３インチ程度の小さなものが多く、適切な視聴距離や視野角を確保することができないため、付属のモニタと家庭の立体テレビジョン受像機とでは視野角が異なり、これによって調整し撮影した立体画像を家庭の立体テレビジョン受像機で見ると、撮影時に意図した立体感が得られないことが多い。従って、撮影時にモニタ画面を見ながら意図した立体感に調整することは困難である。
【００１８】
また、撮影された立体画像を再生した際に得られる立体感を補正する簡易的な方法として、左右の画像を水平方向にずらすのが一般的に行われている。この簡易的な方法では、図１８に示した２台のカメラ部１Ｌ、１Ｒの角度を調整する撮影方法と近い効果が得られる。しかし、この調整方法は、被写体までの距離やレンズ倍率の変化が少ない場合はよいが、ズームをしてレンズ倍率が変化したり、距離や倍率が異なる違うシーンを見る場合などでは、頻繁に調整する必要が出てくる。また、この簡易的な方法では、図１７に示した基線長調整による被写体までの距離に応じた奥行きを考慮した調整が行われない。
【００１９】
撮影時に、一定の立体感となるよう管理された調整を行えば、再生時に視聴環境側に起因する部分の補正のみで適切な立体画像を鑑賞できるが、立体撮影に慣れていない撮影者にとっては、何らかの指針無しでは、そのような管理された調整を行うのは困難である。
【００２０】
ところで、２次元画像（非立体画像）から擬似的な３次元立体画像を生成する２Ｄ３Ｄ変換技術が知られており、この２Ｄ３Ｄ変換技術によれば２次元画像を解析することで、奥行き情報を作り出す。従って、この２Ｄ３Ｄ変換技術により、奥行き情報を推定する際に、図１９に示したような快適視野範囲内で最適な立体感をもたらす奥行き情報を生成し、その奥行き情報に基づく擬似的な立体画像を作成することができる。そこで、この２Ｄ３Ｄ変換技術により作成される画像を、基線長や輻輳角を調整する指針としての参照画像として用いることが考えられる。
【００２１】
本発明は以上の点に鑑みなされたもので、２Ｄ３Ｄ変換技術により所定の一視点の非立体画像から奥行き情報に基づいて作成した擬似的な立体画像を構成する他の視点の画像を参照用画像とし、撮影者が撮影する上記の他の視点の画像の視差を上記参照用画像の視差に近付けるように基線長や輻輳角を調整し撮影をすることで、立体画像撮影経験の少ない撮影者でも、適切な立体感を持った立体画像を容易に撮影することができる立体画像撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００２２】
上記目的を達成するため、本発明は、互いに異なる複数の視点の撮像信号を別々に得る複数の撮像手段と、複数の撮像手段のうちの一の撮像手段から出力される所定の一の視点の撮像信号が、奥行き情報が明示的にも又は暗示的にも与えられていない非立体画像として入力され、入力非立体画像から擬似的な立体画像を生成する擬似立体画像生成手段と、擬似立体画像生成手段により生成された、所定の一の視点の入力非立体画像と共に擬似的な立体画像を構成する複数の視点のうち所定の一の視点以外の他の視点の画像を参照用画像とし、その参照用画像に、複数の撮像手段のうちの一の撮像手段以外の他の撮像手段から出力される他の視点の撮像信号の画像を、互いに区別して表示される信号形態で合成する画像合成手段とを有することを特徴とする。
【００２３】
また、上記の目的を達成するため、本発明は、複数の撮像手段の間の基線長及び輻輳角を手動で調整可能な調整手段と、画像合成手段により合成された参照用画像と他の視点の撮像信号の画像とを互いに区別して表示する表示手段とを更に有することを特徴とする。
【００２４】
また、上記の目的を達成するため、本発明は上記の擬似立体画像生成手段が、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の奥行きモデルタイプの画像を記憶する記憶手段と、入力非立体画像の画面内の複数の所定領域における高域周波数成分の画素値の統計量を算定して複数の評価値を得る算定手段と、記憶手段に記憶されている複数の奥行きモデルタイプの画像を、算定手段により得られた評価値に応じた合成比率で合成する合成手段と、合成手段により合成された合成結果と、入力非立体画像とから奥行き推定データを生成する奥行き推定データ生成手段と、入力非立体画像のテクスチャを、対応部分の奥行き推定データに応じた量だけシフトするテクスチャシフト手段と、テクスチャシフト手段から出力された画像信号を参照用画像として出力すると共に、入力非立体画像を参照用画像と共に擬似立体画像を構成する画像として出力する出力手段とを有することを特徴とする。
【発明の効果】
【００２５】
本発明によれば、２Ｄ３Ｄ変換技術により所定の一視点の非立体画像から奥行き情報に基づいて作成した擬似的な立体画像を構成する他の視点の画像を参照用画像とし、撮影者が撮影する上記の他の視点の画像の視差を上記参照用画像の視差に近付けるように基線長や輻輳角を調整し撮影をすることで、立体画像撮影経験の少ない撮影者でも、適切な立体感を持った立体画像を容易に撮影することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の立体画像撮影装置の一実施の形態のブロック図である。
【図２】図１中の擬似立体画像生成装置の一例のブロック図である。
【図３】基本奥行きモデルタイプＡの画像の立体構造の一例である。
【図４】基本奥行きモデルタイプＢの画像の立体構造の一例である。
【図５】基本奥行きモデルタイプＣの画像の立体構造の一例である。
【図６】図２中の合成部における合成比率の決定条件の一例を示す図である。
【図７】図１中の画像合成部の第１の実施の形態のブロック図である。
【図８】図７の画像合成部により画像合成された画像の表示例を示す図である。
【図９】図１中の画像合成部の第２の実施の形態のブロック図である。
【図１０】図９の画像合成部により画像合成された画像の表示例を示す図である。
【図１１】図１中の画像合成部の第３の実施の形態のブロック図である。
【図１２】図１１の画像合成部により画像合成された画像の表示例を示す図である。
【図１３】図１中の画像合成部の第４の実施の形態のブロック図である。
【図１４】図１３の画像合成部により画像合成された画像の表示例を示す図である。
【図１５】本発明の立体画像撮影装置の他の実施の形態のブロック図である。
【図１６】ステレオカメラと被写体の両眼視差における位置関係を示す図である。
【図１７】平行法で撮影した時のステレオカメラの基線長調整による両眼視差の変化を示す図である。
【図１８】左目用カメラ部と右目用カメラ部の輻輳角調整による両眼視差変化を示す図である。
【図１９】視聴時の快適視野範囲に入っている撮影対象とする２つの被写体（物体Ａと物体Ｂ）と背景との関係の第１の例を示す図である。
【図２０】視聴時の快適視野範囲に入っている撮影対象とする２つの被写体（物体Ａと物体Ｂ）と背景との関係の第２の例を示す図である。
【図２１】視聴時の快適視野範囲に入っている撮影対象とする２つの被写体（物体Ａと物体Ｂ）と背景との関係の第３の例を示す図である。
【発明を実施するための形態】
【００２７】
次に、本発明の一実施の形態について図面を参照して詳細に説明する。
【００２８】
図１は、本発明になる立体画像撮影装置の一実施の形態のブロック図を示す。同図において、本実施の形態の立体画像撮影装置１００は、被写体を撮像して左目用画像信号を出力する左撮像センサ１０１と、上記被写体を撮像して右目用画像信号を出力する右撮像センサ１０２と、左目用画像信号用のインタフェースである左画像入力部１０３と、右目用画像信号用のインタフェースである右画像入力部１０４と、左画像記録部１０５と、右画像記録部１０６と、右目画像１０９と参照用左目画像１１０とを生成する擬似立体画像生成装置１０７と、左目画像１０８と参照用左目画像１１０とを合成する画像合成部１１１と、画像合成信号の表示を行う画像表示装置１１２とより構成されている。また、立体画像撮影装置１００は、左撮像センサ１０１と右撮像センサ１０２との間の基線長及び輻輳角（内向きの角度）を手動で調整する調整機構を備えている。
【００２９】
なお、本実施形態の立体画像撮影装置１００では、右目画像を基準画像として、リファレンス画像となる参照用左目画像を作成しているが、左目画像を基準画像として、参照用右目画像を作成してもよい。その場合は、実施の形態と左目画像の信号処理系及び右目画像の信号処理系が逆になる。
【００３０】
本発明の撮像手段である左撮像センサ１０１と右撮像センサ１０２とは、人間の左右の目の間隔程度の距離だけ互いの撮影光軸が離間して配置されており、それぞれは一般的なＣＣＤ(Charge Coupled Devise:電荷転送素子)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの固体撮像素子や撮像管が使用できる。
【００３１】
左画像入力部１０３は、左撮像センサ１０１から出力される左目用画像信号をインタフェースする。例えば、左撮像センサ１０１から出力される左目用画像信号がアナログ信号の場合、左画像入力部１０３は、入力画像信号をＡ／Ｄ変換してディジタル信号の左目用画像信号を出力する。右画像入力部１０４も、左画像入力部１０３と同様に、右撮像センサ１０２から出力される右目用画像信号をインタフェースする。
【００３２】
左画像記録部１０５は、左画像入力部１０３から出力される左目用画像信号に対して所定の圧縮処理等を行った後、記憶媒体に記録する。右画像記録部１０６は、右画像入力部１０４から出力される右目用画像信号に対して所定の圧縮処理等を行った後、記憶媒体に記録する。左画像記録部１０５及び右画像記録部１０６は、上記の記憶媒体として、ハードディスクドライブ（ＨＤＤ）やフラッシュメモリを有し、互いに時間がずれないように、圧縮処理後の左目用画像信号、圧縮処理後の右目用画像信号を同期して記録する。なお、左画像記録部１０５及び右画像記録部１０６は、記録を別々の記憶媒体に行ってもよいし、圧縮処理後の左目用画像信号及び右目用画像信号を併せて一つのビットストリームとして共通の記憶媒体に記録してもよい。
【００３３】
本発明の擬似立体画像生成手段である擬似立体画像生成装置１０７は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない２次元画像（非立体画像）から擬似的な３次元立体画像を生成する前述した２Ｄ３Ｄ変換を行う装置であり、右画像入力部１０４から出力される非立体画像である２次元の右目用画像に基づいて、右目用画像１０９と擬似的な立体画像を構成する参照用左目画像１１０を生成する。この擬似立体画像生成装置１０７の構成及び動作の詳細は、後述する。
【００３４】
本発明の画像合成手段である画像合成部１１１は、左画像入力部１０３から出力される左目画像１０８と、擬似立体画像生成装置１０７から出力される参照用左目画像１１０とを重ねて合成する。このとき、画像合成部１１１は、左画像入力部１０３から出力される左目画像１０８と、擬似立体画像生成装置１０７から出力される参照用左目画像１１０との違いを分かり易くするための後述する画像処理を施す。本発明の表示手段である画像表示装置１１２は、画像合成部１１１から出力される合成画像を表示する。
【００３５】
上記の構成の本実施の形態の立体画像撮影装置１００によれば、右撮像センサ１０２により撮影した非立体画像である右目画像から擬似立体画像生成装置１０７により奥行き情報に基づいて作成した擬似的な立体画像を構成する左目画像を参照用左目画像１１０とし、左撮像センサ１０１により撮影する左目画像１０８の視差を上記参照用左目画像１１０の視差に近付けるように、左撮像センサ１０１と右撮像センサ１０２との間の基線長や輻輳角を調整することで、立体画像撮影経験の少ない撮影者でも、適切な立体感を持った立体画像を容易に撮影することができる。
【００３６】
次に、擬似立体画像生成装置１０７の構成及び動作について説明する。
【００３７】
図２は、擬似立体画像生成装置１０７の一例のブロック図を示す。図２に示す擬似立体画像生成装置１０７は、本出願人が特許第４２１４９７６号公報にて開示した擬似立体画像作成装置と同様の構成であるが、本発明はこの構成に限定されるものではなく、その他の公知の２Ｄ３Ｄ変換技術を用いることができる。
【００３８】
図２において、画像入力部２０１は、フレームメモリを備えており、図４の右画像入力部１０４から出力される非立体画像信号である１フレーム分の右目用画像信号を一時記憶した後、その１フレーム分の右目用画像信号を画面上部の高域成分評価部２０２、画面下部の高域成分評価部２０３及びテクスチャシフト部２１０にそれぞれ供給すると共に、右目用画像信号中の赤色信号（Ｒ信号）成分のみを加算部２０９に供給する。
【００３９】
画面上部の高域成分評価部２０２は、１フレーム分の右目用画像信号における画面の上部約２０％にあたる領域内での高域成分を求めて、画面上部の高域成分評価値として算出する。そして、画面上部の高域成分評価部２０２は、画面上部の高域成分評価値を合成部２０７に供給する。画面下部の高域成分評価部２０３は、１フレーム分の右目用画像信号における画面の下部約２０％領域内にあたる領域内での高域成分を求めて、画面下部の高域成分評価値として算出する。そして、画面下部の高域成分評価部２０３は、画面下部の高域成分評価値を合成部２０７に供給する。
【００４０】
一方、フレームメモリ２０４は基本奥行きモデルタイプＡ、フレームメモリ２０５は基本奥行きモデルタイプＢ、フレームメモリ２０６は基本奥行きモデルタイプＣの画像を予め格納している。これらの基本奥行きモデルタイプＡ〜Ｃの画像は、それぞれ非立体画像信号を基に奥行き推定データを生成して擬似立体画像信号を生成するための基本となるシーンの画像を示す。
【００４１】
すなわち、上記の基本奥行きモデルタイプＡの画像は、球面状の凹面による奥行きモデルの画像で、図３に示すような立体構造の画像を示す。多くの場合に、この基本奥行きモデルタイプＡの画像が使用される。オブジェクトが存在しないシーンにおいては、画面中央を一番遠距離に設定することにより、違和感の少ない立体感及び快適な奥行き感が得られるからである。
【００４２】
また、上記の基本奥行きモデルタイプＢの画像は、基本奥行きモデルタイプＡの画像の上部を球面でなく、アーチ型の円筒面に置き換えたもので、図４に立体構造を示すような、上部を円筒面（軸は垂直方向）で下部を凹面（球面）としたモデルの画像である。
【００４３】
更に、上記の基本奥行きモデルタイプＣの画像は、図５に立体構造を示すような、上部を平面とし、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、上部が平面、下部が円筒面（軸は水平方向）としたモデルの画像である。基本奥行きモデルタイプ発生手段を構成するフレームメモリ２０４〜２０６に格納されている、これら基本奥行きモデルタイプＡ〜Ｃの画像は、合成部２０７へ供給される。
【００４４】
合成部２０７は、まず、画面上部の高域成分評価部２０２から供給された画面上部の高域成分評価値と、画面下部の高域成分評価部２０３から供給された画面下部の高域成分評価値とに基づいて、画像のシーンを考慮することなく、予め定められた方法により、基本奥行きモデルタイプＡの合成比率ｋ１、基本奥行きモデルタイプＢの合成比率ｋ２、基本奥行きモデルタイプＣの合成比率ｋ３を自動的に算出する。なお、３つの合成比率ｋ１〜ｋ３の合計値は常に「１」である。
【００４５】
図６は、合成比率の決定条件の一例を示す。図６は、横軸に示す画面上部の高域成分評価値（以下、上部の高域成分評価値と略す）と、縦軸に示す画面下部の高域成分評価値（以下、下部の高域成分評価値と略す）の各値と、予め指定された値ｔｐｓ、ｔｐｌ、ｂｍｓ、ｂｍｌとの兼ね合いにより合成比率が決定されることを示す。この合成比率の決定条件は、本出願人が特許第４２１４９７６号公報にて開示した公知の決定条件であるが、これに限定されるものではない。
【００４６】
図６において、複数のタイプが記載されている領域については、高域成分評価値に応じて線形に合成される。例えば、図６において、「ｔｙｐｅＡ／Ｂ」の領域では、下記のように（上部の高域成分評価値）と（下部の高域成分評価値）の比率で基本奥行きモデルタイプＡの値であるｔｙｐｅＡと基本奥行きモデルタイプＢの値であるｔｙｐｅＢの比率が決定され、基本奥行きモデルタイプＣの値であるｔｙｐｅＣは比率の決定には用いられない。
【００４７】
ｔｙｐｅＡ：ｔｙｐｅＢ：ｔｙｐｅＣ
＝（上部の高域成分評価値−ｔｐｓ）：（ｔｐ１−下部の高域成分評価値）：０
また、図６において、「ｔｙｐｅＡ／Ｂ／Ｃ」の領域では、ｔｙｐｅＡ／ＢとｔｙｐｅＡ／Ｃとの平均を採用して、下記のようにｔｙｐｅＡ／Ｂ／Ｃの値が決定される。
【００４８】
ｔｙｐｅＡ：ｔｙｐｅＢ：ｔｙｐｅＣ
＝（上部の高域成分評価値−tps）＋（下部の高域成分評価値−bms）：（tpl−
上部の高域成分評価値）：（bml−下部の高域成分評価値）
なお、合成比率ｋ１、ｋ２、ｋ３は次式で算出される。
【００４９】
ｋ１＝ｔｙｐｅＡ／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
ｋ２＝ｔｙｐｅＢ／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
ｋ３＝ｔｙｐｅＣ／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
合成部２０７は、続いて、上記のように算出した合成比率ｋ１〜ｋ３が示す比率で、基本奥行きモデルタイプＡ〜Ｃの画像を合成して合成奥行きモデルとなる画像信号を生成する。
【００５０】
加算部２０９は、合成部２０７から供給される合成奥行きモデルとなる画像信号と、画像入力部２０１から供給されるＲ信号成分とを加算して奥行き推定データを生成する。上記のＲ信号成分は、画像入力部２０１において、輝度信号（Ｙ）及び色差信号Ｃｒとから、Ｒ＝Ｙ＋Ｃｒといった演算で算出される。
【００５１】
なお、Ｒ信号成分を使用する理由の一つは、順光に近い環境で、かつ、テクスチャの明るさの度合い（明度）の変化が大きくない条件下で、Ｒ信号成分の大きさが原画像の凹凸と一致する確率が高いという経験則による。テクスチャとは、画像を構成する要素であり、単一の画素もしくは画素群で構成される。
【００５２】
更に、Ｒ信号成分を使用するもう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。
【００５３】
なお、赤色及び暖色が前進色であるのに対し、青色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。よって、青色の部分を奥に配置することによっても立体感の強調は可能である。更に双方を併用して、赤色の部分を手前、青色の部分を奥に配置することによって立体感を強調することも可能である。
【００５４】
テクスチャシフト部２１０は、画像入力部２０１から供給される右目用画像信号と、加算部２０９から供給される奥行き推定データとに基づいて、右目用画像信号とは別視点の画像信号を生成する。例えば、テクスチャシフト部２１０は、入力右目用画像信号を画面表示させた場合の視点を基準にして、左に視点移動した画像信号を生成する。その場合、テクスチャシフト部２１０は、ユーザーに対してテクスチャを近景として表示させるときは、近い画像ほどユーザーの内側（鼻側）に見えるので、画面右側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。また、テクスチャシフト部２１０は、ユーザーに対してテクスチャを遠景として表示させるときは、遠い画像ほどユーザーの外側に見えるので、画面左側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。
【００５５】
ここでは、それぞれの画素に対する奥行き推定データを８ビットの値Ｄｄで表すものとする。テクスチャシフト部２１０は、Ｄｄの小さい値（すなわち、画面奥に位置するもの）から順に、そのＤｄに対応する入力右目用画像信号のテクスチャをそれぞれの画素毎に（Ｄｄ−ｍ）／ｎ画素分右にシフトした画像信号を生成する。上記のｍは飛び出し感を表すパラメータ（輻輳値）であり、上記のｎは奥行きを表すパラメータ（奥行き値）である。
【００５６】
なお、ユーザーには、奥行き推定データを示す値Ｄｄの小さいテクスチャは画面奥側に見え、奥行き推定データを示す値Ｄｄの大きいテクスチャは画面手前に見える。奥行き推定データを示す値Ｄｄ、輻輳値ｍ、奥行き値ｎは０〜２５５の範囲の値であり、例えば、輻輳値ｍ＝２００、奥行き値ｎ＝２０である。
【００５７】
オクルージョン補償部２１１は、テクスチャシフト部２１０より出力された別視点の画像信号に対してオクルージョンの補償を行い、オクルージョン補償された画像信号をポスト処理部２１２に供給する。オクルージョンとは、テクスチャをシフトした結果、画像中の位置関係変化によりテクスチャの存在しない部分のことをいう。オクルージョン補償部２１１は、テクスチャシフトされた画像信号に対応する元の入力右目用画像信号によりオクルージョンの箇所を充填する。また、公知の文献（山田邦男、望月研二、相澤清晴、齊藤隆弘："領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”、映像情報学会誌、Vol.56,No.5,pp.863〜866（2002.5））に記載の手法でオクルージョンを補償してもよい。
【００５８】
ポスト処理手段であるポスト処理部２１２は、オクルージョン補償部２１１によりオクルージョン補償された画像信号に対して、平滑化やノイズの除去などのポスト処理を公知の方法で必要に応じて行い、左目用画像信号を出力する。
【００５９】
ここで、テクスチャシフト部２１０が出力する画像信号のシフト量（Ｄｄ−ｍ）／ｎ画素において、入力右目用画像信号によって変化する奥行き推定データの値Ｄｄ以外の輻輳値ｍと奥行き値ｎは固定値であり、それぞれは０〜２５５の範囲の値のため、最大画素シフト量を求めることができる。最大画素シフト量が決まれば、画像の画素数及び再生時の標準観視距離から最大の視差角を求めることができる。上記の輻輳値ｍと奥行き値ｎを適切に設定すれば、２Ｄ３Ｄ変換された画像は決められた範囲の視差角に収まる。そこで、擬似立体画像生成装置１０７は、この２Ｄ３Ｄ変換されてポスト処理部２１２から出力される左目用映像信号を参照用左目画像１１０として出力し、基線長や輻輳角を調整するときの基準（手本）とする。なお、擬似立体画像生成装置１０７は、画像入力部２０１から出力される右目用画像信号をそのまま右目用画像１０９として出力する。
【００６０】
次に、本実施形態の要部の画像合成部１１１の構成の各例とその動作について更に詳細に説明する。画像合成部１１１は、左目画像１０８と参照用左目画像１１０とを表示したときに、目視によりそれらの違いが分かるように、以下説明する各種の方法で互いに区別して表示される信号形態で合成するものである。
【００６１】
図７は、図１中の画像合成部１１１の第１の実施の形態のブロック図を示す。本実施の形態の画像合成部１１１Ａは、ＲＧＢ→ＹＵＶ変換部１２１及び１２２と、ＲＧＢ調整部１２３とから構成され、左目画像１０８と参照用左目画像１１０とで色相を変え、色の重なりで調整のずれを表現する画像合成を行うものである。
【００６２】
ＲＧＢ→ＹＵＶ変換部１２１は、ＲＧＢの三原色信号である左目画像１０８を、輝度信号Ｙと２種類の色差信号Ｕ、Ｖに変換し、そのうちの輝度信号のみをＲＧＢ調整部１２３に供給する。一方、ＲＧＢ→ＹＵＶ変換部１２２は、ＲＧＢの三原色信号である参照用左目画像１１０を、輝度信号Ｙと２種類の色差信号Ｕ、Ｖに変換し、そのうちの輝度信号のみをＲＧＢ調整部１２３に供給する。すなわち、被写体の左目用画像１０８と参照用左目画像１１０は、被写体が視認できるように白黒画像に変換される。
【００６３】
ＲＧＢ調整部１２３は、ＲＧＢ→ＹＵＶ変換部１２１から供給される輝度信号は緑色信号（Ｇ信号）とし、ＲＧＢ→ＹＵＶ変換部１２２から供給される輝度信号は赤色信号（Ｒ信号）とし、更に青色信号（Ｂ信号）は０としてＲＧＢ信号処理を行う。そして、このＲＧＢ調整部１２３は、ＲＧＢ信号処理して得たＲＧＢ調整信号を図１の画像表示装置１１２に供給して表示させる。
【００６４】
これにより、図８に示すように、画像表示装置１１２の表示画面１２５には、例えば、左撮像センサ１０１で撮像された左目画像１２６ａと生成された参照用左目画像１２７ａとが重複部１２８ａを有して表示されると共に、左撮像センサ１０１で撮像された左目画像１２６ｂと生成された参照用左目画像１２７ｂとが重複部１２８ｂを有して表示される場合、重複部１２８ａ、１２８ｂ以外の領域の左目画像１２６ａ、１２６ｂは緑色で表示され、参照用左目画像１２７ａ、１２７ｂは赤色で表示される。一方、重複部１２８ａ及び１２８ｂはそれぞれ黄色で表示される。
【００６５】
撮影者は、表示画面１２５を目視にて確認しながら、色が重なっている重複部１２８ａ及び１２８ｂの領域が大きくなるように（重なっている領域が増えるように）、左撮像センサ１０１と右撮像センサ１０２との間の基線長や輻輳角を調整することにより、擬似立体画像生成装置が生成する擬似立体画像に近い適切な立体感を持った立体画像を容易に撮影することができる。
【００６６】
図９は、図１中の画像合成部１１１の第２の実施の形態のブロック図を示す。本実施の形態の画像合成部１１１Ｂは、画像切り替え部１３０と、タイマ１３１とから構成され、ある一定周期で左目画像１０８と参照用左目画像１１０とを交互に切り替えた画像合成を行うものである。
【００６７】
画像切り替え部１３０は、左目画像１０８と参照用左目画像１１０とを入力信号として受け、タイマ１３１からの一定周期（例えば、０.５秒）の対称方形波である切り替え信号により、左目画像１０８と参照用左目画像１１０とを交互に切り替えて出力する。例えば、画像切り替え部１３０は、タイマ１３１からハイレベルの切り替え信号が出力される０.５秒期間は左目画像１０８を選択出力し、続いてタイマ１３１からローレベルの切り替え信号が出力される０.５秒期間は参照用左目画像１１０を選択出力し、以後同様の動作を繰り返す。そして、画像切り替え部１３０は、選択出力した信号を図１の画像表示装置１１２に供給して表示させる。
【００６８】
これにより、画像表示装置１１２の表示画面１２５には、画像切り替え部１３０により左目画像１０８が選択出力される期間は、図１０（Ａ）に示すように、例えば、左目画像１３３ａと１３３ｂとが表示され、画像切り替え部１３０により参照用左目画像１１０が選択出力される期間は、図１０（Ｂ）に示すように、例えば、参照用左目画像１３４ａと１３４ｂとが表示される。
【００６９】
撮影者は、図１０（Ａ）、（Ｂ）に示す表示画面１２５を目視にて確認しながら、切り替え表示される左目画像１３３ａと参照用左目画像１３４ａとのずれ、及び左目画像１３３ｂと参照用左目画像１３４ｂとのずれが、それぞれ小さくなるように、左撮像センサ１０１と右撮像センサ１０２との間の基線長や輻輳角を調整することにより、擬似立体画像生成装置が生成する擬似立体画像に近い適切な立体感を持った立体画像を容易に撮影することができる。
【００７０】
図１１は、図１中の画像合成部１１１の第３の実施の形態のブロック図を示す。本実施の形態の画像合成部１１１Ｃは、画像切り替え部１４０と、ライン判別部１４１とから構成され、ライン毎に左目画像１０８と参照用左目画像１１０とを交互にした画像を合成するものである。
【００７１】
画像切り替え部１４０は、左目画像１０８と参照用左目画像１１０とを入力信号として受け、ライン判別部１４１からのライン判別結果により、左目画像１０８と参照用左目画像１１０とを交互に切り替えて出力する。ライン判別部１４１は、左目画像１０８の画像信号中の水平同期信号を基にライン数を数え、そのライン数に基づいて奇数ラインか偶数ラインかを判別し、例えば奇数ラインのときにはハイレベルを、偶数ラインのときにはローレベルのライン判別結果を出力する。
【００７２】
画像切り替え部１４０は、例えばライン判別結果がハイレベルのとき左目画像１０８を選択出力し、ライン判別結果がローレベルのとき参照用左目画像１１０を選択出力する。そして、画像切り替え部１４０は、選択出力した信号を図１の画像表示装置１１２に供給して表示させる。
【００７３】
これにより、画像表示装置１１２の表示画面１２５には、図１２に示すように、奇数ラインでは左目画像１４３ａ、１４３ｂが表示され、偶数ラインでは参照用左目画像１４４ａ、１４４ｂが表示され、すだれ状の画像が表示される。
【００７４】
撮影者は、図１２に示す表示画面１２５を目視にて確認しながら、すだれ状の画像１４３ａ及び１４４ａと、１４３ｂ及び１４４ｂのそれぞれのずれが小さくなるように、左撮像センサ１０１と右撮像センサ１０２との間の基線長や輻輳角を調整することにより、擬似立体画像生成装置が生成する擬似立体画像に近い適切な立体感を持った立体画像を容易に撮影することができる。
【００７５】
図１３は、図１中の画像合成部１１１の第４の実施の形態のブロック図を示す。本実施の形態の画像合成部１１１Ｄは、ＲＧＢ→ＹＵＶ変換部１５０及び１５１と、輪郭抽出フィルタ１５２と、Ｙ加算器１５３と、ＹＵＶ→ＲＧＢ変換部１５４とから構成され、参照用左目画像１１０の輪郭を抽出して左目画像１０８と合成することで、２つの画像の違いを分かり易くするものである。
【００７６】
ＲＧＢ→ＹＵＶ変換部１５０は、ＲＧＢの三原色信号である左目画像１０８を、輝度信号Ｙと２種類の色差信号Ｕ、Ｖに変換してＹ加算器１５３に供給する。一方、ＲＧＢ→ＹＵＶ変換部１５１は、ＲＧＢの三原色信号である参照用左目画像１１０を、輝度信号Ｙと２種類の色差信号Ｕ、Ｖに変換し、そのうちの輝度信号のみを輪郭抽出フィルタ１５２に供給する。
【００７７】
輪郭抽出フィルタ１５２は、ソベルフィルタやラプラシアンフィルタなどの公知のフィルタにより構成されており、参照用左目画像１１０の輝度信号の輪郭画像を抽出してＹ加算器１５３に供給する。
【００７８】
Ｙ加算器１５３は、ＲＧＢ→ＹＵＶ変換部１５０から供給される左目画像１０８の輝度信号Ｙと２種類の色差信号Ｕ、Ｖのうちの輝度信号を、輪郭抽出フィルタ１５２からの参照用左目画像１１０の輝度信号の輪郭画像に加算して出力し、左目画像１０８の２種類の色差信号Ｕ及びＶはそのまま出力する。
【００７９】
ＹＵＶ→ＲＧＢ変換部１５４は、Ｙ加算器１５３から出力されるＹＵＶ信号をＲＧＢ信号に変換して図１の画像表示装置１１２に供給して表示させる。ＹＵＶ→ＲＧＢ変換部１５４から出力されるＲＧＢ信号は、参照用左目画像１１０の輪郭画像が左目画像１０８に合成された信号である。
【００８０】
これにより、図１４に示すように、画像表示装置１１２の表示画面１２５には、例えば、左撮像センサ１０１で撮像された左目画像１５６ａと生成された参照用左目画像の輪郭画像１５７ａとがずれて表示されると共に、左撮像センサ１０１で撮像された左目画像１５６ｂと生成された参照用左目画像の輪郭画像１５７ｂとがずれて表示される。
【００８１】
撮影者は、表示画面１２５を目視にて確認しながら、左目画像１５６ａ及び参照用左目画像の輪郭画像１５７ａとのずれと、左目画像１５６ｂと参照用左目画像の輪郭画像１５７ｂとのずれが小さくなるように、左撮像センサ１０１と右撮像センサ１０２との間の基線長や輻輳角を調整することにより、擬似立体画像生成装置１０７が生成する擬似立体画像に近い適切な立体感を持った立体画像を容易に撮影することができる。
【００８２】
次に、本発明の他の実施の形態について説明する。
【００８３】
図１５は、本発明になる立体画像撮影装置の他の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図１５に示す本実施の形態の立体画像撮影装置１８０は、図１に示した立体画像撮影装置１００と比較して、画像表示装置１１２の替りにステレオ画像表示装置１１５を設けたものである。
【００８４】
ステレオ画像表示装置１１５は、画像合成部１１１から出力される合成画像信号を左目画像とし、右画像入力部１０４から擬似立体画像生成装置１０７を通してそのまま出力される右目用画像信号を右目画像１０９としてステレオ画像表示を行う。
【００８５】
撮影者は、ステレオ画像表示装置１１５に表示されている擬似立体画像を目視しながら、左撮像センサ１０１と右撮像センサ１０２との間の基線長や輻輳角を調整することにより、ステレオ画像表示装置１１５の表示画像により立体感調整結果を確認することができる。
【００８６】
なお、ステレオ画像表示装置１１５には、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネとを組み合わせたプロジェクションシステムもしくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、パララックスバリア方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。また、ステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクションシステムもステレオ画像表示装置１１５に含まれる。
【符号の説明】
【００８７】
１００、１８０ 立体画像撮影装置
１０１ 左撮影センサ
１０２ 右撮影センサ
１０３ 左画像入力部
１０４ 右画像入力部
１０５ 左画像記録部
１０６ 右画像記録部
１０７ 擬似立体画像生成装置
１０８、１２６ａ、１２６ｂ、１３３ａ、１３３ｂ、１４３ａ、１４３ｂ、１５６ａ、１５６ｂ 左目画像
１０９ 右目画像
１１０、１２７ａ、１２７ｂ、１３４ａ、１３４ｂ、１４４ａ、１４４ｂ、１５７ａ、１５７ｂ 参照用左目画像
１１１、１１１Ａ、１１１Ｂ、１１１Ｃ、１１１Ｄ 画像合成部
１１２ 画像表示装置
１１５ ステレオ画像表示装置
１２１、１２２、１５０、１５１ ＲＧＢ→ＹＵＶ変換部
１２３ ＲＧＢ調整部
１２５ 表示画面
１３０、１４０ 画像切り替え部
１３１ タイマ
１４１ ライン判別部
１５２ 輪郭抽出フィルタ
１５３ Ｙ加算器
１５４ ＹＵＶ→ＲＧＢ変換部
【技術分野】
【０００１】
本発明は立体画像撮影装置に係り、特に奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない一視点の画像（非立体画像）から作成された擬似的な立体画像を参照用画像として利用して、複数視点の立体画像を撮影する立体画像撮影装置に関する。
【背景技術】
【０００２】
従来、２視点の画像を同時に撮影し記録する立体画像撮影装置として、ステレオカメラが知られている。ステレオカメラは、左目に対応するカメラ部（光学系や撮像系）と右目に対応するカメラ部（光学系や撮像系）とを持っており、これらの２つのカメラ部別に撮影した画像を記録することにより立体画像を記録する。ステレオカメラは、１つのカメラ筐体の中に２つのカメラ部と記録系を持ったものの他に、２台のカメラ部があれば簡単に手作りできるため、最近ではデジタルカメラやムービーを２台使ったものがある。
【０００３】
ステレオカメラで記録された立体画像を再生して得られる再生画像の立体感は、左右の見える像の位置の差である両眼視差が大きく関与する。両眼視差は、撮影時の２つのカメラ部の基線長および輻輳角、レンズの倍率で決まる。
【０００４】
図１６は、平行法で撮影した時のステレオカメラと被写体との関係の一例を示す。同図において、ステレオカメラは、左目用カメラ部１Ｌと右目用カメラ部１Ｒとを含む構成とされている。平行法で撮影するときには、図１６に示すように、左目用カメラ部１Ｌと右目用カメラ部１Ｒは、それぞれの光軸方向が互いに平行に保持されて、被写体２を撮影する。このときの左目用カメラ部１Ｌと右目用カメラ部１Ｒの各光軸との間の距離は基線長と呼ばれ、左目用カメラ部１Ｌと右目用カメラ部１Ｒが被写体２の同じ一点（注視点）を撮像するとき、左目用カメラ部１Ｌと右目用カメラ部１Ｒの各光軸が注視点となす交角は輻輳角と呼ばれる。
【０００５】
ここで、図１７に示すように、同じ被写体２ａを平行法で撮影している時にレンズの倍率を上げるため、左目用カメラ部１Ｌに対して右目用カメラ部１Ｒを１Ｒ’の位置に移動すると基線長が長くなり、また、画角が狭くなって輻輳角がａからａ’へ大きくなる方向に働く。レンズの倍率は、画の構図によって決めるため、基線長及び輻輳角を変えて立体感を調整する。調整としては、図１７のように、基線長を伸ばすことで、輻輳角が増える。
【０００６】
また、図１７に示すように、被写体２ａよりも遠い位置にある被写体２ｂに対しては、同じ基線長では輻輳角が輻輳角ａより小さな輻輳角ｂとなるので、基線長を同じ値だけ変化させると、被写体２ｂに対する輻輳角ｂ’は、被写体２ａに対する輻輳角ａ’よりも小さく変化する。
【０００７】
一方、図１８に示すように、左目用カメラ部１Ｌと右目用カメラ部１Ｒの各光軸方向を被写体２ａ、２ｂの位置に応じて変化させる撮影法では、被写体２ａ、２ｂまでの距離にかかわらず、一律に輻輳角が加減調整される。例えば、図１８に示すように、左目用カメラ部１Ｌと右目用カメラ部１Ｒの各光軸を平行にしたときの光軸方向の直線と左目用カメラ部１Ｌと右目用カメラ部１Ｒの光軸とのなす角度が、被写体２ａに対してはそれぞれθＬ、θＲであり、被写体２ｂに対してはそれぞれθＬ’、θＲ’であるので、被写体２ｂに両眼視差０となるように調整しても、被写体２ａに対しては、（θＬ’+θＲ’）の輻輳角がある。
【０００８】
これら２つの撮影法を組み合わせて、複数の被写体の奥行きを含めた立体感を調整することができる。しかし、再生した際の立体感を想定して基線長やカメラ側の輻輳(θＬ,θＲ)を調整する必要があるために、立体撮影は難しい。また、立体撮影時には、撮影時のズームやマクロ撮影により、基線長に光学倍率をかけた有効基線長となることも併せて調整しなければならない。
【０００９】
再生した際の立体感は、主に両眼視差に起因している。人間が立体視できる範囲は決まっており、過度の視差は立体視の成立を妨害し、２重像を生じさせ、視覚疲労、不快感の原因となる。非特許文献１によると、快適視差範囲は視差角１度以下が目安とされており、立体視できる上限である融合限界は不特定多数を対象とする場合、視差角２度以下とされている。
【先行技術文献】
【特許文献】
【００１０】
【非特許文献１】「人に優しい３Ｄ普及のための３ＤＣ安全ガイドライン」、２０１０年４月２０日改定、３Ｄコンソーシアム安全ガイドライン部会、p.21〜23
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、立体撮影に慣れていない撮影者は、再生した際の立体感を想定して基線長やカメラ側の輻輳を調整しても、視差をつけすぎて立体画像に見えなかったり、妙に飛び出たり引っ込んでみたりといった違和感を感じる画像を撮ることが多々ある。また、撮影する主たる被写体とそれ以外の背景で、片方に気を取られて調整し、バランスを欠く調整を行い、一部の立体感は良いが、他は駄目といった、失敗した立体画像を撮ることもある。
【００１２】
例えば、撮影対象とする２つの被写体（物体Ａと物体Ｂ）と背景に着目した場合、図１９、図２０及び図２１のいずれの場合も、視聴時の快適視野範囲に入っており、いずれの場合でも立体に見えるが、その立体感に大きな違いがある。なお、図２０〜図２１中、同一部分には同一符号を付してある。
【００１３】
図１９に示すように、視聴者の左目３Ｌ、右目３Ｒから見た場合、表示面７より奥に背景４があり、表示面７よりやや前方の位置５ａに物体Ａがあり、また表示面７よりやや後方の位置６ａに物体Ｂがあるときは、物体Ａと物体Ｂとの奥行きにある程度の差があり、最適な立体感をもたらす奥行きである。
【００１４】
これに対し、図２０に示すように、物体Ａ、物体Ｂがそれぞれ背景４に沿った遠くの位置５ｂ、６ｂにある場合は、その奥行きの差が少なく前後間に乏しく、また背景４に近いために物体Ａ、物体Ｂは背景４に埋没してしまう。一方、図２１に示すように、物体Ａが５ｃで示すように、表示面７よりかなり前方に位置するのに対し、物体Ｂが６ｃで示すように背景４に近い位置にある場合は、物体Ａと物体Ｂとの奥行きが必要以上に強調されてしまう。
【００１５】
図２０や図２１に示すように、背景や被写体の奥行きの配分が不適切な場合、撮影した画像は立体には見えるが、奥行きに違和感があり、撮影に失敗したと感じる。従って、立体撮影には、被写体までの奥行き、物体Ａと物体Ｂとの奥行き差、背景４までの奥行きのバランスが重要である。
【００１６】
前述した平行法の撮影ではこの３つのバランスは調整することができない。一方、基線長や輻輳角を調整する機構を持ったステレオカメラでは、このバランス調整は可能であるので、撮影時にモニタ画面で立体感を確認する方法が考えられる。
【００１７】
しかしながら、デジタルカメラやビデオカメラに付属のモニタ画面は、３インチ程度の小さなものが多く、適切な視聴距離や視野角を確保することができないため、付属のモニタと家庭の立体テレビジョン受像機とでは視野角が異なり、これによって調整し撮影した立体画像を家庭の立体テレビジョン受像機で見ると、撮影時に意図した立体感が得られないことが多い。従って、撮影時にモニタ画面を見ながら意図した立体感に調整することは困難である。
【００１８】
また、撮影された立体画像を再生した際に得られる立体感を補正する簡易的な方法として、左右の画像を水平方向にずらすのが一般的に行われている。この簡易的な方法では、図１８に示した２台のカメラ部１Ｌ、１Ｒの角度を調整する撮影方法と近い効果が得られる。しかし、この調整方法は、被写体までの距離やレンズ倍率の変化が少ない場合はよいが、ズームをしてレンズ倍率が変化したり、距離や倍率が異なる違うシーンを見る場合などでは、頻繁に調整する必要が出てくる。また、この簡易的な方法では、図１７に示した基線長調整による被写体までの距離に応じた奥行きを考慮した調整が行われない。
【００１９】
撮影時に、一定の立体感となるよう管理された調整を行えば、再生時に視聴環境側に起因する部分の補正のみで適切な立体画像を鑑賞できるが、立体撮影に慣れていない撮影者にとっては、何らかの指針無しでは、そのような管理された調整を行うのは困難である。
【００２０】
ところで、２次元画像（非立体画像）から擬似的な３次元立体画像を生成する２Ｄ３Ｄ変換技術が知られており、この２Ｄ３Ｄ変換技術によれば２次元画像を解析することで、奥行き情報を作り出す。従って、この２Ｄ３Ｄ変換技術により、奥行き情報を推定する際に、図１９に示したような快適視野範囲内で最適な立体感をもたらす奥行き情報を生成し、その奥行き情報に基づく擬似的な立体画像を作成することができる。そこで、この２Ｄ３Ｄ変換技術により作成される画像を、基線長や輻輳角を調整する指針としての参照画像として用いることが考えられる。
【００２１】
本発明は以上の点に鑑みなされたもので、２Ｄ３Ｄ変換技術により所定の一視点の非立体画像から奥行き情報に基づいて作成した擬似的な立体画像を構成する他の視点の画像を参照用画像とし、撮影者が撮影する上記の他の視点の画像の視差を上記参照用画像の視差に近付けるように基線長や輻輳角を調整し撮影をすることで、立体画像撮影経験の少ない撮影者でも、適切な立体感を持った立体画像を容易に撮影することができる立体画像撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００２２】
上記目的を達成するため、本発明は、互いに異なる複数の視点の撮像信号を別々に得る複数の撮像手段と、複数の撮像手段のうちの一の撮像手段から出力される所定の一の視点の撮像信号が、奥行き情報が明示的にも又は暗示的にも与えられていない非立体画像として入力され、入力非立体画像から擬似的な立体画像を生成する擬似立体画像生成手段と、擬似立体画像生成手段により生成された、所定の一の視点の入力非立体画像と共に擬似的な立体画像を構成する複数の視点のうち所定の一の視点以外の他の視点の画像を参照用画像とし、その参照用画像に、複数の撮像手段のうちの一の撮像手段以外の他の撮像手段から出力される他の視点の撮像信号の画像を、互いに区別して表示される信号形態で合成する画像合成手段とを有することを特徴とする。
【００２３】
また、上記の目的を達成するため、本発明は、複数の撮像手段の間の基線長及び輻輳角を手動で調整可能な調整手段と、画像合成手段により合成された参照用画像と他の視点の撮像信号の画像とを互いに区別して表示する表示手段とを更に有することを特徴とする。
【００２４】
また、上記の目的を達成するため、本発明は上記の擬似立体画像生成手段が、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の奥行きモデルタイプの画像を記憶する記憶手段と、入力非立体画像の画面内の複数の所定領域における高域周波数成分の画素値の統計量を算定して複数の評価値を得る算定手段と、記憶手段に記憶されている複数の奥行きモデルタイプの画像を、算定手段により得られた評価値に応じた合成比率で合成する合成手段と、合成手段により合成された合成結果と、入力非立体画像とから奥行き推定データを生成する奥行き推定データ生成手段と、入力非立体画像のテクスチャを、対応部分の奥行き推定データに応じた量だけシフトするテクスチャシフト手段と、テクスチャシフト手段から出力された画像信号を参照用画像として出力すると共に、入力非立体画像を参照用画像と共に擬似立体画像を構成する画像として出力する出力手段とを有することを特徴とする。
【発明の効果】
【００２５】
本発明によれば、２Ｄ３Ｄ変換技術により所定の一視点の非立体画像から奥行き情報に基づいて作成した擬似的な立体画像を構成する他の視点の画像を参照用画像とし、撮影者が撮影する上記の他の視点の画像の視差を上記参照用画像の視差に近付けるように基線長や輻輳角を調整し撮影をすることで、立体画像撮影経験の少ない撮影者でも、適切な立体感を持った立体画像を容易に撮影することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の立体画像撮影装置の一実施の形態のブロック図である。
【図２】図１中の擬似立体画像生成装置の一例のブロック図である。
【図３】基本奥行きモデルタイプＡの画像の立体構造の一例である。
【図４】基本奥行きモデルタイプＢの画像の立体構造の一例である。
【図５】基本奥行きモデルタイプＣの画像の立体構造の一例である。
【図６】図２中の合成部における合成比率の決定条件の一例を示す図である。
【図７】図１中の画像合成部の第１の実施の形態のブロック図である。
【図８】図７の画像合成部により画像合成された画像の表示例を示す図である。
【図９】図１中の画像合成部の第２の実施の形態のブロック図である。
【図１０】図９の画像合成部により画像合成された画像の表示例を示す図である。
【図１１】図１中の画像合成部の第３の実施の形態のブロック図である。
【図１２】図１１の画像合成部により画像合成された画像の表示例を示す図である。
【図１３】図１中の画像合成部の第４の実施の形態のブロック図である。
【図１４】図１３の画像合成部により画像合成された画像の表示例を示す図である。
【図１５】本発明の立体画像撮影装置の他の実施の形態のブロック図である。
【図１６】ステレオカメラと被写体の両眼視差における位置関係を示す図である。
【図１７】平行法で撮影した時のステレオカメラの基線長調整による両眼視差の変化を示す図である。
【図１８】左目用カメラ部と右目用カメラ部の輻輳角調整による両眼視差変化を示す図である。
【図１９】視聴時の快適視野範囲に入っている撮影対象とする２つの被写体（物体Ａと物体Ｂ）と背景との関係の第１の例を示す図である。
【図２０】視聴時の快適視野範囲に入っている撮影対象とする２つの被写体（物体Ａと物体Ｂ）と背景との関係の第２の例を示す図である。
【図２１】視聴時の快適視野範囲に入っている撮影対象とする２つの被写体（物体Ａと物体Ｂ）と背景との関係の第３の例を示す図である。
【発明を実施するための形態】
【００２７】
次に、本発明の一実施の形態について図面を参照して詳細に説明する。
【００２８】
図１は、本発明になる立体画像撮影装置の一実施の形態のブロック図を示す。同図において、本実施の形態の立体画像撮影装置１００は、被写体を撮像して左目用画像信号を出力する左撮像センサ１０１と、上記被写体を撮像して右目用画像信号を出力する右撮像センサ１０２と、左目用画像信号用のインタフェースである左画像入力部１０３と、右目用画像信号用のインタフェースである右画像入力部１０４と、左画像記録部１０５と、右画像記録部１０６と、右目画像１０９と参照用左目画像１１０とを生成する擬似立体画像生成装置１０７と、左目画像１０８と参照用左目画像１１０とを合成する画像合成部１１１と、画像合成信号の表示を行う画像表示装置１１２とより構成されている。また、立体画像撮影装置１００は、左撮像センサ１０１と右撮像センサ１０２との間の基線長及び輻輳角（内向きの角度）を手動で調整する調整機構を備えている。
【００２９】
なお、本実施形態の立体画像撮影装置１００では、右目画像を基準画像として、リファレンス画像となる参照用左目画像を作成しているが、左目画像を基準画像として、参照用右目画像を作成してもよい。その場合は、実施の形態と左目画像の信号処理系及び右目画像の信号処理系が逆になる。
【００３０】
本発明の撮像手段である左撮像センサ１０１と右撮像センサ１０２とは、人間の左右の目の間隔程度の距離だけ互いの撮影光軸が離間して配置されており、それぞれは一般的なＣＣＤ(Charge Coupled Devise:電荷転送素子)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの固体撮像素子や撮像管が使用できる。
【００３１】
左画像入力部１０３は、左撮像センサ１０１から出力される左目用画像信号をインタフェースする。例えば、左撮像センサ１０１から出力される左目用画像信号がアナログ信号の場合、左画像入力部１０３は、入力画像信号をＡ／Ｄ変換してディジタル信号の左目用画像信号を出力する。右画像入力部１０４も、左画像入力部１０３と同様に、右撮像センサ１０２から出力される右目用画像信号をインタフェースする。
【００３２】
左画像記録部１０５は、左画像入力部１０３から出力される左目用画像信号に対して所定の圧縮処理等を行った後、記憶媒体に記録する。右画像記録部１０６は、右画像入力部１０４から出力される右目用画像信号に対して所定の圧縮処理等を行った後、記憶媒体に記録する。左画像記録部１０５及び右画像記録部１０６は、上記の記憶媒体として、ハードディスクドライブ（ＨＤＤ）やフラッシュメモリを有し、互いに時間がずれないように、圧縮処理後の左目用画像信号、圧縮処理後の右目用画像信号を同期して記録する。なお、左画像記録部１０５及び右画像記録部１０６は、記録を別々の記憶媒体に行ってもよいし、圧縮処理後の左目用画像信号及び右目用画像信号を併せて一つのビットストリームとして共通の記憶媒体に記録してもよい。
【００３３】
本発明の擬似立体画像生成手段である擬似立体画像生成装置１０７は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない２次元画像（非立体画像）から擬似的な３次元立体画像を生成する前述した２Ｄ３Ｄ変換を行う装置であり、右画像入力部１０４から出力される非立体画像である２次元の右目用画像に基づいて、右目用画像１０９と擬似的な立体画像を構成する参照用左目画像１１０を生成する。この擬似立体画像生成装置１０７の構成及び動作の詳細は、後述する。
【００３４】
本発明の画像合成手段である画像合成部１１１は、左画像入力部１０３から出力される左目画像１０８と、擬似立体画像生成装置１０７から出力される参照用左目画像１１０とを重ねて合成する。このとき、画像合成部１１１は、左画像入力部１０３から出力される左目画像１０８と、擬似立体画像生成装置１０７から出力される参照用左目画像１１０との違いを分かり易くするための後述する画像処理を施す。本発明の表示手段である画像表示装置１１２は、画像合成部１１１から出力される合成画像を表示する。
【００３５】
上記の構成の本実施の形態の立体画像撮影装置１００によれば、右撮像センサ１０２により撮影した非立体画像である右目画像から擬似立体画像生成装置１０７により奥行き情報に基づいて作成した擬似的な立体画像を構成する左目画像を参照用左目画像１１０とし、左撮像センサ１０１により撮影する左目画像１０８の視差を上記参照用左目画像１１０の視差に近付けるように、左撮像センサ１０１と右撮像センサ１０２との間の基線長や輻輳角を調整することで、立体画像撮影経験の少ない撮影者でも、適切な立体感を持った立体画像を容易に撮影することができる。
【００３６】
次に、擬似立体画像生成装置１０７の構成及び動作について説明する。
【００３７】
図２は、擬似立体画像生成装置１０７の一例のブロック図を示す。図２に示す擬似立体画像生成装置１０７は、本出願人が特許第４２１４９７６号公報にて開示した擬似立体画像作成装置と同様の構成であるが、本発明はこの構成に限定されるものではなく、その他の公知の２Ｄ３Ｄ変換技術を用いることができる。
【００３８】
図２において、画像入力部２０１は、フレームメモリを備えており、図４の右画像入力部１０４から出力される非立体画像信号である１フレーム分の右目用画像信号を一時記憶した後、その１フレーム分の右目用画像信号を画面上部の高域成分評価部２０２、画面下部の高域成分評価部２０３及びテクスチャシフト部２１０にそれぞれ供給すると共に、右目用画像信号中の赤色信号（Ｒ信号）成分のみを加算部２０９に供給する。
【００３９】
画面上部の高域成分評価部２０２は、１フレーム分の右目用画像信号における画面の上部約２０％にあたる領域内での高域成分を求めて、画面上部の高域成分評価値として算出する。そして、画面上部の高域成分評価部２０２は、画面上部の高域成分評価値を合成部２０７に供給する。画面下部の高域成分評価部２０３は、１フレーム分の右目用画像信号における画面の下部約２０％領域内にあたる領域内での高域成分を求めて、画面下部の高域成分評価値として算出する。そして、画面下部の高域成分評価部２０３は、画面下部の高域成分評価値を合成部２０７に供給する。
【００４０】
一方、フレームメモリ２０４は基本奥行きモデルタイプＡ、フレームメモリ２０５は基本奥行きモデルタイプＢ、フレームメモリ２０６は基本奥行きモデルタイプＣの画像を予め格納している。これらの基本奥行きモデルタイプＡ〜Ｃの画像は、それぞれ非立体画像信号を基に奥行き推定データを生成して擬似立体画像信号を生成するための基本となるシーンの画像を示す。
【００４１】
すなわち、上記の基本奥行きモデルタイプＡの画像は、球面状の凹面による奥行きモデルの画像で、図３に示すような立体構造の画像を示す。多くの場合に、この基本奥行きモデルタイプＡの画像が使用される。オブジェクトが存在しないシーンにおいては、画面中央を一番遠距離に設定することにより、違和感の少ない立体感及び快適な奥行き感が得られるからである。
【００４２】
また、上記の基本奥行きモデルタイプＢの画像は、基本奥行きモデルタイプＡの画像の上部を球面でなく、アーチ型の円筒面に置き換えたもので、図４に立体構造を示すような、上部を円筒面（軸は垂直方向）で下部を凹面（球面）としたモデルの画像である。
【００４３】
更に、上記の基本奥行きモデルタイプＣの画像は、図５に立体構造を示すような、上部を平面とし、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、上部が平面、下部が円筒面（軸は水平方向）としたモデルの画像である。基本奥行きモデルタイプ発生手段を構成するフレームメモリ２０４〜２０６に格納されている、これら基本奥行きモデルタイプＡ〜Ｃの画像は、合成部２０７へ供給される。
【００４４】
合成部２０７は、まず、画面上部の高域成分評価部２０２から供給された画面上部の高域成分評価値と、画面下部の高域成分評価部２０３から供給された画面下部の高域成分評価値とに基づいて、画像のシーンを考慮することなく、予め定められた方法により、基本奥行きモデルタイプＡの合成比率ｋ１、基本奥行きモデルタイプＢの合成比率ｋ２、基本奥行きモデルタイプＣの合成比率ｋ３を自動的に算出する。なお、３つの合成比率ｋ１〜ｋ３の合計値は常に「１」である。
【００４５】
図６は、合成比率の決定条件の一例を示す。図６は、横軸に示す画面上部の高域成分評価値（以下、上部の高域成分評価値と略す）と、縦軸に示す画面下部の高域成分評価値（以下、下部の高域成分評価値と略す）の各値と、予め指定された値ｔｐｓ、ｔｐｌ、ｂｍｓ、ｂｍｌとの兼ね合いにより合成比率が決定されることを示す。この合成比率の決定条件は、本出願人が特許第４２１４９７６号公報にて開示した公知の決定条件であるが、これに限定されるものではない。
【００４６】
図６において、複数のタイプが記載されている領域については、高域成分評価値に応じて線形に合成される。例えば、図６において、「ｔｙｐｅＡ／Ｂ」の領域では、下記のように（上部の高域成分評価値）と（下部の高域成分評価値）の比率で基本奥行きモデルタイプＡの値であるｔｙｐｅＡと基本奥行きモデルタイプＢの値であるｔｙｐｅＢの比率が決定され、基本奥行きモデルタイプＣの値であるｔｙｐｅＣは比率の決定には用いられない。
【００４７】
ｔｙｐｅＡ：ｔｙｐｅＢ：ｔｙｐｅＣ
＝（上部の高域成分評価値−ｔｐｓ）：（ｔｐ１−下部の高域成分評価値）：０
また、図６において、「ｔｙｐｅＡ／Ｂ／Ｃ」の領域では、ｔｙｐｅＡ／ＢとｔｙｐｅＡ／Ｃとの平均を採用して、下記のようにｔｙｐｅＡ／Ｂ／Ｃの値が決定される。
【００４８】
ｔｙｐｅＡ：ｔｙｐｅＢ：ｔｙｐｅＣ
＝（上部の高域成分評価値−tps）＋（下部の高域成分評価値−bms）：（tpl−
上部の高域成分評価値）：（bml−下部の高域成分評価値）
なお、合成比率ｋ１、ｋ２、ｋ３は次式で算出される。
【００４９】
ｋ１＝ｔｙｐｅＡ／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
ｋ２＝ｔｙｐｅＢ／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
ｋ３＝ｔｙｐｅＣ／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
合成部２０７は、続いて、上記のように算出した合成比率ｋ１〜ｋ３が示す比率で、基本奥行きモデルタイプＡ〜Ｃの画像を合成して合成奥行きモデルとなる画像信号を生成する。
【００５０】
加算部２０９は、合成部２０７から供給される合成奥行きモデルとなる画像信号と、画像入力部２０１から供給されるＲ信号成分とを加算して奥行き推定データを生成する。上記のＲ信号成分は、画像入力部２０１において、輝度信号（Ｙ）及び色差信号Ｃｒとから、Ｒ＝Ｙ＋Ｃｒといった演算で算出される。
【００５１】
なお、Ｒ信号成分を使用する理由の一つは、順光に近い環境で、かつ、テクスチャの明るさの度合い（明度）の変化が大きくない条件下で、Ｒ信号成分の大きさが原画像の凹凸と一致する確率が高いという経験則による。テクスチャとは、画像を構成する要素であり、単一の画素もしくは画素群で構成される。
【００５２】
更に、Ｒ信号成分を使用するもう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。
【００５３】
なお、赤色及び暖色が前進色であるのに対し、青色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。よって、青色の部分を奥に配置することによっても立体感の強調は可能である。更に双方を併用して、赤色の部分を手前、青色の部分を奥に配置することによって立体感を強調することも可能である。
【００５４】
テクスチャシフト部２１０は、画像入力部２０１から供給される右目用画像信号と、加算部２０９から供給される奥行き推定データとに基づいて、右目用画像信号とは別視点の画像信号を生成する。例えば、テクスチャシフト部２１０は、入力右目用画像信号を画面表示させた場合の視点を基準にして、左に視点移動した画像信号を生成する。その場合、テクスチャシフト部２１０は、ユーザーに対してテクスチャを近景として表示させるときは、近い画像ほどユーザーの内側（鼻側）に見えるので、画面右側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。また、テクスチャシフト部２１０は、ユーザーに対してテクスチャを遠景として表示させるときは、遠い画像ほどユーザーの外側に見えるので、画面左側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。
【００５５】
ここでは、それぞれの画素に対する奥行き推定データを８ビットの値Ｄｄで表すものとする。テクスチャシフト部２１０は、Ｄｄの小さい値（すなわち、画面奥に位置するもの）から順に、そのＤｄに対応する入力右目用画像信号のテクスチャをそれぞれの画素毎に（Ｄｄ−ｍ）／ｎ画素分右にシフトした画像信号を生成する。上記のｍは飛び出し感を表すパラメータ（輻輳値）であり、上記のｎは奥行きを表すパラメータ（奥行き値）である。
【００５６】
なお、ユーザーには、奥行き推定データを示す値Ｄｄの小さいテクスチャは画面奥側に見え、奥行き推定データを示す値Ｄｄの大きいテクスチャは画面手前に見える。奥行き推定データを示す値Ｄｄ、輻輳値ｍ、奥行き値ｎは０〜２５５の範囲の値であり、例えば、輻輳値ｍ＝２００、奥行き値ｎ＝２０である。
【００５７】
オクルージョン補償部２１１は、テクスチャシフト部２１０より出力された別視点の画像信号に対してオクルージョンの補償を行い、オクルージョン補償された画像信号をポスト処理部２１２に供給する。オクルージョンとは、テクスチャをシフトした結果、画像中の位置関係変化によりテクスチャの存在しない部分のことをいう。オクルージョン補償部２１１は、テクスチャシフトされた画像信号に対応する元の入力右目用画像信号によりオクルージョンの箇所を充填する。また、公知の文献（山田邦男、望月研二、相澤清晴、齊藤隆弘："領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”、映像情報学会誌、Vol.56,No.5,pp.863〜866（2002.5））に記載の手法でオクルージョンを補償してもよい。
【００５８】
ポスト処理手段であるポスト処理部２１２は、オクルージョン補償部２１１によりオクルージョン補償された画像信号に対して、平滑化やノイズの除去などのポスト処理を公知の方法で必要に応じて行い、左目用画像信号を出力する。
【００５９】
ここで、テクスチャシフト部２１０が出力する画像信号のシフト量（Ｄｄ−ｍ）／ｎ画素において、入力右目用画像信号によって変化する奥行き推定データの値Ｄｄ以外の輻輳値ｍと奥行き値ｎは固定値であり、それぞれは０〜２５５の範囲の値のため、最大画素シフト量を求めることができる。最大画素シフト量が決まれば、画像の画素数及び再生時の標準観視距離から最大の視差角を求めることができる。上記の輻輳値ｍと奥行き値ｎを適切に設定すれば、２Ｄ３Ｄ変換された画像は決められた範囲の視差角に収まる。そこで、擬似立体画像生成装置１０７は、この２Ｄ３Ｄ変換されてポスト処理部２１２から出力される左目用映像信号を参照用左目画像１１０として出力し、基線長や輻輳角を調整するときの基準（手本）とする。なお、擬似立体画像生成装置１０７は、画像入力部２０１から出力される右目用画像信号をそのまま右目用画像１０９として出力する。
【００６０】
次に、本実施形態の要部の画像合成部１１１の構成の各例とその動作について更に詳細に説明する。画像合成部１１１は、左目画像１０８と参照用左目画像１１０とを表示したときに、目視によりそれらの違いが分かるように、以下説明する各種の方法で互いに区別して表示される信号形態で合成するものである。
【００６１】
図７は、図１中の画像合成部１１１の第１の実施の形態のブロック図を示す。本実施の形態の画像合成部１１１Ａは、ＲＧＢ→ＹＵＶ変換部１２１及び１２２と、ＲＧＢ調整部１２３とから構成され、左目画像１０８と参照用左目画像１１０とで色相を変え、色の重なりで調整のずれを表現する画像合成を行うものである。
【００６２】
ＲＧＢ→ＹＵＶ変換部１２１は、ＲＧＢの三原色信号である左目画像１０８を、輝度信号Ｙと２種類の色差信号Ｕ、Ｖに変換し、そのうちの輝度信号のみをＲＧＢ調整部１２３に供給する。一方、ＲＧＢ→ＹＵＶ変換部１２２は、ＲＧＢの三原色信号である参照用左目画像１１０を、輝度信号Ｙと２種類の色差信号Ｕ、Ｖに変換し、そのうちの輝度信号のみをＲＧＢ調整部１２３に供給する。すなわち、被写体の左目用画像１０８と参照用左目画像１１０は、被写体が視認できるように白黒画像に変換される。
【００６３】
ＲＧＢ調整部１２３は、ＲＧＢ→ＹＵＶ変換部１２１から供給される輝度信号は緑色信号（Ｇ信号）とし、ＲＧＢ→ＹＵＶ変換部１２２から供給される輝度信号は赤色信号（Ｒ信号）とし、更に青色信号（Ｂ信号）は０としてＲＧＢ信号処理を行う。そして、このＲＧＢ調整部１２３は、ＲＧＢ信号処理して得たＲＧＢ調整信号を図１の画像表示装置１１２に供給して表示させる。
【００６４】
これにより、図８に示すように、画像表示装置１１２の表示画面１２５には、例えば、左撮像センサ１０１で撮像された左目画像１２６ａと生成された参照用左目画像１２７ａとが重複部１２８ａを有して表示されると共に、左撮像センサ１０１で撮像された左目画像１２６ｂと生成された参照用左目画像１２７ｂとが重複部１２８ｂを有して表示される場合、重複部１２８ａ、１２８ｂ以外の領域の左目画像１２６ａ、１２６ｂは緑色で表示され、参照用左目画像１２７ａ、１２７ｂは赤色で表示される。一方、重複部１２８ａ及び１２８ｂはそれぞれ黄色で表示される。
【００６５】
撮影者は、表示画面１２５を目視にて確認しながら、色が重なっている重複部１２８ａ及び１２８ｂの領域が大きくなるように（重なっている領域が増えるように）、左撮像センサ１０１と右撮像センサ１０２との間の基線長や輻輳角を調整することにより、擬似立体画像生成装置が生成する擬似立体画像に近い適切な立体感を持った立体画像を容易に撮影することができる。
【００６６】
図９は、図１中の画像合成部１１１の第２の実施の形態のブロック図を示す。本実施の形態の画像合成部１１１Ｂは、画像切り替え部１３０と、タイマ１３１とから構成され、ある一定周期で左目画像１０８と参照用左目画像１１０とを交互に切り替えた画像合成を行うものである。
【００６７】
画像切り替え部１３０は、左目画像１０８と参照用左目画像１１０とを入力信号として受け、タイマ１３１からの一定周期（例えば、０.５秒）の対称方形波である切り替え信号により、左目画像１０８と参照用左目画像１１０とを交互に切り替えて出力する。例えば、画像切り替え部１３０は、タイマ１３１からハイレベルの切り替え信号が出力される０.５秒期間は左目画像１０８を選択出力し、続いてタイマ１３１からローレベルの切り替え信号が出力される０.５秒期間は参照用左目画像１１０を選択出力し、以後同様の動作を繰り返す。そして、画像切り替え部１３０は、選択出力した信号を図１の画像表示装置１１２に供給して表示させる。
【００６８】
これにより、画像表示装置１１２の表示画面１２５には、画像切り替え部１３０により左目画像１０８が選択出力される期間は、図１０（Ａ）に示すように、例えば、左目画像１３３ａと１３３ｂとが表示され、画像切り替え部１３０により参照用左目画像１１０が選択出力される期間は、図１０（Ｂ）に示すように、例えば、参照用左目画像１３４ａと１３４ｂとが表示される。
【００６９】
撮影者は、図１０（Ａ）、（Ｂ）に示す表示画面１２５を目視にて確認しながら、切り替え表示される左目画像１３３ａと参照用左目画像１３４ａとのずれ、及び左目画像１３３ｂと参照用左目画像１３４ｂとのずれが、それぞれ小さくなるように、左撮像センサ１０１と右撮像センサ１０２との間の基線長や輻輳角を調整することにより、擬似立体画像生成装置が生成する擬似立体画像に近い適切な立体感を持った立体画像を容易に撮影することができる。
【００７０】
図１１は、図１中の画像合成部１１１の第３の実施の形態のブロック図を示す。本実施の形態の画像合成部１１１Ｃは、画像切り替え部１４０と、ライン判別部１４１とから構成され、ライン毎に左目画像１０８と参照用左目画像１１０とを交互にした画像を合成するものである。
【００７１】
画像切り替え部１４０は、左目画像１０８と参照用左目画像１１０とを入力信号として受け、ライン判別部１４１からのライン判別結果により、左目画像１０８と参照用左目画像１１０とを交互に切り替えて出力する。ライン判別部１４１は、左目画像１０８の画像信号中の水平同期信号を基にライン数を数え、そのライン数に基づいて奇数ラインか偶数ラインかを判別し、例えば奇数ラインのときにはハイレベルを、偶数ラインのときにはローレベルのライン判別結果を出力する。
【００７２】
画像切り替え部１４０は、例えばライン判別結果がハイレベルのとき左目画像１０８を選択出力し、ライン判別結果がローレベルのとき参照用左目画像１１０を選択出力する。そして、画像切り替え部１４０は、選択出力した信号を図１の画像表示装置１１２に供給して表示させる。
【００７３】
これにより、画像表示装置１１２の表示画面１２５には、図１２に示すように、奇数ラインでは左目画像１４３ａ、１４３ｂが表示され、偶数ラインでは参照用左目画像１４４ａ、１４４ｂが表示され、すだれ状の画像が表示される。
【００７４】
撮影者は、図１２に示す表示画面１２５を目視にて確認しながら、すだれ状の画像１４３ａ及び１４４ａと、１４３ｂ及び１４４ｂのそれぞれのずれが小さくなるように、左撮像センサ１０１と右撮像センサ１０２との間の基線長や輻輳角を調整することにより、擬似立体画像生成装置が生成する擬似立体画像に近い適切な立体感を持った立体画像を容易に撮影することができる。
【００７５】
図１３は、図１中の画像合成部１１１の第４の実施の形態のブロック図を示す。本実施の形態の画像合成部１１１Ｄは、ＲＧＢ→ＹＵＶ変換部１５０及び１５１と、輪郭抽出フィルタ１５２と、Ｙ加算器１５３と、ＹＵＶ→ＲＧＢ変換部１５４とから構成され、参照用左目画像１１０の輪郭を抽出して左目画像１０８と合成することで、２つの画像の違いを分かり易くするものである。
【００７６】
ＲＧＢ→ＹＵＶ変換部１５０は、ＲＧＢの三原色信号である左目画像１０８を、輝度信号Ｙと２種類の色差信号Ｕ、Ｖに変換してＹ加算器１５３に供給する。一方、ＲＧＢ→ＹＵＶ変換部１５１は、ＲＧＢの三原色信号である参照用左目画像１１０を、輝度信号Ｙと２種類の色差信号Ｕ、Ｖに変換し、そのうちの輝度信号のみを輪郭抽出フィルタ１５２に供給する。
【００７７】
輪郭抽出フィルタ１５２は、ソベルフィルタやラプラシアンフィルタなどの公知のフィルタにより構成されており、参照用左目画像１１０の輝度信号の輪郭画像を抽出してＹ加算器１５３に供給する。
【００７８】
Ｙ加算器１５３は、ＲＧＢ→ＹＵＶ変換部１５０から供給される左目画像１０８の輝度信号Ｙと２種類の色差信号Ｕ、Ｖのうちの輝度信号を、輪郭抽出フィルタ１５２からの参照用左目画像１１０の輝度信号の輪郭画像に加算して出力し、左目画像１０８の２種類の色差信号Ｕ及びＶはそのまま出力する。
【００７９】
ＹＵＶ→ＲＧＢ変換部１５４は、Ｙ加算器１５３から出力されるＹＵＶ信号をＲＧＢ信号に変換して図１の画像表示装置１１２に供給して表示させる。ＹＵＶ→ＲＧＢ変換部１５４から出力されるＲＧＢ信号は、参照用左目画像１１０の輪郭画像が左目画像１０８に合成された信号である。
【００８０】
これにより、図１４に示すように、画像表示装置１１２の表示画面１２５には、例えば、左撮像センサ１０１で撮像された左目画像１５６ａと生成された参照用左目画像の輪郭画像１５７ａとがずれて表示されると共に、左撮像センサ１０１で撮像された左目画像１５６ｂと生成された参照用左目画像の輪郭画像１５７ｂとがずれて表示される。
【００８１】
撮影者は、表示画面１２５を目視にて確認しながら、左目画像１５６ａ及び参照用左目画像の輪郭画像１５７ａとのずれと、左目画像１５６ｂと参照用左目画像の輪郭画像１５７ｂとのずれが小さくなるように、左撮像センサ１０１と右撮像センサ１０２との間の基線長や輻輳角を調整することにより、擬似立体画像生成装置１０７が生成する擬似立体画像に近い適切な立体感を持った立体画像を容易に撮影することができる。
【００８２】
次に、本発明の他の実施の形態について説明する。
【００８３】
図１５は、本発明になる立体画像撮影装置の他の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図１５に示す本実施の形態の立体画像撮影装置１８０は、図１に示した立体画像撮影装置１００と比較して、画像表示装置１１２の替りにステレオ画像表示装置１１５を設けたものである。
【００８４】
ステレオ画像表示装置１１５は、画像合成部１１１から出力される合成画像信号を左目画像とし、右画像入力部１０４から擬似立体画像生成装置１０７を通してそのまま出力される右目用画像信号を右目画像１０９としてステレオ画像表示を行う。
【００８５】
撮影者は、ステレオ画像表示装置１１５に表示されている擬似立体画像を目視しながら、左撮像センサ１０１と右撮像センサ１０２との間の基線長や輻輳角を調整することにより、ステレオ画像表示装置１１５の表示画像により立体感調整結果を確認することができる。
【００８６】
なお、ステレオ画像表示装置１１５には、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネとを組み合わせたプロジェクションシステムもしくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、パララックスバリア方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。また、ステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクションシステムもステレオ画像表示装置１１５に含まれる。
【符号の説明】
【００８７】
１００、１８０ 立体画像撮影装置
１０１ 左撮影センサ
１０２ 右撮影センサ
１０３ 左画像入力部
１０４ 右画像入力部
１０５ 左画像記録部
１０６ 右画像記録部
１０７ 擬似立体画像生成装置
１０８、１２６ａ、１２６ｂ、１３３ａ、１３３ｂ、１４３ａ、１４３ｂ、１５６ａ、１５６ｂ 左目画像
１０９ 右目画像
１１０、１２７ａ、１２７ｂ、１３４ａ、１３４ｂ、１４４ａ、１４４ｂ、１５７ａ、１５７ｂ 参照用左目画像
１１１、１１１Ａ、１１１Ｂ、１１１Ｃ、１１１Ｄ 画像合成部
１１２ 画像表示装置
１１５ ステレオ画像表示装置
１２１、１２２、１５０、１５１ ＲＧＢ→ＹＵＶ変換部
１２３ ＲＧＢ調整部
１２５ 表示画面
１３０、１４０ 画像切り替え部
１３１ タイマ
１４１ ライン判別部
１５２ 輪郭抽出フィルタ
１５３ Ｙ加算器
１５４ ＹＵＶ→ＲＧＢ変換部
【特許請求の範囲】
【請求項１】
互いに異なる複数の視点の撮像信号を別々に得る複数の撮像手段と、
前記複数の撮像手段のうちの一の撮像手段から出力される所定の一の視点の撮像信号が、奥行き情報が明示的にも又は暗示的にも与えられていない非立体画像として入力され、前記入力非立体画像から擬似的な立体画像を生成する擬似立体画像生成手段と、
前記擬似立体画像生成手段により生成された、前記所定の一の視点の前記入力非立体画像と共に前記擬似的な立体画像を構成する前記複数の視点のうち前記所定の一の視点以外の他の視点の画像を参照用画像とし、その参照用画像に、前記複数の撮像手段のうちの前記一の撮像手段以外の他の撮像手段から出力される他の視点の撮像信号の画像を、互いに区別して表示される信号形態で合成する画像合成手段と
を有することを特徴とする立体画像撮影装置。
【請求項２】
前記複数の撮像手段の間の基線長及び輻輳角を手動で調整可能な調整手段と、
前記画像合成手段により合成された前記参照用画像と前記他の視点の撮像信号の画像とを互いに区別して表示する表示手段と
を更に有することを特徴とする請求項１記載の立体画像撮影装置。
【請求項３】
前記擬似立体画像生成手段は、
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の奥行きモデルタイプの画像を記憶する記憶手段と、
前記入力非立体画像の画面内の複数の所定領域における高域周波数成分の画素値の統計量を算定して複数の評価値を得る算定手段と、
前記記憶手段に記憶されている前記複数の奥行きモデルタイプの画像を、前記算定手段により得られた前記評価値に応じた合成比率で合成する合成手段と、
前記合成手段により合成された合成結果と、前記入力非立体画像とから前記奥行き推定データを生成する奥行き推定データ生成手段と、
前記入力非立体画像のテクスチャを、対応部分の前記奥行き推定データに応じた量だけシフトするテクスチャシフト手段と、
前記テクスチャシフト手段から出力された画像信号を前記参照用画像として出力すると共に、前記入力非立体画像を前記参照用画像と共に前記擬似立体画像を構成する画像として出力する出力手段と
を有することを特徴とする請求項１記載の立体画像撮影装置。
【請求項１】
互いに異なる複数の視点の撮像信号を別々に得る複数の撮像手段と、
前記複数の撮像手段のうちの一の撮像手段から出力される所定の一の視点の撮像信号が、奥行き情報が明示的にも又は暗示的にも与えられていない非立体画像として入力され、前記入力非立体画像から擬似的な立体画像を生成する擬似立体画像生成手段と、
前記擬似立体画像生成手段により生成された、前記所定の一の視点の前記入力非立体画像と共に前記擬似的な立体画像を構成する前記複数の視点のうち前記所定の一の視点以外の他の視点の画像を参照用画像とし、その参照用画像に、前記複数の撮像手段のうちの前記一の撮像手段以外の他の撮像手段から出力される他の視点の撮像信号の画像を、互いに区別して表示される信号形態で合成する画像合成手段と
を有することを特徴とする立体画像撮影装置。
【請求項２】
前記複数の撮像手段の間の基線長及び輻輳角を手動で調整可能な調整手段と、
前記画像合成手段により合成された前記参照用画像と前記他の視点の撮像信号の画像とを互いに区別して表示する表示手段と
を更に有することを特徴とする請求項１記載の立体画像撮影装置。
【請求項３】
前記擬似立体画像生成手段は、
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の奥行きモデルタイプの画像を記憶する記憶手段と、
前記入力非立体画像の画面内の複数の所定領域における高域周波数成分の画素値の統計量を算定して複数の評価値を得る算定手段と、
前記記憶手段に記憶されている前記複数の奥行きモデルタイプの画像を、前記算定手段により得られた前記評価値に応じた合成比率で合成する合成手段と、
前記合成手段により合成された合成結果と、前記入力非立体画像とから前記奥行き推定データを生成する奥行き推定データ生成手段と、
前記入力非立体画像のテクスチャを、対応部分の前記奥行き推定データに応じた量だけシフトするテクスチャシフト手段と、
前記テクスチャシフト手段から出力された画像信号を前記参照用画像として出力すると共に、前記入力非立体画像を前記参照用画像と共に前記擬似立体画像を構成する画像として出力する出力手段と
を有することを特徴とする請求項１記載の立体画像撮影装置。
【図１】
【図２】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図３】
【図４】
【図５】
【図２】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−６０３４６（Ｐ２０１２−６０３４６Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−２００６７３（Ｐ２０１０−２００６７３）
【出願日】平成２２年９月８日（２０１０．９．８）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月８日（２０１０．９．８）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]