三次元画像作成装置、方法およびプログラム
【課題】３Ｄレンズを用いることなく質の高い三次元画像を取得する。
【解決手段】時間的に連続して撮像された複数の画像に基づき、画像中の移動被写体を特定し、複数の画像から、移動被写体を立体視するための当該移動被写体の左目用画像および右目用画像をそれぞれ抽出し、複数の画像に基づいて、移動被写体を除去した画像を背景画像として作成し、背景画像に左目用画像を合成して成る左目用全体画像、および背景画像に右目用画像を合成して成る右目用全体画像を作成する。
【解決手段】時間的に連続して撮像された複数の画像に基づき、画像中の移動被写体を特定し、複数の画像から、移動被写体を立体視するための当該移動被写体の左目用画像および右目用画像をそれぞれ抽出し、複数の画像に基づいて、移動被写体を除去した画像を背景画像として作成し、背景画像に左目用画像を合成して成る左目用全体画像、および背景画像に右目用画像を合成して成る右目用全体画像を作成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二次元画像から三次元画像を作成する装置、方法およびプログラムに関する。
【背景技術】
【０００２】
二次元画像から擬似的な三次元画像（立体画像、３Ｄ画像、ステレオ画像などともいわれる）を作成する方法として、例えば特許文献１に記載されたものがある。これは、背景と人物等の手前画像とからなる二次元画像のうち、手前画像のみを水平方向にずらし、手前画像の水平方向の位置が異なる２枚の画像（右目用／左目用全体画像）を作成するというものである。これによれば、専用の３Ｄレンズを用いることなく三次元画像が得られる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−１８２５３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の方法では、同一の手前画像を単にずらすだけなので、出来上がった三次元画像では、背景と手前画像との遠近感は得られるものの、手前画像そのものは立体視できず、違和感の強い三次元画像となってしまう。
【課題を解決するための手段】
【０００５】
本発明に係る三次元画像作成装置は、時間的に連続して撮像された複数の画像に基づき、画像中の移動被写体を特定する特定手段と、複数の画像から、移動被写体を立体視するための当該移動被写体の左目用画像および右目用画像をそれぞれ抽出する抽出手段と、複数の画像に基づいて、移動被写体を除去した画像を背景画像として作成する背景画像作成手段と、背景画像に左目用画像を合成して成る左目用全体画像、および背景画像に右目用画像を合成して成る右目用全体画像を作成する合成手段とを具備することを特徴とする。
本発明に係る三次元画像作成方法は、時間的に連続して撮像された複数の画像から三次元画像を作成する方法であって、複数の画像に基づき、画像中の移動被写体を特定するステップと、複数の画像から、移動被写体を立体視するための当該移動被写体の左目用画像および右目用画像をそれぞれ抽出するステップと、複数の画像に基づいて、移動被写体を除去した画像を背景画像として作成するステップと、背景画像に前記左目用画像を合成して成る左目用全体画像、および背景画像に右目用画像を合成して成る右目用全体画像を作成するステップとを具備することを特徴とする。
本発明に係る三次元画像作成プログラムは、上記各ステップをコンピュータに実行させるためのものである。
【発明の効果】
【０００６】
本発明によれば、３Ｄレンズを用いることなく質の高い三次元画像が得られる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態におけるデジタルカメラの制御ブロック図。
【図２】カメラのＣＰＵにて行われる三次元画像作成処理の手順を示すフローチャート。
【図３】動画撮影時の様子を示す図。
【図４】動画撮影によって得られた連続画像を示す図。
【図５】移動被写体の左目用画像の抽出方法を示す図。
【図６】移動被写体の左目用／右目用画像の抽出方法を示す図。
【図７】斜めに移動する被写体の左目用／右目用画像の作成方法を説明する図。
【図８】作成された背景画像を示す図。
【発明を実施するための形態】
【０００８】
図面を参照して、本発明をデジタルカメラに適用した場合の一実施形態を説明する。
図１において、撮影レンズ１１は、単一の光学系のみを有する通常の（非３Ｄ用の）レンズである。撮影レンズ１１を透過した被写体光束は、撮像素子１２で撮像され、その撮像信号は画像処理部１３に入力される。画像処理部１３を構成する画像処理回路１３ａは、入力された撮像信号に種々の処理を施して画像データを生成する。画像データは、表示回路１３ｂによる処理を経て液晶モニタ３に画像として表示される。液晶モニタ３は、例えばカメラの背面に設けられる。
【０００９】
撮影モード設定時には、上記撮像が繰り返され、その都度得られる画像データに基づく画像が液晶モニタ３に逐次更新表示される。この逐次更新表示は、ライブビュー表示またはスルー画表示と呼ばれ、撮影者はその表示画像を見ながら構図を決定する。撮影指示がなされると、改めて撮像が行われ、それによって生成された画像データは、コンピュータで扱うことが可能な画像ファイルとして、記録／再生回路１３ｃによりメモリカード等の記録媒体１５に記録される。なお、本実施形態のカメラは動画撮影も行える。
【００１０】
再生モードでは、記録媒体１５に記録された画像データ（静止画、動画）を記録／再生回路１３ｃにて読み出し、画像処理回路１３ａおよび表示回路１３ｂによる処理を経て、液晶モニタ３に画像として表示することができる。
【００１１】
ＣＰＵ１６は、操作部１７からの入力に応答して、画像処理部１３やＡＦ駆動回路１８、その他の不図示の回路を制御し、撮影を始めとする種々の動作を行う。ＡＦ駆動回路１８は、ＣＰＵ１６の指令に応じてＡＦモータ１９を駆動し、撮影レンズ１１のフォーカスレンズを駆動する。操作部１７は、レリーズボタンや動画ボタン、電源ボタン、その他の複数の操作部材を含む。
【００１２】
本実施形態のカメラは、三次元画像撮影モードが設定可能とされる。このモードは、撮像によって得られた二次元画像から三次元画像を作成するもので、以下の手順より成る。
（１）時間的に連続した複数画像の取得
（２）画像中の移動被写体の特定
（３）移動被写体（立体視対象物体）の左目用／右目用画像の抽出
（４）背景画像の作成
（５）背景画像と左目用／右目用画像の合成
これらの処理は、全てＣＰＵ１６が実行する（図２のフローチャート参照）。
【００１３】
（１）の連続画像は、動画撮影によって取得する。例えば撮影者が録画ボタンを押すと動画撮影を開始し、再度録画ボタンを押すと動画撮影を終了するようにしてもよいし、所定操作で予め設定された時間だけ動画撮影を行うようにしてもよい。また、動画撮影に代えて連写（高速連写が望ましい）でもよい。
【００１４】
図３は動画撮影時の様子を示す図で、図示左から右方に車５１が走行し、その向こう側を人５２が左方に歩いているシーンを想定している。撮影者は、動画撮影中は移動せず、またカメラ１００を出来るだけ動かさないようにする（画面内で移動被写体を追わない）。出来ればカメラ１００を三脚等に固定して動画撮影を行うことが望ましい。数秒程度の動画撮影で、例えば図４に示すように、時間的に連続した複数枚の画像（車５１、人５２および背景を含む）が得られる。なお、図４では３画像のみ示しているが、実際にはこれらの画像の間に複数枚の中途画像が存在する。これらの画像は、一時的にメモリに記憶される。
【００１５】
（２）の移動被写体の特定は、（１）で得た連続画像に対して公知の動体検出を行い、画像中の移動している被写体を特定する処理である。各画像を比較し、被写体の位置が異なる場合にその被写体を移動被写体と認定する。ここで、特定すべき移動被写体は、水平横方向に移動している被写体（正しくは、横方向の移動成分を持つ被写体）であり、真横に移動する被写体だけでなく、斜め手前に、あるいは斜め奥に移動するような被写体も移動被写体と認定される。ただし、縦方向の移動成分が大きい移動被写体（高度が大きく変化する被写体）は、除外することが望ましい。
図４の例では、車５１と人５２が移動被写体と認定される。
【００１６】
（３）の左目用／右目用画像の抽出は、（１）で得た連続画像から、移動被写体の左目用画像／右目用画像を抽出する処理である。すなわち、三次元画像を得るには、立体視の対象となる物体を左目で見た場合の画像（左目用画像）と右目で見た場合の画像（右目用画像）とが必要となる。本実施形態では、画像内の全ての移動被写体を立体視の対象とし、各移動被写体に対して次の（３−１）、（３−２）の処理を行う。
【００１７】
（３−１）（１）で得た連続画像うち、移動被写体が写っている全ての画像から移動被写体の部分を切り出す。切り出しは、エッジ検出等の手法を用いることで行う。対象となる移動被写体が同一方向に移動し続けていれば、切り出された複数の画像は、全て視点が異なる同一移動被写体の画像となり、また、元画像における切り出し位置も全て異なる。各切り出し画像は、元画像における切り出し位置に関する情報が対応づけられてメモリに一時記憶される。
【００１８】
（３−２）（３−１）で記憶された複数の対象移動被写体の画像（切り出し画像）から、当該移動被写体が左目用／右目用としてそれぞれ適した視点（角度）で写っている画像を抽出し、それぞれ左目用画像、右目用画像とする。
図４の例では、車５１の左目用／右目用画像と、人５２の左目用／右目用画像とが得られる。
【００１９】
上記左目用／右目用画像抽出の具体的な手法について、図５を用いて説明する。
図５は、車５１の左目用画像を抽出する例を示している。図において、Ｌ０は人物の左目の位置、Ｃ０はカメラ（撮影レンズ）位置で、Ｃ１は、後述する合成処理において車を配置すべき画像上の位置（横方向位置）を示している。今、左目でＣ１位置にある車５１を見た場合、５１Ａのように見えたとする。この５１Ａに最も近い見え方の車５１の画像が、抽出すべき左目用画像である。これは、左目でＣ１位置にある車５１を見る角度（直線Ｌ０−Ｃ１の角度）と同等の角度位置（Ｌ１位置）に車がいるときに撮像された画像から切り出した車の画像である。したがって、求めるべき量は、画像上におけるＣ１−Ｌ１間の距離Ｗans（ピクセル数）であり、
Ｗans＝（３２．５×（Ｗ／２））／（Ｄ×（ｔａｎ（α／２）））
により得られる。
【００２０】
ここで、αは撮影レンズ１１の水平画角であり、これは撮影レンズの焦点距離から取得できる。Ｄは移動被写体（車５１）までの距離（ｍｍ）であり、これはいわゆる多点測距の結果から取得できる。Ｗは動画撮影で得られる各元画像の幅（ピクセル数）であり、これは画質モードに応じて予め決められた数値である。３２．５（ｍｍ）は、人間の平均的な目と目の間隔の半分である。
【００２１】
Ｗansが求まると、車５１を配置すべき位置Ｃ１から右方にＷansだけ離れたＬ１位置に最も近い位置から切り出した車５１の画像（Ｌ１位置に最も近い位置を示す情報が対応づけられた切り出し画像）を左目用画像として抽出する。
【００２２】
右目用画像も同様に、Ｃ１−Ｒ１間の距離（図６参照）を上式により求め、Ｒ１位置に最も近い位置の車５１の切り出し画像を右目用画像として抽出する。
【００２３】
ここで、上記の方法で選択した左目用／右目用画像を用いて違和感のない立体視を実現するには、（１）の動画撮影中に移動被写体が等速で直線運動していることが望ましい。この点について、上述したように動画撮影はごく短時間でよいので、その短い時間の中で移動被写体が等速で直線運動している可能性は高い。
【００２４】
ところで、立体視のための左目用画像と右目用画像は、同一形状の被写体画像であることが前提となる。車５１は移動中に形状の変化を伴わないが、人５２は手足を動かしながら歩くため、移動時の形状（姿勢）は一定でない。そこで、上記（３−２）で選択された左目用／右目用画像（切り出し画像）の形状を比較し、両者の形状が著しく異なる場合は、左右いずれか一方を選択し直す。人の歩行時の形状変化は周期的であるため、再選択により左目用／右目用画像の形状を揃えることができる。例えば、左目用画像はそのまま採用し、右目用画像は、左目用画像とほぼ同一形状で、Ｒ１位置に最も近い位置の情報が対応づけられた切り出し画像を改めて選択する。なお、不規則に変化しながら移動する物体の場合は左目用／右目用画像の形状を揃えられず、かかる物体は立体視の対象から外すことが考えられる。
【００２５】
また、立体視のための左目用画像と右目用画像は、大きさが同一であることが前提となる。真横に移動する移動被写体については問題ないが、斜め手前に、あるいは斜め奥に移動する移動被写体の場合は、上記の方法で得た左目用画像と右目用画像は、大きさが同一とならない。そこで、（３−３）として、上記（３−２）で最終的に選択された左目用画像と右目用画像の大きさを比較し、大きさが異なる場合は、拡大／縮小処理により両者の大きさを同一とする処理を追加する。
【００２６】
（３−３）の例として、図７に示すように、水平面に沿って左奥から右手前（あるいはその逆）に移動する移動被写体５３をＦＣ位置に配置することを考える。この移動被写体５３の左目用画像は、ＦＣ位置より右側（近く）に位置する移動被写体５３の画像であり、同右目用画像は、ＦＣ位置より左側（遠く）に位置する移動被写体５３の画像となる。したがって、左目用画像は、ＦＣ位置に配置すべき切り出し画像としては大きすぎ、右目用画像は逆に小さすぎるということになる。そこで、左目用画像を縮小し、右目用画像を拡大することで両者の大きさを揃える。右奥から左手前（あるいはその逆）に移動する移動被写体の場合は、上述とは逆に左目用画像を拡大し、右目用画像を縮小する。
【００２７】
ここで、立体視対象物体である移動被写体の横方向配置位置（上記Ｃ１位置、ＦＣ位置）は、ＣＰＵ１６が自動的に決めてもよいし、撮影者が選択できるようにしてもよい。カメラが決める場合は、例えば（１）で撮影した動画中における移動被写体の移動範囲の中央を、当該移動被写体の配置位置とする。これによれば、例えば図４の車５１のように、画面を完全に横切る移動被写体であれば、画像の中央に配置されることになる。決定された配置位置は、（３−２）の処理に反映される。
【００２８】
一方、移動被写体の配置位置を撮影者が決める場合は、（３−２）の処理の前に、（１）で撮像した動画のいずれかの画像を液晶モニタ３に表示し、ポインティングデバイスやカーソルを用いて撮影者が位置を指定すると、その位置（横位置）を移動被写体の配置位置として記憶するようにする。配置位置の指定は、移動被写体ごとに行えるようにする。記憶された配置位置は、（３−２）の処理に反映される。
なお、移動被写体の縦方向の配置位置は、元画像から自ずと決まる。
【００２９】
（４）の背景画像の作成は、（１）で得られた連続画像を合成することで、移動被写体を排除した背景のみの画像（背景画像）を作成する処理である（図８参照）。ある画像において、移動被写体が位置する部分は背景画像のデータはないが、その部分のデータを他の画像（その部分に移動被写体が写っていない画像）から補填することで、背景画像が得られる。
なお、（３）の処理と（４）の処理は、順序が逆でも構わない。
【００３０】
（５）の合成処理は、（４）で作成した背景画像に、（３）で作成した全ての移動被写体の左目用画像を合成して左目用全体画像を作成する処理と、同様に（４）で作成した背景画像に、（３）で作成した全ての移動被写体の右目用画像を合成して右目用全体画像を作成する処理とから成る。合成における各移動被写体画像の配置位置は、上述したようにＣＰＵ１６または撮影者が決めた位置である。
【００３１】
以上で三次元画像の完成となる。合成後の左目用／右目用全体画像は、例えば三次元画像ファイルとして１ファイルにまとめられ、その三次元画像ファイルが記録媒体１５に記録される。（１）の動画や（３−１）の切り出し画像は消去してもよいが、動画は記録してもよい。
【００３２】
以上のように本実施形態では、動画撮影または連写によって得られた複数の連続画像から、移動被写体の左目用／右目用画像を抽出して三次元画像を作成するようにしたので、移動被写体と背景との遠近感が得られるのは勿論、移動被写体そのものも立体視でき、従来方法と比べて質の高い（違和感のない）三次元画像を作成できる。しかも、複数の移動被写体のそれぞれに対し、その被写体までの距離を加味して左目用／右目用画像を抽出するようにしたので、各移動被写体の立体感や移動被写体間の距離感も適正とすることができる。加えて、撮影レンズの画角をも加味して左目用／右目用画像を抽出するようにしたので、使用レンズに拘わらず質の高い三次元画像を得ることができる。さらに、移動中に形状が変わる被写体や、斜め横に移動する被写体も問題なく立体視できる。
【００３３】
なお、背景（前景も含む）の横方向位置を左右でずらすことで、移動被写体との遠近感を調整できる。背景の各部分の距離を測距により取得し、それに応じて各背景部分のずらし量やずらし方向を変えることで、より本格的な三次元画像が得られる。
【００３４】
以上はカメラにて説明したが、（１）の連続画像をコンピュータ（パーソナルコンピュータ等）に取り込み、コンピュータにて（２）以降の処理を行うようにしてもよい。この場合、（３−２）の処理で用いる各パラメータ（画角や被写体距離情報）は、取り込んだ画像に埋め込まれたメータデータから取得するようにすればよい。
【００３５】
なお、（３）の処理に代えて、移動被写体の左目用／右目用画像を撮影者が各画像を見ながら選択してもよいし、左目用／右目用画像のいずれか一方を撮影者が選択すると、他方をＣＰＵが抽出するようにしてもよい。
【符号の説明】
【００３６】
１１ 撮影レンズ
１２ 撮像素子
１６ ＣＰＵ
５１ 移動被写体（車）
５２ 移動被写体（人）
【技術分野】
【０００１】
本発明は、二次元画像から三次元画像を作成する装置、方法およびプログラムに関する。
【背景技術】
【０００２】
二次元画像から擬似的な三次元画像（立体画像、３Ｄ画像、ステレオ画像などともいわれる）を作成する方法として、例えば特許文献１に記載されたものがある。これは、背景と人物等の手前画像とからなる二次元画像のうち、手前画像のみを水平方向にずらし、手前画像の水平方向の位置が異なる２枚の画像（右目用／左目用全体画像）を作成するというものである。これによれば、専用の３Ｄレンズを用いることなく三次元画像が得られる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−１８２５３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の方法では、同一の手前画像を単にずらすだけなので、出来上がった三次元画像では、背景と手前画像との遠近感は得られるものの、手前画像そのものは立体視できず、違和感の強い三次元画像となってしまう。
【課題を解決するための手段】
【０００５】
本発明に係る三次元画像作成装置は、時間的に連続して撮像された複数の画像に基づき、画像中の移動被写体を特定する特定手段と、複数の画像から、移動被写体を立体視するための当該移動被写体の左目用画像および右目用画像をそれぞれ抽出する抽出手段と、複数の画像に基づいて、移動被写体を除去した画像を背景画像として作成する背景画像作成手段と、背景画像に左目用画像を合成して成る左目用全体画像、および背景画像に右目用画像を合成して成る右目用全体画像を作成する合成手段とを具備することを特徴とする。
本発明に係る三次元画像作成方法は、時間的に連続して撮像された複数の画像から三次元画像を作成する方法であって、複数の画像に基づき、画像中の移動被写体を特定するステップと、複数の画像から、移動被写体を立体視するための当該移動被写体の左目用画像および右目用画像をそれぞれ抽出するステップと、複数の画像に基づいて、移動被写体を除去した画像を背景画像として作成するステップと、背景画像に前記左目用画像を合成して成る左目用全体画像、および背景画像に右目用画像を合成して成る右目用全体画像を作成するステップとを具備することを特徴とする。
本発明に係る三次元画像作成プログラムは、上記各ステップをコンピュータに実行させるためのものである。
【発明の効果】
【０００６】
本発明によれば、３Ｄレンズを用いることなく質の高い三次元画像が得られる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態におけるデジタルカメラの制御ブロック図。
【図２】カメラのＣＰＵにて行われる三次元画像作成処理の手順を示すフローチャート。
【図３】動画撮影時の様子を示す図。
【図４】動画撮影によって得られた連続画像を示す図。
【図５】移動被写体の左目用画像の抽出方法を示す図。
【図６】移動被写体の左目用／右目用画像の抽出方法を示す図。
【図７】斜めに移動する被写体の左目用／右目用画像の作成方法を説明する図。
【図８】作成された背景画像を示す図。
【発明を実施するための形態】
【０００８】
図面を参照して、本発明をデジタルカメラに適用した場合の一実施形態を説明する。
図１において、撮影レンズ１１は、単一の光学系のみを有する通常の（非３Ｄ用の）レンズである。撮影レンズ１１を透過した被写体光束は、撮像素子１２で撮像され、その撮像信号は画像処理部１３に入力される。画像処理部１３を構成する画像処理回路１３ａは、入力された撮像信号に種々の処理を施して画像データを生成する。画像データは、表示回路１３ｂによる処理を経て液晶モニタ３に画像として表示される。液晶モニタ３は、例えばカメラの背面に設けられる。
【０００９】
撮影モード設定時には、上記撮像が繰り返され、その都度得られる画像データに基づく画像が液晶モニタ３に逐次更新表示される。この逐次更新表示は、ライブビュー表示またはスルー画表示と呼ばれ、撮影者はその表示画像を見ながら構図を決定する。撮影指示がなされると、改めて撮像が行われ、それによって生成された画像データは、コンピュータで扱うことが可能な画像ファイルとして、記録／再生回路１３ｃによりメモリカード等の記録媒体１５に記録される。なお、本実施形態のカメラは動画撮影も行える。
【００１０】
再生モードでは、記録媒体１５に記録された画像データ（静止画、動画）を記録／再生回路１３ｃにて読み出し、画像処理回路１３ａおよび表示回路１３ｂによる処理を経て、液晶モニタ３に画像として表示することができる。
【００１１】
ＣＰＵ１６は、操作部１７からの入力に応答して、画像処理部１３やＡＦ駆動回路１８、その他の不図示の回路を制御し、撮影を始めとする種々の動作を行う。ＡＦ駆動回路１８は、ＣＰＵ１６の指令に応じてＡＦモータ１９を駆動し、撮影レンズ１１のフォーカスレンズを駆動する。操作部１７は、レリーズボタンや動画ボタン、電源ボタン、その他の複数の操作部材を含む。
【００１２】
本実施形態のカメラは、三次元画像撮影モードが設定可能とされる。このモードは、撮像によって得られた二次元画像から三次元画像を作成するもので、以下の手順より成る。
（１）時間的に連続した複数画像の取得
（２）画像中の移動被写体の特定
（３）移動被写体（立体視対象物体）の左目用／右目用画像の抽出
（４）背景画像の作成
（５）背景画像と左目用／右目用画像の合成
これらの処理は、全てＣＰＵ１６が実行する（図２のフローチャート参照）。
【００１３】
（１）の連続画像は、動画撮影によって取得する。例えば撮影者が録画ボタンを押すと動画撮影を開始し、再度録画ボタンを押すと動画撮影を終了するようにしてもよいし、所定操作で予め設定された時間だけ動画撮影を行うようにしてもよい。また、動画撮影に代えて連写（高速連写が望ましい）でもよい。
【００１４】
図３は動画撮影時の様子を示す図で、図示左から右方に車５１が走行し、その向こう側を人５２が左方に歩いているシーンを想定している。撮影者は、動画撮影中は移動せず、またカメラ１００を出来るだけ動かさないようにする（画面内で移動被写体を追わない）。出来ればカメラ１００を三脚等に固定して動画撮影を行うことが望ましい。数秒程度の動画撮影で、例えば図４に示すように、時間的に連続した複数枚の画像（車５１、人５２および背景を含む）が得られる。なお、図４では３画像のみ示しているが、実際にはこれらの画像の間に複数枚の中途画像が存在する。これらの画像は、一時的にメモリに記憶される。
【００１５】
（２）の移動被写体の特定は、（１）で得た連続画像に対して公知の動体検出を行い、画像中の移動している被写体を特定する処理である。各画像を比較し、被写体の位置が異なる場合にその被写体を移動被写体と認定する。ここで、特定すべき移動被写体は、水平横方向に移動している被写体（正しくは、横方向の移動成分を持つ被写体）であり、真横に移動する被写体だけでなく、斜め手前に、あるいは斜め奥に移動するような被写体も移動被写体と認定される。ただし、縦方向の移動成分が大きい移動被写体（高度が大きく変化する被写体）は、除外することが望ましい。
図４の例では、車５１と人５２が移動被写体と認定される。
【００１６】
（３）の左目用／右目用画像の抽出は、（１）で得た連続画像から、移動被写体の左目用画像／右目用画像を抽出する処理である。すなわち、三次元画像を得るには、立体視の対象となる物体を左目で見た場合の画像（左目用画像）と右目で見た場合の画像（右目用画像）とが必要となる。本実施形態では、画像内の全ての移動被写体を立体視の対象とし、各移動被写体に対して次の（３−１）、（３−２）の処理を行う。
【００１７】
（３−１）（１）で得た連続画像うち、移動被写体が写っている全ての画像から移動被写体の部分を切り出す。切り出しは、エッジ検出等の手法を用いることで行う。対象となる移動被写体が同一方向に移動し続けていれば、切り出された複数の画像は、全て視点が異なる同一移動被写体の画像となり、また、元画像における切り出し位置も全て異なる。各切り出し画像は、元画像における切り出し位置に関する情報が対応づけられてメモリに一時記憶される。
【００１８】
（３−２）（３−１）で記憶された複数の対象移動被写体の画像（切り出し画像）から、当該移動被写体が左目用／右目用としてそれぞれ適した視点（角度）で写っている画像を抽出し、それぞれ左目用画像、右目用画像とする。
図４の例では、車５１の左目用／右目用画像と、人５２の左目用／右目用画像とが得られる。
【００１９】
上記左目用／右目用画像抽出の具体的な手法について、図５を用いて説明する。
図５は、車５１の左目用画像を抽出する例を示している。図において、Ｌ０は人物の左目の位置、Ｃ０はカメラ（撮影レンズ）位置で、Ｃ１は、後述する合成処理において車を配置すべき画像上の位置（横方向位置）を示している。今、左目でＣ１位置にある車５１を見た場合、５１Ａのように見えたとする。この５１Ａに最も近い見え方の車５１の画像が、抽出すべき左目用画像である。これは、左目でＣ１位置にある車５１を見る角度（直線Ｌ０−Ｃ１の角度）と同等の角度位置（Ｌ１位置）に車がいるときに撮像された画像から切り出した車の画像である。したがって、求めるべき量は、画像上におけるＣ１−Ｌ１間の距離Ｗans（ピクセル数）であり、
Ｗans＝（３２．５×（Ｗ／２））／（Ｄ×（ｔａｎ（α／２）））
により得られる。
【００２０】
ここで、αは撮影レンズ１１の水平画角であり、これは撮影レンズの焦点距離から取得できる。Ｄは移動被写体（車５１）までの距離（ｍｍ）であり、これはいわゆる多点測距の結果から取得できる。Ｗは動画撮影で得られる各元画像の幅（ピクセル数）であり、これは画質モードに応じて予め決められた数値である。３２．５（ｍｍ）は、人間の平均的な目と目の間隔の半分である。
【００２１】
Ｗansが求まると、車５１を配置すべき位置Ｃ１から右方にＷansだけ離れたＬ１位置に最も近い位置から切り出した車５１の画像（Ｌ１位置に最も近い位置を示す情報が対応づけられた切り出し画像）を左目用画像として抽出する。
【００２２】
右目用画像も同様に、Ｃ１−Ｒ１間の距離（図６参照）を上式により求め、Ｒ１位置に最も近い位置の車５１の切り出し画像を右目用画像として抽出する。
【００２３】
ここで、上記の方法で選択した左目用／右目用画像を用いて違和感のない立体視を実現するには、（１）の動画撮影中に移動被写体が等速で直線運動していることが望ましい。この点について、上述したように動画撮影はごく短時間でよいので、その短い時間の中で移動被写体が等速で直線運動している可能性は高い。
【００２４】
ところで、立体視のための左目用画像と右目用画像は、同一形状の被写体画像であることが前提となる。車５１は移動中に形状の変化を伴わないが、人５２は手足を動かしながら歩くため、移動時の形状（姿勢）は一定でない。そこで、上記（３−２）で選択された左目用／右目用画像（切り出し画像）の形状を比較し、両者の形状が著しく異なる場合は、左右いずれか一方を選択し直す。人の歩行時の形状変化は周期的であるため、再選択により左目用／右目用画像の形状を揃えることができる。例えば、左目用画像はそのまま採用し、右目用画像は、左目用画像とほぼ同一形状で、Ｒ１位置に最も近い位置の情報が対応づけられた切り出し画像を改めて選択する。なお、不規則に変化しながら移動する物体の場合は左目用／右目用画像の形状を揃えられず、かかる物体は立体視の対象から外すことが考えられる。
【００２５】
また、立体視のための左目用画像と右目用画像は、大きさが同一であることが前提となる。真横に移動する移動被写体については問題ないが、斜め手前に、あるいは斜め奥に移動する移動被写体の場合は、上記の方法で得た左目用画像と右目用画像は、大きさが同一とならない。そこで、（３−３）として、上記（３−２）で最終的に選択された左目用画像と右目用画像の大きさを比較し、大きさが異なる場合は、拡大／縮小処理により両者の大きさを同一とする処理を追加する。
【００２６】
（３−３）の例として、図７に示すように、水平面に沿って左奥から右手前（あるいはその逆）に移動する移動被写体５３をＦＣ位置に配置することを考える。この移動被写体５３の左目用画像は、ＦＣ位置より右側（近く）に位置する移動被写体５３の画像であり、同右目用画像は、ＦＣ位置より左側（遠く）に位置する移動被写体５３の画像となる。したがって、左目用画像は、ＦＣ位置に配置すべき切り出し画像としては大きすぎ、右目用画像は逆に小さすぎるということになる。そこで、左目用画像を縮小し、右目用画像を拡大することで両者の大きさを揃える。右奥から左手前（あるいはその逆）に移動する移動被写体の場合は、上述とは逆に左目用画像を拡大し、右目用画像を縮小する。
【００２７】
ここで、立体視対象物体である移動被写体の横方向配置位置（上記Ｃ１位置、ＦＣ位置）は、ＣＰＵ１６が自動的に決めてもよいし、撮影者が選択できるようにしてもよい。カメラが決める場合は、例えば（１）で撮影した動画中における移動被写体の移動範囲の中央を、当該移動被写体の配置位置とする。これによれば、例えば図４の車５１のように、画面を完全に横切る移動被写体であれば、画像の中央に配置されることになる。決定された配置位置は、（３−２）の処理に反映される。
【００２８】
一方、移動被写体の配置位置を撮影者が決める場合は、（３−２）の処理の前に、（１）で撮像した動画のいずれかの画像を液晶モニタ３に表示し、ポインティングデバイスやカーソルを用いて撮影者が位置を指定すると、その位置（横位置）を移動被写体の配置位置として記憶するようにする。配置位置の指定は、移動被写体ごとに行えるようにする。記憶された配置位置は、（３−２）の処理に反映される。
なお、移動被写体の縦方向の配置位置は、元画像から自ずと決まる。
【００２９】
（４）の背景画像の作成は、（１）で得られた連続画像を合成することで、移動被写体を排除した背景のみの画像（背景画像）を作成する処理である（図８参照）。ある画像において、移動被写体が位置する部分は背景画像のデータはないが、その部分のデータを他の画像（その部分に移動被写体が写っていない画像）から補填することで、背景画像が得られる。
なお、（３）の処理と（４）の処理は、順序が逆でも構わない。
【００３０】
（５）の合成処理は、（４）で作成した背景画像に、（３）で作成した全ての移動被写体の左目用画像を合成して左目用全体画像を作成する処理と、同様に（４）で作成した背景画像に、（３）で作成した全ての移動被写体の右目用画像を合成して右目用全体画像を作成する処理とから成る。合成における各移動被写体画像の配置位置は、上述したようにＣＰＵ１６または撮影者が決めた位置である。
【００３１】
以上で三次元画像の完成となる。合成後の左目用／右目用全体画像は、例えば三次元画像ファイルとして１ファイルにまとめられ、その三次元画像ファイルが記録媒体１５に記録される。（１）の動画や（３−１）の切り出し画像は消去してもよいが、動画は記録してもよい。
【００３２】
以上のように本実施形態では、動画撮影または連写によって得られた複数の連続画像から、移動被写体の左目用／右目用画像を抽出して三次元画像を作成するようにしたので、移動被写体と背景との遠近感が得られるのは勿論、移動被写体そのものも立体視でき、従来方法と比べて質の高い（違和感のない）三次元画像を作成できる。しかも、複数の移動被写体のそれぞれに対し、その被写体までの距離を加味して左目用／右目用画像を抽出するようにしたので、各移動被写体の立体感や移動被写体間の距離感も適正とすることができる。加えて、撮影レンズの画角をも加味して左目用／右目用画像を抽出するようにしたので、使用レンズに拘わらず質の高い三次元画像を得ることができる。さらに、移動中に形状が変わる被写体や、斜め横に移動する被写体も問題なく立体視できる。
【００３３】
なお、背景（前景も含む）の横方向位置を左右でずらすことで、移動被写体との遠近感を調整できる。背景の各部分の距離を測距により取得し、それに応じて各背景部分のずらし量やずらし方向を変えることで、より本格的な三次元画像が得られる。
【００３４】
以上はカメラにて説明したが、（１）の連続画像をコンピュータ（パーソナルコンピュータ等）に取り込み、コンピュータにて（２）以降の処理を行うようにしてもよい。この場合、（３−２）の処理で用いる各パラメータ（画角や被写体距離情報）は、取り込んだ画像に埋め込まれたメータデータから取得するようにすればよい。
【００３５】
なお、（３）の処理に代えて、移動被写体の左目用／右目用画像を撮影者が各画像を見ながら選択してもよいし、左目用／右目用画像のいずれか一方を撮影者が選択すると、他方をＣＰＵが抽出するようにしてもよい。
【符号の説明】
【００３６】
１１ 撮影レンズ
１２ 撮像素子
１６ ＣＰＵ
５１ 移動被写体（車）
５２ 移動被写体（人）
【特許請求の範囲】
【請求項１】
時間的に連続して撮像された複数の画像に基づき、画像中の移動被写体を特定する特定手段と、
前記複数の画像から、前記移動被写体を立体視するための当該移動被写体の左目用画像および右目用画像をそれぞれ抽出する抽出手段と、
前記複数の画像に基づいて、前記移動被写体を除去した画像を背景画像として作成する背景画像作成手段と、
前記背景画像に前記左目用画像を合成して成る左目用全体画像、および前記背景画像に前記右目用画像を合成して成る右目用全体画像を作成する合成手段とを具備することを特徴とする三次元画像作成装置。
【請求項２】
前記抽出手段は、前記左目用画像および右目用画像を抽出する処理を、前記特定された移動被写体ごとに行い、前記合成手段は、前記左目用全体画像および前記右目用全体画像のそれぞれを前記移動被写体ごとに作成することを特徴とする請求項１に記載の三次元画像作成装置。
【請求項３】
前記抽出手段は、前記移動被写体までの距離に基づいて、前記左目用画像および右目用画像をそれぞれ抽出することを特徴とする請求項１または２に記載の三次元画像作成装置。
【請求項４】
前記抽出手段は、撮像時の画角に基づいて、前記左目用画像および右目用画像をそれぞれ抽出することを特徴とする請求項１〜３のいずれか１項に記載の三次元画像作成装置。
【請求項５】
前記抽出手段は、前記左目用画像と右目用画像の移動被写体の形状が略同一となるように左目用画像と右目用画像を抽出することを特徴とする請求項１〜４のいずれか１項に記載の三次元画像作成装置。
【請求項６】
前記抽出された左目用画像および右目用画像の大きさが異なる場合に、略同一の大きさとなるように当該左目用画像および右目用画像の拡縮率を変更する拡縮手段を更に備え、前記合成手段は、拡縮率変更後の前記左目用画像および右目用画像を前記合成に用いることを特徴とする請求項１〜５のいずれか１項に記載の三次元画像作成装置。
【請求項７】
撮像によって時間的に連続する前記複数の画像を取得する撮像手段を更に備えることを特徴とする請求項１〜６のいずれか１項に記載の三次元画像作成装置。
【請求項８】
時間的に連続して撮像された複数の画像から三次元画像を作成する方法であって、
前記複数の画像に基づき、画像中の移動被写体を特定するステップと、
前記複数の画像から、前記移動被写体を立体視するための当該移動被写体の左目用画像および右目用画像をそれぞれ抽出するステップと、
前記移動被写体を除去した背景画像を作成するステップと、
前記背景画像に前記左目用画像を合成して成る左目用全体画像、および前記背景画像に前記右目用画像を合成して成る右目用全体画像を作成するステップとを具備することを特徴とする三次元画像作成方法。
【請求項９】
請求項８に記載の各ステップをコンピュータに実行させるための三次元画像作成プログラム。
【請求項１】
時間的に連続して撮像された複数の画像に基づき、画像中の移動被写体を特定する特定手段と、
前記複数の画像から、前記移動被写体を立体視するための当該移動被写体の左目用画像および右目用画像をそれぞれ抽出する抽出手段と、
前記複数の画像に基づいて、前記移動被写体を除去した画像を背景画像として作成する背景画像作成手段と、
前記背景画像に前記左目用画像を合成して成る左目用全体画像、および前記背景画像に前記右目用画像を合成して成る右目用全体画像を作成する合成手段とを具備することを特徴とする三次元画像作成装置。
【請求項２】
前記抽出手段は、前記左目用画像および右目用画像を抽出する処理を、前記特定された移動被写体ごとに行い、前記合成手段は、前記左目用全体画像および前記右目用全体画像のそれぞれを前記移動被写体ごとに作成することを特徴とする請求項１に記載の三次元画像作成装置。
【請求項３】
前記抽出手段は、前記移動被写体までの距離に基づいて、前記左目用画像および右目用画像をそれぞれ抽出することを特徴とする請求項１または２に記載の三次元画像作成装置。
【請求項４】
前記抽出手段は、撮像時の画角に基づいて、前記左目用画像および右目用画像をそれぞれ抽出することを特徴とする請求項１〜３のいずれか１項に記載の三次元画像作成装置。
【請求項５】
前記抽出手段は、前記左目用画像と右目用画像の移動被写体の形状が略同一となるように左目用画像と右目用画像を抽出することを特徴とする請求項１〜４のいずれか１項に記載の三次元画像作成装置。
【請求項６】
前記抽出された左目用画像および右目用画像の大きさが異なる場合に、略同一の大きさとなるように当該左目用画像および右目用画像の拡縮率を変更する拡縮手段を更に備え、前記合成手段は、拡縮率変更後の前記左目用画像および右目用画像を前記合成に用いることを特徴とする請求項１〜５のいずれか１項に記載の三次元画像作成装置。
【請求項７】
撮像によって時間的に連続する前記複数の画像を取得する撮像手段を更に備えることを特徴とする請求項１〜６のいずれか１項に記載の三次元画像作成装置。
【請求項８】
時間的に連続して撮像された複数の画像から三次元画像を作成する方法であって、
前記複数の画像に基づき、画像中の移動被写体を特定するステップと、
前記複数の画像から、前記移動被写体を立体視するための当該移動被写体の左目用画像および右目用画像をそれぞれ抽出するステップと、
前記移動被写体を除去した背景画像を作成するステップと、
前記背景画像に前記左目用画像を合成して成る左目用全体画像、および前記背景画像に前記右目用画像を合成して成る右目用全体画像を作成するステップとを具備することを特徴とする三次元画像作成方法。
【請求項９】
請求項８に記載の各ステップをコンピュータに実行させるための三次元画像作成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−２１５３８（Ｐ２０１３−２１５３８Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５３８２９（Ｐ２０１１−１５３８２９）
【出願日】平成２３年７月１２日（２０１１．７．１２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月１２日（２０１１．７．１２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]