立体視画像生成方法および立体視画像生成システム
【課題】看者に自然な立体感を知覚させる立体視画像を原画像から生成することが可能な立体視画像生成方法および立体視画像生成システムを提供する。
【解決手段】各画素の特徴情報を取得する特徴情報取得ステップと、特徴情報に基づいて各画素に奥行き情報を生成する奥行き情報生成ステップと、前記奥行き情報に基づいて立体視画像を生成する立体視画像生成ステップと、を有する。この奥行き情報生成ステップでは、一対の画素間にエッジを設定し、特徴情報に基づいてエッジに重み情報を設定し、各画素の中からスタート画素を選択し、スタート画素から各画素までの重み情報を利用して経路情報を求め、この経路情報に基づいて各画素に奥行き情報を設定するようにした。
【解決手段】各画素の特徴情報を取得する特徴情報取得ステップと、特徴情報に基づいて各画素に奥行き情報を生成する奥行き情報生成ステップと、前記奥行き情報に基づいて立体視画像を生成する立体視画像生成ステップと、を有する。この奥行き情報生成ステップでは、一対の画素間にエッジを設定し、特徴情報に基づいてエッジに重み情報を設定し、各画素の中からスタート画素を選択し、スタート画素から各画素までの重み情報を利用して経路情報を求め、この経路情報に基づいて各画素に奥行き情報を設定するようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視差によって画像を見る者に立体感を知覚させる立体視画像を生成する立体視画像生成方法および立体視画像生成システムに関する。
【背景技術】
【０００２】
近年、右眼と左眼にそれぞれ異なる画像を視認させることで観察者に立体感を知覚させる２眼視差式の立体視画像が、映画やテレビ放送等の分野で広く用いられるようになってきている。また、見る角度によって観察者が視認する画像を変化させる多眼（多視点）式の立体視画像によって観察者に立体感を知覚させる技術も、例えば裸眼立体視デバイスで用いられている。更に、これらの２眼視差式と多眼式を組み合わせた多眼視差式の立体視画像も用いられつつある。視差式の立体視画像の場合、右眼に視認させる右眼用画像および左眼に視認させる左眼用画像から構成され、両画像中の被写体の位置を人間の両眼視差に合わせてそれぞれ水平方向にシフトする（ずらす）ことにより、画像を見る者（看者）に立体感を知覚させるようにしている。
【０００３】
従来、視差式の立体視画像は、２台のカメラを左右に並べて、右眼用画像および左眼用画像を同時に撮影することによって生成されるのが一般的であった。この場合、人間の両眼視差と略同様の視差を有する右眼用画像および左眼用画像を直接得ることができるため、看者に違和感を持たせることのない自然な立体視画像を生成することができる。
【０００４】
しかしながら、このように２台のカメラによって右眼用画像および左眼用画像を撮影する手法では、全く同仕様の２台のカメラを正確に位置決めして配置すると共に、両者を完全に同期させた状態で撮影を行う必要がある。このため、撮影の際には専門スタッフと共に特殊な専用機器を多数揃える必要があり、撮影コストが増大するだけではなく、カメラその他の各種機器の設定や調整に多大な時間を要するという問題があった。
【０００５】
また従来の多眼式の立体視画像は、多くの視点にカメラを並べて、多視点の画像を同時に撮影することによって生成されるのが一般的であった。しかしながら、このように複数台のカメラによって多視点の画像を撮影する手法では、全く同仕様の複数台のカメラを正確に位置決めして配置すると共に、すべてを完全に同期させた状態で撮影を行う必要があという問題があった。
【０００６】
ましてや、多眼視差式の立体視映像となると、様々な視点に対して、２台ずつカメラを配置して、視差を含んだ映像を撮影する必要がある。従って、極めて特異な目的が無い限り、一般的に普及するにはほど遠い状況となっている。
【０００７】
これに対し、１台のカメラによって通常どおりに撮影された画像に画像処理を施すことで、２眼視差式の右眼用画像および左眼用画像を生成する手法が提案されている（例えば、特許文献１参照）。この手法では、まず原画像を構成する各画素に奥行き情報（奥行き値）を設定し、この奥行き情報に応じて各画素の水平方向の位置を変更することにより、両画像中の被写体の位置を両眼視差に合わせてシフトした右眼用画像および左眼用画像を生成するようになっている。
【０００８】
この手法によれば、一般的なカメラによって撮影した通常の原画像から立体視画像を生成することが可能であるため、撮影コストを低減し、撮影時間を短縮することができる。また、既存の映画等のコンテンツから立体視画像を生成したり、一般的なテレビ放送を立体視画像に変換してテレビ画面に表示させたりすることもできる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００２−１２３８４２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、通常の原画像から立体視画像を生成する従来の手法では、一般的に原画像を構成する各画素の色相、彩度または明度（上記特許文献１では、彩度）の値をそのまま各画素の奥行き情報としているため、例えば被写体である人物等と背景の境界においては奥行き情報の値が大きく変化することとなり、奥行きの断絶（不連続）が生じるという問題があった。
【００１１】
このような奥行きの断絶が生じている場合、人物等と背景の間の遠近のみが強調されて人物等が平面的に感じられる、いわゆる描き割り効果等の不自然な立体感として知覚されることとなる。また、右眼用画像および左眼用画像において各画素の位置を変更する際に、人物等に含まれる画素と背景に含まれる画素の移動量が大きく異なることから、原画像において人物等に遮蔽されていた背景に大きなギャップ（欠損）が生じることとなる。
【００１２】
従来の手法においては、このようなギャップを回避するために、境界部分に対するぼかし処理や、人物等または背景の画像を拡大または変形させる処理を施すようにしたものもあるが、このような処理は、立体視画像の画質を劣化させるだけでなく、却って看者に違和感を与える場合があった。また、これらのぼかし処理や、拡大変形処理には、ソフトウエア上で立体視画像を加工するオペレータの作業負担を増大させるという問題があった。従って、多眼式や多眼視差式の立体視画像を、原画像から立体視画像を生成しようとすると、オペレータの加工作業が膨大となってしまうという問題があった。
【００１３】
本発明は、斯かる実情に鑑み、看者に自然な立体感を知覚させる立体視画像を原画像から生成することが可能な立体視画像生成方法および立体視画像生成システムを提供しようとするものである。
【課題を解決するための手段】
【００１４】
上記目的を達成する本発明は、原画像を構成する各画素の特徴情報を取得する特徴情報取得ステップと、前記特徴情報に基づいて前記各画素に奥行き情報を生成する奥行き情報生成ステップと、前記奥行き情報に基づいて前記各画素の位置を変更した立体視画像を生成する立体視画像生成ステップと、を有し、前記奥行き情報生成ステップは、前記原画像から抽出された一対の前記画素の間にエッジを設定するエッジ設定ステップと、前記特徴情報に基づいて前記エッジに重み情報を設定する重み情報設定ステップと、前記各画素の中からスタート画素を選択するスタート画素選択ステップと、前記スタート画素から前記各画素までの前記重み情報についての経路を算出し、前記各画素に経路情報を設定する経路情報設定ステップと、前記経路情報に基づいて前記各画素に前記奥行き情報を設定する奥行き確定ステップと、を有することを特徴とする、立体視画像生成方法である。
【００１５】
上記目的を達成する立体視画像生成方法において、上記発明の前記スタート画素選択ステップでは、前記原画像における最奥部を示す領域、または最前部を示す領域に含まれる前記画素を前記スタート画素に選択することを特徴とする。
【００１６】
上記目的を達成する立体視画像生成方法において、上記発明の前記スタート画素選択ステップでは、前記スタート画素を複数選択することを特徴とする。
【００１７】
上記目的を達成する立体視画像生成方法において、上記発明の前記経路情報設定ステップでは、前記複数のスタート画素ごとに前記経路を算出して前記各画素に複数の前記経路情報を設定し、前記奥行き確定ステップでは、前記各画素に設定された前記複数の経路情報の中から１つを選択するか、又は、前記複数の経路情報を合成するかによって、前記複数の経路情報に基づいて前記奥行き情報を設定することを特徴とする。
【００１８】
上記目的を達成する立体視画像生成方法において、上記発明の前記スタート画素選択ステップでは、前記原画像中の所定の領域に含まれる複数の前記画素をまとめて一つの前記スタート画素に選択することを特徴とする。
【００１９】
上記目的を達成する立体視画像生成方法において、上記発明は、前記原画像を複数の領域に区分する領域区分ステップをさらに備え、前記スタート画素選択ステップでは、前記複数の領域ごとに前記スタート画素を選択し、前記経路情報設定ステップでは、前記複数の領域ごとに前記経路を算出し、前記各画素に前記経路情報を設定することを特徴とする。
【００２０】
上記目的を達成する立体視画像生成方法において、上記発明の前記領域区分ステップでは、前記原画像に含まれる被写体ごとに前記原画像を前記複数の領域に区分することを特徴とする。
【００２１】
上記目的を達成する本発明は、電子計算機によって構成され、原画像を構成する各画素の特徴情報を取得する特徴情報取得手段と、前記特徴情報に基づいて前記各画素に奥行き情報を生成する奥行き情報生成手段と、前記奥行き情報に基づいて前記各画素の位置を変更した立体視画像を生成する立体視画像生成手段と、を有し、前記奥行き情報生成手段は、前記原画像から抽出された一対の前記画素の間にエッジを設定するエッジ設定手段と、前記特徴情報に基づいて前記エッジに重み情報を設定する重み情報設定手段と、前記各画素の中からスタート画素を選択するスタート画素選択手段と、前記スタート画素から前記各画素までの前記重み情報についての経路を算出し、前記各画素に経路情報を設定する経路情報設定手段と、前記経路情報に基づいて前記各画素に前記奥行き情報を設定する奥行き確定手段と、を有することを特徴とする、立体視画像生成システムである。
【発明の効果】
【００２２】
本発明によれば、看者に自然な立体感を知覚させる立体視画像を原画像から略自動的に生成することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１実施形態に係る立体視画像生成システムのハードウエア構成を示すブロック図である。
【図２】同立体視画像生成システムのプログラム構成及び機能構成を示すブロック図である。
【図３】同立体視画像生成システムによる立体視画像生成の流れを示すブロック図である。
【図４】同立体視画像生成システムにおけるデプスマップの生成概念を示す図である。
【図５】同立体視画像生成システムにおける最短経路情報を算出する例を示す図である。
【図６】同立体視画像生成システムによる立体視画像生成手順を示すフローチャートである。
【図７】同立体視画像生成システムによるデプスマップの生成事例を示す（Ａ）原画像、及び（Ｂ）デプスマップ画像である。
【図８】本発明の第２実施形態に係る立体視画像生成システムの機能構成を示すブロック図である。
【図９】同立体視画像生成システムによる立体視画像生成の流れを示すブロック図である。
【図１０】同立体視画像生成システムの他の例による立体視画像生成の流れを示すブロック図である。
【図１１】同立体視画像生成システムの他の例による立体視画像生成の流れを示すブロック図である。
【図１２】同立体視画像生成システムの他の例に係る機能構成を示すブロック図である。
【図１３】同立体視画像生成システムの他の例による立体視画像生成の流れを示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照しながら本発明の実施の形態について詳細に説明する。
【００２５】
図１には、第１実施形態に係る立体視画像生成システム１を構成するコンピュータ１０の内部構成が示されている。このコンピュータ１０は、ＣＰＵ１２、第１記憶媒体１４、第２記憶媒体１６、第３記憶媒体１８、入力装置２０、表示装置２２、入出力インタフェース２４、バス２６を備えて構成される。ＣＰＵ１２はいわゆる中央演算処理装置であり、各種プログラムが実行されてこの立体視画像生成システム１の各種機能を実現する。第１記憶媒体１４はいわゆるＲＡＭ（ランダム・アクセス・メモリ）であり、ＣＰＵ１２の作業領域として使用されるメモリである。第２記憶媒体１６はいわゆるＲＯＭ（リード・オンリー・メモリ）であり、ＣＰＵ１２で実行される基本的なプログラムを記憶するためのメモリである。第３記憶媒体１８は、磁気ディスクを内蔵したハードディスク装置、ＣＤやＤＶＤやＢＤを収容するディスク装置、不揮発性の半導体フラッシュメモリ装置などで構成されており、この立体視画像生成システム１の全体的な基本動作を実現するＯＳ（オペレーティングシステム）プログラムや、立体視画像を生成する際にＣＰＵ１２で実行される立体視画像生成プログラムや、この立体視画像生成プログラムで利用されるデプスマップや立体視画像などの各種データなどを記憶する。入力装置２０はキーボードやマウスであり、作業者によって立体視画像生成システム１に適宜情報を入力する装置である。表示装置２２はディスプレイであって、作業者に対して視覚的なインタフェースを提供する。入出力インタフェース２４は、立体視画像生成プログラムで必要となる原画像データを入力したり、同立体視画像生成プログラムで生成されたデプスマップや立体視画像を外部に出力したりするためのインタフェースである。バス２６は、ＣＰＵ１２、第１記憶媒体１４、第２記憶媒体１６、第３記憶媒体１８、入力装置２０、表示装置２２、入出力インタフェース２４などを一体的に接続して通信を行うための配線となる。
【００２６】
図２には、第３記憶媒体１８に記憶されている立体視画像生成プログラムのプログラム構成と、この立体視画像生成プログラムがＣＰＵ１２で実行されることにより実現されることによって立体視画像生成システム１が実現する機能構成が示されている。また、図３〜図５には、この立体視画像生成システム１によって実行される立体視画像生成手法が概念的に示されている。なお、この立体視画像生成システム１では、立体視画像生成プログラムの構成とその機能構成は対応関係にあることから、ここでは立体視画像生成システム１の機能構成の説明を行うことで、プログラムの説明は省略する。
【００２７】
この立体視画像生成システム１は、特徴情報取得プログラムによって実現される特徴情報取得部１４０、奥行き情報生成プログラムによって実現される奥行き情報生成部１６０、立体視画像生成プログラムによって実現される立体視画像生成部１８０を備えて構成される。
【００２８】
特徴情報取得部１４０は、原画像２００を構成する各画素２０４の特徴情報２４０を取得する。この特徴情報２４０は、例えば、各画素２０４の色相、明度、彩度、色空間などのように、各画素２０４が単独で有している特徴的な情報の他、対象画素２０４の周囲の画素２０４の関係から導かれる特徴的な情報や、複数フレームを有する動画の場合は、各画素２０４の時間的な変化（前後のフレームの同じ位置の画素との関係）から導かれる特徴的な情報などを利用することも可能である。
【００２９】
奥行き情報生成部１６０は、各画素２０４で取得される特徴情報２４０に基づいて、各画素２０４に奥行き情報２７０が設定されたデプスマップ２６０を生成する。
【００３０】
具体的に、この奥行き情報生成部１６０は、更に詳細に、エッジ設定部１６２、重み情報設定部１６４、スタート画素選択部１６６、経路情報設定部１６８、奥行き確定部１７０を備える。
【００３１】
図４に示されるように、エッジ設定部１６２は、原画像２００から抽出される一対の画素２０４間にエッジ２６２を設定する。このエッジ２６２とは、概念として、一対の画素２０４間を結ぶ線又は両者を結ぶ経路を意味している。グラフ理論で考えると、一対の画素２０４が節点又は頂点となり、エッジ２６２が枝又は辺となる。本実施形態は、各画素２０４に対して、上下左右に隣接する合計４つの画素２０４に対するエッジ２６２を設定する。なお、本発明は、各画素２０４から上下左右に隣接する画素２０４に対してエッジ２６２を設定する場合に限定されるものではなく、右斜め上、左斜め上、右斜め下、左斜め下の隣接する画素２０４に対してエッジ２６２を設定したり、これらと上下左右を組み合わせた合計８画素２０４に対してエッジ２６２を設定することもできる。また、必ずしも隣り合う画素２０４間にエッジ２６２を設定する場合に限られず、途中の画素を飛ばすことで一定の距離を有する一対の画素２０４、即ち、間引き作業を行った画素２０４に対してエッジ２６２を設定することも可能である。勿論、飛び地のように遠く離れた場所にある一対の画素２０４の間にエッジ２６２を設定することも可能である。
【００３２】
重み情報設定部１６４は、エッジ２６２を結ぶ一対の特徴情報２４０に基づいて、このエッジ２６２に重み情報２６４を設定する。この重み情報２６４は、本実施形態ではエッジ２６２間を結ぶ一対の画素２０４の特徴情報２４０の差を利用する。差が大きいほど重み情報２６４が大きくなり、差が小さい程、重み情報２６４が小さくなる。なお、この重み情報２６４は、エッジ２６２両端の一対の特徴情報２４０の「差」に限定されるものではなく、この一対の特徴情報２４０を利用して重み情報を算出する各種関数などを利用して、重み情報２６４を設定することも可能である。
【００３３】
スタート画素選択部１６６は、原画像２００における各画素２０４の中から、スタート画素２６６を選択する。このスタート画素２６６は、後述する最短経路情報２６８を設定する際のスタート地点となる。このスタート画素２６６は、画像２００の中から自由に選択することが可能であるが、例えば図３に示されるように、原画像２００において最も奥側に位置する領域２００Ａの中に存在する画素群、又は、最も前側に位置する領域２００Ｂの中に存在する画素群から選択することが好ましい。なお、詳細は第２実施形態で詳述するが、原画像２００から複数のスタート画素２６６を選択することも可能である。また更に、図３に示されるように、原画像２００における所定の領域２００Ｃに含まれる全ての画素２０４を、まとめて一つのスタート画素２６６として領域選択することも可能である。
【００３４】
なお本実施形態では、原画像２００における最も奥側の領域２００Ａの中から一つの画素をスタート画素２６６として選択する。
【００３５】
経路情報設定部１６８は、原画像２００において、スタート画素２６６から各画素２０４までの経路（エッジ２６２）の重み情報２６４を利用して、その最短経路を算出し、これらの各画素２０４に最短経路情報２６８を設定する。この具体的な例を図５を利用して説明する。
【００３６】
説明を簡略化するために、ここでは原画像２００が３行×３列の９つの画素２０４Ａ〜２０４Ｉから構成されると仮定し、左上の画素２０４Ａが、最も奥側に位置する画素であることから、スタート画素２６６として設定する場合を考える。画素２０４Ａ〜２０４Ｉ間を結合する１２個のエッジ２６２（１）〜２６２（１２）には、各画素２０４Ａ〜２０４Ｉが保有する特徴情報（図示省略）の相対差を利用して、１〜１０までの重み情報２６４が予め設定されている。ここで中央上段の画素２０４Ｄの経路を考えると、スタート画素２０４Ａと画素２０４Ｄを結ぶ経路として、例えば、スタート画素２０４Ａと画素２０４Ｄを直接結ぶエッジ２６２（３）のみの第１経路Ｒ１と、スタート画素２０４Ａ、画素２０４Ｂ、画素２０４Ｅ、画素２０４Ｄを結ぶ３つのエッジ２６２（１）、２６２（４）、２６２（６）からなる第２経路Ｒ２を有している。第１経路Ｒ１の重み情報２６４の総和は「１」、第２経路Ｒ２の重み情報２６４の総和は、３＋２＋５の「１０」となる。このように、スタート画素２０４Ａと画素２０４Ｄの間において取り得る全経路について同様に重み情報２６４の総和を算出し、最も小さい値となるのが最短経路である。ここでは、上記第１経路Ｒ１が最短経路となり、結果、この画素２０４Ｄには、最短経路情報２６８として、最短経路上の重み情報２６４の総和である「１」が設定される。
【００３７】
経路情報設定部１６８は、各画素２０４Ａ〜２０４Ｉまでの全てに対して、上記手法によって最短経路情報２６８を設定する。結果として、画素２０４Ａは「０」、画素２０４Ｂは「３」、画素２０４Ｃは「１１」、画素２０４Ｄは「１」、画素２０４Ｅは「５」、画素２０４Ｆは「１０」、画素２０４Ｇは「５」、画素２０４Ｈは「１２」、画素２０４Ｉは「１２」の最短経路情報２６８が設定される。
【００３８】
奥行き確定部１７０は、最短経路情報２６８に基づいて各画素２０４に奥行き情報２７０を設定する。なお、本実施形態では、奥行き確定部１７０は、この最短経路情報２６８を奥行き情報２７０としてそのまま用いる。この各画素２０４に設定される奥行き情報２７０を視覚的にマップ化したものがデプスマップ２６０となる。
【００３９】
なお、必要に応じてこの最短経路情報２６８を補正した値を、奥行き情報２７０として用いることも可能である。例えば、原画像２００が野外の風景を写した画像であるか、屋内空間を写した画像であるかによって異なる補正用関数を用意しておき、この最短経路情報２６８に対して、原画像２００の内容に応じて選択された補正関数を適用して、奥行き情報２７０を算出することも可能である。
【００４０】
立体視画像生成部１８０は、デプスマップ２６０に基づいて、各画素２０４の位置を変更した右眼用画像２８０Ａおよび左眼用画像２８０Ｂから構成される立体視画像２８０を生成する。具体的には、デプスマップ２６０の奥行き情報２７０を利用して、奥側に位置する画素２０４に関しては水平方向の変位量（シフト量）を小さくし、手前側に位置する画素２０４に関しては水平方向の変位量を大きくして、視差を含んだ右眼用画像２８０Ａおよび左眼用画像２８０Ｂを生成する。結果、画像を見る者（看者）の右眼に、右眼用画像２８０Ａを見せると共に、左眼に左眼用画像２８０Ｂを見せることで、これに含まれる視差が脳内で処理されて立体感を知覚する。
【００４１】
次に図６を参照して、立体視画像生成システム１による立体視画像の生成手順を説明する。
【００４２】
まず、ステップ３００において、立体視画像生成システム１の入出力インタフェース２４を介して、複数の原画像（フレーム）２００によって構成される動画像を第３記憶媒体１８に登録する。その後、ステップ３０２では、特徴情報処理部１４０が、この動画像から最初の原画像（フレーム）２００を抽出して、これを構成する各画素２０４の特徴情報２４０を取得する（特徴情報取得ステップ）。
【００４３】
次いで、ステップ３１０では、この特徴情報２４０に基づいて各画素２０４に奥行き情報２７０を設定したデプスマップ２６０を生成する（奥行き情報生成ステップ）。この奥行き情報生成ステップ３１０は、詳細にステップ３１２〜ステップ３２０に分かれる。
【００４４】
まず、ステップ３１２では、接近する２つの画素２０４間にエッジ２６２を設定する（エッジ設定ステップ）。その後、ステップ３１４では、各画素２０４に設定済みの特徴情報２４０に基づいて、エッジ２６２に重み情報２６４を設定する（重み情報設定ステップ）。次に、ステップ３１６では、各画素２０４の中からスタート画素２６６を選択し（スタート画素選択ステップ）、更に、ステップ３１８に進んで、スタート画素２６６から各画素２０４までの経路上の重み情報２６４の累積値が最小となるような最短経路を算出し、最短経路が算出された各画素２０４に対して、重み情報２６４の最小の累積値となる最短経路情報２６８を設定する（経路情報設定ステップ）。その後、ステップ３２０では、最短経路情報２６８を利用して、各画素２０４に奥行き情報２７０を設定し、この奥行き情報２７０を集合化して画素群に対するデプスマップ２６０を生成する（奥行き確定ステップ）。
【００４５】
以上の奥行き情報生成ステップ３１０が完了したら、次に、ステップ３３０に進んで、確定した奥行き情報２７０（デプスマップ２６０）に基づいて各画素２０４の位置をシフトさせた右眼用画像２８０Ａおよび左眼用画像２８０Ｂからなる立体視画像を生成する（立体視画像生成ステップ）。
【００４６】
なお、ここでは奥行き情報２７０を集合化してデプスマップ２６０を生成し、このデプスマップ２６０を利用して立体視画像２８０を生成する場合を例示しているが、本発明はこれに限定されない。デプスマップ化することなく、奥行き情報２７０をそのまま利用して立体視画像２８０を生成することが可能である。また、原画像２００単位で全ての奥行き情報２７０が生成されるまで立体視画像生成ステップ３３０を待機させる必要は無く、画素２０４単位で設定される奥行き情報２７０を、逐次、立体視画像生成ステップ３３０に適用していき、画素２０４単位で立体視画像２８０を順次生成していくことも可能である。勿論、本実施形態で示すように、必要に応じて奥行き情報２７０をデプスマップ２６０によって画像化又は可視化することも好ましく、本立体視画像生成システム１のオペレータが奥行き情報２７０の設定状況を視覚的に確認する際に便利である。
【００４７】
原画像２００から立体視画像２８０の生成が完了したら、ステップ３４０に進んで、今回の原画像２００が動画像の中で最後のフレームか否かを判断し、最後のフレームで無い場合は、ステップ３０２に戻って、次の原画像（フレーム）２００を抽出して、上記と同じステップを繰り返す。一方、立体視画像２８０を生成した原画像２００が動画中の最後のフレームとなる場合は、この立体視画像生成手順を終了させる。
【００４８】
以上、本実施形態の立体視画像生成システム１によれば、立体視画像２８０を生成する際の立体感の根拠となる奥行き情報２７０を、複数の画素２０４間の最短経路に沿った重み情報２６４の累積値から算出される最短経路情報２６８を利用して生成する。この結果、エッジ２６２によって結ばれている画素２０４の集合に関して、この奥行き情報２７０に連続性を持たせることが可能となる。この奥行き情報２７０を利用して生成される立体視画像２８０に対して、自然な奥行き感を付与されることになる。とりわけ、従来のように、前面側の人物と奥側の背景の境界において、奥行き情報が極端に変化することで生じる立体視画像内の断絶（不連続）現象を抑制することが可能となり、看者にとって違和感の少ない立体感を立体視画像２８０に付与出来る。更に、この断絶現象が抑制されることに伴って、生成後の立体視画像２８０に対してギャップの発生を抑えることが可能となり、ギャップを埋めるための画像補整（ぼかしや画像変形）も低減され、画像品質の劣化が抑制される。
【００４９】
更にこの立体視画像生成システム１では、原画像２００における最奥部を示す領域２００Ａ、または最前部を示す領域２００Ｂの中からスタート画素２６６を選択している。このスタート画素２６６は、他の画素２０４の最短経路情報２６８を算出する際の基準点（ゼロ点）となる。このスタート画素２６６を最奥又は最前の画素２０４から選択することで、違和感のないデプスマップ２６０を生成することができる。なお、このスタート画素２６６の選択は、表示装置（ディスプレイ）２２に原画像２００を表示させて、立体視画像生成システム１のオペレータに対して最奥又は最前と考えられるスタート画素２６６の選択を促すようにしても良い。また、立体視画像生成システム１が原画像２００を解析することによって、最奥又は最前であろう領域２００Ａ、２００Ｂを推測し、その中から自動的にスタート画素２６６を選択するようにしても良い。
【００５０】
以上の結果、殆ど自動的に全ての奥行き情報２７０を算出することができるので、立体視画像生成システム１のオペレータの作業負担が大幅に軽減される。なお、従来のシステムでは、立体視画像を確認しながら、想定される代表的なシーン（山岳地帯、海、部屋、街頭など）に対応した複数のテンプレートから最適なテンプレートを選択して、デプスマップ２６０に補正を加えるような複雑な作業が要求されている。
【００５１】
なお、本第１実施形態では、スタート画素選択ステップ３１６において、スタート画素２６６として１つの画素を選択する場合を例示したが、本発明はこれに限定されない。例えば、図３で例示したように、原画像２００中の所定の領域２００Ｃに含まれる複数の画素２０４を、一つのスタート画素２６６として選択することもできる。即ち、最短経路手法で考えると、これらの領域に含まれる全画素２０４のエッジの重み情報と最短経路情報を予めゼロ又は固定値（基準値）に設定することを意味している。このようにすることで、この領域内に映像的なノイズが含まれている場合であっても、ノイズの影響をカットすることが可能となる。また、雲一つ無い晴天の空のように、奥行き感に差を付ける必要が無い領域の計算を省略することができるので、最短経路を算出する情報処理時間を大幅に削減することができる。また、ここではスタート画素２６６を一定の領域で指定する場合に限って示したが、スタート画素以外の他の画素についても、一定の領域として一体化することが可能である。例えばこの領域設定は、複数の隣接する画素で構成される一定の面積範囲の奥行き情報を共通化しても良いようなシンプルな被写体に好適である。この場合、一体化される領域では、これらの画素群を仮想的に１画素と見なすようにオペレータが領域指示を加える。結果、最短経路を算出する情報処理時間を大幅に削減することができる。
【実施例１】
【００５２】
本実施形態の立体視画像生成システム１を利用して、静止画となる原画像２００を利用して奥行き情報２７０を算出し、これを実験的に視覚化する目的でデプスマップ２６０を生成した結果を図７に示す。図７（Ａ）の原画像２００は、青空であって両側に木々が並んでいる広場に、女性が立っているシーンとなっている。なお、スタート画素２６６は、最も奥側となる青空の領域の１つの画素から選択した。図７（Ｂ）のデプスマップ２６０は、奥行き情報２７０の最小値（スタート画素２６６の「０」が最小値）が黒色で示されると共に、奥行き情報２７０の最大値が白で示されるようなグレースケール画像で視覚的に表現した。この立体視画像生成システム１で生成されたデプスマップ２６０は、遠い青空の周囲は黒色で表現され、両脇に並んでいる木々も、奥側が灰色で、手前側が白色となるように表現されている。また、中央にいる女性も、輪郭部分がグレーで、中心部分が白色に近づくように表現され、女性の立体感を含めて、繊細な奥行き感が表現されていることが分かる。また、本来、大きな距離差を有している青空と女性の頭部の境界であっても、グレースケールに関して極端に大きな差が生じていないことが分かる。結果、従来のように、奥行き情報が極端に変化することで生じる立体視画像内の断絶（不連続）現象も抑制されることが分かる。また、原画像２００とデプスマップ２６０を比較すれば分かるように、グレースケールの濃淡と、実際の遠近感が極めて正確に表現されていることも分かる。
【００５３】
次に、図８を参照して本発明の第２実施形態に係る立体視画像生成システム４０１を説明する。なお、第１実施形態の立体視画像生成システムと同一又は類似する部分については、名称及び符号を一致させることでここでの説明を省略し、異なる部分を中心に説明する。
【００５４】
この立体視画像生成システム４０１は、特徴情報取得部１４０、奥行き情報生成部１６０、立体視画像生成部１８０に加えて、領域区分プログラムによって実現される領域区分部１１０を備えて構成される。
【００５５】
この領域区分部１１０は、図９に示されるように、原画像２００を複数の領域２０２に区分する。また、奥行き情報生成部１６０は、特徴情報２４０に基づいて各画素２０４に奥行き情報２７０を、複数の領域２０２Ａ〜２０２Ｅごとに個別に生成して、領域２０２Ａ〜２０２Ｅに対応した個別デプスマップ２６５を生成する。また、立体視画像生成部１８０は、複数の領域２０２Ａ〜２０２Ｅごとに生成された複数の個別デプスマップ２６５Ａ〜２６５Ｅに基づいて、各画素２０４の位置を変更した立体視画像２８０（右眼用画像２８０Ａおよび左眼用画像２８０Ｂ）を生成する。
【００５６】
特に本実施形態では、立体視画像生成部１８０が奥行き情報合成部１８６を備えるようにする。この奥行き情報合成部１８６は、奥行き情報生成部１６０によって領域２０２Ａ〜２０２Ｅ毎に生成される複数の個別デプスマップ２６５Ａ〜２６５Ｅを合成して、一つの結合デプスマップ２６７を生成する。結果、オペレータは、この結合デプスマップ２６７を利用して全体的な立体感を視覚的に確認することができる。立体視画像生成部１８０は、この結合デプスマップ２６７を利用して、右眼用画像２８０Ａおよび左眼用画像２８０Ｂを生成することになる。なお、既に説明したように、オペレータが結合デプスマップ２６７を必要としない場合は、この奥行き情報合成部１８６を用いなくても良い。即ち、奥行き情報生成部１６０において領域２０２Ａ〜２０２Ｅ毎に設定される奥行き情報２７０を、立体視画像生成部１８０が画素２０４単位で適用して立体視映像２８０を生成しても良い。
【００５７】
より具体的に、領域区分部１１０が複数の領域２０２Ａ〜２０２Ｅに原画像２００を区分する際、スタート画素選択部１６６では、複数の領域２０２Ａ〜２０２Ｅごとにスタート画素２６６Ａ〜２６６Ｅを選択する。結果、経路情報設定部１６８では、複数の領域２６６Ａ〜２６６Ｅごとに最短経路を算出し、この領域２０２Ａ〜２０２Ｅ内の各画素２０４に対して最短経路情報２６８を設定する。特にこの第２実施形態では、領域区分部１１０が、原画像２００に含まれる被写体を主要単位として複数の領域２０２Ａ〜２０２Ｅに区分している。
【００５８】
この結果、原画像２００に設定された領域２０２Ａ〜２０２Ｅ毎に独立して奥行き情報２７０を算出できる。例えば、原画像２００の中に、立体的な観点で完全に独立した建築物や人物が部分的に存在しており、この建築物や人物とその他の領域の間で明らかに立体的な連続性を確保すべきでない場合、この建築物等を領域２０２Ａ〜２０２Ｅで区分することで、奥行き情報２７０を独自に設定する。結果、領域２０２Ａ〜２０２Ｅ単位で考えると、スタート画素２６６Ａ〜２６６Ｅからの最短経路手法によって奥行き情報２７０が算出されるので、領域２０２Ａ〜２０２Ｅ内では連続的で繊細な奥行き情報２７０が得られる。
【００５９】
なお、このように領域２０２Ａ〜２０２Ｅ毎にスタート画素２６６Ａ〜２６６Ｅを設定する場合、各スタート画素２６６Ａ〜２６６Ｅは、最短経路情報２６８が「ゼロ」となる。従って、これをそのまま奥行き情報２７０として採用すると、複数の個別デプスマップ２６５間で相対的な奥行き感がずれてしまう可能性がある。従って、奥行き確定部１７０では、個別デプスマップ２６５Ａ〜２６５Ｅ毎に、最短経路情報２６８を全体的に補正してから奥行き情報２７０を確定することが好ましい。例えば、背景側の第１領域２０２Ａの第１個別デプスマップ２６５Ａと比較して、前面側の第２領域２０２Ｂの第２個別デプスマップ２６５Ｂの全画素２０４には、最短経路情報２６８に対して一定の前側シフト用の補正値を付加してから、これを奥行き情報２７０とする。このように、個別デプスマップ２６５Ａ〜２６５Ｅ単位で奥行き感を補正することで、領域２０２Ａ〜２０２Ｅ内では繊細且つ滑らかな立体感を出しつつ、複数の個別デプスマップ２６５Ａ〜２６５Ｅ同士では、クッキリとした鮮明な立体感を付与することができる。
【００６０】
なお、本実施形態では、原画像２００を複数の領域２０２Ａ〜２０２Ｅに区分けし、この領域２０２Ａ〜２０２Ｅの範囲内でスタート画素２６６Ａ〜２６６Ｅを選択する場合を例示したが、本発明はこれに限定されない。
【００６１】
例えば図１０に示されるように、スタート画素選択部１６６では、原画像２００を領域に区分するか否かに依存することなく、原画像２００の全体からスタート画素２６６Ａ〜２６６Ｄを複数選択し、経路情報設定部１６８では、原画像２００の全画素２０４を対象に、この複数のスタート画素２６６Ａ〜２６６Ｄごとに最短経路を算出して、各画素に複数の最短経路情報２６８Ａ〜２６８Ｄを設定することができる。
【００６２】
奥行き確定部１７０では、各画素２０４に設定される複数の最短経路情報２６８の中から、いずれか一つの最短経路情報２６８Ａ〜２６８Ｄを選択して、奥行き情報２７０を確定する。また、奥行き確定部１７０は、各画素２０４に設定される複数の最短経路情報２６８Ａ〜２６８Ｄを利用して奥行き情報２７０を確定することもできる。この複数の最短経路情報２６８Ａ〜２６８Ｄから一つの最短経路情報を選択したり、複数の最短経路情報２６８Ａ〜２６８Ｄを利用したりする判断は、原画像２００の全体で行っても良く、また画素２０４単位で行っても良い。画素２０４を複数の領域に区分する場合は、その領域単位で行うことも望ましい。
【００６３】
この手法を図１１を参照して別の観点から説明する。奥行き情報生成部１６０は、各スタート画素２６６Ａ〜２６６Ｄに対応した仮デプスマップ２６３Ａ〜２６３Ｄを複数生成する。そして、奥行き確定部１７０は、スタート画素２６６単位で複数生成された仮デプスマップ２６３Ａ〜２６３Ｄの中からどれか一つを用いるか、又は、仮デプスマップ２６３Ａ〜２６３Ｄからいずれか複数を重ねて用いるかを判定する。この際、原画像２００を複数の領域２０２Ａ〜２０２Ｄに区分している場合は、この領域２０２Ａ〜２０２Ｄ単位で判断すれば、領域２０２Ａ〜２０２Ｄに対応した個別デプスマップ２６５Ａ〜２６５Ｄが生成される。この個別デプスマップ２６５Ａ〜２６５Ｄを合成して結合デプスマップ２６７を得る。
【００６４】
以上のようにすると、奥行き情報２７０を確定する際の選択肢を増やすことができる。この選択肢とは、本実施形態ではスタート画素２６６Ａ〜２６６Ｄを意味している。特にここでは、領域２０２Ａ〜２０２Ｄの範囲の外側を含めた広範囲からスタート画素２６６Ａ〜２６６Ｄを選択している。例えば、原画像２００の左側に位置する第１領域２０２Ａでは、原画像２００の右側端のスタート画素２６６Ａを基準に算出した最短経路情報２６８Ａ（仮デプスマップ２６３Ａ）を適用できる。原画像２００の右側に位置する第２領域２０２Ｂでは、原画像２００の左側端のスタート画素２６６Ｂを基準に算出した最短経路情報２６８Ｂ（仮デプスマップ２６３Ｂ）を適用できる。また例えば、原画像２００の手前側に位置する第３領域２０２Ｃでは、原画像２００の奥側のスタート画素２６６Ｃを基準に算出した最短経路情報２６８Ｃ（仮デプスマップ２６３Ｃ）を適用できる。更に、原画像２００の奥側に位置する第４領域２０２Ｄでは、原画像２００の手前側のスタート画素２６６Ｄを基準に算出した最短経路情報２６８Ｄ（仮デプスマップ２６３Ｄ）を適用できる。
【００６５】
既に説明したように、例えば、これらの最短経路情報２６８Ａ〜２６８Ｄ（仮デプスマップ２６３Ａ〜２６３Ｄ）から複数を選択し、これらを利用して、奥行き情報２７０（結合デプスマップ２６７）を確定することも好ましい。このようにすると、最短経路情報２６８Ａ〜２６８Ｄ（仮デプスマップ２６３Ａ〜２６３Ｄ）の各々では、正確な奥行き情報が得られないエラー部分を含有していても、他の最短経路情報２６８Ａ〜２６８Ｄ（仮デプスマップ２６３Ａ〜２６３Ｄ）で正確な奥行き情報が得られていれば、一緒に利用することで、そのエラー部分を自動的に補うことが可能となり、より一層滑らかな奥行き情報２７０（結合デプスマップ２６７）を得ることが可能となる。なお、複数の最短経路情報２６８Ａ〜２６８Ｄを利用して奥行き情報２７０を確定する際は、これらの総和や平均値など、各種計算手法を適用することができる。
【００６６】
以上の第２実施形態では、個別デプスマップ２６５を合成して結合デプスマップ２６７を生成してから、立体視画像２８０（右眼用画像２８０Ａおよび左眼用画像２８０Ｂ）を生成する場合を例示したが、本発明はこれに限定されない。例えば図１２及び図１３に示される立体視画像生成システム５０１のように、立体視画像生成部１８０は、個別画像生成部１８２と立体視画像合成部１８４を備えるようにする。この個別画像生成部１８２は、個別デプスマップ２６５Ａ〜２６５Ｄに基づいて、画素の位置を変更した個別立体視画像２８２Ａ〜２８２Ｄ（右眼用個別画像および左眼用個別画像）を領域２０２Ａ〜２０２Ｄ毎に生成する。個別立体視画像２８２Ａ〜２８２Ｄの生成を、全ての原画像２００（動画における全フレーム）に適用していくことで、個別立体視画像２８２Ａ〜２８２Ｄの完成具合をオペレータが領域２０２Ａ〜２０２Ｄ単位で確認する。その後、立体視画像合成部１８４は、これら個別立体視画像２８２Ａ〜２８２Ｄを合成して立体視画像２８０（右眼用画像２８０Ａ及び左眼用画像２８０Ｂ）を生成する。
【００６７】
立体視画像生成システム５０１による個別立体視画像２８２Ａ〜２８２Ｄの生成時間は、全体の立体視画像２８０を生成する時間と比較して大幅に短縮できる。従って、オペレータは、領域２０２Ａ〜２０２Ｄ単位で立体感を効率的に確認しながら作業を進めることができる。即ち、領域２０２Ａ〜２０２Ｄ単位で立体感を詳細に調整・確認して個別立体視画像２８２Ａ〜２８２Ｄの完成度を高めてから、この個別立体視画像２８２Ａ〜２８２Ｄを合成して、最終的な立体視画像２８０（右眼用画像２８０Ａ、左眼用画像２８０Ｂ）を生成するので、より違和感の少ない立体視画像２８０を得ることが出来る。
【００６８】
以上、この第２実施形態によれば、奥行き感を算出する基準値となるスタート画素２６６を複数選択しているので、これらを自由に組み合わせて用いることにより、原画像２００のシーンに合わせてより柔軟に奥行き情報２７０を確定することが可能となる。特に、原画像２００を複数の領域２０２Ａ〜２０２Ｄに区分した上で、各領域２０２Ａ〜２０２Ｄにとって最適なスタート画素２６６Ａ〜２６６Ｄを選択しているので、より自然な立体感を演出することが可能となる。
【００６９】
なお、上記実施形態では、経路情報設定ステップ３１８において、スタート画素２６６から各画素２０４までの経路上の重み情報２６４の累積値が最小となるような最短経路を算出する場合を例示したが、本発明はこれに限定されない。例えば、プリム法などを利用して、全画素２０４を含む辺の部分集合で構成される経路のうち、その辺の集合の重みの総和が最小となるような経路を求めるようにしてもよい。即ち、本発明では、画素間の各種経路を利用して何らかの重み値を特定できれば、そのアルゴリズムの種類は問わない。
【００７０】
また上記実施形態では、右眼用画像と左眼用画像の２眼視差式の立体視画像を生成する場合に限って例示したが、本発明はこれに限定されない。例えば、この奥行き情報を利用して多眼式の立体視映像を生成するようにしても良く、更には、多眼視差式の立体視映像を生成することも可能である。即ち、本発明では、奥行き情報を利用した立体視映像であれば、その種類は問わない。
【産業上の利用可能性】
【００７１】
本発明の立体視画像生成方法および立体視画像生成システムは、映画やテレビ番組等の製作の分野以外にも、通常画像を立体視画像に変換して表示するテレビやゲーム機等の各種機器の分野において利用することができる。
【符号の説明】
【００７２】
１、４０１、５０１ 立体視画像生成システム
１１０ 領域区分部
１４０ 特徴情報取得部
１６０ 奥行き情報生成部
１６２ エッジ設定部
１６４ 重み情報設定部
１６６ スタート画素選択部
１６８ 経路情報設定部
１７０ 奥行き確定部
１８０ 立体視画像生成部
２００ 原画像
２０４ 画素
２６０ デプスマップ
２８０ 立体視画像
【技術分野】
【０００１】
本発明は、視差によって画像を見る者に立体感を知覚させる立体視画像を生成する立体視画像生成方法および立体視画像生成システムに関する。
【背景技術】
【０００２】
近年、右眼と左眼にそれぞれ異なる画像を視認させることで観察者に立体感を知覚させる２眼視差式の立体視画像が、映画やテレビ放送等の分野で広く用いられるようになってきている。また、見る角度によって観察者が視認する画像を変化させる多眼（多視点）式の立体視画像によって観察者に立体感を知覚させる技術も、例えば裸眼立体視デバイスで用いられている。更に、これらの２眼視差式と多眼式を組み合わせた多眼視差式の立体視画像も用いられつつある。視差式の立体視画像の場合、右眼に視認させる右眼用画像および左眼に視認させる左眼用画像から構成され、両画像中の被写体の位置を人間の両眼視差に合わせてそれぞれ水平方向にシフトする（ずらす）ことにより、画像を見る者（看者）に立体感を知覚させるようにしている。
【０００３】
従来、視差式の立体視画像は、２台のカメラを左右に並べて、右眼用画像および左眼用画像を同時に撮影することによって生成されるのが一般的であった。この場合、人間の両眼視差と略同様の視差を有する右眼用画像および左眼用画像を直接得ることができるため、看者に違和感を持たせることのない自然な立体視画像を生成することができる。
【０００４】
しかしながら、このように２台のカメラによって右眼用画像および左眼用画像を撮影する手法では、全く同仕様の２台のカメラを正確に位置決めして配置すると共に、両者を完全に同期させた状態で撮影を行う必要がある。このため、撮影の際には専門スタッフと共に特殊な専用機器を多数揃える必要があり、撮影コストが増大するだけではなく、カメラその他の各種機器の設定や調整に多大な時間を要するという問題があった。
【０００５】
また従来の多眼式の立体視画像は、多くの視点にカメラを並べて、多視点の画像を同時に撮影することによって生成されるのが一般的であった。しかしながら、このように複数台のカメラによって多視点の画像を撮影する手法では、全く同仕様の複数台のカメラを正確に位置決めして配置すると共に、すべてを完全に同期させた状態で撮影を行う必要があという問題があった。
【０００６】
ましてや、多眼視差式の立体視映像となると、様々な視点に対して、２台ずつカメラを配置して、視差を含んだ映像を撮影する必要がある。従って、極めて特異な目的が無い限り、一般的に普及するにはほど遠い状況となっている。
【０００７】
これに対し、１台のカメラによって通常どおりに撮影された画像に画像処理を施すことで、２眼視差式の右眼用画像および左眼用画像を生成する手法が提案されている（例えば、特許文献１参照）。この手法では、まず原画像を構成する各画素に奥行き情報（奥行き値）を設定し、この奥行き情報に応じて各画素の水平方向の位置を変更することにより、両画像中の被写体の位置を両眼視差に合わせてシフトした右眼用画像および左眼用画像を生成するようになっている。
【０００８】
この手法によれば、一般的なカメラによって撮影した通常の原画像から立体視画像を生成することが可能であるため、撮影コストを低減し、撮影時間を短縮することができる。また、既存の映画等のコンテンツから立体視画像を生成したり、一般的なテレビ放送を立体視画像に変換してテレビ画面に表示させたりすることもできる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００２−１２３８４２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、通常の原画像から立体視画像を生成する従来の手法では、一般的に原画像を構成する各画素の色相、彩度または明度（上記特許文献１では、彩度）の値をそのまま各画素の奥行き情報としているため、例えば被写体である人物等と背景の境界においては奥行き情報の値が大きく変化することとなり、奥行きの断絶（不連続）が生じるという問題があった。
【００１１】
このような奥行きの断絶が生じている場合、人物等と背景の間の遠近のみが強調されて人物等が平面的に感じられる、いわゆる描き割り効果等の不自然な立体感として知覚されることとなる。また、右眼用画像および左眼用画像において各画素の位置を変更する際に、人物等に含まれる画素と背景に含まれる画素の移動量が大きく異なることから、原画像において人物等に遮蔽されていた背景に大きなギャップ（欠損）が生じることとなる。
【００１２】
従来の手法においては、このようなギャップを回避するために、境界部分に対するぼかし処理や、人物等または背景の画像を拡大または変形させる処理を施すようにしたものもあるが、このような処理は、立体視画像の画質を劣化させるだけでなく、却って看者に違和感を与える場合があった。また、これらのぼかし処理や、拡大変形処理には、ソフトウエア上で立体視画像を加工するオペレータの作業負担を増大させるという問題があった。従って、多眼式や多眼視差式の立体視画像を、原画像から立体視画像を生成しようとすると、オペレータの加工作業が膨大となってしまうという問題があった。
【００１３】
本発明は、斯かる実情に鑑み、看者に自然な立体感を知覚させる立体視画像を原画像から生成することが可能な立体視画像生成方法および立体視画像生成システムを提供しようとするものである。
【課題を解決するための手段】
【００１４】
上記目的を達成する本発明は、原画像を構成する各画素の特徴情報を取得する特徴情報取得ステップと、前記特徴情報に基づいて前記各画素に奥行き情報を生成する奥行き情報生成ステップと、前記奥行き情報に基づいて前記各画素の位置を変更した立体視画像を生成する立体視画像生成ステップと、を有し、前記奥行き情報生成ステップは、前記原画像から抽出された一対の前記画素の間にエッジを設定するエッジ設定ステップと、前記特徴情報に基づいて前記エッジに重み情報を設定する重み情報設定ステップと、前記各画素の中からスタート画素を選択するスタート画素選択ステップと、前記スタート画素から前記各画素までの前記重み情報についての経路を算出し、前記各画素に経路情報を設定する経路情報設定ステップと、前記経路情報に基づいて前記各画素に前記奥行き情報を設定する奥行き確定ステップと、を有することを特徴とする、立体視画像生成方法である。
【００１５】
上記目的を達成する立体視画像生成方法において、上記発明の前記スタート画素選択ステップでは、前記原画像における最奥部を示す領域、または最前部を示す領域に含まれる前記画素を前記スタート画素に選択することを特徴とする。
【００１６】
上記目的を達成する立体視画像生成方法において、上記発明の前記スタート画素選択ステップでは、前記スタート画素を複数選択することを特徴とする。
【００１７】
上記目的を達成する立体視画像生成方法において、上記発明の前記経路情報設定ステップでは、前記複数のスタート画素ごとに前記経路を算出して前記各画素に複数の前記経路情報を設定し、前記奥行き確定ステップでは、前記各画素に設定された前記複数の経路情報の中から１つを選択するか、又は、前記複数の経路情報を合成するかによって、前記複数の経路情報に基づいて前記奥行き情報を設定することを特徴とする。
【００１８】
上記目的を達成する立体視画像生成方法において、上記発明の前記スタート画素選択ステップでは、前記原画像中の所定の領域に含まれる複数の前記画素をまとめて一つの前記スタート画素に選択することを特徴とする。
【００１９】
上記目的を達成する立体視画像生成方法において、上記発明は、前記原画像を複数の領域に区分する領域区分ステップをさらに備え、前記スタート画素選択ステップでは、前記複数の領域ごとに前記スタート画素を選択し、前記経路情報設定ステップでは、前記複数の領域ごとに前記経路を算出し、前記各画素に前記経路情報を設定することを特徴とする。
【００２０】
上記目的を達成する立体視画像生成方法において、上記発明の前記領域区分ステップでは、前記原画像に含まれる被写体ごとに前記原画像を前記複数の領域に区分することを特徴とする。
【００２１】
上記目的を達成する本発明は、電子計算機によって構成され、原画像を構成する各画素の特徴情報を取得する特徴情報取得手段と、前記特徴情報に基づいて前記各画素に奥行き情報を生成する奥行き情報生成手段と、前記奥行き情報に基づいて前記各画素の位置を変更した立体視画像を生成する立体視画像生成手段と、を有し、前記奥行き情報生成手段は、前記原画像から抽出された一対の前記画素の間にエッジを設定するエッジ設定手段と、前記特徴情報に基づいて前記エッジに重み情報を設定する重み情報設定手段と、前記各画素の中からスタート画素を選択するスタート画素選択手段と、前記スタート画素から前記各画素までの前記重み情報についての経路を算出し、前記各画素に経路情報を設定する経路情報設定手段と、前記経路情報に基づいて前記各画素に前記奥行き情報を設定する奥行き確定手段と、を有することを特徴とする、立体視画像生成システムである。
【発明の効果】
【００２２】
本発明によれば、看者に自然な立体感を知覚させる立体視画像を原画像から略自動的に生成することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１実施形態に係る立体視画像生成システムのハードウエア構成を示すブロック図である。
【図２】同立体視画像生成システムのプログラム構成及び機能構成を示すブロック図である。
【図３】同立体視画像生成システムによる立体視画像生成の流れを示すブロック図である。
【図４】同立体視画像生成システムにおけるデプスマップの生成概念を示す図である。
【図５】同立体視画像生成システムにおける最短経路情報を算出する例を示す図である。
【図６】同立体視画像生成システムによる立体視画像生成手順を示すフローチャートである。
【図７】同立体視画像生成システムによるデプスマップの生成事例を示す（Ａ）原画像、及び（Ｂ）デプスマップ画像である。
【図８】本発明の第２実施形態に係る立体視画像生成システムの機能構成を示すブロック図である。
【図９】同立体視画像生成システムによる立体視画像生成の流れを示すブロック図である。
【図１０】同立体視画像生成システムの他の例による立体視画像生成の流れを示すブロック図である。
【図１１】同立体視画像生成システムの他の例による立体視画像生成の流れを示すブロック図である。
【図１２】同立体視画像生成システムの他の例に係る機能構成を示すブロック図である。
【図１３】同立体視画像生成システムの他の例による立体視画像生成の流れを示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照しながら本発明の実施の形態について詳細に説明する。
【００２５】
図１には、第１実施形態に係る立体視画像生成システム１を構成するコンピュータ１０の内部構成が示されている。このコンピュータ１０は、ＣＰＵ１２、第１記憶媒体１４、第２記憶媒体１６、第３記憶媒体１８、入力装置２０、表示装置２２、入出力インタフェース２４、バス２６を備えて構成される。ＣＰＵ１２はいわゆる中央演算処理装置であり、各種プログラムが実行されてこの立体視画像生成システム１の各種機能を実現する。第１記憶媒体１４はいわゆるＲＡＭ（ランダム・アクセス・メモリ）であり、ＣＰＵ１２の作業領域として使用されるメモリである。第２記憶媒体１６はいわゆるＲＯＭ（リード・オンリー・メモリ）であり、ＣＰＵ１２で実行される基本的なプログラムを記憶するためのメモリである。第３記憶媒体１８は、磁気ディスクを内蔵したハードディスク装置、ＣＤやＤＶＤやＢＤを収容するディスク装置、不揮発性の半導体フラッシュメモリ装置などで構成されており、この立体視画像生成システム１の全体的な基本動作を実現するＯＳ（オペレーティングシステム）プログラムや、立体視画像を生成する際にＣＰＵ１２で実行される立体視画像生成プログラムや、この立体視画像生成プログラムで利用されるデプスマップや立体視画像などの各種データなどを記憶する。入力装置２０はキーボードやマウスであり、作業者によって立体視画像生成システム１に適宜情報を入力する装置である。表示装置２２はディスプレイであって、作業者に対して視覚的なインタフェースを提供する。入出力インタフェース２４は、立体視画像生成プログラムで必要となる原画像データを入力したり、同立体視画像生成プログラムで生成されたデプスマップや立体視画像を外部に出力したりするためのインタフェースである。バス２６は、ＣＰＵ１２、第１記憶媒体１４、第２記憶媒体１６、第３記憶媒体１８、入力装置２０、表示装置２２、入出力インタフェース２４などを一体的に接続して通信を行うための配線となる。
【００２６】
図２には、第３記憶媒体１８に記憶されている立体視画像生成プログラムのプログラム構成と、この立体視画像生成プログラムがＣＰＵ１２で実行されることにより実現されることによって立体視画像生成システム１が実現する機能構成が示されている。また、図３〜図５には、この立体視画像生成システム１によって実行される立体視画像生成手法が概念的に示されている。なお、この立体視画像生成システム１では、立体視画像生成プログラムの構成とその機能構成は対応関係にあることから、ここでは立体視画像生成システム１の機能構成の説明を行うことで、プログラムの説明は省略する。
【００２７】
この立体視画像生成システム１は、特徴情報取得プログラムによって実現される特徴情報取得部１４０、奥行き情報生成プログラムによって実現される奥行き情報生成部１６０、立体視画像生成プログラムによって実現される立体視画像生成部１８０を備えて構成される。
【００２８】
特徴情報取得部１４０は、原画像２００を構成する各画素２０４の特徴情報２４０を取得する。この特徴情報２４０は、例えば、各画素２０４の色相、明度、彩度、色空間などのように、各画素２０４が単独で有している特徴的な情報の他、対象画素２０４の周囲の画素２０４の関係から導かれる特徴的な情報や、複数フレームを有する動画の場合は、各画素２０４の時間的な変化（前後のフレームの同じ位置の画素との関係）から導かれる特徴的な情報などを利用することも可能である。
【００２９】
奥行き情報生成部１６０は、各画素２０４で取得される特徴情報２４０に基づいて、各画素２０４に奥行き情報２７０が設定されたデプスマップ２６０を生成する。
【００３０】
具体的に、この奥行き情報生成部１６０は、更に詳細に、エッジ設定部１６２、重み情報設定部１６４、スタート画素選択部１６６、経路情報設定部１６８、奥行き確定部１７０を備える。
【００３１】
図４に示されるように、エッジ設定部１６２は、原画像２００から抽出される一対の画素２０４間にエッジ２６２を設定する。このエッジ２６２とは、概念として、一対の画素２０４間を結ぶ線又は両者を結ぶ経路を意味している。グラフ理論で考えると、一対の画素２０４が節点又は頂点となり、エッジ２６２が枝又は辺となる。本実施形態は、各画素２０４に対して、上下左右に隣接する合計４つの画素２０４に対するエッジ２６２を設定する。なお、本発明は、各画素２０４から上下左右に隣接する画素２０４に対してエッジ２６２を設定する場合に限定されるものではなく、右斜め上、左斜め上、右斜め下、左斜め下の隣接する画素２０４に対してエッジ２６２を設定したり、これらと上下左右を組み合わせた合計８画素２０４に対してエッジ２６２を設定することもできる。また、必ずしも隣り合う画素２０４間にエッジ２６２を設定する場合に限られず、途中の画素を飛ばすことで一定の距離を有する一対の画素２０４、即ち、間引き作業を行った画素２０４に対してエッジ２６２を設定することも可能である。勿論、飛び地のように遠く離れた場所にある一対の画素２０４の間にエッジ２６２を設定することも可能である。
【００３２】
重み情報設定部１６４は、エッジ２６２を結ぶ一対の特徴情報２４０に基づいて、このエッジ２６２に重み情報２６４を設定する。この重み情報２６４は、本実施形態ではエッジ２６２間を結ぶ一対の画素２０４の特徴情報２４０の差を利用する。差が大きいほど重み情報２６４が大きくなり、差が小さい程、重み情報２６４が小さくなる。なお、この重み情報２６４は、エッジ２６２両端の一対の特徴情報２４０の「差」に限定されるものではなく、この一対の特徴情報２４０を利用して重み情報を算出する各種関数などを利用して、重み情報２６４を設定することも可能である。
【００３３】
スタート画素選択部１６６は、原画像２００における各画素２０４の中から、スタート画素２６６を選択する。このスタート画素２６６は、後述する最短経路情報２６８を設定する際のスタート地点となる。このスタート画素２６６は、画像２００の中から自由に選択することが可能であるが、例えば図３に示されるように、原画像２００において最も奥側に位置する領域２００Ａの中に存在する画素群、又は、最も前側に位置する領域２００Ｂの中に存在する画素群から選択することが好ましい。なお、詳細は第２実施形態で詳述するが、原画像２００から複数のスタート画素２６６を選択することも可能である。また更に、図３に示されるように、原画像２００における所定の領域２００Ｃに含まれる全ての画素２０４を、まとめて一つのスタート画素２６６として領域選択することも可能である。
【００３４】
なお本実施形態では、原画像２００における最も奥側の領域２００Ａの中から一つの画素をスタート画素２６６として選択する。
【００３５】
経路情報設定部１６８は、原画像２００において、スタート画素２６６から各画素２０４までの経路（エッジ２６２）の重み情報２６４を利用して、その最短経路を算出し、これらの各画素２０４に最短経路情報２６８を設定する。この具体的な例を図５を利用して説明する。
【００３６】
説明を簡略化するために、ここでは原画像２００が３行×３列の９つの画素２０４Ａ〜２０４Ｉから構成されると仮定し、左上の画素２０４Ａが、最も奥側に位置する画素であることから、スタート画素２６６として設定する場合を考える。画素２０４Ａ〜２０４Ｉ間を結合する１２個のエッジ２６２（１）〜２６２（１２）には、各画素２０４Ａ〜２０４Ｉが保有する特徴情報（図示省略）の相対差を利用して、１〜１０までの重み情報２６４が予め設定されている。ここで中央上段の画素２０４Ｄの経路を考えると、スタート画素２０４Ａと画素２０４Ｄを結ぶ経路として、例えば、スタート画素２０４Ａと画素２０４Ｄを直接結ぶエッジ２６２（３）のみの第１経路Ｒ１と、スタート画素２０４Ａ、画素２０４Ｂ、画素２０４Ｅ、画素２０４Ｄを結ぶ３つのエッジ２６２（１）、２６２（４）、２６２（６）からなる第２経路Ｒ２を有している。第１経路Ｒ１の重み情報２６４の総和は「１」、第２経路Ｒ２の重み情報２６４の総和は、３＋２＋５の「１０」となる。このように、スタート画素２０４Ａと画素２０４Ｄの間において取り得る全経路について同様に重み情報２６４の総和を算出し、最も小さい値となるのが最短経路である。ここでは、上記第１経路Ｒ１が最短経路となり、結果、この画素２０４Ｄには、最短経路情報２６８として、最短経路上の重み情報２６４の総和である「１」が設定される。
【００３７】
経路情報設定部１６８は、各画素２０４Ａ〜２０４Ｉまでの全てに対して、上記手法によって最短経路情報２６８を設定する。結果として、画素２０４Ａは「０」、画素２０４Ｂは「３」、画素２０４Ｃは「１１」、画素２０４Ｄは「１」、画素２０４Ｅは「５」、画素２０４Ｆは「１０」、画素２０４Ｇは「５」、画素２０４Ｈは「１２」、画素２０４Ｉは「１２」の最短経路情報２６８が設定される。
【００３８】
奥行き確定部１７０は、最短経路情報２６８に基づいて各画素２０４に奥行き情報２７０を設定する。なお、本実施形態では、奥行き確定部１７０は、この最短経路情報２６８を奥行き情報２７０としてそのまま用いる。この各画素２０４に設定される奥行き情報２７０を視覚的にマップ化したものがデプスマップ２６０となる。
【００３９】
なお、必要に応じてこの最短経路情報２６８を補正した値を、奥行き情報２７０として用いることも可能である。例えば、原画像２００が野外の風景を写した画像であるか、屋内空間を写した画像であるかによって異なる補正用関数を用意しておき、この最短経路情報２６８に対して、原画像２００の内容に応じて選択された補正関数を適用して、奥行き情報２７０を算出することも可能である。
【００４０】
立体視画像生成部１８０は、デプスマップ２６０に基づいて、各画素２０４の位置を変更した右眼用画像２８０Ａおよび左眼用画像２８０Ｂから構成される立体視画像２８０を生成する。具体的には、デプスマップ２６０の奥行き情報２７０を利用して、奥側に位置する画素２０４に関しては水平方向の変位量（シフト量）を小さくし、手前側に位置する画素２０４に関しては水平方向の変位量を大きくして、視差を含んだ右眼用画像２８０Ａおよび左眼用画像２８０Ｂを生成する。結果、画像を見る者（看者）の右眼に、右眼用画像２８０Ａを見せると共に、左眼に左眼用画像２８０Ｂを見せることで、これに含まれる視差が脳内で処理されて立体感を知覚する。
【００４１】
次に図６を参照して、立体視画像生成システム１による立体視画像の生成手順を説明する。
【００４２】
まず、ステップ３００において、立体視画像生成システム１の入出力インタフェース２４を介して、複数の原画像（フレーム）２００によって構成される動画像を第３記憶媒体１８に登録する。その後、ステップ３０２では、特徴情報処理部１４０が、この動画像から最初の原画像（フレーム）２００を抽出して、これを構成する各画素２０４の特徴情報２４０を取得する（特徴情報取得ステップ）。
【００４３】
次いで、ステップ３１０では、この特徴情報２４０に基づいて各画素２０４に奥行き情報２７０を設定したデプスマップ２６０を生成する（奥行き情報生成ステップ）。この奥行き情報生成ステップ３１０は、詳細にステップ３１２〜ステップ３２０に分かれる。
【００４４】
まず、ステップ３１２では、接近する２つの画素２０４間にエッジ２６２を設定する（エッジ設定ステップ）。その後、ステップ３１４では、各画素２０４に設定済みの特徴情報２４０に基づいて、エッジ２６２に重み情報２６４を設定する（重み情報設定ステップ）。次に、ステップ３１６では、各画素２０４の中からスタート画素２６６を選択し（スタート画素選択ステップ）、更に、ステップ３１８に進んで、スタート画素２６６から各画素２０４までの経路上の重み情報２６４の累積値が最小となるような最短経路を算出し、最短経路が算出された各画素２０４に対して、重み情報２６４の最小の累積値となる最短経路情報２６８を設定する（経路情報設定ステップ）。その後、ステップ３２０では、最短経路情報２６８を利用して、各画素２０４に奥行き情報２７０を設定し、この奥行き情報２７０を集合化して画素群に対するデプスマップ２６０を生成する（奥行き確定ステップ）。
【００４５】
以上の奥行き情報生成ステップ３１０が完了したら、次に、ステップ３３０に進んで、確定した奥行き情報２７０（デプスマップ２６０）に基づいて各画素２０４の位置をシフトさせた右眼用画像２８０Ａおよび左眼用画像２８０Ｂからなる立体視画像を生成する（立体視画像生成ステップ）。
【００４６】
なお、ここでは奥行き情報２７０を集合化してデプスマップ２６０を生成し、このデプスマップ２６０を利用して立体視画像２８０を生成する場合を例示しているが、本発明はこれに限定されない。デプスマップ化することなく、奥行き情報２７０をそのまま利用して立体視画像２８０を生成することが可能である。また、原画像２００単位で全ての奥行き情報２７０が生成されるまで立体視画像生成ステップ３３０を待機させる必要は無く、画素２０４単位で設定される奥行き情報２７０を、逐次、立体視画像生成ステップ３３０に適用していき、画素２０４単位で立体視画像２８０を順次生成していくことも可能である。勿論、本実施形態で示すように、必要に応じて奥行き情報２７０をデプスマップ２６０によって画像化又は可視化することも好ましく、本立体視画像生成システム１のオペレータが奥行き情報２７０の設定状況を視覚的に確認する際に便利である。
【００４７】
原画像２００から立体視画像２８０の生成が完了したら、ステップ３４０に進んで、今回の原画像２００が動画像の中で最後のフレームか否かを判断し、最後のフレームで無い場合は、ステップ３０２に戻って、次の原画像（フレーム）２００を抽出して、上記と同じステップを繰り返す。一方、立体視画像２８０を生成した原画像２００が動画中の最後のフレームとなる場合は、この立体視画像生成手順を終了させる。
【００４８】
以上、本実施形態の立体視画像生成システム１によれば、立体視画像２８０を生成する際の立体感の根拠となる奥行き情報２７０を、複数の画素２０４間の最短経路に沿った重み情報２６４の累積値から算出される最短経路情報２６８を利用して生成する。この結果、エッジ２６２によって結ばれている画素２０４の集合に関して、この奥行き情報２７０に連続性を持たせることが可能となる。この奥行き情報２７０を利用して生成される立体視画像２８０に対して、自然な奥行き感を付与されることになる。とりわけ、従来のように、前面側の人物と奥側の背景の境界において、奥行き情報が極端に変化することで生じる立体視画像内の断絶（不連続）現象を抑制することが可能となり、看者にとって違和感の少ない立体感を立体視画像２８０に付与出来る。更に、この断絶現象が抑制されることに伴って、生成後の立体視画像２８０に対してギャップの発生を抑えることが可能となり、ギャップを埋めるための画像補整（ぼかしや画像変形）も低減され、画像品質の劣化が抑制される。
【００４９】
更にこの立体視画像生成システム１では、原画像２００における最奥部を示す領域２００Ａ、または最前部を示す領域２００Ｂの中からスタート画素２６６を選択している。このスタート画素２６６は、他の画素２０４の最短経路情報２６８を算出する際の基準点（ゼロ点）となる。このスタート画素２６６を最奥又は最前の画素２０４から選択することで、違和感のないデプスマップ２６０を生成することができる。なお、このスタート画素２６６の選択は、表示装置（ディスプレイ）２２に原画像２００を表示させて、立体視画像生成システム１のオペレータに対して最奥又は最前と考えられるスタート画素２６６の選択を促すようにしても良い。また、立体視画像生成システム１が原画像２００を解析することによって、最奥又は最前であろう領域２００Ａ、２００Ｂを推測し、その中から自動的にスタート画素２６６を選択するようにしても良い。
【００５０】
以上の結果、殆ど自動的に全ての奥行き情報２７０を算出することができるので、立体視画像生成システム１のオペレータの作業負担が大幅に軽減される。なお、従来のシステムでは、立体視画像を確認しながら、想定される代表的なシーン（山岳地帯、海、部屋、街頭など）に対応した複数のテンプレートから最適なテンプレートを選択して、デプスマップ２６０に補正を加えるような複雑な作業が要求されている。
【００５１】
なお、本第１実施形態では、スタート画素選択ステップ３１６において、スタート画素２６６として１つの画素を選択する場合を例示したが、本発明はこれに限定されない。例えば、図３で例示したように、原画像２００中の所定の領域２００Ｃに含まれる複数の画素２０４を、一つのスタート画素２６６として選択することもできる。即ち、最短経路手法で考えると、これらの領域に含まれる全画素２０４のエッジの重み情報と最短経路情報を予めゼロ又は固定値（基準値）に設定することを意味している。このようにすることで、この領域内に映像的なノイズが含まれている場合であっても、ノイズの影響をカットすることが可能となる。また、雲一つ無い晴天の空のように、奥行き感に差を付ける必要が無い領域の計算を省略することができるので、最短経路を算出する情報処理時間を大幅に削減することができる。また、ここではスタート画素２６６を一定の領域で指定する場合に限って示したが、スタート画素以外の他の画素についても、一定の領域として一体化することが可能である。例えばこの領域設定は、複数の隣接する画素で構成される一定の面積範囲の奥行き情報を共通化しても良いようなシンプルな被写体に好適である。この場合、一体化される領域では、これらの画素群を仮想的に１画素と見なすようにオペレータが領域指示を加える。結果、最短経路を算出する情報処理時間を大幅に削減することができる。
【実施例１】
【００５２】
本実施形態の立体視画像生成システム１を利用して、静止画となる原画像２００を利用して奥行き情報２７０を算出し、これを実験的に視覚化する目的でデプスマップ２６０を生成した結果を図７に示す。図７（Ａ）の原画像２００は、青空であって両側に木々が並んでいる広場に、女性が立っているシーンとなっている。なお、スタート画素２６６は、最も奥側となる青空の領域の１つの画素から選択した。図７（Ｂ）のデプスマップ２６０は、奥行き情報２７０の最小値（スタート画素２６６の「０」が最小値）が黒色で示されると共に、奥行き情報２７０の最大値が白で示されるようなグレースケール画像で視覚的に表現した。この立体視画像生成システム１で生成されたデプスマップ２６０は、遠い青空の周囲は黒色で表現され、両脇に並んでいる木々も、奥側が灰色で、手前側が白色となるように表現されている。また、中央にいる女性も、輪郭部分がグレーで、中心部分が白色に近づくように表現され、女性の立体感を含めて、繊細な奥行き感が表現されていることが分かる。また、本来、大きな距離差を有している青空と女性の頭部の境界であっても、グレースケールに関して極端に大きな差が生じていないことが分かる。結果、従来のように、奥行き情報が極端に変化することで生じる立体視画像内の断絶（不連続）現象も抑制されることが分かる。また、原画像２００とデプスマップ２６０を比較すれば分かるように、グレースケールの濃淡と、実際の遠近感が極めて正確に表現されていることも分かる。
【００５３】
次に、図８を参照して本発明の第２実施形態に係る立体視画像生成システム４０１を説明する。なお、第１実施形態の立体視画像生成システムと同一又は類似する部分については、名称及び符号を一致させることでここでの説明を省略し、異なる部分を中心に説明する。
【００５４】
この立体視画像生成システム４０１は、特徴情報取得部１４０、奥行き情報生成部１６０、立体視画像生成部１８０に加えて、領域区分プログラムによって実現される領域区分部１１０を備えて構成される。
【００５５】
この領域区分部１１０は、図９に示されるように、原画像２００を複数の領域２０２に区分する。また、奥行き情報生成部１６０は、特徴情報２４０に基づいて各画素２０４に奥行き情報２７０を、複数の領域２０２Ａ〜２０２Ｅごとに個別に生成して、領域２０２Ａ〜２０２Ｅに対応した個別デプスマップ２６５を生成する。また、立体視画像生成部１８０は、複数の領域２０２Ａ〜２０２Ｅごとに生成された複数の個別デプスマップ２６５Ａ〜２６５Ｅに基づいて、各画素２０４の位置を変更した立体視画像２８０（右眼用画像２８０Ａおよび左眼用画像２８０Ｂ）を生成する。
【００５６】
特に本実施形態では、立体視画像生成部１８０が奥行き情報合成部１８６を備えるようにする。この奥行き情報合成部１８６は、奥行き情報生成部１６０によって領域２０２Ａ〜２０２Ｅ毎に生成される複数の個別デプスマップ２６５Ａ〜２６５Ｅを合成して、一つの結合デプスマップ２６７を生成する。結果、オペレータは、この結合デプスマップ２６７を利用して全体的な立体感を視覚的に確認することができる。立体視画像生成部１８０は、この結合デプスマップ２６７を利用して、右眼用画像２８０Ａおよび左眼用画像２８０Ｂを生成することになる。なお、既に説明したように、オペレータが結合デプスマップ２６７を必要としない場合は、この奥行き情報合成部１８６を用いなくても良い。即ち、奥行き情報生成部１６０において領域２０２Ａ〜２０２Ｅ毎に設定される奥行き情報２７０を、立体視画像生成部１８０が画素２０４単位で適用して立体視映像２８０を生成しても良い。
【００５７】
より具体的に、領域区分部１１０が複数の領域２０２Ａ〜２０２Ｅに原画像２００を区分する際、スタート画素選択部１６６では、複数の領域２０２Ａ〜２０２Ｅごとにスタート画素２６６Ａ〜２６６Ｅを選択する。結果、経路情報設定部１６８では、複数の領域２６６Ａ〜２６６Ｅごとに最短経路を算出し、この領域２０２Ａ〜２０２Ｅ内の各画素２０４に対して最短経路情報２６８を設定する。特にこの第２実施形態では、領域区分部１１０が、原画像２００に含まれる被写体を主要単位として複数の領域２０２Ａ〜２０２Ｅに区分している。
【００５８】
この結果、原画像２００に設定された領域２０２Ａ〜２０２Ｅ毎に独立して奥行き情報２７０を算出できる。例えば、原画像２００の中に、立体的な観点で完全に独立した建築物や人物が部分的に存在しており、この建築物や人物とその他の領域の間で明らかに立体的な連続性を確保すべきでない場合、この建築物等を領域２０２Ａ〜２０２Ｅで区分することで、奥行き情報２７０を独自に設定する。結果、領域２０２Ａ〜２０２Ｅ単位で考えると、スタート画素２６６Ａ〜２６６Ｅからの最短経路手法によって奥行き情報２７０が算出されるので、領域２０２Ａ〜２０２Ｅ内では連続的で繊細な奥行き情報２７０が得られる。
【００５９】
なお、このように領域２０２Ａ〜２０２Ｅ毎にスタート画素２６６Ａ〜２６６Ｅを設定する場合、各スタート画素２６６Ａ〜２６６Ｅは、最短経路情報２６８が「ゼロ」となる。従って、これをそのまま奥行き情報２７０として採用すると、複数の個別デプスマップ２６５間で相対的な奥行き感がずれてしまう可能性がある。従って、奥行き確定部１７０では、個別デプスマップ２６５Ａ〜２６５Ｅ毎に、最短経路情報２６８を全体的に補正してから奥行き情報２７０を確定することが好ましい。例えば、背景側の第１領域２０２Ａの第１個別デプスマップ２６５Ａと比較して、前面側の第２領域２０２Ｂの第２個別デプスマップ２６５Ｂの全画素２０４には、最短経路情報２６８に対して一定の前側シフト用の補正値を付加してから、これを奥行き情報２７０とする。このように、個別デプスマップ２６５Ａ〜２６５Ｅ単位で奥行き感を補正することで、領域２０２Ａ〜２０２Ｅ内では繊細且つ滑らかな立体感を出しつつ、複数の個別デプスマップ２６５Ａ〜２６５Ｅ同士では、クッキリとした鮮明な立体感を付与することができる。
【００６０】
なお、本実施形態では、原画像２００を複数の領域２０２Ａ〜２０２Ｅに区分けし、この領域２０２Ａ〜２０２Ｅの範囲内でスタート画素２６６Ａ〜２６６Ｅを選択する場合を例示したが、本発明はこれに限定されない。
【００６１】
例えば図１０に示されるように、スタート画素選択部１６６では、原画像２００を領域に区分するか否かに依存することなく、原画像２００の全体からスタート画素２６６Ａ〜２６６Ｄを複数選択し、経路情報設定部１６８では、原画像２００の全画素２０４を対象に、この複数のスタート画素２６６Ａ〜２６６Ｄごとに最短経路を算出して、各画素に複数の最短経路情報２６８Ａ〜２６８Ｄを設定することができる。
【００６２】
奥行き確定部１７０では、各画素２０４に設定される複数の最短経路情報２６８の中から、いずれか一つの最短経路情報２６８Ａ〜２６８Ｄを選択して、奥行き情報２７０を確定する。また、奥行き確定部１７０は、各画素２０４に設定される複数の最短経路情報２６８Ａ〜２６８Ｄを利用して奥行き情報２７０を確定することもできる。この複数の最短経路情報２６８Ａ〜２６８Ｄから一つの最短経路情報を選択したり、複数の最短経路情報２６８Ａ〜２６８Ｄを利用したりする判断は、原画像２００の全体で行っても良く、また画素２０４単位で行っても良い。画素２０４を複数の領域に区分する場合は、その領域単位で行うことも望ましい。
【００６３】
この手法を図１１を参照して別の観点から説明する。奥行き情報生成部１６０は、各スタート画素２６６Ａ〜２６６Ｄに対応した仮デプスマップ２６３Ａ〜２６３Ｄを複数生成する。そして、奥行き確定部１７０は、スタート画素２６６単位で複数生成された仮デプスマップ２６３Ａ〜２６３Ｄの中からどれか一つを用いるか、又は、仮デプスマップ２６３Ａ〜２６３Ｄからいずれか複数を重ねて用いるかを判定する。この際、原画像２００を複数の領域２０２Ａ〜２０２Ｄに区分している場合は、この領域２０２Ａ〜２０２Ｄ単位で判断すれば、領域２０２Ａ〜２０２Ｄに対応した個別デプスマップ２６５Ａ〜２６５Ｄが生成される。この個別デプスマップ２６５Ａ〜２６５Ｄを合成して結合デプスマップ２６７を得る。
【００６４】
以上のようにすると、奥行き情報２７０を確定する際の選択肢を増やすことができる。この選択肢とは、本実施形態ではスタート画素２６６Ａ〜２６６Ｄを意味している。特にここでは、領域２０２Ａ〜２０２Ｄの範囲の外側を含めた広範囲からスタート画素２６６Ａ〜２６６Ｄを選択している。例えば、原画像２００の左側に位置する第１領域２０２Ａでは、原画像２００の右側端のスタート画素２６６Ａを基準に算出した最短経路情報２６８Ａ（仮デプスマップ２６３Ａ）を適用できる。原画像２００の右側に位置する第２領域２０２Ｂでは、原画像２００の左側端のスタート画素２６６Ｂを基準に算出した最短経路情報２６８Ｂ（仮デプスマップ２６３Ｂ）を適用できる。また例えば、原画像２００の手前側に位置する第３領域２０２Ｃでは、原画像２００の奥側のスタート画素２６６Ｃを基準に算出した最短経路情報２６８Ｃ（仮デプスマップ２６３Ｃ）を適用できる。更に、原画像２００の奥側に位置する第４領域２０２Ｄでは、原画像２００の手前側のスタート画素２６６Ｄを基準に算出した最短経路情報２６８Ｄ（仮デプスマップ２６３Ｄ）を適用できる。
【００６５】
既に説明したように、例えば、これらの最短経路情報２６８Ａ〜２６８Ｄ（仮デプスマップ２６３Ａ〜２６３Ｄ）から複数を選択し、これらを利用して、奥行き情報２７０（結合デプスマップ２６７）を確定することも好ましい。このようにすると、最短経路情報２６８Ａ〜２６８Ｄ（仮デプスマップ２６３Ａ〜２６３Ｄ）の各々では、正確な奥行き情報が得られないエラー部分を含有していても、他の最短経路情報２６８Ａ〜２６８Ｄ（仮デプスマップ２６３Ａ〜２６３Ｄ）で正確な奥行き情報が得られていれば、一緒に利用することで、そのエラー部分を自動的に補うことが可能となり、より一層滑らかな奥行き情報２７０（結合デプスマップ２６７）を得ることが可能となる。なお、複数の最短経路情報２６８Ａ〜２６８Ｄを利用して奥行き情報２７０を確定する際は、これらの総和や平均値など、各種計算手法を適用することができる。
【００６６】
以上の第２実施形態では、個別デプスマップ２６５を合成して結合デプスマップ２６７を生成してから、立体視画像２８０（右眼用画像２８０Ａおよび左眼用画像２８０Ｂ）を生成する場合を例示したが、本発明はこれに限定されない。例えば図１２及び図１３に示される立体視画像生成システム５０１のように、立体視画像生成部１８０は、個別画像生成部１８２と立体視画像合成部１８４を備えるようにする。この個別画像生成部１８２は、個別デプスマップ２６５Ａ〜２６５Ｄに基づいて、画素の位置を変更した個別立体視画像２８２Ａ〜２８２Ｄ（右眼用個別画像および左眼用個別画像）を領域２０２Ａ〜２０２Ｄ毎に生成する。個別立体視画像２８２Ａ〜２８２Ｄの生成を、全ての原画像２００（動画における全フレーム）に適用していくことで、個別立体視画像２８２Ａ〜２８２Ｄの完成具合をオペレータが領域２０２Ａ〜２０２Ｄ単位で確認する。その後、立体視画像合成部１８４は、これら個別立体視画像２８２Ａ〜２８２Ｄを合成して立体視画像２８０（右眼用画像２８０Ａ及び左眼用画像２８０Ｂ）を生成する。
【００６７】
立体視画像生成システム５０１による個別立体視画像２８２Ａ〜２８２Ｄの生成時間は、全体の立体視画像２８０を生成する時間と比較して大幅に短縮できる。従って、オペレータは、領域２０２Ａ〜２０２Ｄ単位で立体感を効率的に確認しながら作業を進めることができる。即ち、領域２０２Ａ〜２０２Ｄ単位で立体感を詳細に調整・確認して個別立体視画像２８２Ａ〜２８２Ｄの完成度を高めてから、この個別立体視画像２８２Ａ〜２８２Ｄを合成して、最終的な立体視画像２８０（右眼用画像２８０Ａ、左眼用画像２８０Ｂ）を生成するので、より違和感の少ない立体視画像２８０を得ることが出来る。
【００６８】
以上、この第２実施形態によれば、奥行き感を算出する基準値となるスタート画素２６６を複数選択しているので、これらを自由に組み合わせて用いることにより、原画像２００のシーンに合わせてより柔軟に奥行き情報２７０を確定することが可能となる。特に、原画像２００を複数の領域２０２Ａ〜２０２Ｄに区分した上で、各領域２０２Ａ〜２０２Ｄにとって最適なスタート画素２６６Ａ〜２６６Ｄを選択しているので、より自然な立体感を演出することが可能となる。
【００６９】
なお、上記実施形態では、経路情報設定ステップ３１８において、スタート画素２６６から各画素２０４までの経路上の重み情報２６４の累積値が最小となるような最短経路を算出する場合を例示したが、本発明はこれに限定されない。例えば、プリム法などを利用して、全画素２０４を含む辺の部分集合で構成される経路のうち、その辺の集合の重みの総和が最小となるような経路を求めるようにしてもよい。即ち、本発明では、画素間の各種経路を利用して何らかの重み値を特定できれば、そのアルゴリズムの種類は問わない。
【００７０】
また上記実施形態では、右眼用画像と左眼用画像の２眼視差式の立体視画像を生成する場合に限って例示したが、本発明はこれに限定されない。例えば、この奥行き情報を利用して多眼式の立体視映像を生成するようにしても良く、更には、多眼視差式の立体視映像を生成することも可能である。即ち、本発明では、奥行き情報を利用した立体視映像であれば、その種類は問わない。
【産業上の利用可能性】
【００７１】
本発明の立体視画像生成方法および立体視画像生成システムは、映画やテレビ番組等の製作の分野以外にも、通常画像を立体視画像に変換して表示するテレビやゲーム機等の各種機器の分野において利用することができる。
【符号の説明】
【００７２】
１、４０１、５０１ 立体視画像生成システム
１１０ 領域区分部
１４０ 特徴情報取得部
１６０ 奥行き情報生成部
１６２ エッジ設定部
１６４ 重み情報設定部
１６６ スタート画素選択部
１６８ 経路情報設定部
１７０ 奥行き確定部
１８０ 立体視画像生成部
２００ 原画像
２０４ 画素
２６０ デプスマップ
２８０ 立体視画像
【特許請求の範囲】
【請求項１】
原画像を構成する各画素の特徴情報を取得する特徴情報取得ステップと、
前記特徴情報に基づいて前記各画素に奥行き情報を生成する奥行き情報生成ステップと、
前記奥行き情報に基づいて前記各画素の位置を変更した立体視画像を生成する立体視画像生成ステップと、を有し、
前記奥行き情報生成ステップは、
前記原画像から抽出された一対の前記画素の間にエッジを設定するエッジ設定ステップと、
前記特徴情報に基づいて前記エッジに重み情報を設定する重み情報設定ステップと、
前記各画素の中からスタート画素を選択するスタート画素選択ステップと、
前記スタート画素から前記各画素までの前記重み情報についての経路を算出し、前記各画素に経路情報を設定する経路情報設定ステップと、
前記経路情報に基づいて前記各画素に前記奥行き情報を設定する奥行き確定ステップと、を有することを特徴とする、
立体視画像生成方法。
【請求項２】
前記スタート画素選択ステップでは、前記原画像における最奥部を示す領域、または最前部を示す領域に含まれる前記画素を前記スタート画素に選択することを特徴とする、
請求項１に記載の立体視画像生成方法。
【請求項３】
前記スタート画素選択ステップでは、前記スタート画素を複数選択することを特徴とする、
請求項１または２に記載の立体視画像生成方法。
【請求項４】
前記経路情報設定ステップでは、前記複数のスタート画素ごとに前記経路を算出して前記各画素に複数の前記経路情報を設定し、
前記奥行き確定ステップでは、前記各画素に設定された前記複数の経路情報の中から１つを選択するか、又は、前記複数の経路情報を合成するかによって、前記複数の経路情報に基づいて前記奥行き情報を設定することを特徴とする、
請求項３に記載の立体視画像生成方法。
【請求項５】
前記スタート画素選択ステップでは、前記原画像中の所定の領域に含まれる複数の前記画素をまとめて一つの前記スタート画素に選択することを特徴とする、
請求項１乃至４のいずれかに記載の立体視画像生成方法。
【請求項６】
前記原画像を複数の領域に区分する領域区分ステップをさらに備え、
前記スタート画素選択ステップでは、前記複数の領域ごとに前記スタート画素を選択し、
前記経路情報設定ステップでは、前記複数の領域ごとに前記経路を算出し、前記各画素に前記経路情報を設定することを特徴とする、
請求項１乃至５のいずれかに記載の立体視画像生成方法。
【請求項７】
前記領域区分ステップでは、前記原画像に含まれる被写体ごとに前記原画像を前記複数の領域に区分することを特徴とする、
請求項６に記載の立体視画像生成方法。
【請求項８】
電子計算機によって構成され、
原画像を構成する各画素の特徴情報を取得する特徴情報取得手段と、
前記特徴情報に基づいて前記各画素に奥行き情報を生成する奥行き情報生成手段と、
前記奥行き情報に基づいて前記各画素の位置を変更した立体視画像を生成する立体視画像生成手段と、を有し、
前記奥行き情報生成手段は、
前記原画像から抽出された一対の前記画素の間にエッジを設定するエッジ設定手段と、
前記特徴情報に基づいて前記エッジに重み情報を設定する重み情報設定手段と、
前記各画素の中からスタート画素を選択するスタート画素選択手段と、
前記スタート画素から前記各画素までの前記重み情報についての経路を算出し、前記各画素に経路情報を設定する経路情報設定手段と、
前記経路情報に基づいて前記各画素に前記奥行き情報を設定する奥行き確定手段と、を有することを特徴とする、
立体視画像生成システム。
【請求項１】
原画像を構成する各画素の特徴情報を取得する特徴情報取得ステップと、
前記特徴情報に基づいて前記各画素に奥行き情報を生成する奥行き情報生成ステップと、
前記奥行き情報に基づいて前記各画素の位置を変更した立体視画像を生成する立体視画像生成ステップと、を有し、
前記奥行き情報生成ステップは、
前記原画像から抽出された一対の前記画素の間にエッジを設定するエッジ設定ステップと、
前記特徴情報に基づいて前記エッジに重み情報を設定する重み情報設定ステップと、
前記各画素の中からスタート画素を選択するスタート画素選択ステップと、
前記スタート画素から前記各画素までの前記重み情報についての経路を算出し、前記各画素に経路情報を設定する経路情報設定ステップと、
前記経路情報に基づいて前記各画素に前記奥行き情報を設定する奥行き確定ステップと、を有することを特徴とする、
立体視画像生成方法。
【請求項２】
前記スタート画素選択ステップでは、前記原画像における最奥部を示す領域、または最前部を示す領域に含まれる前記画素を前記スタート画素に選択することを特徴とする、
請求項１に記載の立体視画像生成方法。
【請求項３】
前記スタート画素選択ステップでは、前記スタート画素を複数選択することを特徴とする、
請求項１または２に記載の立体視画像生成方法。
【請求項４】
前記経路情報設定ステップでは、前記複数のスタート画素ごとに前記経路を算出して前記各画素に複数の前記経路情報を設定し、
前記奥行き確定ステップでは、前記各画素に設定された前記複数の経路情報の中から１つを選択するか、又は、前記複数の経路情報を合成するかによって、前記複数の経路情報に基づいて前記奥行き情報を設定することを特徴とする、
請求項３に記載の立体視画像生成方法。
【請求項５】
前記スタート画素選択ステップでは、前記原画像中の所定の領域に含まれる複数の前記画素をまとめて一つの前記スタート画素に選択することを特徴とする、
請求項１乃至４のいずれかに記載の立体視画像生成方法。
【請求項６】
前記原画像を複数の領域に区分する領域区分ステップをさらに備え、
前記スタート画素選択ステップでは、前記複数の領域ごとに前記スタート画素を選択し、
前記経路情報設定ステップでは、前記複数の領域ごとに前記経路を算出し、前記各画素に前記経路情報を設定することを特徴とする、
請求項１乃至５のいずれかに記載の立体視画像生成方法。
【請求項７】
前記領域区分ステップでは、前記原画像に含まれる被写体ごとに前記原画像を前記複数の領域に区分することを特徴とする、
請求項６に記載の立体視画像生成方法。
【請求項８】
電子計算機によって構成され、
原画像を構成する各画素の特徴情報を取得する特徴情報取得手段と、
前記特徴情報に基づいて前記各画素に奥行き情報を生成する奥行き情報生成手段と、
前記奥行き情報に基づいて前記各画素の位置を変更した立体視画像を生成する立体視画像生成手段と、を有し、
前記奥行き情報生成手段は、
前記原画像から抽出された一対の前記画素の間にエッジを設定するエッジ設定手段と、
前記特徴情報に基づいて前記エッジに重み情報を設定する重み情報設定手段と、
前記各画素の中からスタート画素を選択するスタート画素選択手段と、
前記スタート画素から前記各画素までの前記重み情報についての経路を算出し、前記各画素に経路情報を設定する経路情報設定手段と、
前記経路情報に基づいて前記各画素に前記奥行き情報を設定する奥行き確定手段と、を有することを特徴とする、
立体視画像生成システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２２７７９７（Ｐ２０１２−２２７７９７Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１１−９４７１０（Ｐ２０１１−９４７１０）
【出願日】平成２３年４月２１日（２０１１．４．２１）
【出願人】（５０１３３５８４１）株式会社エム・ソフト (8)
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願日】平成２３年４月２１日（２０１１．４．２１）
【出願人】（５０１３３５８４１）株式会社エム・ソフト (8)
【Ｆターム（参考）】
[ Back to top ]