画像処理装置
【課題】立体画像に立体感のあるＯＳＤデータを重畳する場合、違和感のない立体ＯＳＤデータを表示させる。
【解決手段】立体画像情報１をもとに立体画像データを生成する立体画像復号部４０と、立体画像情報を撮影して取得する際の撮影状態情報を取得する撮影状態情報取得部１０と、立体画像データに重畳するためのＯＳＤデータを発生するＯＳＤデータ発生部２０と、撮影状態を示す情報に基づいて、ＯＳＤデータを立体画像データに適合するように画像処理して立体ＯＳＤデータを生成するＯＳＤデータ処理部３０と、立体画像データに立体ＯＳＤデータを重畳して立体重畳画像データを生成する立体画像重畳処理部５０とを有する。
【解決手段】立体画像情報１をもとに立体画像データを生成する立体画像復号部４０と、立体画像情報を撮影して取得する際の撮影状態情報を取得する撮影状態情報取得部１０と、立体画像データに重畳するためのＯＳＤデータを発生するＯＳＤデータ発生部２０と、撮影状態を示す情報に基づいて、ＯＳＤデータを立体画像データに適合するように画像処理して立体ＯＳＤデータを生成するＯＳＤデータ処理部３０と、立体画像データに立体ＯＳＤデータを重畳して立体重畳画像データを生成する立体画像重畳処理部５０とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像処理技術に関し、特に、立体画像に対して合成画像を多重化するのに好適な画像処理装置に関するものである。
【背景技術】
【０００２】
従来、観察者の右眼と左眼に視差を有する異なる画像を表示することで、観察者に立体像を認識させる画像表示装置は数多く提示されている。その中でも次の二つの方式が一般的である。
【０００３】
一つは、右眼用の表示画像、左眼用の表示画像をそれぞれディスプレイ上に表示し、ディスプレイ前面に振動面が互いに直交する偏光フィルタ（偏光板）及びハーフミラーを設置し、偏光眼鏡により左右眼用の映像を分離して観察することで立体像を認識させることが可能な偏光眼鏡方式である。
【０００４】
もう一つは、左眼用画像と右眼用画像を１フレームごと交互にディスプレイ上に表示し、それに同期して時分割に開閉する時分割シャッタ眼鏡を用いて左右眼用の映像を分離して観察することで立体像を認識させることが可能な時分割シャッタ方式である。
【０００５】
近年では、立体（３Ｄ）映画にこれらの方式が採用されてきている。立体映画を表示する場合には、立体画像に字幕を重畳させて表示することがある。このような場合、立体画像における左眼用画像と右眼用画像の間には視差があるので距離感が生じるように画面に表示される。しかし、字幕は人工的に作成される画像であり、字幕が表示画面に表示されるときには無限遠にあるものとして表示されてしまう。これに対して、字幕にも奥行き方向のパラメータを持たせて字幕を適切な奥行きで表示させる処理に関して下記の特許文献１に公開されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２７４１２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
立体画像を表示する際に合成する画像としては、字幕情報も含めたオンスクリーンディスプレイ（ＯＳＤ：On-Screen Display）データがある。視差は一般的に左眼用画像と右眼用画像の対応点のずれとして表される。ＯＳＤデータを奥行きのある立体的な画像として表示するために左眼用画像と右眼用画像の対応点のずれに対応させて、対応点のずれ量を調整することでＯＳＤデータを表示する奥行きを調整することになる。
【０００８】
しかしながら、視差による左眼用画像と右眼用画像の違いは対応点のずれだけではなく、その画像の向きにも表れる。ＯＳＤデータなどの人工画像の立体表示に対して、左眼用画像と右眼用画像の対応点ずれだけで奥行き感を与えようとした場合に、立体を認識するに当たって画像の左右端にいくほどこの向きに対して違和感がみられるという課題がある。特に、字幕などのＯＳＤデータは左右端にいくほどこの影響を受ける。立体画像に対して重畳するＯＳＤデータは、元の立体画像の立体効果が弱められるような影響を受けないように、通常手前に表示する。例えば、飛び出す立体画像に対して、飛び出した立体画像より後ろ側と認識するようなＯＳＤデータを重畳すると、立体画像がＯＳＤデータの飛び出しを押さえてしまう。また、元の立体画像より前側にＯＳＤデータを表示するように重畳すると、視差による向きの違いがより影響して、対応点のずれだけでは自然な立体画像として認識することが難しくなる。
【０００９】
そこで本発明は、立体画像に対して立体感（奥行き感）のあるＯＳＤデータを重畳する場合に、視差の対応点のずれだけでなく、重畳する向きを調節することで、より見やすく、違和感のないように表示することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決し上記目的を達成するために、本発明は、入力された立体画像情報をもとに、左眼用画像と右眼用画像を分離して表示装置（１０１）に表示するための左眼用画像データと右眼用画像データとからなる立体画像データを生成する立体画像復号部（４０）と、立体画像情報を撮影して取得する際の撮影状態を示す情報を取得する撮影状態情報取得部（１０）と、立体画像データに重畳するためのオンスクリーンディスプレイデータを発生するオンスクリーンディスプレイデータ発生部（２０）と、撮影状態を示す情報に基づいて、オンスクリーンディスプレイデータを左眼用画像データに適合するように画像処理して左眼用オンスクリーンディスプレイデータを生成し、オンスクリーンディスプレイデータを前記右眼用画像データに適合するように画像処理して右眼用オンスクリーンディスプレイデータを生成するオンスクリーンディスプレイデータ処理部（３０）と、左眼用画像データに左眼用オンスクリーンディスプレイデータを重畳し、右眼用画像データに右眼用オンスクリーンディスプレイデータを重畳して表示装置に表示するための立体重畳画像データを生成する立体画像重畳処理部（５０）とを有することを特徴とする画像処理装置（１００）を提供する。
【００１１】
また、オンスクリーンディスプレイデータ処理部は、観察者にオンスクリーンディスプレイデータを視認させるために設定する位置から、左眼用画像を撮影するための左眼用カメラの光軸と右眼用画像を撮影するための右眼用カメラの光軸の交点である輻輳点を通り、左眼用カメラの光軸に直交する第１の仮想表示面に写像されるようにオンスクリーンディスプレイデータを変換して、左眼用オンスクリーンディスプレイデータを生成し、観察者にオンスクリーンディスプレイデータを視認させる位置から、輻輳点を通り、右眼用カメラの光軸に直交する第２の仮想表示面に写像されるようにオンスクリーンディスプレイデータを変換して、右眼用オンスクリーンディスプレイデータを生成することが望ましい。
【発明の効果】
【００１２】
本発明の画像処理装置によれば、立体画像に、人工的なＯＳＤデータを重畳しても、視差による対応点のずれに加えて、視差による向きの違いに対しても調整することが可能なので、観察者には、奥行き感があり、かつ、違和感のない自然なＯＳＤデータを認識でき、より手前（飛び出し側）にＯＳＤデータを表示しても違和感の少ないＯＳＤデータを認識できる。
【図面の簡単な説明】
【００１３】
【図１】本発明の画像処理装置の一例を示す構成図である。
【図２】立体画像が撮影された時の撮影状態情報を示す図である。
【図３】視差と飛び出し状態および引っ込み状態の関係を説明する図である。
【図４】左眼用および右眼用のＯＳＤデータの作成方法の例を説明する図である。
【図５】本発明の立体ＯＳＤデータの作成方法を説明する図である。
【図６】本発明の左眼用ＯＳＤデータの作成方法を説明する図である。
【図７】本発明の右眼用ＯＳＤデータの作成方法を説明する図である。
【図８】本発明のＯＳＤデータをディスプレイの画面より奥側に認識させる場合のＯＳＤデータの作成方法を説明する図である。
【発明を実施するための形態】
【実施例１】
【００１４】
本発明の画像処理装置について、図面を参照して説明する。図１は、画像処理装置の構成例を示すブロック図である。画像処理装置１００は、入力された立体画像情報１より画像が撮影された時の撮影状態情報（輻輳角、左眼用カメラと右眼用カメラ間の距離など）を取得する撮影状態情報取得部１０、オンスクリーンディスプレイ（ＯＳＤ）データとして表示する画像データを発生するオンスクリーンディスプレイ（ＯＳＤ）データ発生部２０を有する。なお、ＯＳＤデータとは、例えば、映像に関するチャンネルやテロップ、あるいは画像処理装置の状態を示す時間、動作モード、アイコン、エラー情報等を含むものである。
【００１５】
また、画像処理装置１００は、撮影状態情報取得部１０より取得した撮影時の状態を示す撮影状態情報に基づいて、立体画像として認識できるようにＯＳＤデータを立体オンスクリーンディスプレイ（ＯＳＤ）データに変換するオンスクリーンディスプレイ（ＯＳＤ）データ処理部３０、立体画像情報１から立体画像データを復号する立体画像復号部４０、立体画像データに立体ＯＳＤデータを重畳する立体画像重畳処理部５０を有する。立体画像重畳処理部５０で立体ＯＳＤデータが重畳された立体画像データは、表示装置（ディスプレイ）１０１で表示される。
【００１６】
次に、各部の動作を説明する。立体画像処理装置１００に入力された左眼用画像データおよび右眼用画像データが含まれる立体画像情報１から、撮影状態情報取得部１０で立体画像を撮影するための立体画像撮影カメラの撮影状態情報を取得する。図２に立体画像を生成するための撮影系を示す。撮影系は、２台の立体画像撮影カメラ（左眼用カメラ２００、右眼用カメラ２０１）を有し、左眼用カメラ２００から左眼用画像、右眼用カメラ２０１から右眼用画像が得られる。このとき２台の立体画像撮影カメラの光軸が交差してできる角を輻輳角αと呼び、２台の立体画像撮影カメラの光軸の交差位置を輻輳点と呼ぶ。撮影状態情報取得部１０では、これらの立体画像撮影カメラなどの撮影系の状態を表す撮影記録情報を、入力された立体画像情報１から取得する。
【００１７】
一方、立体画像情報１に含まれる左眼用画像データおよび右眼用画像データは、立体画像復号部４０に入力される。そして、立体画像復号部４０は、表示装置１０１で立体表示するための立体画像データを生成する。例えば、表示装置１０１の表面に１ライン毎に直交する偏光板を配置した偏光眼鏡方式の場合、立体画像復号部４０は、１ライン毎に左眼用画像データ、右眼用画像データを交互に表示するように立体画像データを生成する。一方、時分割液晶シャッタ方式の場合、１フレーム毎に左眼用画像データ、右眼用画像データを交互に表示するように立体画像データを生成する。
【００１８】
ＯＳＤデータ発生部２０は、立体画像データに重畳するためのＯＳＤデータを生成する。生成されたＯＳＤデータは、ＯＳＤデータ処理部３０に入力される。ＯＳＤデータ処理部３０は、撮影状態情報取得部１０で得られた撮影状態情報に基づいて、立体ＯＳＤデータ（左眼用ＯＳＤデータ、右眼用ＯＳＤデータ）をそれぞれ生成する。
【００１９】
図３に視差と飛び出し状態および引っ込み状態の関係を示す。図３は観察者の視線と表示装置（ディスプレイ）１０１の画面上の画像との関係を示した図である。図３（Ａ）は、左眼用画像のある画素Ｌ０とそれに対応する右眼用画像の画素Ｒ０が、ディスプレイ１０１の画面上において同一位置にある状態であり、図２で示す輻輳点に相当する。この場合、観察者には、画素Ｒ０と画素Ｌ０がディスプレイ１０１の画面上に存在するように知覚される。
【００２０】
図３（Ｂ）は、ディスプレイ１０１上において、右眼用画像のある画素Ｒ１が、対応する左眼用画像の画素Ｌ１よりも観察者から見て左側に存在する状態である。この場合、画素Ｌ１と左眼のなす視線と画素Ｒ１と右眼のなす視線とが交わる点は位置Ｓ１となり、観察者には、立体画像がディスプレイ１０１の画面上よりも手前の位置に存在するように知覚される。
【００２１】
また、図３（Ｃ）は、ディスプレイ１０１の画面上において、右眼用画像のある画素Ｒ２が、対応する左眼用画像のある画素Ｌ２よりも観察者から見て右側に存在する状態である。この場合、画素Ｌ２と左眼のなす視線と画素Ｒ２と右眼のなす視線とが交わる点は位置Ｓ２となり、観察者には、立体画像がディスプレイ１０１の画面よりも奥側の位置に存在するように知覚される。
【００２２】
図４は、図３に示す視差と飛び出し状態および引っ込み状態の関係に基づいて、左眼用画像と右眼用画像の対応点ずれのみを考慮して生成した左眼用ＯＳＤデータと右眼用ＯＳＤデータの表示例を示す。ＯＳＤデータ処理部３０は、ディスプレイ１０１の画面より飛び出させてＯＳＤデータ３００を認識させるために、左眼、右眼それぞれからの視線と製作者が認識させたい位置のＯＳＤデータ３００の中心とを結んだ延長線と、ディスプレイ１０１の画面上のそれぞれの交点に、左眼用ＯＳＤデータ３１０と右眼用ＯＳＤデータ３２０の中心を配置する。
【００２３】
この左眼用ＯＳＤデータ３１０の中心と右眼用ＯＳＤデータ３２０の中心の距離が、対応点ずれ量に相当する。そして、ＯＳＤデータ処理部３０は、観察者が認識するＯＳＤデータ３００の位置に対して、ディスプレイ１０１の画面上に表示する左眼用ＯＳＤデータ３１０と、右眼用ＯＳＤデータ３２０の大きさを調整するが、左眼用ＯＳＤデータ３１０と、右眼用ＯＳＤデータ３２０の形状は同じである。
【００２４】
次に本発明の画像処理装置１００の、ＯＳＤデータ処理部３０における立体ＯＳＤデータの作成方法を図５、６、７にて説明する。図５は、ＯＳＤデータをディスプレイ１０１の画面よりも飛び出し側に認識させるための仮想ディスプレイ面への写像状態を示す。ここで、ディスプレイ１０１面と、左眼と右眼の中間位置からディスプレイ１０１面への垂線とが交わる点をＰとする。この点Ｐは、図２で示す輻輳点に相当する。ＯＳＤデータ処理部３０は、奥行き（飛び出し）感を持ったＯＳＤデータ３００を観察者に認識させるため、認識させるＯＳＤデータ３００を、左眼および右眼からそれぞれ点Ｐを結ぶ視線に直角な仮想ディスプレイ面４００、４１０上に写像する。なお、左眼および右眼からそれぞれ点Ｐを結ぶそれぞれの視線は、左眼用カメラ２００および右眼用カメラ２０１の光軸に相当する。
【００２５】
この仮想ディスプレイ面４００、４１０上に写像された状態となるように、左眼用ＯＳＤデータ３１１と、右眼用ＯＳＤデータ３２１を生成する。ここで左眼用カメラでの撮影に合わせた仮想ディスプレイ面４００と右眼用カメラでの撮影に合わせた仮想ディスプレイ面４１０がなす角度は、それぞれが左眼の視線と右眼の視線とに直交する面であり、左眼用カメラ２００の光軸と右眼用カメラ２０１の光軸とがなす輻輳角αに一致する。
【００２６】
図６は観察者が飛び出したＯＳＤデータであると認識できるように左眼に表示するための左眼用ＯＳＤデータを生成するための写像状態を示す。図７は図６と同様に、右眼用ＯＳＤデータを生成するための写像状態を示す。図６，図７に示すように、ＯＳＤデータ処理部３０は、ＯＳＤデータ３００を左眼用画像データおよび右眼用画像データに適合するように画像処理する。すなわち、観察者にＯＳＤデータを視認させるために設定する位置から、仮想ディスプレイ面４００、４１０上にＯＳＤデータが写像されるように画素位置を変換して、左眼用ＯＳＤデータ３１１と、右眼用ＯＳＤデータ３２１を生成する。
【００２７】
立体ＯＳＤデータが、ディスプレイ１０１の画面よりも手前に飛び出した映像として認識される例を説明したが、撮影された立体画像データの絵柄や構図によっては、立体ＯＳＤデータをディスプレイ１０１の画面よりも奥側に表示させる場合も考えられる。図８は、立体ＯＳＤデータをディスプレイ１０１の画面よりも奥側に認識させるための仮想ディスプレイ面４００，４１０への写像状態を示す。図８に示す立体ＯＳＤデータをディスプレイ１０１の画面よりも奥側に認識させる場合も、図５に示す場合と同様に、ＯＳＤデータ処理部３０は、ＯＳＤデータが仮想ディスプレイ面４００、４１０上に写像されるように、ＯＳＤデータ３００の画素位置を変換して、左眼用ＯＳＤデータ３１１と、右眼用ＯＳＤデータ３２１を生成する。
【００２８】
このように、左眼用ＯＳＤデータ３１１と右眼用ＯＳＤデータ３２１、すなわち立体ＯＳＤデータを生成することにより、ＯＳＤデータを視差の対応点のずれだけでなく、向きも含めて調整することができるので、観察者は違和感のないＯＳＤデータを認識することができる。
【００２９】
立体画像重畳処理部５０は、立体画像復号部４０で復号された左眼用画像データに、立体ＯＳＤデータ処理部３０で生成された左眼用ＯＳＤデータを重畳してディスプレイ１０１に表示できる形式で左眼用画像データを生成し、立体画像復号部４０で復号された右眼用画像データに、立体ＯＳＤデータ処理部３０で生成された右眼用ＯＳＤデータを重畳してディスプレイ１０１に表示できる形式で右眼用画像データを生成する。なお、仮想ディスプレイ面４００，４１０上の水平方向及び垂直方向の画素位置と、ディスプレイ１０１上の水平方向及び垂直方向の画素位置は対応する。
【００３０】
実施例においては、画像撮影時の光軸交差距離や、２台の立体撮影カメラの間隔、輻輳角などの撮影時の状態を示す情報を、入力される立体画像情報１に含まれる形態で説明したが、撮影状態情報が別の信号で入力されてもよく、あるいは観察者により入力されるデータから撮影状態情報を得る形態でもかまわない。また、実施例において、立体画像データを生成して、その立体画像データに対してＯＳＤデータを重畳する例を示したが、入力立体画像データに対してＯＳＤデータを重畳した後で、立体画像データを生成するようにしても構わない。
【符号の説明】
【００３１】
１ 立体画像情報
１０ 撮影状態情報取得部
２０ オンスクリーンディスプレイ（ＯＳＤ）データ発生部
３０ オンスクリーンディスプレイ（ＯＳＤ）処理部
４０ 立体画像復号部
５０ 立体画像重畳処理部
１００ 画像処理装置
１０１ 表示装置（ディスプレイ）
２００ 左眼用カメラ
２０１ 右眼用カメラ
【技術分野】
【０００１】
本発明は、立体画像処理技術に関し、特に、立体画像に対して合成画像を多重化するのに好適な画像処理装置に関するものである。
【背景技術】
【０００２】
従来、観察者の右眼と左眼に視差を有する異なる画像を表示することで、観察者に立体像を認識させる画像表示装置は数多く提示されている。その中でも次の二つの方式が一般的である。
【０００３】
一つは、右眼用の表示画像、左眼用の表示画像をそれぞれディスプレイ上に表示し、ディスプレイ前面に振動面が互いに直交する偏光フィルタ（偏光板）及びハーフミラーを設置し、偏光眼鏡により左右眼用の映像を分離して観察することで立体像を認識させることが可能な偏光眼鏡方式である。
【０００４】
もう一つは、左眼用画像と右眼用画像を１フレームごと交互にディスプレイ上に表示し、それに同期して時分割に開閉する時分割シャッタ眼鏡を用いて左右眼用の映像を分離して観察することで立体像を認識させることが可能な時分割シャッタ方式である。
【０００５】
近年では、立体（３Ｄ）映画にこれらの方式が採用されてきている。立体映画を表示する場合には、立体画像に字幕を重畳させて表示することがある。このような場合、立体画像における左眼用画像と右眼用画像の間には視差があるので距離感が生じるように画面に表示される。しかし、字幕は人工的に作成される画像であり、字幕が表示画面に表示されるときには無限遠にあるものとして表示されてしまう。これに対して、字幕にも奥行き方向のパラメータを持たせて字幕を適切な奥行きで表示させる処理に関して下記の特許文献１に公開されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２７４１２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
立体画像を表示する際に合成する画像としては、字幕情報も含めたオンスクリーンディスプレイ（ＯＳＤ：On-Screen Display）データがある。視差は一般的に左眼用画像と右眼用画像の対応点のずれとして表される。ＯＳＤデータを奥行きのある立体的な画像として表示するために左眼用画像と右眼用画像の対応点のずれに対応させて、対応点のずれ量を調整することでＯＳＤデータを表示する奥行きを調整することになる。
【０００８】
しかしながら、視差による左眼用画像と右眼用画像の違いは対応点のずれだけではなく、その画像の向きにも表れる。ＯＳＤデータなどの人工画像の立体表示に対して、左眼用画像と右眼用画像の対応点ずれだけで奥行き感を与えようとした場合に、立体を認識するに当たって画像の左右端にいくほどこの向きに対して違和感がみられるという課題がある。特に、字幕などのＯＳＤデータは左右端にいくほどこの影響を受ける。立体画像に対して重畳するＯＳＤデータは、元の立体画像の立体効果が弱められるような影響を受けないように、通常手前に表示する。例えば、飛び出す立体画像に対して、飛び出した立体画像より後ろ側と認識するようなＯＳＤデータを重畳すると、立体画像がＯＳＤデータの飛び出しを押さえてしまう。また、元の立体画像より前側にＯＳＤデータを表示するように重畳すると、視差による向きの違いがより影響して、対応点のずれだけでは自然な立体画像として認識することが難しくなる。
【０００９】
そこで本発明は、立体画像に対して立体感（奥行き感）のあるＯＳＤデータを重畳する場合に、視差の対応点のずれだけでなく、重畳する向きを調節することで、より見やすく、違和感のないように表示することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決し上記目的を達成するために、本発明は、入力された立体画像情報をもとに、左眼用画像と右眼用画像を分離して表示装置（１０１）に表示するための左眼用画像データと右眼用画像データとからなる立体画像データを生成する立体画像復号部（４０）と、立体画像情報を撮影して取得する際の撮影状態を示す情報を取得する撮影状態情報取得部（１０）と、立体画像データに重畳するためのオンスクリーンディスプレイデータを発生するオンスクリーンディスプレイデータ発生部（２０）と、撮影状態を示す情報に基づいて、オンスクリーンディスプレイデータを左眼用画像データに適合するように画像処理して左眼用オンスクリーンディスプレイデータを生成し、オンスクリーンディスプレイデータを前記右眼用画像データに適合するように画像処理して右眼用オンスクリーンディスプレイデータを生成するオンスクリーンディスプレイデータ処理部（３０）と、左眼用画像データに左眼用オンスクリーンディスプレイデータを重畳し、右眼用画像データに右眼用オンスクリーンディスプレイデータを重畳して表示装置に表示するための立体重畳画像データを生成する立体画像重畳処理部（５０）とを有することを特徴とする画像処理装置（１００）を提供する。
【００１１】
また、オンスクリーンディスプレイデータ処理部は、観察者にオンスクリーンディスプレイデータを視認させるために設定する位置から、左眼用画像を撮影するための左眼用カメラの光軸と右眼用画像を撮影するための右眼用カメラの光軸の交点である輻輳点を通り、左眼用カメラの光軸に直交する第１の仮想表示面に写像されるようにオンスクリーンディスプレイデータを変換して、左眼用オンスクリーンディスプレイデータを生成し、観察者にオンスクリーンディスプレイデータを視認させる位置から、輻輳点を通り、右眼用カメラの光軸に直交する第２の仮想表示面に写像されるようにオンスクリーンディスプレイデータを変換して、右眼用オンスクリーンディスプレイデータを生成することが望ましい。
【発明の効果】
【００１２】
本発明の画像処理装置によれば、立体画像に、人工的なＯＳＤデータを重畳しても、視差による対応点のずれに加えて、視差による向きの違いに対しても調整することが可能なので、観察者には、奥行き感があり、かつ、違和感のない自然なＯＳＤデータを認識でき、より手前（飛び出し側）にＯＳＤデータを表示しても違和感の少ないＯＳＤデータを認識できる。
【図面の簡単な説明】
【００１３】
【図１】本発明の画像処理装置の一例を示す構成図である。
【図２】立体画像が撮影された時の撮影状態情報を示す図である。
【図３】視差と飛び出し状態および引っ込み状態の関係を説明する図である。
【図４】左眼用および右眼用のＯＳＤデータの作成方法の例を説明する図である。
【図５】本発明の立体ＯＳＤデータの作成方法を説明する図である。
【図６】本発明の左眼用ＯＳＤデータの作成方法を説明する図である。
【図７】本発明の右眼用ＯＳＤデータの作成方法を説明する図である。
【図８】本発明のＯＳＤデータをディスプレイの画面より奥側に認識させる場合のＯＳＤデータの作成方法を説明する図である。
【発明を実施するための形態】
【実施例１】
【００１４】
本発明の画像処理装置について、図面を参照して説明する。図１は、画像処理装置の構成例を示すブロック図である。画像処理装置１００は、入力された立体画像情報１より画像が撮影された時の撮影状態情報（輻輳角、左眼用カメラと右眼用カメラ間の距離など）を取得する撮影状態情報取得部１０、オンスクリーンディスプレイ（ＯＳＤ）データとして表示する画像データを発生するオンスクリーンディスプレイ（ＯＳＤ）データ発生部２０を有する。なお、ＯＳＤデータとは、例えば、映像に関するチャンネルやテロップ、あるいは画像処理装置の状態を示す時間、動作モード、アイコン、エラー情報等を含むものである。
【００１５】
また、画像処理装置１００は、撮影状態情報取得部１０より取得した撮影時の状態を示す撮影状態情報に基づいて、立体画像として認識できるようにＯＳＤデータを立体オンスクリーンディスプレイ（ＯＳＤ）データに変換するオンスクリーンディスプレイ（ＯＳＤ）データ処理部３０、立体画像情報１から立体画像データを復号する立体画像復号部４０、立体画像データに立体ＯＳＤデータを重畳する立体画像重畳処理部５０を有する。立体画像重畳処理部５０で立体ＯＳＤデータが重畳された立体画像データは、表示装置（ディスプレイ）１０１で表示される。
【００１６】
次に、各部の動作を説明する。立体画像処理装置１００に入力された左眼用画像データおよび右眼用画像データが含まれる立体画像情報１から、撮影状態情報取得部１０で立体画像を撮影するための立体画像撮影カメラの撮影状態情報を取得する。図２に立体画像を生成するための撮影系を示す。撮影系は、２台の立体画像撮影カメラ（左眼用カメラ２００、右眼用カメラ２０１）を有し、左眼用カメラ２００から左眼用画像、右眼用カメラ２０１から右眼用画像が得られる。このとき２台の立体画像撮影カメラの光軸が交差してできる角を輻輳角αと呼び、２台の立体画像撮影カメラの光軸の交差位置を輻輳点と呼ぶ。撮影状態情報取得部１０では、これらの立体画像撮影カメラなどの撮影系の状態を表す撮影記録情報を、入力された立体画像情報１から取得する。
【００１７】
一方、立体画像情報１に含まれる左眼用画像データおよび右眼用画像データは、立体画像復号部４０に入力される。そして、立体画像復号部４０は、表示装置１０１で立体表示するための立体画像データを生成する。例えば、表示装置１０１の表面に１ライン毎に直交する偏光板を配置した偏光眼鏡方式の場合、立体画像復号部４０は、１ライン毎に左眼用画像データ、右眼用画像データを交互に表示するように立体画像データを生成する。一方、時分割液晶シャッタ方式の場合、１フレーム毎に左眼用画像データ、右眼用画像データを交互に表示するように立体画像データを生成する。
【００１８】
ＯＳＤデータ発生部２０は、立体画像データに重畳するためのＯＳＤデータを生成する。生成されたＯＳＤデータは、ＯＳＤデータ処理部３０に入力される。ＯＳＤデータ処理部３０は、撮影状態情報取得部１０で得られた撮影状態情報に基づいて、立体ＯＳＤデータ（左眼用ＯＳＤデータ、右眼用ＯＳＤデータ）をそれぞれ生成する。
【００１９】
図３に視差と飛び出し状態および引っ込み状態の関係を示す。図３は観察者の視線と表示装置（ディスプレイ）１０１の画面上の画像との関係を示した図である。図３（Ａ）は、左眼用画像のある画素Ｌ０とそれに対応する右眼用画像の画素Ｒ０が、ディスプレイ１０１の画面上において同一位置にある状態であり、図２で示す輻輳点に相当する。この場合、観察者には、画素Ｒ０と画素Ｌ０がディスプレイ１０１の画面上に存在するように知覚される。
【００２０】
図３（Ｂ）は、ディスプレイ１０１上において、右眼用画像のある画素Ｒ１が、対応する左眼用画像の画素Ｌ１よりも観察者から見て左側に存在する状態である。この場合、画素Ｌ１と左眼のなす視線と画素Ｒ１と右眼のなす視線とが交わる点は位置Ｓ１となり、観察者には、立体画像がディスプレイ１０１の画面上よりも手前の位置に存在するように知覚される。
【００２１】
また、図３（Ｃ）は、ディスプレイ１０１の画面上において、右眼用画像のある画素Ｒ２が、対応する左眼用画像のある画素Ｌ２よりも観察者から見て右側に存在する状態である。この場合、画素Ｌ２と左眼のなす視線と画素Ｒ２と右眼のなす視線とが交わる点は位置Ｓ２となり、観察者には、立体画像がディスプレイ１０１の画面よりも奥側の位置に存在するように知覚される。
【００２２】
図４は、図３に示す視差と飛び出し状態および引っ込み状態の関係に基づいて、左眼用画像と右眼用画像の対応点ずれのみを考慮して生成した左眼用ＯＳＤデータと右眼用ＯＳＤデータの表示例を示す。ＯＳＤデータ処理部３０は、ディスプレイ１０１の画面より飛び出させてＯＳＤデータ３００を認識させるために、左眼、右眼それぞれからの視線と製作者が認識させたい位置のＯＳＤデータ３００の中心とを結んだ延長線と、ディスプレイ１０１の画面上のそれぞれの交点に、左眼用ＯＳＤデータ３１０と右眼用ＯＳＤデータ３２０の中心を配置する。
【００２３】
この左眼用ＯＳＤデータ３１０の中心と右眼用ＯＳＤデータ３２０の中心の距離が、対応点ずれ量に相当する。そして、ＯＳＤデータ処理部３０は、観察者が認識するＯＳＤデータ３００の位置に対して、ディスプレイ１０１の画面上に表示する左眼用ＯＳＤデータ３１０と、右眼用ＯＳＤデータ３２０の大きさを調整するが、左眼用ＯＳＤデータ３１０と、右眼用ＯＳＤデータ３２０の形状は同じである。
【００２４】
次に本発明の画像処理装置１００の、ＯＳＤデータ処理部３０における立体ＯＳＤデータの作成方法を図５、６、７にて説明する。図５は、ＯＳＤデータをディスプレイ１０１の画面よりも飛び出し側に認識させるための仮想ディスプレイ面への写像状態を示す。ここで、ディスプレイ１０１面と、左眼と右眼の中間位置からディスプレイ１０１面への垂線とが交わる点をＰとする。この点Ｐは、図２で示す輻輳点に相当する。ＯＳＤデータ処理部３０は、奥行き（飛び出し）感を持ったＯＳＤデータ３００を観察者に認識させるため、認識させるＯＳＤデータ３００を、左眼および右眼からそれぞれ点Ｐを結ぶ視線に直角な仮想ディスプレイ面４００、４１０上に写像する。なお、左眼および右眼からそれぞれ点Ｐを結ぶそれぞれの視線は、左眼用カメラ２００および右眼用カメラ２０１の光軸に相当する。
【００２５】
この仮想ディスプレイ面４００、４１０上に写像された状態となるように、左眼用ＯＳＤデータ３１１と、右眼用ＯＳＤデータ３２１を生成する。ここで左眼用カメラでの撮影に合わせた仮想ディスプレイ面４００と右眼用カメラでの撮影に合わせた仮想ディスプレイ面４１０がなす角度は、それぞれが左眼の視線と右眼の視線とに直交する面であり、左眼用カメラ２００の光軸と右眼用カメラ２０１の光軸とがなす輻輳角αに一致する。
【００２６】
図６は観察者が飛び出したＯＳＤデータであると認識できるように左眼に表示するための左眼用ＯＳＤデータを生成するための写像状態を示す。図７は図６と同様に、右眼用ＯＳＤデータを生成するための写像状態を示す。図６，図７に示すように、ＯＳＤデータ処理部３０は、ＯＳＤデータ３００を左眼用画像データおよび右眼用画像データに適合するように画像処理する。すなわち、観察者にＯＳＤデータを視認させるために設定する位置から、仮想ディスプレイ面４００、４１０上にＯＳＤデータが写像されるように画素位置を変換して、左眼用ＯＳＤデータ３１１と、右眼用ＯＳＤデータ３２１を生成する。
【００２７】
立体ＯＳＤデータが、ディスプレイ１０１の画面よりも手前に飛び出した映像として認識される例を説明したが、撮影された立体画像データの絵柄や構図によっては、立体ＯＳＤデータをディスプレイ１０１の画面よりも奥側に表示させる場合も考えられる。図８は、立体ＯＳＤデータをディスプレイ１０１の画面よりも奥側に認識させるための仮想ディスプレイ面４００，４１０への写像状態を示す。図８に示す立体ＯＳＤデータをディスプレイ１０１の画面よりも奥側に認識させる場合も、図５に示す場合と同様に、ＯＳＤデータ処理部３０は、ＯＳＤデータが仮想ディスプレイ面４００、４１０上に写像されるように、ＯＳＤデータ３００の画素位置を変換して、左眼用ＯＳＤデータ３１１と、右眼用ＯＳＤデータ３２１を生成する。
【００２８】
このように、左眼用ＯＳＤデータ３１１と右眼用ＯＳＤデータ３２１、すなわち立体ＯＳＤデータを生成することにより、ＯＳＤデータを視差の対応点のずれだけでなく、向きも含めて調整することができるので、観察者は違和感のないＯＳＤデータを認識することができる。
【００２９】
立体画像重畳処理部５０は、立体画像復号部４０で復号された左眼用画像データに、立体ＯＳＤデータ処理部３０で生成された左眼用ＯＳＤデータを重畳してディスプレイ１０１に表示できる形式で左眼用画像データを生成し、立体画像復号部４０で復号された右眼用画像データに、立体ＯＳＤデータ処理部３０で生成された右眼用ＯＳＤデータを重畳してディスプレイ１０１に表示できる形式で右眼用画像データを生成する。なお、仮想ディスプレイ面４００，４１０上の水平方向及び垂直方向の画素位置と、ディスプレイ１０１上の水平方向及び垂直方向の画素位置は対応する。
【００３０】
実施例においては、画像撮影時の光軸交差距離や、２台の立体撮影カメラの間隔、輻輳角などの撮影時の状態を示す情報を、入力される立体画像情報１に含まれる形態で説明したが、撮影状態情報が別の信号で入力されてもよく、あるいは観察者により入力されるデータから撮影状態情報を得る形態でもかまわない。また、実施例において、立体画像データを生成して、その立体画像データに対してＯＳＤデータを重畳する例を示したが、入力立体画像データに対してＯＳＤデータを重畳した後で、立体画像データを生成するようにしても構わない。
【符号の説明】
【００３１】
１ 立体画像情報
１０ 撮影状態情報取得部
２０ オンスクリーンディスプレイ（ＯＳＤ）データ発生部
３０ オンスクリーンディスプレイ（ＯＳＤ）処理部
４０ 立体画像復号部
５０ 立体画像重畳処理部
１００ 画像処理装置
１０１ 表示装置（ディスプレイ）
２００ 左眼用カメラ
２０１ 右眼用カメラ
【特許請求の範囲】
【請求項１】
入力された立体画像情報をもとに、左眼用画像と右眼用画像を分離して表示装置に表示するための左眼用画像データと右眼用画像データとからなる立体画像データを生成する立体画像復号部と、
前記立体画像情報を撮影して取得する際の撮影状態を示す情報を取得する撮影状態情報取得部と、
前記立体画像データに重畳するためのオンスクリーンディスプレイデータを発生するオンスクリーンディスプレイデータ発生部と、
前記撮影状態を示す情報に基づいて、前記オンスクリーンディスプレイデータを前記左眼用画像データに適合するように画像処理して左眼用オンスクリーンディスプレイデータを生成し、前記オンスクリーンディスプレイデータを前記右眼用画像データに適合するように画像処理して右眼用オンスクリーンディスプレイデータを生成するオンスクリーンディスプレイデータ処理部と、
前記左眼用画像データに前記左眼用オンスクリーンディスプレイデータを重畳し、前記右眼用画像データに前記右眼用オンスクリーンディスプレイデータを重畳して前記表示装置に表示するための立体重畳画像データを生成する立体画像重畳部と
を有することを特徴とする画像処理装置。
【請求項２】
前記オンスクリーンディスプレイデータ処理部は、観察者に前記オンスクリーンディスプレイデータを視認させるために設定する位置から、前記左眼用画像を撮影するための左眼用カメラの光軸と前記右眼用画像を撮影するための右眼用カメラの光軸の交点である輻輳点を通り、前記左眼用カメラの光軸に直交する第１の仮想表示面に写像されるように前記オンスクリーンディスプレイデータを変換して、前記左眼用オンスクリーンディスプレイデータを生成し、前記観察者に前記オンスクリーンディスプレイデータを視認させる位置から、前記輻輳点を通り、前記右眼用カメラの光軸に直交する第２の仮想表示面に写像されるように前記オンスクリーンディスプレイデータを変換して、前記右眼用オンスクリーンディスプレイデータを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項１】
入力された立体画像情報をもとに、左眼用画像と右眼用画像を分離して表示装置に表示するための左眼用画像データと右眼用画像データとからなる立体画像データを生成する立体画像復号部と、
前記立体画像情報を撮影して取得する際の撮影状態を示す情報を取得する撮影状態情報取得部と、
前記立体画像データに重畳するためのオンスクリーンディスプレイデータを発生するオンスクリーンディスプレイデータ発生部と、
前記撮影状態を示す情報に基づいて、前記オンスクリーンディスプレイデータを前記左眼用画像データに適合するように画像処理して左眼用オンスクリーンディスプレイデータを生成し、前記オンスクリーンディスプレイデータを前記右眼用画像データに適合するように画像処理して右眼用オンスクリーンディスプレイデータを生成するオンスクリーンディスプレイデータ処理部と、
前記左眼用画像データに前記左眼用オンスクリーンディスプレイデータを重畳し、前記右眼用画像データに前記右眼用オンスクリーンディスプレイデータを重畳して前記表示装置に表示するための立体重畳画像データを生成する立体画像重畳部と
を有することを特徴とする画像処理装置。
【請求項２】
前記オンスクリーンディスプレイデータ処理部は、観察者に前記オンスクリーンディスプレイデータを視認させるために設定する位置から、前記左眼用画像を撮影するための左眼用カメラの光軸と前記右眼用画像を撮影するための右眼用カメラの光軸の交点である輻輳点を通り、前記左眼用カメラの光軸に直交する第１の仮想表示面に写像されるように前記オンスクリーンディスプレイデータを変換して、前記左眼用オンスクリーンディスプレイデータを生成し、前記観察者に前記オンスクリーンディスプレイデータを視認させる位置から、前記輻輳点を通り、前記右眼用カメラの光軸に直交する第２の仮想表示面に写像されるように前記オンスクリーンディスプレイデータを変換して、前記右眼用オンスクリーンディスプレイデータを生成することを特徴とする請求項１に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−２２３５２７（Ｐ２０１１−２２３５２７Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−９３４４６（Ｐ２０１０−９３４４６）
【出願日】平成２２年４月１４日（２０１０．４．１４）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月１４日（２０１０．４．１４）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]