説明

映像作成装置および該方法ならびに映像投影システム

【課題】本発明は、歪み補正をソフトウェア上で実現可能とする映像作成装置および該方法ならびにこの映像作成装置を用いた映像投影システムを提供する。
【解決手段】本発明では、観察者に凹面を向けたスクリーン1へ投影する映像を作成するための映像作成装置において、観察者の視点位置Pより定義されるビューフラスタムの底面内の第1点Pi,jを想定し、視点位置Pから第1点Pi,jへのベクトルとスクリーン1との第1交点Ri,jを求め、投影位置Qから第1交点Ri,jへのベクトルと投影位置Qより定義される投影フラスタムの底面との第2交点Qi,jを求め、第1点Pi,jを第2交点Qi,jに変換することによって、ビューフラスタムの映像をスクリーン1へ投影するための映像に変換する歪み補正部を備える

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、観察者に凹面を向けたスクリーンへ歪みなく投影する映像を作成するための映像作成装置および映像作成方法ならびにこの映像作成装置を用いた映像投影システムに関する
【背景技術】
【0002】
観察者に凹面を向けた球面状のスクリーンに広視野角の立体映像を実スケールで歪みなく表示することで、仮想現実感(バーチャルリアリティ)を観察者に与える場合、たとえば水平方向210度、垂直方向110度と言われる人の最大視野角を超えるスクリーンに映像を表示しなければならない。したがって、平面スクリーンでは不可能であるので、観察者に凹面を向けた球面状のスクリーンを用いる仮想現実感生成装置が提案されている。
【0003】
その中でも、本件出願人が先に提案した特許文献1は、前記球面状のスクリーンに対する歪補正だけでなく、投影手段(プロジェクタ)が球の中心軸上にないオフセットした状態に設置された場合でも、歪のない映像が得られるように補正するようにしたものである。このため、観察者の視点位置が前記中心軸上近くになる比較的小さい球面スクリーンでも、前記投影手段の設置位置を選ばず、利便性の高いものとなっている。
【特許文献1】特許第387487号明細書
【発明の開示】
【発明が解決しようとする課題】
【0004】
ところで、前記歪み補正を、魚眼レンズ等を用いた光学的な処理で実現する場合では、予め表示系に合ったレンズを作成し、そのレンズを使って映像を作成・表示しなければならず、表示系の大きさ、形が変わった時には対応できない
【0005】
本発明の目的は、前記歪み補正をソフトウェア上で実現可能とする映像作成装置および映像作成方法を提供することである。また、本発明の他の目的は、この映像作成装置を用いた映像投影システムを提供することである。
【課題を解決するための手段】
【0006】
上述の目的を達成するために、本発明の第1の手段では、観察者に凹面を向けたスクリーンへ投影する映像を作成するための映像作成装置において、前記観察者の視点位置より定義されるビューフラスタムの底面内の第1点を想定し、前記視点位置から前記第1点へのベクトルと前記スクリーンとの第1交点を求め、投影位置から前記第1交点へのベクトルと前記投影位置より定義される投影フラスタムの底面との第2交点を求め、前記第1点を前記第2交点に変換することによって、前記ビューフラスタムの映像を前記スクリーンへ投影するための映像に変換する歪み補正部を備えることを特徴とするそして、本発明の第2の手段では、観察者に凹面を向けたスクリーンへ投影する映像を作成するための映像作成方法において、前記観察者の視点位置より定義されるビューフラスタムの底面内の第1点を想定し、前記視点位置から前記第1点へのベクトルと前記スクリーンとの第1交点を求める工程と、投影位置から前記第1交点へのベクトルと前記投影位置より定義される投影フラスタムの底面との第2交点を求める工程と、前記第1点を前記第2交点に変換することによって、前記ビューフラスタムの映像を前記スクリーンへ投影するための映像に変換する工程とを備えることを特徴とする
【0007】
この構成によれば、観察者の視点位置より定義されるビューフラスタムの底面内の第1点を想定し、前記視点位置から前記第1点へのベクトルと前記スクリーンとの第1交点を求め、投影位置から前記第1交点へのベクトルと前記投影位置より定義される投影フラスタムの底面との第2交点を求め、前記第1点を前記第2交点に変換することによって、前記ビューフラスタムの映像を前記スクリーンへ投影するための映像に変換するので、前記歪み補正をソフトウェア上で実現することが可能となる
【0008】
また、このため、表示系の大きさ、形が変わった場合には、表示系に合わせたパラメータ設定だけで対応することができ、有利である
【0009】
また、上述の映像作成装置において、前記第1点と前記第2交点との対応関係を示す対応マップを予め求めておき、前記歪み補正部は、前記対応マップを利用することによって、前記ビューフラスタムの映像を前記スクリーンへ投影するための映像に変換することを特徴とする
【0010】
この構成によれば、前記第1点と前記第2交点との対応関係を示す対応マップを予め求めておき、前記対応マップを利用することによって、前記ビューフラスタムの映像を前記スクリーンへ投影するための映像に変換するので、歪み補正の処理をリアルタイムで行うことが可能となる
【0011】
また、本発明の第3の手段では、観察者に凹面を向けたスクリーンと、前記スクリーンへ相互に異なる角度から見た複数の映像を投影する複数の映像作成装置とを備える映像投影システムにおいて、前記複数の映像作成装置のそれぞれは、これら上述の何れかの映像作成装置であることを特徴とする
【0012】
この構成によれば、前記歪み補正をソフトウェア上で実現可能な映像作成装置を備えた映像投影システムが提供される
【発明の効果】
【0013】
本発明の映像作成装置および方法では、前記歪み補正をソフトウェア上で実現することが可能となるまた、本発明によれば、前記歪み補正をソフトウェア上で実現可能な映像作成装置を備えた映像投影システムが提供される
【発明を実施するための最良の形態】
【0014】
[実施の形態1]
以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において、同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。
【0015】
図1は、本発明の実施の一形態に係る仮想現実感生成装置の全体構成を示す図である。この仮想現実感生成装置は、映像投影システムの一例であり、大略的に、広視野角のスクリーン1と、前記スクリーン1に右目用と左目用との映像をそれぞれ投影するプロジェクタ2,3と、前記プロジェクタ2,3からの投射映像を反射して前記スクリーン1に照射する反射鏡4と、前記プロジェクタ2,3からの投射映像を見るにあたって観察者5が装着する眼鏡6と、前記プロジェクタ2,3で投影するための映像信号をそれぞれ作成する映像作成手段7,8と、前記映像作成手段7,8の同期を確立する同期手段9とを備えて構成される。
【0016】
前記スクリーン1は、水平方向にも垂直方向にも曲率を有する球面状に形成され、観察者5側に凹面を向けて配置され、該観察者5から見て、たとえば水平方向に約140度、垂直方向に約85度の有効視野角以上に映像を表示することができるものである。なお、この有効視野角とは、人間が物を詳細に認識できる視野角である。前記プロジェクタ2,3は、観察者5の有効視野角外で、かつスクリーン1上に該観察者5の影を作らない映像投影位置に配置されており、その投射映像は板状の前記反射鏡4で全反射されて前記スクリーン1に照射される。前記スクリーン1、プロジェクタ2,3および反射鏡4は、枠体10によって相互間の位置関係を維持するように保持されている。
【0017】
前記映像作成手段7,8は、映像作成装置の一例であり、後に詳述するように、外部または内部に右目用と左目用との動画映像ファイルをそれぞれ有し、それを順次デコードして、さらにスクリーン1上に表示されたときに、観察者5から見て、実スケールで、かつ歪みが無くなるように予め映像を歪ませる処理を行い、同期手段9からの同期信号に応答して、プロジェクタ2,3から、図示しない偏光フィルタを介して、相互に直交する偏光面の光でスクリーン1へ投影させる。これに対応して、観察者5が装着する眼鏡6は、前記相互に直交する偏光面の光の内、右目と左目とでそれぞれ対応する偏光面の光のみを通過させ、観察者5に視認させる。
【0018】
図2は、上述のように構成される仮想現実感生成装置の電気的構成を示すブロック図である。本実施の形態の仮想現実感生成装置では、ビデオムービーなどの汎用の撮影手段を使用して作成された圧縮動画映像ファイルから仮想現実感映像を生成する。前記圧縮動画映像ファイルは、DVD(デジタルビデオディスク)などの媒体に圧縮記録されている。図2では、前記媒体としては、左右それぞれのDVD11,21で示しているけれども、動画映像が圧縮記録されている他の媒体であってもよい。また、人間の両眼視差に対応した間隔だけ水平方向に離間して配置された左右それぞれの撮影手段で撮影された動画映像は、それらの撮影手段で個別のDVD11,21に圧縮して記録されるが、左右の撮影手段が一体化されていて、同じ媒体に記録されていてもよい。
【0019】
MPEG2やMPEG4などで圧縮された前記DVD11,21の記録映像は、前記映像作成手段7,8において、それぞれハードディスク12,22に取込まれる。前記ハードディスク12,22に取込まれた記録映像は、解凍部13,23において解凍(伸長)され、さらに再生表示部14,24において、映像信号に変換される。前記解凍部13,23および再生表示部14,24は、デコード手段を構成する。こうして得られた映像信号は、歪補正部15,25において、前記スクリーン1の球面形状によって生じる歪に対する歪補正および前記プロジェクタ2,3の球の中心軸上からのオフセットによって生じる歪に対する設置位置補正が行われる。
【0020】
前記歪補正部15,25から出力された映像信号は、切換えスイッチ17,27を介して、それぞれ2つずつ設けられるフレームメモリ18,19;28,29の一方に書込まれ、そのフレームメモリ18,19;28,29の他方からは、切換えスイッチ20,30を介して映像信号が読出され、前記プロジェクタ2,3に与えられ、投射が行われる。このように構成される映像作成手段7,8において、CGによって作成された映像信号は、前記解凍部13,23における伸長処理および再生表示部14,24における映像信号への変換処理は不要であり、直接歪補正部15,25から入力される。
【0021】
前記映像作成手段7,8は、パーソナルコンピュータから成り、前記解凍部13,23、再生表示部14,24、歪補正部15,25および同期管理部16,26は、そのパーソナルコンピュータに格納されたソフトウェアおよびそれを実行するハードウェアによって構成される。すなわち、映像信号処理用のソフトウェアとして、前記解凍部13,23にはムービーファイル解凍プロセスを有し、再生表示部14,24には映像表示プロセスを有し、前記歪補正部15,25には映像歪補正プロセスを有する。また、前記解凍部13,23、再生表示部14,24および切換えスイッチ17,27;20,30の同期を管理する同期管理部16,26は、同期管理プロセスを有する。
【0022】
ここで、本実施の形態では、前記映像作成手段7,8はスレーブとなり、マスターとなる前記同期手段9が設けられる。この同期手段9もパーソナルコンピュータから成り、前記映像作成手段7,8とは、ネットワーク31によって相互に接続されている。同期手段9でも、前記DVD11または12(図2では11)からの記録映像がハードディスク32に取込まれ、解凍部33において伸長され、さらに再生表示部34において映像信号に変換される。この映像信号におけるタイムコードを利用して、同期管理部36は、前記同期管理部16,26を介して、後述するように前記切換えスイッチ17,27;20,30のスイッチングなどを制御し、映像作成手段7,8からの映像信号間の同期を確立する。前記解凍部33にはムービーファイル解凍プロセスを有し、再生表示部34には映像表示プロセスを有し、同期管理部36には同期管理プロセスおよび時間管理ループプロセスを有する。前記映像作成手段7,8が実行する同期管理プロセス、ムービーファイル解凍プロセス、映像表示プロセスおよび映像補正プロセスについては、後述する図5および図8の説明箇所にて一例を詳細に説明する。また、同期手段9が実行する時間管理ループプロセス、同期管理プロセス、ムービーファイル解凍プロセスおよび映像表示プロセスについても、後述する図8の説明箇所にて一例を詳細に説明する。
【0023】
図3は、前記歪補正部15,25によるスクリーン1の球面形状に対する歪補正処理を説明するための図である。前記再生表示部14,24において得られた映像信号映像を、そのまま球形のスクリーン1に投射すると、図3(a)に示すように、歪んだ映像になる。このため球形のスクリーン1に表示したときに歪みが無くなるように、図3(b)に示すように、予め前記歪補正部15,25において映像を歪ませる。
【0024】
また、図4は、前記歪補正部15,25によるプロジェクタ2,3の球の中心軸上からのオフセットによって生じる歪に対する設置位置補正処理を説明するための図である。この図4では、前記反射鏡4を省略しており、観察者5の後方から投射しているように示している。前記球面形状に対する歪補正が施された映像信号は、プロジェクタ2,3を、図4(a)や図4(b)で示すように、球の中心Oを通る中心軸c上に設置した状態で投射すると、歪のない映像となる。しかしながら、図1からも理解されるように、プロジェクタ2,3は観察者5の影にならない位置に設置する必要があり、特にスクリーン1の径が小さくなる程、前記中心軸上からのオフセットが大きくなる。そこで、図4(c)で示すように、プロジェクタ2,3が中心軸c上に無い状態で、該歪補正部15,25は、プロジェクタ2,3の設置位置に応じてさらに映像に歪みを与えることで補正する。
【0025】
また、プロジェクタには光軸シフトと呼ぶ映像を投射する角度を変更できる機能を持つものがあるため、その機能を使用すると図1や図4(d)のようにプロジェクタ2,3を床に対して水平に設置することが可能になる。この場合も光軸シフトをパラメータとして映像を歪ませる必要があり、映像表示領域に沿って映像表示パラメータを上下左右方向に非対称な値に変換して映像表示パラメータを変更する。しかしながら、光軸シフトには、プロジェクタ2,3内にそのようなシフト機構が必要になり、コストアップを招くので、プロジェクタ2,3の軸線と光軸とを一致させることが好ましい。
【0026】
図5は、そのような歪補正部15,25による歪み補正の手法を説明するための図である。この図5でも、前記反射鏡4を省略して示している。先ず、補正にあたって、図5に示すように、観察者5の視点位置よりビューフラスタムおよびプロジェクタ2,3の投影位置より投影フラスタムを定義する。ビューフラスタムは、視点位置としての頂点をP、底面をP0,0,Pm,0,Pm,n,P0,nとする四角錐で表現され、投影フラスタムは、プロジェクタバックフォーカス位置としての頂点をQ、底面をQ0,0,Qm,0,Qm,n,Q0,nとして表現される。ここで、m,nは映像解像度を表すものとし、映像信号が、たとえばSXGAの場合は、m=1279、n=1023である。底面は、仮想スクリーン面とも呼ばれる。
【0027】
ここで、簡易表現のため、m=iにおけるy−z二次元断面から見たイメージを図6に示す。先ず、仮想スクリーン面1a内に点Pi,jを想定し,ベクトルPi,jとドームスクリーン1との交点Ri,jを求める。次に、ベクトルQi,jと投影フラスタムの仮想スクリーン面1bとの交点Qi,jを求める。i,jを、0≦i≦m,0≦j≦nで変化してゆくと、Pi,j→Qi,j対応マップを作成することができ,この対応マップが映像の歪みに対する逆補正となる。すなわち、先ずビューフラスタムに基づいて通常の映像生成を行い、次にこの映像データを取出し、このイメージにPi,j→Qi,j対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行うことで、映像歪み補正を実現している。グリッド映像にPi,j→Qi,j対応マップを適用したイメージを図7に示す(すなわち前記図3(b)とは逆になる)。
【0028】
本歪み補正手法は、スクリーン1の形状を制限しない。すなわち、ドームスクリーンだけではなく、スクリーン面が測定可能もしくは解析的な特定ができれば、平面を組合わせたマルチスクリーンおよび曲率が連続的に変化する楕円球面などへも適用可能である。
【0029】
こうして歪み補正機能をソフトウェア上で実現することで、魚眼レンズ等を用いた光学的な処理で実現する場合では、予め表示系に合ったレンズを作成し、そのレンズを使って映像を作成・表示しなければならず、表示系の大きさ、形が変わった時には対応できないのに対して、ソフトウェアで実現することで、表示系に合わせたパラメータ設定だけで対応することができ、有利である。
【0030】
図8は、上述のように構成される仮想現実感生成装置における左右の映像信号間の同期確立動作を説明するためのフローチャートである。本仮想現実感生成装置を実現する主要なソフトウェアは、前述のような時間管理ループプロセス、同期管理プロセス、ムービーファイル解凍プロセス、映像表示プロセスおよび映像歪み補正プロセスの5つから構成される。前記同期管理プロセス、ムービーファイル解凍プロセスおよび映像表示プロセスは、前記映像作成手段7,8において、それぞれ一連のプロセスで連携しながら動作する。スレーブパソコンであるこれらの映像作成手段7,8は、2つにとどまらず、マルチスクリーン対応などでさらに拡張することが可能である。前記時間管理ループプロセスは、唯一のプロセスであり、複数のパーソナルコンピュータのどこか一箇所で実行されればよいが、本実施の形態では、上述のように独立したマスターパソコンである同期手段9上で実行する。そして各プロセスは、ネットワーク31を利用して通信を行う。図8では、前記同期管理プロセスによる動作を、破線で示す。
【0031】
マスターパソコンでは、前記時間管理ループプロセスおよび同期管理プロセスを実行する。これによって、先ず、時間管理ループプロセスで現在時刻を取得し、規定時間が経過した場合、同期管理プロセスからスレーブパソコンに向けて現在時刻を配信する(S101,S102)。すなわち、同期管理プロセスは、一定時間毎に、時刻と、後述するように2つのフレームメモリ18,19;28,29の切換えを行う切換えスイッチ17,27;20,30の切換え指令であるスワップ同期メッセージを送信することになる。
【0032】
一方、スレーブパソコンでは、前記ムービーファイル解凍プロセス・映像表示プロセス・映像歪み補正プロセスを実行する。これによって、先ず、映像表示プロセスが現在時刻を受信し、受信後確かに受取ったことをレシートとしてマスターパソコンに返信する(S201,S202)。さらに映像表示プロセスは、リファレンス時刻を更新し、さらにムービーファイル解凍プロセスへリファレンス時刻を配信し(S203)、フレームデータ更新通知を待受ける(S204)。
【0033】
これに応答して、ムービーファイル解凍プロセスは、リファレンス時刻を取得し(S301)、現在取得しているフレームの表示されるべき時刻と比較する(S302)。比較の結果、遅延が2フレーム以内ならばフレームデータを更新、すなわち解凍し、フレームバッファ内のアドレスを映像表示プロセスへ通知する(S303)。さらにムービーファイル解凍プロセスは、フレームデータを更新したことを映像表示プロセスへ通知する(S304)。
【0034】
映像表示プロセスは、フレームデータ更新通知を受けると(S204,S205)、すでにS303で通知済のフレームバッファ内のアドレスよりフレームデータを映像として取得し(S206)、ムービーファイル解凍プロセスへフレームデータ更新完了を通知し(S207)、映像をバックバッファ(前記2つのフレームメモリ18,19;28,29の内、出力側に選択されていない方(図2ではフレームメモリ18,28))に描画、すなわち映像信号に再生する(S208)。
【0035】
一方、マスターパソコンでは、同期管理プロセスは、S103でレシートを受取ると、スワップ同期メッセージをスレーブパソコンの映像表示プロセスへ送信する(S104)。これに応答して、映像表示プロセスは、映像歪み補正プロセスを呼び出して処理を実行させ(S209)、続いてバッファスワップを実行し、マスターパソコンの同期管理プロセスへ確かに受取ったことを表すレシートを返信する(S210,S211,S212)。その後、映像表示プロセスは、S201で現在時刻の受信を待受ける。前記映像歪み補正は、前記図5で示すように対応マップの読替えによる一定時間の遅延で実現することができ、これによって左右のプロジェクタ2,3からは、相互に同期の取れた動画映像が投射されることになる。
【0036】
ムービーファイル解凍プロセスは、フレームデータ更新完了通知を受取ると(S305)、圧縮ムービーファイルより1フレームを新たに取得する(S306)。また、S302での比較の結果、遅延が2フレームを超えていても、前記S306で1フレームを新たに取得する。
【0037】
マスターパソコンの同期管理プロセスでは、映像表示プロセスよりスワップ同期メッセージのレシートを受取るまでプロセスを停止、受取ると現在時刻の取得より開始する(S105)。
【0038】
このように構成することによって、特殊なハードウェアを用いることなく、実写映像などのムービーファイルの解凍・再生・歪み補正の各処理をリアルタイムで行いつつ、インタラクティブな複数のムービーファイルを、複数のパソコン上で同期して再生することが可能となる
【図面の簡単な説明】
【0039】
【図1】本発明の実施の一形態に係る仮想現実感生成装置の全体構成を示す図である。
【図2】図1で示す仮想現実感生成装置の電気的構成を示すブロック図である。
【図3】歪補正部によるスクリーンの球面形状に対する歪補正処理を説明するための図である。
【図4】歪補正部によるプロジェクタの球の中心軸上からのオフセットによって生じる歪に対する設置位置補正処理を説明するための図である。
【図5】歪補正部による歪み補正の手法を説明するための図である。
【図6】半球状のスクリーンの中央部で切断した図5の二次元断面図である。
【図7】グリッド映像の歪補正のイメージ図である。
【図8】本発明の実施の一形態に係る同期確立動作を説明するためのフローチャートである。
【符号の説明】
【0040】
1 スクリーン
2,3 プロジェクタ
4 反射鏡
5 観察者
6 眼鏡
7,8 映像作成手段
15,25 歪補正部

【特許請求の範囲】
【請求項1】
観察者に凹面を向けたスクリーンへ投影する映像を作成するための映像作成装置において
前記観察者の視点位置より定義されるビューフラスタムの底面内の第1点を想定し、前記視点位置から前記第1点へのベクトルと前記スクリーンとの第1交点を求め、投影位置から前記第1交点へのベクトルと前記投影位置より定義される投影フラスタムの底面との第2交点を求め、前記第1点を前記第2交点に変換することによって、前記ビューフラスタムの映像を前記スクリーンへ投影するための映像に変換する歪み補正部を備えること
を特徴とする映像作成装置
【請求項2】
前記第1点と前記第2交点との対応関係を示す対応マップを予め求めておき
前記歪み補正部は、前記対応マップを利用することによって、前記ビューフラスタムの映像を前記スクリーンへ投影するための映像に変換すること
を特徴とする請求項1に記載の映像作成装置
【請求項3】
観察者に凹面を向けたスクリーンへ投影する映像を作成するための映像作成方法において
前記観察者の視点位置より定義されるビューフラスタムの底面内の第1点を想定し、前記視点位置から前記第1点へのベクトルと前記スクリーンとの第1交点を求める工程と
投影位置から前記第1交点へのベクトルと前記投影位置より定義される投影フラスタムの底面との第2交点を求める工程と
前記第1点を前記第2交点に変換することによって、前記ビューフラスタムの映像を前記スクリーンへ投影するための映像に変換する工程とを備えること
を特徴とする映像作成方法
【請求項4】
観察者に凹面を向けたスクリーンと、前記スクリーンへ相互に異なる角度から見た複数の映像を投影する複数の映像作成装置とを備える映像投影システムにおいて
前記複数の映像作成装置のそれぞれは、請求項1または請求項2に記載の映像作成装置であること
を特徴とする映像投影システム

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2007−312402(P2007−312402A)
【公開日】平成19年11月29日(2007.11.29)
【国際特許分類】
【出願番号】特願2007−149526(P2007−149526)
【出願日】平成19年6月5日(2007.6.5)
【分割の表示】特願2004−176106(P2004−176106)の分割
【原出願日】平成16年6月14日(2004.6.14)
【出願人】(000005832)松下電工株式会社 (17,916)
【Fターム(参考)】