視点変換装置及び視点変換方法
【課題】視点変換のための演算処理速度が高速であり、また、視点変換途中に映像をメモリに保持する必要をなくす。
【解決手段】変換パラメータ演算部１０６は、カメラパラメータと仮想カメラパラメータとに基づいて、カメラ１０１により実視点から見た画像平面上の画像座標で表される第１の点から所定の基準平面上の点への投影を表す第１の式と、基準平面上の点から仮想撮像装置から見た画像座標で表される第２の点への投影を表す第２の式とを求め、更に第１及び第２の式により第１の点から第２の点への投影を表す第３の式を求め、その第３の式からカメラ１０１の撮像映像信号を仮想カメラの仮想撮像映像信号へ変換するための変換行列を演算する。視点変換部１０３は、カメラ１０１の撮像映像信号に対して、上記変換行列を用いた視点変換のための演算処理を行う。
【解決手段】変換パラメータ演算部１０６は、カメラパラメータと仮想カメラパラメータとに基づいて、カメラ１０１により実視点から見た画像平面上の画像座標で表される第１の点から所定の基準平面上の点への投影を表す第１の式と、基準平面上の点から仮想撮像装置から見た画像座標で表される第２の点への投影を表す第２の式とを求め、更に第１及び第２の式により第１の点から第２の点への投影を表す第３の式を求め、その第３の式からカメラ１０１の撮像映像信号を仮想カメラの仮想撮像映像信号へ変換するための変換行列を演算する。視点変換部１０３は、カメラ１０１の撮像映像信号に対して、上記変換行列を用いた視点変換のための演算処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は視点変換装置及び視点変換方法に係り、特に撮像装置により実視点で撮像された撮像映像を任意の仮想視点から見た映像に変換する視点変換を行う視点変換装置及び視点変換方法に関する。
【背景技術】
【０００２】
従来、撮像装置により撮像された実視点の撮像映像を任意の仮想視点から見た映像に視点変換する視点変換装置が知られている（例えば、特許文献１参照）。この視点変換装置においては、カメラで撮像した映像から世界座標への投影映像データを一度生成してメモリに保持し、メモリに保持した世界座標への投影映像データから所定の演算式により任意の視点に設置した仮想カメラの映像を演算生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第００／０７３７３号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の従来の視点変換装置では、一旦、世界座標への投影映像データを生成し、その投影映像データを用いて任意視点の仮想カメラの映像を生成するため、世界座標への投影映像データを保持するためのメモリが必要であることと、変換のための演算処理に時間がかかることが課題である。
【０００５】
本発明は、上記の点に鑑みなされたもので、視点変換のための演算処理時間が短くて済み、また、視点変換途中に映像をメモリに保持する必要の無い視点変換装置及び視点変換方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するため、本発明の視点変換装置は、任意の実視点の位置に設置された撮像装置の特性、位置及び姿勢を含むカメラパラメータを記憶するカメラパラメータ記憶手段と、３次元空間上の任意の仮想視点に配置された仮想撮像装置の特性、位置及び姿勢を含む仮想カメラパラメータを記憶する仮想カメラパラメータ記憶手段と、カメラパラメータと仮想カメラパラメータとに基づいて、仮想視点から見た画像平面上に定めた４つの点を所定の基準平面上に投影し、その基準平面上に投影した４つの点を実視点から見た画像平面上に投影して得られる４つの点の画像座標を求め、その求めた４つの点の画像座標と仮想視点から見た画像平面上に定めた４つの点の画像座標とに基づいて、撮像装置の撮像映像信号を仮想撮像装置の仮想撮像映像信号へ変換するための変換行列を演算する変換パラメータ演算手段と、撮像装置の実視点から見た撮像映像信号に対して、変換行列を用いた視点変換のための演算処理を行って、仮想撮像装置の仮想撮像映像信号を生成する視点変換手段とを有することを特徴とする。
【０００７】
また、上記の目的を達成するため、本発明の視点変換装置は、仮想カメラパラメータから得られる仮想撮像装置の仮想撮像領域の４つの頂点を、撮像装置の実視点から見た画像平面上の画像座標で表される４つの点に変換し、更にその変換後の４つの点を結んだ変換領域を示す指示線を生成する変換領域指示線生成手段と、変換領域指示線生成手段により生成された指示線と、撮像装置の実視点から見た撮像映像信号との重畳信号を生成して出力する重畳手段と、視点変換手段から出力される仮想撮像映像信号と、重畳手段から出力される重畳信号との一方を選択する映像切替手段とを更に有することを特徴とする。
【０００８】
また、上記の目的を達成するため、本発明の視点変換方法は、任意の実視点の位置に設置された撮像装置の特性、位置及び姿勢を含むカメラパラメータと、３次元空間上の任意の仮想視点に配置された仮想撮像装置の特性、位置及び姿勢を含む仮想カメラパラメータとに基づいて、仮想視点から見た画像平面上に定めた４つの点を所定の基準平面上に投影し、その基準平面上に投影した４つの点を実視点から見た画像平面上に投影して得られる４つの点の画像座標を求め、その求めた４つの点の画像座標と仮想視点から見た画像平面上に定めた４つの点の画像座標とに基づいて、撮像装置の撮像映像信号を仮想撮像装置の仮想撮像映像信号へ変換するための変換行列を演算する第１のステップと、撮像装置の実視点から見た撮像映像信号に対して、変換行列を用いた視点変換のための演算処理を行って、仮想撮像装置の仮想撮像映像信号を生成する第２のステップとを含むことを特徴とする。
【０００９】
また、上記の目的を達成するため、本発明の視点変換方法は、仮想カメラパラメータから得られる仮想撮像装置の仮想撮像領域の４つの頂点を、撮像装置の実視点から見た画像平面上の画像座標で表される４つの点に変換し、更にその変換後の４つの点を結んだ変換領域を示す指示線を生成する第３のステップと、第３のステップにより生成された指示線と、撮像装置の実視点から見た撮像映像信号との重畳信号を生成して出力する第４のステップと、第２のステップにより得られる仮想撮像映像信号と、第４のステップにより得られる重畳信号との一方を選択する第５のステップとを更に含むことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮像装置の実視点から見た撮像映像信号から世界座標の映像を生成する必要がないため、従来に比べてメモリ容量を低減でき、また、視点変換の演算処理時間を短縮することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の視点変換装置の第１の実施の形態のブロック図である。
【図２】カメラの映像空間と基準平面の座標系を説明するための図である。
【図３】カメラパラメータの一例を説明するための図である。
【図４】仮想カメラパラメータの一例を説明するための図である。
【図５】本発明の視点変換装置及び視点変換方法の第１の実施の形態の動作を説明するためのフローチャートである。
【図６】本発明の視点変換装置の第３の実施の形態のブロック図である。
【図７】本発明の視点変換装置及び視点変換方法の第３の実施の形態における変換領域を説明するための図である。
【図８】仮想撮像領域の一例を説明するための図である。
【図９】カメラの映像空間とそこに投影された仮想カメラの仮想撮像領域を説明するための図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１３】
（第１の実施の形態）
図１は、本発明になる視点変換装置の第１の実施の形態のブロック図を示す。同図に示すように、第１の実施の形態の視点変換装置１００は、撮像装置であるカメラ１０１により撮像された撮像映像信号に対して、カメラ１０１のレンズ歪みを除去するレンズ歪除去部１０２と、レンズ歪み除去部１０２からの撮像映像信号に対して任意視点の視点変換を行って、その視点変換後の映像信号を表示部１０７へ出力する視点変換部１０３と、カメラパラメータ記憶部１０４と、仮想カメラパラメータ記憶部１０５と、変換パラメータ演算部１０６とより構成される。
【００１４】
ここで、まず、本実施の形態で使用する座標軸について図２と共に説明する。図２は、カメラ１０１の映像空間と基準平面の座標系を説明するための図を示す。図２において、世界座標は、カメラ１０１の光軸の基準平面１２２に投影した方向をＺｗ軸とし、Ｚｗ軸に垂直で、かつ、基準平面１２２上の方向をＸｗ軸とし、基準平面１２２の法線方向をＹｗ軸とする。また、世界座標の原点Ｏｗは、カメラ１０１の主点から下ろした垂線と基準平面１２２の交点とする。
【００１５】
また、カメラ座標は、カメラ１０１をピンホールカメラモデルで近似したときのピンホールを原点Ｏｃとし、カメラ１０１の光軸方向をＺｃ軸とし、Ｚｃ軸に垂直で、かつ、後述の画像座標の縦方向をＹｃ軸とし、Ｚｃ軸及びＹｃ軸にそれぞれ直交する方向をＸｃ軸とする。また、画像座標は、コンピュータに取り込まれるときの座標であり、画像平面１２３の横方向をＵ軸とし、縦方向をＶ軸とする。なお、カメラ１０１は基準平面１２２に対して高さｈだけ上方に位置する。また、画像平面１２３はカメラ１０１の主点から距離ｆ（ｆ：焦点距離）の位置にある。
【００１６】
図１に戻って説明する。カメラパラメータ記憶部１０４は、カメラ１０１の特性、位置、及び姿勢からなるカメラパラメータを予め記憶している。このカメラパラメータは、具体的には、図３に示すように、カメラ１０１の焦点距離ｆとＵ軸方向、Ｖ軸方向の各画素サイズとの積である焦点スケール係数αruとαrv、画像平面（図２の１２３）とカメラ１０１の光軸との交点である主点のＵ軸方向とＶ軸方向の座標ｕr0とｖr0、カメラレンズの半径方向のレンズ歪係数ｋ１，ｋ２、円周方向のレンズ歪係数ｐ１，ｐ２、世界座標で表したカメラ１０１の位置を示すＸｗ座標、Ｙｗ座標、Ｚｗ座標、カメラ１０１の姿勢を表すＸｗ軸まわりの回転角度ηrとＹｗ軸まわりの回転角度φrとからなる。なお、Ｚｗ軸まわりの回転はないものとする。焦点距離スケール係数αru，αrvは、焦点距離を画素単位で表したもので、変換する点を画素単位に変換する。
【００１７】
また、図１の仮想カメラパラメータ記憶部１０５は、３次元空間上の任意の仮想視点に配置された仮想カメラの特性、位置、及び姿勢からなる仮想カメラパラメータを予め記憶している。この仮想カメラパラメータは、具体的には、図４に示すように、仮想カメラの焦点距離とＵ軸方向、Ｖ軸方向の各画素サイズとの積である焦点スケール係数αvuとαvv、画像平面（図２の１２３）と仮想カメラの光軸との交点である主点のＵ軸方向とＶ軸方向の座標ｕv0とｖv0、世界座標で表した仮想カメラの位置を示すＸｗ座標、Ｙｗ座標、Ｚｗ座標、仮想カメラの姿勢を表すＸｗ軸まわりの回転角度ηvとＹｗ軸まわりの回転角度φvとからなる。なお、Ｚｗ軸まわりの回転はないものとする。焦点距離スケール係数αvu，αvuは、焦点距離を画素単位で表したもので、変換する点を画素単位に変換する。
【００１８】
変換パラメータ演算部１０６は、カメラパラメータ記憶部１０４から読み出されたカメラパラメータと、仮想カメラパラメータ記憶部１０５から読み出された仮想カメラパラメータとから、カメラ１０１の図２に示した画像平面１２３上の点ｐrを、仮想カメラの画像座標で表される点ｐvに変換する変換行列(変換パラメータ)を後述する演算式により予め求めておく。
【００１９】
視点変換部１０３は、レンズ歪除去部１０２からの撮像映像信号に対して、変換パラメータ演算部１０６で求められた変換行列を用いて任意視点に視点変換された映像信号を生成して表示部１０７へ出力する。
【００２０】
次に、本実施の形態の動作について、図５のフローチャート等を併せ参照して説明する。
【００２１】
まず、カメラ１０１が実視点での映像撮影を行う（ステップＳ１１）。これにより、カメラ１０１は、実視点から見た撮像映像信号をレンズ歪み除去部１０２へ出力する。続いて、カメラパラメータ記憶部１０４が、カメラパラメータを読み出す（ステップＳ１２）。このカメラパラメータは、図３に示したように、カメラ１０１の特性（焦点距離スケール係数αru，αvu、主点座標ｕr0，ｖr0、レンズ歪係数k1,k2,p1,p2）、カメラ１０１の位置及びカメラ１０１の姿勢を示すパラメータである。
【００２２】
続いて、仮想カメラパラメータ記憶部１０５が、図４に示した仮想カメラパラメータを読み出す（ステップＳ１３）。この仮想カメラパラメータは、図４に示したように、仮想カメラの特性（焦点距離スケール係数αvu，αvv、主点座標ｕv0，ｖv0）、仮想カメラの位置及び仮想カメラの姿勢を示すパラメータである。
【００２３】
次に、レンズ歪除去部１０２は、カメラパラメータ記憶部１０４に記憶されている半径方向のレンズ歪係数ｋ１及びｋ２と、円周方向のレンズ歪係数ｐ１及びｐ２とを使用して、カメラ１０１から供給される撮像映像信号に含まれるレンズ歪を除去する（ステップＳ１４）。レンズ歪の除去された撮像映像信号は視点変換部１０３へ供給される。
【００２４】
続いて、変換パラメータ演算部１０６は、カメラパラメータと仮想カメラパラメータとから、カメラ１０１の図２に示した画像平面１２３上の点ｐrを、仮想カメラの画像座標で表される点ｐvに変換する変換行列(変換パラメータ)を演算する（ステップＳ１５）。
【００２５】
この変換パラメータ演算部１０６による変換行列の演算動作について詳細に説明する。まず、図２に示した基準平面１２２上の点Ｐｗとカメラ１０１のカメラ座標の原点Ｏｃとを結ぶ直線上にあり、かつ、画像平面１２３上にある点をｐrとしたとき、点Ｐｗと点ｐrとの間には次式の関係がある。なお、以下の式において、Ｐｗとｐrは、それらの点の位置を示す座標を示す。
【００２６】
ｓr・ｐr＝Ａr（Ｒr・Ｐw＋Ｔr） （１）
ただし、（１）式中、ｓrは画像座標における距離スケール係数、Ａrはカメラ１０１の内部パラメータ行列、Ｒrはカメラ１０１の回転行列、Ｔrはカメラ１０１の移動行列を示す。上記の（１）式は基準平面１２２上の点Ｐwからカメラ１０１から見た画像座標で表される点ｐrへの投影を表す式である。ここで、距離スケール係数ｓrは変換する点Ｐwと画像平面１２３との距離によって、画像平面１２３上への投影の大きさを調整する係数で、距離が遠ければ小さく、距離が近ければ大きくする。また、上記のカメラ１０１の内部パラメータ行列Ａｒ、カメラ１０１の回転行列Ｒr、カメラ１０１の移動行列Ｔrは次式で表される。
【００２７】
【数１】
（１）式を変形すると、カメラ１０１の画像平面１２３で表される点ｐrから基準平面１２２上の点Ｐwへの投影を表す次式が得られる。
【００２８】
Ｐw＝Ｒr-1・Ａr-1・ｓr・ｐr−Ｒr-1・Ｔr （２）
一方、基準平面１２２上の点Ｐwから仮想カメラから見た画像座標で表される点ｐvへの投影を表す式は（３）式で表される。
【００２９】
ｓv・ｐv＝Ａv（Ｒv・Ｐw＋Ｔv） （３）
ただし、（３）式中、ｓvは画像座標における距離スケール係数、Ａvは仮想カメラの内部パラメータ行列、Ｒvは仮想カメラの回転行列、Ｔvは仮想カメラの移動行列を示す。ここで、距離スケール係数ｓvは変換する点Ｐwと仮想カメラから見た画像平面との距離によって、その画像平面上への投影の大きさを調整する係数で、距離が遠ければ小さく、距離が近ければ大きくする。また、上記の仮想カメラの内部パラメータ行列Ａv、仮想カメラの回転行列Ｒv、仮想カメラの移動行列Ｔvは次式で表される。
【００３０】
【数２】
ここで、（３）式のＰwに（２）式を代入すると、カメラ１０１により実視点で撮像した画像平面１２３上の画像座標で表される点ｐrから、仮想カメラにより仮想視点から見た画像座標で表される点ｐvへの投影を表す次の（４）式が得られる。
【００３１】
ｓv・ｐv＝Ａv・Ｒv・Ｒr-1・Ａr-1・ｓr・ｐr＋Ａv（Ｔv−Ｒv・Ｒr-1・Ｔr） (４)
（４）式中の「Ａv・Ｒv・Ｒr-1・Ａr-1」と「Ａv（Ｔv−Ｒv・Ｒr-1・Ｔr）」とがステップＳ１５で求められる変換行列である。そこで、変換パラメータ演算部１０６は、上記の変換行列「Ａv・Ｒv・Ｒr-1・Ａr-1」と「Ａv（Ｔv−Ｒv・Ｒr-1・Ｔr）」とを予め演算し、この変換行列を視点変換部１０３に供給する。
【００３２】
次に、視点変換部１０３は、レンズ歪除去部１０２によりレンズ歪が除去されたカメラ１０１の撮像映像信号に対して、変換パラメータ演算部１０６から供給される上記の変換行列を用いて（４）式に基づく演算を行って仮想視点から見た仮想撮像映像信号を生成する（ステップＳ１６）。
【００３３】
すなわち、視点変換部１０３は、（４）式の右辺における変換行列は変換パラメータ演算部１０６から取得し、（４）式の右辺におけるｐrの値として、レンズ歪が除去されたカメラ１０１の撮像映像信号の画像座標で表される点ｐrの値を代入し、かつ、距離スケール係数ｓrの値として変換する点Ｐwと画像平面１２３との距離に応じた値を代入することで、（４）式の左辺のｓv・ｐvで表される仮想視点から見た仮想撮像映像信号を生成することができる。このとき、演算されたｓv・ｐvのうち、距離スケール係数ｓvを除算することで、基準平面１２２上の点Ｐwから仮想カメラから見た画像座標で表される点ｐvのみを演算することもできる。
【００３４】
そして、表示部１０７は、この仮想視点から見た仮想撮像映像信号（すなわち、仮想カメラの映像）を表示する（ステップＳ１７）。以降、ステップＳ１１に戻り、ステップＳ１１〜Ｓ１７の処理を繰り返す。
【００３５】
なお、ステップＳ１６における（４）式の演算において、仮想カメラの画像座標がある点において、カメラ１０１の画像座標で表される点ｐrから仮想カメラの画像座標に変換された点ｐvが存在しない場合は、周辺の存在する点から補間する。
【００３６】
このように、本実施の形態の視点変換装置１００によれば、視点変換部１０３が実視点から見た撮像映像信号に対して、変換パラメータ演算部１０６により演算された変換行列を用いて（４）式の演算を行うことで仮想視点から見た仮想撮像映像信号を生成するようにしたため、基準平面１２２上の世界座標の点Ｐwの映像の算出が不要である。一方、従来の視点変換装置では実視点から見た撮像映像信号に対して世界座標上の映像を画素単位で一度生成してメモリに記憶しておき、そのメモリから読み出した世界座標上の映像から仮想カメラの映像を生成していた。
【００３７】
従って、本実施の形態の視点変換装置１００によれば、世界座標の点Ｐwの映像の算出が不要であるため、従来の視点変換装置で必要であった世界座標の点Ｐwの映像を記憶するための大容量のメモリが不要であり、その結果、メモリ容量が低減でき、かつ、視点変換のための演算処理時間を短縮することができる。
【００３８】
（第２の実施の形態）
次に、本発明の視点変換装置及び視点変換方法の第２の実施の形態について説明する。
【００３９】
本実施の形態の視点変換装置の全体構成は、図１のブロック図に示した第１の実施の形態の視点変換装置１００と同様構成である。第２の実施の形態の視点変換装置は、第１の実施の形態の視点変換装置１００と比較し、変換パラメータ演算部１０６における変換行列の演算方法が異なる。
【００４０】
第２の実施の形態の視点変換装置の変換パラメータ演算部１０６においては、仮想カメラの画像座標で表される相異なる４つの点ｐv0，ｐv1，ｐv2，ｐv3から、それぞれの点に対応する実視点のカメラ１０１の画像座標で表される４つの点ｐr0，ｐr1，ｐr2，ｐr3を求め、それら４つの点ｐr0，ｐr1，ｐr2，ｐr3に基づいて、カメラ１０１の画像座標で表される点ｐrから仮想カメラの画像座標で表される点ｐvへの変換行列を求める。なお、仮想カメラの画像座標で表される上記の４つの点の内の１つは、仮想カメラの画像座標の原点を含んでもよい。
【００４１】
次に、第２の実施の形態の視点変換装置の変換パラメータ演算部１０６における変換行列生成方法について詳細に説明する。仮想カメラの画像座標で表される点ｐvから、基準平面１２２上の点Ｐwへの投影を表す式は、前記（３）式を変形することにより（５）式のように表すことができる。
【００４２】
Ｐw＝Ｒv-1・Ａv-1・ｓv・ｐv−Ｒv-1・Ｔv （５）
この（５）式と前記（１）式とにより、基準平面１２２上に投影した点Ｐwを、実視点から見た画像平面上に投影して得られるカメラ１０１の画像座標で表される点ｐrを求めることができる。
【００４３】
ここで、一般的に、ある平面上の点（ｕr，ｖr）から別の平面上の点（ｕv，ｖv）への投影を表す式は、以下の（６）式に示すように３行３列の変換行列を用いて表すことができる。
【００４４】
【数３】
ただし、（６）式中、ｗは距離スケール係数である。（６）式の行列を分解して整理すると（７ａ）式及び（７ｂ）式が得られる。
【００４５】
【数４】
（６）式中の３行３列の変換行列の未知の要素はＣ00〜Ｃ21の８個であるため、仮想カメラの画像座標で表される相異なる４つの点ｐv0，ｐv1，ｐv2，ｐv3から、それぞれの点に対応するカメラ１０１の画像座標で表される４つの点ｐr0，ｐr1，ｐr2，ｐr3を（５）式及び（１）式から求めることによって、（６）式中の３行３列の変換行列の要素Ｃ00〜Ｃ21を求めることが可能である。
【００４６】
そして、図１の視点変換部１０３は、変換パラメータ演算部１０６から（６）式中の３行３列の変換行列を取得すると共に、ｕr，ｖrの値として、レンズ歪が除去されたカメラ１０１の撮像映像信号の画像座標で表される点ｐrの画像座標における値を（７ａ）式及び（７ｂ）式に代入することで、（７ａ）式及び（７ｂ）式の左辺のｕv，ｖvで表される仮想視点から見た画像座標上の点の仮想撮像映像信号を生成することができる。これにより、本実施の形態も第１の実施の形態と同様の特長を有することができる。
【００４７】
（第３の実施の形態）
次に、本発明の視点変換装置及び視点変換方法の第３の実施の形態について説明する。
【００４８】
図６は、本発明になる視点変換装置の第３の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。本実施の形態の視点変換装置１５０は、第１及び第２の実施の形態の視点変換装置に、変換領域指示線生成部１５１、重畳部１５２及び映像切替部１５３を追加した構成である。
【００４９】
変換領域指示線生成部１５１は、仮想カメラの撮像領域の４つの頂点を、カメラ１０１の映像へ投影したカメラ１０１の画像座標における４つの頂点を結んだ変換領域を示す指示線を生成する。重畳部１５２は、レンズ歪除去部１０２からのカメラ１０１の撮像映像信号と、変換領域指示線生成部１５１からの変換領域指示線とを重畳した信号を生成する。映像切替部１５３は、カメラ１０１の撮像領域が仮想カメラの撮像領域内にあるかどうかを確認する場合に重畳部１５２からの重畳信号を選択し、それ以外の場合は視点変換部１０３からの視点変換後の映像信号を選択する。
【００５０】
次に、本実施の形態の動作について図６〜図９を併せ参照して説明する。図７は、本実施の形態における変換領域を説明するための図を示す。図７において、カメラ１０１と仮想カメラ２０１とは基準平面１２２の上方の互いに異なる位置にある。仮想カメラ２０１は、仮想撮像領域２０２の範囲内の仮想撮像映像信号を生成する。この仮想撮像領域２０２は、図８に示すように、４つの頂点Ａ（０，０）、Ｂ（０，vv1）、Ｃ（uv2，vv2）、Ｄ（uv3，０）からなる四角形形状である。また、仮想撮像領域２０２は、仮想カメラパラメータが一定である場合、一定範囲の領域である。
【００５１】
図６に示す変換領域指示線生成部１５１は、変換パラメータ演算部１０６から前述した変換行列を取得すると共に、仮想カメラ２０１の画像座標で表される仮想撮像領域２０２を示す４つの頂点Ａ（０，０）、Ｂ（０，vv1）、Ｃ（uv2，vv2）、Ｄ（uv3，０）を取得し、これらに基づいて４つの頂点に対応するカメラ１０１の画像座標で表される４つの頂点Ａ’、Ｂ’、Ｃ’、Ｄ’を求め、更にそれら４つの頂点Ａ’、Ｂ’、Ｃ’、Ｄ’を結ぶ変換領域を示す指示線を生成する。図９は、画像平面１２３上のカメラ１０１の画像座標で表される４つの頂点Ａ’、Ｂ’、Ｃ’、Ｄ’を結ぶ変換領域を示す指示線１６０を示す。
【００５２】
重畳部１５２は、レンズ歪除去部１０２から供給されるレンズ歪が除去されたカメラ１０１の撮像映像信号と、変換領域指示線生成部１５１から供給される変換領域指示線とを重畳して、その重畳信号を映像切替部１５３に供給する。映像切替部１５３は、視点変換部１０３から供給される視点変換後の仮想撮像映像信号と、重畳部１５２から供給される重畳信号とを入力信号として受け、どちらか一方の入力信号を外部からの制御により選択して表示部１０７へ出力する。
【００５３】
これにより、映像切替部１５３が重畳部１５２からの重畳信号を選択した場合は、表示部１０７により表示される画像が、カメラ１０１の撮像画像が図９に示す指示線１６０により４つの頂点Ａ’、Ｂ’、Ｃ’、Ｄ’を結ぶ変換領域内にあるかどうかをユーザが確認することができる。すなわち、ユーザは、表示部１０７により表示される画像中のカメラ１０１の撮像画像が、４つの頂点Ａ’、Ｂ’、Ｃ’、Ｄ’を結ぶ変換領域内にあるとき、その撮像画像が仮想カメラ２０１による表示可能な領域にあると判断することができる。
【符号の説明】
【００５４】
１００、１５０ 視点変換装置
１０１ カメラ
１０２ レンズ歪除去手段
１０３ 視点変換手段
１０４ カメラパラメータ記憶部
１０５ 仮想カメラパラメータ記憶部
１０６ 変換パラメータ演算部
１０７ 表示部
１２２ 基準平面
１２３ カメラの画像平面
１５１ 変換領域指示線生成部
１５２ 重畳部
１５３ 映像切替部
２０１ 仮想カメラ
２０２ 仮想カメラの撮像領域（仮想撮像領域）
【技術分野】
【０００１】
本発明は視点変換装置及び視点変換方法に係り、特に撮像装置により実視点で撮像された撮像映像を任意の仮想視点から見た映像に変換する視点変換を行う視点変換装置及び視点変換方法に関する。
【背景技術】
【０００２】
従来、撮像装置により撮像された実視点の撮像映像を任意の仮想視点から見た映像に視点変換する視点変換装置が知られている（例えば、特許文献１参照）。この視点変換装置においては、カメラで撮像した映像から世界座標への投影映像データを一度生成してメモリに保持し、メモリに保持した世界座標への投影映像データから所定の演算式により任意の視点に設置した仮想カメラの映像を演算生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第００／０７３７３号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の従来の視点変換装置では、一旦、世界座標への投影映像データを生成し、その投影映像データを用いて任意視点の仮想カメラの映像を生成するため、世界座標への投影映像データを保持するためのメモリが必要であることと、変換のための演算処理に時間がかかることが課題である。
【０００５】
本発明は、上記の点に鑑みなされたもので、視点変換のための演算処理時間が短くて済み、また、視点変換途中に映像をメモリに保持する必要の無い視点変換装置及び視点変換方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するため、本発明の視点変換装置は、任意の実視点の位置に設置された撮像装置の特性、位置及び姿勢を含むカメラパラメータを記憶するカメラパラメータ記憶手段と、３次元空間上の任意の仮想視点に配置された仮想撮像装置の特性、位置及び姿勢を含む仮想カメラパラメータを記憶する仮想カメラパラメータ記憶手段と、カメラパラメータと仮想カメラパラメータとに基づいて、仮想視点から見た画像平面上に定めた４つの点を所定の基準平面上に投影し、その基準平面上に投影した４つの点を実視点から見た画像平面上に投影して得られる４つの点の画像座標を求め、その求めた４つの点の画像座標と仮想視点から見た画像平面上に定めた４つの点の画像座標とに基づいて、撮像装置の撮像映像信号を仮想撮像装置の仮想撮像映像信号へ変換するための変換行列を演算する変換パラメータ演算手段と、撮像装置の実視点から見た撮像映像信号に対して、変換行列を用いた視点変換のための演算処理を行って、仮想撮像装置の仮想撮像映像信号を生成する視点変換手段とを有することを特徴とする。
【０００７】
また、上記の目的を達成するため、本発明の視点変換装置は、仮想カメラパラメータから得られる仮想撮像装置の仮想撮像領域の４つの頂点を、撮像装置の実視点から見た画像平面上の画像座標で表される４つの点に変換し、更にその変換後の４つの点を結んだ変換領域を示す指示線を生成する変換領域指示線生成手段と、変換領域指示線生成手段により生成された指示線と、撮像装置の実視点から見た撮像映像信号との重畳信号を生成して出力する重畳手段と、視点変換手段から出力される仮想撮像映像信号と、重畳手段から出力される重畳信号との一方を選択する映像切替手段とを更に有することを特徴とする。
【０００８】
また、上記の目的を達成するため、本発明の視点変換方法は、任意の実視点の位置に設置された撮像装置の特性、位置及び姿勢を含むカメラパラメータと、３次元空間上の任意の仮想視点に配置された仮想撮像装置の特性、位置及び姿勢を含む仮想カメラパラメータとに基づいて、仮想視点から見た画像平面上に定めた４つの点を所定の基準平面上に投影し、その基準平面上に投影した４つの点を実視点から見た画像平面上に投影して得られる４つの点の画像座標を求め、その求めた４つの点の画像座標と仮想視点から見た画像平面上に定めた４つの点の画像座標とに基づいて、撮像装置の撮像映像信号を仮想撮像装置の仮想撮像映像信号へ変換するための変換行列を演算する第１のステップと、撮像装置の実視点から見た撮像映像信号に対して、変換行列を用いた視点変換のための演算処理を行って、仮想撮像装置の仮想撮像映像信号を生成する第２のステップとを含むことを特徴とする。
【０００９】
また、上記の目的を達成するため、本発明の視点変換方法は、仮想カメラパラメータから得られる仮想撮像装置の仮想撮像領域の４つの頂点を、撮像装置の実視点から見た画像平面上の画像座標で表される４つの点に変換し、更にその変換後の４つの点を結んだ変換領域を示す指示線を生成する第３のステップと、第３のステップにより生成された指示線と、撮像装置の実視点から見た撮像映像信号との重畳信号を生成して出力する第４のステップと、第２のステップにより得られる仮想撮像映像信号と、第４のステップにより得られる重畳信号との一方を選択する第５のステップとを更に含むことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮像装置の実視点から見た撮像映像信号から世界座標の映像を生成する必要がないため、従来に比べてメモリ容量を低減でき、また、視点変換の演算処理時間を短縮することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の視点変換装置の第１の実施の形態のブロック図である。
【図２】カメラの映像空間と基準平面の座標系を説明するための図である。
【図３】カメラパラメータの一例を説明するための図である。
【図４】仮想カメラパラメータの一例を説明するための図である。
【図５】本発明の視点変換装置及び視点変換方法の第１の実施の形態の動作を説明するためのフローチャートである。
【図６】本発明の視点変換装置の第３の実施の形態のブロック図である。
【図７】本発明の視点変換装置及び視点変換方法の第３の実施の形態における変換領域を説明するための図である。
【図８】仮想撮像領域の一例を説明するための図である。
【図９】カメラの映像空間とそこに投影された仮想カメラの仮想撮像領域を説明するための図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１３】
（第１の実施の形態）
図１は、本発明になる視点変換装置の第１の実施の形態のブロック図を示す。同図に示すように、第１の実施の形態の視点変換装置１００は、撮像装置であるカメラ１０１により撮像された撮像映像信号に対して、カメラ１０１のレンズ歪みを除去するレンズ歪除去部１０２と、レンズ歪み除去部１０２からの撮像映像信号に対して任意視点の視点変換を行って、その視点変換後の映像信号を表示部１０７へ出力する視点変換部１０３と、カメラパラメータ記憶部１０４と、仮想カメラパラメータ記憶部１０５と、変換パラメータ演算部１０６とより構成される。
【００１４】
ここで、まず、本実施の形態で使用する座標軸について図２と共に説明する。図２は、カメラ１０１の映像空間と基準平面の座標系を説明するための図を示す。図２において、世界座標は、カメラ１０１の光軸の基準平面１２２に投影した方向をＺｗ軸とし、Ｚｗ軸に垂直で、かつ、基準平面１２２上の方向をＸｗ軸とし、基準平面１２２の法線方向をＹｗ軸とする。また、世界座標の原点Ｏｗは、カメラ１０１の主点から下ろした垂線と基準平面１２２の交点とする。
【００１５】
また、カメラ座標は、カメラ１０１をピンホールカメラモデルで近似したときのピンホールを原点Ｏｃとし、カメラ１０１の光軸方向をＺｃ軸とし、Ｚｃ軸に垂直で、かつ、後述の画像座標の縦方向をＹｃ軸とし、Ｚｃ軸及びＹｃ軸にそれぞれ直交する方向をＸｃ軸とする。また、画像座標は、コンピュータに取り込まれるときの座標であり、画像平面１２３の横方向をＵ軸とし、縦方向をＶ軸とする。なお、カメラ１０１は基準平面１２２に対して高さｈだけ上方に位置する。また、画像平面１２３はカメラ１０１の主点から距離ｆ（ｆ：焦点距離）の位置にある。
【００１６】
図１に戻って説明する。カメラパラメータ記憶部１０４は、カメラ１０１の特性、位置、及び姿勢からなるカメラパラメータを予め記憶している。このカメラパラメータは、具体的には、図３に示すように、カメラ１０１の焦点距離ｆとＵ軸方向、Ｖ軸方向の各画素サイズとの積である焦点スケール係数αruとαrv、画像平面（図２の１２３）とカメラ１０１の光軸との交点である主点のＵ軸方向とＶ軸方向の座標ｕr0とｖr0、カメラレンズの半径方向のレンズ歪係数ｋ１，ｋ２、円周方向のレンズ歪係数ｐ１，ｐ２、世界座標で表したカメラ１０１の位置を示すＸｗ座標、Ｙｗ座標、Ｚｗ座標、カメラ１０１の姿勢を表すＸｗ軸まわりの回転角度ηrとＹｗ軸まわりの回転角度φrとからなる。なお、Ｚｗ軸まわりの回転はないものとする。焦点距離スケール係数αru，αrvは、焦点距離を画素単位で表したもので、変換する点を画素単位に変換する。
【００１７】
また、図１の仮想カメラパラメータ記憶部１０５は、３次元空間上の任意の仮想視点に配置された仮想カメラの特性、位置、及び姿勢からなる仮想カメラパラメータを予め記憶している。この仮想カメラパラメータは、具体的には、図４に示すように、仮想カメラの焦点距離とＵ軸方向、Ｖ軸方向の各画素サイズとの積である焦点スケール係数αvuとαvv、画像平面（図２の１２３）と仮想カメラの光軸との交点である主点のＵ軸方向とＶ軸方向の座標ｕv0とｖv0、世界座標で表した仮想カメラの位置を示すＸｗ座標、Ｙｗ座標、Ｚｗ座標、仮想カメラの姿勢を表すＸｗ軸まわりの回転角度ηvとＹｗ軸まわりの回転角度φvとからなる。なお、Ｚｗ軸まわりの回転はないものとする。焦点距離スケール係数αvu，αvuは、焦点距離を画素単位で表したもので、変換する点を画素単位に変換する。
【００１８】
変換パラメータ演算部１０６は、カメラパラメータ記憶部１０４から読み出されたカメラパラメータと、仮想カメラパラメータ記憶部１０５から読み出された仮想カメラパラメータとから、カメラ１０１の図２に示した画像平面１２３上の点ｐrを、仮想カメラの画像座標で表される点ｐvに変換する変換行列(変換パラメータ)を後述する演算式により予め求めておく。
【００１９】
視点変換部１０３は、レンズ歪除去部１０２からの撮像映像信号に対して、変換パラメータ演算部１０６で求められた変換行列を用いて任意視点に視点変換された映像信号を生成して表示部１０７へ出力する。
【００２０】
次に、本実施の形態の動作について、図５のフローチャート等を併せ参照して説明する。
【００２１】
まず、カメラ１０１が実視点での映像撮影を行う（ステップＳ１１）。これにより、カメラ１０１は、実視点から見た撮像映像信号をレンズ歪み除去部１０２へ出力する。続いて、カメラパラメータ記憶部１０４が、カメラパラメータを読み出す（ステップＳ１２）。このカメラパラメータは、図３に示したように、カメラ１０１の特性（焦点距離スケール係数αru，αvu、主点座標ｕr0，ｖr0、レンズ歪係数k1,k2,p1,p2）、カメラ１０１の位置及びカメラ１０１の姿勢を示すパラメータである。
【００２２】
続いて、仮想カメラパラメータ記憶部１０５が、図４に示した仮想カメラパラメータを読み出す（ステップＳ１３）。この仮想カメラパラメータは、図４に示したように、仮想カメラの特性（焦点距離スケール係数αvu，αvv、主点座標ｕv0，ｖv0）、仮想カメラの位置及び仮想カメラの姿勢を示すパラメータである。
【００２３】
次に、レンズ歪除去部１０２は、カメラパラメータ記憶部１０４に記憶されている半径方向のレンズ歪係数ｋ１及びｋ２と、円周方向のレンズ歪係数ｐ１及びｐ２とを使用して、カメラ１０１から供給される撮像映像信号に含まれるレンズ歪を除去する（ステップＳ１４）。レンズ歪の除去された撮像映像信号は視点変換部１０３へ供給される。
【００２４】
続いて、変換パラメータ演算部１０６は、カメラパラメータと仮想カメラパラメータとから、カメラ１０１の図２に示した画像平面１２３上の点ｐrを、仮想カメラの画像座標で表される点ｐvに変換する変換行列(変換パラメータ)を演算する（ステップＳ１５）。
【００２５】
この変換パラメータ演算部１０６による変換行列の演算動作について詳細に説明する。まず、図２に示した基準平面１２２上の点Ｐｗとカメラ１０１のカメラ座標の原点Ｏｃとを結ぶ直線上にあり、かつ、画像平面１２３上にある点をｐrとしたとき、点Ｐｗと点ｐrとの間には次式の関係がある。なお、以下の式において、Ｐｗとｐrは、それらの点の位置を示す座標を示す。
【００２６】
ｓr・ｐr＝Ａr（Ｒr・Ｐw＋Ｔr） （１）
ただし、（１）式中、ｓrは画像座標における距離スケール係数、Ａrはカメラ１０１の内部パラメータ行列、Ｒrはカメラ１０１の回転行列、Ｔrはカメラ１０１の移動行列を示す。上記の（１）式は基準平面１２２上の点Ｐwからカメラ１０１から見た画像座標で表される点ｐrへの投影を表す式である。ここで、距離スケール係数ｓrは変換する点Ｐwと画像平面１２３との距離によって、画像平面１２３上への投影の大きさを調整する係数で、距離が遠ければ小さく、距離が近ければ大きくする。また、上記のカメラ１０１の内部パラメータ行列Ａｒ、カメラ１０１の回転行列Ｒr、カメラ１０１の移動行列Ｔrは次式で表される。
【００２７】
【数１】
（１）式を変形すると、カメラ１０１の画像平面１２３で表される点ｐrから基準平面１２２上の点Ｐwへの投影を表す次式が得られる。
【００２８】
Ｐw＝Ｒr-1・Ａr-1・ｓr・ｐr−Ｒr-1・Ｔr （２）
一方、基準平面１２２上の点Ｐwから仮想カメラから見た画像座標で表される点ｐvへの投影を表す式は（３）式で表される。
【００２９】
ｓv・ｐv＝Ａv（Ｒv・Ｐw＋Ｔv） （３）
ただし、（３）式中、ｓvは画像座標における距離スケール係数、Ａvは仮想カメラの内部パラメータ行列、Ｒvは仮想カメラの回転行列、Ｔvは仮想カメラの移動行列を示す。ここで、距離スケール係数ｓvは変換する点Ｐwと仮想カメラから見た画像平面との距離によって、その画像平面上への投影の大きさを調整する係数で、距離が遠ければ小さく、距離が近ければ大きくする。また、上記の仮想カメラの内部パラメータ行列Ａv、仮想カメラの回転行列Ｒv、仮想カメラの移動行列Ｔvは次式で表される。
【００３０】
【数２】
ここで、（３）式のＰwに（２）式を代入すると、カメラ１０１により実視点で撮像した画像平面１２３上の画像座標で表される点ｐrから、仮想カメラにより仮想視点から見た画像座標で表される点ｐvへの投影を表す次の（４）式が得られる。
【００３１】
ｓv・ｐv＝Ａv・Ｒv・Ｒr-1・Ａr-1・ｓr・ｐr＋Ａv（Ｔv−Ｒv・Ｒr-1・Ｔr） (４)
（４）式中の「Ａv・Ｒv・Ｒr-1・Ａr-1」と「Ａv（Ｔv−Ｒv・Ｒr-1・Ｔr）」とがステップＳ１５で求められる変換行列である。そこで、変換パラメータ演算部１０６は、上記の変換行列「Ａv・Ｒv・Ｒr-1・Ａr-1」と「Ａv（Ｔv−Ｒv・Ｒr-1・Ｔr）」とを予め演算し、この変換行列を視点変換部１０３に供給する。
【００３２】
次に、視点変換部１０３は、レンズ歪除去部１０２によりレンズ歪が除去されたカメラ１０１の撮像映像信号に対して、変換パラメータ演算部１０６から供給される上記の変換行列を用いて（４）式に基づく演算を行って仮想視点から見た仮想撮像映像信号を生成する（ステップＳ１６）。
【００３３】
すなわち、視点変換部１０３は、（４）式の右辺における変換行列は変換パラメータ演算部１０６から取得し、（４）式の右辺におけるｐrの値として、レンズ歪が除去されたカメラ１０１の撮像映像信号の画像座標で表される点ｐrの値を代入し、かつ、距離スケール係数ｓrの値として変換する点Ｐwと画像平面１２３との距離に応じた値を代入することで、（４）式の左辺のｓv・ｐvで表される仮想視点から見た仮想撮像映像信号を生成することができる。このとき、演算されたｓv・ｐvのうち、距離スケール係数ｓvを除算することで、基準平面１２２上の点Ｐwから仮想カメラから見た画像座標で表される点ｐvのみを演算することもできる。
【００３４】
そして、表示部１０７は、この仮想視点から見た仮想撮像映像信号（すなわち、仮想カメラの映像）を表示する（ステップＳ１７）。以降、ステップＳ１１に戻り、ステップＳ１１〜Ｓ１７の処理を繰り返す。
【００３５】
なお、ステップＳ１６における（４）式の演算において、仮想カメラの画像座標がある点において、カメラ１０１の画像座標で表される点ｐrから仮想カメラの画像座標に変換された点ｐvが存在しない場合は、周辺の存在する点から補間する。
【００３６】
このように、本実施の形態の視点変換装置１００によれば、視点変換部１０３が実視点から見た撮像映像信号に対して、変換パラメータ演算部１０６により演算された変換行列を用いて（４）式の演算を行うことで仮想視点から見た仮想撮像映像信号を生成するようにしたため、基準平面１２２上の世界座標の点Ｐwの映像の算出が不要である。一方、従来の視点変換装置では実視点から見た撮像映像信号に対して世界座標上の映像を画素単位で一度生成してメモリに記憶しておき、そのメモリから読み出した世界座標上の映像から仮想カメラの映像を生成していた。
【００３７】
従って、本実施の形態の視点変換装置１００によれば、世界座標の点Ｐwの映像の算出が不要であるため、従来の視点変換装置で必要であった世界座標の点Ｐwの映像を記憶するための大容量のメモリが不要であり、その結果、メモリ容量が低減でき、かつ、視点変換のための演算処理時間を短縮することができる。
【００３８】
（第２の実施の形態）
次に、本発明の視点変換装置及び視点変換方法の第２の実施の形態について説明する。
【００３９】
本実施の形態の視点変換装置の全体構成は、図１のブロック図に示した第１の実施の形態の視点変換装置１００と同様構成である。第２の実施の形態の視点変換装置は、第１の実施の形態の視点変換装置１００と比較し、変換パラメータ演算部１０６における変換行列の演算方法が異なる。
【００４０】
第２の実施の形態の視点変換装置の変換パラメータ演算部１０６においては、仮想カメラの画像座標で表される相異なる４つの点ｐv0，ｐv1，ｐv2，ｐv3から、それぞれの点に対応する実視点のカメラ１０１の画像座標で表される４つの点ｐr0，ｐr1，ｐr2，ｐr3を求め、それら４つの点ｐr0，ｐr1，ｐr2，ｐr3に基づいて、カメラ１０１の画像座標で表される点ｐrから仮想カメラの画像座標で表される点ｐvへの変換行列を求める。なお、仮想カメラの画像座標で表される上記の４つの点の内の１つは、仮想カメラの画像座標の原点を含んでもよい。
【００４１】
次に、第２の実施の形態の視点変換装置の変換パラメータ演算部１０６における変換行列生成方法について詳細に説明する。仮想カメラの画像座標で表される点ｐvから、基準平面１２２上の点Ｐwへの投影を表す式は、前記（３）式を変形することにより（５）式のように表すことができる。
【００４２】
Ｐw＝Ｒv-1・Ａv-1・ｓv・ｐv−Ｒv-1・Ｔv （５）
この（５）式と前記（１）式とにより、基準平面１２２上に投影した点Ｐwを、実視点から見た画像平面上に投影して得られるカメラ１０１の画像座標で表される点ｐrを求めることができる。
【００４３】
ここで、一般的に、ある平面上の点（ｕr，ｖr）から別の平面上の点（ｕv，ｖv）への投影を表す式は、以下の（６）式に示すように３行３列の変換行列を用いて表すことができる。
【００４４】
【数３】
ただし、（６）式中、ｗは距離スケール係数である。（６）式の行列を分解して整理すると（７ａ）式及び（７ｂ）式が得られる。
【００４５】
【数４】
（６）式中の３行３列の変換行列の未知の要素はＣ00〜Ｃ21の８個であるため、仮想カメラの画像座標で表される相異なる４つの点ｐv0，ｐv1，ｐv2，ｐv3から、それぞれの点に対応するカメラ１０１の画像座標で表される４つの点ｐr0，ｐr1，ｐr2，ｐr3を（５）式及び（１）式から求めることによって、（６）式中の３行３列の変換行列の要素Ｃ00〜Ｃ21を求めることが可能である。
【００４６】
そして、図１の視点変換部１０３は、変換パラメータ演算部１０６から（６）式中の３行３列の変換行列を取得すると共に、ｕr，ｖrの値として、レンズ歪が除去されたカメラ１０１の撮像映像信号の画像座標で表される点ｐrの画像座標における値を（７ａ）式及び（７ｂ）式に代入することで、（７ａ）式及び（７ｂ）式の左辺のｕv，ｖvで表される仮想視点から見た画像座標上の点の仮想撮像映像信号を生成することができる。これにより、本実施の形態も第１の実施の形態と同様の特長を有することができる。
【００４７】
（第３の実施の形態）
次に、本発明の視点変換装置及び視点変換方法の第３の実施の形態について説明する。
【００４８】
図６は、本発明になる視点変換装置の第３の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。本実施の形態の視点変換装置１５０は、第１及び第２の実施の形態の視点変換装置に、変換領域指示線生成部１５１、重畳部１５２及び映像切替部１５３を追加した構成である。
【００４９】
変換領域指示線生成部１５１は、仮想カメラの撮像領域の４つの頂点を、カメラ１０１の映像へ投影したカメラ１０１の画像座標における４つの頂点を結んだ変換領域を示す指示線を生成する。重畳部１５２は、レンズ歪除去部１０２からのカメラ１０１の撮像映像信号と、変換領域指示線生成部１５１からの変換領域指示線とを重畳した信号を生成する。映像切替部１５３は、カメラ１０１の撮像領域が仮想カメラの撮像領域内にあるかどうかを確認する場合に重畳部１５２からの重畳信号を選択し、それ以外の場合は視点変換部１０３からの視点変換後の映像信号を選択する。
【００５０】
次に、本実施の形態の動作について図６〜図９を併せ参照して説明する。図７は、本実施の形態における変換領域を説明するための図を示す。図７において、カメラ１０１と仮想カメラ２０１とは基準平面１２２の上方の互いに異なる位置にある。仮想カメラ２０１は、仮想撮像領域２０２の範囲内の仮想撮像映像信号を生成する。この仮想撮像領域２０２は、図８に示すように、４つの頂点Ａ（０，０）、Ｂ（０，vv1）、Ｃ（uv2，vv2）、Ｄ（uv3，０）からなる四角形形状である。また、仮想撮像領域２０２は、仮想カメラパラメータが一定である場合、一定範囲の領域である。
【００５１】
図６に示す変換領域指示線生成部１５１は、変換パラメータ演算部１０６から前述した変換行列を取得すると共に、仮想カメラ２０１の画像座標で表される仮想撮像領域２０２を示す４つの頂点Ａ（０，０）、Ｂ（０，vv1）、Ｃ（uv2，vv2）、Ｄ（uv3，０）を取得し、これらに基づいて４つの頂点に対応するカメラ１０１の画像座標で表される４つの頂点Ａ’、Ｂ’、Ｃ’、Ｄ’を求め、更にそれら４つの頂点Ａ’、Ｂ’、Ｃ’、Ｄ’を結ぶ変換領域を示す指示線を生成する。図９は、画像平面１２３上のカメラ１０１の画像座標で表される４つの頂点Ａ’、Ｂ’、Ｃ’、Ｄ’を結ぶ変換領域を示す指示線１６０を示す。
【００５２】
重畳部１５２は、レンズ歪除去部１０２から供給されるレンズ歪が除去されたカメラ１０１の撮像映像信号と、変換領域指示線生成部１５１から供給される変換領域指示線とを重畳して、その重畳信号を映像切替部１５３に供給する。映像切替部１５３は、視点変換部１０３から供給される視点変換後の仮想撮像映像信号と、重畳部１５２から供給される重畳信号とを入力信号として受け、どちらか一方の入力信号を外部からの制御により選択して表示部１０７へ出力する。
【００５３】
これにより、映像切替部１５３が重畳部１５２からの重畳信号を選択した場合は、表示部１０７により表示される画像が、カメラ１０１の撮像画像が図９に示す指示線１６０により４つの頂点Ａ’、Ｂ’、Ｃ’、Ｄ’を結ぶ変換領域内にあるかどうかをユーザが確認することができる。すなわち、ユーザは、表示部１０７により表示される画像中のカメラ１０１の撮像画像が、４つの頂点Ａ’、Ｂ’、Ｃ’、Ｄ’を結ぶ変換領域内にあるとき、その撮像画像が仮想カメラ２０１による表示可能な領域にあると判断することができる。
【符号の説明】
【００５４】
１００、１５０ 視点変換装置
１０１ カメラ
１０２ レンズ歪除去手段
１０３ 視点変換手段
１０４ カメラパラメータ記憶部
１０５ 仮想カメラパラメータ記憶部
１０６ 変換パラメータ演算部
１０７ 表示部
１２２ 基準平面
１２３ カメラの画像平面
１５１ 変換領域指示線生成部
１５２ 重畳部
１５３ 映像切替部
２０１ 仮想カメラ
２０２ 仮想カメラの撮像領域（仮想撮像領域）
【特許請求の範囲】
【請求項１】
任意の実視点の位置に設置された撮像装置の特性、位置及び姿勢を含むカメラパラメータを記憶するカメラパラメータ記憶手段と、
３次元空間上の任意の仮想視点に配置された仮想撮像装置の特性、位置及び姿勢を含む仮想カメラパラメータを記憶する仮想カメラパラメータ記憶手段と、
前記カメラパラメータと前記仮想カメラパラメータとに基づいて、前記仮想視点から見た画像平面上に定めた４つの点を所定の基準平面上に投影し、その基準平面上に投影した４つの点を前記実視点から見た画像平面上に投影して得られる４つの点の画像座標を求め、その求めた４つの点の画像座標と前記仮想視点から見た画像平面上に定めた前記４つの点の画像座標とに基づいて、前記撮像装置の撮像映像信号を前記仮想撮像装置の仮想撮像映像信号へ変換するための変換行列を演算する変換パラメータ演算手段と、
前記撮像装置の前記実視点から見た撮像映像信号に対して、前記変換行列を用いた視点変換のための演算処理を行って、前記仮想撮像装置の仮想撮像映像信号を生成する視点変換手段と
を有することを特徴とする視点変換装置。
【請求項２】
前記仮想カメラパラメータから得られる前記仮想撮像装置の仮想撮像領域の４つの頂点を、前記撮像装置の実視点から見た画像平面上の画像座標で表される４つの点に変換し、更にその変換後の４つの点を結んだ変換領域を示す指示線を生成する変換領域指示線生成手段と、
前記変換領域指示線生成手段により生成された前記指示線と、前記撮像装置の前記実視点から見た撮像映像信号との重畳信号を生成して出力する重畳手段と、
前記視点変換手段から出力される前記仮想撮像映像信号と、前記重畳手段から出力される前記重畳信号との一方を選択する映像切替手段と
を更に有することを特徴とする請求項１記載の視点変換装置。
【請求項３】
任意の実視点の位置に設置された撮像装置の特性、位置及び姿勢を含むカメラパラメータと、３次元空間上の任意の仮想視点に配置された仮想撮像装置の特性、位置及び姿勢を含む仮想カメラパラメータとに基づいて、前記仮想視点から見た画像平面上に定めた４つの点を所定の基準平面上に投影し、その基準平面上に投影した４つの点を前記実視点から見た画像平面上に投影して得られる４つの点の画像座標を求め、その求めた４つの点の画像座標と前記仮想視点から見た画像平面上に定めた前記４つの点の画像座標とに基づいて、前記撮像装置の撮像映像信号を前記仮想撮像装置の仮想撮像映像信号へ変換するための変換行列を演算する第１のステップと、
前記撮像装置の前記実視点から見た撮像映像信号に対して、前記変換行列を用いた視点変換のための演算処理を行って、前記仮想撮像装置の仮想撮像映像信号を生成する第２のステップと
を含むことを特徴とする視点変換方法。
【請求項４】
前記仮想カメラパラメータから得られる前記仮想撮像装置の仮想撮像領域の４つの頂点を、前記撮像装置の実視点から見た画像平面上の画像座標で表される４つの点に変換し、更にその変換後の４つの点を結んだ変換領域を示す指示線を生成する第３のステップと、
前記第３のステップにより生成された前記指示線と、前記撮像装置の前記実視点から見た撮像映像信号との重畳信号を生成して出力する第４のステップと、
前記第２のステップにより得られる前記仮想撮像映像信号と、前記第４のステップにより得られる前記重畳信号との一方を選択する第５のステップと
を更に含むことを特徴とする請求項３記載の視点変換方法。
【請求項１】
任意の実視点の位置に設置された撮像装置の特性、位置及び姿勢を含むカメラパラメータを記憶するカメラパラメータ記憶手段と、
３次元空間上の任意の仮想視点に配置された仮想撮像装置の特性、位置及び姿勢を含む仮想カメラパラメータを記憶する仮想カメラパラメータ記憶手段と、
前記カメラパラメータと前記仮想カメラパラメータとに基づいて、前記仮想視点から見た画像平面上に定めた４つの点を所定の基準平面上に投影し、その基準平面上に投影した４つの点を前記実視点から見た画像平面上に投影して得られる４つの点の画像座標を求め、その求めた４つの点の画像座標と前記仮想視点から見た画像平面上に定めた前記４つの点の画像座標とに基づいて、前記撮像装置の撮像映像信号を前記仮想撮像装置の仮想撮像映像信号へ変換するための変換行列を演算する変換パラメータ演算手段と、
前記撮像装置の前記実視点から見た撮像映像信号に対して、前記変換行列を用いた視点変換のための演算処理を行って、前記仮想撮像装置の仮想撮像映像信号を生成する視点変換手段と
を有することを特徴とする視点変換装置。
【請求項２】
前記仮想カメラパラメータから得られる前記仮想撮像装置の仮想撮像領域の４つの頂点を、前記撮像装置の実視点から見た画像平面上の画像座標で表される４つの点に変換し、更にその変換後の４つの点を結んだ変換領域を示す指示線を生成する変換領域指示線生成手段と、
前記変換領域指示線生成手段により生成された前記指示線と、前記撮像装置の前記実視点から見た撮像映像信号との重畳信号を生成して出力する重畳手段と、
前記視点変換手段から出力される前記仮想撮像映像信号と、前記重畳手段から出力される前記重畳信号との一方を選択する映像切替手段と
を更に有することを特徴とする請求項１記載の視点変換装置。
【請求項３】
任意の実視点の位置に設置された撮像装置の特性、位置及び姿勢を含むカメラパラメータと、３次元空間上の任意の仮想視点に配置された仮想撮像装置の特性、位置及び姿勢を含む仮想カメラパラメータとに基づいて、前記仮想視点から見た画像平面上に定めた４つの点を所定の基準平面上に投影し、その基準平面上に投影した４つの点を前記実視点から見た画像平面上に投影して得られる４つの点の画像座標を求め、その求めた４つの点の画像座標と前記仮想視点から見た画像平面上に定めた前記４つの点の画像座標とに基づいて、前記撮像装置の撮像映像信号を前記仮想撮像装置の仮想撮像映像信号へ変換するための変換行列を演算する第１のステップと、
前記撮像装置の前記実視点から見た撮像映像信号に対して、前記変換行列を用いた視点変換のための演算処理を行って、前記仮想撮像装置の仮想撮像映像信号を生成する第２のステップと
を含むことを特徴とする視点変換方法。
【請求項４】
前記仮想カメラパラメータから得られる前記仮想撮像装置の仮想撮像領域の４つの頂点を、前記撮像装置の実視点から見た画像平面上の画像座標で表される４つの点に変換し、更にその変換後の４つの点を結んだ変換領域を示す指示線を生成する第３のステップと、
前記第３のステップにより生成された前記指示線と、前記撮像装置の前記実視点から見た撮像映像信号との重畳信号を生成して出力する第４のステップと、
前記第２のステップにより得られる前記仮想撮像映像信号と、前記第４のステップにより得られる前記重畳信号との一方を選択する第５のステップと
を更に含むことを特徴とする請求項３記載の視点変換方法。
【図１】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図２】
【図７】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図２】
【図７】
【公開番号】特開２０１１−２４８６３０（Ｐ２０１１−２４８６３０Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１２１２２４（Ｐ２０１０−１２１２２４）
【出願日】平成２２年５月２７日（２０１０．５．２７）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月２７日（２０１０．５．２７）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]