表示装置、撮像装置、および映像表示システム
【課題】複数の撮像装置が異なる被写体を撮像している場合に、各被写体が存在する位置を視覚的に認識しやすくすることができる表示装置、撮像装置、および映像表示システムを提供する。
【解決手段】被写体の映像信号、撮像位置を表す撮像位置情報、および撮像方向を表す撮像方向情報を対応付けて記憶する記憶部と、被写体の映像を表示する表示部と、表示部が映像を表示するときの表示方向を表す表示方向情報を取得する表示姿勢情報取得部と、撮像位置情報に基づいて複数の撮像位置の立体空間における相対的な位置関係を演算するとともに、撮像方向情報と表示方向情報とに基づいて複数の撮像方向それぞれの表示部の表示方向に対する相対的な方向関係を演算する演算部と、複数の映像信号の映像を表示部に表示するとき、相対的な方向関係に応じて回転させた回転映像を、表示部の表示領域内で相対的な位置関係を維持した位置に表示させる制御部と、を備える。
【解決手段】被写体の映像信号、撮像位置を表す撮像位置情報、および撮像方向を表す撮像方向情報を対応付けて記憶する記憶部と、被写体の映像を表示する表示部と、表示部が映像を表示するときの表示方向を表す表示方向情報を取得する表示姿勢情報取得部と、撮像位置情報に基づいて複数の撮像位置の立体空間における相対的な位置関係を演算するとともに、撮像方向情報と表示方向情報とに基づいて複数の撮像方向それぞれの表示部の表示方向に対する相対的な方向関係を演算する演算部と、複数の映像信号の映像を表示部に表示するとき、相対的な方向関係に応じて回転させた回転映像を、表示部の表示領域内で相対的な位置関係を維持した位置に表示させる制御部と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置、撮像装置、および映像表示システムに関する。
【背景技術】
【0002】
従来から、電子カメラなどの撮像装置を利用したシステムが提案されている。例えば、特許文献1には、撮像装置を車両に搭載し、他車両に搭載された撮像装置が撮影した被写体の映像を、自車両の利用者が利用しやすいように表示する車両用視覚支援システムの技術が開示されている。
【0003】
特許文献1で開示された技術では、自車両の位置情報を他車両に送信すると共に、他車両に搭載された撮像装置によって撮影された映像および他車両の位置情報を、自車両が受信する。また、自車両では、自車両に搭載された表示装置に映像を表示する際の視点を予め設定し、自車両の位置情報、他車両の位置情報、および他車両に搭載された撮像装置の設置情報に基づいて、設定した表示の視点に対する他車両が撮影する視点の相対的な位置を算出する。そして、算出した相対的な位置の情報に基づいて、他車両から受信した映像を、予め設定した表示の視点の映像に変換し、自車両に搭載された表示装置に表示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2002−367080号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に開示された技術を利用することによって、特定の被写体が映っている複数の映像を、映像を撮影(送信)した撮像装置の位置情報に基づいて表示することが可能となる。すなわち、特許文献1に開示された技術は、被写体が特定されている場合において、その特定の被写体の位置を認識しやすくする技術である。
【0006】
しかしながら、複数の撮像装置を利用したシステムでは、それぞれの撮像装置が、常に特定の被写体を映しているとは限らない。そのため、複数の撮像装置が、それぞれ別の被写体を撮影している場合においては、特許文献1に開示された撮像装置の位置情報のみに基づいて映像を表示する技術では、全ての被写体の位置を、視覚的に認識しやくすることはできないという問題がある。
【0007】
本発明は、上記の課題認識に基づいてなされたものであり、複数の撮像装置が異なる被写体を撮像している場合において、それぞれの撮像装置が撮像している各被写体が存在する位置を、視覚的に認識しやすくすることができる表示装置、撮像装置、および映像表示システムを提供することを目的としている。
【課題を解決するための手段】
【0008】
上記の課題を解決するため、本発明の表示装置は、被写体の映像信号、前記被写体を撮像するときの撮像位置を表す撮像位置情報、および前記被写体を撮像するときの撮像方向を表す撮像方向情報を対応付けて記憶する記憶部と、前記被写体の映像を表示する表示部と、前記表示部が前記被写体の映像を表示するときの表示方向を表す表示方向情報を取得する表示姿勢情報取得部と、前記記憶部に記憶されている前記撮像位置情報に基づいて、複数の前記撮像位置の立体空間における相対的な位置関係を演算するとともに、前記記憶部に記憶されている前記撮像方向情報と、前記表示姿勢情報取得部で取得される前記表示方向情報とに基づいて、複数の前記撮像方向それぞれの前記表示部の前記表示方向に対する相対的な方向関係を演算する演算部と、前記記憶部に記憶されている複数の前記映像信号それぞれに対応する前記被写体の映像を前記表示部に表示するとき、前記記憶部に記憶されている前記映像信号に対応する前記被写体の映像を前記演算部で演算された前記相対的な方向関係に応じて回転させた回転映像を、前記表示部に表示される複数の前記被写体の映像それぞれが前記表示部の表示領域内で前記相対的な位置関係を維持した位置に表示させる制御部と、を備えることを特徴とする。
【0009】
また、本発明の表示装置は、前記被写体の映像信号、前記撮像位置情報、および前記撮像方向情報を、前記被写体を撮像した撮像端末から取得するデータ通信部、をさらに備え、前記記憶部は、前記データ通信部で取得された前記映像信号、前記撮像位置情報、および前記撮像方向情報を記憶する、ことを特徴とする。
【0010】
また、本発明の表示装置の前記演算部は、前記記憶部に記憶されている複数の前記映像信号の内、1つの映像信号に対応付けられた前記撮像位置情報を基準として、前記相対的な位置関係を演算する、ことを特徴とする。
【0011】
また、本発明の表示装置において、前記データ通信部で取得される前記撮像方向情報は、方位の情報と仰俯角の情報とを含み、前記演算部は、前記方位の情報と前記仰俯角の情報とに基づいて、前記相対的な方向関係を演算する、ことを特徴とする。
【0012】
また、本発明の表示装置の前記制御部は、前記表示方向と垂直に交わる面を前記表示領域の面とし、該表示領域の面上に前記相対的な位置関係を投影した位置に、前記回転映像を表示させる、ことを特徴とする。
【0013】
また、本発明の表示装置の前記データ通信部は、無線通信で前記映像信号、前記撮像位置情報、および前記撮像方向情報を取得する、ことを特徴とする。
【0014】
また、本発明の表示装置は、前記表示部が前記被写体の映像を表示するときの表示位置を表す表示装置位置情報を取得する表示位置情報取得部、をさらに備え、前記演算部は、前記表示位置情報取得部で取得された表示装置位置情報と、前記記憶部に記憶されている前記撮像位置情報とに基づいて、前記表示位置を基準とした、前記相対的な位置関係を演算する、ことを特徴とする。
【0015】
また、本発明の表示装置の前記制御部は、前記表示領域内の中央の位置に、基準とする1つの前記回転映像を表示させ、他の前記回転映像を、前記基準とした1つの前記回転映像との前記相対的な位置関係を維持した位置に表示させる、ことを特徴とする。
【0016】
また、本発明の表示装置は、前記被写体を撮像し、前記映像信号を出力する撮像部と、前記撮像部が前記被写体を撮像するときの撮像位置を表す撮像位置情報を取得する撮像位置情報取得部と、前記撮像部が前記被写体を撮像するときの撮像方向を表す撮像方向情報を取得する撮像姿勢情報取得部と、をさらに備え、前記記憶部は、前記撮像部から出力された映像信号を、前記撮像位置情報取得部で取得された前記撮像位置情報および前記撮像姿勢情報取得部で取得された前記撮像方向情報と対応付けて記憶する、ことを特徴とする。
【0017】
また、本発明の表示装置の前記制御部は、前記表示領域内の中央の位置に、前記撮像部が撮像した前記被写体の映像に対応する回転映像を表示させる、ことを特徴とする。
【0018】
また、本発明の表示装置の前記データ通信部は、前記撮像部から出力された映像信号、前記撮像位置情報取得部で取得された前記撮像位置情報、および前記撮像姿勢情報取得部で取得された前記撮像方向情報を外部の端末に送出する、ことを特徴とする。
【0019】
また、本発明の撮像装置は、被写体の映像信号、前記被写体を撮像するときの撮像位置を表す撮像位置情報、および前記被写体を撮像するときの撮像方向を表す撮像方向情報を対応付けて記憶する記憶部と、前記被写体の映像を表示する表示部と、前記表示部が前記被写体の映像を表示するときの表示方向を表す表示方向情報を取得する表示姿勢情報取得部と、前記記憶部に記憶されている前記撮像位置情報に基づいて、複数の前記撮像位置の立体空間における相対的な位置関係を演算するとともに、前記記憶部に記憶されている前記撮像方向情報と、前記表示姿勢情報取得部で取得される前記表示方向情報とに基づいて、複数の前記撮像方向それぞれの前記表示部の前記表示方向に対する相対的な方向関係を演算する演算部と、前記記憶部に記憶されている複数の前記映像信号それぞれに対応する前記被写体の映像を前記表示部に表示するとき、前記記憶部に記憶されている前記映像信号に対応する前記被写体の映像を前記演算部で演算された前記相対的な方向関係に応じて回転させた回転映像を、前記表示部に表示される複数の前記被写体の映像それぞれが前記表示部の表示領域内で前記相対的な位置関係を維持した位置に表示させる制御部と、を備える装置を、表示装置と定義するとき、被写体を撮像し、前記被写体の映像信号を出力する撮像部と、前記撮像部が前記被写体を撮像するときの撮像位置を表す撮像位置情報を取得する撮像位置情報取得部と、前記撮像部が前記被写体を撮像するときの撮像方向を表す撮像方向情報を取得する撮像姿勢情報取得部と、前記撮像部から出力される前記映像信号、前記撮像位置情報取得部で取得される前記撮像位置情報、および前記撮像姿勢情報取得部で取得される前記撮像方向情報を、前記表示装置に送出するデータ通信部と、を備えることを特徴とする。
【0020】
また、本発明の撮像装置の前記データ通信部は、前記映像信号、前記撮像位置情報、および前記撮像方向情報を、無線通信で前記表示装置に送出する、ことを特徴とする。
【0021】
また、本発明の映像表示システムは、被写体の映像を表示する映像表示システムであって、前記被写体を撮像し、前記被写体に対応する映像信号を出力する複数の撮像部と、前記撮像部が前記被写体を撮像するときの撮像位置を表す撮像位置情報を取得する撮像位置情報取得部と、前記撮像部が前記被写体を撮像するときの撮像方向を表す撮像方向情報を取得する撮像姿勢情報取得部と、前記被写体の映像を表示する表示部と、前記表示部が前記被写体の映像を表示するときの表示方向を表す表示方向情報を取得する表示姿勢情報取得部と、前記撮像部から出力される前記映像信号、前記位置情報取得部で取得される前記撮像位置情報及び前記撮像姿勢情報取得部で取得される前記撮像方向情報を対応付けて記憶する記憶部と、前記記憶部に記憶されている前記撮像位置情報に基づいて、複数の前記撮像位置の立体空間における相対的な位置関係を演算するとともに、前記記憶部に記憶されている前記撮像方向情報と、前記表示姿勢情報取得部で取得される前記表示方向情報とに基づいて、複数の前記撮像方向それぞれの前記表示部の前記表示方向に対する相対的な方向関係を演算する演算部と、前記記憶部に記憶されている複数の前記映像信号それぞれに対応する前記被写体の映像を前記表示部に表示するとき、前記記憶部に記憶されている前記映像信号に対応する前記被写体の映像を前記演算部で演算された前記相対的な方向関係に応じて回転させた回転映像を、前記表示部に表示される複数の前記被写体の映像それぞれが前記表示部の表示領域内で前記相対的な位置関係を維持した位置に、表示させる制御部と、を備えることを特徴とする。
【0022】
また、本発明の映像表示システムは、前記撮像部、前記撮像位置情報取得部、および前記撮像姿勢情報取得部、を具備する複数の撮像端末と、前記表示部、前記表示姿勢情報取得部、前記記憶部、前記演算部、および前記制御部、を具備する表示端末と、から構成される、ことを特徴とする。
【0023】
また、本発明の映像表示システムの前記撮像端末は、前記表示部、前記表示姿勢情報取得部、前記記憶部、前記演算部、および前記制御部、をさらに具備する、ことを特徴とする。
【0024】
また、本発明の映像表示システムの前記表示端末は、前記撮像部、前記撮像位置情報取得部、および前記撮像姿勢情報取得部、をさらに具備する、ことを特徴とする。
【発明の効果】
【0025】
本発明によれば、複数の撮像装置が異なる被写体を撮像している場合において、それぞれの撮像装置が撮像している各被写体が存在する位置を、視覚的に認識しやすくすることができるという効果が得られる。
【図面の簡単な説明】
【0026】
【図1】本発明の第1の実施形態における映像表示システムの概略構成を示した図である。
【図2】本第1の実施形態の映像表示システムにおける撮像装置の概略構成を示したブロック図である。
【図3】本第1の実施形態の映像表示システムの撮像装置におけるデータ送出処理の手順を示したフローチャートである。
【図4】本第1の実施形態の映像表示システムにおける表示装置の概略構成を示したブロック図である。
【図5】本第1の実施形態の映像表示システムの表示装置における表示処理の手順を示したフローチャートである。
【図6】本第1の実施形態の映像表示システムの表示装置における相対位置の演算方法の一例を説明する図である。
【図7】本第1の実施形態の映像表示システムの表示装置における相対方向の演算方法の一例を説明する図である。
【図8】本第1の実施形態の映像表示システムの表示装置におけるリアルタイム映像の表示方法の一例を説明する図である。
【図9】本発明の第2の実施形態における映像表示システムの概略構成を示した図である。
【図10】本第2の実施形態の映像表示システムにおける撮像装置の概略構成を示したブロック図である。
【図11】本第2の実施形態の映像表示システムにおける表示装置の概略構成を示したブロック図である。
【図12】本発明の第3の実施形態の映像表示システムにおける表示装置の概略構成を示したブロック図である。
【図13】本第3の実施形態の映像表示システムの表示装置における相対位置の演算方法の一例を説明する図である。
【図14】本発明の第4の実施形態における映像表示システムの概略構成を示した図である。
【図15】本第4の実施形態の映像表示システムにおける表示装置の概略構成を示したブロック図である。
【図16】本発明の第5の実施形態の映像表示システムにおける情報端末の概略構成を示したブロック図である。
【発明を実施するための形態】
【0027】
<第1の実施形態>
以下、本発明の実施形態について、図面を参照して説明する。図1は、本第1の実施形態における映像表示システムの概略構成を示した図である。図1には、複数の撮像装置のそれぞれから送出されるリアルタイム映像(被写体の映像信号)と、位置情報および姿勢情報と、表示装置の姿勢情報とに基づいて、表示装置に備えた表示部に、それぞれの撮像装置から送出されたリアルタイム映像を表示する映像表示システムの一例を示している。
【0028】
なお、ここで、「リアルタイム映像」とは、撮像装置に備えた撮像部によって撮像された映像であり、表示装置に備えた表示部に表示するために、順次送出される映像のことをいうものとする。また、撮像装置の姿勢情報とは、少なくとも、撮像装置が向いている(撮影している)方向と仰俯角とを表す情報を含んだ情報のことをいい、表示装置の姿勢情報とは、少なくとも、表示装置が向いている(表示している)方向と仰俯角とを表す情報を含む情報のことをいうものとする。
【0029】
図1に示した映像表示システム1は、撮像装置110および120(以下、全ての撮像装置まとめて表すときには、「撮像装置100」という)と、表示装置200とから構成される。映像表示システム1において、撮像装置110および120は、それぞれ、表示装置200と有線で接続されている。
【0030】
映像表示システム1では、表示装置200が、撮像装置110と撮像装置120とのそれぞれから送出されるリアルタイム映像と、位置情報および姿勢情報とを取得する。その後、表示装置200は、撮像装置110と撮像装置120とのそれぞれの位置情報および姿勢情報と、表示装置200自体の姿勢情報とに基づいて、撮像装置110と撮像装置120との相対位置を演算する。また、表示装置200は、撮像装置110が撮影している方向(以下、「撮像方向」という)を基準とした、撮像装置120の相対方向を演算する。そして、表示装置200は、演算した相対位置および相対方向に基づいて、撮像装置110と撮像装置120とのそれぞれから取得したリアルタイム映像を同時に、表示装置200に備えた表示部201に表示する。
【0031】
図1に示した映像表示システム1では、撮像装置110から取得したリアルタイム映像1を表示部201の表示領域211に、撮像装置120から取得したリアルタイム映像2を表示部201の表示領域221に、それぞれ表示している様子を示している。なお、表示装置200における相対位置および相対方向の演算方法と、リアルタイム映像の表示部201への表示方法に関する詳細な説明は、後述する。
【0032】
次に、映像表示システム1の構成要素である撮像装置について説明する。なお、本第1の実施形態の映像表示システム1においては、撮像装置110と撮像装置120とは、それぞれ同様の構成である。従って、以下の説明においては、撮像装置110について説明するが、撮像装置120についても同様である。
【0033】
図2は、本第1の実施形態の映像表示システム1における撮像装置110の概略構成を示したブロック図である。図2に示したように、撮像装置110は、撮像部111と、撮像位置情報取得部112と、撮像姿勢情報取得部113と、記憶部114と、制御部115と、データ通信部116と、を備えている。
【0034】
制御部115は、撮像装置110の構成要素の動作、すなわち、撮像装置110の全体の動作を制御する。
撮像部111は、例えば、被写体を撮影するイメージャを備え、制御部115からの制御に応じて、リアルタイム映像を撮像し、撮像したリアルタイム映像を、記憶部114に出力する。
【0035】
撮像位置情報取得部112は、制御部115からの制御に応じて、撮像装置110が設置されている位置、すなわち撮像位置を検出し、検出した撮像装置110の位置を表す撮像位置情報を、記憶部114に出力する。
なお、撮像位置情報取得部112が検出する撮像位置情報は、撮像装置110の設置されている絶対位置を示す情報であり、経度と、緯度と、高度とを少なくとも含む情報である。また、撮像位置情報取得部112は、例えば、GPSセンサを備えた構成にすることが可能であり、撮像位置情報は、GPSセンサによって検出した経度と、緯度と、高度とを少なくとも含む情報であってもよい。
【0036】
撮像姿勢情報取得部113は、制御部115からの制御に応じて、撮像装置110が撮像する姿勢、すなわち撮像方向を検出し、検出した撮像装置110の姿勢を表す撮像方向情報を、記憶部114に出力する。
なお、撮像姿勢情報取得部113が検出する撮像方向情報は、北の方位を基準とした場合における撮像装置110の光軸が向いている方位を示す撮像方位情報と、地表と水平な平面を基準とした場合における撮像装置110の光軸の仰俯角を示す撮像仰俯角情報とを少なくとも含む情報である。また、撮像姿勢情報取得部113は、例えば、地磁気センサと加速度センサとを備えた構成にすることが可能であり、撮像方向情報は、地磁気センサによって検出した撮像方位情報と、加速度センサによって検出した撮像仰俯角情報とを少なくとも含む情報であってもよい。
【0037】
記憶部114は、撮像部111から出力されたリアルタイム映像と、撮像位置情報取得部112から出力された撮像位置情報と、撮像姿勢情報取得部113から出力された撮像方向情報とを、それぞれ関連付けて記憶する。
データ通信部116は、制御部115からの制御に応じて、記憶部114に記憶されているリアルタイム映像と、撮像位置情報と、撮像方向情報とを、表示装置200に送出する。
【0038】
次に、映像表示システム1における撮像装置110の動作について説明する。なお、以下の説明においては、撮像装置110の動作について説明するが、撮像装置120の動作についても同様である。図3は、本第1の実施形態の映像表示システム1の撮像装置110におけるデータ送出処理の手順を示したフローチャートである。
【0039】
制御部115は、撮像装置110にデータ送出処理を開始させる命令(データ送出処理開始命令)を受け付けると、データ送出処理を開始する。ここで、データ送出処理開始命令は、撮像装置110の電源の投入をトリガとして発行される命令である。データ送出処理が開始されると、制御部115は、撮像部111のリアルタイム映像を撮像させる。そして、撮像部111は、撮像したリアルタイム映像を、記憶部114に記憶させる(ステップS301)。また、撮像部111は、リアルタイム映像を記憶部114に記憶させたことを、制御部115に通知する。
【0040】
なお、データ送出処理開始命令の発行は、上記に述べた、電源の投入をトリガとして発行されるものに限定されるものではない。例えば、映像表示システム1を構成する表示装置200と、撮像装置110との接続が確立されたときに発行される命令であってもよい。また、撮像装置110に、撮像装置110の使用者(ユーザ)が操作するユーザインターフェース部を備えている場合、ユーザによるユーザインターフェース部の操作入力をトリガとして発行される命令であってもよい。
【0041】
続いて、制御部115は、撮像部111から、リアルタイム映像を記憶部114に記憶させたことを表す通知を受け取ると、撮像位置情報取得部112に撮像装置110の位置を検出させる。そして、撮像位置情報取得部112は、検出した撮像位置情報を、記憶部114に記憶させる(ステップS302)。また、撮像位置情報取得部112は、撮像位置情報を記憶部114に記憶させたことを、制御部115に通知する。
【0042】
続いて、制御部115は、撮像位置情報取得部112から、撮像位置情報を記憶部114に記憶させたことを表す通知を受け取ると、撮像姿勢情報取得部113に撮像装置110の姿勢を検出させる。そして、撮像姿勢情報取得部113は、検出した撮像方向情報を、記憶部114に記憶させる(ステップS303)。また、撮像姿勢情報取得部113は、撮像方向情報を記憶部114に記憶させたことを、制御部115に通知する。
【0043】
続いて、制御部115は、撮像姿勢情報取得部113から、撮像方向情報を記憶部114に記憶させたことを表す通知を受け取ると、記憶部114に記憶されているリアルタイム映像、撮像位置情報、および撮像方向情報(以下、リアルタイム映像、撮像位置情報、および撮像方向情報を合わせて「撮像装置固有データ」という)を、データ通信部116を介して表示装置200に送出する(ステップS304)。
【0044】
続いて、制御部115は、データ通信部116を介した撮像装置固有データの送出を完了すると、撮像装置110にデータ送出処理を終了させる命令(データ送出処理終了命令)が発行されているか否かを判定する(ステップS305)。ここで、データ送出処理終了命令が発行されている(ステップS305が“YES”)と判定された場合には、データ送出処理を終了する。また、データ送出処理終了命令が発行されていない(ステップS305が“NO”)と判定された場合には、ステップS301に戻って、再度、撮像部111によるリアルタイム映像の撮像から、撮像装置固有データのデータ送出処理を繰り返す。
【0045】
次に、映像表示システム1の構成要素である表示装置200について説明する。図4は、本第1の実施形態の映像表示システム1における表示装置200の概略構成を示したブロック図である。図4に示したように、表示装置200は、表示部201と、演算部202と、外部データ取得部203と、記憶部204と、制御部205と、表示姿勢情報取得部206と、を備えている。
【0046】
制御部205は、表示装置200の構成要素の動作、すなわち、表示装置200の全体の動作を制御する。
外部データ取得部203は、制御部205からの制御に応じて、映像表示システム1内の撮像装置100のそれぞれから、撮像装置固有データ(リアルタイム映像、撮像位置情報、および撮像方向情報)を取得する。外部データ取得部203は、取得したそれぞれの撮像装置固有データを、記憶部204に出力する。
【0047】
表示姿勢情報取得部206は、制御部205からの制御に応じて、表示装置200自体の姿勢、すなわち表示方向を検出し、検出した姿勢を表す表示方向情報を、記憶部204に出力する。
なお、表示姿勢情報取得部206が検出する表示方向情報は、北の方位を基準とした場合における、表示装置200に備えた表示部201の面に垂直な法線ベクトルが向いている方位を示す表示方位情報と、地表と水平な平面を基準とした場合における、表示装置200に備えた表示部201の面に垂直な法線ベクトルの仰俯角を示す表示仰俯角情報とを少なくとも含む情報である。また、表示姿勢情報取得部206は、例えば、地磁気センサと加速度センサとを備えた構成にすることが可能であり、表示方向情報は、地磁気センサによって検出した表示方位情報と、加速度センサによって検出した表示仰俯角情報とを少なくとも含む情報であってもよい。
【0048】
記憶部204は、外部データ取得部203から出力された撮像装置100の撮像装置固有データのそれぞれを関連付けて記憶する。また、記憶部204は、表示姿勢情報取得部206から出力された表示方向情報を記憶する。
【0049】
演算部202は、制御部205からの制御に応じて、記憶部204に記憶されている撮像装置固有データに含まれる各撮像装置(本第1の実施形態においては、撮像装置110と撮像装置120)の撮像位置情報および撮像方向情報と、記憶部204に記憶されている表示装置200自体の表示方向情報とに基づいて、各リアルタイム映像間の立体空間(三次元空間)における相対的な位置関係(以下、「相対位置」という)および表示方向と各リアルタイム映像の撮像方向との相対的な方向関係(以下、「相対方向」という)を演算する。
【0050】
表示部201は、例えば、LCD(Liquid Crystal Display)を備え、演算部202が演算した相対位置および相対方向に基づいた制御部205からの制御に応じて、記憶部204に記憶されている撮像装置固有データに含まれる各撮像装置(本第1の実施形態においては、撮像装置110と撮像装置120)のリアルタイム映像を表示する。
【0051】
次に、映像表示システム1における表示装置200の動作について説明する。図5は、本第1の実施形態の映像表示システム1の表示装置200における表示処理の手順を示したフローチャートである。
【0052】
制御部205は、表示装置200に表示処理を開始させる命令(表示処理開始命令)を受け付けると、表示処理を開始する。ここで、表示処理開始命令は、表示装置200の電源の投入をトリガとして発行される命令である。表示処理が開始されると、撮像装置100から、撮像装置固有データ(リアルタイム映像、撮像位置情報、および撮像方向情報)の取得を待機する状態となる(ステップS501)。
【0053】
なお、表示処理開始命令の発行は、上記に述べた、電源の投入をトリガとして発行されるものに限定されるものではない。例えば、映像表示システム1を構成する撮像装置のいずれかと、表示装置200との接続が確立されたときに発行される命令であってもよい。また、表示装置200に、表示装置200の使用者(ユーザ)が操作するユーザインターフェース部を備えている場合、ユーザによるユーザインターフェース部の操作入力をトリガとして発行される命令であってもよい。
【0054】
その後、制御部205は、撮像装置100のいずれかの撮像装置(例えば、撮像装置110)から、外部データ取得部203を介して撮像装置固有データを取得する(ステップS501が“YES”)と、取得した撮像装置固有データを、記憶部204に記憶させる。そして、制御部205は、記憶部204に記憶されている撮像装置固有データの数を参照して、複数の撮像装置固有データを取得したか否かを判定する(ステップS502)。
【0055】
ここで、複数の撮像装置固有データを取得していない(ステップS502が“NO”)と判定された場合には、ステップS501に戻って、再度、撮像装置100のいずれかの撮像装置(例えば、撮像装置120)からの撮像装置固有データの取得を待機する状態となる。また、複数の撮像装置固有データを取得した(ステップS502が“YES”)と判定された場合には、ステップS503に移行する。
【0056】
続いて、制御部205は、表示姿勢情報取得部206に表示装置200の姿勢を検出させる。そして、表示姿勢情報取得部206は、検出した表示方向情報を、記憶部204に記憶させる(ステップS503)。また、表示姿勢情報取得部206は、表示方向情報を記憶部204に記憶させたことを、制御部205に通知する。
【0057】
続いて、制御部205は、表示姿勢情報取得部206から、表示方向情報を記憶部204に記憶させたことを表す通知を受け取ると、演算部202に、1つの撮像装置(例えば、撮像装置110)の撮像位置情報(言い換えると、撮像装置110で撮像されたリアルタイム映像の撮像位置情報)を基準とした、他のそれぞれの撮像装置(例えば、撮像装置120)の相対位置を演算させる命令(相対位置演算命令)を発行する。演算部202は、制御部205からの相対位置演算命令を受け付けると、記憶部204に記憶されている撮像装置固有データに含まれる各撮像装置(撮像装置110および撮像装置120)の撮像位置情報を読み出して、相対位置を演算する。そして、演算部202は、演算した相対位置の結果を記憶部204に記憶させる(ステップS504)。また、演算部202は、相対位置を記憶部204に記憶させたことを、制御部205に通知する。なお、演算部202による相対位置の演算方法に関する詳細な説明は、後述する。
【0058】
続いて、制御部205は、演算部202から、相対位置を記憶部204に記憶させたことを表す通知を受け取ると、演算部202に、表示装置200の表示方向情報を基準とした、それぞれの撮像装置(撮像装置110および撮像装置120)の相対方向を演算させる命令(相対方向演算命令)を発行する。演算部202は、制御部205からの相対方向演算命令を受け付けると、記憶部204に記憶されている撮像装置固有データに含まれる各撮像装置(撮像装置110および撮像装置120)の撮像方向情報および表示装置200の表示方向情報を読み出して、相対方向を演算する。そして、演算部202は、演算した相対方向の結果を記憶部204に記憶させる(ステップS505)。また、演算部202は、相対方向を記憶部204に記憶させたことを、制御部205に通知する。なお、演算部202が演算する相対方向とは、表示装置200の方位を基準としたときの各撮像装置が撮影している方位である相対方位を表す情報と、表示装置200の仰俯角を基準としたときの各撮像装置が撮影している仰俯角である相対仰俯角を表す情報とを、少なくとも含む情報である。なお、演算部202による相対方向の演算方法に関する詳細な説明は、後述する。
【0059】
続いて、制御部205は、演算部202から、相対方向を記憶部204に記憶させたことを表す通知を受け取ると、記憶部204に記憶されている相対位置および相対方向に基づいて、表示部201に、記憶部204に記憶されている撮像装置100から取得した複数の撮像装置固有データに含まれるリアルタイム映像を表示させる(ステップS506)。表示部201は、リアルタイム映像を表示した後、リアルタイム映像の表示が完了したことを、制御部205に通知する。なお、表示部201に、相対位置および相対方向に基づいてリアルタイム映像を表示させる表示方法に関する詳細な説明は、後述する。
【0060】
続いて、制御部205は、表示部201から、リアルタイム映像の表示が完了したことを表す通知を受け取ると、表示装置200の表示処理を終了させる命令(表示処理終了命令)が発行されているか否かを判定する(ステップS507)。ここで、表示処理終了命令が発行されている(ステップS507が“YES”)と判定された場合には、表示処理を終了する。また、表示処理終了命令が発行されていない(ステップS507が“NO”)と判定された場合には、ステップS501に戻って、再度、撮像装置100から撮像装置固有データを取得し、取得した撮像装置固有データに基づいた表示部201への表示を繰り返す。
【0061】
次に、映像表示システム1の表示装置200の動作において、図5のステップS504に示した相対位置の演算方法について説明する。図6は、本第1の実施形態の映像表示システム1の表示装置200における相対位置の演算方法の一例を説明する図である。
【0062】
図6(a)および図6(b)において、X,Y,Zは、それぞれ経度,緯度,高度を表している。また、図6(a)は、撮像装置110と撮像装置120との位置の関係を、それぞれの撮像位置情報に基づいて表している。また、図6(b)は、撮像装置110と撮像装置120との位置の関係を、撮像装置110の位置を基準としたときの相対位置で表している。
【0063】
より具体的には、図6(a)に示した位置情報A(X1,Y1,Z1)および位置情報B(X2,Y2,Z2)は、それぞれ、撮像装置110および撮像装置120における撮像位置情報であり、図5に示したステップS501において、撮像装置100から取得した撮像装置固有データに含まれる撮像位置情報である。
【0064】
演算部202は、制御部205からの相対位置演算命令に応じて、撮像装置100の内、1つの撮像装置を基準とし、他の撮像装置の相対位置を演算する。図6(b)には、撮像装置110の位置情報A(X1,Y1,Z1)を基準(相対位置A’(0,0,0))としたときの、撮像装置120の位置情報B(X2,Y2,Z2)に対応する相対位置B’(X2’,Y2’,Z2’)を表している。撮像装置120の相対位置B’(X2’,Y2’,Z2’)は、下式(1)によって求められる。
【0065】
【数1】
【0066】
次に、映像表示システム1の表示装置200の動作において、図5のステップS505に示した相対方向の演算方法について説明する。図7は、本第1の実施形態の映像表示システム1の表示装置200における相対方向の演算方法の一例を説明する図である。
【0067】
図7(a)および図7(b)において、X,Yは、それぞれ北方向,東方向を表している。また、図7(a)は、表示装置200と、撮像装置110と、撮像装置120との方位の関係を、それぞれの表示方向情報および撮像方向情報に基づいて表している。また、図7(b)は、表示装置200と、撮像装置110および撮像装置120の方位の関係を、表示装置200の方位を基準としたときの相対方位で表している。
【0068】
より具体的には、図7(a)に示した方位情報θ1、方位情報φ1、および方位情報δ1は、それぞれ、表示装置200における表示方向情報、撮像装置110、および撮像装置120の撮像方向情報であり、方位情報θ1は、図5に示したステップS503において、表示姿勢情報取得部206が検出した表示装置200の方位を表す情報、方位情報φ1および方位情報δ1は、図5に示したステップS501において、撮像装置100から取得した撮像装置固有データに含まれる撮像装置110および撮像装置120の方位を表す情報である。
【0069】
演算部202は、制御部205からの相対方向演算命令に応じて、表示装置200の方位を基準としたときの、撮像装置110および撮像装置120の相対方位を演算する。図7(b)には、表示装置200における表示方向情報である方位情報θ1を基準としたときの、撮像装置110の撮像方向情報である方位情報φ1に対応する相対方位情報φ1’、および撮像装置120の撮像方向情報である方位情報δ1に対応する相対方位情報δ1’をそれぞれ表している。撮像装置110の相対方位情報φ1’および撮像装置120の相対方位情報δ1’は、下式(2)によって求められる。
【0070】
【数2】
【0071】
図7(c)および図7(d)において、X,Yは、経度,緯度の方向を表しており、Zは、高度の方向を表している。また、図7(c)は、表示装置200と、撮像装置110と、撮像装置120との仰俯角の関係を、それぞれの表示方向情報および撮像方向情報に基づいて表している。また、図7(d)は、表示装置200と、撮像装置110および撮像装置120の仰俯角の関係を、表示装置200の仰俯角を基準としたときの相対仰俯角で表している。
【0072】
より具体的には、図7(c)に示した仰俯角θ2、仰俯角φ2、および仰俯角δ2は、それぞれ、表示装置200における表示方向情報、撮像装置110、および撮像装置120の撮像方向情報であり、仰俯角θ2は、図5に示したステップS503において、表示姿勢情報取得部206が検出した表示装置200の仰俯角を表す情報、仰俯角φ2および仰俯角δ2は、図5に示したステップS501において、撮像装置100から取得した撮像装置固有データに含まれる撮像装置110および撮像装置120の仰俯角を表す情報である。
【0073】
演算部202は、制御部205からの相対方向演算命令に応じて、表示装置200を基準とし、撮像装置110および撮像装置120の相対仰俯角を演算する。図7(d)には、表示装置200における表示方向情報である仰俯角θ2を基準としたときの、撮像装置110の撮像方向情報である仰俯角φ2に対応する相対仰俯角φ2’、および撮像装置120の撮像方向情報である仰俯角δ2に対応する相対仰俯角δ2’をそれぞれ表している。撮像装置110の相対仰俯角φ2’および相対仰俯角δ2’は、下式(3)によって求められる。
【0074】
【数3】
【0075】
次に、映像表示システム1の表示装置200の動作において、図5のステップS506に示したリアルタイム映像の表示方法について説明する。図8は、本第1の実施形態の映像表示システム1の表示装置200におけるリアルタイム映像の表示方法の一例を説明する図である。
【0076】
図8(a)において、X,Y,Zは、それぞれ経度,緯度,高度を表している。また、図8(a)は、図5のステップS504で演算部202が演算した、撮像装置110の位置を基準とした撮像装置110と撮像装置120との相対位置を表している。つまり、図8(a)は、図6(b)と同様である。よって、図8(a)に表した相対位置A’(0,0,0)は、基準とする撮像装置110の撮像位置情報を表し、相対位置B’(X2’,Y2’,Z2’)は、撮像装置120の撮像位置情報を表している。
【0077】
ここで、表示装置200がY軸方向を向いている場合における撮像装置110と撮像装置120との相対位置の演算方法について説明する。図8(b)は、表示装置200がY軸方向を向いている場合の撮像装置110と撮像装置120との相対位置を演算した結果を表している。図8(b)において、X,Zは、それぞれ経度,高度を表している。
【0078】
図8(b)に示したように、表示装置200がY軸方向を向いている場合には、図8(a)に表した相対位置A’(0,0,0)および相対位置B’(X2’,Y2’,Z2’)を、X−Z平面に投影する投影位置の演算を行う。図8(b)に示した投影位置A’(0,0)は、撮像装置110の相対位置A’(0,0,0)をX−Z平面上に投影した場合の投影位置の演算結果を表し、投影位置B’(X2’,Z2’)は、撮像装置120の相対位置B’(X2’,Y2’,Z2’)をX−Z平面上に投影した場合の投影位置の演算結果を表している。
【0079】
なお、図8(b)においては、表示装置200がY軸方向を向いている場合を示しているため、演算部202が演算した撮像装置110と撮像装置120との相対位置をX−Z平面上に投影する投影位置の演算を行ったが、例えば、表示装置200がX軸方向を向いている場合には、撮像装置110と撮像装置120との相対位置をY−Z平面に投影する投影位置の演算を行えばよい。すなわち、投影位置の演算は、表示装置200が向いている方向に応じて、表示装置200が向いている方向と垂直に交わる面に投影する演算を行えばよい。
【0080】
図8(c)は、撮像装置110と撮像装置120との投影位置に基づいて、撮像装置110から取得したリアルタイム映像1と、撮像装置120から取得したリアルタイム映像2とを、それぞれ、表示装置200の表示部201の表示領域内に配置して表示している様子を示している。
【0081】
図8(c)に示したように、表示部201の表示領域内へのリアルタイム映像1とリアルタイム映像2との配置は、図8(b)で表された撮像装置110の投影位置A’(0,0)と撮像装置120の投影位置B’(X2’,Z2’)とのベクトル数式(4)(以下、「ベクトル→A’B’」と表す)の相関を保持するように配置する。
【0082】
【数4】
【0083】
なお、表示部201の表示領域内のリアルタイム映像の配置は、上述したように、撮像装置100のそれぞれの投影位置のベクトルの相関を保持していればよく、リアルタイム映像1とリアルタイム映像2との間の距離は、図8(c)に示した配置に限定されるものではない。例えば、図8(d)に示したように、リアルタイム映像1を表示部201の表示領域内の中央に配置して表示してもよい。また、撮像装置100のそれぞれの投影位置のベクトルの相関から、リアルタイム映像が重なる場合には、投影した軸(図8(b)ではY軸)において、手前に配置されている撮像装置100のいずれかの撮像装置のリアルタイム映像が、奥に存在する撮像装置100のいずれかの撮像装置のリアルタイム映像の上に重なるように表示してもよい。すなわち、撮像装置110と撮像装置120との投影位置のベクトルの相関を保持していれば、図8(d)に示したように、リアルタイム映像2を、リアルタイム映像1の手前の位置に重なるように配置して表示してもよい。
【0084】
続いて、表示装置200の表示部201に配置するリアルタイム映像の回転方法について説明する。図8(e)〜図8(h)において、X,Y,Zは、それぞれ経度,緯度,高度を表している。
【0085】
図8(e)は、図5のステップS505で演算部202が演算した、撮像装置110の相対方位情報φ1’に基づいて、Z軸を中心としてリアルタイム映像1が回転している様子を示している。また、図8(f)は、図5のステップS505で演算部202が演算した、撮像装置120の相対方位情報δ1’に基づいて、Z軸を中心としてリアルタイム映像2が回転している様子を示している。
【0086】
また、図8(g)は、図5のステップS505で演算部202が演算した、撮像装置110の相対仰俯角φ2’に基づいて、X軸を中心としてリアルタイム映像1が回転している様子を示している。また、図8(h)は、図5のステップS505で演算部202が演算した、撮像装置120の相対仰俯角δ2’に基づいて、X軸を中心としてリアルタイム映像2が回転している様子を示している。
【0087】
図8(i)は、撮像装置110の投影位置A’(0,0)と撮像装置120の投影位置B’(X2’,Z2’)とのベクトル→A’B’の相関に基づいてリアルタイム映像1とリアルタイム映像2とを表示部201の表示領域内に配置し、さらに、リアルタイム映像1を相対方位情報φ1’と相対仰俯角φ2’とに基づいて回転し、リアルタイム映像2を相対方位情報δ1’と相対仰俯角δ2’とに基づいて回転して表示している様子を示している。すなわち、表示部201は、被写体の回転映像を表示する。
【0088】
このように、映像表示システム1の表示装置200は、演算部202が演算した相対位置(投影位置)と相対方向(相対方位情報と相対仰俯角)とに基づいて、撮像装置110から取得したリアルタイム映像1と、撮像装置120から取得したリアルタイム映像2とを、それぞれ、表示装置200の表示部201の表示領域に表示する。
【0089】
なお、リアルタイム映像の表示部201への表示は、リアルタイム映像を回転した場合であっても、上述したように、撮像装置100のそれぞれの投影位置のベクトルの相関を保持していればよい。従って、例えば、図8(j)に示したように、回転したリアルタイム映像1を表示部201の表示領域内の中央に配置し、回転したリアルタイム映像2を、リアルタイム映像1の手前の位置に重なるように配置して表示してもよい。
【0090】
上記に述べたとおり、本第1の実施形態の映像表示システム1では、リアルタイム映像を送出する撮像装置100の撮像位置情報に基づいて、リアルタイム映像を、表示装置200に備えた表示部201の表示領域内に配置する。また、本第1の実施形態の映像表示システム1では、撮像装置100が撮影している撮像方向情報に基づいて、リアルタイム映像を回転して表示部201に表示する。これにより、表示装置200は、複数の撮像装置100が異なる被写体を撮像し、被写体が複数存在する場合においても、それぞれの被写体が存在する位置の関係を視覚的に認識しやすくしたリアルタイム映像を表示することができる。
【0091】
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。図9は、本第2の実施形態における映像表示システムの概略構成を示した図である。図9に示した映像表示システム9は、図1に示した映像表示システム1と同様に、複数の撮像装置のそれぞれから送出されるリアルタイム映像と、撮像位置情報および撮像方向情報と、表示装置の表示方向情報とに基づいて、表示装置に備えた表示部に、それぞれの撮像装置から送出されたリアルタイム映像を表示する。
【0092】
図9に示した映像表示システム9は、撮像装置910および920(以下、全ての撮像装置まとめて表すときには、「撮像装置900」という)と、表示装置1000とから構成される。図9に示した映像表示システム9と図1に示した映像表示システム1との異なる点は、撮像装置910および920が、それぞれ、表示装置1000と無線で接続されていることである。これにより、撮像装置900および表示装置1000の構成が、図2に示した撮像装置110の構成および図4に示した表示装置200の構成と異なる。
【0093】
図10は、本第2の実施形態の映像表示システム9における撮像装置910の概略構成を示したブロック図である。図10に示したように、撮像装置910は、撮像部111と、撮像位置情報取得部112と、撮像姿勢情報取得部113と、記憶部114と、制御部115と、無線通信部911と、アンテナ912と、を備えている。なお、本第9の実施形態の映像表示システム9においても、撮像装置910と撮像装置920とは、それぞれ同様の構成である。
【0094】
本第2の実施形態における撮像装置910と、図2に示した第1の実施形態における撮像装置110との構成の違いは、データ通信部116に代わって無線通信部911を備え、さらに、アンテナ912を備えたことのみである。この構成の違いは、図2に示した第1の実施形態における撮像装置110が、撮像装置固有データを有線で表示装置200に送出していたのに対し、撮像装置910では、撮像装置固有データを無線で表示装置1000に送出することに対応していることによる。従って、撮像装置910と、図2に示した第1の実施形態における撮像装置110とにおいて、同様の構成要素については、同一の符号を付与し、詳細な説明は省略する。
【0095】
無線通信部911は、制御部115からの制御に応じて、記憶部114に記憶されている撮像装置固有データ(リアルタイム映像、撮像位置情報、および撮像方向情報)を、アンテナ912を介して、表示装置1000に送出する。
【0096】
また、本第2の実施形態における撮像装置910と、図2に示した第1の実施形態における撮像装置110との動作の違いは、上述したように、撮像装置固有データを表示装置1000に送出する方法、すなわち、無線で撮像装置固有データを送出するのみである。従って、撮像装置910の動作は、図3に示した第1の実施形態の撮像装置110におけるデータ送出処理と同様であるため、詳細な説明は省略する。
【0097】
図11は、本第2の実施形態の映像表示システム9における表示装置1000の概略構成を示したブロック図である。図11に示したように、表示装置1000は、表示部201と、演算部202と、記憶部204と、制御部205と、表示姿勢情報取得部206と、無線通信部1001と、アンテナ1002と、を備えている。
【0098】
本第2の実施形態における表示装置1000と、図4に示した第1の実施形態における表示装置200との構成の違いは、外部データ取得部203に代わって無線通信部1001を備え、さらに、アンテナ1002を備えたことのみである。この構成の違いは、図4に示した第1の実施形態における表示装置200が、撮像装置固有データを有線で撮像装置100から取得していたのに対し、表示装置1000では、撮像装置固有データを無線で撮像装置900から取得することに対応していることによる。従って、表示装置1000と、図4に示した第1の実施形態における表示装置200とにおいて、同様の構成要素については、同一の符号を付与し、詳細な説明は省略する。
【0099】
無線通信部1001は、制御部205からの制御に応じて、映像表示システム9内の撮像装置900のそれぞれから、撮像装置固有データ(リアルタイム映像、撮像位置情報、および撮像方向情報)を、アンテナ1002を介して、取得する。無線通信部1001は、取得したそれぞれの撮像装置固有データを、記憶部204に出力する。
【0100】
また、本第2の実施形態における表示装置1000と、図4に示した第1の実施形態における表示装置200との動作の違いは、上述したように、撮像装置固有データを撮像装置900から取得する方法、すなわち、無線で撮像装置固有データを取得するのみである。従って、表示装置1000の動作は、図5〜図8に示した第1の実施形態の表示装置200における表示処理と同様であるため、詳細な説明は省略する。
【0101】
上記に述べたとおり、本第2の実施形態の映像表示システム9でも、第1の実施形態の映像表示システム1と同様に、リアルタイム映像を送出する撮像装置900の撮像位置情報に基づいて、リアルタイム映像を、表示装置1000に備えた表示部201に表示する。これにより、表示装置1000でも、第1の実施形態の映像表示システム1における表示装置200と同様に、複数の撮像装置900が撮像した、異なる被写体が存在する位置の関係を視覚的に認識しやすくしたリアルタイム映像を表示することができる。
【0102】
また、本第2の実施形態の映像表示システム9では、撮像装置900と表示装置1000とが、無線で接続されている。これにより、表示装置1000を移動させることが容易になり、第1の実施形態の映像表示システム1における表示装置200よりも、さらに、それぞれの被写体が存在する位置の関係が認識しやすいリアルタイム映像を表示することができる。
【0103】
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。本第3の実施形態の映像表示システムでは、表示装置にリアルタイム映像を表示する際の基準が、第1の実施形態の映像表示システム1および第2の実施形態の映像表示システム9と異なる。より具体的には、表示装置が、表示装置自体の位置、すなわち表示位置を基準として、本第3の実施形態の映像表示システム内の撮像装置から取得したリアルタイム映像を表示する。これにより、本第3の実施形態の映像表示システムでは、表示装置1000の構成が、図4に示した表示装置200の構成と異なる。なお、本第3の実施形態の映像表示システムでは、撮像装置の構成は、図2に示した撮像装置110の構成と同様であるため、詳細な説明は省略する。
【0104】
図12は、本発明の第3の実施形態の映像表示システムにおける表示装置の概略構成を示したブロック図である。図12に示したように、表示装置1200は、表示部201と、演算部202と、外部データ取得部203と、記憶部204と、制御部205と、表示姿勢情報取得部206と、表示位置情報取得部1201と、を備えている。
【0105】
本第3の実施形態における表示装置1200と、図4に示した第1の実施形態における表示装置200との構成の違いは、さらに、表示位置情報取得部1201を備えたことのみである。その他の構成要素は、図4に示した第1の実施形態における表示装置200の構成要素と同様である。従って、同様の構成要素については、同一の符号を付与し、詳細な説明は省略する。
【0106】
表示位置情報取得部1201は、制御部205からの制御に応じて、表示装置1200自体が設置されている位置、すなわち表示位置を検出し、検出した表示装置1200の位置を表す表示位置情報を、記憶部204に出力する。この表示装置1200が検出した表示位置情報が、表示装置1200に備えた表示部201にリアルタイム映像を表示する際の基準となる。
なお、表示位置情報取得部1201が検出する表示位置情報は、表示装置1200の設置されている絶対位置を示す情報であり、経度と、緯度と、高度とを少なくとも含む情報である。また、表示位置情報取得部1201は、例えば、GPSセンサを備えた構成にすることが可能であり、表示位置情報は、GPSセンサによって検出した経度と、緯度と、高度とを少なくとも含む構成の情報であってもよい。
【0107】
演算部202は、制御部205からの制御に応じて、記憶部204に記憶されている表示装置1200自体の表示方向情報および表示位置情報と、記憶部204に記憶されている撮像装置固有データに含まれる各撮像装置(例えば、第1の実施形態における撮像装置110と撮像装置120)の撮像位置情報および撮像方向情報とに基づいて、相対位置および相対方向を演算する。
【0108】
次に、本第3の実施形態における表示装置1200の動作について説明する。なお、本第3の実施形態における表示装置1200における表示処理の手順は、図5に示した第1の実施形態の表示装置200における表示処理の手順を示したフローチャートと同様であるため、詳細な説明は省略する。ただし、図5のステップS504に示した相対位置の演算方法は、以下に説明する方法となる。また、本第3の実施形態における表示装置1200では、図5のステップS502におけるデータ数の判定は、表示装置1200の表示位置情報を含むデータの総数で判定が行われる。
【0109】
以下の説明においては、図1に示した第1の実施形態の映像表示システム1において、表示装置200の代わりに、本第3の実施形態の表示装置1200を備えているものとして説明する。なお、本第3の実施形態の映像表示システムにおける表示装置1200と各撮像装置との接続は、第2の実施形態の映像表示システム9と同様に、無線で接続される構成であってもよい。
【0110】
制御部205は、表示姿勢情報取得部206から、表示方向情報を記憶部204に記憶させたことを表す通知を受け取ると、ステップS504において、演算部202に、表示装置1200の表示位置情報を基準とした、各撮像装置(撮像装置110および撮像装置120)の相対位置を演算させる命令(相対位置演算命令)を発行する。演算部202は、制御部205からの相対位置演算命令を受け付けると、記憶部204に記憶されている表示装置1200自体の表示位置情報と、記憶部204に記憶されている撮像装置固有データに含まれる各撮像装置(撮像装置110および撮像装置120)の撮像位置情報とを読み出して、相対位置を演算する。そして、演算部202は、演算した相対位置の結果を記憶部204に記憶させる。また、演算部202は、相対位置を記憶部204に記憶させたことを、制御部205に通知する。
【0111】
ここで、演算部202による相対位置の演算方法について説明する。図13は、本第3の実施形態の映像表示システムの表示装置1200における相対位置の演算方法の一例を説明する図である。図13(a)および図13(b)において、X,Y,Zは、それぞれ経度,緯度,高度を表している。また、図13(a)は、表示装置1200と、撮像装置110と、撮像装置120との位置の関係を、それぞれの表示位置情報および撮像位置情報に基づいて表している。また、図13(b)は、表示装置1200と、撮像装置110と、撮像装置120との位置の関係を、表示装置1200の位置を基準としたときの相対位置で表している。
【0112】
より具体的には、図13(a)に示した位置情報A(X1,Y1,Z1)は、表示位置情報取得部1201が検出した表示装置1200の表示位置情報である。また、位置情報B(X2,Y2,Z2)および位置情報C(X3,Y3,Z3)は、それぞれ、撮像装置110および撮像装置120における撮像位置情報であり、図5に示したステップS501において、撮像装置100から取得した撮像装置固有データに含まれる撮像位置情報である。
【0113】
演算部202は、制御部205からの相対位置演算命令に応じて、上式(1)と同様の演算を行って、表示装置1200の位置を基準としたときの撮像装置110および撮像装置120の相対位置を演算する。図13(b)には、表示装置1200の位置情報A(X1,Y1,Z1)を基準(相対位置A’(0,0,0))としたときの、撮像装置110の位置情報B(X2,Y2,Z2)に対応する相対位置B’(X2’,Y2’,Z2’)と、撮像装置120の位置情報C(X3,Y3,Z3)に対応する相対位置C’(X3’,Y3’,Z3’)とを表している。
【0114】
以降、制御部205は、図5および図7〜図8に示した第1の実施形態の表示装置200における表示処理と同様に表示処理を行い、表示装置1200自体の表示位置情報を基準としたときの、撮像装置110から取得したリアルタイム映像1と、撮像装置120から取得したリアルタイム映像2とを同時に、表示装置1200の表示部201の表示領域に表示する。
【0115】
上記に述べたとおり、本第3の実施形態の映像表示システムでは、表示装置1200の表示位置情報に基づいて、撮像装置から取得したリアルタイム映像を、表示装置1200に備えた表示部201に表示する。これにより、表示装置1200でも、第1の実施形態の映像表示システム1における表示装置200、または第2の実施形態の映像表示システム9における表示装置1000と同様に、複数の撮像装置が撮像した、異なる被写体が存在する位置の関係を視覚的に認識しやすくしたリアルタイム映像を表示することができる。
【0116】
また、本第3の実施形態の映像表示システムにおける表示装置1200では、表示装置1200の位置を基準としてリアルタイム映像を表示している。これにより、第1の実施形態の映像表示システム1における表示装置200や第2の実施形態の映像表示システム9における表示装置1000よりも、さらに、それぞれの被写体が存在する位置の関係が認識しやすいリアルタイム映像を表示することができる。
【0117】
<第4の実施形態>
次に、本発明の第4の実施形態について説明する。図14は、本第4の実施形態における映像表示システムの概略構成を示した図である。図14に示した映像表示システム14は、図1に示した映像表示システム1と同様に、複数の撮像装置のそれぞれから送出されるリアルタイム映像と、撮像位置情報および撮像方向情報と、表示装置の表示方向情報とに基づいて、表示装置に備えた表示部に、それぞれの撮像装置から送出されたリアルタイム映像を表示する。また、図14に示した映像表示システム14では、表示装置にも撮像部を備え、表示装置自体が撮像したリアルタイム映像も表示する。
【0118】
図14に示した映像表示システム14は、撮像装置1410および1420(以下、全ての撮像装置まとめて表すときには、「撮像装置1400」という)と、表示装置1500とから構成される。図14に示した映像表示システム14と図1に示した映像表示システム1との異なる点は、表示装置1500もリアルタイム映像を撮像することである。
【0119】
図14に示した映像表示システム14では、表示装置1500自体が撮像したリアルタイム映像1を表示部201の表示領域1501に、撮像装置1410から取得したリアルタイム映像2を表示部201の表示領域1511に、撮像装置1420から取得したリアルタイム映像3を表示部201の表示領域1521に、それぞれ表示している様子を示している。
【0120】
映像表示システム14では、上述したように、表示装置1500もリアルタイム映像を撮像する。これにより、表示装置1500の構成が、図4に示した表示装置200の構成と異なる。
【0121】
図15は、本第4の実施形態の映像表示システム14における表示装置1500の概略構成を示したブロック図である。図14に示したように、表示装置1500は、表示部201と、演算部202と、記憶部204と、制御部205と、表示姿勢情報取得部206と、撮像部1501と、撮像位置情報取得部1502と、撮像姿勢情報取得部1503と、データ通信部1504と、を備えている。
【0122】
本第4の実施形態における表示装置1500と、図4に示した第1の実施形態における表示装置200との構成の違いは、外部データ取得部203に代わってデータ通信部1504を備え、さらに、撮像部1501と、撮像位置情報取得部1502と、撮像姿勢情報取得部1503と、を備えたことのみである。その他の構成要素は、図4に示した第1の実施形態における表示装置200の構成要素と同様である。従って、同様の構成要素については、同一の符号を付与し、詳細な説明は省略する。
【0123】
撮像部1501は、例えば、被写体を撮影するイメージャを備え、制御部205からの制御に応じて、リアルタイム映像を撮像し、撮像したリアルタイム映像を、記憶部204に出力する。
【0124】
撮像位置情報取得部1502は、制御部205からの制御に応じて、表示装置1500が設置されている位置、すなわち撮像位置を検出し、検出した表示装置1500の位置を表す撮像位置情報を、記憶部204に出力する。
なお、撮像位置情報取得部1502が検出する撮像位置情報は、表示装置1500の設置されている絶対位置を示す情報であり、経度と、緯度と、高度とを少なくとも含む情報である。また、撮像位置情報取得部1502は、例えば、GPSセンサを備えた構成にすることが可能であり、撮像位置情報は、GPSセンサによって検出した経度と、緯度と、高度とを少なくとも含む情報であってもよい。
【0125】
撮像姿勢情報取得部1503は、制御部205からの制御に応じて、表示装置1500が撮像する姿勢、すなわち撮像方向を検出し、検出した表示装置1500の姿勢を表す撮像方向情報を、記憶部204に出力する。
なお、撮像姿勢情報取得部1503が検出する撮像方向情報は、表示装置1500に備えた撮像部1501の光軸が向いている方向に関する、撮像方位情報と、撮像仰俯角情報とを含む情報である。また、表示装置1500に備えた撮像部1501の光軸が向いている方向を示すベクトルの逆ベクトルは、表示装置1500に備えた表示部201の面に垂直な法線ベクトルと一致する。つまり、撮像方向情報と表示方向情報とは、反転した場合に一致する情報である。また、撮像姿勢情報取得部1503は、例えば、地磁気センサと加速度センサとを備えた構成にすることが可能であり、撮像方向情報は、地磁気センサによって検出した撮像方位情報と、加速度センサによって検出した撮像仰俯角情報とを少なくとも含む情報であってもよい。
【0126】
データ通信部1504は、制御部205からの制御に応じて、記憶部204に記憶されているリアルタイム映像と、撮像位置情報と、撮像方向情報とを、表示装置に送出する。また、データ通信部1504は、制御部205からの制御に応じて、映像表示システム14内の撮像装置1400のそれぞれから、撮像装置固有データ(リアルタイム映像、撮像位置情報、および撮像方向情報)を取得する。データ通信部1504は、取得したそれぞれの撮像装置固有データを、記憶部204に出力する。
【0127】
制御部205は、記憶部204に記憶されている撮像部1501が撮像したリアルタイム映像を、表示部201の中心に位置する表示領域1501に表示させる。つまり、制御部205は、表示装置1500自体が撮像したリアルタイム映像を中心の位置に、他のリアルタイム映像よりも大きく表示させる。さらに、制御部205は、図4に示した第1の実施形態における表示装置200と同様に、記憶部204に記憶されている撮像装置1400から取得した複数の撮像装置固有データに含まれるリアルタイム映像を、撮像装置1410と撮像装置1420との位置の相関を保持した状態で、表示部201に表示させる(図14参照)。
【0128】
なお、本第4の実施形態における表示装置1500と、図4に示した第1の実施形態における表示装置200との動作の違いは、上述したように、表示装置1500自体が撮像したリアルタイム映像を表示することのみである。従って、表示装置1500の動作は、図5〜図8に示した第1の実施形態における表示装置200における表示処理とほぼ同様であるため、詳細な説明は省略する。なお、本第4の実施形態の映像表示システム14における表示装置1500と撮像装置1400との接続は、第2の実施形態の映像表示システム9と同様に、無線で接続される構成であってもよい。
【0129】
また、本第4の実施形態における表示装置1500は、第3の実施形態における表示装置1200と同様に、さらに表示位置情報取得部を備え、表示位置情報取得部で取得される表示装置1500の表示位置情報を基準としたときの撮像装置1400の撮像位置情報に基づいて、表示装置1500自体が撮像したリアルタイム映像と、撮像装置1400が撮像したリアルタイム映像とを表示する構成であってもよい。なお、この場合には、表示位置情報取得部が取得する表示位置情報と、撮像位置情報取得部1502が取得する撮像位置情報とは、一致する情報である。
【0130】
なお、本第4の実施形態における表示装置1500では、3つのリアルタイム映像(表示装置1500自体で撮像したリアルタイム映像と撮像装置(例えば、第3の実施形態の撮像装置110、撮像装置120)が撮像したリアルタイム映像)とを表示する場合について説明したが、表示装置1500に表示するリアルタイム映像は、本第4の実施形態に限定されるものではない。例えば、表示装置1500に、2つのリアルタイム映像(表示装置1500自体で撮像したリアルタイム映像と撮像装置(例えば第3の実施形態の撮像装置110)が撮像したリアルタイム映像)のみを表示してもよい。
【0131】
上記に述べたとおり、本第4の実施形態の映像表示システム14では、表示装置1500自体が撮像したリアルタイム映像を、表示装置1500に備えた表示部201の表示領域内に配置する。また、本第4の実施形態の映像表示システム14でも、第1の実施形態の映像表示システム1と同様に、リアルタイム映像を送出する撮像装置1400の撮像位置情報に基づいたリアルタイム映像を、表示部201に表示する。これにより、表示装置1500でも、第1の実施形態の映像表示システム1における表示装置200、または第2の実施形態の映像表示システム9における表示装置1000と同様に、複数の撮像装置1400が撮像した、異なる被写体が存在する位置の関係を視覚的に認識しやすくしたリアルタイム映像を表示することができる。
【0132】
また、本第4の実施形態の映像表示システム14における表示装置1500では、表示装置1500自体が撮像したリアルタイム映像を同時に表示する。これにより、第1の実施形態の映像表示システム1における表示装置200や第2の実施形態の映像表示システム9における表示装置1000よりも、さらに、それぞれの被写体が存在する位置の関係が認識しやすいリアルタイム映像を表示することができる。
【0133】
<第5の実施形態>
次に、本発明の第5の実施形態について説明する。本第5の実施形態の映像表示システムでは、表示装置と撮像装置とが共に同様の構成となっている。以下の説明においては、表示装置および撮像装置を、「情報端末」という。そして、それぞれの情報端末は、第1〜第4の実施形態における表示装置と撮像装置とのそれぞれが行っていた処理を、共に行うことができる構成となっている。また、それぞれの情報端末は、互いに、撮像装置固有データを双方向で送受信することができる。
【0134】
図16は、本第5の実施形態の映像表示システムにおける情報端末の概略構成を示したブロック図である。図16に示したように、情報端末1600は、撮像部111と、表示部201と、演算部202と、記憶部204と、制御部205と、表示姿勢情報取得部206と、表示位置情報取得部1201と、撮像位置情報取得部112と、撮像姿勢情報取得部113と、データ通信部1601と、を備えている。
【0135】
本第5の実施形態における情報端末1600と、例えば、図4に示した第1の実施形態における表示装置200との構成の違いは、外部データ取得部203に代わってデータ通信部1601を備え、さらに、撮像部111と、表示位置情報取得部1201と、撮像位置情報取得部112と、撮像姿勢情報取得部113と、を備えたことである。しかし、撮像部111と、撮像位置情報取得部112と、撮像姿勢情報取得部113とは、図2に示した第1の実施形態における撮像装置110の構成要素と同様である。また、表示位置情報取得部1201は、図12に示した第3の実施形態における表示装置1200の構成要素と同様である。従って、図4に示した第1の実施形態における表示装置200、図12に示した第3の実施形態における表示装置1200、または図2に示した第1の実施形態における撮像装置110と同様である情報端末1600の構成要素については、同一の符号を付与し、詳細な説明は省略する。
【0136】
データ通信部1601は、有線または無線によって、本第5の実施形態の映像表示システムの構成要素である他の情報端末1600に備えたデータ通信部1601とデータの通信を行う。データ通信部1601は、制御部205からの制御に応じて、記憶部204に記憶されている、情報端末1600自体が撮像または検出した撮像装置固有データ(リアルタイム映像、撮像位置情報、および撮像方向情報)を、本第5の実施形態の映像表示システム内の他の情報端末1600のそれぞれに送出する。
【0137】
また、データ通信部1601は、本第5の実施形態の映像表示システム内の他の情報端末1600のそれぞれから、撮像装置固有データ(リアルタイム映像、撮像位置情報、および撮像方向情報)を取得する。そして、データ通信部1601は、取得したそれぞれの撮像装置固有データを、記憶部204に出力する。
【0138】
また、本第5の実施形態における情報端末1600の動作と、第1〜第4の実施形態における表示装置および撮像装置のそれぞれの動作との違いは、撮像装置固有データを、本第5の実施形態の映像表示システム内の他の情報端末1600のそれぞれと送受信することのみである。すなわち、本第5の実施形態の映像表示システム内の情報端末1600のそれぞれは、第1〜第4の実施形態の表示装置における表示処理、または第1〜第4の実施形態の撮像装置にけるデータ送出処理のいずれかと同様の動作を行う。従って、情報端末1600の動作に関する詳細な説明は省略する。
【0139】
上記に述べたとおり、本第5の実施形態の映像表示システムでは、第1〜第4の実施形態のいずれかの映像表示システムと同様に、他の情報端末1600から取得したリアルタイム映像を、他の情報端末1600の撮像位置情報に基づいて、自情報端末1600に備えた表示部201に表示する。これにより、情報端末1600は、第1〜第4の実施形態の映像表示システムにおける表示装置と同様に、複数の他の情報端末1600が撮像した、異なる被写体が存在する位置の関係を視覚的に認識しやすくしたリアルタイム映像を表示することができる。さらに、そして、第1〜第4の実施形態のいずれかの映像表示システムと同様の効果を得ることができる。
【0140】
また、本第5の実施形態の映像表示システムにおける情報端末1600では、本第5の実施形態の映像表示システム内のそれぞれの情報端末1600が互いに、撮像装置固有データを双方向で送受信する。そして、本第5の実施形態の映像表示システム内の全ての情報端末1600で、リアルタイム映像を表示する。これにより、どの情報端末1600を用いても、それぞれの被写体が存在する位置の関係が認識しやすいリアルタイム映像を表示することができる。
【0141】
上記に述べたとおり、本発明を実施するための最良の形態によれば、映像表示システム内の複数の撮像装置(情報端末)が撮像したリアルタイム映像を、それぞれの撮像装置(情報端末)の撮像位置情報および撮像方向情報に基づいて、映像表示システム内の表示装置(情報端末)に表示する。すなわち、本発明を実施するための最良の形態によれば、リアルタイム映像を、被写体を撮像している撮像装置(情報端末)の位置や方向の関係を反映した状態で表示する、いわゆる、マルチビュー表示を行う。これにより、複数の撮像装置(情報端末)が異なる被写体を撮像し、被写体が複数存在する場合においても、表示装置(情報端末)に表示されたリアルタイム映像から、それぞれの被写体が存在する位置の関係を視覚的に認識することができる。
【0142】
また、本発明を実施するための最良の形態によれば、表示装置(情報端末)の姿勢や位置に応じて撮像装置(情報端末)が撮像したリアルタイム映像を表示する。これにより、それぞれの被写体が存在する位置の関係を、より正確に認識することができる。
【0143】
なお、本実施形態においては、表示装置に備えた制御部205が、演算部202が演算した相対位置および相対方向に基づいて、表示部201に表示するリアルタイム映像の表示方法を制御する、すなわち、表示領域内のリアルタイム映像の配置やリアルタイム映像の回転方法を制御する表示制御部を、制御部205内に備えた構成について説明した。しかし、表示部201に表示するリアルタイム映像の表示方法を制御する構成は、本発明を実施するための形態に限定されるものではない。例えば、表示装置に備えた表示部201内に、演算部202が演算した相対位置および相対方向に基づいてリアルタイム映像の表示方法を制御する表示制御部を備える構成することもできる。
【0144】
また、本実施形態においては、表示装置に備えた演算部202と制御部205とが、それぞれ異なる構成要素である場合について説明したが、表示装置内の構成要素の構成は、本発明を実施するための形態に限定されるものではない。例えば、表示装置に備えた演算部202と制御部205との機能を、例えば、CPUなどの1つの処理装置で実現する構成にすることもできる。これにより、上述した表示制御部の機能を含めて1つの処理装置で処理する、すなわち、相対位置および相対方向の演算と、リアルタイム映像の表示方法の制御とを、1つの処理装置で処理する構成にすることができる。
【0145】
また、本実施形態においては、撮像装置固有データが、リアルタイム映像と、撮像位置情報と、撮像方向情報とを含むものとして説明したが、撮像装置固有データ内のデータの構成は、本発明を実施するための形態に限定されるものではない。例えば、1秒分のリアルタイム映像は、複数のフレームから構成される。このとき、それぞれのフレームに撮像位置情報と撮像方向情報とを対応付けて、それぞれの撮像装置固有データとすると、それぞれの撮像装置固有データのデータ量が多くなってしまう。そこで、例えば、1秒分のリアルタイム映像が構成される複数のフレームの内、予め定めたフレームのみに撮像位置情報と撮像方向情報とを対応付け、その他のフレームには撮像位置情報と撮像方向情報とを対応付けないで、それぞれの撮像装置固有データとする。すなわち、1秒に1回だけ撮像位置情報と撮像方向情報とを送出する構成にすることもできる。これにより、それぞれの撮像装置固有データのデータ量を少なくし、撮像装置(情報端末)と表示装置(情報端末)との間の通信の負荷を軽減することができる。この場合には、例えば、図5のステップS502におけるデータ数の判定は、撮像装置固有データに含まれるリアルタイム映像の数で判定することになる。
【0146】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【0147】
1,9,14・・・映像表示システム
100,110,120,900,910,920,1400,1410,1420・・・撮像装置(撮像端末,撮像装置)
111・・・撮像部
112・・・撮像位置情報取得部
113・・・撮像姿勢情報取得部
114・・・記憶部
115・・・制御部
116・・・データ通信部
200,1000,1200,1500・・・表示装置(表示端末,表示装置)
201・・・表示部
202・・・演算部
203・・・外部データ取得部(データ通信部)
204・・・記憶部
205・・・制御部
206・・・表示姿勢情報取得部
911・・・無線通信部(データ通信部)
912・・・アンテナ(データ通信部)
1001・・・無線通信部(データ通信部)
1002・・・アンテナ(データ通信部)
1201・・・表示位置情報取得部
1501・・・撮像部
1502・・・撮像位置情報取得部
1503・・・撮像姿勢情報取得部
1504・・・データ通信部
1600・・・情報端末(撮像端末,撮像装置,表示端末,表示装置)
1601・・・データ通信部
【技術分野】
【0001】
本発明は、表示装置、撮像装置、および映像表示システムに関する。
【背景技術】
【0002】
従来から、電子カメラなどの撮像装置を利用したシステムが提案されている。例えば、特許文献1には、撮像装置を車両に搭載し、他車両に搭載された撮像装置が撮影した被写体の映像を、自車両の利用者が利用しやすいように表示する車両用視覚支援システムの技術が開示されている。
【0003】
特許文献1で開示された技術では、自車両の位置情報を他車両に送信すると共に、他車両に搭載された撮像装置によって撮影された映像および他車両の位置情報を、自車両が受信する。また、自車両では、自車両に搭載された表示装置に映像を表示する際の視点を予め設定し、自車両の位置情報、他車両の位置情報、および他車両に搭載された撮像装置の設置情報に基づいて、設定した表示の視点に対する他車両が撮影する視点の相対的な位置を算出する。そして、算出した相対的な位置の情報に基づいて、他車両から受信した映像を、予め設定した表示の視点の映像に変換し、自車両に搭載された表示装置に表示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2002−367080号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に開示された技術を利用することによって、特定の被写体が映っている複数の映像を、映像を撮影(送信)した撮像装置の位置情報に基づいて表示することが可能となる。すなわち、特許文献1に開示された技術は、被写体が特定されている場合において、その特定の被写体の位置を認識しやすくする技術である。
【0006】
しかしながら、複数の撮像装置を利用したシステムでは、それぞれの撮像装置が、常に特定の被写体を映しているとは限らない。そのため、複数の撮像装置が、それぞれ別の被写体を撮影している場合においては、特許文献1に開示された撮像装置の位置情報のみに基づいて映像を表示する技術では、全ての被写体の位置を、視覚的に認識しやくすることはできないという問題がある。
【0007】
本発明は、上記の課題認識に基づいてなされたものであり、複数の撮像装置が異なる被写体を撮像している場合において、それぞれの撮像装置が撮像している各被写体が存在する位置を、視覚的に認識しやすくすることができる表示装置、撮像装置、および映像表示システムを提供することを目的としている。
【課題を解決するための手段】
【0008】
上記の課題を解決するため、本発明の表示装置は、被写体の映像信号、前記被写体を撮像するときの撮像位置を表す撮像位置情報、および前記被写体を撮像するときの撮像方向を表す撮像方向情報を対応付けて記憶する記憶部と、前記被写体の映像を表示する表示部と、前記表示部が前記被写体の映像を表示するときの表示方向を表す表示方向情報を取得する表示姿勢情報取得部と、前記記憶部に記憶されている前記撮像位置情報に基づいて、複数の前記撮像位置の立体空間における相対的な位置関係を演算するとともに、前記記憶部に記憶されている前記撮像方向情報と、前記表示姿勢情報取得部で取得される前記表示方向情報とに基づいて、複数の前記撮像方向それぞれの前記表示部の前記表示方向に対する相対的な方向関係を演算する演算部と、前記記憶部に記憶されている複数の前記映像信号それぞれに対応する前記被写体の映像を前記表示部に表示するとき、前記記憶部に記憶されている前記映像信号に対応する前記被写体の映像を前記演算部で演算された前記相対的な方向関係に応じて回転させた回転映像を、前記表示部に表示される複数の前記被写体の映像それぞれが前記表示部の表示領域内で前記相対的な位置関係を維持した位置に表示させる制御部と、を備えることを特徴とする。
【0009】
また、本発明の表示装置は、前記被写体の映像信号、前記撮像位置情報、および前記撮像方向情報を、前記被写体を撮像した撮像端末から取得するデータ通信部、をさらに備え、前記記憶部は、前記データ通信部で取得された前記映像信号、前記撮像位置情報、および前記撮像方向情報を記憶する、ことを特徴とする。
【0010】
また、本発明の表示装置の前記演算部は、前記記憶部に記憶されている複数の前記映像信号の内、1つの映像信号に対応付けられた前記撮像位置情報を基準として、前記相対的な位置関係を演算する、ことを特徴とする。
【0011】
また、本発明の表示装置において、前記データ通信部で取得される前記撮像方向情報は、方位の情報と仰俯角の情報とを含み、前記演算部は、前記方位の情報と前記仰俯角の情報とに基づいて、前記相対的な方向関係を演算する、ことを特徴とする。
【0012】
また、本発明の表示装置の前記制御部は、前記表示方向と垂直に交わる面を前記表示領域の面とし、該表示領域の面上に前記相対的な位置関係を投影した位置に、前記回転映像を表示させる、ことを特徴とする。
【0013】
また、本発明の表示装置の前記データ通信部は、無線通信で前記映像信号、前記撮像位置情報、および前記撮像方向情報を取得する、ことを特徴とする。
【0014】
また、本発明の表示装置は、前記表示部が前記被写体の映像を表示するときの表示位置を表す表示装置位置情報を取得する表示位置情報取得部、をさらに備え、前記演算部は、前記表示位置情報取得部で取得された表示装置位置情報と、前記記憶部に記憶されている前記撮像位置情報とに基づいて、前記表示位置を基準とした、前記相対的な位置関係を演算する、ことを特徴とする。
【0015】
また、本発明の表示装置の前記制御部は、前記表示領域内の中央の位置に、基準とする1つの前記回転映像を表示させ、他の前記回転映像を、前記基準とした1つの前記回転映像との前記相対的な位置関係を維持した位置に表示させる、ことを特徴とする。
【0016】
また、本発明の表示装置は、前記被写体を撮像し、前記映像信号を出力する撮像部と、前記撮像部が前記被写体を撮像するときの撮像位置を表す撮像位置情報を取得する撮像位置情報取得部と、前記撮像部が前記被写体を撮像するときの撮像方向を表す撮像方向情報を取得する撮像姿勢情報取得部と、をさらに備え、前記記憶部は、前記撮像部から出力された映像信号を、前記撮像位置情報取得部で取得された前記撮像位置情報および前記撮像姿勢情報取得部で取得された前記撮像方向情報と対応付けて記憶する、ことを特徴とする。
【0017】
また、本発明の表示装置の前記制御部は、前記表示領域内の中央の位置に、前記撮像部が撮像した前記被写体の映像に対応する回転映像を表示させる、ことを特徴とする。
【0018】
また、本発明の表示装置の前記データ通信部は、前記撮像部から出力された映像信号、前記撮像位置情報取得部で取得された前記撮像位置情報、および前記撮像姿勢情報取得部で取得された前記撮像方向情報を外部の端末に送出する、ことを特徴とする。
【0019】
また、本発明の撮像装置は、被写体の映像信号、前記被写体を撮像するときの撮像位置を表す撮像位置情報、および前記被写体を撮像するときの撮像方向を表す撮像方向情報を対応付けて記憶する記憶部と、前記被写体の映像を表示する表示部と、前記表示部が前記被写体の映像を表示するときの表示方向を表す表示方向情報を取得する表示姿勢情報取得部と、前記記憶部に記憶されている前記撮像位置情報に基づいて、複数の前記撮像位置の立体空間における相対的な位置関係を演算するとともに、前記記憶部に記憶されている前記撮像方向情報と、前記表示姿勢情報取得部で取得される前記表示方向情報とに基づいて、複数の前記撮像方向それぞれの前記表示部の前記表示方向に対する相対的な方向関係を演算する演算部と、前記記憶部に記憶されている複数の前記映像信号それぞれに対応する前記被写体の映像を前記表示部に表示するとき、前記記憶部に記憶されている前記映像信号に対応する前記被写体の映像を前記演算部で演算された前記相対的な方向関係に応じて回転させた回転映像を、前記表示部に表示される複数の前記被写体の映像それぞれが前記表示部の表示領域内で前記相対的な位置関係を維持した位置に表示させる制御部と、を備える装置を、表示装置と定義するとき、被写体を撮像し、前記被写体の映像信号を出力する撮像部と、前記撮像部が前記被写体を撮像するときの撮像位置を表す撮像位置情報を取得する撮像位置情報取得部と、前記撮像部が前記被写体を撮像するときの撮像方向を表す撮像方向情報を取得する撮像姿勢情報取得部と、前記撮像部から出力される前記映像信号、前記撮像位置情報取得部で取得される前記撮像位置情報、および前記撮像姿勢情報取得部で取得される前記撮像方向情報を、前記表示装置に送出するデータ通信部と、を備えることを特徴とする。
【0020】
また、本発明の撮像装置の前記データ通信部は、前記映像信号、前記撮像位置情報、および前記撮像方向情報を、無線通信で前記表示装置に送出する、ことを特徴とする。
【0021】
また、本発明の映像表示システムは、被写体の映像を表示する映像表示システムであって、前記被写体を撮像し、前記被写体に対応する映像信号を出力する複数の撮像部と、前記撮像部が前記被写体を撮像するときの撮像位置を表す撮像位置情報を取得する撮像位置情報取得部と、前記撮像部が前記被写体を撮像するときの撮像方向を表す撮像方向情報を取得する撮像姿勢情報取得部と、前記被写体の映像を表示する表示部と、前記表示部が前記被写体の映像を表示するときの表示方向を表す表示方向情報を取得する表示姿勢情報取得部と、前記撮像部から出力される前記映像信号、前記位置情報取得部で取得される前記撮像位置情報及び前記撮像姿勢情報取得部で取得される前記撮像方向情報を対応付けて記憶する記憶部と、前記記憶部に記憶されている前記撮像位置情報に基づいて、複数の前記撮像位置の立体空間における相対的な位置関係を演算するとともに、前記記憶部に記憶されている前記撮像方向情報と、前記表示姿勢情報取得部で取得される前記表示方向情報とに基づいて、複数の前記撮像方向それぞれの前記表示部の前記表示方向に対する相対的な方向関係を演算する演算部と、前記記憶部に記憶されている複数の前記映像信号それぞれに対応する前記被写体の映像を前記表示部に表示するとき、前記記憶部に記憶されている前記映像信号に対応する前記被写体の映像を前記演算部で演算された前記相対的な方向関係に応じて回転させた回転映像を、前記表示部に表示される複数の前記被写体の映像それぞれが前記表示部の表示領域内で前記相対的な位置関係を維持した位置に、表示させる制御部と、を備えることを特徴とする。
【0022】
また、本発明の映像表示システムは、前記撮像部、前記撮像位置情報取得部、および前記撮像姿勢情報取得部、を具備する複数の撮像端末と、前記表示部、前記表示姿勢情報取得部、前記記憶部、前記演算部、および前記制御部、を具備する表示端末と、から構成される、ことを特徴とする。
【0023】
また、本発明の映像表示システムの前記撮像端末は、前記表示部、前記表示姿勢情報取得部、前記記憶部、前記演算部、および前記制御部、をさらに具備する、ことを特徴とする。
【0024】
また、本発明の映像表示システムの前記表示端末は、前記撮像部、前記撮像位置情報取得部、および前記撮像姿勢情報取得部、をさらに具備する、ことを特徴とする。
【発明の効果】
【0025】
本発明によれば、複数の撮像装置が異なる被写体を撮像している場合において、それぞれの撮像装置が撮像している各被写体が存在する位置を、視覚的に認識しやすくすることができるという効果が得られる。
【図面の簡単な説明】
【0026】
【図1】本発明の第1の実施形態における映像表示システムの概略構成を示した図である。
【図2】本第1の実施形態の映像表示システムにおける撮像装置の概略構成を示したブロック図である。
【図3】本第1の実施形態の映像表示システムの撮像装置におけるデータ送出処理の手順を示したフローチャートである。
【図4】本第1の実施形態の映像表示システムにおける表示装置の概略構成を示したブロック図である。
【図5】本第1の実施形態の映像表示システムの表示装置における表示処理の手順を示したフローチャートである。
【図6】本第1の実施形態の映像表示システムの表示装置における相対位置の演算方法の一例を説明する図である。
【図7】本第1の実施形態の映像表示システムの表示装置における相対方向の演算方法の一例を説明する図である。
【図8】本第1の実施形態の映像表示システムの表示装置におけるリアルタイム映像の表示方法の一例を説明する図である。
【図9】本発明の第2の実施形態における映像表示システムの概略構成を示した図である。
【図10】本第2の実施形態の映像表示システムにおける撮像装置の概略構成を示したブロック図である。
【図11】本第2の実施形態の映像表示システムにおける表示装置の概略構成を示したブロック図である。
【図12】本発明の第3の実施形態の映像表示システムにおける表示装置の概略構成を示したブロック図である。
【図13】本第3の実施形態の映像表示システムの表示装置における相対位置の演算方法の一例を説明する図である。
【図14】本発明の第4の実施形態における映像表示システムの概略構成を示した図である。
【図15】本第4の実施形態の映像表示システムにおける表示装置の概略構成を示したブロック図である。
【図16】本発明の第5の実施形態の映像表示システムにおける情報端末の概略構成を示したブロック図である。
【発明を実施するための形態】
【0027】
<第1の実施形態>
以下、本発明の実施形態について、図面を参照して説明する。図1は、本第1の実施形態における映像表示システムの概略構成を示した図である。図1には、複数の撮像装置のそれぞれから送出されるリアルタイム映像(被写体の映像信号)と、位置情報および姿勢情報と、表示装置の姿勢情報とに基づいて、表示装置に備えた表示部に、それぞれの撮像装置から送出されたリアルタイム映像を表示する映像表示システムの一例を示している。
【0028】
なお、ここで、「リアルタイム映像」とは、撮像装置に備えた撮像部によって撮像された映像であり、表示装置に備えた表示部に表示するために、順次送出される映像のことをいうものとする。また、撮像装置の姿勢情報とは、少なくとも、撮像装置が向いている(撮影している)方向と仰俯角とを表す情報を含んだ情報のことをいい、表示装置の姿勢情報とは、少なくとも、表示装置が向いている(表示している)方向と仰俯角とを表す情報を含む情報のことをいうものとする。
【0029】
図1に示した映像表示システム1は、撮像装置110および120(以下、全ての撮像装置まとめて表すときには、「撮像装置100」という)と、表示装置200とから構成される。映像表示システム1において、撮像装置110および120は、それぞれ、表示装置200と有線で接続されている。
【0030】
映像表示システム1では、表示装置200が、撮像装置110と撮像装置120とのそれぞれから送出されるリアルタイム映像と、位置情報および姿勢情報とを取得する。その後、表示装置200は、撮像装置110と撮像装置120とのそれぞれの位置情報および姿勢情報と、表示装置200自体の姿勢情報とに基づいて、撮像装置110と撮像装置120との相対位置を演算する。また、表示装置200は、撮像装置110が撮影している方向(以下、「撮像方向」という)を基準とした、撮像装置120の相対方向を演算する。そして、表示装置200は、演算した相対位置および相対方向に基づいて、撮像装置110と撮像装置120とのそれぞれから取得したリアルタイム映像を同時に、表示装置200に備えた表示部201に表示する。
【0031】
図1に示した映像表示システム1では、撮像装置110から取得したリアルタイム映像1を表示部201の表示領域211に、撮像装置120から取得したリアルタイム映像2を表示部201の表示領域221に、それぞれ表示している様子を示している。なお、表示装置200における相対位置および相対方向の演算方法と、リアルタイム映像の表示部201への表示方法に関する詳細な説明は、後述する。
【0032】
次に、映像表示システム1の構成要素である撮像装置について説明する。なお、本第1の実施形態の映像表示システム1においては、撮像装置110と撮像装置120とは、それぞれ同様の構成である。従って、以下の説明においては、撮像装置110について説明するが、撮像装置120についても同様である。
【0033】
図2は、本第1の実施形態の映像表示システム1における撮像装置110の概略構成を示したブロック図である。図2に示したように、撮像装置110は、撮像部111と、撮像位置情報取得部112と、撮像姿勢情報取得部113と、記憶部114と、制御部115と、データ通信部116と、を備えている。
【0034】
制御部115は、撮像装置110の構成要素の動作、すなわち、撮像装置110の全体の動作を制御する。
撮像部111は、例えば、被写体を撮影するイメージャを備え、制御部115からの制御に応じて、リアルタイム映像を撮像し、撮像したリアルタイム映像を、記憶部114に出力する。
【0035】
撮像位置情報取得部112は、制御部115からの制御に応じて、撮像装置110が設置されている位置、すなわち撮像位置を検出し、検出した撮像装置110の位置を表す撮像位置情報を、記憶部114に出力する。
なお、撮像位置情報取得部112が検出する撮像位置情報は、撮像装置110の設置されている絶対位置を示す情報であり、経度と、緯度と、高度とを少なくとも含む情報である。また、撮像位置情報取得部112は、例えば、GPSセンサを備えた構成にすることが可能であり、撮像位置情報は、GPSセンサによって検出した経度と、緯度と、高度とを少なくとも含む情報であってもよい。
【0036】
撮像姿勢情報取得部113は、制御部115からの制御に応じて、撮像装置110が撮像する姿勢、すなわち撮像方向を検出し、検出した撮像装置110の姿勢を表す撮像方向情報を、記憶部114に出力する。
なお、撮像姿勢情報取得部113が検出する撮像方向情報は、北の方位を基準とした場合における撮像装置110の光軸が向いている方位を示す撮像方位情報と、地表と水平な平面を基準とした場合における撮像装置110の光軸の仰俯角を示す撮像仰俯角情報とを少なくとも含む情報である。また、撮像姿勢情報取得部113は、例えば、地磁気センサと加速度センサとを備えた構成にすることが可能であり、撮像方向情報は、地磁気センサによって検出した撮像方位情報と、加速度センサによって検出した撮像仰俯角情報とを少なくとも含む情報であってもよい。
【0037】
記憶部114は、撮像部111から出力されたリアルタイム映像と、撮像位置情報取得部112から出力された撮像位置情報と、撮像姿勢情報取得部113から出力された撮像方向情報とを、それぞれ関連付けて記憶する。
データ通信部116は、制御部115からの制御に応じて、記憶部114に記憶されているリアルタイム映像と、撮像位置情報と、撮像方向情報とを、表示装置200に送出する。
【0038】
次に、映像表示システム1における撮像装置110の動作について説明する。なお、以下の説明においては、撮像装置110の動作について説明するが、撮像装置120の動作についても同様である。図3は、本第1の実施形態の映像表示システム1の撮像装置110におけるデータ送出処理の手順を示したフローチャートである。
【0039】
制御部115は、撮像装置110にデータ送出処理を開始させる命令(データ送出処理開始命令)を受け付けると、データ送出処理を開始する。ここで、データ送出処理開始命令は、撮像装置110の電源の投入をトリガとして発行される命令である。データ送出処理が開始されると、制御部115は、撮像部111のリアルタイム映像を撮像させる。そして、撮像部111は、撮像したリアルタイム映像を、記憶部114に記憶させる(ステップS301)。また、撮像部111は、リアルタイム映像を記憶部114に記憶させたことを、制御部115に通知する。
【0040】
なお、データ送出処理開始命令の発行は、上記に述べた、電源の投入をトリガとして発行されるものに限定されるものではない。例えば、映像表示システム1を構成する表示装置200と、撮像装置110との接続が確立されたときに発行される命令であってもよい。また、撮像装置110に、撮像装置110の使用者(ユーザ)が操作するユーザインターフェース部を備えている場合、ユーザによるユーザインターフェース部の操作入力をトリガとして発行される命令であってもよい。
【0041】
続いて、制御部115は、撮像部111から、リアルタイム映像を記憶部114に記憶させたことを表す通知を受け取ると、撮像位置情報取得部112に撮像装置110の位置を検出させる。そして、撮像位置情報取得部112は、検出した撮像位置情報を、記憶部114に記憶させる(ステップS302)。また、撮像位置情報取得部112は、撮像位置情報を記憶部114に記憶させたことを、制御部115に通知する。
【0042】
続いて、制御部115は、撮像位置情報取得部112から、撮像位置情報を記憶部114に記憶させたことを表す通知を受け取ると、撮像姿勢情報取得部113に撮像装置110の姿勢を検出させる。そして、撮像姿勢情報取得部113は、検出した撮像方向情報を、記憶部114に記憶させる(ステップS303)。また、撮像姿勢情報取得部113は、撮像方向情報を記憶部114に記憶させたことを、制御部115に通知する。
【0043】
続いて、制御部115は、撮像姿勢情報取得部113から、撮像方向情報を記憶部114に記憶させたことを表す通知を受け取ると、記憶部114に記憶されているリアルタイム映像、撮像位置情報、および撮像方向情報(以下、リアルタイム映像、撮像位置情報、および撮像方向情報を合わせて「撮像装置固有データ」という)を、データ通信部116を介して表示装置200に送出する(ステップS304)。
【0044】
続いて、制御部115は、データ通信部116を介した撮像装置固有データの送出を完了すると、撮像装置110にデータ送出処理を終了させる命令(データ送出処理終了命令)が発行されているか否かを判定する(ステップS305)。ここで、データ送出処理終了命令が発行されている(ステップS305が“YES”)と判定された場合には、データ送出処理を終了する。また、データ送出処理終了命令が発行されていない(ステップS305が“NO”)と判定された場合には、ステップS301に戻って、再度、撮像部111によるリアルタイム映像の撮像から、撮像装置固有データのデータ送出処理を繰り返す。
【0045】
次に、映像表示システム1の構成要素である表示装置200について説明する。図4は、本第1の実施形態の映像表示システム1における表示装置200の概略構成を示したブロック図である。図4に示したように、表示装置200は、表示部201と、演算部202と、外部データ取得部203と、記憶部204と、制御部205と、表示姿勢情報取得部206と、を備えている。
【0046】
制御部205は、表示装置200の構成要素の動作、すなわち、表示装置200の全体の動作を制御する。
外部データ取得部203は、制御部205からの制御に応じて、映像表示システム1内の撮像装置100のそれぞれから、撮像装置固有データ(リアルタイム映像、撮像位置情報、および撮像方向情報)を取得する。外部データ取得部203は、取得したそれぞれの撮像装置固有データを、記憶部204に出力する。
【0047】
表示姿勢情報取得部206は、制御部205からの制御に応じて、表示装置200自体の姿勢、すなわち表示方向を検出し、検出した姿勢を表す表示方向情報を、記憶部204に出力する。
なお、表示姿勢情報取得部206が検出する表示方向情報は、北の方位を基準とした場合における、表示装置200に備えた表示部201の面に垂直な法線ベクトルが向いている方位を示す表示方位情報と、地表と水平な平面を基準とした場合における、表示装置200に備えた表示部201の面に垂直な法線ベクトルの仰俯角を示す表示仰俯角情報とを少なくとも含む情報である。また、表示姿勢情報取得部206は、例えば、地磁気センサと加速度センサとを備えた構成にすることが可能であり、表示方向情報は、地磁気センサによって検出した表示方位情報と、加速度センサによって検出した表示仰俯角情報とを少なくとも含む情報であってもよい。
【0048】
記憶部204は、外部データ取得部203から出力された撮像装置100の撮像装置固有データのそれぞれを関連付けて記憶する。また、記憶部204は、表示姿勢情報取得部206から出力された表示方向情報を記憶する。
【0049】
演算部202は、制御部205からの制御に応じて、記憶部204に記憶されている撮像装置固有データに含まれる各撮像装置(本第1の実施形態においては、撮像装置110と撮像装置120)の撮像位置情報および撮像方向情報と、記憶部204に記憶されている表示装置200自体の表示方向情報とに基づいて、各リアルタイム映像間の立体空間(三次元空間)における相対的な位置関係(以下、「相対位置」という)および表示方向と各リアルタイム映像の撮像方向との相対的な方向関係(以下、「相対方向」という)を演算する。
【0050】
表示部201は、例えば、LCD(Liquid Crystal Display)を備え、演算部202が演算した相対位置および相対方向に基づいた制御部205からの制御に応じて、記憶部204に記憶されている撮像装置固有データに含まれる各撮像装置(本第1の実施形態においては、撮像装置110と撮像装置120)のリアルタイム映像を表示する。
【0051】
次に、映像表示システム1における表示装置200の動作について説明する。図5は、本第1の実施形態の映像表示システム1の表示装置200における表示処理の手順を示したフローチャートである。
【0052】
制御部205は、表示装置200に表示処理を開始させる命令(表示処理開始命令)を受け付けると、表示処理を開始する。ここで、表示処理開始命令は、表示装置200の電源の投入をトリガとして発行される命令である。表示処理が開始されると、撮像装置100から、撮像装置固有データ(リアルタイム映像、撮像位置情報、および撮像方向情報)の取得を待機する状態となる(ステップS501)。
【0053】
なお、表示処理開始命令の発行は、上記に述べた、電源の投入をトリガとして発行されるものに限定されるものではない。例えば、映像表示システム1を構成する撮像装置のいずれかと、表示装置200との接続が確立されたときに発行される命令であってもよい。また、表示装置200に、表示装置200の使用者(ユーザ)が操作するユーザインターフェース部を備えている場合、ユーザによるユーザインターフェース部の操作入力をトリガとして発行される命令であってもよい。
【0054】
その後、制御部205は、撮像装置100のいずれかの撮像装置(例えば、撮像装置110)から、外部データ取得部203を介して撮像装置固有データを取得する(ステップS501が“YES”)と、取得した撮像装置固有データを、記憶部204に記憶させる。そして、制御部205は、記憶部204に記憶されている撮像装置固有データの数を参照して、複数の撮像装置固有データを取得したか否かを判定する(ステップS502)。
【0055】
ここで、複数の撮像装置固有データを取得していない(ステップS502が“NO”)と判定された場合には、ステップS501に戻って、再度、撮像装置100のいずれかの撮像装置(例えば、撮像装置120)からの撮像装置固有データの取得を待機する状態となる。また、複数の撮像装置固有データを取得した(ステップS502が“YES”)と判定された場合には、ステップS503に移行する。
【0056】
続いて、制御部205は、表示姿勢情報取得部206に表示装置200の姿勢を検出させる。そして、表示姿勢情報取得部206は、検出した表示方向情報を、記憶部204に記憶させる(ステップS503)。また、表示姿勢情報取得部206は、表示方向情報を記憶部204に記憶させたことを、制御部205に通知する。
【0057】
続いて、制御部205は、表示姿勢情報取得部206から、表示方向情報を記憶部204に記憶させたことを表す通知を受け取ると、演算部202に、1つの撮像装置(例えば、撮像装置110)の撮像位置情報(言い換えると、撮像装置110で撮像されたリアルタイム映像の撮像位置情報)を基準とした、他のそれぞれの撮像装置(例えば、撮像装置120)の相対位置を演算させる命令(相対位置演算命令)を発行する。演算部202は、制御部205からの相対位置演算命令を受け付けると、記憶部204に記憶されている撮像装置固有データに含まれる各撮像装置(撮像装置110および撮像装置120)の撮像位置情報を読み出して、相対位置を演算する。そして、演算部202は、演算した相対位置の結果を記憶部204に記憶させる(ステップS504)。また、演算部202は、相対位置を記憶部204に記憶させたことを、制御部205に通知する。なお、演算部202による相対位置の演算方法に関する詳細な説明は、後述する。
【0058】
続いて、制御部205は、演算部202から、相対位置を記憶部204に記憶させたことを表す通知を受け取ると、演算部202に、表示装置200の表示方向情報を基準とした、それぞれの撮像装置(撮像装置110および撮像装置120)の相対方向を演算させる命令(相対方向演算命令)を発行する。演算部202は、制御部205からの相対方向演算命令を受け付けると、記憶部204に記憶されている撮像装置固有データに含まれる各撮像装置(撮像装置110および撮像装置120)の撮像方向情報および表示装置200の表示方向情報を読み出して、相対方向を演算する。そして、演算部202は、演算した相対方向の結果を記憶部204に記憶させる(ステップS505)。また、演算部202は、相対方向を記憶部204に記憶させたことを、制御部205に通知する。なお、演算部202が演算する相対方向とは、表示装置200の方位を基準としたときの各撮像装置が撮影している方位である相対方位を表す情報と、表示装置200の仰俯角を基準としたときの各撮像装置が撮影している仰俯角である相対仰俯角を表す情報とを、少なくとも含む情報である。なお、演算部202による相対方向の演算方法に関する詳細な説明は、後述する。
【0059】
続いて、制御部205は、演算部202から、相対方向を記憶部204に記憶させたことを表す通知を受け取ると、記憶部204に記憶されている相対位置および相対方向に基づいて、表示部201に、記憶部204に記憶されている撮像装置100から取得した複数の撮像装置固有データに含まれるリアルタイム映像を表示させる(ステップS506)。表示部201は、リアルタイム映像を表示した後、リアルタイム映像の表示が完了したことを、制御部205に通知する。なお、表示部201に、相対位置および相対方向に基づいてリアルタイム映像を表示させる表示方法に関する詳細な説明は、後述する。
【0060】
続いて、制御部205は、表示部201から、リアルタイム映像の表示が完了したことを表す通知を受け取ると、表示装置200の表示処理を終了させる命令(表示処理終了命令)が発行されているか否かを判定する(ステップS507)。ここで、表示処理終了命令が発行されている(ステップS507が“YES”)と判定された場合には、表示処理を終了する。また、表示処理終了命令が発行されていない(ステップS507が“NO”)と判定された場合には、ステップS501に戻って、再度、撮像装置100から撮像装置固有データを取得し、取得した撮像装置固有データに基づいた表示部201への表示を繰り返す。
【0061】
次に、映像表示システム1の表示装置200の動作において、図5のステップS504に示した相対位置の演算方法について説明する。図6は、本第1の実施形態の映像表示システム1の表示装置200における相対位置の演算方法の一例を説明する図である。
【0062】
図6(a)および図6(b)において、X,Y,Zは、それぞれ経度,緯度,高度を表している。また、図6(a)は、撮像装置110と撮像装置120との位置の関係を、それぞれの撮像位置情報に基づいて表している。また、図6(b)は、撮像装置110と撮像装置120との位置の関係を、撮像装置110の位置を基準としたときの相対位置で表している。
【0063】
より具体的には、図6(a)に示した位置情報A(X1,Y1,Z1)および位置情報B(X2,Y2,Z2)は、それぞれ、撮像装置110および撮像装置120における撮像位置情報であり、図5に示したステップS501において、撮像装置100から取得した撮像装置固有データに含まれる撮像位置情報である。
【0064】
演算部202は、制御部205からの相対位置演算命令に応じて、撮像装置100の内、1つの撮像装置を基準とし、他の撮像装置の相対位置を演算する。図6(b)には、撮像装置110の位置情報A(X1,Y1,Z1)を基準(相対位置A’(0,0,0))としたときの、撮像装置120の位置情報B(X2,Y2,Z2)に対応する相対位置B’(X2’,Y2’,Z2’)を表している。撮像装置120の相対位置B’(X2’,Y2’,Z2’)は、下式(1)によって求められる。
【0065】
【数1】
【0066】
次に、映像表示システム1の表示装置200の動作において、図5のステップS505に示した相対方向の演算方法について説明する。図7は、本第1の実施形態の映像表示システム1の表示装置200における相対方向の演算方法の一例を説明する図である。
【0067】
図7(a)および図7(b)において、X,Yは、それぞれ北方向,東方向を表している。また、図7(a)は、表示装置200と、撮像装置110と、撮像装置120との方位の関係を、それぞれの表示方向情報および撮像方向情報に基づいて表している。また、図7(b)は、表示装置200と、撮像装置110および撮像装置120の方位の関係を、表示装置200の方位を基準としたときの相対方位で表している。
【0068】
より具体的には、図7(a)に示した方位情報θ1、方位情報φ1、および方位情報δ1は、それぞれ、表示装置200における表示方向情報、撮像装置110、および撮像装置120の撮像方向情報であり、方位情報θ1は、図5に示したステップS503において、表示姿勢情報取得部206が検出した表示装置200の方位を表す情報、方位情報φ1および方位情報δ1は、図5に示したステップS501において、撮像装置100から取得した撮像装置固有データに含まれる撮像装置110および撮像装置120の方位を表す情報である。
【0069】
演算部202は、制御部205からの相対方向演算命令に応じて、表示装置200の方位を基準としたときの、撮像装置110および撮像装置120の相対方位を演算する。図7(b)には、表示装置200における表示方向情報である方位情報θ1を基準としたときの、撮像装置110の撮像方向情報である方位情報φ1に対応する相対方位情報φ1’、および撮像装置120の撮像方向情報である方位情報δ1に対応する相対方位情報δ1’をそれぞれ表している。撮像装置110の相対方位情報φ1’および撮像装置120の相対方位情報δ1’は、下式(2)によって求められる。
【0070】
【数2】
【0071】
図7(c)および図7(d)において、X,Yは、経度,緯度の方向を表しており、Zは、高度の方向を表している。また、図7(c)は、表示装置200と、撮像装置110と、撮像装置120との仰俯角の関係を、それぞれの表示方向情報および撮像方向情報に基づいて表している。また、図7(d)は、表示装置200と、撮像装置110および撮像装置120の仰俯角の関係を、表示装置200の仰俯角を基準としたときの相対仰俯角で表している。
【0072】
より具体的には、図7(c)に示した仰俯角θ2、仰俯角φ2、および仰俯角δ2は、それぞれ、表示装置200における表示方向情報、撮像装置110、および撮像装置120の撮像方向情報であり、仰俯角θ2は、図5に示したステップS503において、表示姿勢情報取得部206が検出した表示装置200の仰俯角を表す情報、仰俯角φ2および仰俯角δ2は、図5に示したステップS501において、撮像装置100から取得した撮像装置固有データに含まれる撮像装置110および撮像装置120の仰俯角を表す情報である。
【0073】
演算部202は、制御部205からの相対方向演算命令に応じて、表示装置200を基準とし、撮像装置110および撮像装置120の相対仰俯角を演算する。図7(d)には、表示装置200における表示方向情報である仰俯角θ2を基準としたときの、撮像装置110の撮像方向情報である仰俯角φ2に対応する相対仰俯角φ2’、および撮像装置120の撮像方向情報である仰俯角δ2に対応する相対仰俯角δ2’をそれぞれ表している。撮像装置110の相対仰俯角φ2’および相対仰俯角δ2’は、下式(3)によって求められる。
【0074】
【数3】
【0075】
次に、映像表示システム1の表示装置200の動作において、図5のステップS506に示したリアルタイム映像の表示方法について説明する。図8は、本第1の実施形態の映像表示システム1の表示装置200におけるリアルタイム映像の表示方法の一例を説明する図である。
【0076】
図8(a)において、X,Y,Zは、それぞれ経度,緯度,高度を表している。また、図8(a)は、図5のステップS504で演算部202が演算した、撮像装置110の位置を基準とした撮像装置110と撮像装置120との相対位置を表している。つまり、図8(a)は、図6(b)と同様である。よって、図8(a)に表した相対位置A’(0,0,0)は、基準とする撮像装置110の撮像位置情報を表し、相対位置B’(X2’,Y2’,Z2’)は、撮像装置120の撮像位置情報を表している。
【0077】
ここで、表示装置200がY軸方向を向いている場合における撮像装置110と撮像装置120との相対位置の演算方法について説明する。図8(b)は、表示装置200がY軸方向を向いている場合の撮像装置110と撮像装置120との相対位置を演算した結果を表している。図8(b)において、X,Zは、それぞれ経度,高度を表している。
【0078】
図8(b)に示したように、表示装置200がY軸方向を向いている場合には、図8(a)に表した相対位置A’(0,0,0)および相対位置B’(X2’,Y2’,Z2’)を、X−Z平面に投影する投影位置の演算を行う。図8(b)に示した投影位置A’(0,0)は、撮像装置110の相対位置A’(0,0,0)をX−Z平面上に投影した場合の投影位置の演算結果を表し、投影位置B’(X2’,Z2’)は、撮像装置120の相対位置B’(X2’,Y2’,Z2’)をX−Z平面上に投影した場合の投影位置の演算結果を表している。
【0079】
なお、図8(b)においては、表示装置200がY軸方向を向いている場合を示しているため、演算部202が演算した撮像装置110と撮像装置120との相対位置をX−Z平面上に投影する投影位置の演算を行ったが、例えば、表示装置200がX軸方向を向いている場合には、撮像装置110と撮像装置120との相対位置をY−Z平面に投影する投影位置の演算を行えばよい。すなわち、投影位置の演算は、表示装置200が向いている方向に応じて、表示装置200が向いている方向と垂直に交わる面に投影する演算を行えばよい。
【0080】
図8(c)は、撮像装置110と撮像装置120との投影位置に基づいて、撮像装置110から取得したリアルタイム映像1と、撮像装置120から取得したリアルタイム映像2とを、それぞれ、表示装置200の表示部201の表示領域内に配置して表示している様子を示している。
【0081】
図8(c)に示したように、表示部201の表示領域内へのリアルタイム映像1とリアルタイム映像2との配置は、図8(b)で表された撮像装置110の投影位置A’(0,0)と撮像装置120の投影位置B’(X2’,Z2’)とのベクトル数式(4)(以下、「ベクトル→A’B’」と表す)の相関を保持するように配置する。
【0082】
【数4】
【0083】
なお、表示部201の表示領域内のリアルタイム映像の配置は、上述したように、撮像装置100のそれぞれの投影位置のベクトルの相関を保持していればよく、リアルタイム映像1とリアルタイム映像2との間の距離は、図8(c)に示した配置に限定されるものではない。例えば、図8(d)に示したように、リアルタイム映像1を表示部201の表示領域内の中央に配置して表示してもよい。また、撮像装置100のそれぞれの投影位置のベクトルの相関から、リアルタイム映像が重なる場合には、投影した軸(図8(b)ではY軸)において、手前に配置されている撮像装置100のいずれかの撮像装置のリアルタイム映像が、奥に存在する撮像装置100のいずれかの撮像装置のリアルタイム映像の上に重なるように表示してもよい。すなわち、撮像装置110と撮像装置120との投影位置のベクトルの相関を保持していれば、図8(d)に示したように、リアルタイム映像2を、リアルタイム映像1の手前の位置に重なるように配置して表示してもよい。
【0084】
続いて、表示装置200の表示部201に配置するリアルタイム映像の回転方法について説明する。図8(e)〜図8(h)において、X,Y,Zは、それぞれ経度,緯度,高度を表している。
【0085】
図8(e)は、図5のステップS505で演算部202が演算した、撮像装置110の相対方位情報φ1’に基づいて、Z軸を中心としてリアルタイム映像1が回転している様子を示している。また、図8(f)は、図5のステップS505で演算部202が演算した、撮像装置120の相対方位情報δ1’に基づいて、Z軸を中心としてリアルタイム映像2が回転している様子を示している。
【0086】
また、図8(g)は、図5のステップS505で演算部202が演算した、撮像装置110の相対仰俯角φ2’に基づいて、X軸を中心としてリアルタイム映像1が回転している様子を示している。また、図8(h)は、図5のステップS505で演算部202が演算した、撮像装置120の相対仰俯角δ2’に基づいて、X軸を中心としてリアルタイム映像2が回転している様子を示している。
【0087】
図8(i)は、撮像装置110の投影位置A’(0,0)と撮像装置120の投影位置B’(X2’,Z2’)とのベクトル→A’B’の相関に基づいてリアルタイム映像1とリアルタイム映像2とを表示部201の表示領域内に配置し、さらに、リアルタイム映像1を相対方位情報φ1’と相対仰俯角φ2’とに基づいて回転し、リアルタイム映像2を相対方位情報δ1’と相対仰俯角δ2’とに基づいて回転して表示している様子を示している。すなわち、表示部201は、被写体の回転映像を表示する。
【0088】
このように、映像表示システム1の表示装置200は、演算部202が演算した相対位置(投影位置)と相対方向(相対方位情報と相対仰俯角)とに基づいて、撮像装置110から取得したリアルタイム映像1と、撮像装置120から取得したリアルタイム映像2とを、それぞれ、表示装置200の表示部201の表示領域に表示する。
【0089】
なお、リアルタイム映像の表示部201への表示は、リアルタイム映像を回転した場合であっても、上述したように、撮像装置100のそれぞれの投影位置のベクトルの相関を保持していればよい。従って、例えば、図8(j)に示したように、回転したリアルタイム映像1を表示部201の表示領域内の中央に配置し、回転したリアルタイム映像2を、リアルタイム映像1の手前の位置に重なるように配置して表示してもよい。
【0090】
上記に述べたとおり、本第1の実施形態の映像表示システム1では、リアルタイム映像を送出する撮像装置100の撮像位置情報に基づいて、リアルタイム映像を、表示装置200に備えた表示部201の表示領域内に配置する。また、本第1の実施形態の映像表示システム1では、撮像装置100が撮影している撮像方向情報に基づいて、リアルタイム映像を回転して表示部201に表示する。これにより、表示装置200は、複数の撮像装置100が異なる被写体を撮像し、被写体が複数存在する場合においても、それぞれの被写体が存在する位置の関係を視覚的に認識しやすくしたリアルタイム映像を表示することができる。
【0091】
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。図9は、本第2の実施形態における映像表示システムの概略構成を示した図である。図9に示した映像表示システム9は、図1に示した映像表示システム1と同様に、複数の撮像装置のそれぞれから送出されるリアルタイム映像と、撮像位置情報および撮像方向情報と、表示装置の表示方向情報とに基づいて、表示装置に備えた表示部に、それぞれの撮像装置から送出されたリアルタイム映像を表示する。
【0092】
図9に示した映像表示システム9は、撮像装置910および920(以下、全ての撮像装置まとめて表すときには、「撮像装置900」という)と、表示装置1000とから構成される。図9に示した映像表示システム9と図1に示した映像表示システム1との異なる点は、撮像装置910および920が、それぞれ、表示装置1000と無線で接続されていることである。これにより、撮像装置900および表示装置1000の構成が、図2に示した撮像装置110の構成および図4に示した表示装置200の構成と異なる。
【0093】
図10は、本第2の実施形態の映像表示システム9における撮像装置910の概略構成を示したブロック図である。図10に示したように、撮像装置910は、撮像部111と、撮像位置情報取得部112と、撮像姿勢情報取得部113と、記憶部114と、制御部115と、無線通信部911と、アンテナ912と、を備えている。なお、本第9の実施形態の映像表示システム9においても、撮像装置910と撮像装置920とは、それぞれ同様の構成である。
【0094】
本第2の実施形態における撮像装置910と、図2に示した第1の実施形態における撮像装置110との構成の違いは、データ通信部116に代わって無線通信部911を備え、さらに、アンテナ912を備えたことのみである。この構成の違いは、図2に示した第1の実施形態における撮像装置110が、撮像装置固有データを有線で表示装置200に送出していたのに対し、撮像装置910では、撮像装置固有データを無線で表示装置1000に送出することに対応していることによる。従って、撮像装置910と、図2に示した第1の実施形態における撮像装置110とにおいて、同様の構成要素については、同一の符号を付与し、詳細な説明は省略する。
【0095】
無線通信部911は、制御部115からの制御に応じて、記憶部114に記憶されている撮像装置固有データ(リアルタイム映像、撮像位置情報、および撮像方向情報)を、アンテナ912を介して、表示装置1000に送出する。
【0096】
また、本第2の実施形態における撮像装置910と、図2に示した第1の実施形態における撮像装置110との動作の違いは、上述したように、撮像装置固有データを表示装置1000に送出する方法、すなわち、無線で撮像装置固有データを送出するのみである。従って、撮像装置910の動作は、図3に示した第1の実施形態の撮像装置110におけるデータ送出処理と同様であるため、詳細な説明は省略する。
【0097】
図11は、本第2の実施形態の映像表示システム9における表示装置1000の概略構成を示したブロック図である。図11に示したように、表示装置1000は、表示部201と、演算部202と、記憶部204と、制御部205と、表示姿勢情報取得部206と、無線通信部1001と、アンテナ1002と、を備えている。
【0098】
本第2の実施形態における表示装置1000と、図4に示した第1の実施形態における表示装置200との構成の違いは、外部データ取得部203に代わって無線通信部1001を備え、さらに、アンテナ1002を備えたことのみである。この構成の違いは、図4に示した第1の実施形態における表示装置200が、撮像装置固有データを有線で撮像装置100から取得していたのに対し、表示装置1000では、撮像装置固有データを無線で撮像装置900から取得することに対応していることによる。従って、表示装置1000と、図4に示した第1の実施形態における表示装置200とにおいて、同様の構成要素については、同一の符号を付与し、詳細な説明は省略する。
【0099】
無線通信部1001は、制御部205からの制御に応じて、映像表示システム9内の撮像装置900のそれぞれから、撮像装置固有データ(リアルタイム映像、撮像位置情報、および撮像方向情報)を、アンテナ1002を介して、取得する。無線通信部1001は、取得したそれぞれの撮像装置固有データを、記憶部204に出力する。
【0100】
また、本第2の実施形態における表示装置1000と、図4に示した第1の実施形態における表示装置200との動作の違いは、上述したように、撮像装置固有データを撮像装置900から取得する方法、すなわち、無線で撮像装置固有データを取得するのみである。従って、表示装置1000の動作は、図5〜図8に示した第1の実施形態の表示装置200における表示処理と同様であるため、詳細な説明は省略する。
【0101】
上記に述べたとおり、本第2の実施形態の映像表示システム9でも、第1の実施形態の映像表示システム1と同様に、リアルタイム映像を送出する撮像装置900の撮像位置情報に基づいて、リアルタイム映像を、表示装置1000に備えた表示部201に表示する。これにより、表示装置1000でも、第1の実施形態の映像表示システム1における表示装置200と同様に、複数の撮像装置900が撮像した、異なる被写体が存在する位置の関係を視覚的に認識しやすくしたリアルタイム映像を表示することができる。
【0102】
また、本第2の実施形態の映像表示システム9では、撮像装置900と表示装置1000とが、無線で接続されている。これにより、表示装置1000を移動させることが容易になり、第1の実施形態の映像表示システム1における表示装置200よりも、さらに、それぞれの被写体が存在する位置の関係が認識しやすいリアルタイム映像を表示することができる。
【0103】
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。本第3の実施形態の映像表示システムでは、表示装置にリアルタイム映像を表示する際の基準が、第1の実施形態の映像表示システム1および第2の実施形態の映像表示システム9と異なる。より具体的には、表示装置が、表示装置自体の位置、すなわち表示位置を基準として、本第3の実施形態の映像表示システム内の撮像装置から取得したリアルタイム映像を表示する。これにより、本第3の実施形態の映像表示システムでは、表示装置1000の構成が、図4に示した表示装置200の構成と異なる。なお、本第3の実施形態の映像表示システムでは、撮像装置の構成は、図2に示した撮像装置110の構成と同様であるため、詳細な説明は省略する。
【0104】
図12は、本発明の第3の実施形態の映像表示システムにおける表示装置の概略構成を示したブロック図である。図12に示したように、表示装置1200は、表示部201と、演算部202と、外部データ取得部203と、記憶部204と、制御部205と、表示姿勢情報取得部206と、表示位置情報取得部1201と、を備えている。
【0105】
本第3の実施形態における表示装置1200と、図4に示した第1の実施形態における表示装置200との構成の違いは、さらに、表示位置情報取得部1201を備えたことのみである。その他の構成要素は、図4に示した第1の実施形態における表示装置200の構成要素と同様である。従って、同様の構成要素については、同一の符号を付与し、詳細な説明は省略する。
【0106】
表示位置情報取得部1201は、制御部205からの制御に応じて、表示装置1200自体が設置されている位置、すなわち表示位置を検出し、検出した表示装置1200の位置を表す表示位置情報を、記憶部204に出力する。この表示装置1200が検出した表示位置情報が、表示装置1200に備えた表示部201にリアルタイム映像を表示する際の基準となる。
なお、表示位置情報取得部1201が検出する表示位置情報は、表示装置1200の設置されている絶対位置を示す情報であり、経度と、緯度と、高度とを少なくとも含む情報である。また、表示位置情報取得部1201は、例えば、GPSセンサを備えた構成にすることが可能であり、表示位置情報は、GPSセンサによって検出した経度と、緯度と、高度とを少なくとも含む構成の情報であってもよい。
【0107】
演算部202は、制御部205からの制御に応じて、記憶部204に記憶されている表示装置1200自体の表示方向情報および表示位置情報と、記憶部204に記憶されている撮像装置固有データに含まれる各撮像装置(例えば、第1の実施形態における撮像装置110と撮像装置120)の撮像位置情報および撮像方向情報とに基づいて、相対位置および相対方向を演算する。
【0108】
次に、本第3の実施形態における表示装置1200の動作について説明する。なお、本第3の実施形態における表示装置1200における表示処理の手順は、図5に示した第1の実施形態の表示装置200における表示処理の手順を示したフローチャートと同様であるため、詳細な説明は省略する。ただし、図5のステップS504に示した相対位置の演算方法は、以下に説明する方法となる。また、本第3の実施形態における表示装置1200では、図5のステップS502におけるデータ数の判定は、表示装置1200の表示位置情報を含むデータの総数で判定が行われる。
【0109】
以下の説明においては、図1に示した第1の実施形態の映像表示システム1において、表示装置200の代わりに、本第3の実施形態の表示装置1200を備えているものとして説明する。なお、本第3の実施形態の映像表示システムにおける表示装置1200と各撮像装置との接続は、第2の実施形態の映像表示システム9と同様に、無線で接続される構成であってもよい。
【0110】
制御部205は、表示姿勢情報取得部206から、表示方向情報を記憶部204に記憶させたことを表す通知を受け取ると、ステップS504において、演算部202に、表示装置1200の表示位置情報を基準とした、各撮像装置(撮像装置110および撮像装置120)の相対位置を演算させる命令(相対位置演算命令)を発行する。演算部202は、制御部205からの相対位置演算命令を受け付けると、記憶部204に記憶されている表示装置1200自体の表示位置情報と、記憶部204に記憶されている撮像装置固有データに含まれる各撮像装置(撮像装置110および撮像装置120)の撮像位置情報とを読み出して、相対位置を演算する。そして、演算部202は、演算した相対位置の結果を記憶部204に記憶させる。また、演算部202は、相対位置を記憶部204に記憶させたことを、制御部205に通知する。
【0111】
ここで、演算部202による相対位置の演算方法について説明する。図13は、本第3の実施形態の映像表示システムの表示装置1200における相対位置の演算方法の一例を説明する図である。図13(a)および図13(b)において、X,Y,Zは、それぞれ経度,緯度,高度を表している。また、図13(a)は、表示装置1200と、撮像装置110と、撮像装置120との位置の関係を、それぞれの表示位置情報および撮像位置情報に基づいて表している。また、図13(b)は、表示装置1200と、撮像装置110と、撮像装置120との位置の関係を、表示装置1200の位置を基準としたときの相対位置で表している。
【0112】
より具体的には、図13(a)に示した位置情報A(X1,Y1,Z1)は、表示位置情報取得部1201が検出した表示装置1200の表示位置情報である。また、位置情報B(X2,Y2,Z2)および位置情報C(X3,Y3,Z3)は、それぞれ、撮像装置110および撮像装置120における撮像位置情報であり、図5に示したステップS501において、撮像装置100から取得した撮像装置固有データに含まれる撮像位置情報である。
【0113】
演算部202は、制御部205からの相対位置演算命令に応じて、上式(1)と同様の演算を行って、表示装置1200の位置を基準としたときの撮像装置110および撮像装置120の相対位置を演算する。図13(b)には、表示装置1200の位置情報A(X1,Y1,Z1)を基準(相対位置A’(0,0,0))としたときの、撮像装置110の位置情報B(X2,Y2,Z2)に対応する相対位置B’(X2’,Y2’,Z2’)と、撮像装置120の位置情報C(X3,Y3,Z3)に対応する相対位置C’(X3’,Y3’,Z3’)とを表している。
【0114】
以降、制御部205は、図5および図7〜図8に示した第1の実施形態の表示装置200における表示処理と同様に表示処理を行い、表示装置1200自体の表示位置情報を基準としたときの、撮像装置110から取得したリアルタイム映像1と、撮像装置120から取得したリアルタイム映像2とを同時に、表示装置1200の表示部201の表示領域に表示する。
【0115】
上記に述べたとおり、本第3の実施形態の映像表示システムでは、表示装置1200の表示位置情報に基づいて、撮像装置から取得したリアルタイム映像を、表示装置1200に備えた表示部201に表示する。これにより、表示装置1200でも、第1の実施形態の映像表示システム1における表示装置200、または第2の実施形態の映像表示システム9における表示装置1000と同様に、複数の撮像装置が撮像した、異なる被写体が存在する位置の関係を視覚的に認識しやすくしたリアルタイム映像を表示することができる。
【0116】
また、本第3の実施形態の映像表示システムにおける表示装置1200では、表示装置1200の位置を基準としてリアルタイム映像を表示している。これにより、第1の実施形態の映像表示システム1における表示装置200や第2の実施形態の映像表示システム9における表示装置1000よりも、さらに、それぞれの被写体が存在する位置の関係が認識しやすいリアルタイム映像を表示することができる。
【0117】
<第4の実施形態>
次に、本発明の第4の実施形態について説明する。図14は、本第4の実施形態における映像表示システムの概略構成を示した図である。図14に示した映像表示システム14は、図1に示した映像表示システム1と同様に、複数の撮像装置のそれぞれから送出されるリアルタイム映像と、撮像位置情報および撮像方向情報と、表示装置の表示方向情報とに基づいて、表示装置に備えた表示部に、それぞれの撮像装置から送出されたリアルタイム映像を表示する。また、図14に示した映像表示システム14では、表示装置にも撮像部を備え、表示装置自体が撮像したリアルタイム映像も表示する。
【0118】
図14に示した映像表示システム14は、撮像装置1410および1420(以下、全ての撮像装置まとめて表すときには、「撮像装置1400」という)と、表示装置1500とから構成される。図14に示した映像表示システム14と図1に示した映像表示システム1との異なる点は、表示装置1500もリアルタイム映像を撮像することである。
【0119】
図14に示した映像表示システム14では、表示装置1500自体が撮像したリアルタイム映像1を表示部201の表示領域1501に、撮像装置1410から取得したリアルタイム映像2を表示部201の表示領域1511に、撮像装置1420から取得したリアルタイム映像3を表示部201の表示領域1521に、それぞれ表示している様子を示している。
【0120】
映像表示システム14では、上述したように、表示装置1500もリアルタイム映像を撮像する。これにより、表示装置1500の構成が、図4に示した表示装置200の構成と異なる。
【0121】
図15は、本第4の実施形態の映像表示システム14における表示装置1500の概略構成を示したブロック図である。図14に示したように、表示装置1500は、表示部201と、演算部202と、記憶部204と、制御部205と、表示姿勢情報取得部206と、撮像部1501と、撮像位置情報取得部1502と、撮像姿勢情報取得部1503と、データ通信部1504と、を備えている。
【0122】
本第4の実施形態における表示装置1500と、図4に示した第1の実施形態における表示装置200との構成の違いは、外部データ取得部203に代わってデータ通信部1504を備え、さらに、撮像部1501と、撮像位置情報取得部1502と、撮像姿勢情報取得部1503と、を備えたことのみである。その他の構成要素は、図4に示した第1の実施形態における表示装置200の構成要素と同様である。従って、同様の構成要素については、同一の符号を付与し、詳細な説明は省略する。
【0123】
撮像部1501は、例えば、被写体を撮影するイメージャを備え、制御部205からの制御に応じて、リアルタイム映像を撮像し、撮像したリアルタイム映像を、記憶部204に出力する。
【0124】
撮像位置情報取得部1502は、制御部205からの制御に応じて、表示装置1500が設置されている位置、すなわち撮像位置を検出し、検出した表示装置1500の位置を表す撮像位置情報を、記憶部204に出力する。
なお、撮像位置情報取得部1502が検出する撮像位置情報は、表示装置1500の設置されている絶対位置を示す情報であり、経度と、緯度と、高度とを少なくとも含む情報である。また、撮像位置情報取得部1502は、例えば、GPSセンサを備えた構成にすることが可能であり、撮像位置情報は、GPSセンサによって検出した経度と、緯度と、高度とを少なくとも含む情報であってもよい。
【0125】
撮像姿勢情報取得部1503は、制御部205からの制御に応じて、表示装置1500が撮像する姿勢、すなわち撮像方向を検出し、検出した表示装置1500の姿勢を表す撮像方向情報を、記憶部204に出力する。
なお、撮像姿勢情報取得部1503が検出する撮像方向情報は、表示装置1500に備えた撮像部1501の光軸が向いている方向に関する、撮像方位情報と、撮像仰俯角情報とを含む情報である。また、表示装置1500に備えた撮像部1501の光軸が向いている方向を示すベクトルの逆ベクトルは、表示装置1500に備えた表示部201の面に垂直な法線ベクトルと一致する。つまり、撮像方向情報と表示方向情報とは、反転した場合に一致する情報である。また、撮像姿勢情報取得部1503は、例えば、地磁気センサと加速度センサとを備えた構成にすることが可能であり、撮像方向情報は、地磁気センサによって検出した撮像方位情報と、加速度センサによって検出した撮像仰俯角情報とを少なくとも含む情報であってもよい。
【0126】
データ通信部1504は、制御部205からの制御に応じて、記憶部204に記憶されているリアルタイム映像と、撮像位置情報と、撮像方向情報とを、表示装置に送出する。また、データ通信部1504は、制御部205からの制御に応じて、映像表示システム14内の撮像装置1400のそれぞれから、撮像装置固有データ(リアルタイム映像、撮像位置情報、および撮像方向情報)を取得する。データ通信部1504は、取得したそれぞれの撮像装置固有データを、記憶部204に出力する。
【0127】
制御部205は、記憶部204に記憶されている撮像部1501が撮像したリアルタイム映像を、表示部201の中心に位置する表示領域1501に表示させる。つまり、制御部205は、表示装置1500自体が撮像したリアルタイム映像を中心の位置に、他のリアルタイム映像よりも大きく表示させる。さらに、制御部205は、図4に示した第1の実施形態における表示装置200と同様に、記憶部204に記憶されている撮像装置1400から取得した複数の撮像装置固有データに含まれるリアルタイム映像を、撮像装置1410と撮像装置1420との位置の相関を保持した状態で、表示部201に表示させる(図14参照)。
【0128】
なお、本第4の実施形態における表示装置1500と、図4に示した第1の実施形態における表示装置200との動作の違いは、上述したように、表示装置1500自体が撮像したリアルタイム映像を表示することのみである。従って、表示装置1500の動作は、図5〜図8に示した第1の実施形態における表示装置200における表示処理とほぼ同様であるため、詳細な説明は省略する。なお、本第4の実施形態の映像表示システム14における表示装置1500と撮像装置1400との接続は、第2の実施形態の映像表示システム9と同様に、無線で接続される構成であってもよい。
【0129】
また、本第4の実施形態における表示装置1500は、第3の実施形態における表示装置1200と同様に、さらに表示位置情報取得部を備え、表示位置情報取得部で取得される表示装置1500の表示位置情報を基準としたときの撮像装置1400の撮像位置情報に基づいて、表示装置1500自体が撮像したリアルタイム映像と、撮像装置1400が撮像したリアルタイム映像とを表示する構成であってもよい。なお、この場合には、表示位置情報取得部が取得する表示位置情報と、撮像位置情報取得部1502が取得する撮像位置情報とは、一致する情報である。
【0130】
なお、本第4の実施形態における表示装置1500では、3つのリアルタイム映像(表示装置1500自体で撮像したリアルタイム映像と撮像装置(例えば、第3の実施形態の撮像装置110、撮像装置120)が撮像したリアルタイム映像)とを表示する場合について説明したが、表示装置1500に表示するリアルタイム映像は、本第4の実施形態に限定されるものではない。例えば、表示装置1500に、2つのリアルタイム映像(表示装置1500自体で撮像したリアルタイム映像と撮像装置(例えば第3の実施形態の撮像装置110)が撮像したリアルタイム映像)のみを表示してもよい。
【0131】
上記に述べたとおり、本第4の実施形態の映像表示システム14では、表示装置1500自体が撮像したリアルタイム映像を、表示装置1500に備えた表示部201の表示領域内に配置する。また、本第4の実施形態の映像表示システム14でも、第1の実施形態の映像表示システム1と同様に、リアルタイム映像を送出する撮像装置1400の撮像位置情報に基づいたリアルタイム映像を、表示部201に表示する。これにより、表示装置1500でも、第1の実施形態の映像表示システム1における表示装置200、または第2の実施形態の映像表示システム9における表示装置1000と同様に、複数の撮像装置1400が撮像した、異なる被写体が存在する位置の関係を視覚的に認識しやすくしたリアルタイム映像を表示することができる。
【0132】
また、本第4の実施形態の映像表示システム14における表示装置1500では、表示装置1500自体が撮像したリアルタイム映像を同時に表示する。これにより、第1の実施形態の映像表示システム1における表示装置200や第2の実施形態の映像表示システム9における表示装置1000よりも、さらに、それぞれの被写体が存在する位置の関係が認識しやすいリアルタイム映像を表示することができる。
【0133】
<第5の実施形態>
次に、本発明の第5の実施形態について説明する。本第5の実施形態の映像表示システムでは、表示装置と撮像装置とが共に同様の構成となっている。以下の説明においては、表示装置および撮像装置を、「情報端末」という。そして、それぞれの情報端末は、第1〜第4の実施形態における表示装置と撮像装置とのそれぞれが行っていた処理を、共に行うことができる構成となっている。また、それぞれの情報端末は、互いに、撮像装置固有データを双方向で送受信することができる。
【0134】
図16は、本第5の実施形態の映像表示システムにおける情報端末の概略構成を示したブロック図である。図16に示したように、情報端末1600は、撮像部111と、表示部201と、演算部202と、記憶部204と、制御部205と、表示姿勢情報取得部206と、表示位置情報取得部1201と、撮像位置情報取得部112と、撮像姿勢情報取得部113と、データ通信部1601と、を備えている。
【0135】
本第5の実施形態における情報端末1600と、例えば、図4に示した第1の実施形態における表示装置200との構成の違いは、外部データ取得部203に代わってデータ通信部1601を備え、さらに、撮像部111と、表示位置情報取得部1201と、撮像位置情報取得部112と、撮像姿勢情報取得部113と、を備えたことである。しかし、撮像部111と、撮像位置情報取得部112と、撮像姿勢情報取得部113とは、図2に示した第1の実施形態における撮像装置110の構成要素と同様である。また、表示位置情報取得部1201は、図12に示した第3の実施形態における表示装置1200の構成要素と同様である。従って、図4に示した第1の実施形態における表示装置200、図12に示した第3の実施形態における表示装置1200、または図2に示した第1の実施形態における撮像装置110と同様である情報端末1600の構成要素については、同一の符号を付与し、詳細な説明は省略する。
【0136】
データ通信部1601は、有線または無線によって、本第5の実施形態の映像表示システムの構成要素である他の情報端末1600に備えたデータ通信部1601とデータの通信を行う。データ通信部1601は、制御部205からの制御に応じて、記憶部204に記憶されている、情報端末1600自体が撮像または検出した撮像装置固有データ(リアルタイム映像、撮像位置情報、および撮像方向情報)を、本第5の実施形態の映像表示システム内の他の情報端末1600のそれぞれに送出する。
【0137】
また、データ通信部1601は、本第5の実施形態の映像表示システム内の他の情報端末1600のそれぞれから、撮像装置固有データ(リアルタイム映像、撮像位置情報、および撮像方向情報)を取得する。そして、データ通信部1601は、取得したそれぞれの撮像装置固有データを、記憶部204に出力する。
【0138】
また、本第5の実施形態における情報端末1600の動作と、第1〜第4の実施形態における表示装置および撮像装置のそれぞれの動作との違いは、撮像装置固有データを、本第5の実施形態の映像表示システム内の他の情報端末1600のそれぞれと送受信することのみである。すなわち、本第5の実施形態の映像表示システム内の情報端末1600のそれぞれは、第1〜第4の実施形態の表示装置における表示処理、または第1〜第4の実施形態の撮像装置にけるデータ送出処理のいずれかと同様の動作を行う。従って、情報端末1600の動作に関する詳細な説明は省略する。
【0139】
上記に述べたとおり、本第5の実施形態の映像表示システムでは、第1〜第4の実施形態のいずれかの映像表示システムと同様に、他の情報端末1600から取得したリアルタイム映像を、他の情報端末1600の撮像位置情報に基づいて、自情報端末1600に備えた表示部201に表示する。これにより、情報端末1600は、第1〜第4の実施形態の映像表示システムにおける表示装置と同様に、複数の他の情報端末1600が撮像した、異なる被写体が存在する位置の関係を視覚的に認識しやすくしたリアルタイム映像を表示することができる。さらに、そして、第1〜第4の実施形態のいずれかの映像表示システムと同様の効果を得ることができる。
【0140】
また、本第5の実施形態の映像表示システムにおける情報端末1600では、本第5の実施形態の映像表示システム内のそれぞれの情報端末1600が互いに、撮像装置固有データを双方向で送受信する。そして、本第5の実施形態の映像表示システム内の全ての情報端末1600で、リアルタイム映像を表示する。これにより、どの情報端末1600を用いても、それぞれの被写体が存在する位置の関係が認識しやすいリアルタイム映像を表示することができる。
【0141】
上記に述べたとおり、本発明を実施するための最良の形態によれば、映像表示システム内の複数の撮像装置(情報端末)が撮像したリアルタイム映像を、それぞれの撮像装置(情報端末)の撮像位置情報および撮像方向情報に基づいて、映像表示システム内の表示装置(情報端末)に表示する。すなわち、本発明を実施するための最良の形態によれば、リアルタイム映像を、被写体を撮像している撮像装置(情報端末)の位置や方向の関係を反映した状態で表示する、いわゆる、マルチビュー表示を行う。これにより、複数の撮像装置(情報端末)が異なる被写体を撮像し、被写体が複数存在する場合においても、表示装置(情報端末)に表示されたリアルタイム映像から、それぞれの被写体が存在する位置の関係を視覚的に認識することができる。
【0142】
また、本発明を実施するための最良の形態によれば、表示装置(情報端末)の姿勢や位置に応じて撮像装置(情報端末)が撮像したリアルタイム映像を表示する。これにより、それぞれの被写体が存在する位置の関係を、より正確に認識することができる。
【0143】
なお、本実施形態においては、表示装置に備えた制御部205が、演算部202が演算した相対位置および相対方向に基づいて、表示部201に表示するリアルタイム映像の表示方法を制御する、すなわち、表示領域内のリアルタイム映像の配置やリアルタイム映像の回転方法を制御する表示制御部を、制御部205内に備えた構成について説明した。しかし、表示部201に表示するリアルタイム映像の表示方法を制御する構成は、本発明を実施するための形態に限定されるものではない。例えば、表示装置に備えた表示部201内に、演算部202が演算した相対位置および相対方向に基づいてリアルタイム映像の表示方法を制御する表示制御部を備える構成することもできる。
【0144】
また、本実施形態においては、表示装置に備えた演算部202と制御部205とが、それぞれ異なる構成要素である場合について説明したが、表示装置内の構成要素の構成は、本発明を実施するための形態に限定されるものではない。例えば、表示装置に備えた演算部202と制御部205との機能を、例えば、CPUなどの1つの処理装置で実現する構成にすることもできる。これにより、上述した表示制御部の機能を含めて1つの処理装置で処理する、すなわち、相対位置および相対方向の演算と、リアルタイム映像の表示方法の制御とを、1つの処理装置で処理する構成にすることができる。
【0145】
また、本実施形態においては、撮像装置固有データが、リアルタイム映像と、撮像位置情報と、撮像方向情報とを含むものとして説明したが、撮像装置固有データ内のデータの構成は、本発明を実施するための形態に限定されるものではない。例えば、1秒分のリアルタイム映像は、複数のフレームから構成される。このとき、それぞれのフレームに撮像位置情報と撮像方向情報とを対応付けて、それぞれの撮像装置固有データとすると、それぞれの撮像装置固有データのデータ量が多くなってしまう。そこで、例えば、1秒分のリアルタイム映像が構成される複数のフレームの内、予め定めたフレームのみに撮像位置情報と撮像方向情報とを対応付け、その他のフレームには撮像位置情報と撮像方向情報とを対応付けないで、それぞれの撮像装置固有データとする。すなわち、1秒に1回だけ撮像位置情報と撮像方向情報とを送出する構成にすることもできる。これにより、それぞれの撮像装置固有データのデータ量を少なくし、撮像装置(情報端末)と表示装置(情報端末)との間の通信の負荷を軽減することができる。この場合には、例えば、図5のステップS502におけるデータ数の判定は、撮像装置固有データに含まれるリアルタイム映像の数で判定することになる。
【0146】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【0147】
1,9,14・・・映像表示システム
100,110,120,900,910,920,1400,1410,1420・・・撮像装置(撮像端末,撮像装置)
111・・・撮像部
112・・・撮像位置情報取得部
113・・・撮像姿勢情報取得部
114・・・記憶部
115・・・制御部
116・・・データ通信部
200,1000,1200,1500・・・表示装置(表示端末,表示装置)
201・・・表示部
202・・・演算部
203・・・外部データ取得部(データ通信部)
204・・・記憶部
205・・・制御部
206・・・表示姿勢情報取得部
911・・・無線通信部(データ通信部)
912・・・アンテナ(データ通信部)
1001・・・無線通信部(データ通信部)
1002・・・アンテナ(データ通信部)
1201・・・表示位置情報取得部
1501・・・撮像部
1502・・・撮像位置情報取得部
1503・・・撮像姿勢情報取得部
1504・・・データ通信部
1600・・・情報端末(撮像端末,撮像装置,表示端末,表示装置)
1601・・・データ通信部
【特許請求の範囲】
【請求項1】
被写体の映像信号、前記被写体を撮像するときの撮像位置を表す撮像位置情報、および前記被写体を撮像するときの撮像方向を表す撮像方向情報を対応付けて記憶する記憶部と、
前記被写体の映像を表示する表示部と、
前記表示部が前記被写体の映像を表示するときの表示方向を表す表示方向情報を取得する表示姿勢情報取得部と、
前記記憶部に記憶されている前記撮像位置情報に基づいて、複数の前記撮像位置の立体空間における相対的な位置関係を演算するとともに、前記記憶部に記憶されている前記撮像方向情報と、前記表示姿勢情報取得部で取得される前記表示方向情報とに基づいて、複数の前記撮像方向それぞれの前記表示部の前記表示方向に対する相対的な方向関係を演算する演算部と、
前記記憶部に記憶されている複数の前記映像信号それぞれに対応する前記被写体の映像を前記表示部に表示するとき、前記記憶部に記憶されている前記映像信号に対応する前記被写体の映像を前記演算部で演算された前記相対的な方向関係に応じて回転させた回転映像を、前記表示部に表示される複数の前記被写体の映像それぞれが前記表示部の表示領域内で前記相対的な位置関係を維持した位置に表示させる制御部と、
を備えることを特徴とする表示装置。
【請求項2】
前記被写体の映像信号、前記撮像位置情報、および前記撮像方向情報を、前記被写体を撮像した撮像端末から取得するデータ通信部、
をさらに備え、
前記記憶部は、
前記データ通信部で取得された前記映像信号、前記撮像位置情報、および前記撮像方向情報を記憶する、
ことを特徴とする請求項1に記載の表示装置。
【請求項3】
前記演算部は、
前記記憶部に記憶されている複数の前記映像信号の内、1つの映像信号に対応付けられた前記撮像位置情報を基準として、前記相対的な位置関係を演算する、
ことを特徴とする請求項1または請求項2に記載の表示装置。
【請求項4】
前記データ通信部で取得される前記撮像方向情報は、
方位の情報と仰俯角の情報とを含み、
前記演算部は、
前記方位の情報と前記仰俯角の情報とに基づいて、前記相対的な方向関係を演算する、
ことを特徴とする請求項1から請求項3のいずれか1の項に記載の表示装置。
【請求項5】
前記制御部は、
前記表示方向と垂直に交わる面を前記表示領域の面とし、該表示領域の面上に前記相対的な位置関係を投影した位置に、前記回転映像を表示させる、
ことを特徴とする請求項1から請求項4のいずれか1の項に記載の表示装置。
【請求項6】
前記データ通信部は、
無線通信で前記映像信号、前記撮像位置情報、および前記撮像方向情報を取得する、
ことを特徴とする請求項2に記載の表示装置。
【請求項7】
前記表示部が前記被写体の映像を表示するときの表示位置を表す表示装置位置情報を取得する表示位置情報取得部、
をさらに備え、
前記演算部は、
前記表示位置情報取得部で取得された表示装置位置情報と、前記記憶部に記憶されている前記撮像位置情報とに基づいて、前記表示位置を基準とした、前記相対的な位置関係を演算する、
ことを特徴とする請求項1から請求項6のいずれか1の項に記載の表示装置。
【請求項8】
前記制御部は、
前記表示領域内の中央の位置に、基準とする1つの前記回転映像を表示させ、他の前記回転映像を、前記基準とした1つの前記回転映像との前記相対的な位置関係を維持した位置に表示させる、
ことを特徴とする請求項6に記載の表示装置。
【請求項9】
前記被写体を撮像し、前記映像信号を出力する撮像部と、
前記撮像部が前記被写体を撮像するときの撮像位置を表す撮像位置情報を取得する撮像位置情報取得部と、
前記撮像部が前記被写体を撮像するときの撮像方向を表す撮像方向情報を取得する撮像姿勢情報取得部と、
をさらに備え、
前記記憶部は、
前記撮像部から出力された映像信号を、前記撮像位置情報取得部で取得された前記撮像位置情報および前記撮像姿勢情報取得部で取得された前記撮像方向情報と対応付けて記憶する、
ことを特徴とする請求項1から請求項8のいずれか1の項に記載の表示装置。
【請求項10】
前記制御部は、
前記表示領域内の中央の位置に、前記撮像部が撮像した前記被写体の映像に対応する回転映像を表示させる、
ことを特徴とする請求項9に記載の表示装置。
【請求項11】
前記データ通信部は、
前記撮像部から出力された映像信号、前記撮像位置情報取得部で取得された前記撮像位置情報、および前記撮像姿勢情報取得部で取得された前記撮像方向情報を外部の端末に送出する、
ことを特徴とする請求項9に記載の表示装置。
【請求項12】
被写体の映像信号、前記被写体を撮像するときの撮像位置を表す撮像位置情報、および前記被写体を撮像するときの撮像方向を表す撮像方向情報を対応付けて記憶する記憶部と、
前記被写体の映像を表示する表示部と、
前記表示部が前記被写体の映像を表示するときの表示方向を表す表示方向情報を取得する表示姿勢情報取得部と、
前記記憶部に記憶されている前記撮像位置情報に基づいて、複数の前記撮像位置の立体空間における相対的な位置関係を演算するとともに、前記記憶部に記憶されている前記撮像方向情報と、前記表示姿勢情報取得部で取得される前記表示方向情報とに基づいて、複数の前記撮像方向それぞれの前記表示部の前記表示方向に対する相対的な方向関係を演算する演算部と、
前記記憶部に記憶されている複数の前記映像信号それぞれに対応する前記被写体の映像を前記表示部に表示するとき、前記記憶部に記憶されている前記映像信号に対応する前記被写体の映像を前記演算部で演算された前記相対的な方向関係に応じて回転させた回転映像を、前記表示部に表示される複数の前記被写体の映像それぞれが前記表示部の表示領域内で前記相対的な位置関係を維持した位置に表示させる制御部と、
を備える装置を、表示装置と定義するとき、
被写体を撮像し、前記被写体の映像信号を出力する撮像部と、
前記撮像部が前記被写体を撮像するときの撮像位置を表す撮像位置情報を取得する撮像位置情報取得部と、
前記撮像部が前記被写体を撮像するときの撮像方向を表す撮像方向情報を取得する撮像姿勢情報取得部と、
前記撮像部から出力される前記映像信号、前記撮像位置情報取得部で取得される前記撮像位置情報、および前記撮像姿勢情報取得部で取得される前記撮像方向情報を、前記表示装置に送出するデータ通信部と、
を備えることを特徴とする撮像装置。
【請求項13】
前記データ通信部は、
前記映像信号、前記撮像位置情報、および前記撮像方向情報を、無線通信で前記表示装置に送出する、
ことを特徴とする請求項12に記載の撮像装置。
【請求項14】
被写体の映像を表示する映像表示システムであって、
前記被写体を撮像し、前記被写体に対応する映像信号を出力する複数の撮像部と、
前記撮像部が前記被写体を撮像するときの撮像位置を表す撮像位置情報を取得する撮像位置情報取得部と、
前記撮像部が前記被写体を撮像するときの撮像方向を表す撮像方向情報を取得する撮像姿勢情報取得部と、
前記被写体の映像を表示する表示部と、
前記表示部が前記被写体の映像を表示するときの表示方向を表す表示方向情報を取得する表示姿勢情報取得部と、
前記撮像部から出力される前記映像信号、前記位置情報取得部で取得される前記撮像位置情報及び前記撮像姿勢情報取得部で取得される前記撮像方向情報を対応付けて記憶する記憶部と、
前記記憶部に記憶されている前記撮像位置情報に基づいて、複数の前記撮像位置の立体空間における相対的な位置関係を演算するとともに、前記記憶部に記憶されている前記撮像方向情報と、前記表示姿勢情報取得部で取得される前記表示方向情報とに基づいて、複数の前記撮像方向それぞれの前記表示部の前記表示方向に対する相対的な方向関係を演算する演算部と、
前記記憶部に記憶されている複数の前記映像信号それぞれに対応する前記被写体の映像を前記表示部に表示するとき、前記記憶部に記憶されている前記映像信号に対応する前記被写体の映像を前記演算部で演算された前記相対的な方向関係に応じて回転させた回転映像を、前記表示部に表示される複数の前記被写体の映像それぞれが前記表示部の表示領域内で前記相対的な位置関係を維持した位置に、表示させる制御部と、
を備えることを特徴とする映像表示システム。
【請求項15】
当該映像表示システムは、
前記撮像部、前記撮像位置情報取得部、および前記撮像姿勢情報取得部、を具備する複数の撮像端末と、
前記表示部、前記表示姿勢情報取得部、前記記憶部、前記演算部、および前記制御部、を具備する表示端末と、
から構成される、
ことを特徴とする請求項14に記載の映像表示システム。
【請求項16】
前記撮像端末は、
前記表示部、前記表示姿勢情報取得部、前記記憶部、前記演算部、および前記制御部、
をさらに具備する、
ことを特徴とする請求項15に記載の映像表示システム。
【請求項17】
前記表示端末は、
前記撮像部、前記撮像位置情報取得部、および前記撮像姿勢情報取得部、
をさらに具備する、
ことを特徴とする請求項15に記載の映像表示システム。
【請求項1】
被写体の映像信号、前記被写体を撮像するときの撮像位置を表す撮像位置情報、および前記被写体を撮像するときの撮像方向を表す撮像方向情報を対応付けて記憶する記憶部と、
前記被写体の映像を表示する表示部と、
前記表示部が前記被写体の映像を表示するときの表示方向を表す表示方向情報を取得する表示姿勢情報取得部と、
前記記憶部に記憶されている前記撮像位置情報に基づいて、複数の前記撮像位置の立体空間における相対的な位置関係を演算するとともに、前記記憶部に記憶されている前記撮像方向情報と、前記表示姿勢情報取得部で取得される前記表示方向情報とに基づいて、複数の前記撮像方向それぞれの前記表示部の前記表示方向に対する相対的な方向関係を演算する演算部と、
前記記憶部に記憶されている複数の前記映像信号それぞれに対応する前記被写体の映像を前記表示部に表示するとき、前記記憶部に記憶されている前記映像信号に対応する前記被写体の映像を前記演算部で演算された前記相対的な方向関係に応じて回転させた回転映像を、前記表示部に表示される複数の前記被写体の映像それぞれが前記表示部の表示領域内で前記相対的な位置関係を維持した位置に表示させる制御部と、
を備えることを特徴とする表示装置。
【請求項2】
前記被写体の映像信号、前記撮像位置情報、および前記撮像方向情報を、前記被写体を撮像した撮像端末から取得するデータ通信部、
をさらに備え、
前記記憶部は、
前記データ通信部で取得された前記映像信号、前記撮像位置情報、および前記撮像方向情報を記憶する、
ことを特徴とする請求項1に記載の表示装置。
【請求項3】
前記演算部は、
前記記憶部に記憶されている複数の前記映像信号の内、1つの映像信号に対応付けられた前記撮像位置情報を基準として、前記相対的な位置関係を演算する、
ことを特徴とする請求項1または請求項2に記載の表示装置。
【請求項4】
前記データ通信部で取得される前記撮像方向情報は、
方位の情報と仰俯角の情報とを含み、
前記演算部は、
前記方位の情報と前記仰俯角の情報とに基づいて、前記相対的な方向関係を演算する、
ことを特徴とする請求項1から請求項3のいずれか1の項に記載の表示装置。
【請求項5】
前記制御部は、
前記表示方向と垂直に交わる面を前記表示領域の面とし、該表示領域の面上に前記相対的な位置関係を投影した位置に、前記回転映像を表示させる、
ことを特徴とする請求項1から請求項4のいずれか1の項に記載の表示装置。
【請求項6】
前記データ通信部は、
無線通信で前記映像信号、前記撮像位置情報、および前記撮像方向情報を取得する、
ことを特徴とする請求項2に記載の表示装置。
【請求項7】
前記表示部が前記被写体の映像を表示するときの表示位置を表す表示装置位置情報を取得する表示位置情報取得部、
をさらに備え、
前記演算部は、
前記表示位置情報取得部で取得された表示装置位置情報と、前記記憶部に記憶されている前記撮像位置情報とに基づいて、前記表示位置を基準とした、前記相対的な位置関係を演算する、
ことを特徴とする請求項1から請求項6のいずれか1の項に記載の表示装置。
【請求項8】
前記制御部は、
前記表示領域内の中央の位置に、基準とする1つの前記回転映像を表示させ、他の前記回転映像を、前記基準とした1つの前記回転映像との前記相対的な位置関係を維持した位置に表示させる、
ことを特徴とする請求項6に記載の表示装置。
【請求項9】
前記被写体を撮像し、前記映像信号を出力する撮像部と、
前記撮像部が前記被写体を撮像するときの撮像位置を表す撮像位置情報を取得する撮像位置情報取得部と、
前記撮像部が前記被写体を撮像するときの撮像方向を表す撮像方向情報を取得する撮像姿勢情報取得部と、
をさらに備え、
前記記憶部は、
前記撮像部から出力された映像信号を、前記撮像位置情報取得部で取得された前記撮像位置情報および前記撮像姿勢情報取得部で取得された前記撮像方向情報と対応付けて記憶する、
ことを特徴とする請求項1から請求項8のいずれか1の項に記載の表示装置。
【請求項10】
前記制御部は、
前記表示領域内の中央の位置に、前記撮像部が撮像した前記被写体の映像に対応する回転映像を表示させる、
ことを特徴とする請求項9に記載の表示装置。
【請求項11】
前記データ通信部は、
前記撮像部から出力された映像信号、前記撮像位置情報取得部で取得された前記撮像位置情報、および前記撮像姿勢情報取得部で取得された前記撮像方向情報を外部の端末に送出する、
ことを特徴とする請求項9に記載の表示装置。
【請求項12】
被写体の映像信号、前記被写体を撮像するときの撮像位置を表す撮像位置情報、および前記被写体を撮像するときの撮像方向を表す撮像方向情報を対応付けて記憶する記憶部と、
前記被写体の映像を表示する表示部と、
前記表示部が前記被写体の映像を表示するときの表示方向を表す表示方向情報を取得する表示姿勢情報取得部と、
前記記憶部に記憶されている前記撮像位置情報に基づいて、複数の前記撮像位置の立体空間における相対的な位置関係を演算するとともに、前記記憶部に記憶されている前記撮像方向情報と、前記表示姿勢情報取得部で取得される前記表示方向情報とに基づいて、複数の前記撮像方向それぞれの前記表示部の前記表示方向に対する相対的な方向関係を演算する演算部と、
前記記憶部に記憶されている複数の前記映像信号それぞれに対応する前記被写体の映像を前記表示部に表示するとき、前記記憶部に記憶されている前記映像信号に対応する前記被写体の映像を前記演算部で演算された前記相対的な方向関係に応じて回転させた回転映像を、前記表示部に表示される複数の前記被写体の映像それぞれが前記表示部の表示領域内で前記相対的な位置関係を維持した位置に表示させる制御部と、
を備える装置を、表示装置と定義するとき、
被写体を撮像し、前記被写体の映像信号を出力する撮像部と、
前記撮像部が前記被写体を撮像するときの撮像位置を表す撮像位置情報を取得する撮像位置情報取得部と、
前記撮像部が前記被写体を撮像するときの撮像方向を表す撮像方向情報を取得する撮像姿勢情報取得部と、
前記撮像部から出力される前記映像信号、前記撮像位置情報取得部で取得される前記撮像位置情報、および前記撮像姿勢情報取得部で取得される前記撮像方向情報を、前記表示装置に送出するデータ通信部と、
を備えることを特徴とする撮像装置。
【請求項13】
前記データ通信部は、
前記映像信号、前記撮像位置情報、および前記撮像方向情報を、無線通信で前記表示装置に送出する、
ことを特徴とする請求項12に記載の撮像装置。
【請求項14】
被写体の映像を表示する映像表示システムであって、
前記被写体を撮像し、前記被写体に対応する映像信号を出力する複数の撮像部と、
前記撮像部が前記被写体を撮像するときの撮像位置を表す撮像位置情報を取得する撮像位置情報取得部と、
前記撮像部が前記被写体を撮像するときの撮像方向を表す撮像方向情報を取得する撮像姿勢情報取得部と、
前記被写体の映像を表示する表示部と、
前記表示部が前記被写体の映像を表示するときの表示方向を表す表示方向情報を取得する表示姿勢情報取得部と、
前記撮像部から出力される前記映像信号、前記位置情報取得部で取得される前記撮像位置情報及び前記撮像姿勢情報取得部で取得される前記撮像方向情報を対応付けて記憶する記憶部と、
前記記憶部に記憶されている前記撮像位置情報に基づいて、複数の前記撮像位置の立体空間における相対的な位置関係を演算するとともに、前記記憶部に記憶されている前記撮像方向情報と、前記表示姿勢情報取得部で取得される前記表示方向情報とに基づいて、複数の前記撮像方向それぞれの前記表示部の前記表示方向に対する相対的な方向関係を演算する演算部と、
前記記憶部に記憶されている複数の前記映像信号それぞれに対応する前記被写体の映像を前記表示部に表示するとき、前記記憶部に記憶されている前記映像信号に対応する前記被写体の映像を前記演算部で演算された前記相対的な方向関係に応じて回転させた回転映像を、前記表示部に表示される複数の前記被写体の映像それぞれが前記表示部の表示領域内で前記相対的な位置関係を維持した位置に、表示させる制御部と、
を備えることを特徴とする映像表示システム。
【請求項15】
当該映像表示システムは、
前記撮像部、前記撮像位置情報取得部、および前記撮像姿勢情報取得部、を具備する複数の撮像端末と、
前記表示部、前記表示姿勢情報取得部、前記記憶部、前記演算部、および前記制御部、を具備する表示端末と、
から構成される、
ことを特徴とする請求項14に記載の映像表示システム。
【請求項16】
前記撮像端末は、
前記表示部、前記表示姿勢情報取得部、前記記憶部、前記演算部、および前記制御部、
をさらに具備する、
ことを特徴とする請求項15に記載の映像表示システム。
【請求項17】
前記表示端末は、
前記撮像部、前記撮像位置情報取得部、および前記撮像姿勢情報取得部、
をさらに具備する、
ことを特徴とする請求項15に記載の映像表示システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2013−105195(P2013−105195A)
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2011−246511(P2011−246511)
【出願日】平成23年11月10日(2011.11.10)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願日】平成23年11月10日(2011.11.10)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]