システム、頭部装着型表示装置、その制御方法
【課題】 HMDを頭部に装着した複数人のユーザが複合現実空間を共有する場合に、HMDに対する無線での画像送信を円滑に行うための技術を提供すること。
【解決手段】 HMD10aは、HMD10aの位置と無線I/F105aの位置とを通る直線を軸とする領域を示す領域情報を生成する。他の画像処理装置11b、11cが有する無線I/Fの位置情報を取得する。取得した位置情報が示す位置が、上記領域情報が示す領域内に含まれているか否かを判断する。そして係る判断の結果に応じて、無線I/F105a、若しくは他の無線I/Fの何れかを無線通信相手として選択し、選択した無線I/Fとの無線通信により、画像を受信する。
【解決手段】 HMD10aは、HMD10aの位置と無線I/F105aの位置とを通る直線を軸とする領域を示す領域情報を生成する。他の画像処理装置11b、11cが有する無線I/Fの位置情報を取得する。取得した位置情報が示す位置が、上記領域情報が示す領域内に含まれているか否かを判断する。そして係る判断の結果に応じて、無線I/F105a、若しくは他の無線I/Fの何れかを無線通信相手として選択し、選択した無線I/Fとの無線通信により、画像を受信する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複合現実感を提供するための技術に関するものである。
【背景技術】
【0002】
近年、現実世界と仮想世界とをリアルタイムかつシームレスに融合させる技術として複合現実感技術、所謂MR(Mixed Reality)技術が知られている。MR技術の一つに、次のような技術が知られている。即ち、ビデオシースルー型HMDを利用して、HMD装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラ等で撮像する。そして、その撮像画像にコンピュータグラフィックス(Computer Graphics:以下CG)を重畳表示した画像をHMD装着者に提示する。
【0003】
図11は、ビデオシースルー型HMDを利用した一般的な複合現実感システム(以下ではMRシステムと呼称する)の機能構成を示すブロック図である。以下、図11を用いて、一般的なMRシステムの概要について説明する。
【0004】
1101は、ビデオシースルー型のHMDである。HMD1101は、撮像部1103、表示部1104、3次元位置姿勢センサ1105、I/F(インターフェース)1106を有する。
【0005】
1102は、HMD1101から受け取った撮像画像情報、センサ情報から生成した3次元位置姿勢情報、に基づいて仮想空間画像(CG)を生成し、HMD1101から受け取った撮像画像との合成処理を行う画像処理装置である。画像処理装置1102は、一般にはPC(パーソナルコンピュータ)やワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置により構成されている。画像処理装置1102は、I/F1107、位置姿勢情報生成部1108、CG描画合成部1110、コンテンツDB(データベース)1109を有する。
【0006】
先ず、HMD1101を構成する各部の動作について説明する。
【0007】
撮像部1103は、HMD1101を頭部に装着したユーザの視点と略一致する位置姿勢における外界の画像を撮像する。撮像部1103は、ステレオ画像を撮像すべく、右目用の撮像素子、左目用の撮像素子、光学系、そして後段の画像処理のためのDSP(Digital Signal Processing)により構成されている。
【0008】
表示部1104は、画像処理装置1102から送出される右目用のMR画像、左目用のMR画像を表示するためのものである。従って、表示部1104は、右目用の表示デバイス、左目用の表示デバイス、光学系により構成されている。それぞれの表示デバイスとしては、小型の液晶ディスプレイやMEMS(Micro Electro−Mechanical Systems)による網膜スキャンタイプのデバイスが用いられる。
【0009】
3次元位置姿勢センサ1105は、自身の位置姿勢を計測するためのものである。3次元位置姿勢センサ1105には、磁気センサやジャイロセンサ(加速度、角速度)が使用される。
【0010】
I/F1106は、画像処理装置1102とのデータ通信を行うために用いられるものである。撮像部1103により撮像された撮像画像、3次元位置姿勢センサ1105により計測された位置姿勢情報は、このI/F1106を介して画像処理装置1102に送信される。また、画像処理装置1102から送信されたMR画像は、このI/F1106を介して受信する。I/F1106には、リアルタイム性が求められかつ大容量の伝送が可能な、USBやIEEE1394のメタル線、GigabitEthernet等の光ファイバが用いられる。
【0011】
次に、画像処理装置1102を構成する各部の動作について説明する。
【0012】
I/F1107は、HMD1101とのデータ通信を行うために用いられるものであり、画像処理装置1102が生成したMR画像は、このI/F1107を介してHMD1101に送信される。また、HMD1101から送信された撮像画像、位置姿勢情報は、このI/F1107を介して受信する。
【0013】
位置姿勢情報生成部1108は、HMD1101から送信された撮像画像情報、位置姿勢情報に基づいて、HMD1101を装着したユーザの目の位置姿勢を示す位置姿勢情報を生成する。ユーザの目の位置姿勢を示す位置姿勢情報を生成する方法としては、このほかにも、例えば、撮像部1103が撮像した画像を用いる方法もある。
【0014】
コンテンツDB1109には、仮想空間を構成する各仮想物体に係るデータが保存されている。
【0015】
CG描画合成部1110は、コンテンツDB1109に保存されているデータを用いて仮想空間を構築し、構築した仮想空間を、位置姿勢情報生成部1108が生成した位置姿勢情報が示す位置姿勢を有する視点から見た画像を、仮想空間画像として生成する。そして、生成した仮想空間画像を、I/F1107を介してHMD1101から受信した撮像画像上に合成したMR画像を生成する。生成したMR画像は、I/F1107を介してHMD1101に送信する。
【0016】
以上説明した構成による処理によって、HMD1101を頭部に装着したユーザに対して、現実世界と仮想世界とがリアルタイムかつシームレスに融合した複合現実世界を提供することができる。
【0017】
次に、画像処理装置とHMDとの間の通信をワイヤレスにした一般的なシステム(ワイヤレスMRシステム)について説明する。ワイヤレスMRシステムは、図11に示した構成において、I/F1106とI/F1107との間の通信を無線化することにより、その他の機能ブロックの構成を変更することなく実現することも可能である。しかし、無線による通信方式は一般的に、有線通信方式と比べて大幅に伝送帯域が狭いという問題がある。従って、ワイヤレスMRシステムを実現するためには、例えば、図9に示すような構成にすることが好ましい。
【0018】
図9は、一般的なワイヤレスMRシステムの機能構成を示すブロック図である。図9において図11と同じものについては同じ参照番号を付けており、その説明は省略する。以下、図9を用いて、一般的なワイヤレスMRシステムの概略について説明する。
【0019】
I/F1206は、位置姿勢情報生成部1108が求めた位置姿勢情報を、無線通信により画像処理装置1202に送信する。
【0020】
I/F1207は、HMD1201から無線通信により送信された位置姿勢情報を受信し、これをCG描画部1210に送出する。
【0021】
CG描画部1210は、コンテンツDB1109に保存されているデータを用いて仮想空間を構築し、構築した仮想空間を、I/F1207から受けた位置姿勢情報が示す位置姿勢を有する視点から見た画像を、仮想空間画像として生成する。そして、生成した仮想空間画像を、I/F1207を介してHMD1201に送信する。
【0022】
即ち、HMD1201から画像処理装置1202に対しては撮像画像は送信せず、位置姿勢情報のみを送信する。また、画像処理装置1202からHMD1201に対しては、係る位置姿勢情報に基づいて生成した仮想空間画像を送信する。これにより、HMD1201と画像処理装置1202との間で送受信されるデータの伝送量を削減することができる。
【0023】
I/F1206は、画像処理装置1202から送信された仮想空間画像を受信すると、これを画像合成部1211に送出する。
【0024】
画像合成部1211は、撮像部1103からの撮像画像上に、I/F1206から受けた仮想空間画像を重畳させた合成画像を生成し、これを表示部1104に送出する。
【0025】
ビデオシースルー型HMDを用いる上記MRシステムでは、HMD装着者の視界を確保することが重要である。特に、画像の伝送に無線通信方式を採用したワイヤレスMRシステムでは、使用環境や装置間の距離によっては、エラーの発生頻度が大きくなる。加えて、HMD装着者の移動に伴い、通信する画像処理装置の切り替えが頻繁に発生したり、通信中の画像処理装置との見通しがMR空間を体験中の他のユーザによって遮蔽された際に、CG画像を受信できなくなることがある。
【0026】
他のユーザ、及び装置によって通信状態が不安定になった際の処理方法として、電波強度に基づいて、通信を行う無線基地局を切り替える手法が特許文献1に開示されている。特許文献1によれば、移動局において所定値以上の電波強度で干渉情報を検出した場合には、通信中の無線基地局に通話チャネルの切り替え要求を送り、無線基地局は移動局に新通話チャネルの指示を送る。通信中の無線基地局で新通話チャネルを確保できないときは、交換機を介して近くの無線基地局で新通話チャネルを確保する。切り替え要求、新通話チャネルの指示を送るチャネルとして、通話チャネルとは別の周波数の情報チャネルを利用する。
【0027】
また、移動局の移動方向や移動速度を検出して、チャネル接続、切り替え制御等を行う手法が特許文献2に開示されている。
【0028】
特許文献2によれば、移動局の移動方向を求め、移動方向が移動体通信サービスエリア外である場合、移動局が移動通信サービスエリア外に移動する前に、基地局から移動局へ、移動方向には通信エリアがないことを通知する。
【0029】
また、特許文献3によれば、移動局が使用しているチャネルの中心周波数変動を、各無線基地局設備の無線機に設置するドップラーシフト検出回路により検出し、移動局の進行方向、速度を検出し、チャネル接続、切断制御を自動的に行う。
【特許文献1】特開平6−69862号公報
【特許文献2】特開平6−86353号公報
【特許文献3】特開2004−15518号公報
【発明の開示】
【発明が解決しようとする課題】
【0030】
しかしながら上述した従来の技術には、以下のような問題があった。
【0031】
特許文献1に開示されている技術、即ち、電波強度測定によって干渉情報を検出し、切り替えを行う手法は、移動局側で常に電波強度の測定を行わなければならないため、移動局側での電力消費が大きく、バッテリーの連続駆動時間を低下させてしまう。さらに、干渉を検出してから制御を行うため、切り替えが完了するまでの時間は、干渉の影響を受けることになる。更に、ワイヤレスMRシステムを複数のユーザが共有する場合、各ユーザにはそれぞれ異なる画像を送信する必要があり、限られた空間内で複数の無線装置を使用するため、各HMDで使用する周波数帯は、干渉が発生しないように割り当てることが前提となる。従って、干渉情報の検出を前提とする特許文献1に開示されている技術は、ワイヤレスMRシステムには適用することができない。
【0032】
また、特許文献2及び特許文献3に開示されている技術、即ち、移動局の移動方向に基づいて、通信エリア外の通知や、基地局の切り替えを行う手法は、他のユーザ、及び装置の動きを考慮していない。そのため、通信中の基地局との見通しが遮蔽されて通信の遮断が発生することを検出することができない。
【0033】
本発明は以上の問題に鑑みてなされたものであり、HMDを頭部に装着した複数人のユーザが複合現実空間を共有する場合に、HMDに対する無線での画像送信を円滑に行うための技術を提供することを目的とする。
【課題を解決するための手段】
【0034】
本発明の目的を達成するために、例えば、本発明のシステムは以下の構成を備える。
【0035】
即ち、頭部装着型表示装置と、当該頭部装着型表示装置と無線通信を行う通信器と、当該通信器を介して前記頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムであって、
それぞれの画像処理装置は、
自画像処理装置が使用中の通信器と無線通信中の頭部装着型表示装置の位置情報を、前記自画像処理装置以外の他画像処理装置に対して送信すると共に、前記他画像処理装置から送信された、前記他画像処理装置が使用中の通信器と無線通信中の他頭部装着型表示装置の位置情報を、受信する手段と、
前記受信した他頭部装着型表示装置の位置情報を、前記自画像処理装置が使用中の通信器と無線通信中の頭部装着型表示装置に対して送信する送信手段と
を備え、
それぞれの頭部装着型表示装置は、
自頭部装着型表示装置の位置と、当該自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する生成手段と、
前記送信手段が送信した位置情報を取得する取得手段と、
前記取得手段が取得した位置情報が示す位置が、前記生成手段が生成した領域情報が示す領域内に含まれているか否かを判断する判断手段と、
前記判断手段による判断結果に応じて、前記注目通信器、若しくは前記注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する受信制御手段と
を備えることを特徴とする。
【0036】
本発明の目的を達成するために、例えば、本発明の頭部装着型表示装置は以下の構成を備える。
【0037】
即ち、頭部装着型表示装置と、当該頭部装着型表示装置と無線通信を行う通信器と、当該通信器を介して前記頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムにおける頭部装着型表示装置であって、
自頭部装着型表示装置の位置と、当該自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する生成手段と、
前記自頭部装着型表示装置以外の他頭部装着型表示装置の位置情報を取得する取得手段と、
前記取得手段が取得した位置情報が示す位置が、前記生成手段が生成した領域情報が示す領域内に含まれているか否かを判断する判断手段と、
前記判断手段による判断結果に応じて、前記注目通信器、若しくは前記注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する受信制御手段と
を備えることを特徴とする。
【0038】
本発明の目的を達成するために、例えば、本発明の頭部装着型表示装置の制御方法は以下の構成を備える。
【0039】
即ち、頭部装着型表示装置と、当該頭部装着型表示装置と無線通信を行う通信器と、当該通信器を介して前記頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムにおける頭部装着型表示装置の制御方法であって、
自頭部装着型表示装置の位置と、当該自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する生成工程と、
前記自頭部装着型表示装置以外の他頭部装着型表示装置の位置情報を取得する取得工程と、
前記取得工程で取得した位置情報が示す位置が、前記生成工程で生成した領域情報が示す領域内に含まれているか否かを判断する判断工程と、
前記判断工程での判断結果に応じて、前記注目通信器、若しくは前記注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する受信制御工程と
を備えることを特徴とする。
【発明の効果】
【0040】
本発明の構成によれば、HMDを頭部に装着した複数人のユーザが複合現実空間を共有する場合に、HMDに対する無線での画像送信を円滑に行うための技術を提供すること。
【発明を実施するための最良の形態】
【0041】
以下、添付図面を参照し、本発明の好適な実施形態について詳細に説明する。
【0042】
[第1の実施形態]
本実施形態では、ユーザの頭部に装着するHMDと、このHMDに対して画像を送信する画像処理装置との間の通信を無線で行うシステムにおいて、この無線での通信を円滑に行うための技術について説明する。
【0043】
先ず、一人のユーザに対して、仮想空間と現実空間とを融合した複合現実空間を提供するためのシステムについて説明する。
【0044】
図2は、一人のユーザに対して、仮想空間と現実空間とを融合した複合現実空間を提供するためのシステムの外観例を示す図である。
【0045】
HMD201は、ビデオシースルー型のHMDであり、HMD201を頭部に装着したユーザの右目、左目に対して提示する現実空間画像を撮像するための撮像部と、右目、左目に対して画像を表示する表示部と、自身の位置姿勢を計測する計測部と、を有する。更に、HMD201には、中継器202が有線接続されており、係る中継器202には、送受信アンテナ205aが設けられている。係る構成において、HMD201は、中継器202、送受信アンテナ205を介して画像処理装置204との無線通信を行う。本システムで使用する無線通信方式は、WLAN(Wireless Local Area Network)、WPAN(Wireless Personal Area Network)のような、小規模ネットワークを構成する方式を想定している。中継器202は、HMD201と同様に、ユーザの身体の一部に装着して使用することができ、HMD201および中継器202はバッテリーで駆動可能である。
【0046】
HMD201は、計測部による計測結果、撮像部による撮像画像に基づいて生成した位置姿勢情報を中継器202、送受信アンテナ205aを介して画像処理装置204に対して送信する。
【0047】
一方、画像処理装置204は、一般のPC(パーソナルコンピュータ)等のコンピュータにより構成されている。画像処理装置204にはコントローラ203が有線接続されており、係るコントローラ203には、送受信アンテナ205bが設けられている。係る構成において、画像処理装置204は、係るコントローラ203、送受信アンテナ205bを介してHMD201との無線通信を行う。
【0048】
画像処理装置204は、HMD201から送信された位置姿勢情報を、送受信アンテナ205b、コントローラ203を介して受信すると、受信した位置姿勢情報に基づいて、仮想空間画像を生成する。そして生成した仮想空間画像に加え、後述する様々な情報をコントローラ203、送受信アンテナ205bを介してHMD201に対して送信する。この「様々な情報」については後に詳しく説明するので、ここでは係る情報の送信については省略して説明する。
【0049】
HMD201は係る仮想空間画像を、送受信アンテナ205a、中継器202を介して受信すると、受信した仮想空間画像を、撮像部により撮像した現実空間画像上に合成することで、合成画像を生成する。そして生成した合成画像を、表示部に表示する。
【0050】
なお、図2では、中継器202、送受信アンテナ205aは、HMD201の外部に設けられている別個の装置として示している。しかし、以下では説明を簡単にするために、中継器202、送受信アンテナ205aは、無線I/F(通信器)という1つの機能部としてHMD201内に含められているものとして説明する。しかし、図2に示すように、中継器202、送受信アンテナ205aがHMD201の外部に設けられていても、以下の説明の本質は同じである。
【0051】
同様に、図2では、コントローラ203、送受信アンテナ205bは、画像処理装置204の外部に設けられている別個の装置として示されている。しかし、以下では説明を簡単にするために、コントローラ203、送受信アンテナ205bは、無線I/Fという1つの機能部として画像処理装置204内に含められているものとして説明する。しかし、図2に示すように、コントローラ203、送受信アンテナ205bが画像処理装置204の外部に設けられていても、以下の説明の本質は同じである。
【0052】
図1は、複数人のユーザに対して複合現実空間を提供する事が可能なMRシステムの機能構成例を示すブロック図である。即ち、図1に示したシステムは、図2に示したシステムをユーザの人数分含むものであり、更に、それぞれの画像処理装置間を有線接続した構成を有する。
【0053】
以下、本実施形態に係るシステムについて説明する。
【0054】
HMD10aは、頭部装着型表示装置の一例としての、ビデオシースルー型のHMDであり、周知の如く、複合現実空間を観察するユーザの頭部に装着するものである。HMD10aは、3次元位置姿勢センサ104、撮像部101、表示部110、位置姿勢情報生成部102、画像合成部109、無線I/F103a、切り替え制御部111により構成されている。
【0055】
3次元位置姿勢センサ104は、自身の位置姿勢を計測するものであり、計測した結果としての位置姿勢情報は、後段の位置姿勢情報生成部102に送出される。3次元位置姿勢センサ104としては様々なものが考えられるが、例えば、磁気センサを用いることができる。3次元位置姿勢センサ104が磁気センサの場合、現実空間中の所定の位置には、磁気の発信源としてのトランスミッタが設置されることになる。係るトランスミッタは、自身の周囲に磁界を発生させる。3次元位置姿勢センサ104は、係る磁界中における自身の位置姿勢に応じた磁界の変化を検知し、検知した結果を示す信号を、トランスミッタを制御するためのコントローラに送出する。係るコントローラは、係る信号に基づいて、センサ座標系における3次元位置姿勢センサ104の位置姿勢を計測する。ここで、センサ座標系とは、トランスミッタの位置を原点として定義し、係る原点で互いに直交する3軸をそれぞれ、x軸、y軸、z軸とする座標系である。本実施形態では説明を簡単にするために、センサ座標系と世界座標系とは原点、軸が一致しているものとして説明する。しかし、一致していなくても、それぞれの座標系間の位置姿勢関係が既知であれば、周知の座標変換技術を用いれば、センサ座標系における座標値を世界座標系における座標値に変換することができる。ここで、世界座標系とは、現実空間中の所定の1点を原点として定義し、係る原点で互いに直交する3軸をそれぞれ、x軸、y軸、z軸とする座標系である。
【0056】
なお、3次元位置姿勢センサ104に適用可能なセンサは、これ以外のセンサでも良く、例えば、超音波センサや光学式センサなどが挙げられる。
【0057】
位置姿勢情報生成部102は、3次元位置姿勢センサ104から受けた位置姿勢情報と、撮像部101から受けた現実空間画像とを用いて、撮像部101の位置姿勢情報を求める。
【0058】
しかし、撮像部101の位置姿勢情報を求める方法については様々な方法が考えられ、本実施形態は何れの方法を用いても良い。
【0059】
ここで、撮像部101の位置姿勢情報を得るための方法について、幾つかの例を説明する。
【0060】
例えば、3次元位置姿勢センサ104から受けた位置姿勢情報に、予め測定した「3次元位置姿勢センサ104と撮像部101との位置姿勢関係を示す情報」を加えることで、撮像部101の位置姿勢情報を求めても良い。
【0061】
次に、撮像部101による撮像画像を用いて撮像部101の位置姿勢情報を求める方法について説明する。先に説明しておくが、係る方法は周知の技術であるので、その詳細については省略する。撮像部101による撮像画像を用いて撮像部101の位置姿勢情報を求める場合、3次元位置姿勢センサ104は省略することができる。
【0062】
図3は、マーカを配した現実空間を撮像部101により撮像した場合に得られる撮像画像の一例を示す図である。図3において302はマーカで、様々な情報がコード化された2次元バーコードが記されており、その周囲には枠が記されている。係るマーカ302は、図3では現実物体としてのテーブル301の上に配されており、世界座標系におけるマーカ302の位置(3次元座標位置)、若しくは何らかの基準位置からの相対位置が既知であるものとする。そして30は、このような現実空間を撮像部101によって撮像することで得られる現実空間画像を示す。
【0063】
撮像部101が係る現実空間画像30を撮像し、撮像した係る現実空間画像30を位置姿勢情報生成部102に送出すると、位置姿勢情報生成部102は先ず、現実空間画像30中におけるマーカ302を検出する。そして検出したマーカ302に記されている2次元バーコードを解析し、係る2次元バーコードの識別情報を認識する。識別情報に対応するマーカの3次元座標位置は予め記憶されているので、位置姿勢情報生成部102は、係る処理によって識別情報が認識されると、対応する3次元座標位置を、予め記憶されている情報群の中から特定する。そして、現実空間画像30上のマーカ302の座標位置と、対応する3次元座標位置とを用いれば、後は写真測量などの分野で周知の技術を用いれば、撮像部101の位置姿勢情報を生成することができる。なお、マーカ302は複数個用いても良い。また、マーカ302の代わりに、例えば、画像中のエッジ304を用いても良い。また、マーカ302として用いることができるものは、2次元バーコードが記されたものに限定するものではなく、例えば、カラーマーカや、LED等の発光素子のような方向性のないマーカを用いても良い。このようにマーカ302の代わりに用いることができるものについては様々なものが考え得る。また、これら列挙したものを適宜組み合わせて用いても良い。なお、位置姿勢情報生成部102が行う上記処理については周知の技術であるので、これ以上の説明は省略する。また、客観カメラ(外部イメージセンサ)等の、HMD以外に取り付けて使用するタイプのデバイスを用いて、撮像部101の位置姿勢情報を求める方法もある。この場合、撮像部101にマーカを貼り付ける必要がある。係る方法も周知の技術である。
【0064】
なお、これらのセンシングデバイスは一種類のみで使用することも、複数の種類のデバイスを組み合わせて使用することも可能である。また、HMDに内蔵された主観カメラで撮像した画像情報と、センシングデバイスで取得したセンシング情報を組み合わせて三次元位置姿勢情報の生成を行うことによって、より精度の高い三次元位置姿勢情報を得ることができる。また、主観カメラでマーカが見えていない状態でも位置姿勢情報を取得することが可能となる。
【0065】
このように、撮像部101の位置姿勢情報を生成する方法には様々なものがあり、本実施形態は、何れかの方法に限定するものではない。従って、用いる方法に応じて、適宜HMD10aの構成を変更することになるが、係る変更については当業者であれば容易に相当し得るものであるので、これについての説明は省略する。
【0066】
位置姿勢情報生成部102は、求めた「撮像部101の位置姿勢情報」を無線I/F103aを介して画像処理装置204に送信する。係る送信は上述のように、無線通信で行われる。
【0067】
一方、撮像部101は、現実空間の動画像を撮像し、撮像した各フレームの画像(現実空間画像、撮像画像)は、後段の位置姿勢情報生成部102、画像合成部109に送出する。
【0068】
画像合成部109は、画像処理装置11aから無線I/F103aを介して受信した仮想空間画像と、撮像部101から受けた現実空間画像との合成画像を生成し、生成した合成画像を表示部110に送出する。
【0069】
表示部110は、HMD10aを頭部に装着したユーザの眼前に位置するようにHMD10aに取り付けられたものであり、画像合成部109から受けた合成画像を表示する。これにより、HMD10aを頭部に装着したユーザの眼前には、画像合成部109が生成した合成画像が提示されることになる。
【0070】
切り替え制御部111は、無線I/F103aを介して画像処理装置11aから送信された後述の位置姿勢情報、接続情報を受けると、これらを用いて、無線通信相手を画像処理装置11a〜11cから選択、決定する処理を行う。切り替え制御部111の動作の詳細については後述する。
【0071】
次に、画像処理装置11aについて説明する。画像処理装置11aは、PC等のコンピュータにより構成されるものであり、無線I/F105a、有線I/F108a、CG画像描画部106a、コンテンツDB107a、により構成されている。
【0072】
無線I/F105aは、HMD10aが有する無線I/F103aから送信された位置姿勢情報を受信し、受信した位置姿勢情報を有線I/F108a、CG画像描画部106aに送出する。
【0073】
有線I/F108aは、無線I/F105aから受けた位置姿勢情報を、LAN等のネットワーク199に接続されている他の画像処理装置11b、11cに対して送信する。更に有線I/F108aは、画像処理装置11aが現在、無線通信中であるか否か示す接続情報(例えば画像処理装置11aに固有のIDと、無線通信中であるか否かを示すフラグ情報とのセット)を、画像処理装置11b、11cに送信する。
【0074】
画像処理装置11b、11cは少なくとも、画像処理装置11aの機能を有する装置であり、画像処理装置11aと同様に動作している。そして、それぞれの画像処理装置11b、11cにはそれぞれ、HMD10b、10cが無線接続されている。即ち、図1に示したシステムは、画像処理装置11aとHMD10aのセットと同様のセットが他にも2セット(画像処理装置11bとHMD10bのセットと、画像処理装置11cとHMD10cのセット)含まれていることになる。
【0075】
また、有線I/F108aは、画像処理装置11b、11cから送信された位置姿勢情報、接続情報を受信し、受信した位置姿勢情報、接続情報を無線I/F105aに送出する。無線I/F105aは、有線I/F108aから受けた位置姿勢情報と接続情報(画像処理装置11bから送信された位置姿勢情報と接続情報、画像処理装置11cから送信された位置姿勢情報と接続情報)を、HMD10aに対して送信する。
【0076】
CG画像描画部106aは、コンテンツDB107aが保持する仮想空間のデータに基づいて仮想空間を構築する。そして、係る仮想空間を、無線I/F105aから受けた位置姿勢情報が示す位置姿勢を有する視点から見た仮想を、仮想空間画像として生成する。ここで、コンテンツDB107aが保持する仮想空間のデータには、仮想空間を構成する各仮想物体に係るデータや、仮想空間中に配する光源に係るデータなどが含まれている。CG画像描画部106aは生成した仮想空間画像を無線I/F105aに送出するので、無線I/F105aはこの仮想空間画像をHMD10aに対して送信する。
【0077】
即ち、画像処理装置11a(無線I/F105a)からHMD10aには、仮想空間画像に加え、画像処理装置11b、11cから受信した位置姿勢情報、接続情報が送信されることになる。
【0078】
以上説明した構成により、HMD10aを頭部に装着したユーザの眼前には、画像処理装置11aが生成した合成画像が提示されることになる。これについては、HMD10bを頭部に装着したユーザ、HMD10cを頭部に装着したユーザについても同様である。
【0079】
なお、図1では、画像処理装置、HMDは共に3つしか示していないので、図1に示したシステムは、3人のユーザに対して複合現実空間を提示するシステムとなる。しかし、画像処理装置、HMDの数はこれに限定するものではなく、撮像から表示までのリアルタイム性が維持できる範囲であれば、これらの数を増やすことが可能である。ただし、HMDの数の上限は、画像処理装置の数以下とする。画像処理装置の数を増やすことにより、対応可能なHMDの数が増加し、また、複合現実空間を広域に拡大することが可能となる。
【0080】
次に、HMDと画像処理装置との無線通信中に、このHMD以外のHMDを頭部に装着したユーザの立ち位置によって、係る無線通信に障害が出る場合について説明する。
【0081】
図4は、2人のユーザが自身の頭部にHMDを装着して複合現実空間を体感している様子を示す俯瞰図である。図4において403a〜403dはそれぞれ、画像処理装置内の無線I/Fであり、401,402はユーザの立ち位置を示している。そして図4では、位置401に位置するユーザ(第1のユーザ)が頭部に装着しているHMD(第1のHMD)は無線I/F403aと無線通信中である。また、位置402に位置するユーザ(第2のユーザ)が頭部に装着しているHMD(第2のHMD)は無線I/F403bと無線通信中である。
【0082】
このような状態において、第2のユーザが405で示す位置、即ち、第1のHMDと無線I/F403aとの間の直接の見通し位置に移動したとする。この場合、第1のHMDは無線I/F403aからの直接波を受信することができないため、受信電波強度が著しく悪化し、仮想空間画像の伝送エラーやフレーム落ちが発生する。その結果、第1のHMDには、エラーを含む仮想空間画像が合成された合成画像が表示されたり、仮想空間画像が突然消えてしまうような違和感のある合成画像が表示されることになる。
【0083】
本実施形態に係るシステムは係る問題を解消すべく構成されたものである。
【0084】
図5は、本実施形態に係るシステムが、HMDと画像処理装置との間の通信障害を解消すべく行う動作について説明する図である。図5において図4と同じものについては同じ参照番号を付けており、その説明は省略する。
【0085】
本実施形態では、第1のHMDの位置と、第1のHMDが現在無線通信中の無線I/F403aの位置と、を通る直線を軸とする領域を設定する。係る領域としては、図5に504,505で示す如く、サイズの異なる2つの領域を設定する。図5では、係る直線を軸とする領域505(第1の領域)と、領域505を包含する領域504(第2の領域)とを設定している。それぞれの領域504,505は、第1のHMDの位置や姿勢などが変化したりする毎に変わるので、例えば、決まった時間間隔で再設定する。また、それぞれの領域504、505の形状やサイズは適宜決めればよい。
【0086】
ここで、第2のユーザが位置402から位置5010に移動したとする。この場合、位置5010は領域505の外(第1の領域外)且つ領域504内(第2の領域内)となっている。上述の通り、第1のHMDは、第1のHMDと無線通信している画像処理装置から第2のHMDの位置姿勢情報を取得するので、第1のHMDが、係る位置姿勢情報が示す位置が領域505の外且つ領域504内であることを検知すると、次のように動作する。即ち、第1のHMDと無線通信中の画像処理装置から受信した接続情報を参照し、現在どのHMDとも無線通信を行っていない無線I/Fを、無線I/F403b〜403dから特定する。そして、特定したうちの1つの無線I/Fとリンクを確立する。ここではリンクを確立するだけである。現在どのHMDとも無線通信を行っていない無線I/Fのうちの1つを選択する方法としては、例えば、第1のHMDに最も近い位置に設定されている無線I/Fを選択する方法がある。係る方法は、予め測定されている各無線I/Fの位置情報と、第1のHMDの位置情報とを用いれば実現可能である。図5では、無線I/F403cとのリンク506を確立することになる。
【0087】
ここで、第2のユーザが更に位置5010から位置5020に移動したとする。この場合、位置5020は領域505内となっている。上述の通り、第1のHMDは、第1のHMDと無線通信している画像処理装置から第2のHMDの位置姿勢情報を取得するので、第1のHMDが、係る位置姿勢情報が示す位置が領域505内であることを検知すると、次のように動作する。即ち、第1のHMDは、現在リンクを確立している無線I/F(図5では無線I/F403c)との無線通信を開始すべくチャネルを切り替え、更に、直前まで無線通信を行っていた無線I/F(図5では無線I/F403a)との無線通信を切断する。
【0088】
ここで、第2のユーザが位置5010から領域504の外に移動した場合には、リンクを確立した無線I/Fとのリンクを解除する。
【0089】
図7は、切り替え制御部111が行う処理のフローチャートである。図7のフローチャートに従った処理は、仮想空間画像と現実空間画像との合成画像を表示部110に表示するための処理と並行して行われるものである。
【0090】
画像処理装置11aから送信された、位置姿勢情報、及び接続情報は、無線I/F103aを介して切り替え制御部111に入力される。更に、位置姿勢情報生成部102が求めた位置姿勢情報も切り替え制御部111に入力される。
【0091】
従って、ステップS701では、切り替え制御部111は先ず、位置姿勢情報生成部102から受けた位置姿勢情報中の位置情報と、HMD10a内の不図示のメモリに登録されている「画像処理装置11a(無線I/F105a)の位置情報」とを参照する。そして、撮像部101の位置と、画像処理装置11a(無線I/F105a)の位置と、を通る直線を軸とする領域を求め、設定する。例えば、係る軸が、円形の上面、下面のそれぞれの中心位置を通るような円柱領域を求めても良い。
【0092】
図6は、ステップS701において設定する領域の一例を示す図である。図6において602は、位置姿勢情報生成部102が生成した位置姿勢情報中の位置情報が示す位置であり、601は、予め測定された画像処理装置11a(無線I/F105a)の位置である。604は、位置601と位置602とを通る直線である。603は、係る直線604を軸とする領域である。
【0093】
ここで設定した領域を「切り替えエリア」と呼称する。更に、ステップS701では、切り替えエリアを包含する領域を「警戒エリア」として求め、設定する。警戒エリアの形状やサイズについては特に限定するものではないが、例えば、形状は切り替えエリアと同じで、図6に示す底面(上面、下面)の半径rのみを大きくしたものを警戒エリアとして求めても良い。
【0094】
ここで、警戒エリア、切り替えエリアを設定する、とは、それぞれのエリアの形状やその位置、姿勢を示す情報(第1の領域情報、第2の領域情報)を求めることに相当する。
【0095】
次に、無線I/F103aを介して受信した位置姿勢情報、即ちHMD10bの位置姿勢情報、HMD10cの位置姿勢情報を参照し、HMD10bの位置が警戒エリア内に位置しているのか、HMD10cの位置が警戒エリア内に位置しているのかを判断する。即ち、警戒エリアに対する内外判定処理を行う。
【0096】
係る判断の結果、HMD10b、10cの何れの位置も警戒エリア内に位置していない場合には、ステップS702を介して本処理を終了する。一方、係る判断の結果、HMD10b、10cのうち少なくとも1つの位置が警戒エリア内に位置している場合には、処理をステップS702を介してステップS704に進める。
【0097】
ステップS704では、無線I/F103aを介して受信した接続情報を参照する。上述の通り、この接続情報は、画像処理装置11bが無線通信中か否か、画像処理装置11cが無線通信中か否かを示すものであるので、係る接続情報を参照すれば、現在無線通信を行っていない画像処理装置を特定することができる。
【0098】
そこで、ステップS705では、接続情報に基づいて、現在無線通信を行っていない画像処理装置を特定する。
【0099】
ステップS706では、切り替え制御部111は、無線I/F103aを制御し、ステップS705で特定した画像処理装置が有する無線I/Fとのリンクを確立する。
【0100】
次にステップS707では、無線I/F103aを介して受信した位置姿勢情報、即ち、HMD10bの位置姿勢情報、HMD10cの位置姿勢情報を参照する。そして、HMD10bの位置が切り替えエリア内に位置しているのか、HMD10cの位置が切り替えエリア内に位置しているのかを判断する。
【0101】
係る判断の結果、HMD10bの位置が切り替えエリア内に位置している、若しくはHMD10cの位置が切り替えエリア内に位置している場合には、処理をステップS708を介してステップS709に進める。
【0102】
ステップS709では、切り替え制御部111は無線I/F103aを制御し、従前に無線通信相手としていた無線I/F、即ち無線I/F105aとの通信を切断し、ステップS706でリンクを確立した無線I/Fとの通信を開始する。
【0103】
一方、HMD10b、10cの何れの位置も切り替えエリア内に位置していない場合には、処理をステップS708を介してステップS710に進める。
【0104】
ステップS710では、HMD10bの位置、HMD10cの位置、が共に警戒エリアの外側に位置しているのか否かを判断する。即ち、ステップS702における処理以降で、HMD10bの位置やHMD10cの位置が変化し、何れの位置も警戒エリアの外側に移動してしまった可能性がある。ステップS710では、係る可能性を考慮し、再度、係る判断処理を行う。
【0105】
係る判断の処理の結果、何れの位置も警戒エリアの外側である場合には処理をステップS711に進める。ステップS711では、ステップS706で確立したリンクを解除し、それまで無線通信の相手としていた無線I/F105aとの無線通信を継続する。一方、HMD10b、10cの何れかの位置が未だ警戒エリアの内側である場合には、本処理を終了する。
【0106】
なお、以上の処理は、3台の画像処理装置と、3台のHMDとを有するシステムにおける処理について説明したが、それぞれの数はこれに限定するものではなく、如何なる数であっても、その処理の本質は同じである。
【0107】
次に、画像処理装置の数と同じ数のユーザが複合現実空間を体感するような場合について説明する。
【0108】
図8は、4人のユーザが自身の頭部にHMDを装着して複合現実空間を体感している様子を示す俯瞰図である。図8において図4と同じものについては同じ参照番号を付けており、その説明は省略する。
【0109】
図8では、801,802a、803,804は、4人のユーザのそれぞれの立ち位置を示している。802bは位置802aにおけるユーザの移動後の位置を示している。そして図8では、位置801に位置するユーザ(第1のユーザ)が頭部に装着しているHMD(第1のHMD)は無線I/F403aと無線通信中である。また、位置802aに位置するユーザ(第2のユーザ)が頭部に装着しているHMD(第2のHMD)は無線I/F403bと無線通信中である。また、位置803に位置するユーザ(第3のユーザ)が頭部に装着しているHMD(第3のHMD)は無線I/F403cと無線通信中である。また、位置804に位置するユーザ(第4のユーザ)が頭部に装着しているHMD(第4のHMD)は無線I/F403dと無線通信中である。
【0110】
このような状態において、第2のユーザが位置802aから位置802bに移動したとする。即ち、第2のユーザが位置802bに移動したことにより、第1のHMDは無線I/F403aからの直接波を受けることができなくなってしまったとする。そして、第2のHMDの位置が、第1のHMDが生成した警戒エリアの内側となった場合、第1のHMDは、他の無線I/F403b〜403dを有する画像処理装置から受信した接続情報を参照し、現在無線通信していない無線I/Fを特定する。しかし、図8の場合、どの無線I/F403b〜403dも無線通信中であり、無線通信していない無線I/Fは存在しない。このような場合、第1のHMDは、第2のHMDが無線通信中の無線I/F403bとのリンクを確立する。また、第2のHMDは、第1のHMDが無線通信中の無線I/F403aとのリンクを確立する。もちろん、第1のHMDは、無線I/F403bとのリンクを確立すると、その旨を第2のHMDに通知するので、第2のHMDは係る通知を検知すると、第1のHMDが無線通信中の無線I/F403aとのリンクを確立する。
【0111】
そして第2のHMDの位置が更に、第1のHMDが生成した切り替えエリアの内側となった場合、第1のHMDは、無線I/F403bとの無線通信を開始すると共に、その旨を第2のHMDに通知する。第2のHMDは係る通知を検知すると、無線I/F403aとの無線通信を開始する。
【0112】
なお、以上説明したシステムで用いたHMDはビデオシースルー型のものであったが、光学シースルー型ものものを用いても良い。
【0113】
また、本実施形態では、画像処理装置の位置(無線I/Fの位置)は固定されているものとして説明したが、任意に移動しても良い。その場合、例えば、画像処理装置(無線I/F)の位置を計測するためのセンサを画像処理装置(無線I/F)に取り付け、係るセンサにより計測した結果(位置情報)を順次、HMDに送出する。もちろん、画像処理装置(無線I/F)の位置情報を得るための構成についてはこれに限定するものではなく、何れの方法を用いても良い。
【0114】
ここで、本実施形態に係るシステムとして説明した構成は、その一例に過ぎず、本質的な構成は次のような構成となる。即ち本質的な構成は、頭部装着型表示装置と、この頭部装着型表示装置と無線通信を行う通信器と、この通信器を介して頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムである。
【0115】
係る構成におけるシステムが有するそれぞれの画像処理装置は、次のような構成を備えることを特徴とする。即ち、自画像処理装置が使用中の通信器と無線通信中の頭部装着型表示装置の位置情報を、自画像処理装置以外の他画像処理装置に対して送信する。更に、他画像処理装置から送信された、他画像処理装置が使用中の通信器と無線通信中の他頭部装着型表示装置の位置情報を、受信する。
【0116】
そして、受信した他頭部装着型表示装置の位置情報を、自画像処理装置が使用中の通信器と無線通信中の頭部装着型表示装置に対して送信する。
【0117】
また、係る構成におけるシステムが有するそれぞれの頭部装着型表示装置は、次のような構成を備えることを特徴とする。即ち、自頭部装着型表示装置の位置と、自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する。そして頭部装着型表示装置から送信された位置情報を取得する。そして、この取得した位置情報が示す位置が、上記生成された領域情報が示す領域内に含まれているか否かを判断する。そして係る判断の結果に応じて、注目通信器、若しくは注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する(受信制御)。
【0118】
なお、上記注目通信器は、自画像処理装置内に含められている。
【0119】
更に、本実施形態で説明したHMDは上述の通り、頭部装着型表示装置の一例として説明したもので、その本質的な構成は、次のようなものとなる。
【0120】
先ず、係る頭部装着型表示装置は、上記システムにおいて動作するものであり、次のような構成を有する。即ち、自頭部装着型表示装置の位置と、自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する。そして、自頭部装着型表示装置以外の他頭部装着型表示装置の位置情報を取得する。そして、この取得した位置情報が示す位置が、上記生成した領域情報が示す領域内に含まれているか否かを判断する。そして、係る判断の結果に応じて、注目通信器、若しくは注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する。
【0121】
[第2の実施形態]
第1の実施形態では、HMD側で、どの無線I/Fとの無線通信を行うのかの判断処理を行っていた。しかし、各画像処理装置が接続されているネットワーク上にサーバ装置を設け、係るサーバ装置が係る判断処理を行い、その判断結果を、各画像処理装置を介してHMDに送信するようにしても良い。この場合、HMD側では、係る判断結果を参照し、無線通信相手を選択する。即ち、本実施形態では、第1の実施形態におけるHMDが行っていた処理の一部を、外部の装置であるサーバ装置に行わせる。
【0122】
図10は、本実施形態に係るシステムの機能構成を示すブロック図である。図10において、図1と同じものについては同じ参照番号を付けており、その説明は省略する。即ち、以下では、第1の実施形態と同じ動作については説明を省略し、異なる動作のみについて説明する。
【0123】
各画像処理装置11a〜11cは、接続情報と、無線通信中のHMD10a〜10cから受信した位置姿勢情報と、を、ネットワーク199上に接続されている切り替え制御用サーバ12に送信する。
【0124】
切り替え制御用サーバ12が有する位置姿勢/接続情報管理部1002は、切り替え制御部111が行うものとして説明した、図7のフローチャートに従った処理を実行する。しかし、実際にリンクの確立や無線通信相手の切り替え制御を位置姿勢/接続情報管理部1002が行うのではない。即ち、図7のフローチャートに従った処理の結果を切り替え制御部111に実行させるべく、図7のフローチャートに従った処理の結果を示す「切り替え情報」を生成する。これは、各画像処理装置11a〜11cについて行う。
【0125】
そして、画像処理装置11aについて生成した切り替え情報は画像処理装置11aに返信するし、画像処理装置11bについて生成した切り替え情報は画像処理装置11bに返信する。また、画像処理装置11cについて生成した切り替え情報は画像処理装置11cに返信する。
【0126】
各画像処理装置11a〜11cは、切り替え制御用サーバ12から受信した切り替え情報を、無線通信中のHMD10a〜10cに対して送信する。
【0127】
HMD10aの場合、切り替え制御部111は、画像処理装置11aから受信した切り替え情報を参照し、無線通信相手を選択したり、リンクを確立したりする。即ち、画像処理装置11aについて位置姿勢/接続情報管理部1002が図7のフローチャートに従った処理を実行した結果、切り替え制御部111が行うべき処理として決定した内容を、切り替え制御部111が実行する。
【0128】
なお、本実施形態においても、ビデオシースルー型のHMDの代わりに、光学シースルー型のHMDを用いても良い。
【0129】
また、本実施形態では、切り替え制御用サーバ12を別個の装置として説明したが、切り替え制御用サーバ12の機能を有するハードウェアを、画像処理装置11a〜11cの何れかの装置内に組み込むようにしても良い。その場合、各画像処理装置(係るハードウェアを組み込んだ画像処理装置は省く)は、係るハードウェアを組み込んだ画像処理装置に対して、位置姿勢情報、接続情報を送信することになる。
【0130】
以上説明したように、本実施形態によれば、第1の実施形態よりも、HMDに行わせる処理が軽減されるので、HMDにおける消費電力を軽減させることができる。
【0131】
[その他の実施形態]
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【0132】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0133】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0134】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【0135】
【図1】複数人のユーザに対して複合現実空間を提供する事が可能なMRシステムの機能構成例を示すブロック図である。
【図2】一人のユーザに対して、仮想空間と現実空間とを融合した複合現実空間を提供するためのシステムの外観例を示す図である。
【図3】マーカを配した現実空間を撮像部101により撮像した場合に得られる撮像画像の一例を示す図である。
【図4】2人のユーザが自身の頭部にHMDを装着して複合現実空間を体感している様子を示す俯瞰図である。
【図5】本発明の第1の実施形態に係るシステムが、HMDと画像処理装置との間の通信障害を解消すべく行う動作について説明する図である。
【図6】ステップS701において設定する領域の一例を示す図である。
【図7】切り替え制御部111が行う処理のフローチャートである。
【図8】4人のユーザが自身の頭部にHMDを装着して複合現実空間を体感している様子を示す俯瞰図である。
【図9】一般的なワイヤレスMRシステムの機能構成を示すブロック図である。
【図10】本発明の第2の実施形態に係るシステムの機能構成を示すブロック図である。
【図11】ビデオシースルー型HMDを利用した一般的な複合現実感システム(以下ではMRシステムと呼称する)の機能構成を示すブロック図である。
【技術分野】
【0001】
本発明は、複合現実感を提供するための技術に関するものである。
【背景技術】
【0002】
近年、現実世界と仮想世界とをリアルタイムかつシームレスに融合させる技術として複合現実感技術、所謂MR(Mixed Reality)技術が知られている。MR技術の一つに、次のような技術が知られている。即ち、ビデオシースルー型HMDを利用して、HMD装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラ等で撮像する。そして、その撮像画像にコンピュータグラフィックス(Computer Graphics:以下CG)を重畳表示した画像をHMD装着者に提示する。
【0003】
図11は、ビデオシースルー型HMDを利用した一般的な複合現実感システム(以下ではMRシステムと呼称する)の機能構成を示すブロック図である。以下、図11を用いて、一般的なMRシステムの概要について説明する。
【0004】
1101は、ビデオシースルー型のHMDである。HMD1101は、撮像部1103、表示部1104、3次元位置姿勢センサ1105、I/F(インターフェース)1106を有する。
【0005】
1102は、HMD1101から受け取った撮像画像情報、センサ情報から生成した3次元位置姿勢情報、に基づいて仮想空間画像(CG)を生成し、HMD1101から受け取った撮像画像との合成処理を行う画像処理装置である。画像処理装置1102は、一般にはPC(パーソナルコンピュータ)やワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置により構成されている。画像処理装置1102は、I/F1107、位置姿勢情報生成部1108、CG描画合成部1110、コンテンツDB(データベース)1109を有する。
【0006】
先ず、HMD1101を構成する各部の動作について説明する。
【0007】
撮像部1103は、HMD1101を頭部に装着したユーザの視点と略一致する位置姿勢における外界の画像を撮像する。撮像部1103は、ステレオ画像を撮像すべく、右目用の撮像素子、左目用の撮像素子、光学系、そして後段の画像処理のためのDSP(Digital Signal Processing)により構成されている。
【0008】
表示部1104は、画像処理装置1102から送出される右目用のMR画像、左目用のMR画像を表示するためのものである。従って、表示部1104は、右目用の表示デバイス、左目用の表示デバイス、光学系により構成されている。それぞれの表示デバイスとしては、小型の液晶ディスプレイやMEMS(Micro Electro−Mechanical Systems)による網膜スキャンタイプのデバイスが用いられる。
【0009】
3次元位置姿勢センサ1105は、自身の位置姿勢を計測するためのものである。3次元位置姿勢センサ1105には、磁気センサやジャイロセンサ(加速度、角速度)が使用される。
【0010】
I/F1106は、画像処理装置1102とのデータ通信を行うために用いられるものである。撮像部1103により撮像された撮像画像、3次元位置姿勢センサ1105により計測された位置姿勢情報は、このI/F1106を介して画像処理装置1102に送信される。また、画像処理装置1102から送信されたMR画像は、このI/F1106を介して受信する。I/F1106には、リアルタイム性が求められかつ大容量の伝送が可能な、USBやIEEE1394のメタル線、GigabitEthernet等の光ファイバが用いられる。
【0011】
次に、画像処理装置1102を構成する各部の動作について説明する。
【0012】
I/F1107は、HMD1101とのデータ通信を行うために用いられるものであり、画像処理装置1102が生成したMR画像は、このI/F1107を介してHMD1101に送信される。また、HMD1101から送信された撮像画像、位置姿勢情報は、このI/F1107を介して受信する。
【0013】
位置姿勢情報生成部1108は、HMD1101から送信された撮像画像情報、位置姿勢情報に基づいて、HMD1101を装着したユーザの目の位置姿勢を示す位置姿勢情報を生成する。ユーザの目の位置姿勢を示す位置姿勢情報を生成する方法としては、このほかにも、例えば、撮像部1103が撮像した画像を用いる方法もある。
【0014】
コンテンツDB1109には、仮想空間を構成する各仮想物体に係るデータが保存されている。
【0015】
CG描画合成部1110は、コンテンツDB1109に保存されているデータを用いて仮想空間を構築し、構築した仮想空間を、位置姿勢情報生成部1108が生成した位置姿勢情報が示す位置姿勢を有する視点から見た画像を、仮想空間画像として生成する。そして、生成した仮想空間画像を、I/F1107を介してHMD1101から受信した撮像画像上に合成したMR画像を生成する。生成したMR画像は、I/F1107を介してHMD1101に送信する。
【0016】
以上説明した構成による処理によって、HMD1101を頭部に装着したユーザに対して、現実世界と仮想世界とがリアルタイムかつシームレスに融合した複合現実世界を提供することができる。
【0017】
次に、画像処理装置とHMDとの間の通信をワイヤレスにした一般的なシステム(ワイヤレスMRシステム)について説明する。ワイヤレスMRシステムは、図11に示した構成において、I/F1106とI/F1107との間の通信を無線化することにより、その他の機能ブロックの構成を変更することなく実現することも可能である。しかし、無線による通信方式は一般的に、有線通信方式と比べて大幅に伝送帯域が狭いという問題がある。従って、ワイヤレスMRシステムを実現するためには、例えば、図9に示すような構成にすることが好ましい。
【0018】
図9は、一般的なワイヤレスMRシステムの機能構成を示すブロック図である。図9において図11と同じものについては同じ参照番号を付けており、その説明は省略する。以下、図9を用いて、一般的なワイヤレスMRシステムの概略について説明する。
【0019】
I/F1206は、位置姿勢情報生成部1108が求めた位置姿勢情報を、無線通信により画像処理装置1202に送信する。
【0020】
I/F1207は、HMD1201から無線通信により送信された位置姿勢情報を受信し、これをCG描画部1210に送出する。
【0021】
CG描画部1210は、コンテンツDB1109に保存されているデータを用いて仮想空間を構築し、構築した仮想空間を、I/F1207から受けた位置姿勢情報が示す位置姿勢を有する視点から見た画像を、仮想空間画像として生成する。そして、生成した仮想空間画像を、I/F1207を介してHMD1201に送信する。
【0022】
即ち、HMD1201から画像処理装置1202に対しては撮像画像は送信せず、位置姿勢情報のみを送信する。また、画像処理装置1202からHMD1201に対しては、係る位置姿勢情報に基づいて生成した仮想空間画像を送信する。これにより、HMD1201と画像処理装置1202との間で送受信されるデータの伝送量を削減することができる。
【0023】
I/F1206は、画像処理装置1202から送信された仮想空間画像を受信すると、これを画像合成部1211に送出する。
【0024】
画像合成部1211は、撮像部1103からの撮像画像上に、I/F1206から受けた仮想空間画像を重畳させた合成画像を生成し、これを表示部1104に送出する。
【0025】
ビデオシースルー型HMDを用いる上記MRシステムでは、HMD装着者の視界を確保することが重要である。特に、画像の伝送に無線通信方式を採用したワイヤレスMRシステムでは、使用環境や装置間の距離によっては、エラーの発生頻度が大きくなる。加えて、HMD装着者の移動に伴い、通信する画像処理装置の切り替えが頻繁に発生したり、通信中の画像処理装置との見通しがMR空間を体験中の他のユーザによって遮蔽された際に、CG画像を受信できなくなることがある。
【0026】
他のユーザ、及び装置によって通信状態が不安定になった際の処理方法として、電波強度に基づいて、通信を行う無線基地局を切り替える手法が特許文献1に開示されている。特許文献1によれば、移動局において所定値以上の電波強度で干渉情報を検出した場合には、通信中の無線基地局に通話チャネルの切り替え要求を送り、無線基地局は移動局に新通話チャネルの指示を送る。通信中の無線基地局で新通話チャネルを確保できないときは、交換機を介して近くの無線基地局で新通話チャネルを確保する。切り替え要求、新通話チャネルの指示を送るチャネルとして、通話チャネルとは別の周波数の情報チャネルを利用する。
【0027】
また、移動局の移動方向や移動速度を検出して、チャネル接続、切り替え制御等を行う手法が特許文献2に開示されている。
【0028】
特許文献2によれば、移動局の移動方向を求め、移動方向が移動体通信サービスエリア外である場合、移動局が移動通信サービスエリア外に移動する前に、基地局から移動局へ、移動方向には通信エリアがないことを通知する。
【0029】
また、特許文献3によれば、移動局が使用しているチャネルの中心周波数変動を、各無線基地局設備の無線機に設置するドップラーシフト検出回路により検出し、移動局の進行方向、速度を検出し、チャネル接続、切断制御を自動的に行う。
【特許文献1】特開平6−69862号公報
【特許文献2】特開平6−86353号公報
【特許文献3】特開2004−15518号公報
【発明の開示】
【発明が解決しようとする課題】
【0030】
しかしながら上述した従来の技術には、以下のような問題があった。
【0031】
特許文献1に開示されている技術、即ち、電波強度測定によって干渉情報を検出し、切り替えを行う手法は、移動局側で常に電波強度の測定を行わなければならないため、移動局側での電力消費が大きく、バッテリーの連続駆動時間を低下させてしまう。さらに、干渉を検出してから制御を行うため、切り替えが完了するまでの時間は、干渉の影響を受けることになる。更に、ワイヤレスMRシステムを複数のユーザが共有する場合、各ユーザにはそれぞれ異なる画像を送信する必要があり、限られた空間内で複数の無線装置を使用するため、各HMDで使用する周波数帯は、干渉が発生しないように割り当てることが前提となる。従って、干渉情報の検出を前提とする特許文献1に開示されている技術は、ワイヤレスMRシステムには適用することができない。
【0032】
また、特許文献2及び特許文献3に開示されている技術、即ち、移動局の移動方向に基づいて、通信エリア外の通知や、基地局の切り替えを行う手法は、他のユーザ、及び装置の動きを考慮していない。そのため、通信中の基地局との見通しが遮蔽されて通信の遮断が発生することを検出することができない。
【0033】
本発明は以上の問題に鑑みてなされたものであり、HMDを頭部に装着した複数人のユーザが複合現実空間を共有する場合に、HMDに対する無線での画像送信を円滑に行うための技術を提供することを目的とする。
【課題を解決するための手段】
【0034】
本発明の目的を達成するために、例えば、本発明のシステムは以下の構成を備える。
【0035】
即ち、頭部装着型表示装置と、当該頭部装着型表示装置と無線通信を行う通信器と、当該通信器を介して前記頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムであって、
それぞれの画像処理装置は、
自画像処理装置が使用中の通信器と無線通信中の頭部装着型表示装置の位置情報を、前記自画像処理装置以外の他画像処理装置に対して送信すると共に、前記他画像処理装置から送信された、前記他画像処理装置が使用中の通信器と無線通信中の他頭部装着型表示装置の位置情報を、受信する手段と、
前記受信した他頭部装着型表示装置の位置情報を、前記自画像処理装置が使用中の通信器と無線通信中の頭部装着型表示装置に対して送信する送信手段と
を備え、
それぞれの頭部装着型表示装置は、
自頭部装着型表示装置の位置と、当該自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する生成手段と、
前記送信手段が送信した位置情報を取得する取得手段と、
前記取得手段が取得した位置情報が示す位置が、前記生成手段が生成した領域情報が示す領域内に含まれているか否かを判断する判断手段と、
前記判断手段による判断結果に応じて、前記注目通信器、若しくは前記注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する受信制御手段と
を備えることを特徴とする。
【0036】
本発明の目的を達成するために、例えば、本発明の頭部装着型表示装置は以下の構成を備える。
【0037】
即ち、頭部装着型表示装置と、当該頭部装着型表示装置と無線通信を行う通信器と、当該通信器を介して前記頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムにおける頭部装着型表示装置であって、
自頭部装着型表示装置の位置と、当該自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する生成手段と、
前記自頭部装着型表示装置以外の他頭部装着型表示装置の位置情報を取得する取得手段と、
前記取得手段が取得した位置情報が示す位置が、前記生成手段が生成した領域情報が示す領域内に含まれているか否かを判断する判断手段と、
前記判断手段による判断結果に応じて、前記注目通信器、若しくは前記注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する受信制御手段と
を備えることを特徴とする。
【0038】
本発明の目的を達成するために、例えば、本発明の頭部装着型表示装置の制御方法は以下の構成を備える。
【0039】
即ち、頭部装着型表示装置と、当該頭部装着型表示装置と無線通信を行う通信器と、当該通信器を介して前記頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムにおける頭部装着型表示装置の制御方法であって、
自頭部装着型表示装置の位置と、当該自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する生成工程と、
前記自頭部装着型表示装置以外の他頭部装着型表示装置の位置情報を取得する取得工程と、
前記取得工程で取得した位置情報が示す位置が、前記生成工程で生成した領域情報が示す領域内に含まれているか否かを判断する判断工程と、
前記判断工程での判断結果に応じて、前記注目通信器、若しくは前記注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する受信制御工程と
を備えることを特徴とする。
【発明の効果】
【0040】
本発明の構成によれば、HMDを頭部に装着した複数人のユーザが複合現実空間を共有する場合に、HMDに対する無線での画像送信を円滑に行うための技術を提供すること。
【発明を実施するための最良の形態】
【0041】
以下、添付図面を参照し、本発明の好適な実施形態について詳細に説明する。
【0042】
[第1の実施形態]
本実施形態では、ユーザの頭部に装着するHMDと、このHMDに対して画像を送信する画像処理装置との間の通信を無線で行うシステムにおいて、この無線での通信を円滑に行うための技術について説明する。
【0043】
先ず、一人のユーザに対して、仮想空間と現実空間とを融合した複合現実空間を提供するためのシステムについて説明する。
【0044】
図2は、一人のユーザに対して、仮想空間と現実空間とを融合した複合現実空間を提供するためのシステムの外観例を示す図である。
【0045】
HMD201は、ビデオシースルー型のHMDであり、HMD201を頭部に装着したユーザの右目、左目に対して提示する現実空間画像を撮像するための撮像部と、右目、左目に対して画像を表示する表示部と、自身の位置姿勢を計測する計測部と、を有する。更に、HMD201には、中継器202が有線接続されており、係る中継器202には、送受信アンテナ205aが設けられている。係る構成において、HMD201は、中継器202、送受信アンテナ205を介して画像処理装置204との無線通信を行う。本システムで使用する無線通信方式は、WLAN(Wireless Local Area Network)、WPAN(Wireless Personal Area Network)のような、小規模ネットワークを構成する方式を想定している。中継器202は、HMD201と同様に、ユーザの身体の一部に装着して使用することができ、HMD201および中継器202はバッテリーで駆動可能である。
【0046】
HMD201は、計測部による計測結果、撮像部による撮像画像に基づいて生成した位置姿勢情報を中継器202、送受信アンテナ205aを介して画像処理装置204に対して送信する。
【0047】
一方、画像処理装置204は、一般のPC(パーソナルコンピュータ)等のコンピュータにより構成されている。画像処理装置204にはコントローラ203が有線接続されており、係るコントローラ203には、送受信アンテナ205bが設けられている。係る構成において、画像処理装置204は、係るコントローラ203、送受信アンテナ205bを介してHMD201との無線通信を行う。
【0048】
画像処理装置204は、HMD201から送信された位置姿勢情報を、送受信アンテナ205b、コントローラ203を介して受信すると、受信した位置姿勢情報に基づいて、仮想空間画像を生成する。そして生成した仮想空間画像に加え、後述する様々な情報をコントローラ203、送受信アンテナ205bを介してHMD201に対して送信する。この「様々な情報」については後に詳しく説明するので、ここでは係る情報の送信については省略して説明する。
【0049】
HMD201は係る仮想空間画像を、送受信アンテナ205a、中継器202を介して受信すると、受信した仮想空間画像を、撮像部により撮像した現実空間画像上に合成することで、合成画像を生成する。そして生成した合成画像を、表示部に表示する。
【0050】
なお、図2では、中継器202、送受信アンテナ205aは、HMD201の外部に設けられている別個の装置として示している。しかし、以下では説明を簡単にするために、中継器202、送受信アンテナ205aは、無線I/F(通信器)という1つの機能部としてHMD201内に含められているものとして説明する。しかし、図2に示すように、中継器202、送受信アンテナ205aがHMD201の外部に設けられていても、以下の説明の本質は同じである。
【0051】
同様に、図2では、コントローラ203、送受信アンテナ205bは、画像処理装置204の外部に設けられている別個の装置として示されている。しかし、以下では説明を簡単にするために、コントローラ203、送受信アンテナ205bは、無線I/Fという1つの機能部として画像処理装置204内に含められているものとして説明する。しかし、図2に示すように、コントローラ203、送受信アンテナ205bが画像処理装置204の外部に設けられていても、以下の説明の本質は同じである。
【0052】
図1は、複数人のユーザに対して複合現実空間を提供する事が可能なMRシステムの機能構成例を示すブロック図である。即ち、図1に示したシステムは、図2に示したシステムをユーザの人数分含むものであり、更に、それぞれの画像処理装置間を有線接続した構成を有する。
【0053】
以下、本実施形態に係るシステムについて説明する。
【0054】
HMD10aは、頭部装着型表示装置の一例としての、ビデオシースルー型のHMDであり、周知の如く、複合現実空間を観察するユーザの頭部に装着するものである。HMD10aは、3次元位置姿勢センサ104、撮像部101、表示部110、位置姿勢情報生成部102、画像合成部109、無線I/F103a、切り替え制御部111により構成されている。
【0055】
3次元位置姿勢センサ104は、自身の位置姿勢を計測するものであり、計測した結果としての位置姿勢情報は、後段の位置姿勢情報生成部102に送出される。3次元位置姿勢センサ104としては様々なものが考えられるが、例えば、磁気センサを用いることができる。3次元位置姿勢センサ104が磁気センサの場合、現実空間中の所定の位置には、磁気の発信源としてのトランスミッタが設置されることになる。係るトランスミッタは、自身の周囲に磁界を発生させる。3次元位置姿勢センサ104は、係る磁界中における自身の位置姿勢に応じた磁界の変化を検知し、検知した結果を示す信号を、トランスミッタを制御するためのコントローラに送出する。係るコントローラは、係る信号に基づいて、センサ座標系における3次元位置姿勢センサ104の位置姿勢を計測する。ここで、センサ座標系とは、トランスミッタの位置を原点として定義し、係る原点で互いに直交する3軸をそれぞれ、x軸、y軸、z軸とする座標系である。本実施形態では説明を簡単にするために、センサ座標系と世界座標系とは原点、軸が一致しているものとして説明する。しかし、一致していなくても、それぞれの座標系間の位置姿勢関係が既知であれば、周知の座標変換技術を用いれば、センサ座標系における座標値を世界座標系における座標値に変換することができる。ここで、世界座標系とは、現実空間中の所定の1点を原点として定義し、係る原点で互いに直交する3軸をそれぞれ、x軸、y軸、z軸とする座標系である。
【0056】
なお、3次元位置姿勢センサ104に適用可能なセンサは、これ以外のセンサでも良く、例えば、超音波センサや光学式センサなどが挙げられる。
【0057】
位置姿勢情報生成部102は、3次元位置姿勢センサ104から受けた位置姿勢情報と、撮像部101から受けた現実空間画像とを用いて、撮像部101の位置姿勢情報を求める。
【0058】
しかし、撮像部101の位置姿勢情報を求める方法については様々な方法が考えられ、本実施形態は何れの方法を用いても良い。
【0059】
ここで、撮像部101の位置姿勢情報を得るための方法について、幾つかの例を説明する。
【0060】
例えば、3次元位置姿勢センサ104から受けた位置姿勢情報に、予め測定した「3次元位置姿勢センサ104と撮像部101との位置姿勢関係を示す情報」を加えることで、撮像部101の位置姿勢情報を求めても良い。
【0061】
次に、撮像部101による撮像画像を用いて撮像部101の位置姿勢情報を求める方法について説明する。先に説明しておくが、係る方法は周知の技術であるので、その詳細については省略する。撮像部101による撮像画像を用いて撮像部101の位置姿勢情報を求める場合、3次元位置姿勢センサ104は省略することができる。
【0062】
図3は、マーカを配した現実空間を撮像部101により撮像した場合に得られる撮像画像の一例を示す図である。図3において302はマーカで、様々な情報がコード化された2次元バーコードが記されており、その周囲には枠が記されている。係るマーカ302は、図3では現実物体としてのテーブル301の上に配されており、世界座標系におけるマーカ302の位置(3次元座標位置)、若しくは何らかの基準位置からの相対位置が既知であるものとする。そして30は、このような現実空間を撮像部101によって撮像することで得られる現実空間画像を示す。
【0063】
撮像部101が係る現実空間画像30を撮像し、撮像した係る現実空間画像30を位置姿勢情報生成部102に送出すると、位置姿勢情報生成部102は先ず、現実空間画像30中におけるマーカ302を検出する。そして検出したマーカ302に記されている2次元バーコードを解析し、係る2次元バーコードの識別情報を認識する。識別情報に対応するマーカの3次元座標位置は予め記憶されているので、位置姿勢情報生成部102は、係る処理によって識別情報が認識されると、対応する3次元座標位置を、予め記憶されている情報群の中から特定する。そして、現実空間画像30上のマーカ302の座標位置と、対応する3次元座標位置とを用いれば、後は写真測量などの分野で周知の技術を用いれば、撮像部101の位置姿勢情報を生成することができる。なお、マーカ302は複数個用いても良い。また、マーカ302の代わりに、例えば、画像中のエッジ304を用いても良い。また、マーカ302として用いることができるものは、2次元バーコードが記されたものに限定するものではなく、例えば、カラーマーカや、LED等の発光素子のような方向性のないマーカを用いても良い。このようにマーカ302の代わりに用いることができるものについては様々なものが考え得る。また、これら列挙したものを適宜組み合わせて用いても良い。なお、位置姿勢情報生成部102が行う上記処理については周知の技術であるので、これ以上の説明は省略する。また、客観カメラ(外部イメージセンサ)等の、HMD以外に取り付けて使用するタイプのデバイスを用いて、撮像部101の位置姿勢情報を求める方法もある。この場合、撮像部101にマーカを貼り付ける必要がある。係る方法も周知の技術である。
【0064】
なお、これらのセンシングデバイスは一種類のみで使用することも、複数の種類のデバイスを組み合わせて使用することも可能である。また、HMDに内蔵された主観カメラで撮像した画像情報と、センシングデバイスで取得したセンシング情報を組み合わせて三次元位置姿勢情報の生成を行うことによって、より精度の高い三次元位置姿勢情報を得ることができる。また、主観カメラでマーカが見えていない状態でも位置姿勢情報を取得することが可能となる。
【0065】
このように、撮像部101の位置姿勢情報を生成する方法には様々なものがあり、本実施形態は、何れかの方法に限定するものではない。従って、用いる方法に応じて、適宜HMD10aの構成を変更することになるが、係る変更については当業者であれば容易に相当し得るものであるので、これについての説明は省略する。
【0066】
位置姿勢情報生成部102は、求めた「撮像部101の位置姿勢情報」を無線I/F103aを介して画像処理装置204に送信する。係る送信は上述のように、無線通信で行われる。
【0067】
一方、撮像部101は、現実空間の動画像を撮像し、撮像した各フレームの画像(現実空間画像、撮像画像)は、後段の位置姿勢情報生成部102、画像合成部109に送出する。
【0068】
画像合成部109は、画像処理装置11aから無線I/F103aを介して受信した仮想空間画像と、撮像部101から受けた現実空間画像との合成画像を生成し、生成した合成画像を表示部110に送出する。
【0069】
表示部110は、HMD10aを頭部に装着したユーザの眼前に位置するようにHMD10aに取り付けられたものであり、画像合成部109から受けた合成画像を表示する。これにより、HMD10aを頭部に装着したユーザの眼前には、画像合成部109が生成した合成画像が提示されることになる。
【0070】
切り替え制御部111は、無線I/F103aを介して画像処理装置11aから送信された後述の位置姿勢情報、接続情報を受けると、これらを用いて、無線通信相手を画像処理装置11a〜11cから選択、決定する処理を行う。切り替え制御部111の動作の詳細については後述する。
【0071】
次に、画像処理装置11aについて説明する。画像処理装置11aは、PC等のコンピュータにより構成されるものであり、無線I/F105a、有線I/F108a、CG画像描画部106a、コンテンツDB107a、により構成されている。
【0072】
無線I/F105aは、HMD10aが有する無線I/F103aから送信された位置姿勢情報を受信し、受信した位置姿勢情報を有線I/F108a、CG画像描画部106aに送出する。
【0073】
有線I/F108aは、無線I/F105aから受けた位置姿勢情報を、LAN等のネットワーク199に接続されている他の画像処理装置11b、11cに対して送信する。更に有線I/F108aは、画像処理装置11aが現在、無線通信中であるか否か示す接続情報(例えば画像処理装置11aに固有のIDと、無線通信中であるか否かを示すフラグ情報とのセット)を、画像処理装置11b、11cに送信する。
【0074】
画像処理装置11b、11cは少なくとも、画像処理装置11aの機能を有する装置であり、画像処理装置11aと同様に動作している。そして、それぞれの画像処理装置11b、11cにはそれぞれ、HMD10b、10cが無線接続されている。即ち、図1に示したシステムは、画像処理装置11aとHMD10aのセットと同様のセットが他にも2セット(画像処理装置11bとHMD10bのセットと、画像処理装置11cとHMD10cのセット)含まれていることになる。
【0075】
また、有線I/F108aは、画像処理装置11b、11cから送信された位置姿勢情報、接続情報を受信し、受信した位置姿勢情報、接続情報を無線I/F105aに送出する。無線I/F105aは、有線I/F108aから受けた位置姿勢情報と接続情報(画像処理装置11bから送信された位置姿勢情報と接続情報、画像処理装置11cから送信された位置姿勢情報と接続情報)を、HMD10aに対して送信する。
【0076】
CG画像描画部106aは、コンテンツDB107aが保持する仮想空間のデータに基づいて仮想空間を構築する。そして、係る仮想空間を、無線I/F105aから受けた位置姿勢情報が示す位置姿勢を有する視点から見た仮想を、仮想空間画像として生成する。ここで、コンテンツDB107aが保持する仮想空間のデータには、仮想空間を構成する各仮想物体に係るデータや、仮想空間中に配する光源に係るデータなどが含まれている。CG画像描画部106aは生成した仮想空間画像を無線I/F105aに送出するので、無線I/F105aはこの仮想空間画像をHMD10aに対して送信する。
【0077】
即ち、画像処理装置11a(無線I/F105a)からHMD10aには、仮想空間画像に加え、画像処理装置11b、11cから受信した位置姿勢情報、接続情報が送信されることになる。
【0078】
以上説明した構成により、HMD10aを頭部に装着したユーザの眼前には、画像処理装置11aが生成した合成画像が提示されることになる。これについては、HMD10bを頭部に装着したユーザ、HMD10cを頭部に装着したユーザについても同様である。
【0079】
なお、図1では、画像処理装置、HMDは共に3つしか示していないので、図1に示したシステムは、3人のユーザに対して複合現実空間を提示するシステムとなる。しかし、画像処理装置、HMDの数はこれに限定するものではなく、撮像から表示までのリアルタイム性が維持できる範囲であれば、これらの数を増やすことが可能である。ただし、HMDの数の上限は、画像処理装置の数以下とする。画像処理装置の数を増やすことにより、対応可能なHMDの数が増加し、また、複合現実空間を広域に拡大することが可能となる。
【0080】
次に、HMDと画像処理装置との無線通信中に、このHMD以外のHMDを頭部に装着したユーザの立ち位置によって、係る無線通信に障害が出る場合について説明する。
【0081】
図4は、2人のユーザが自身の頭部にHMDを装着して複合現実空間を体感している様子を示す俯瞰図である。図4において403a〜403dはそれぞれ、画像処理装置内の無線I/Fであり、401,402はユーザの立ち位置を示している。そして図4では、位置401に位置するユーザ(第1のユーザ)が頭部に装着しているHMD(第1のHMD)は無線I/F403aと無線通信中である。また、位置402に位置するユーザ(第2のユーザ)が頭部に装着しているHMD(第2のHMD)は無線I/F403bと無線通信中である。
【0082】
このような状態において、第2のユーザが405で示す位置、即ち、第1のHMDと無線I/F403aとの間の直接の見通し位置に移動したとする。この場合、第1のHMDは無線I/F403aからの直接波を受信することができないため、受信電波強度が著しく悪化し、仮想空間画像の伝送エラーやフレーム落ちが発生する。その結果、第1のHMDには、エラーを含む仮想空間画像が合成された合成画像が表示されたり、仮想空間画像が突然消えてしまうような違和感のある合成画像が表示されることになる。
【0083】
本実施形態に係るシステムは係る問題を解消すべく構成されたものである。
【0084】
図5は、本実施形態に係るシステムが、HMDと画像処理装置との間の通信障害を解消すべく行う動作について説明する図である。図5において図4と同じものについては同じ参照番号を付けており、その説明は省略する。
【0085】
本実施形態では、第1のHMDの位置と、第1のHMDが現在無線通信中の無線I/F403aの位置と、を通る直線を軸とする領域を設定する。係る領域としては、図5に504,505で示す如く、サイズの異なる2つの領域を設定する。図5では、係る直線を軸とする領域505(第1の領域)と、領域505を包含する領域504(第2の領域)とを設定している。それぞれの領域504,505は、第1のHMDの位置や姿勢などが変化したりする毎に変わるので、例えば、決まった時間間隔で再設定する。また、それぞれの領域504、505の形状やサイズは適宜決めればよい。
【0086】
ここで、第2のユーザが位置402から位置5010に移動したとする。この場合、位置5010は領域505の外(第1の領域外)且つ領域504内(第2の領域内)となっている。上述の通り、第1のHMDは、第1のHMDと無線通信している画像処理装置から第2のHMDの位置姿勢情報を取得するので、第1のHMDが、係る位置姿勢情報が示す位置が領域505の外且つ領域504内であることを検知すると、次のように動作する。即ち、第1のHMDと無線通信中の画像処理装置から受信した接続情報を参照し、現在どのHMDとも無線通信を行っていない無線I/Fを、無線I/F403b〜403dから特定する。そして、特定したうちの1つの無線I/Fとリンクを確立する。ここではリンクを確立するだけである。現在どのHMDとも無線通信を行っていない無線I/Fのうちの1つを選択する方法としては、例えば、第1のHMDに最も近い位置に設定されている無線I/Fを選択する方法がある。係る方法は、予め測定されている各無線I/Fの位置情報と、第1のHMDの位置情報とを用いれば実現可能である。図5では、無線I/F403cとのリンク506を確立することになる。
【0087】
ここで、第2のユーザが更に位置5010から位置5020に移動したとする。この場合、位置5020は領域505内となっている。上述の通り、第1のHMDは、第1のHMDと無線通信している画像処理装置から第2のHMDの位置姿勢情報を取得するので、第1のHMDが、係る位置姿勢情報が示す位置が領域505内であることを検知すると、次のように動作する。即ち、第1のHMDは、現在リンクを確立している無線I/F(図5では無線I/F403c)との無線通信を開始すべくチャネルを切り替え、更に、直前まで無線通信を行っていた無線I/F(図5では無線I/F403a)との無線通信を切断する。
【0088】
ここで、第2のユーザが位置5010から領域504の外に移動した場合には、リンクを確立した無線I/Fとのリンクを解除する。
【0089】
図7は、切り替え制御部111が行う処理のフローチャートである。図7のフローチャートに従った処理は、仮想空間画像と現実空間画像との合成画像を表示部110に表示するための処理と並行して行われるものである。
【0090】
画像処理装置11aから送信された、位置姿勢情報、及び接続情報は、無線I/F103aを介して切り替え制御部111に入力される。更に、位置姿勢情報生成部102が求めた位置姿勢情報も切り替え制御部111に入力される。
【0091】
従って、ステップS701では、切り替え制御部111は先ず、位置姿勢情報生成部102から受けた位置姿勢情報中の位置情報と、HMD10a内の不図示のメモリに登録されている「画像処理装置11a(無線I/F105a)の位置情報」とを参照する。そして、撮像部101の位置と、画像処理装置11a(無線I/F105a)の位置と、を通る直線を軸とする領域を求め、設定する。例えば、係る軸が、円形の上面、下面のそれぞれの中心位置を通るような円柱領域を求めても良い。
【0092】
図6は、ステップS701において設定する領域の一例を示す図である。図6において602は、位置姿勢情報生成部102が生成した位置姿勢情報中の位置情報が示す位置であり、601は、予め測定された画像処理装置11a(無線I/F105a)の位置である。604は、位置601と位置602とを通る直線である。603は、係る直線604を軸とする領域である。
【0093】
ここで設定した領域を「切り替えエリア」と呼称する。更に、ステップS701では、切り替えエリアを包含する領域を「警戒エリア」として求め、設定する。警戒エリアの形状やサイズについては特に限定するものではないが、例えば、形状は切り替えエリアと同じで、図6に示す底面(上面、下面)の半径rのみを大きくしたものを警戒エリアとして求めても良い。
【0094】
ここで、警戒エリア、切り替えエリアを設定する、とは、それぞれのエリアの形状やその位置、姿勢を示す情報(第1の領域情報、第2の領域情報)を求めることに相当する。
【0095】
次に、無線I/F103aを介して受信した位置姿勢情報、即ちHMD10bの位置姿勢情報、HMD10cの位置姿勢情報を参照し、HMD10bの位置が警戒エリア内に位置しているのか、HMD10cの位置が警戒エリア内に位置しているのかを判断する。即ち、警戒エリアに対する内外判定処理を行う。
【0096】
係る判断の結果、HMD10b、10cの何れの位置も警戒エリア内に位置していない場合には、ステップS702を介して本処理を終了する。一方、係る判断の結果、HMD10b、10cのうち少なくとも1つの位置が警戒エリア内に位置している場合には、処理をステップS702を介してステップS704に進める。
【0097】
ステップS704では、無線I/F103aを介して受信した接続情報を参照する。上述の通り、この接続情報は、画像処理装置11bが無線通信中か否か、画像処理装置11cが無線通信中か否かを示すものであるので、係る接続情報を参照すれば、現在無線通信を行っていない画像処理装置を特定することができる。
【0098】
そこで、ステップS705では、接続情報に基づいて、現在無線通信を行っていない画像処理装置を特定する。
【0099】
ステップS706では、切り替え制御部111は、無線I/F103aを制御し、ステップS705で特定した画像処理装置が有する無線I/Fとのリンクを確立する。
【0100】
次にステップS707では、無線I/F103aを介して受信した位置姿勢情報、即ち、HMD10bの位置姿勢情報、HMD10cの位置姿勢情報を参照する。そして、HMD10bの位置が切り替えエリア内に位置しているのか、HMD10cの位置が切り替えエリア内に位置しているのかを判断する。
【0101】
係る判断の結果、HMD10bの位置が切り替えエリア内に位置している、若しくはHMD10cの位置が切り替えエリア内に位置している場合には、処理をステップS708を介してステップS709に進める。
【0102】
ステップS709では、切り替え制御部111は無線I/F103aを制御し、従前に無線通信相手としていた無線I/F、即ち無線I/F105aとの通信を切断し、ステップS706でリンクを確立した無線I/Fとの通信を開始する。
【0103】
一方、HMD10b、10cの何れの位置も切り替えエリア内に位置していない場合には、処理をステップS708を介してステップS710に進める。
【0104】
ステップS710では、HMD10bの位置、HMD10cの位置、が共に警戒エリアの外側に位置しているのか否かを判断する。即ち、ステップS702における処理以降で、HMD10bの位置やHMD10cの位置が変化し、何れの位置も警戒エリアの外側に移動してしまった可能性がある。ステップS710では、係る可能性を考慮し、再度、係る判断処理を行う。
【0105】
係る判断の処理の結果、何れの位置も警戒エリアの外側である場合には処理をステップS711に進める。ステップS711では、ステップS706で確立したリンクを解除し、それまで無線通信の相手としていた無線I/F105aとの無線通信を継続する。一方、HMD10b、10cの何れかの位置が未だ警戒エリアの内側である場合には、本処理を終了する。
【0106】
なお、以上の処理は、3台の画像処理装置と、3台のHMDとを有するシステムにおける処理について説明したが、それぞれの数はこれに限定するものではなく、如何なる数であっても、その処理の本質は同じである。
【0107】
次に、画像処理装置の数と同じ数のユーザが複合現実空間を体感するような場合について説明する。
【0108】
図8は、4人のユーザが自身の頭部にHMDを装着して複合現実空間を体感している様子を示す俯瞰図である。図8において図4と同じものについては同じ参照番号を付けており、その説明は省略する。
【0109】
図8では、801,802a、803,804は、4人のユーザのそれぞれの立ち位置を示している。802bは位置802aにおけるユーザの移動後の位置を示している。そして図8では、位置801に位置するユーザ(第1のユーザ)が頭部に装着しているHMD(第1のHMD)は無線I/F403aと無線通信中である。また、位置802aに位置するユーザ(第2のユーザ)が頭部に装着しているHMD(第2のHMD)は無線I/F403bと無線通信中である。また、位置803に位置するユーザ(第3のユーザ)が頭部に装着しているHMD(第3のHMD)は無線I/F403cと無線通信中である。また、位置804に位置するユーザ(第4のユーザ)が頭部に装着しているHMD(第4のHMD)は無線I/F403dと無線通信中である。
【0110】
このような状態において、第2のユーザが位置802aから位置802bに移動したとする。即ち、第2のユーザが位置802bに移動したことにより、第1のHMDは無線I/F403aからの直接波を受けることができなくなってしまったとする。そして、第2のHMDの位置が、第1のHMDが生成した警戒エリアの内側となった場合、第1のHMDは、他の無線I/F403b〜403dを有する画像処理装置から受信した接続情報を参照し、現在無線通信していない無線I/Fを特定する。しかし、図8の場合、どの無線I/F403b〜403dも無線通信中であり、無線通信していない無線I/Fは存在しない。このような場合、第1のHMDは、第2のHMDが無線通信中の無線I/F403bとのリンクを確立する。また、第2のHMDは、第1のHMDが無線通信中の無線I/F403aとのリンクを確立する。もちろん、第1のHMDは、無線I/F403bとのリンクを確立すると、その旨を第2のHMDに通知するので、第2のHMDは係る通知を検知すると、第1のHMDが無線通信中の無線I/F403aとのリンクを確立する。
【0111】
そして第2のHMDの位置が更に、第1のHMDが生成した切り替えエリアの内側となった場合、第1のHMDは、無線I/F403bとの無線通信を開始すると共に、その旨を第2のHMDに通知する。第2のHMDは係る通知を検知すると、無線I/F403aとの無線通信を開始する。
【0112】
なお、以上説明したシステムで用いたHMDはビデオシースルー型のものであったが、光学シースルー型ものものを用いても良い。
【0113】
また、本実施形態では、画像処理装置の位置(無線I/Fの位置)は固定されているものとして説明したが、任意に移動しても良い。その場合、例えば、画像処理装置(無線I/F)の位置を計測するためのセンサを画像処理装置(無線I/F)に取り付け、係るセンサにより計測した結果(位置情報)を順次、HMDに送出する。もちろん、画像処理装置(無線I/F)の位置情報を得るための構成についてはこれに限定するものではなく、何れの方法を用いても良い。
【0114】
ここで、本実施形態に係るシステムとして説明した構成は、その一例に過ぎず、本質的な構成は次のような構成となる。即ち本質的な構成は、頭部装着型表示装置と、この頭部装着型表示装置と無線通信を行う通信器と、この通信器を介して頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムである。
【0115】
係る構成におけるシステムが有するそれぞれの画像処理装置は、次のような構成を備えることを特徴とする。即ち、自画像処理装置が使用中の通信器と無線通信中の頭部装着型表示装置の位置情報を、自画像処理装置以外の他画像処理装置に対して送信する。更に、他画像処理装置から送信された、他画像処理装置が使用中の通信器と無線通信中の他頭部装着型表示装置の位置情報を、受信する。
【0116】
そして、受信した他頭部装着型表示装置の位置情報を、自画像処理装置が使用中の通信器と無線通信中の頭部装着型表示装置に対して送信する。
【0117】
また、係る構成におけるシステムが有するそれぞれの頭部装着型表示装置は、次のような構成を備えることを特徴とする。即ち、自頭部装着型表示装置の位置と、自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する。そして頭部装着型表示装置から送信された位置情報を取得する。そして、この取得した位置情報が示す位置が、上記生成された領域情報が示す領域内に含まれているか否かを判断する。そして係る判断の結果に応じて、注目通信器、若しくは注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する(受信制御)。
【0118】
なお、上記注目通信器は、自画像処理装置内に含められている。
【0119】
更に、本実施形態で説明したHMDは上述の通り、頭部装着型表示装置の一例として説明したもので、その本質的な構成は、次のようなものとなる。
【0120】
先ず、係る頭部装着型表示装置は、上記システムにおいて動作するものであり、次のような構成を有する。即ち、自頭部装着型表示装置の位置と、自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する。そして、自頭部装着型表示装置以外の他頭部装着型表示装置の位置情報を取得する。そして、この取得した位置情報が示す位置が、上記生成した領域情報が示す領域内に含まれているか否かを判断する。そして、係る判断の結果に応じて、注目通信器、若しくは注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する。
【0121】
[第2の実施形態]
第1の実施形態では、HMD側で、どの無線I/Fとの無線通信を行うのかの判断処理を行っていた。しかし、各画像処理装置が接続されているネットワーク上にサーバ装置を設け、係るサーバ装置が係る判断処理を行い、その判断結果を、各画像処理装置を介してHMDに送信するようにしても良い。この場合、HMD側では、係る判断結果を参照し、無線通信相手を選択する。即ち、本実施形態では、第1の実施形態におけるHMDが行っていた処理の一部を、外部の装置であるサーバ装置に行わせる。
【0122】
図10は、本実施形態に係るシステムの機能構成を示すブロック図である。図10において、図1と同じものについては同じ参照番号を付けており、その説明は省略する。即ち、以下では、第1の実施形態と同じ動作については説明を省略し、異なる動作のみについて説明する。
【0123】
各画像処理装置11a〜11cは、接続情報と、無線通信中のHMD10a〜10cから受信した位置姿勢情報と、を、ネットワーク199上に接続されている切り替え制御用サーバ12に送信する。
【0124】
切り替え制御用サーバ12が有する位置姿勢/接続情報管理部1002は、切り替え制御部111が行うものとして説明した、図7のフローチャートに従った処理を実行する。しかし、実際にリンクの確立や無線通信相手の切り替え制御を位置姿勢/接続情報管理部1002が行うのではない。即ち、図7のフローチャートに従った処理の結果を切り替え制御部111に実行させるべく、図7のフローチャートに従った処理の結果を示す「切り替え情報」を生成する。これは、各画像処理装置11a〜11cについて行う。
【0125】
そして、画像処理装置11aについて生成した切り替え情報は画像処理装置11aに返信するし、画像処理装置11bについて生成した切り替え情報は画像処理装置11bに返信する。また、画像処理装置11cについて生成した切り替え情報は画像処理装置11cに返信する。
【0126】
各画像処理装置11a〜11cは、切り替え制御用サーバ12から受信した切り替え情報を、無線通信中のHMD10a〜10cに対して送信する。
【0127】
HMD10aの場合、切り替え制御部111は、画像処理装置11aから受信した切り替え情報を参照し、無線通信相手を選択したり、リンクを確立したりする。即ち、画像処理装置11aについて位置姿勢/接続情報管理部1002が図7のフローチャートに従った処理を実行した結果、切り替え制御部111が行うべき処理として決定した内容を、切り替え制御部111が実行する。
【0128】
なお、本実施形態においても、ビデオシースルー型のHMDの代わりに、光学シースルー型のHMDを用いても良い。
【0129】
また、本実施形態では、切り替え制御用サーバ12を別個の装置として説明したが、切り替え制御用サーバ12の機能を有するハードウェアを、画像処理装置11a〜11cの何れかの装置内に組み込むようにしても良い。その場合、各画像処理装置(係るハードウェアを組み込んだ画像処理装置は省く)は、係るハードウェアを組み込んだ画像処理装置に対して、位置姿勢情報、接続情報を送信することになる。
【0130】
以上説明したように、本実施形態によれば、第1の実施形態よりも、HMDに行わせる処理が軽減されるので、HMDにおける消費電力を軽減させることができる。
【0131】
[その他の実施形態]
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【0132】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0133】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0134】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【0135】
【図1】複数人のユーザに対して複合現実空間を提供する事が可能なMRシステムの機能構成例を示すブロック図である。
【図2】一人のユーザに対して、仮想空間と現実空間とを融合した複合現実空間を提供するためのシステムの外観例を示す図である。
【図3】マーカを配した現実空間を撮像部101により撮像した場合に得られる撮像画像の一例を示す図である。
【図4】2人のユーザが自身の頭部にHMDを装着して複合現実空間を体感している様子を示す俯瞰図である。
【図5】本発明の第1の実施形態に係るシステムが、HMDと画像処理装置との間の通信障害を解消すべく行う動作について説明する図である。
【図6】ステップS701において設定する領域の一例を示す図である。
【図7】切り替え制御部111が行う処理のフローチャートである。
【図8】4人のユーザが自身の頭部にHMDを装着して複合現実空間を体感している様子を示す俯瞰図である。
【図9】一般的なワイヤレスMRシステムの機能構成を示すブロック図である。
【図10】本発明の第2の実施形態に係るシステムの機能構成を示すブロック図である。
【図11】ビデオシースルー型HMDを利用した一般的な複合現実感システム(以下ではMRシステムと呼称する)の機能構成を示すブロック図である。
【特許請求の範囲】
【請求項1】
頭部装着型表示装置と、当該頭部装着型表示装置と無線通信を行う通信器と、当該通信器を介して前記頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムであって、
それぞれの画像処理装置は、
自画像処理装置が使用中の通信器と無線通信中の頭部装着型表示装置の位置情報を、前記自画像処理装置以外の他画像処理装置に対して送信すると共に、前記他画像処理装置から送信された、前記他画像処理装置が使用中の通信器と無線通信中の他頭部装着型表示装置の位置情報を、受信する手段と、
前記受信した他頭部装着型表示装置の位置情報を、前記自画像処理装置が使用中の通信器と無線通信中の頭部装着型表示装置に対して送信する送信手段と
を備え、
それぞれの頭部装着型表示装置は、
自頭部装着型表示装置の位置と、当該自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する生成手段と、
前記送信手段が送信した位置情報を取得する取得手段と、
前記取得手段が取得した位置情報が示す位置が、前記生成手段が生成した領域情報が示す領域内に含まれているか否かを判断する判断手段と、
前記判断手段による判断結果に応じて、前記注目通信器、若しくは前記注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する受信制御手段と
を備えることを特徴とするシステム。
【請求項2】
前記生成手段は、前記直線を軸とする第1の領域を示す第1の領域情報と、当該第1の領域を包含する第2の領域を示す第2の領域情報と、を生成することを特徴とする請求項1に記載のシステム。
【請求項3】
前記判断手段は、
前記取得手段が取得した位置情報が示す位置と前記第1の領域情報が示す第1の領域との内外判定処理、前記取得手段が取得した位置情報が示す位置と前記第2の領域情報が示す第2の領域との内外判定処理、を行うことを特徴とする請求項2に記載のシステム。
【請求項4】
前記受信制御手段は、
前記取得手段が取得した位置情報が示す位置が、前記第1の領域の外側で且つ第2の領域の内側であると前記判断手段が判断した場合には、前記注目通信器以外の何れか1つの通信器とリンクを確立すると共に、前記注目通信器との無線通信により画像を受信することを特徴とする請求項2に記載のシステム。
【請求項5】
前記受信制御手段は、
前記リンクが確立している状態で、前記取得手段が取得した位置情報が示す位置が、前記第2の領域の外側であると前記判断手段が判断した場合には、前記リンクを解除することを特徴とする請求項4に記載のシステム。
【請求項6】
前記受信制御手段は、
前記取得手段が取得した位置情報が示す位置が、前記第1の領域の内側であると前記判断手段が判断した場合には、既にリンクが確立している通信器との無線通信により画像を受信することを特徴とする請求項2に記載のシステム。
【請求項7】
前記注目通信器は、前記自画像処理装置内に含められていることを特徴とする請求項1に記載のシステム。
【請求項8】
頭部装着型表示装置と、当該頭部装着型表示装置と無線通信を行う通信器と、当該通信器を介して前記頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムにおける頭部装着型表示装置であって、
自頭部装着型表示装置の位置と、当該自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する生成手段と、
前記自頭部装着型表示装置以外の他頭部装着型表示装置の位置情報を取得する取得手段と、
前記取得手段が取得した位置情報が示す位置が、前記生成手段が生成した領域情報が示す領域内に含まれているか否かを判断する判断手段と、
前記判断手段による判断結果に応じて、前記注目通信器、若しくは前記注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する受信制御手段と
を備えることを特徴とする頭部装着型表示装置。
【請求項9】
頭部装着型表示装置と、当該頭部装着型表示装置と無線通信を行う通信器と、当該通信器を介して前記頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムにおける頭部装着型表示装置の制御方法であって、
自頭部装着型表示装置の位置と、当該自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する生成工程と、
前記自頭部装着型表示装置以外の他頭部装着型表示装置の位置情報を取得する取得工程と、
前記取得工程で取得した位置情報が示す位置が、前記生成工程で生成した領域情報が示す領域内に含まれているか否かを判断する判断工程と、
前記判断工程での判断結果に応じて、前記注目通信器、若しくは前記注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する受信制御工程と
を備えることを特徴とする頭部装着型表示装置の制御方法。
【請求項10】
コンピュータに請求項9に記載の制御方法を実行させるためのプログラム。
【請求項11】
請求項10に記載のプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
【請求項1】
頭部装着型表示装置と、当該頭部装着型表示装置と無線通信を行う通信器と、当該通信器を介して前記頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムであって、
それぞれの画像処理装置は、
自画像処理装置が使用中の通信器と無線通信中の頭部装着型表示装置の位置情報を、前記自画像処理装置以外の他画像処理装置に対して送信すると共に、前記他画像処理装置から送信された、前記他画像処理装置が使用中の通信器と無線通信中の他頭部装着型表示装置の位置情報を、受信する手段と、
前記受信した他頭部装着型表示装置の位置情報を、前記自画像処理装置が使用中の通信器と無線通信中の頭部装着型表示装置に対して送信する送信手段と
を備え、
それぞれの頭部装着型表示装置は、
自頭部装着型表示装置の位置と、当該自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する生成手段と、
前記送信手段が送信した位置情報を取得する取得手段と、
前記取得手段が取得した位置情報が示す位置が、前記生成手段が生成した領域情報が示す領域内に含まれているか否かを判断する判断手段と、
前記判断手段による判断結果に応じて、前記注目通信器、若しくは前記注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する受信制御手段と
を備えることを特徴とするシステム。
【請求項2】
前記生成手段は、前記直線を軸とする第1の領域を示す第1の領域情報と、当該第1の領域を包含する第2の領域を示す第2の領域情報と、を生成することを特徴とする請求項1に記載のシステム。
【請求項3】
前記判断手段は、
前記取得手段が取得した位置情報が示す位置と前記第1の領域情報が示す第1の領域との内外判定処理、前記取得手段が取得した位置情報が示す位置と前記第2の領域情報が示す第2の領域との内外判定処理、を行うことを特徴とする請求項2に記載のシステム。
【請求項4】
前記受信制御手段は、
前記取得手段が取得した位置情報が示す位置が、前記第1の領域の外側で且つ第2の領域の内側であると前記判断手段が判断した場合には、前記注目通信器以外の何れか1つの通信器とリンクを確立すると共に、前記注目通信器との無線通信により画像を受信することを特徴とする請求項2に記載のシステム。
【請求項5】
前記受信制御手段は、
前記リンクが確立している状態で、前記取得手段が取得した位置情報が示す位置が、前記第2の領域の外側であると前記判断手段が判断した場合には、前記リンクを解除することを特徴とする請求項4に記載のシステム。
【請求項6】
前記受信制御手段は、
前記取得手段が取得した位置情報が示す位置が、前記第1の領域の内側であると前記判断手段が判断した場合には、既にリンクが確立している通信器との無線通信により画像を受信することを特徴とする請求項2に記載のシステム。
【請求項7】
前記注目通信器は、前記自画像処理装置内に含められていることを特徴とする請求項1に記載のシステム。
【請求項8】
頭部装着型表示装置と、当該頭部装着型表示装置と無線通信を行う通信器と、当該通信器を介して前記頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムにおける頭部装着型表示装置であって、
自頭部装着型表示装置の位置と、当該自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する生成手段と、
前記自頭部装着型表示装置以外の他頭部装着型表示装置の位置情報を取得する取得手段と、
前記取得手段が取得した位置情報が示す位置が、前記生成手段が生成した領域情報が示す領域内に含まれているか否かを判断する判断手段と、
前記判断手段による判断結果に応じて、前記注目通信器、若しくは前記注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する受信制御手段と
を備えることを特徴とする頭部装着型表示装置。
【請求項9】
頭部装着型表示装置と、当該頭部装着型表示装置と無線通信を行う通信器と、当該通信器を介して前記頭部装着型表示装置に画像を送信する画像処理装置と、をそれぞれ複数台有し、且つそれぞれの画像処理装置間で通信可能なシステムにおける頭部装着型表示装置の制御方法であって、
自頭部装着型表示装置の位置と、当該自頭部装着型表示装置が無線通信中の注目通信器の位置と、を通る直線を軸とする領域を示す領域情報を生成する生成工程と、
前記自頭部装着型表示装置以外の他頭部装着型表示装置の位置情報を取得する取得工程と、
前記取得工程で取得した位置情報が示す位置が、前記生成工程で生成した領域情報が示す領域内に含まれているか否かを判断する判断工程と、
前記判断工程での判断結果に応じて、前記注目通信器、若しくは前記注目通信器以外の通信器の何れかを無線通信相手として選択し、選択した通信器との無線通信により、画像を受信する受信制御工程と
を備えることを特徴とする頭部装着型表示装置の制御方法。
【請求項10】
コンピュータに請求項9に記載の制御方法を実行させるためのプログラム。
【請求項11】
請求項10に記載のプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2009−37487(P2009−37487A)
【公開日】平成21年2月19日(2009.2.19)
【国際特許分類】
【出願番号】特願2007−202230(P2007−202230)
【出願日】平成19年8月2日(2007.8.2)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成21年2月19日(2009.2.19)
【国際特許分類】
【出願日】平成19年8月2日(2007.8.2)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]