表示制御装置および表示制御方法
【課題】ユーザが所望する対象物の情報に応じて、ユーザ操作を支援するための補助的情報を実空間の映像に重畳する。
【解決手段】表示制御装置は、撮像装置により撮像された全体映像を取得する全体映像取得部１０８と、ユーザ操作に応じて、複数の対象物からユーザが興味のある対象物を指定する対象物指定部１０５と、前記対象物指定部により指定された前記一の対象物に関する対象物情報を取得する対象物情報取得部（興味対象検出部１０９、興味対象情報取得部１１０）と、前記対象物情報取得部により取得された前記一の対象物の対象物情報に基づいて、前記一の対象物の周辺情報を取得するための補助情報を、前記全体画像取得部により取得された前記全体画像に重畳する補助情報表示部（操作補助情報表示部１０２）と、を備える。
【解決手段】表示制御装置は、撮像装置により撮像された全体映像を取得する全体映像取得部１０８と、ユーザ操作に応じて、複数の対象物からユーザが興味のある対象物を指定する対象物指定部１０５と、前記対象物指定部により指定された前記一の対象物に関する対象物情報を取得する対象物情報取得部（興味対象検出部１０９、興味対象情報取得部１１０）と、前記対象物情報取得部により取得された前記一の対象物の対象物情報に基づいて、前記一の対象物の周辺情報を取得するための補助情報を、前記全体画像取得部により取得された前記全体画像に重畳する補助情報表示部（操作補助情報表示部１０２）と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置および表示制御方法に関し、特に、撮像装置により撮像された映像に仮想的な補助線を表示してユーザ操作を支援する表示制御装置および表示制御方法に関する。
【背景技術】
【０００２】
最近では、カメラやマイクなどが技術の進歩によって安価になり利用しやすくなったことに伴い、複数のカメラやマイクをオフィス空間内に配置し、オフィス内でのコミュニケーション支援や監視などに用いたりすることがある。複数のカメラやマイクが配置されている場合、ユーザは複数の情報取得手段を用いて所望の情報を得る必要がある。しかし、どのカメラとどのマイクから情報を取得すれば所望の情報を得ることができるかなど、複数の情報手段をユーザが有効利用する方法についての技術は十分ではない。ユーザは、取得できる情報が大量であるが故に、必要となる情報を容易に取得することができないという問題があった。
【０００３】
また、カメラやマイクを搭載した移動機能を有するロボットを動作させて所望の情報を得る技術も存在する。しかし、上記同様、ロボットを動作させて所望の情報を得るための技術が十分でないという問題があった。そこで、移動するカメラを用いた情報の取得を支援するために、複数の画面を利用して、仮想空間内での視界の範囲示す補助的情報を表示する技術が開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２３０２６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記特許文献１は、仮想空間内での動作を対象としているため、実際の空間で撮影した映像に情報を付加するものではない。また、表示画面に一律に補助的情報が表示されるため、ユーザが所望する情報の性質によっては補助的情報が不十分となるという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザが所望する対象物の情報に応じて、ユーザ操作を支援するための補助的情報を実空間の映像に重畳することが可能な、新規かつ改良された表示制御装置および表示制御方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、撮像装置により撮像された全体映像を取得する全体映像取得部と、ユーザ操作に応じて、複数の対象物からユーザが興味のある対象物を指定する対象物指定部と、対象物指定部により指定された対象物に関する対象物情報を取得する対象物情報取得部と、対象物情報取得部により取得された対象物の対象物情報に基づいて、対象物の周辺情報を取得するための補助情報を、全体画像取得部により取得された全体画像に重畳する補助情報表示部と、を備える、表示制御装置が提供される。
【０００７】
かかる構成によれば、全体映像を取得して、ユーザ操作により指定された一の対象物を指定し、該対象物に関する情報に基づいて全体映像に補助情報を重畳する。これにより、ユーザが所望する対象物の情報に応じて、ユーザ操作を支援するための補助的情報を実空間の映像に重畳することが可能となり、ユーザ操作による選択可能な位置や指示方向等多様な利用法を提示することが可能となる。
【０００８】
また、撮像装置とは別の対象物の周辺に位置する撮像装置により撮像された対象物の周辺映像を取得する周辺映像取得部を備えてもよい。
【０００９】
周辺映像取得部は、ユーザ操作に応じて、全体映像に重畳された補助情報を利用して選択された選択範囲内を撮像可能な撮像装置により撮像された対象物の周辺映像を取得してもよい。
【００１０】
対象物情報取得部は、全体映像取得部により取得された全体映像に含まれる対象物の映像をもとに、対象物の位置情報、方向、大きさを含む対象物情報を取得してもよい。
【００１１】
また、補助情報表示部は、対象物の位置情報、方向、大きさに応じて、全体画像に重畳する補助情報の種類を決定してもよい。
【００１２】
また、補助情報表示部は、補助情報として、全体画像に矩形の格子を重畳してもよい。補助情報表示部は、補助情報として、全体画像に対象物を中心とする同心円状の格子を重畳してもよい。
【００１３】
また、対象物に対応する補助情報の種類を記憶する補助情報記憶部を備え、対象物情報取得部は、対象物指定部により指定されたユーザが興味のある対象物に対応する補助情報の種類を補助情報記憶部から取得してもよい。
【００１４】
また、補助情報表示部は、ユーザ操作に応じて、補助情報の種類を選択して、全体画像に補助情報を重畳してもよい。
【００１５】
また、対象物の位置と方向とＩＤを配信可能なマーカが対象物に配置され、対象物情報取得部は、マーカから配信される対象物の情報をもとに、対象物の位置および方向を取得してもよい。
【００１６】
また、周辺映像取得部は、移動可能な移動体に備えられた撮像装置により撮像された対象物の周辺映像を取得してもよい。
【００１７】
また、移動体の操作を制御する操作制御部を備え、操作制御部は、ユーザ操作に応じて、全体映像に重畳された補助情報を利用して選択された選択範囲が示す位置に移動体を移動させてもよい。
【００１８】
また、補助情報表示部は、移動体と対象物指定部により指定された対象物との配置関係に応じて補助情報の表示を変更してもよい。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、撮像装置により撮像された全体映像に所定の補助情報を重畳する表示制御方法であって、撮像装置により撮像された全体映像を取得するステップと、ユーザ操作に応じて、複数の対象物からユーザが興味のある対象物を指定するステップと、指定された対象物に関する対象物情報を取得するステップと、取得された対象物の対象物情報に基づいて、対象物の周辺情報を取得するための補助情報を、全体画像取得部により取得された全体画像に重畳するステップと、を含むことを特徴とする、表示制御方法が提供される。
【発明の効果】
【００２０】
以上説明したように本発明によれば、ユーザが所望する対象物の情報に応じて、ユーザ操作を支援するための補助的情報を実空間の映像に重畳することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態にかかる表示制御装置の機能構成を示すブロック図である。
【図２】同実施形態にかかる表示制御システムの実現イメージについて説明する説明図である。
【図３】同実施形態にかかる表示制御システムを利用するユーザが利用する端末のイメージである。
【図４】同実施形態にかかる映像表示部に表示される大域的な全体映像の表示例である。
【図５】同実施形態にかかる表示制御処理の詳細を示したフローチャートである。
【図６】同実施形態にかかる補助情報の表示例について説明する説明図である。
【図７】同実施形態にかかる補助情報の表示例について説明する説明図である。
【図８】同実施形態にかかる第２の実施形態にかかる表示制御装置の機能構成を示すブロック図である。
【図９】同実施形態にかかるロボットの外形のイメージについて説明する説明図である。
【図１０】同実施形態にかかる表示制御処理の詳細を示すフローチャートである。
【図１１】同実施形態にかかるロボットの移動について説明する説明図である。
【図１２】同実施形態にかかるロボットの移動について説明する説明図である。
【図１３】同実施形態にかかるロボットの移動について説明する説明図である。
【図１４】同実施形態にかかるロボットの移動について説明する説明図である。
【図１５】従来のロボットの移動について説明する説明図である。
【図１６】従来のロボットの移動について説明する説明図である。
【発明を実施するための形態】
【００２２】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２３】
また、以下に示す順序に従って、当該「発明を実施するための形態」を説明する。
〔１〕本実施形態の目的
〔２〕第１の実施形態
〔２−１〕表示制御装置の機能構成
〔２−２〕表示制御処理の詳細
〔３〕第２の実施形態
〔３−１〕表示制御装置の機能構成
〔３−２〕表示制御処理の詳細
【００２４】
〔１〕本実施形態の目的
まず、本実施形態の目的について説明する。最近では、カメラやマイクなどが技術の進歩によって安価になり利用しやすくなったことに伴い、複数のカメラやマイクをオフィス空間内に配置し、オフィス内でのコミュニケーション支援や監視などに用いたりすることがある。複数のカメラやマイクが配置されている場合、ユーザは複数の情報取得手段を用いて所望の情報を得る必要がある。しかし、どのカメラとどのマイクから情報を取得すれば所望の情報を得ることができるかなど、複数の情報手段をユーザが有効利用する方法についての技術は十分ではない。ユーザは、取得できる情報が大量であるが故に、必要となる情報を容易に取得することができないという問題があった。
【００２５】
また、カメラやマイクを搭載した移動機能を有するロボットを動作させて所望の情報を得る技術も存在する。しかし、上記同様、ロボットを動作させて所望の情報を得るための技術が十分でないという問題があった。そこで、移動するカメラを用いた情報の取得を支援するために、複数の画面を利用して、仮想空間内での視界の範囲示す補助的情報を表示する技術が開示されている。しかし、当該技術は、仮想空間内での動作を対象としているため、実際の空間で撮影した映像に情報を付加するものではない。また、表示画面に一律に補助的情報が表示されるため、ユーザが所望する情報の性質によっては補助的情報が不十分となるという問題があった。
【００２６】
そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる表示制御装置１００が創作されるに至った。本実施形態にかかる表示制御装置１００によれば、ユーザが所望する対象物の情報に応じて、ユーザ操作を支援するための補助的情報を実空間の映像に重畳することが可能となる。
【００２７】
〔２〕第１の実施形態
以上、本発明の実施形態の目的について説明した。次に、図１を参照して、本実施形態にかかる表示制御装置１００の機能構成について説明する。なお、表示制御装置１００の機能構成を説明するに際し、適宜、図２〜４を参照する。表示制御装置１００としては、例えば、パーソナルコンピュータ等のコンピュータ装置（ノート型、デスクトップ型を問わない。）を例示できるが、かかる例に限定されず、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などで構成してもよい。
【００２８】
〔２−１〕表示制御装置の機能構成
図１の機能構成を説明する前に、表示制御装置１００のハードウェア構成の一例について説明する。表示制御装置１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、入力装置と、出力装置と、ストレージ装置（ＨＤＤ）などを備える。
【００２９】
ＣＰＵは、演算処理装置および制御装置として機能し、各種プログラムに従って表示制御装置１００の動作全般を制御する。また、ＣＰＵは、マイクロプロセッサであってもよい。ＲＯＭは、ＣＰＵが使用するプログラムや演算パラメータ等を記憶する。ＲＡＭは、ＣＰＵの実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
【００３０】
入力装置は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵに出力する入力制御回路などから構成されている。
【００３１】
出力装置は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ）装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置で構成される。
【００３２】
ストレージ装置は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ストレージ装置は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置は、ハードディスクを駆動し、ＣＰＵが実行するプログラムや各種データを格納する。
【００３３】
以上、表示制御装置１００のハードウェア構成について説明した。次に、図１を参照して、表示制御装置１００の機能構成について説明する。図１に示したように、表示制御装置１００は、映像表示部１０１、操作補助情報表示部１０２、操作部１０３、操作指令部１０４、興味対象選択部１０５、画音取得部１０６、画音提示部１０７、全体映像取得部１０８、興味対象検出部１０９、興味対象情報取得部１１０、興味対象データベース１１１などを備える。
【００３４】
ここで、図２および図３を参照して、表示制御装置１００を用いて実現される表示制御システムの実現イメージについて説明する。図２および図３は、表示制御装置１００を用いて実現される表示制御システムの実現イメージについて説明する説明図である。図２に示したように、オフィスなどの空間の天井に複数台の全方向カメラ（１０〜１２）やマイク（１〜９）が設置されている。また、大域的にオフィスの全体映像を撮像するカメラ２０が全方向カメラ（１０〜１２）やマイク（１〜９）よりさらに高所に設置されている。なお、全方向カメラは、図２に示したように３台とは限られず、マイクと同数の数を設置するようにしてもよい。このように、全体映像を撮像するカメラとその他の複数のカメラ等を設置することにより、オフィス内での撮像対象の位置を把握でき、かつ、撮像対象の詳細情報を取得することが可能となる。
【００３５】
また、図３は、表示制御システム１を利用するユーザが利用する端末１５０のイメージである。端末１５０は、例えば、ディスプレイ１５１とスピーカ１５２などから構成される。ディスプレイ１５１により映像が提示され、スピーカ１５２により音声が提示される。また、ユーザが端末１５０に備わる操作部を操作することにより、ディスプレイ１５１の表示やスピーカ１５２からの音声が変化する。例えば、ユーザは、タッチパネルなどにより構成される操作部を操作することにより、図２に示したオフィス内の対象物の周囲の映像や音声等を、ディスプレイ１５１を介して提示させることが可能となる。
【００３６】
図１に戻り、表示制御装置１００の機能構成の説明を続ける。映像表示部１０１は、上記ディスプレイ１５１により構成され、大域的な全体映像を撮像するカメラ（カメラ２０）やその他のカメラ等により撮像された映像を表示する機能を有する。大域的な全体映像は、後述する全体映像取得部１０８により取得される。大域的な全体映像以外の対象物の周辺映像は、後述する画音取得部１０６により取得される。
【００３７】
図４に、全体映像取得部１０８により取得されて、映像表示部１０１に表示される大域的な全体映像の表示例を示した。図４に示したように、映像表示部１０１に表示される大域的な全体映像４０１には、撮像対象４１や撮像対象４２などが俯瞰的に表示される。また、映像表示部１０１は、操作補助情報表示部１０２を含んで構成されている。操作補助情報表示部１０２は、対象物の対象物情報に基づいて、対象物の周辺情報を取得するための補助情報を、全体画像に重畳する。
【００３８】
ここで、対象物とは、ユーザの興味対象となるものである。対象物の対象物情報とは、対象物の位置や姿勢、大きさなどの情報である。対象物の位置や姿勢、大きさなどの情報は、後述する興味対象検出部１０９により検出される。対象物の周辺情報を取得するための補助情報とは、全体映像に含まれる対象物の情報を容易に取得可能とするための情報であって、例えば、矩形の格子や同心円状の格子などを例示できる。全体映像に矩形の格子や同心円状の格子などを重畳表示し、ユーザがその補助情報に対する操作を行うことで、間接的にカメラ等の撮像装置を操作して対象物の所望の情報を容易に得ることが可能となる。操作補助情報表示部１０２は、本発明の補助情報表示部の一例である。
【００３９】
また、対象物に対応する補助情報の種類は、後述する興味対象データベース１１１に記憶されている。この場合、操作補助情報表示部１０２は、興味対象情報取得部１１０を介して取得された対象物に対応する補助情報の種類等に基づいて補助情報を表示する。また、操作補助情報表示部１０２は、ユーザ操作に応じて、補助情報の種類を選択するようにしてもよい。
【００４０】
操作部１０３は、上記した入力装置により構成され、ユーザの操作を受け付ける機能を有する。操作部１０３は、少なくとも操作指令部１０４および興味対象選択部１０５を含んで構成される。具体的には、映像表示部１０１のディスプレイ上のタッチパネルとして実現されてもよい。また、ジョイスティックやマウス等通常のポインティングデバイスなどを用いて実現されてもよい。
【００４１】
操作指令部１０４は、ユーザにより行われた操作指令を画音取得部１０６に通知して、映像や音声の取得の方法を変更する。また、興味対象選択部１０５は、ユーザ操作に応じて、所定範囲に含まれる複数の対象物から一の対象物を指定する機能を有する。所定範囲とは、例えば、映像表示部１０１に表示されている範囲である。また、複数の対象物から指定された一の対象物は、ユーザの興味のある対象物である。また、ユーザ操作により選択された対象物の情報を興味対象検出部１０９に通知する。興味対象選択部１０５は、本発明の対象物指定部の一例である。
【００４２】
操作部１０３が映像表示部１０１上のタッチパネルとして実現されている場合には、ユーザが映像表示部１０１に表示されている興味ある対象物を直接指示して指定することができる。また、ユーザが興味を持っている対象物は、ＩＤで管理されて興味対象データベース１１１に記録されていてもよい。この場合、興味対象選択部１０５は、ユーザにより選択された興味対象の対象物ＩＤを興味対象情報取得部１１０に通知する。興味対象の対象物ＩＤは、後述する興味対象検出部１０９により取得される情報である。対象物ＩＤについては、後で詳細に説明する。
【００４３】
画音取得部１０６は、対象物の周辺に位置するマイク（マイク１〜９）やカメラ（カメラ１０〜１３）等の撮像装置により撮像された対象物の周辺映像を取得する機能を有する。対象物の周辺に位置するマイクやカメラ等は少なくとも１台以上の撮像装置などから構成される。画音取得部１０６は、操作指令部１０４からの指令に基づいて、カメラ等により撮像された映像や音声の送信の方法を変更することができる。具体的には、複数台あるマイクやカメラのなかから、映像を取得するカメラや音声を送信するマイクを選択したり、選択されているマイクの指向性を変更したりする。画音取得部１０６は、本発明の周辺映像取得部の一例である。
【００４４】
画音提示部１０７は、上記した出力装置により構成され、少なくとも映像や音声を提示する機能を有する。具体的には、例えば映像提示機能はディスプレイとして実現され、音声提示機能はスピーカ等を用いて実現される。画音提示部１０７は、画音取得部１０６から送信される映像や音声を適宜表示する。
【００４５】
全体映像取得部１０８は、撮像装置により撮像された所定範囲の大域的な全体映像を取得する機能を有する。全体映像取得部１０８は、例えば、図２に示した天井俯瞰カメラ２０により撮像された映像を取得する。全体映像取得部１０８は取得した全体映像を映像表示部１０１に提供する。
【００４６】
興味対象検出部１０９は、興味対象選択部１０５からの指定に基づいて、指定されたユーザの興味がある対象物の情報を取得する機能を有する。例えば、全体映像取得部１０８により取得された大域的な映像に対して、画像認識処理を行い、映像内において対象物がどこに位置しているのか、どのような姿勢をとっているのか、どの程度の大きさで表示されているかなどを取得する。
【００４７】
例えば、ユーザの興味がある対象物が非特許文献２に示されるようなマーカを備えているとする。この場合、マーカの枠によって画面内の位置や方向を検出でき、マーカ内のパターンによって対象物の種類を検出することが可能となる。対象物の種類とは、上記した対象物ＩＤなどである。マーカによる位置、方向、対象物のパターンの取得方法については、非特許文献２や特許文献２に開示されているため、詳細な説明は省略する。
（非特許文献１）
Kato, H. Billinghurst, M. (1999)
Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System, In Proceedings of the 2nd International Workshop on Augumented Reality (IWAR 99). October, San Francisco, USA.
（特許文献２）
特開２０００−３２２６０２
【００４８】
興味対象情報取得部１１０は、興味対象選択部１０５により通知された対象物ＩＤを用いて興味対象データベース１１１を検索して、撮像対象となる対象物の情報を取得する。興味対象情報取得部１１０により取得される対象物の情報は、例えば、対象物の周辺情報を取得するための補助情報に関する情報であり、例えば、全体映像に重畳する格子の形状や格子の大きさや格子の個数などである。興味対象検出部１０９および興味対象情報取得部１１０は、本発明の対象物情報取得部の一例である。すなわち、興味対象検出部１０９では、対象物の位置や方向などの物理的な情報が検出され、興味対象情報取得部１１０では、対象物に応じた補助情報の種類や格子の個数などが取得される。
【００４９】
興味対象データベース１１１には、例えば、対象物ＩＤと補助情報の種類や基本サイズなどが関連付けて記憶されている。対象物ＩＤは、上記したように、対象物を識別するＩＤであり、補助情報の種類は、上記したように、矩形格子または同心円状格子などが挙げられる。基本サイズは、補助情報を表示するために必要となる対象物の基本的な大きさを示すものである。興味対象情報取得部１１０は、操作補助情報表示部１０２に興味対象データベース１１１から取得した対象物に関する情報を提供する。
【００５０】
〔２−２〕表示制御処理の詳細
以上、表示制御装置１００の機能構成について説明した。次に、表示制御装置１００における表示制御処理の詳細について説明する。なお、表示制御処理の詳細を説明するに際して、適宜、図６および図８を参照する。図５は、表示制御装置１００における表示制御処理の詳細を示したフローチャートである。
【００５１】
図５に示したように、まず、ユーザがターゲットを選択する（Ｓ１０２）。ステップＳ１０２において、ユーザがターゲットを選択する際には、映像表示部１０１に、大域的な全体映像が表示されているものとする。また、大域的な全体映像には、複数の撮像の対象となる対象物が含まれている。また、ステップＳ１０２において選択されるターゲットとは、ユーザの興味のある対象物である。興味対象選択部１０５は、ユーザ操作より選択されたターゲットを選択する。
【００５２】
そして、興味対象情報取得部１１０は、ステップＳ１０２において選択されたターゲットの種類から興味対象データベース１１１を検索する（Ｓ１０４）。ターゲットの種類とは、ターゲットの対象物ＩＤである。上記したように、興味対象検出部１０９は、対象物に備えられたマーカの枠やパターンによって対象物ＩＤを検出される。興味対象情報取得部１１０は、ステップＳ１０２において選択された対象物に対応する対象物ＩＤを興味対象検出部１０９から受け取ることとなる。
【００５３】
次に、興味対象情報取得部１１０は、興味対象データベース１１１から対象物に関する情報を取得する（Ｓ１０６）。ステップＳ１０６において興味対象情報取得部１１０により取得される対象物に関する情報は、対象物に応じた補助情報の種類である。具体的には、補助情報として全体映像に重畳する格子の種類や格子の個数などである。
【００５４】
そして、興味対象検出部１０９は、全体映像取得部１０８によって取得される映像に画像認識処理を行って、ターゲットの位置や方向や大きさを取得し、操作補助情報表示部１０２にそれらを取得した旨を通知する（Ｓ１０８）。
【００５５】
操作部１０３は、前回のユーザ操作に応じた指定から補助情報の変更指示があったか、初回の補助情報の指定か否かを判定する（Ｓ１１０）。ここで、補助情報の変更指示とは、表示されている格子の変更指示である。ステップＳ１１０において、補助情報の変更指示があったか、初回の補助情報の指定であった場合には、補助情報の指定を行う（Ｓ１１２）。ステップＳ１１２においては、初回の補助情報の指定であった場合には、デフォルトとして設定している値が指定される。ここでは、例えば、デフォルトとして矩形格子が設定されている。また、矩形格子以外に同心円状の格子が設定されていてもよい。
【００５６】
そして、操作補助情報表示部１０２は、ステップＳ１０８において取得されたターゲットの位置、方向、大きさを利用して補助情報として全体映像に仮想的な矩形格子を重畳して表示する（Ｓ１１４）。ステップＳ１１４においては、ターゲットの位置、方向、大きさに応じた補助情報が表示される。例えば、ターゲットの位置の近傍にのみ補助情報を表示したり、ターゲットの大きさに応じて矩形格子の大きさを変更したりしてもよい。
【００５７】
ここで、図６および図７を参照して、全体映像に重畳される補助情報の表示例について説明する。図６および図７は、補助情報の表示例について説明する説明図である。図６に示したように、表示例４０２には、ターゲット４１およびターゲット４２が表示されている。ユーザ操作に応じて、ターゲット４１が指定されると、ターゲット４１の周囲に補助情報４３が全体映像に重畳して表示される。補助情報４２は、矩形格子であり、ユーザが興味を持っているターゲット４１の周囲を選択しやすくするための情報である。補助情報４２は、ターゲット４１の所定の範囲に表示され、ターゲット４１の大きさに応じた格子の大きさで表示される。
【００５８】
図５に戻り、ユーザにより矩形等で表示された補助情報の所定の領域（要素）が選択される（Ｓ１１６）。ここで、図６を参照して、ユーザにより補助情報の所定の領域が選択された場合について説明する。図６の表示例４０４に示したように、ユーザにより、矩形格子の補助情報４２の一つである領域４４が選択される。領域４４が選択されることにより、ユーザにより、ターゲット４１の右斜め下側からの映像や音声を取得するという操作が指示されたこととなる。
【００５９】
ここで、ステップＳ１１２において、補助情報として同心円状の格子が指定された場合について説明する。図７に示したように、ステップＳ１１２において、補助情報同心円状の格子が指定された場合には、ターゲットの中心に同心円状の格子が表示されることとなる。表示例５０１に示したように、ユーザによりターゲット５２が選択されると、ターゲット５２を中心として同心円状の格子が全体映像に重畳して表示される。そして、表示例５０２に示したように、ユーザにより同心円状の格子のうち、領域５４が選択される。領域５４が選択されると、矩形格子の領域が選択される場合に比して、映像や音声を取得する方向をより明確にすることが可能となる。なお、同心円状の格子とは、例えば、複数の同心円をｎ等分割（ｎは２以上の整数）することにより形成される格子のことをくものとする。
【００６０】
ステップＳ１１６において選択された領域（要素）から、操作指令部１０４は、画音取得部１０６に対して、取得するべき音声および映像を指示する（Ｓ１１８）。ステップＳ１１８において、操作指令部１０５に指示された画音取得部１０６は、マイクやカメラ等の画音取得装置を変更することにより、ユーザ所望の音声や映像を取得する。
【００６１】
例えば、図２に示した番号の位置に存在するマイクやカメラをＭ１、Ｃ４などのようにそれぞれ表現したとする。この場合、ユーザにより選択されたターゲットの位置との空間上の距離が最小になるカメラ、スピーカＭ１、Ｃ６が選択される。ターゲットの位置との空間上の距離は、例えばユークリッド距離などで表される。このように選択されたマイクやカメラ等の装置を利用して、ターゲットの近傍の情報を取得することが可能となる。
【００６２】
そして、画音提示部１０７は、ステップＳ１１８において画音取得部１０６により取得された音声および映像を提示する（Ｓ１２０）。ステップＳ１２０においては、複数のターゲットを含む全体映像の表示画面が、ユーザにより選択された１つのターゲットの詳細が確認可能な映像に変更される。次に、ユーザ操作により終了指示があったか否かを判定する（Ｓ１２２）。ステップＳ１２２において、終了指示があった場合には処理を終了する。
【００６３】
ステップＳ１２２において、終了指示がなかった場合には、ユーザ操作によりターゲットの変更指示があったか否かを判定する（Ｓ１２４）。ステップＳ１２４において、ターゲットの変更指示があった場合には、ステップＳ１０２からの処理を繰り返す。ステップＳ１２４において、ターゲットの変更指示がなかった場合には、ステップＳ１０８からの処理を繰り返す。
【００６４】
本実施形態にかかる表示制御処理によれば、ユーザ操作に応じて、ユーザが興味を持つ対象物を指定して、その対象物の形や大きさ等の性質に応じたユーザ操作を補助する映像を提示する。ユーザは、提示された補助情報を利用して操作し、容易に必要な映像や音声を取得することが可能となる。これにより、全体映像に含まれるターゲットの位置のみを指定する場合よりも柔軟な選択が可能である。また、補助情報の種類を対象物に応じて、またユーザ操作に応じて変更することにより、選択可能な位置や指示方向等多様な利用法を提示することが可能となる。
【００６５】
〔３〕第２の実施形態
以上、第１の実施形態について説明した。次に、本発明にかかる第２の実施形態について説明する。第１の実施形態では、カメラやマイク等の複数の画音取得装置が設置されていたが、これらの画音取得装置は固定されて配置されていた。そのため、個々の画音取得装置の情報取得可能範囲によって、取得可能な映像や音声の情報に制限がかかってしまうという問題があった。そこで、本実施形態では、画音取得装置を、移動機能を有する移動体（ロボット）として構成することにより、第１実施形態と比して自由度の大きい映像や音声を取得することを可能とした。
【００６６】
さらに、本実施形態では、第１の実施形態で利用したインタフェースの機能が拡張され、ロボットカメラの視点の変更および移動を支援する。また、ロボットの位置と、ユーザの興味の対象物との距離や位置関係によって、ユーザに提示される補助情報が変更されることにより、より柔軟な操作を可能とした。本実施形態において、該ロボットは、画音取得機能のみにとどまらず、ユーザに何らかの情報を提示する機能を持たせることにより、ユーザが所定の空間に働きかけることを可能とした。
【００６７】
〔３−１〕表示制御装置の機能構成
図８を参照して、本実施形態にかかる表示制御装置２００の機能構成について説明する。以下では、第１実施形態と異なる構成について特に詳細に説明し、第１実施形態と同様の構成については詳細な説明を省略する。図８に示したように、本実施形態にかかる表示制御装置２００は、ロボット（図示せず）を制御するロボット制御部９０１を備える点で第１実施形態と大きく異なっている。ロボット制御部９０１は、本発明の操作制御部の一例である。
【００６８】
ここで、図９を参照してロボット制御部９０１により制御されるロボットの外形について説明する。図９は、ロボットの外形のイメージについて説明する説明図である。図９に示したように、ロボット９０は、移動可能な動作体９１を有し、映像や音声を取得する画音取得装置９２や情報提示装置９３を有して構成される。ロボット９０の動作体９１には、あらゆる方向に動作可能とする全方向車輪が備えられていてもよい。また、画音取得装置９２は、姿勢やズームを変更可能なカメラであってもよい。情報提示装置９３は、例えば、静止画や動画を表示可能なディスプレイであってもよい。
【００６９】
図８に戻り、ロボット制御部９０１の機能構成について説明する。ロボット制御部９０１は、画音取得部９０２と、動作部９０３と、情報提示部９０４となどを備える。画音取得部９０２は、ロボット制御部９０１の指示のもと、動作体９１に備えられたカメラ等の撮像装置（画音取得装置９２）により撮像された対象物（ユーザの興味対象物）の周辺映像を取得する機能を有する。
【００７０】
動作部９０３は、ロボット制御部９０１の指示のもと、ロボット９０の動作体９１を指示された位置や方向に移動させる機能を有する。情報提示部９０４は、ロボット制御部９０１の指示のもと、ロボットに搭載されたディスプレイ、プロジェクタ、スピーカなどの情報提示装置による情報提示を制御する。情報提示部９０４は、予め設定されたコンテンツを提示させるようにしてもよいし、表示制御装置２００とは別の他の装置から提供される映像や音声を取得して、ディスプレイ等に提示させるようにしてもよい。
【００７１】
ロボット位置取得部９０５は、空間内のロボット９０の位置やロボット９０の方向を取得する機能を有する。ロボット位置取得部９０５は、全体映像取得部１０８により提供される全体画像を画像認識処理等してロボット９０の位置（例えば、座標）や方向を取得するようにしてもよい。また、ロボット９０の位置する空間内に配置されたセンサの情報を統合して、ロボット９０の画面内での位置や方向を取得するようにしてもよい。ロボット位置取得部９０５は、操作補助情報表示部９０６を介して、映像表示部１０１にロボット９０の位置や方向を通知する。
【００７２】
〔３−２〕表示制御処理の詳細
以上、本実施形態にかかる表示制御装置２００の機能構成について説明した。次に、図１０を参照して、表示制御装置２００における表示制御処理の詳細について説明する。図１０は、表示制御装置２００における表示制御処理の詳細を示すフローチャートである。本実施形態にかかる表示制御処理についても、第１実施形態と異なる処理について特に説明し、第１実施形態と同様の処理についての詳細は省略する。
【００７３】
ステップＳ２０２からステップＳ２１０までの処理は、第１実施形態のステップＳ１０２からステップＳ１１０までの処理と同様であるため、詳細な説明は省略する。ステップＳ２１０において、前回のユーザ操作に応じた指定から補助情報の変更指示がなかったり初回の補助情報の指定ではなかったりした場合、ロボット位置取得部９０５は、ロボット９０の位置を取得して、操作補助情報表示部９０６に提供する（Ｓ２１４）。
【００７４】
そして、操作補助情報表示部９０６は、ステップＳ２１４において取得されたロボット９０の位置やステップＳ２０８において取得されたターゲットの位置、方向、大きさを利用して映像表示部１０１により表示されている全体画像内に補助情報を重畳して表示する（Ｓ２１６）。そして、ユーザにより、ステップＳ２１６において提示された補助情報の中から、所定の領域（要素）が選択される（Ｓ２１８）。ロボット制御部９０１は、ステップＳ２１８において選択された所定の領域（要素）にロボット９０を移動させ、ロボット９０の視線方向を変更する。
【００７５】
ここで、図１１〜図１４を参照して、ロボット９０の移動について詳細に説明する。図１１は、ロボット９０の移動について説明する説明図である。図１１においては、図２と同様の空間内で、ロボット９０が空間内に配置された机上を移動できるものとして説明する。説明のため、机上の位置を２次元座標で表し、横軸をｘ、縦軸をｙとする。ロボット９０の位置も、必要であれば同一の２次元座標系で表されるものとする。
【００７６】
図１１に示したように、表示例６０１では、例えば、壁面にユーザが興味を持つ対象物となるポスターやプレゼンテーション等（ターゲット６３）が存在し、その他にもターゲット６１やターゲット６２などが存在していたとする。ユーザ操作により壁面のターゲット６３が選択されたとすると、表示例６０１のような矩形格子の補助情報が全体映像に重畳して表示される。
【００７７】
その後、ユーザが表示例６０１内の領域を選択した場合には、表示例６０２に示したように、ユーザにより選択された領域６４の表示が反転する。そして、選択された領域６４の中心として表される座標位置にロボット９０が移動する。例えば、表示例６０３に示したように、ロボット９０が所望の位置に移動する。ロボット９０の座標位置までの移動経路の生成や移動制御方法については、ロードマップ法等の既存の方法を利用することができる。
【００７８】
次に図１２を参照して、補助情報として同心円状の格子が重畳して表示される場合について説明する。図１２の表示例７０１に示したように、全体映像内にターゲット７１〜７３が含まれており、ユーザが興味のある対象物としてターゲット７１を選択したとする。例えば、ターゲット７１が模型などのように、模型の周囲から観察することが必要な対象物であるとする。
【００７９】
この場合、ターゲット７１を中心として、同心円状の格子が全体映像に重畳して表示される。表示例７０１に示したように、補助情報として表示される同心円状の格子は、例えば、３０度毎に一定半径ずつ選択可能な領域を提示するようにしてもよい。また、ターゲット７１とロボット９０との位置関係から、表示画面上におけるロボット９０とターゲット７１との角度を計算し、同心円状の格子の大きさや角度を変更するようにしてもよい。
【００８０】
例えば、ロボットが机上の２次元座標上ｒ（Ｒｘ、Ｒｙ）に存在し、対象物がｏ（Ｏｘ，Ｏｙ）に存在するとする。この場合、「Ｒｘ−Ｏｘ、Ｒｙ−Ｏｙ」のａｒｃｔａｎから角度θが算出される。そして、ｒおよびｏがロボットが向く方向の基本軸となるように補助情報を−θ回転する。表示例７０２に示したように、ユーザ操作により、領域７４が選択される。そして、表示例７０３に示したように、ロボット９０がユーザ操作により選択された領域に移動する。このとき、ロボットの向きはターゲット７１を向くように制御される。
【００８１】
このように、矩形格子により補助情報が表示された場合には、ロボットの位置関係のみが変更されたが、同心円状の格子が補助情報として表示された場合には、ロボットの向くべき方向もユーザに直感的に示すことが可能となる。すなわち、円の中心がロボットの向く向きであるため、円形の対象物の後ろ側など、ユーザにとって取得したい対象物の周囲の情報を、位置を変えるだけでなく方向も変えて直感的に提示することが可能となる。また、例えば、ターゲットが人であった場合には、ターゲットとなる人の情報を取得する方向を変更するだけでなく、ロボット９０に備わる情報提示装置９３の向きを指定するようにしてもよい。
【００８２】
さらに、図１３に示したように、ロボット９０とターゲットとの距離に応じて、ユーザにより選択可能な領域の大きさを変更するようにしてもよい。例えば、ユーザによりターゲット７３が選択された場合には、ターゲット７３の近傍ほど選択可能な領域を狭小にする。これにより、ユーザは、ターゲット７３に近づくほど、より細かい調整をすることが可能となる。
【００８３】
また、図１４に示したように、表示画面内のターゲットの大きさに応じて補助情報で表される選択可能な領域の大きさを変更するようにしてもよい。例えば、ターゲット７５よりも小さいグリッドの矩形格子を表示して、ロボットが取得可能な情報の幅を示すようにしてもよい。また、ユーザにより一度画面表示内の領域の一つが選択された後は、ユーザがドラッグすることによりロボット９０の位置を変更させるようにしてもよい。
【００８４】
本実施形態においては、画音取得装置に移動機能を追加してロボット化することにより、より詳細な情報や、多くの情報を取得することができ、柔軟にユーザ所望の情報を取得することが可能となる。また、ロボットとターゲットとの関係に応じて提示される補助情報を変化させることが可能となるため、複雑な操作をせずとも詳細な情報を得ることができる。
【００８５】
ここで、図１５および図１６を参照して、第２実施形態においてロボット９０を移動させる場合と、第２実施形態とは異なる方法によりロボット９０を移動させる場合について比較する。図１５は、ジョイスティック等の入力操作手段を用いてロボットを移動させる場合について説明する説明図である。
【００８６】
図１５に示したように、従来の入力操作手段を用いてロボット９０を移動させる場合には、ユーザが、絶えずマニュアル操作によりロボットを動かして、ターゲットの所望の箇所を適切に撮影できるようにする必要がある。この場合、ユーザが所望の映像等を取得するために、細かい位置調整をしなければならない。さらに、ターゲットの所望の箇所を撮影できる位置に移動した後も、絶えずマニュアル動作でロボット９０を移動させなければならない。
【００８７】
一方、第２実施形態によれば、ユーザは、所望の領域を選択するのみで、ロボット９０をマニュアル動作で細かく移動させる必要はない。また、一度領域を選択してロボット９０を移動させた後には、表示画面内のロボット９０をドラッグする（又は、例えば手の指等でロボット９０を画面上でタッチして選択し、画面上でなぞって移動する）ことにより細かい調整をすることが可能となる。
【００８８】
また、図１６は、予め指定した教示点間を移動させるように構成されたロボット９０を移動させる場合について説明する説明図である。図１６に示したように、予め指定された登録点間を移動させる場合、例えば矢印Ｒ１に示すＣ−Ａ間の移動と、矢印Ｒ２に示すＡ−Ｂ間の移動は可能であるとする。この場合、ロボット９０を現在位置Ｃ点からターゲットに近い位置まで移動させるためには、まず、Ａ点を指定して、その後Ｂ点を指定することによりロボット９０をターゲットに近い位置まで移動させる必要がある。しかし、その後、細かく位置や向き等を調整する場合には、結局、図１５に示した場合と同様にマニュアル動作をする必要がある。
【００８９】
一方、第２実施形態によれば、ユーザは、矩形格子または同心円状で表された補助情報をガイドとして、所定の領域を選択するだけでロボット９０を所望の位置や方向に容易に移動させることが可能となる。
【００９０】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００９１】
例えば、上記実施形態では、表示画面上に設けられたタッチパネルによりユーザの興味がある対象物を選択する処理を例にして説明したが、本発明はかかる例に限定されない。例えば、キー操作によって注目するべき対象物が順に変化するようにしてもよい。例えば、ユーザがキーを押下するたびに、画面内の注目されている対象物と補助情報の表示が変化する。
【００９２】
また、上記実施形態では、全体映像として、大域的な俯瞰映像を例として説明したが、本発明はかかる例に限定されず、大域的な情報を得られる映像であればよい。例えば、３６０度カメラを用いて大域的な情報を取得するようにしてもよい。
【００９３】
また、上記実施形態では、２次元平面内での移動や方向の変更を行っているが、本発明は係る例に限定されず、３次元空間内での移動や方向の変更を行うようにしてもよい。
【００９４】
また、ユーザの興味がある対象物は、あらかじめ登録しておいてもよいし、ユーザが表示制御装置を利用している最中にデータベースに登録して追加するようにしてもよい。さらに、映像と音声を取得する装置は、ひとつの装置に備えられてもよいし、それぞれ別体の装置に備えられて排他的に存在してもよい。
【００９５】
例えば、本明細書の表示制御装置１００および２００の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、表示制御装置１００および２００の処理における各ステップは、異なる処理であっても並列的に実行されてもよい。
【００９６】
また、表示制御装置１００および２００などに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した表示制御装置１００および２００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【符号の説明】
【００９７】
１００ 表示制御装置
１０２ 操作補助情報表示部
１０３ 操作部
１０４ 操作指令部
１０５ 興味対象選択部
１０６ 画音取得部
１０７ 画音提示部
１０８ 全体映像取得部
１０９ 興味対象検出部
１１０ 興味対象情報取得部
１１１ 興味対象データベース
２００ 表示制御装置
９０１ ロボット制御部
９０２ 画音取得部
９０３ 動作部
９０４ 情報提示部
９０５ ロボット位置取得部
９０６ 操作補助情報表示部
【技術分野】
【０００１】
本発明は、表示制御装置および表示制御方法に関し、特に、撮像装置により撮像された映像に仮想的な補助線を表示してユーザ操作を支援する表示制御装置および表示制御方法に関する。
【背景技術】
【０００２】
最近では、カメラやマイクなどが技術の進歩によって安価になり利用しやすくなったことに伴い、複数のカメラやマイクをオフィス空間内に配置し、オフィス内でのコミュニケーション支援や監視などに用いたりすることがある。複数のカメラやマイクが配置されている場合、ユーザは複数の情報取得手段を用いて所望の情報を得る必要がある。しかし、どのカメラとどのマイクから情報を取得すれば所望の情報を得ることができるかなど、複数の情報手段をユーザが有効利用する方法についての技術は十分ではない。ユーザは、取得できる情報が大量であるが故に、必要となる情報を容易に取得することができないという問題があった。
【０００３】
また、カメラやマイクを搭載した移動機能を有するロボットを動作させて所望の情報を得る技術も存在する。しかし、上記同様、ロボットを動作させて所望の情報を得るための技術が十分でないという問題があった。そこで、移動するカメラを用いた情報の取得を支援するために、複数の画面を利用して、仮想空間内での視界の範囲示す補助的情報を表示する技術が開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２３０２６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記特許文献１は、仮想空間内での動作を対象としているため、実際の空間で撮影した映像に情報を付加するものではない。また、表示画面に一律に補助的情報が表示されるため、ユーザが所望する情報の性質によっては補助的情報が不十分となるという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザが所望する対象物の情報に応じて、ユーザ操作を支援するための補助的情報を実空間の映像に重畳することが可能な、新規かつ改良された表示制御装置および表示制御方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、撮像装置により撮像された全体映像を取得する全体映像取得部と、ユーザ操作に応じて、複数の対象物からユーザが興味のある対象物を指定する対象物指定部と、対象物指定部により指定された対象物に関する対象物情報を取得する対象物情報取得部と、対象物情報取得部により取得された対象物の対象物情報に基づいて、対象物の周辺情報を取得するための補助情報を、全体画像取得部により取得された全体画像に重畳する補助情報表示部と、を備える、表示制御装置が提供される。
【０００７】
かかる構成によれば、全体映像を取得して、ユーザ操作により指定された一の対象物を指定し、該対象物に関する情報に基づいて全体映像に補助情報を重畳する。これにより、ユーザが所望する対象物の情報に応じて、ユーザ操作を支援するための補助的情報を実空間の映像に重畳することが可能となり、ユーザ操作による選択可能な位置や指示方向等多様な利用法を提示することが可能となる。
【０００８】
また、撮像装置とは別の対象物の周辺に位置する撮像装置により撮像された対象物の周辺映像を取得する周辺映像取得部を備えてもよい。
【０００９】
周辺映像取得部は、ユーザ操作に応じて、全体映像に重畳された補助情報を利用して選択された選択範囲内を撮像可能な撮像装置により撮像された対象物の周辺映像を取得してもよい。
【００１０】
対象物情報取得部は、全体映像取得部により取得された全体映像に含まれる対象物の映像をもとに、対象物の位置情報、方向、大きさを含む対象物情報を取得してもよい。
【００１１】
また、補助情報表示部は、対象物の位置情報、方向、大きさに応じて、全体画像に重畳する補助情報の種類を決定してもよい。
【００１２】
また、補助情報表示部は、補助情報として、全体画像に矩形の格子を重畳してもよい。補助情報表示部は、補助情報として、全体画像に対象物を中心とする同心円状の格子を重畳してもよい。
【００１３】
また、対象物に対応する補助情報の種類を記憶する補助情報記憶部を備え、対象物情報取得部は、対象物指定部により指定されたユーザが興味のある対象物に対応する補助情報の種類を補助情報記憶部から取得してもよい。
【００１４】
また、補助情報表示部は、ユーザ操作に応じて、補助情報の種類を選択して、全体画像に補助情報を重畳してもよい。
【００１５】
また、対象物の位置と方向とＩＤを配信可能なマーカが対象物に配置され、対象物情報取得部は、マーカから配信される対象物の情報をもとに、対象物の位置および方向を取得してもよい。
【００１６】
また、周辺映像取得部は、移動可能な移動体に備えられた撮像装置により撮像された対象物の周辺映像を取得してもよい。
【００１７】
また、移動体の操作を制御する操作制御部を備え、操作制御部は、ユーザ操作に応じて、全体映像に重畳された補助情報を利用して選択された選択範囲が示す位置に移動体を移動させてもよい。
【００１８】
また、補助情報表示部は、移動体と対象物指定部により指定された対象物との配置関係に応じて補助情報の表示を変更してもよい。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、撮像装置により撮像された全体映像に所定の補助情報を重畳する表示制御方法であって、撮像装置により撮像された全体映像を取得するステップと、ユーザ操作に応じて、複数の対象物からユーザが興味のある対象物を指定するステップと、指定された対象物に関する対象物情報を取得するステップと、取得された対象物の対象物情報に基づいて、対象物の周辺情報を取得するための補助情報を、全体画像取得部により取得された全体画像に重畳するステップと、を含むことを特徴とする、表示制御方法が提供される。
【発明の効果】
【００２０】
以上説明したように本発明によれば、ユーザが所望する対象物の情報に応じて、ユーザ操作を支援するための補助的情報を実空間の映像に重畳することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態にかかる表示制御装置の機能構成を示すブロック図である。
【図２】同実施形態にかかる表示制御システムの実現イメージについて説明する説明図である。
【図３】同実施形態にかかる表示制御システムを利用するユーザが利用する端末のイメージである。
【図４】同実施形態にかかる映像表示部に表示される大域的な全体映像の表示例である。
【図５】同実施形態にかかる表示制御処理の詳細を示したフローチャートである。
【図６】同実施形態にかかる補助情報の表示例について説明する説明図である。
【図７】同実施形態にかかる補助情報の表示例について説明する説明図である。
【図８】同実施形態にかかる第２の実施形態にかかる表示制御装置の機能構成を示すブロック図である。
【図９】同実施形態にかかるロボットの外形のイメージについて説明する説明図である。
【図１０】同実施形態にかかる表示制御処理の詳細を示すフローチャートである。
【図１１】同実施形態にかかるロボットの移動について説明する説明図である。
【図１２】同実施形態にかかるロボットの移動について説明する説明図である。
【図１３】同実施形態にかかるロボットの移動について説明する説明図である。
【図１４】同実施形態にかかるロボットの移動について説明する説明図である。
【図１５】従来のロボットの移動について説明する説明図である。
【図１６】従来のロボットの移動について説明する説明図である。
【発明を実施するための形態】
【００２２】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２３】
また、以下に示す順序に従って、当該「発明を実施するための形態」を説明する。
〔１〕本実施形態の目的
〔２〕第１の実施形態
〔２−１〕表示制御装置の機能構成
〔２−２〕表示制御処理の詳細
〔３〕第２の実施形態
〔３−１〕表示制御装置の機能構成
〔３−２〕表示制御処理の詳細
【００２４】
〔１〕本実施形態の目的
まず、本実施形態の目的について説明する。最近では、カメラやマイクなどが技術の進歩によって安価になり利用しやすくなったことに伴い、複数のカメラやマイクをオフィス空間内に配置し、オフィス内でのコミュニケーション支援や監視などに用いたりすることがある。複数のカメラやマイクが配置されている場合、ユーザは複数の情報取得手段を用いて所望の情報を得る必要がある。しかし、どのカメラとどのマイクから情報を取得すれば所望の情報を得ることができるかなど、複数の情報手段をユーザが有効利用する方法についての技術は十分ではない。ユーザは、取得できる情報が大量であるが故に、必要となる情報を容易に取得することができないという問題があった。
【００２５】
また、カメラやマイクを搭載した移動機能を有するロボットを動作させて所望の情報を得る技術も存在する。しかし、上記同様、ロボットを動作させて所望の情報を得るための技術が十分でないという問題があった。そこで、移動するカメラを用いた情報の取得を支援するために、複数の画面を利用して、仮想空間内での視界の範囲示す補助的情報を表示する技術が開示されている。しかし、当該技術は、仮想空間内での動作を対象としているため、実際の空間で撮影した映像に情報を付加するものではない。また、表示画面に一律に補助的情報が表示されるため、ユーザが所望する情報の性質によっては補助的情報が不十分となるという問題があった。
【００２６】
そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる表示制御装置１００が創作されるに至った。本実施形態にかかる表示制御装置１００によれば、ユーザが所望する対象物の情報に応じて、ユーザ操作を支援するための補助的情報を実空間の映像に重畳することが可能となる。
【００２７】
〔２〕第１の実施形態
以上、本発明の実施形態の目的について説明した。次に、図１を参照して、本実施形態にかかる表示制御装置１００の機能構成について説明する。なお、表示制御装置１００の機能構成を説明するに際し、適宜、図２〜４を参照する。表示制御装置１００としては、例えば、パーソナルコンピュータ等のコンピュータ装置（ノート型、デスクトップ型を問わない。）を例示できるが、かかる例に限定されず、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などで構成してもよい。
【００２８】
〔２−１〕表示制御装置の機能構成
図１の機能構成を説明する前に、表示制御装置１００のハードウェア構成の一例について説明する。表示制御装置１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、入力装置と、出力装置と、ストレージ装置（ＨＤＤ）などを備える。
【００２９】
ＣＰＵは、演算処理装置および制御装置として機能し、各種プログラムに従って表示制御装置１００の動作全般を制御する。また、ＣＰＵは、マイクロプロセッサであってもよい。ＲＯＭは、ＣＰＵが使用するプログラムや演算パラメータ等を記憶する。ＲＡＭは、ＣＰＵの実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
【００３０】
入力装置は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵに出力する入力制御回路などから構成されている。
【００３１】
出力装置は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ）装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置で構成される。
【００３２】
ストレージ装置は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ストレージ装置は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置は、ハードディスクを駆動し、ＣＰＵが実行するプログラムや各種データを格納する。
【００３３】
以上、表示制御装置１００のハードウェア構成について説明した。次に、図１を参照して、表示制御装置１００の機能構成について説明する。図１に示したように、表示制御装置１００は、映像表示部１０１、操作補助情報表示部１０２、操作部１０３、操作指令部１０４、興味対象選択部１０５、画音取得部１０６、画音提示部１０７、全体映像取得部１０８、興味対象検出部１０９、興味対象情報取得部１１０、興味対象データベース１１１などを備える。
【００３４】
ここで、図２および図３を参照して、表示制御装置１００を用いて実現される表示制御システムの実現イメージについて説明する。図２および図３は、表示制御装置１００を用いて実現される表示制御システムの実現イメージについて説明する説明図である。図２に示したように、オフィスなどの空間の天井に複数台の全方向カメラ（１０〜１２）やマイク（１〜９）が設置されている。また、大域的にオフィスの全体映像を撮像するカメラ２０が全方向カメラ（１０〜１２）やマイク（１〜９）よりさらに高所に設置されている。なお、全方向カメラは、図２に示したように３台とは限られず、マイクと同数の数を設置するようにしてもよい。このように、全体映像を撮像するカメラとその他の複数のカメラ等を設置することにより、オフィス内での撮像対象の位置を把握でき、かつ、撮像対象の詳細情報を取得することが可能となる。
【００３５】
また、図３は、表示制御システム１を利用するユーザが利用する端末１５０のイメージである。端末１５０は、例えば、ディスプレイ１５１とスピーカ１５２などから構成される。ディスプレイ１５１により映像が提示され、スピーカ１５２により音声が提示される。また、ユーザが端末１５０に備わる操作部を操作することにより、ディスプレイ１５１の表示やスピーカ１５２からの音声が変化する。例えば、ユーザは、タッチパネルなどにより構成される操作部を操作することにより、図２に示したオフィス内の対象物の周囲の映像や音声等を、ディスプレイ１５１を介して提示させることが可能となる。
【００３６】
図１に戻り、表示制御装置１００の機能構成の説明を続ける。映像表示部１０１は、上記ディスプレイ１５１により構成され、大域的な全体映像を撮像するカメラ（カメラ２０）やその他のカメラ等により撮像された映像を表示する機能を有する。大域的な全体映像は、後述する全体映像取得部１０８により取得される。大域的な全体映像以外の対象物の周辺映像は、後述する画音取得部１０６により取得される。
【００３７】
図４に、全体映像取得部１０８により取得されて、映像表示部１０１に表示される大域的な全体映像の表示例を示した。図４に示したように、映像表示部１０１に表示される大域的な全体映像４０１には、撮像対象４１や撮像対象４２などが俯瞰的に表示される。また、映像表示部１０１は、操作補助情報表示部１０２を含んで構成されている。操作補助情報表示部１０２は、対象物の対象物情報に基づいて、対象物の周辺情報を取得するための補助情報を、全体画像に重畳する。
【００３８】
ここで、対象物とは、ユーザの興味対象となるものである。対象物の対象物情報とは、対象物の位置や姿勢、大きさなどの情報である。対象物の位置や姿勢、大きさなどの情報は、後述する興味対象検出部１０９により検出される。対象物の周辺情報を取得するための補助情報とは、全体映像に含まれる対象物の情報を容易に取得可能とするための情報であって、例えば、矩形の格子や同心円状の格子などを例示できる。全体映像に矩形の格子や同心円状の格子などを重畳表示し、ユーザがその補助情報に対する操作を行うことで、間接的にカメラ等の撮像装置を操作して対象物の所望の情報を容易に得ることが可能となる。操作補助情報表示部１０２は、本発明の補助情報表示部の一例である。
【００３９】
また、対象物に対応する補助情報の種類は、後述する興味対象データベース１１１に記憶されている。この場合、操作補助情報表示部１０２は、興味対象情報取得部１１０を介して取得された対象物に対応する補助情報の種類等に基づいて補助情報を表示する。また、操作補助情報表示部１０２は、ユーザ操作に応じて、補助情報の種類を選択するようにしてもよい。
【００４０】
操作部１０３は、上記した入力装置により構成され、ユーザの操作を受け付ける機能を有する。操作部１０３は、少なくとも操作指令部１０４および興味対象選択部１０５を含んで構成される。具体的には、映像表示部１０１のディスプレイ上のタッチパネルとして実現されてもよい。また、ジョイスティックやマウス等通常のポインティングデバイスなどを用いて実現されてもよい。
【００４１】
操作指令部１０４は、ユーザにより行われた操作指令を画音取得部１０６に通知して、映像や音声の取得の方法を変更する。また、興味対象選択部１０５は、ユーザ操作に応じて、所定範囲に含まれる複数の対象物から一の対象物を指定する機能を有する。所定範囲とは、例えば、映像表示部１０１に表示されている範囲である。また、複数の対象物から指定された一の対象物は、ユーザの興味のある対象物である。また、ユーザ操作により選択された対象物の情報を興味対象検出部１０９に通知する。興味対象選択部１０５は、本発明の対象物指定部の一例である。
【００４２】
操作部１０３が映像表示部１０１上のタッチパネルとして実現されている場合には、ユーザが映像表示部１０１に表示されている興味ある対象物を直接指示して指定することができる。また、ユーザが興味を持っている対象物は、ＩＤで管理されて興味対象データベース１１１に記録されていてもよい。この場合、興味対象選択部１０５は、ユーザにより選択された興味対象の対象物ＩＤを興味対象情報取得部１１０に通知する。興味対象の対象物ＩＤは、後述する興味対象検出部１０９により取得される情報である。対象物ＩＤについては、後で詳細に説明する。
【００４３】
画音取得部１０６は、対象物の周辺に位置するマイク（マイク１〜９）やカメラ（カメラ１０〜１３）等の撮像装置により撮像された対象物の周辺映像を取得する機能を有する。対象物の周辺に位置するマイクやカメラ等は少なくとも１台以上の撮像装置などから構成される。画音取得部１０６は、操作指令部１０４からの指令に基づいて、カメラ等により撮像された映像や音声の送信の方法を変更することができる。具体的には、複数台あるマイクやカメラのなかから、映像を取得するカメラや音声を送信するマイクを選択したり、選択されているマイクの指向性を変更したりする。画音取得部１０６は、本発明の周辺映像取得部の一例である。
【００４４】
画音提示部１０７は、上記した出力装置により構成され、少なくとも映像や音声を提示する機能を有する。具体的には、例えば映像提示機能はディスプレイとして実現され、音声提示機能はスピーカ等を用いて実現される。画音提示部１０７は、画音取得部１０６から送信される映像や音声を適宜表示する。
【００４５】
全体映像取得部１０８は、撮像装置により撮像された所定範囲の大域的な全体映像を取得する機能を有する。全体映像取得部１０８は、例えば、図２に示した天井俯瞰カメラ２０により撮像された映像を取得する。全体映像取得部１０８は取得した全体映像を映像表示部１０１に提供する。
【００４６】
興味対象検出部１０９は、興味対象選択部１０５からの指定に基づいて、指定されたユーザの興味がある対象物の情報を取得する機能を有する。例えば、全体映像取得部１０８により取得された大域的な映像に対して、画像認識処理を行い、映像内において対象物がどこに位置しているのか、どのような姿勢をとっているのか、どの程度の大きさで表示されているかなどを取得する。
【００４７】
例えば、ユーザの興味がある対象物が非特許文献２に示されるようなマーカを備えているとする。この場合、マーカの枠によって画面内の位置や方向を検出でき、マーカ内のパターンによって対象物の種類を検出することが可能となる。対象物の種類とは、上記した対象物ＩＤなどである。マーカによる位置、方向、対象物のパターンの取得方法については、非特許文献２や特許文献２に開示されているため、詳細な説明は省略する。
（非特許文献１）
Kato, H. Billinghurst, M. (1999)
Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System, In Proceedings of the 2nd International Workshop on Augumented Reality (IWAR 99). October, San Francisco, USA.
（特許文献２）
特開２０００−３２２６０２
【００４８】
興味対象情報取得部１１０は、興味対象選択部１０５により通知された対象物ＩＤを用いて興味対象データベース１１１を検索して、撮像対象となる対象物の情報を取得する。興味対象情報取得部１１０により取得される対象物の情報は、例えば、対象物の周辺情報を取得するための補助情報に関する情報であり、例えば、全体映像に重畳する格子の形状や格子の大きさや格子の個数などである。興味対象検出部１０９および興味対象情報取得部１１０は、本発明の対象物情報取得部の一例である。すなわち、興味対象検出部１０９では、対象物の位置や方向などの物理的な情報が検出され、興味対象情報取得部１１０では、対象物に応じた補助情報の種類や格子の個数などが取得される。
【００４９】
興味対象データベース１１１には、例えば、対象物ＩＤと補助情報の種類や基本サイズなどが関連付けて記憶されている。対象物ＩＤは、上記したように、対象物を識別するＩＤであり、補助情報の種類は、上記したように、矩形格子または同心円状格子などが挙げられる。基本サイズは、補助情報を表示するために必要となる対象物の基本的な大きさを示すものである。興味対象情報取得部１１０は、操作補助情報表示部１０２に興味対象データベース１１１から取得した対象物に関する情報を提供する。
【００５０】
〔２−２〕表示制御処理の詳細
以上、表示制御装置１００の機能構成について説明した。次に、表示制御装置１００における表示制御処理の詳細について説明する。なお、表示制御処理の詳細を説明するに際して、適宜、図６および図８を参照する。図５は、表示制御装置１００における表示制御処理の詳細を示したフローチャートである。
【００５１】
図５に示したように、まず、ユーザがターゲットを選択する（Ｓ１０２）。ステップＳ１０２において、ユーザがターゲットを選択する際には、映像表示部１０１に、大域的な全体映像が表示されているものとする。また、大域的な全体映像には、複数の撮像の対象となる対象物が含まれている。また、ステップＳ１０２において選択されるターゲットとは、ユーザの興味のある対象物である。興味対象選択部１０５は、ユーザ操作より選択されたターゲットを選択する。
【００５２】
そして、興味対象情報取得部１１０は、ステップＳ１０２において選択されたターゲットの種類から興味対象データベース１１１を検索する（Ｓ１０４）。ターゲットの種類とは、ターゲットの対象物ＩＤである。上記したように、興味対象検出部１０９は、対象物に備えられたマーカの枠やパターンによって対象物ＩＤを検出される。興味対象情報取得部１１０は、ステップＳ１０２において選択された対象物に対応する対象物ＩＤを興味対象検出部１０９から受け取ることとなる。
【００５３】
次に、興味対象情報取得部１１０は、興味対象データベース１１１から対象物に関する情報を取得する（Ｓ１０６）。ステップＳ１０６において興味対象情報取得部１１０により取得される対象物に関する情報は、対象物に応じた補助情報の種類である。具体的には、補助情報として全体映像に重畳する格子の種類や格子の個数などである。
【００５４】
そして、興味対象検出部１０９は、全体映像取得部１０８によって取得される映像に画像認識処理を行って、ターゲットの位置や方向や大きさを取得し、操作補助情報表示部１０２にそれらを取得した旨を通知する（Ｓ１０８）。
【００５５】
操作部１０３は、前回のユーザ操作に応じた指定から補助情報の変更指示があったか、初回の補助情報の指定か否かを判定する（Ｓ１１０）。ここで、補助情報の変更指示とは、表示されている格子の変更指示である。ステップＳ１１０において、補助情報の変更指示があったか、初回の補助情報の指定であった場合には、補助情報の指定を行う（Ｓ１１２）。ステップＳ１１２においては、初回の補助情報の指定であった場合には、デフォルトとして設定している値が指定される。ここでは、例えば、デフォルトとして矩形格子が設定されている。また、矩形格子以外に同心円状の格子が設定されていてもよい。
【００５６】
そして、操作補助情報表示部１０２は、ステップＳ１０８において取得されたターゲットの位置、方向、大きさを利用して補助情報として全体映像に仮想的な矩形格子を重畳して表示する（Ｓ１１４）。ステップＳ１１４においては、ターゲットの位置、方向、大きさに応じた補助情報が表示される。例えば、ターゲットの位置の近傍にのみ補助情報を表示したり、ターゲットの大きさに応じて矩形格子の大きさを変更したりしてもよい。
【００５７】
ここで、図６および図７を参照して、全体映像に重畳される補助情報の表示例について説明する。図６および図７は、補助情報の表示例について説明する説明図である。図６に示したように、表示例４０２には、ターゲット４１およびターゲット４２が表示されている。ユーザ操作に応じて、ターゲット４１が指定されると、ターゲット４１の周囲に補助情報４３が全体映像に重畳して表示される。補助情報４２は、矩形格子であり、ユーザが興味を持っているターゲット４１の周囲を選択しやすくするための情報である。補助情報４２は、ターゲット４１の所定の範囲に表示され、ターゲット４１の大きさに応じた格子の大きさで表示される。
【００５８】
図５に戻り、ユーザにより矩形等で表示された補助情報の所定の領域（要素）が選択される（Ｓ１１６）。ここで、図６を参照して、ユーザにより補助情報の所定の領域が選択された場合について説明する。図６の表示例４０４に示したように、ユーザにより、矩形格子の補助情報４２の一つである領域４４が選択される。領域４４が選択されることにより、ユーザにより、ターゲット４１の右斜め下側からの映像や音声を取得するという操作が指示されたこととなる。
【００５９】
ここで、ステップＳ１１２において、補助情報として同心円状の格子が指定された場合について説明する。図７に示したように、ステップＳ１１２において、補助情報同心円状の格子が指定された場合には、ターゲットの中心に同心円状の格子が表示されることとなる。表示例５０１に示したように、ユーザによりターゲット５２が選択されると、ターゲット５２を中心として同心円状の格子が全体映像に重畳して表示される。そして、表示例５０２に示したように、ユーザにより同心円状の格子のうち、領域５４が選択される。領域５４が選択されると、矩形格子の領域が選択される場合に比して、映像や音声を取得する方向をより明確にすることが可能となる。なお、同心円状の格子とは、例えば、複数の同心円をｎ等分割（ｎは２以上の整数）することにより形成される格子のことをくものとする。
【００６０】
ステップＳ１１６において選択された領域（要素）から、操作指令部１０４は、画音取得部１０６に対して、取得するべき音声および映像を指示する（Ｓ１１８）。ステップＳ１１８において、操作指令部１０５に指示された画音取得部１０６は、マイクやカメラ等の画音取得装置を変更することにより、ユーザ所望の音声や映像を取得する。
【００６１】
例えば、図２に示した番号の位置に存在するマイクやカメラをＭ１、Ｃ４などのようにそれぞれ表現したとする。この場合、ユーザにより選択されたターゲットの位置との空間上の距離が最小になるカメラ、スピーカＭ１、Ｃ６が選択される。ターゲットの位置との空間上の距離は、例えばユークリッド距離などで表される。このように選択されたマイクやカメラ等の装置を利用して、ターゲットの近傍の情報を取得することが可能となる。
【００６２】
そして、画音提示部１０７は、ステップＳ１１８において画音取得部１０６により取得された音声および映像を提示する（Ｓ１２０）。ステップＳ１２０においては、複数のターゲットを含む全体映像の表示画面が、ユーザにより選択された１つのターゲットの詳細が確認可能な映像に変更される。次に、ユーザ操作により終了指示があったか否かを判定する（Ｓ１２２）。ステップＳ１２２において、終了指示があった場合には処理を終了する。
【００６３】
ステップＳ１２２において、終了指示がなかった場合には、ユーザ操作によりターゲットの変更指示があったか否かを判定する（Ｓ１２４）。ステップＳ１２４において、ターゲットの変更指示があった場合には、ステップＳ１０２からの処理を繰り返す。ステップＳ１２４において、ターゲットの変更指示がなかった場合には、ステップＳ１０８からの処理を繰り返す。
【００６４】
本実施形態にかかる表示制御処理によれば、ユーザ操作に応じて、ユーザが興味を持つ対象物を指定して、その対象物の形や大きさ等の性質に応じたユーザ操作を補助する映像を提示する。ユーザは、提示された補助情報を利用して操作し、容易に必要な映像や音声を取得することが可能となる。これにより、全体映像に含まれるターゲットの位置のみを指定する場合よりも柔軟な選択が可能である。また、補助情報の種類を対象物に応じて、またユーザ操作に応じて変更することにより、選択可能な位置や指示方向等多様な利用法を提示することが可能となる。
【００６５】
〔３〕第２の実施形態
以上、第１の実施形態について説明した。次に、本発明にかかる第２の実施形態について説明する。第１の実施形態では、カメラやマイク等の複数の画音取得装置が設置されていたが、これらの画音取得装置は固定されて配置されていた。そのため、個々の画音取得装置の情報取得可能範囲によって、取得可能な映像や音声の情報に制限がかかってしまうという問題があった。そこで、本実施形態では、画音取得装置を、移動機能を有する移動体（ロボット）として構成することにより、第１実施形態と比して自由度の大きい映像や音声を取得することを可能とした。
【００６６】
さらに、本実施形態では、第１の実施形態で利用したインタフェースの機能が拡張され、ロボットカメラの視点の変更および移動を支援する。また、ロボットの位置と、ユーザの興味の対象物との距離や位置関係によって、ユーザに提示される補助情報が変更されることにより、より柔軟な操作を可能とした。本実施形態において、該ロボットは、画音取得機能のみにとどまらず、ユーザに何らかの情報を提示する機能を持たせることにより、ユーザが所定の空間に働きかけることを可能とした。
【００６７】
〔３−１〕表示制御装置の機能構成
図８を参照して、本実施形態にかかる表示制御装置２００の機能構成について説明する。以下では、第１実施形態と異なる構成について特に詳細に説明し、第１実施形態と同様の構成については詳細な説明を省略する。図８に示したように、本実施形態にかかる表示制御装置２００は、ロボット（図示せず）を制御するロボット制御部９０１を備える点で第１実施形態と大きく異なっている。ロボット制御部９０１は、本発明の操作制御部の一例である。
【００６８】
ここで、図９を参照してロボット制御部９０１により制御されるロボットの外形について説明する。図９は、ロボットの外形のイメージについて説明する説明図である。図９に示したように、ロボット９０は、移動可能な動作体９１を有し、映像や音声を取得する画音取得装置９２や情報提示装置９３を有して構成される。ロボット９０の動作体９１には、あらゆる方向に動作可能とする全方向車輪が備えられていてもよい。また、画音取得装置９２は、姿勢やズームを変更可能なカメラであってもよい。情報提示装置９３は、例えば、静止画や動画を表示可能なディスプレイであってもよい。
【００６９】
図８に戻り、ロボット制御部９０１の機能構成について説明する。ロボット制御部９０１は、画音取得部９０２と、動作部９０３と、情報提示部９０４となどを備える。画音取得部９０２は、ロボット制御部９０１の指示のもと、動作体９１に備えられたカメラ等の撮像装置（画音取得装置９２）により撮像された対象物（ユーザの興味対象物）の周辺映像を取得する機能を有する。
【００７０】
動作部９０３は、ロボット制御部９０１の指示のもと、ロボット９０の動作体９１を指示された位置や方向に移動させる機能を有する。情報提示部９０４は、ロボット制御部９０１の指示のもと、ロボットに搭載されたディスプレイ、プロジェクタ、スピーカなどの情報提示装置による情報提示を制御する。情報提示部９０４は、予め設定されたコンテンツを提示させるようにしてもよいし、表示制御装置２００とは別の他の装置から提供される映像や音声を取得して、ディスプレイ等に提示させるようにしてもよい。
【００７１】
ロボット位置取得部９０５は、空間内のロボット９０の位置やロボット９０の方向を取得する機能を有する。ロボット位置取得部９０５は、全体映像取得部１０８により提供される全体画像を画像認識処理等してロボット９０の位置（例えば、座標）や方向を取得するようにしてもよい。また、ロボット９０の位置する空間内に配置されたセンサの情報を統合して、ロボット９０の画面内での位置や方向を取得するようにしてもよい。ロボット位置取得部９０５は、操作補助情報表示部９０６を介して、映像表示部１０１にロボット９０の位置や方向を通知する。
【００７２】
〔３−２〕表示制御処理の詳細
以上、本実施形態にかかる表示制御装置２００の機能構成について説明した。次に、図１０を参照して、表示制御装置２００における表示制御処理の詳細について説明する。図１０は、表示制御装置２００における表示制御処理の詳細を示すフローチャートである。本実施形態にかかる表示制御処理についても、第１実施形態と異なる処理について特に説明し、第１実施形態と同様の処理についての詳細は省略する。
【００７３】
ステップＳ２０２からステップＳ２１０までの処理は、第１実施形態のステップＳ１０２からステップＳ１１０までの処理と同様であるため、詳細な説明は省略する。ステップＳ２１０において、前回のユーザ操作に応じた指定から補助情報の変更指示がなかったり初回の補助情報の指定ではなかったりした場合、ロボット位置取得部９０５は、ロボット９０の位置を取得して、操作補助情報表示部９０６に提供する（Ｓ２１４）。
【００７４】
そして、操作補助情報表示部９０６は、ステップＳ２１４において取得されたロボット９０の位置やステップＳ２０８において取得されたターゲットの位置、方向、大きさを利用して映像表示部１０１により表示されている全体画像内に補助情報を重畳して表示する（Ｓ２１６）。そして、ユーザにより、ステップＳ２１６において提示された補助情報の中から、所定の領域（要素）が選択される（Ｓ２１８）。ロボット制御部９０１は、ステップＳ２１８において選択された所定の領域（要素）にロボット９０を移動させ、ロボット９０の視線方向を変更する。
【００７５】
ここで、図１１〜図１４を参照して、ロボット９０の移動について詳細に説明する。図１１は、ロボット９０の移動について説明する説明図である。図１１においては、図２と同様の空間内で、ロボット９０が空間内に配置された机上を移動できるものとして説明する。説明のため、机上の位置を２次元座標で表し、横軸をｘ、縦軸をｙとする。ロボット９０の位置も、必要であれば同一の２次元座標系で表されるものとする。
【００７６】
図１１に示したように、表示例６０１では、例えば、壁面にユーザが興味を持つ対象物となるポスターやプレゼンテーション等（ターゲット６３）が存在し、その他にもターゲット６１やターゲット６２などが存在していたとする。ユーザ操作により壁面のターゲット６３が選択されたとすると、表示例６０１のような矩形格子の補助情報が全体映像に重畳して表示される。
【００７７】
その後、ユーザが表示例６０１内の領域を選択した場合には、表示例６０２に示したように、ユーザにより選択された領域６４の表示が反転する。そして、選択された領域６４の中心として表される座標位置にロボット９０が移動する。例えば、表示例６０３に示したように、ロボット９０が所望の位置に移動する。ロボット９０の座標位置までの移動経路の生成や移動制御方法については、ロードマップ法等の既存の方法を利用することができる。
【００７８】
次に図１２を参照して、補助情報として同心円状の格子が重畳して表示される場合について説明する。図１２の表示例７０１に示したように、全体映像内にターゲット７１〜７３が含まれており、ユーザが興味のある対象物としてターゲット７１を選択したとする。例えば、ターゲット７１が模型などのように、模型の周囲から観察することが必要な対象物であるとする。
【００７９】
この場合、ターゲット７１を中心として、同心円状の格子が全体映像に重畳して表示される。表示例７０１に示したように、補助情報として表示される同心円状の格子は、例えば、３０度毎に一定半径ずつ選択可能な領域を提示するようにしてもよい。また、ターゲット７１とロボット９０との位置関係から、表示画面上におけるロボット９０とターゲット７１との角度を計算し、同心円状の格子の大きさや角度を変更するようにしてもよい。
【００８０】
例えば、ロボットが机上の２次元座標上ｒ（Ｒｘ、Ｒｙ）に存在し、対象物がｏ（Ｏｘ，Ｏｙ）に存在するとする。この場合、「Ｒｘ−Ｏｘ、Ｒｙ−Ｏｙ」のａｒｃｔａｎから角度θが算出される。そして、ｒおよびｏがロボットが向く方向の基本軸となるように補助情報を−θ回転する。表示例７０２に示したように、ユーザ操作により、領域７４が選択される。そして、表示例７０３に示したように、ロボット９０がユーザ操作により選択された領域に移動する。このとき、ロボットの向きはターゲット７１を向くように制御される。
【００８１】
このように、矩形格子により補助情報が表示された場合には、ロボットの位置関係のみが変更されたが、同心円状の格子が補助情報として表示された場合には、ロボットの向くべき方向もユーザに直感的に示すことが可能となる。すなわち、円の中心がロボットの向く向きであるため、円形の対象物の後ろ側など、ユーザにとって取得したい対象物の周囲の情報を、位置を変えるだけでなく方向も変えて直感的に提示することが可能となる。また、例えば、ターゲットが人であった場合には、ターゲットとなる人の情報を取得する方向を変更するだけでなく、ロボット９０に備わる情報提示装置９３の向きを指定するようにしてもよい。
【００８２】
さらに、図１３に示したように、ロボット９０とターゲットとの距離に応じて、ユーザにより選択可能な領域の大きさを変更するようにしてもよい。例えば、ユーザによりターゲット７３が選択された場合には、ターゲット７３の近傍ほど選択可能な領域を狭小にする。これにより、ユーザは、ターゲット７３に近づくほど、より細かい調整をすることが可能となる。
【００８３】
また、図１４に示したように、表示画面内のターゲットの大きさに応じて補助情報で表される選択可能な領域の大きさを変更するようにしてもよい。例えば、ターゲット７５よりも小さいグリッドの矩形格子を表示して、ロボットが取得可能な情報の幅を示すようにしてもよい。また、ユーザにより一度画面表示内の領域の一つが選択された後は、ユーザがドラッグすることによりロボット９０の位置を変更させるようにしてもよい。
【００８４】
本実施形態においては、画音取得装置に移動機能を追加してロボット化することにより、より詳細な情報や、多くの情報を取得することができ、柔軟にユーザ所望の情報を取得することが可能となる。また、ロボットとターゲットとの関係に応じて提示される補助情報を変化させることが可能となるため、複雑な操作をせずとも詳細な情報を得ることができる。
【００８５】
ここで、図１５および図１６を参照して、第２実施形態においてロボット９０を移動させる場合と、第２実施形態とは異なる方法によりロボット９０を移動させる場合について比較する。図１５は、ジョイスティック等の入力操作手段を用いてロボットを移動させる場合について説明する説明図である。
【００８６】
図１５に示したように、従来の入力操作手段を用いてロボット９０を移動させる場合には、ユーザが、絶えずマニュアル操作によりロボットを動かして、ターゲットの所望の箇所を適切に撮影できるようにする必要がある。この場合、ユーザが所望の映像等を取得するために、細かい位置調整をしなければならない。さらに、ターゲットの所望の箇所を撮影できる位置に移動した後も、絶えずマニュアル動作でロボット９０を移動させなければならない。
【００８７】
一方、第２実施形態によれば、ユーザは、所望の領域を選択するのみで、ロボット９０をマニュアル動作で細かく移動させる必要はない。また、一度領域を選択してロボット９０を移動させた後には、表示画面内のロボット９０をドラッグする（又は、例えば手の指等でロボット９０を画面上でタッチして選択し、画面上でなぞって移動する）ことにより細かい調整をすることが可能となる。
【００８８】
また、図１６は、予め指定した教示点間を移動させるように構成されたロボット９０を移動させる場合について説明する説明図である。図１６に示したように、予め指定された登録点間を移動させる場合、例えば矢印Ｒ１に示すＣ−Ａ間の移動と、矢印Ｒ２に示すＡ−Ｂ間の移動は可能であるとする。この場合、ロボット９０を現在位置Ｃ点からターゲットに近い位置まで移動させるためには、まず、Ａ点を指定して、その後Ｂ点を指定することによりロボット９０をターゲットに近い位置まで移動させる必要がある。しかし、その後、細かく位置や向き等を調整する場合には、結局、図１５に示した場合と同様にマニュアル動作をする必要がある。
【００８９】
一方、第２実施形態によれば、ユーザは、矩形格子または同心円状で表された補助情報をガイドとして、所定の領域を選択するだけでロボット９０を所望の位置や方向に容易に移動させることが可能となる。
【００９０】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００９１】
例えば、上記実施形態では、表示画面上に設けられたタッチパネルによりユーザの興味がある対象物を選択する処理を例にして説明したが、本発明はかかる例に限定されない。例えば、キー操作によって注目するべき対象物が順に変化するようにしてもよい。例えば、ユーザがキーを押下するたびに、画面内の注目されている対象物と補助情報の表示が変化する。
【００９２】
また、上記実施形態では、全体映像として、大域的な俯瞰映像を例として説明したが、本発明はかかる例に限定されず、大域的な情報を得られる映像であればよい。例えば、３６０度カメラを用いて大域的な情報を取得するようにしてもよい。
【００９３】
また、上記実施形態では、２次元平面内での移動や方向の変更を行っているが、本発明は係る例に限定されず、３次元空間内での移動や方向の変更を行うようにしてもよい。
【００９４】
また、ユーザの興味がある対象物は、あらかじめ登録しておいてもよいし、ユーザが表示制御装置を利用している最中にデータベースに登録して追加するようにしてもよい。さらに、映像と音声を取得する装置は、ひとつの装置に備えられてもよいし、それぞれ別体の装置に備えられて排他的に存在してもよい。
【００９５】
例えば、本明細書の表示制御装置１００および２００の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、表示制御装置１００および２００の処理における各ステップは、異なる処理であっても並列的に実行されてもよい。
【００９６】
また、表示制御装置１００および２００などに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した表示制御装置１００および２００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【符号の説明】
【００９７】
１００ 表示制御装置
１０２ 操作補助情報表示部
１０３ 操作部
１０４ 操作指令部
１０５ 興味対象選択部
１０６ 画音取得部
１０７ 画音提示部
１０８ 全体映像取得部
１０９ 興味対象検出部
１１０ 興味対象情報取得部
１１１ 興味対象データベース
２００ 表示制御装置
９０１ ロボット制御部
９０２ 画音取得部
９０３ 動作部
９０４ 情報提示部
９０５ ロボット位置取得部
９０６ 操作補助情報表示部
【特許請求の範囲】
【請求項１】
撮像装置により撮像された全体映像を取得する全体映像取得部と、
ユーザ操作に応じて、複数の対象物からユーザが興味のある対象物を指定する対象物指定部と、
前記対象物指定部により指定された前記対象物に関する対象物情報を取得する対象物情報取得部と、
前記対象物情報取得部により取得された前記対象物の対象物情報に基づいて、前記対象物の周辺情報を取得するための補助情報を、前記全体画像取得部により取得された前記全体画像に重畳する補助情報表示部と、
を備えることを特徴とする、表示制御装置。
【請求項２】
前記撮像装置とは別の前記対象物の周辺に位置する撮像装置により撮像された前記対象物の周辺映像を取得する周辺映像取得部を備えることを特徴とする、請求項１に記載の表示制御装置。
【請求項３】
前記周辺映像取得部は、ユーザ操作に応じて、前記全体映像に重畳された前記補助情報を利用して選択された選択範囲内を撮像可能な撮像装置により撮像された対象物の周辺映像を取得することを特徴とする、請求項２に記載の表示制御装置。
【請求項４】
前記対象物情報取得部は、前記映像取得部により取得された前記全体映像に含まれる前記対象物の映像をもとに、前記対象物の位置情報、方向、大きさを含む対象物情報を取得することを特徴とする、請求項１に記載の表示制御装置。
【請求項５】
前記補助情報表示部は、前記対象物の位置情報、方向、大きさに応じて、前記全体画像に重畳する補助情報の種類を決定することを特徴とする、請求項４に記載の表示制御装置。
【請求項６】
前記補助情報表示部は、前記補助情報として、前記全体画像に矩形の格子を重畳することを特徴とする、請求項１に記載の表示制御装置。
【請求項７】
前記補助情報表示部は、前記補助情報として、前記全体画像に前記対象物を中心とする同心円状の格子を重畳することを特徴とする、請求項１に記載の表示制御装置。
【請求項８】
前記対象物に対応する補助情報の種類を記憶する補助情報記憶部を備え、
前記対象物情報取得部は、前記対象物指定部により指定された前記ユーザが興味のある対象物に対応する前記補助情報の種類を前記補助情報記憶部から取得することを特徴とする、請求項１に記載の表示制御装置。
【請求項９】
前記補助情報表示部は、ユーザ操作に応じて、前記補助情報の種類を選択して、前記全体画像に前記補助情報を重畳することを特徴とする、請求項１に記載の表示制御装置。
【請求項１０】
前記対象物の位置と方向とＩＤを配信可能なマーカが前記対象物に配置され、
前記対象物情報取得部は、前記マーカから配信される前記対象物の情報をもとに、前記対象物の位置および方向を取得することを特徴とする、請求項１に記載の表示制御装置。
【請求項１１】
前記周辺映像取得部は、移動可能な移動体に備えられた撮像装置により撮像された前記対象物の周辺映像を取得する、請求項１に記載の表示制御装置。
【請求項１２】
前記移動体の操作を制御する操作制御部を備え、
前記操作制御部は、ユーザ操作に応じて、前記全体映像に重畳された前記補助情報を利用して選択された選択範囲が示す位置に前記移動体を移動させることを特徴とする、請求項１１に記載の表示制御装置。
【請求項１３】
前記補助情報表示部は、前記移動体と前記対象物指定部により指定された前記対象物との配置関係に応じて前記補助情報の表示を変更することを特徴とする、請求項１１に記載の表示制御装置。
【請求項１４】
撮像装置により撮像された全体映像に所定の補助情報を重畳する表示制御方法であって、
撮像装置により撮像された全体映像を取得するステップと、
ユーザ操作に応じて、複数の対象物からユーザが興味のある対象物を指定するステップと、
前記指定された前記対象物に関する対象物情報を取得するステップと、
前記取得された前記対象物の対象物情報に基づいて、前記対象物の周辺情報を取得するための補助情報を、前記全体画像取得部により取得された前記全体画像に重畳するステップと、
を含むことを特徴とする、表示制御方法。
【請求項１】
撮像装置により撮像された全体映像を取得する全体映像取得部と、
ユーザ操作に応じて、複数の対象物からユーザが興味のある対象物を指定する対象物指定部と、
前記対象物指定部により指定された前記対象物に関する対象物情報を取得する対象物情報取得部と、
前記対象物情報取得部により取得された前記対象物の対象物情報に基づいて、前記対象物の周辺情報を取得するための補助情報を、前記全体画像取得部により取得された前記全体画像に重畳する補助情報表示部と、
を備えることを特徴とする、表示制御装置。
【請求項２】
前記撮像装置とは別の前記対象物の周辺に位置する撮像装置により撮像された前記対象物の周辺映像を取得する周辺映像取得部を備えることを特徴とする、請求項１に記載の表示制御装置。
【請求項３】
前記周辺映像取得部は、ユーザ操作に応じて、前記全体映像に重畳された前記補助情報を利用して選択された選択範囲内を撮像可能な撮像装置により撮像された対象物の周辺映像を取得することを特徴とする、請求項２に記載の表示制御装置。
【請求項４】
前記対象物情報取得部は、前記映像取得部により取得された前記全体映像に含まれる前記対象物の映像をもとに、前記対象物の位置情報、方向、大きさを含む対象物情報を取得することを特徴とする、請求項１に記載の表示制御装置。
【請求項５】
前記補助情報表示部は、前記対象物の位置情報、方向、大きさに応じて、前記全体画像に重畳する補助情報の種類を決定することを特徴とする、請求項４に記載の表示制御装置。
【請求項６】
前記補助情報表示部は、前記補助情報として、前記全体画像に矩形の格子を重畳することを特徴とする、請求項１に記載の表示制御装置。
【請求項７】
前記補助情報表示部は、前記補助情報として、前記全体画像に前記対象物を中心とする同心円状の格子を重畳することを特徴とする、請求項１に記載の表示制御装置。
【請求項８】
前記対象物に対応する補助情報の種類を記憶する補助情報記憶部を備え、
前記対象物情報取得部は、前記対象物指定部により指定された前記ユーザが興味のある対象物に対応する前記補助情報の種類を前記補助情報記憶部から取得することを特徴とする、請求項１に記載の表示制御装置。
【請求項９】
前記補助情報表示部は、ユーザ操作に応じて、前記補助情報の種類を選択して、前記全体画像に前記補助情報を重畳することを特徴とする、請求項１に記載の表示制御装置。
【請求項１０】
前記対象物の位置と方向とＩＤを配信可能なマーカが前記対象物に配置され、
前記対象物情報取得部は、前記マーカから配信される前記対象物の情報をもとに、前記対象物の位置および方向を取得することを特徴とする、請求項１に記載の表示制御装置。
【請求項１１】
前記周辺映像取得部は、移動可能な移動体に備えられた撮像装置により撮像された前記対象物の周辺映像を取得する、請求項１に記載の表示制御装置。
【請求項１２】
前記移動体の操作を制御する操作制御部を備え、
前記操作制御部は、ユーザ操作に応じて、前記全体映像に重畳された前記補助情報を利用して選択された選択範囲が示す位置に前記移動体を移動させることを特徴とする、請求項１１に記載の表示制御装置。
【請求項１３】
前記補助情報表示部は、前記移動体と前記対象物指定部により指定された前記対象物との配置関係に応じて前記補助情報の表示を変更することを特徴とする、請求項１１に記載の表示制御装置。
【請求項１４】
撮像装置により撮像された全体映像に所定の補助情報を重畳する表示制御方法であって、
撮像装置により撮像された全体映像を取得するステップと、
ユーザ操作に応じて、複数の対象物からユーザが興味のある対象物を指定するステップと、
前記指定された前記対象物に関する対象物情報を取得するステップと、
前記取得された前記対象物の対象物情報に基づいて、前記対象物の周辺情報を取得するための補助情報を、前記全体画像取得部により取得された前記全体画像に重畳するステップと、
を含むことを特徴とする、表示制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−２２７０３（Ｐ２０１１−２２７０３Ａ）
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願番号】特願２００９−１６５７１３（Ｐ２００９−１６５７１３）
【出願日】平成２１年７月１４日（２００９．７．１４）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願日】平成２１年７月１４日（２００９．７．１４）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]