制御装置、制御方法、プログラム、及びロボット制御システム
【課題】簡易な操作により、自律型ロボットによる探索範囲を指定する。
【解決手段】制御部は、所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、探索範囲を特定するために用いられる特定情報を生成し、通信部は、特定情報をロボットに送信することにより、ロボットに探索範囲を探索させる。本開示は、例えば、自律型ロボットを制御可能であって、ロボットからの情報を表示部の表示画面に表示させる表示制御装置等に適用することができる。
【解決手段】制御部は、所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、探索範囲を特定するために用いられる特定情報を生成し、通信部は、特定情報をロボットに送信することにより、ロボットに探索範囲を探索させる。本開示は、例えば、自律型ロボットを制御可能であって、ロボットからの情報を表示部の表示画面に表示させる表示制御装置等に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、制御装置、制御方法、プログラム、及びロボット制御システムに関し、例えば、ユーザにより指定された探索範囲を自律型ロボットに探索させるようにした制御装置、制御方法、プログラム、及びロボット制御システムに関する。
【背景技術】
【０００２】
例えば、周囲の状況や、ユーザからの大まかな指示に応じて、自律的に行動（動作）する自律型ロボットが一般的なものになりつつある。
【０００３】
この自律型ロボットでは、例えば、ユーザが、商品名などを指定せずに、ペットボトル入りのお茶を持ってくるように指示を与えた場合、その指示に応じて、ペットボトル入りのお茶を探して持ってくる動作を、自律的に実行する。
【０００４】
すなわち、例えば、自律型ロボットは、複数の、ペットボトル入りのお茶を見つけた場合、自らの判断で、ユーザが所望するペットボトル入りのお茶を選択し、ユーザのところまで持ってくる。
【０００５】
なお、ユーザが、物品とその物品の移動先を指定したことに応じて、ロボットに物品を移動先に移動させる技術が存在する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２６８１４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、例えば、自律型ロボットは、自律的に行動するため、ユーザが望む探索範囲を通り過ぎて、他の範囲を探索することが生じ得る。
【０００８】
そこで、例えば、ユーザが探索範囲を指定し、指定した探索範囲を、自律型ロボットに探索させるようにすることが望ましい。
【０００９】
本開示は、このような状況に鑑みてなされたものであり、簡易な操作により、自律型ロボットによる探索範囲を指定できるようにするものである。
【課題を解決するための手段】
【００１０】
本開示の第１の側面の制御装置は、所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成部と、前記特定情報を用いて、前記ロボットに前記探索範囲を探索させる探索制御部とを含む制御装置である。
【００１１】
前記生成部では、前記ロボットに探索させる物体の属するカテゴリが前記ユーザにより指定されたことに対応して、前記カテゴリを表すカテゴリ情報も生成し、前記探索制御部では、前記カテゴリ情報も用いて、前記ロボットに、前記カテゴリに属する前記物体を、前記探索範囲で探索させることができる。
【００１２】
前記生成部では、前記ロボットの周囲を撮像して得られる撮像画像を用いて、前記ユーザにより前記探索範囲が指定されたことに対応して、前記特定情報を生成することができる。
【００１３】
前記生成部では、前記ロボットが移動する空間の空間図を用いて、前記ユーザにより前記探索範囲が指定されたことに対応して、前記特定情報を生成することができる。
【００１４】
前記生成部では、前記ユーザの発話により前記探索範囲が指定されたことに対応して、前記ユーザの発話を音声認識して得られる前記特定情報を生成することができる。
【００１５】
前記生成部では、前記ユーザの身振りにより前記探索範囲が指定されたことに対応して、前記ユーザの身振りを認識して得られる前記特定情報を生成することができる。
【００１６】
前記探索制御部では、前記特定情報を、前記ロボットに送信することにより、前記ロボットに前記探索範囲を探索させることができる。
【００１７】
本開示の第１の側面の制御方法は、制御装置の制御方法であって、前記制御装置による、所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成ステップと、前記特定情報を用いて、前記ロボットに前記探索範囲を探索させる探索制御ステップとを含む制御方法である。
【００１８】
本開示の第１の側面のプログラムは、コンピュータを、所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成部と、前記特定情報を用いて、前記ロボットに前記探索範囲を探索させる探索制御部として機能させるためのプログラムである。
【００１９】
本開示の第１の側面によれば、所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報が生成され、前記特定情報を用いて、前記ロボットに前記探索範囲を探索させる。
【００２０】
本開示の第２の側面のロボット制御システムは、自律型のロボットと、前記ロボットを制御する制御装置とにより構成されるロボット制御システムであって、前記制御装置は、所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成部と、前記特定情報を、前記ロボットに送信する送信部とを含み、前記ロボットは、前記制御装置からの前記特定情報を受信する受信部と、受信した前記特定情報に基づいて、前記探索範囲を特定する特定部と、前記ロボットに前記探索範囲を探索させように駆動される駆動部とを含むロボット制御システムである。
【００２１】
本開示の第２の側面によれば、前記制御装置により、所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報が生成され、前記特定情報が、前記ロボットに送信される。そして、前記ロボットにより、前記制御装置からの前記特定情報が受信され、受信された前記特定情報に基づいて、前記探索範囲が特定され、前記ロボットに前記探索範囲を探索させように駆動される。
【発明の効果】
【００２２】
本開示によれば、簡易な操作により、自律型ロボットによる探索範囲を指定することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本開示におけるロボット制御システムの構成例を示す図である。
【図２】複数の項目が表示された表示画面の一例を示す図である。
【図３】ロボットが行う処理の概要を説明するための図である。
【図４】物体の認識状態の一例を示す図である。
【図５】指示装置の構成例を示すブロック図である。
【図６】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１の図である。
【図７】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第２の図である。
【図８】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第３の図である。
【図９】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第４の図である。
【図１０】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第５の図である。
【図１１】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第６の図である。
【図１２】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第７の図である。
【図１３】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第８の図である。
【図１４】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第９の図である。
【図１５】物体のスコアの変化を矢印で表示する場合の一例を示す第１の図である。
【図１６】物体のスコアの変化を矢印で表示する場合の一例を示す第２の図である。
【図１７】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１０の図である。
【図１８】指示装置が行う表示処理を説明するためのフローチャートである。
【図１９】ロボットの構成例を示すブロック図である。
【図２０】物体の認識状態の遷移の一例を示す状態遷移図である。
【図２１】物体の認識状態に応じて、ロボット認識情報を生成する生成方法を説明するための図である。
【図２２】ロボットが行うスコア計算処理を説明するためのフローチャートである。
【図２３】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１１の図である。
【図２４】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１２の図である。
【図２５】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１３の図である。
【図２６】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１４の図である。
【図２７】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１５の図である。
【図２８】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１６の図である。
【図２９】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１７の図である。
【図３０】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１８の図である。
【図３１】ユーザによるフィードバック操作を説明するための図である。
【図３２】フィードバック操作に応じて、物体の認識状態が遷移する様子の一例を示す図である。
【図３３】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１９の図である。
【図３４】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第２０の図である。
【図３５】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第２１の図である。
【図３６】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第２２の図である。
【図３７】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第２３の図である。
【図３８】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第２４の図である。
【図３９】指示装置が行うフィードバック処理を説明するためのフローチャートである。
【図４０】ロボットが行うスコア再計算処理を説明するためのフローチャートである。
【図４１】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第２５の図である。
【図４２】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第２６の図である。
【図４３】未検出とされた認識状態を、他の状態に遷移させる場合の一例を示す図である。
【図４４】撮像画像を用いて、探索範囲又は物体を指定する場合の一例を示す図である。
【図４５】室内の空間図を用いて、探索範囲を指定する場合の一例を示す図である。
【図４６】ロボットから指示装置に送信される撮像画像のデータ量を少なくする場合の一例を示す図である。
【図４７】指示装置が行う領域指定処理を説明するためのフローチャートである。
【図４８】ロボットが行う探索処理を説明するためのフローチャートである。
【図４９】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、本開示における実施の形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（ロボットの行動を予測するための情報を、指示装置の表示画面に表示する場合の一例）
２．第１の実施の形態の変形例
３．第２の実施の形態（指示装置を用いて、ユーザによるフィードバックをロボットに与える場合の一例）
４．第２の実施の形態の変形例
５．第３の実施の形態（指示装置を用いて、ロボットの探索範囲を指定する場合の一例）
【００２５】
＜１．第１の実施の形態＞
[ロボット制御システムの構成例]
図１は、第１の実施の形態であるロボット制御システム１の構成例を示している。
【００２６】
このロボット制御システム１は、表示画面２１aを有する指示装置２１、及び自律型ロボット２２から構成される。
【００２７】
指示装置２１は、ユーザの操作に応じて、ロボット２２に所望の行動（例えば、所定の物体をユーザのところまで持ってくるという行動）をとらせるための指示情報を生成し、無線通信等により、ロボット２２に送信する。
【００２８】
すなわち、例えば、指示装置２１は、図２に示されるように、ユーザにより選択可能な複数の項目「お茶」、「炭酸飲料」、「お菓子」、，，，を、表示画面２１aに表示させる。
【００２９】
ユーザは、図２に示されるような表示画面２１aを参照して、複数の項目の中から、ロボット２２に持ってきて欲しい物体の項目を選択（指定）する。なお、表示画面２１aには、項目として、例えば、ロボット２２に持ってきて欲しい物体のカテゴリが表示される。
【００３０】
これに対応して、指示装置２１は、ユーザに選択された項目としてのカテゴリ（例えば、「お茶」等）に属する物体をターゲットとして、ユーザのところまで持ってこさせるための指示情報を生成し、無線通信等により、ロボット２２に送信する。なお、指示情報には、ユーザに選択された項目としてのカテゴリを表すカテゴリ情報が含まれる。
【００３１】
ロボット２２は、指示装置２１からの指示情報に基づいて、ユーザに選択された項目としてのカテゴリに属する物体をターゲットとして探す動作を、自律的に実行する。
【００３２】
なお、ロボット２２に指示を与える方法は、指示装置２１を用いた上述の方法に限定されず、その他、例えば、ロボット２２が、音声認識によりユーザの音声を認識可能である場合には、ユーザが、ターゲット等を音声により指示することができる。
【００３３】
この場合、ロボット２２は、ユーザからの指示を、音声として認識し、その認識結果に基づいて、ユーザに指示されたターゲットを探す動作を、自律的に実行することとなる。また、例えば、ロボット２２が、ユーザのジェスチャやポスチャ等を認識可能である場合には、ユーザが、ジェスチャやポスチャ等により、ターゲット等を指示することができる。
【００３４】
ロボット２２は、周囲の状況や、ユーザからの大まかな指示（例えば、「お茶」持ってきて欲しいという大まかな指示）などに基づいて、自律的に各種の行動を行う２足歩行型のロボットである。
【００３５】
ロボット２２は、外部からの刺激を感知するセンサとして、音を感知する「耳」に相当するマイクロホン、及び光を感知する「目」に相当するカメラ等が、それぞれ所定の位置に設けられている。なお、ロボット２２の詳細は、図１９を参照して後述する。
【００３６】
次に、図３は、ロボット２２が行う処理の概要を示している。
【００３７】
図３には、ロボット２２の周囲を撮像して得られる周囲画像３１、ロボット２２によりターゲットであると認識されている物体を表す物体画像３２、ロボット２２によりターゲットではないと認識されている物体を表す物体画像３３、ロボット２２によりターゲットであるかもしれないと認識されている物体を表す物体画像３４、ロボット２２の撮像により得られた撮像画像の一部分を表す部分画像３５が示されている。
【００３８】
なお、ロボット２２は、例えば、ユーザが居住する部屋３６内を自律的に移動して、ターゲットを探索する。
【００３９】
ロボット２２は、ターゲットの探索中に、内蔵するカメラの撮像により得られた周囲画像３１や、部分画像３５を、適宜、指示装置２１に送信する。なお、周囲画像３１や部分画像３５は、ユーザが、指示装置２１を用いて、ロボット２２の探索範囲を指定する場合に用いられる。このことは、主に、図４３乃至図４７を参照して説明する。
【００４０】
また、ロボット２２は、部屋３６内を移動して、内蔵するカメラにより、物体を撮像して得られる撮像画像に基づいて、その物体が、ターゲットである度合いを表すスコア、つまり、ロボット２２の処理対象とされる度合いを表すスコアを計算する。なお、スコアの計算には、物体がターゲットであるか否かを識別するための識別器（を表す関数）が用いられる。
【００４１】
そして、ロボット２２は、物体のスコアに基づいて、物体の認識状態を決定する。なお、以下では、ロボット２２は、内蔵のカメラにより得られる画像を、スコアの計算に用いたり、指示装置２１に送信するものとして説明する。
【００４２】
しかしながら、スコアの計算に用いる画像や、指示装置２１に送信するための画像は、ロボット２２に内蔵のカメラにより得られる画像に限定されず、例えば、部屋３６の天井等に設置されたカメラにより得られる画像を採用することができる。この場合、部屋３６の天井等に設置されたカメラは、撮像により得られる画像を、ロボット２２に無線通信により送信するものとなる。
【００４３】
次に、図４は、認識状態の一例を示している。
【００４４】
図４Aは、ロボット２２の認識状態が、「ターゲットである」及び「ターゲットではない」の２種類である場合を示している。
【００４５】
図４Bは、ロボット２２の認識状態が、「ターゲットである」、「まだ分からない」、「ターゲットではない」の３種類である場合を示している。
【００４６】
図４Cは、ロボット２２の認識状態が、「ターゲットである」、「ターゲットかもしれない」、「まだ分からない」、及び「ターゲットではない」の４種類である場合を示している。
【００４７】
なお、第１の実施の形態では、ロボット２２は、図４Cに示されるように、４種類の認識状態のいずれかとして認識するものとする。
【００４８】
ロボット２２は、例えば、物体のスコアが閾値th1以上である場合、その物体を、「ターゲットである」ものとして認識し、物体のスコアが閾値th1未満であり、閾値th2（<th1）以上である場合、「ターゲットかもしれない」と認識する。
【００４９】
また、ロボット２２は、例えば、物体のスコアが閾値th2未満であり、閾値th3（<th2）以上である場合、その物体を、ターゲットであるか否か「まだ分からない」ものとして認識し、物体のスコアが閾値th3未満である場合、「ターゲットではない」ものとして認識する。
【００５０】
ここで、閾値th1乃至th3は、予め決められてロボット２２に保持されているものとする。なお、ロボット２２は、物体の認識情報を決定するために、スコアと閾値とを比較するようにしているが、認識情報の決定方法は、これに限定されない。
【００５１】
図３に戻り、ロボット２２は、例えば、物体「ABC お茶」のスコアが閾値th1以上であると判定した場合、指示装置２１の表示画面２１aに、物体「ABC お茶」が、「ターゲットである」ものと認識している旨を表示させる。
【００５２】
すなわち、例えば、指示装置２１の表示画面２１aには、図３に示されるように、物体「ABC お茶」を表す物体画像３２が、例えば、太線の矩形で囲まれた状態で表示される。この太線の矩形は、ロボット２２が、物体「ABC お茶」を「ターゲットである」と認識していることを表すものである。
【００５３】
また、例えば、ロボット２２は、例えば、図３に示されるように、物体「犬型のロボット」のスコアが閾値th3未満であると判定した場合、指示装置２１の表示画面２１aに、物体「犬型のロボット」が、「ターゲットではない」ものと認識している旨を表示させる。
【００５４】
すなわち、例えば、指示装置２１の表示画面２１aには、図３に示されるように、物体「犬型のロボット」を表す物体画像３３が、例えば、斜線が付加された状態で表示される。この斜線は、ロボット２２が、物体「犬型のロボット」を「ターゲットでなない」ものと認識していることを表すものである。
【００５５】
さらに、例えば、ロボット２２は、例えば、図３に示されるように、物体「オレンジジュース」のスコアが閾値th1未満であり、閾値th2以上であると判定した場合、指示装置２１の表示画面２１aに、物体「オレンジジュース」が、「ターゲットかもしれない」と認識している旨を表示させる。
【００５６】
すなわち、例えば、指示装置２１の表示画面２１aには、図３に示されるように、オレンジジュースと記載されたペットボトルを表す物体画像３４が、例えば、細線の矩形で囲まれた状態で表示される。この細線の矩形は、ロボット２２が、物体「オレンジジュース」を、「ターゲットかもしれない」と認識していることを表すものである。
【００５７】
また、例えば、ロボット２２は、所定の物体のスコアが閾値th2未満であり、閾値th3以上であると判定した場合、指示装置２１の表示画面２１aに、所定の物体が、ターゲットであるか否か「まだ分からない」ものとして認識している旨を表示させる。
【００５８】
すなわち、例えば、指示装置２１の表示画面２１aには、所定の物体を表す物体画像が、例えば、そのままの状態（矩形で囲まれたり、斜線が付加されない状態）で表示される。そのままの状態で物体画像が表示される場合、ロボット２２が、所定の物体を、ターゲットであるか否か「まだ分からない」ものとして認識していることを表すものである。
【００５９】
このように、指示装置２１の表示画面２１aには、ロボット２２が認識している情報を表示させるようにしているので、ユーザは、ロボット２２の行動を容易に予測できるようになる。
【００６０】
なお、表示方法は、これに限定されず、ユーザが、ロボット２２の行動を、直感的に理解できるような表示方法であれば、どのような表示方法であってもよい。
【００６１】
また、ユーザは、表示画面２１aを参照することにより、ターゲットとして好ましくない物体がターゲットとして認識されていると判断した場合、その物体はターゲットでない旨のフィードバック操作を、指示装置２１に対して行うことができる。
【００６２】
この場合、ロボット２２は、ユーザのフィードバック操作に応じて、物体のスコアを再計算し、再計算して得られたスコアに基づいて、自律的に行動する。なお、ユーザのフィードバック操作については、主に、図３１乃至図４２を参照して後述する。
【００６３】
[指示装置２１の構成例]
次に、図５は、指示装置２１の構成例を示している。
【００６４】
この指示装置２１は、操作部４１、制御部４２、表示画面２１aを有する表示部４３、通信部４４、及び記憶部４５から構成される。
【００６５】
操作部４１は、操作キーや操作ボタン等により構成され、例えば、ユーザが、ロボット２２に指示を与える場合等に、ユーザにより操作される。操作部４１は、ユーザに操作されたことに対応して、ユーザの操作に対応する操作信号を制御部４２に供給する。
【００６６】
制御部４２は、通信部４４からのロボット認識情報に基づいて、物体画像を含むロボット認識画像を生成し、表示部４３に供給して表示画面２１aに表示させる。なお、ロボット認識情報には、表示画面２１aの表示に必要な情報として、例えば、物体のスコア等が含まれる。また、表示画面２１aの表示例は、図６乃至図１７を参照して後述する。
【００６７】
また、制御部４２は、操作部４１からの操作信号に応じて、指示情報や、フィードバック情報、指定範囲情報を生成し、通信部４４に供給する。
【００６８】
ここで、フィードバック情報とは、指示装置２１において、ユーザのフィードバックの内容を表す情報をいう。
【００６９】
ユーザは、操作部４１を用いて、例えば、ロボット２２が「ターゲットである」と認識している物体が、ターゲットではない旨のフィードバック操作を行うことができる。このことは、図３１乃至図４２を参照して詳述する。
【００７０】
また、指定範囲情報とは、例えば、指示装置２１の表示画面２１aに表示された周囲画像３１や部分画像３５上の全領域のうち、ユーザの領域指定操作により指定された領域の位置を表す。
【００７１】
ユーザは、操作部４１を用いて、例えば、周囲画像３１や部分画像３５上の全領域のうち、ロボット２２がターゲットを探索する探索範囲を指定する領域指定操作を行うことができる。このことは、図４３乃至図４７を参照して詳述する。
【００７２】
制御部４２は、通信部４４からのロボット認識情報を、記憶部４５に供給して記憶させる。
【００７３】
表示部４３は、制御部４２からの制御にしたがって、表示画面２１aに画像を表示する。
【００７４】
なお、指示装置２１では、表示部４３を含めるように構成しているが、その他、例えば、表示部４３を指示装置２１に含めないように構成することができる。この場合、制御部４２と、外部に設けられた表示部４３とは、ケーブル等で接続されるものとなる。
【００７５】
通信部４４は、ロボット２２から送信されるロボット認識情報を受信し、制御部４２に供給する。また、通信部４４は、制御部４２からの指示情報や、フィードバック情報、指定範囲情報を、無線通信等を用いてロボット２２に送信する。
【００７６】
記憶部４５は、例えば、制御部４２により実行される制御用プログラム等を予め記憶している。また、例えば、記憶部４５は、制御部４２からのロボット認識情報を記憶する。
【００７７】
[表示画面２１aの表示例]
次に、図６乃至図１４は、指示装置２１が、ロボット２２からのロボット認識情報に基づいて、ロボット認識画像を表示した場合の表示画面２１aの一例を示している。
【００７８】
ロボット２２は、指示装置２１からの指示情報に基づいて、物体「お茶」を持ってくるように指示された場合、物体「お茶」を探しに出かける。
【００７９】
ロボット２２は、室内を探索しているが、まだ物体を検知していないため、指示装置２１には、ロボット２２からロボット認識情報が何も送信されない。
【００８０】
したがって、制御部４２は、図６に示されるように、例えば、何も写っていないロボット認識画像を、表示画面２１aに表示させる。
【００８１】
ロボット２２は、部屋３６の室内を撮像して得られる撮像画像から、物体「鳥の置物」を検知した場合、その撮像画像から、物体「鳥の置物」を表す物体画像５１を抽出し、ロボット認識情報に含めて、通信部４４に送信する。
【００８２】
これに対して、通信部４４は、ロボット２２からのロボット認識情報を、制御部４２に供給する。制御部４２は、通信部４４からのロボット認識情報に含まれる物体画像５１を、表示部４３に供給して表示画面２１aに表示させる。
【００８３】
これにより、表示画面２１aには、図７に示されるように、物体画像５１が、図中左側に表示される。このため、ユーザは、ロボット２２が、鳥の置物を物体として検知したことを容易に予測することができる。
【００８４】
ロボット２２は、物体「鳥の置物」がターゲットであるか否かを識別するために、物体「鳥の置物」に近づくように行動する。そして、ロボット２２は、物体「鳥の置物」を近くで撮像して得られた撮像画像から、「鳥の置物」を表す物体画像５１を抽出し、ロボット認識情報に含めて、通信部４４に送信する。
【００８５】
これに対して、通信部４４は、ロボット２２からのロボット認識情報を、制御部４２に供給する。制御部４２は、通信部４４からのロボット認識情報に含まれる物体画像５１を、表示部４３に供給して表示画面２１aに表示させる。
【００８６】
これにより、表示画面２１aには、図８に示されるように、図７の場合よりも大きな物体画像５１が、図中左側に表示される。なお、ロボット２２は、まだ物体「鳥の置物」のスコアを計算してないため、物体「鳥の置物」がターゲットであるか否か「まだ分からない」ものとして認識している。したがって、図８において、物体画像５１は、そのままの状態（矩形で囲まれたり、斜線が付加されない状態）で表示される。
【００８７】
ロボット２２は、物体「鳥の置物」を近くで撮像して得られる撮像画像から、物体「鳥の置物」のスコアを計算する。そして、ロボット２２は、計算したスコアに基づいて、物体「鳥の置物」が「ターゲットではない」と認識した場合、「ターゲットではない」旨を表す認識状態（を表す情報）を含むロボット認識情報を、通信部４４に送信する。
【００８８】
これに対して、通信部４４は、ロボット２２からのロボット認識情報を、制御部４２に供給する。制御部４２は、通信部４４からのロボット認識情報に含まれる認識状態に基づいて、斜線が付加された物体画像５１を生成し、表示部４３に供給して表示画面２１aに表示させる。
【００８９】
これにより、表示画面２１aには、図９に示されるように、斜線が付加された物体画像５１が表示される。
【００９０】
なお、物体画像５１に付加された斜線は、物体画像５１上の物体「鳥の置物」が、「ターゲットではない」ものとして、ロボット２２に認識されていることを表す。
【００９１】
このため、ユーザは、ロボット２２が、物体画像５１上の「鳥の置物」を「ターゲットではない」と認識していることを容易に予測することができる。
【００９２】
ロボット２２は、室内を撮像して得られる撮像画像から、物体「十八茶」を検知した場合、その撮像画像から、物体「十八茶」を表す物体画像５２を抽出する。
【００９３】
ロボット２２は、抽出した物体画像５２を含むロボット認識情報を、通信部４４に送信する。
【００９４】
これに対して、通信部４４は、ロボット２２からのロボット認識情報を、制御部４２に供給する。制御部４２は、通信部４４からのロボット認識情報に含まれる物体画像５２を、表示部４３に供給して表示画面２１aに表示させる。
【００９５】
これにより、表示画面２１aには、図１０に示されるように、図中左側に、ロボット２２により検知された物体「十八茶」の物体画像５２が表示される。このため、ユーザは、ロボット２２が、物体「十八茶」を検知したことを、容易に予測することができる。
【００９６】
また、ロボット２２は、物体「十八茶」の近くで撮像して得られる撮像画像から、物体「十八茶」のスコアを計算する。そして、ロボット２２は、計算したスコアに基づいて、物体「十八茶」が「ターゲットである」ものと認識した場合、物体「十八茶」が「ターゲットである」旨を表す認識状態を含むロボット認識情報を、通信部４４に送信する。
【００９７】
これに対して、通信部４４は、ロボット２２からのロボット認識情報を、制御部４２に供給する。制御部４２は、通信部４４からのロボット認識情報に基づいて、矩形で囲まれるとともに、三角印で指し示された物体画像５２、及び斜線が付加された物体画像５１を生成し、表示部４３に供給して表示画面２１aに表示させる。
【００９８】
これにより、表示画面２１aには、図１１に示されるように、太線の矩形で囲まれ、三角印（図１１に示される▲）で指し示された物体画像５２が図中左側に表示され、斜線の付加された物体画像５１が、物体画像５２よりも右側に表示される。
【００９９】
なお、物体画像５２を囲む太線の矩形は、物体画像５２の物体「十八茶」が、「ターゲットである」ものとして、ロボット２２に認識されていることを表す。また、物体画像５２を指し示す三角印は、ロボット２２が、物体画像５２の物体「十八茶」を持って帰ろうと思っていることを表す。
【０１００】
さらに、いまの場合、制御部４２は、物体のスコアが高い順序で、表示画面２１aの左側から右方向に、その物体を表す物体画像を表示するようにしている。
【０１０１】
また、物体画像の表示位置は、物体のスコアに応じた位置とされている。したがって、例えば、第１の物体画像と、第２の物体画像との表示間隔は、第１の物体画像と第２の物体画像それぞれの物体のスコアの差を表すものとなる。
【０１０２】
このため、ユーザは、物体画像が表示される、表示画面２１a上の位置に応じて、物体画像が表す物体のスコアを直感的に把握することができる。
【０１０３】
図１１に示されるような表示画面２１aからは、ロボット２２が、物体「十八茶」を持ってくる動作を実行することを容易に予測することができる。
【０１０４】
また、ロボット２２は、自律的に移動し、内蔵するカメラの撮像により得られる撮像画像から、新たな物体を検知した場合、上述した場合と同様にして、ロボット認識情報を生成し、通信部４４に送信する。
【０１０５】
これに対して、制御部４２は、通信部４４からのロボット認識情報に基づいて、表示部４３に供給して表示画面２１aに表示させる。
【０１０６】
このように、制御部４２は、ロボット２２から、通信部４４を介して送信されるロボット認識情報に基づいて、表示画面２１aの表示を更新することとなる。
【０１０７】
すなわち、例えば、表示画面２１aは、その後、ロボット２２の行動に応じて、図１２に示されるように、物体「ABC お茶」を表す物体画像５３が新たに表示されたものに更新される。また、表示画面２１aは、ロボット２２の行動に応じて、図１３に示されるように、物体「C炭酸ジュース」を表す物体画像５４、及び物体「USBメモリ」を表す物体画像５５が新たに表示されたものに更新される。さらに、例えば、表示画面２１aは、ロボット２２の行動に応じて、図１４に示されるように、スコアに応じて、各物体画像の位置が変更されたものに更新される。
【０１０８】
なお、図１４の表示画面２１aでは、図１３に示した表示画面２１aで表示されている物体画像５１が、表示されないものとなっている。
【０１０９】
図１４においては、表示画面２１aの左側に表示されるほどに、物体のスコアが高いものとなっており、物体画像を表示する位置によって、物体のスコアを表すようにしている。
【０１１０】
このため、物体画像５２乃至５５を、対応する各物体のスコアに応じた位置で表示させる場合、表示画面２１aや物体画像の大きさに起因して、物体画像５１を表示できない。
【０１１１】
なお、図１４において、物体画像５１の物体「鳥の置物」のスコアは、物体画像５５の物体「USBメモリ」のスコアよりも十分に小さいものとする。
【０１１２】
また、図１４において、物体画像５３の物体「ABC お茶」のスコアは、物体画像５２の物体「十八茶」のスコアよりも小さいものとなっている。
【０１１３】
しかしながら、三角印は、物体画像５３の物体「ABC お茶」を指し示しており、ロボット２２は、物体「ABC お茶」を持って帰ろうとしている。これは、ロボット２２が、物体のスコアのみならず、物体が存在する位置や、ユーザの好みを加味して、持って帰ろうとする物体を決定することによる。
【０１１４】
ところで、第１の実施の形態では、図６乃至図１４に示したように、物体のスコアが高い順序で、表示画面２１aの左側から右方向に並べて表示させるようにした。しかしながら、右方向の他、任意の方向（例えば、右側から左方向）に表示させることができる。
【０１１５】
また、例えば、第１の実施の形態では、図６乃至図１４に示したように、物体のスコアが高い順序で任意の方向に並べて表示するとともに、物体のスコアに応じた位置に、物体画像を表示させるようにしている。
【０１１６】
しかしながら、表示画面２１aには、スコアの順序のみを用いて、物体画像を表示するようにしてもよい。その他、例えば、表示画面２１aには、スコアの順序を用いずに、物体のスコアに応じた位置で、物体画像を表示させることができる。
【０１１７】
また、例えば、物体のスコアに応じて、物体画像の順序、位置、大きさ、明るさ（輝度等）、鮮明度、又は色の少なくとも１つを変更して表示するようにしてもよい。
【０１１８】
さらに、例えば、物体のスコアを、物体画像に対応付けて表示させるようにしてもよい。なお、スコアは、例えば、棒グラフや、円グラフで表示することができる。スコアの表示として、円グラフを用いる場合、現在、最もスコアが高い物体のスコアに対するパーセンテージを、円グラフとして表示するようにしてもよい。
【０１１９】
また、例えば、表示画面２１aにおいて、物体のスコアの変化を、矢印等で表示するようにしてもよい。
【０１２０】
具体的には、例えば、図１５に示されるように、物体画像５４に対応する物体「C炭酸ジュース」のスコアが増加するように変化している場合、表示画面２１aにおいて、物体画像５４に対応付けて、物体「C炭酸ジュース」のスコアの増加を示す白色の矢印を表示する。
【０１２１】
また、例えば、図１５に示されるように、物体画像５２に対応する物体「十八茶」のスコアが減少するように変化している場合、表示画面２１aにおいて、物体画像５２に対応付けて、物体「十八茶」のスコアの減少を示す黒色の矢印を表示する。
【０１２２】
さらに、例えば、図１５に示されるように、物体画像５５に対応する物体「USBメモリ」のスコアが減少するように変化している場合、表示画面２１aにおいて、物体画像５５に対応付けて、物体「USBメモリ」のスコアの減少を示す黒色の矢印を表示する。
【０１２３】
表示画面２１aにおいて、図１５に示されるような内容が表示される場合、ユーザは、ロボット２２が、物体「十八茶」ではなく、物体「C炭酸ジュース」を間違えて持ってくることを予測できる。この場合、ロボット２２が、物体「C炭酸ジュース」を間違えて持ってくる前に、ユーザは、例えば、物体「十八茶」を持ってくるように明確に指示を与えるようにすることができる。
【０１２４】
また、表示画面２１aにおいて、図１６に示されるような内容が表示される場合、ロボット２２が、ユーザの所望する物体「十八茶」を持ってくることを予測できる。この場合、ユーザは、ロボット２２に指示を与えることなく、ロボット２２が物体「十八茶」を持ってくるまで、仕事等に集中することができる。なお、図１６は、図１５と同様に構成されているため、図１６の説明は省略する。
【０１２５】
さらに、例えば、表示画面２１aにおいて、物体のスコアの変化を、矢印等に代えて、棒グラフや、折れ線グラフで表示させるようにしてもよい。その他、例えば、物体のスコアの変化とともに、又は物体のスコアの変化に代えて、スコアの履歴も表示してもよい。
【０１２６】
スコアの変化や履歴を表示する場合、ユーザは、表示画面２１aを参照することにより、物体のスコアの変化や履歴を把握できるようになるので、スコアの順位の変動を容易に予測でき、ひいては、ロボット２２の行動を先立って予測することができるようになる。
【０１２７】
なお、これらの表示は、制御部４２が、記憶部４５に記憶させたロボット認識情報を参照することにより実現される。
【０１２８】
また、指示装置２１において、スコアの順位の変動が生じたときには、音を鳴らしたり、振動したり、ランプを点滅させるようにして、その旨をユーザに通知することができる。
【０１２９】
ところで、第１の実施の形態では、図６乃至図１４に示したように、ロボット２２により、「ターゲットである」ものとして認識された物体の物体画像を、太線の矩形で囲み、「ターゲットかもしれない」と認識された物体の物体画像をそのままの状態で表示する。
【０１３０】
また、例えば、ロボット２２により、ターゲットであるか否か「まだ分からない」と認識された物体の物体画像を、細線の矩形で囲み、「ターゲットではない」と認識された物体の物体画像を、斜線を付加した状態で表示するようにした。
【０１３１】
しかしながら、それぞれの認識状態を表す表示方法は、矩形や斜線等に限定されない。
【０１３２】
また、例えば、認識状態を表す表示方法と、物体のスコアを表す表示方法とを併用して用いる他、認識状態を表す表示方法と、物体のスコアを表す表示方法との一方のみを用いて、表示画面２１aに表示するようにしてもよい。
【０１３３】
次に、図１７は、表示画面２１a上の物体画像に対して、ユーザの選択操作が行われたことに対応して、選択された物体画像の詳細情報を表示する場合の一例を示している。
【０１３４】
図１７に示される表示画面２１aには、主に、物体「十八茶」（ペットボトル）の底部分を表す物体画像５２a、及び物体「十八茶」の詳細情報として、物体「十八茶」をそれぞれ他の方向から撮像して得られた物体画像５２b乃至５２eが表示されている。
【０１３５】
ロボット２２は、例えば、表示画面２１aに表示される物体画像として、物体を撮像して得られる最新の撮像画像から、物体画像を抽出し、ロボット認識情報に含めて、指示装置２１に送信するようにしている。
【０１３６】
なお、ロボット２２は、ロボット認識情報に含める物体画像としては、最新の撮像画像から抽出した物体画像の他、物体が写っている複数の撮像画像のうち、最も解像度の高い撮像画像から抽出した物体画像を採用することができる。
【０１３７】
また、ロボット認識情報に含める物体画像としては、複数の物体画像のうち、ロボット２２により、物体の全体をよく表している抽出画像を採用してもよいし、典型的な抽出画像を採用してもよい。なお、典型的な抽出画像としては、例えば、物体を斜め上４５度から撮像した場合の抽出画像が考えられる。
【０１３８】
例えば、ロボット２２が、過去の撮像により、物体画像５２b乃至５２eを一部分に含む撮像画像を取得しているものの、最新の撮像により、物体画像５２aを一部分に含む撮像画像を取得している場合、物体「十八茶」の底部分が写る物体画像５２aを含むロボット認識画像が、指示装置２１に送信される。
【０１３９】
そして、指示装置２１では、図１７に示されるように、物体「十八茶」の底部分が写る物体画像５２aが、表示画面２１aに表示されることとなる。この場合、ユーザは、表示画面２１aに表示された物体画像５２aを見て、物体画像５２aが表す物体が「十八茶」であると理解できないことが生じ得る。
【０１４０】
そこで、ロボット２２は、物体画像５２aの他、物体画像５２b乃至５２eも含むロボット認識情報を、指示装置２１の通信部４４に送信するようにしている。この場合、通信部４４はロボット２２からのロボット認識情報を、制御部４２に供給する。
【０１４１】
制御部４２は、通信部４４からのロボット認識情報に基づいて、表示部４３の表示画面２１aに、図１７に示されるように、図中左側から、物体「スティックのり」の物体画像、物体「十八茶」の物体画像５２a、及び物体「財布」の物体画像を表示させる。
【０１４２】
また、制御部４２は、通信部４４からのロボット認識情報を、記憶部４５に供給して保持させる。
【０１４３】
指示装置２１において、ユーザが、操作部４１を用いて、表示画面２１a上の物体画像５２aを選択する選択操作を行った場合、操作部４１は、ユーザの選択操作に対応する操作信号を、制御部４２に供給する。
【０１４４】
そして、制御部４２は、操作部４１からの操作信号に応じて、記憶部４５に保持済みのロボット認識情報に含まれる物体画像５２b乃至５２eを読み出し、表示部４３に供給して表示画面２１aを表示させる。
【０１４５】
これにより、表示画面２１aには、図１７に示されるように、物体「十八茶」の詳細情報として、物体画像５２b乃至５２eが、表示画面２１aに表示される。
【０１４６】
このため、ユーザは、物体画像５２aから、物体画像５２a上の物体を把握できない場合でも、ユーザの選択操作に応じて表示される物体画像５２b乃至５２eにより、物体画像５２aに写る物体が「十八茶」であることを容易に把握できる。
【０１４７】
なお、制御部４２は、その他、例えば、操作部４１からの操作信号に応じて、ユーザの選択操作が行われた場合、物体画像５２aを拡大したものを、詳細情報として表示させるようにすることができる。この場合、例えば、制御部４２は、記憶部４５に保持済みのロボット認識情報に含まれる物体画像５２aを読み出し、所定の拡大率で拡大させて、表示画面２１aに表示させる。
【０１４８】
その他、例えば、制御部４２は、物体画像５２aの詳細情報として、物体画像５２a上の物体「十八茶」が検知された３次元位置を、表示画面２１aに表示させるようにしてもよい。この場合、記憶部４５には、物体画像５２aとともに、物体画像５２a上の物体「十八茶」の３次元位置も含むロボット認識情報が記憶されているものとする。
【０１４９】
ところで、指示装置２１が、例えば、操作部４１としてマウスが接続されたパーソナルコンピュータである場合、ユーザは、マウスを用いて、表示画面２１a上の物体画像５２a上に、カーソル等を移動させるようにして、物体画像５２aを選択する選択操作（マウスオーバー）を行うこととなる。
【０１５０】
なお、表示画面２１aには、複数の物体画像のうち、表示画面２１aの画面サイズに応じた所定枚数の物体画像のみが表示される。このため、表示画面２１aには、スコアが十分に高い物体画像や、スコアが上位n番までの物体画像、「ターゲットである」又は「ターゲットかもしれない」の少なくとも一方とされた物体画像のみを表示させるようにしている。
【０１５１】
したがって、表示画面２１aには表示されない物体画像が存在するため、ユーザの操作に応じて、そのような物体画像を、表示画面２１aに表示できるように構成することが望ましい。
【０１５２】
すなわち、例えば、ユーザは、マウスに設けられたスクロールボタンを回転させるスクロール操作を行うようにして、表示画面２１aに表示される各物体画像を縮小させ、表示画面２１aにより多くの物体画像を表示させることができる。
【０１５３】
この場合、制御部４２は、操作部４１から、スクロール操作に対応する操作信号が供給されたことに対応して、記憶部４５に保持済みのロボット認識情報を読み出す。そして、制御部４２は、読み出したロボット認識情報に基づいて、スクロール操作に応じて縮小された各物体画像を生成し、表示部４３に供給して表示画面２１aに表示させる。
【０１５４】
また、例えば、ユーザは、スクロール操作により、表示画面２１aに表示される各物体画像を拡大させ、表示画面２１aにより少ない物体画像を表示させることができる。
【０１５５】
さらに、表示画面２１aは、例えば、その中央に、スコアx1の物体画像を表示させ、スコアx1よりも大きなスコアの物体画像を、左側に表示させ、スコアx1よりも小さなスコアの物体画像を、右側に表示させる。
【０１５６】
表示画面２１aでは、ユーザ操作に応じて、スコアx1よりも小さなスコアx2(<x1)の物体画像を、表示画面２１aの中央に表示させ、スコアx2よりも大きなスコアの物体画像を、左側に表示させ、スコアx2よりも小さなスコアの物体画像を、右側に表示させることができる。
【０１５７】
すなわち、例えば、ユーザが、カーソル等を、スコアx2の物体画像が表示された位置に移動させ、その位置を、表示画面２１aの中央の位置とするように操作部４１を操作した場合、制御部４２において、表示画面２１aの中央の位置に、スコアx2の物体画像を表示させるようなロボット認識画像が生成され、表示部４３の表示画面２１aに表示されることとなる。
【０１５８】
なお、例えば、ユーザが、スコアx1の物体画像を表示させる位置を、表示画面２１aの中央とするように、操作部４１を操作した場合、表示画面２１aの表示は、その中央に、スコアx1の物体画像が表示される元の表示とされる。
【０１５９】
また、例えば、ユーザが、操作部４１を用いて、表示画面２１a上の全領域のうち、所定の領域を拡大して表示させるための拡大操作を行った場合、表示画面２１aにおける所定の領域が拡大して表示される。
【０１６０】
[指示装置２１がロボット認識画像を表示する場合の動作説明]
次に、図１８のフローチャートを参照して、指示装置２１が行う表示処理を説明する。
【０１６１】
この表示処理は、例えば、ロボット２２からロボット認識情報が送信されたときに開始される。
【０１６２】
ステップＳ２１において、通信部４４は、制御部４２からの制御にしたがって、ロボット２２からのロボット認識情報を受信し、制御部４２に供給する。
【０１６３】
ステップＳ２２において、制御部４２は、通信部４４からのロボット認識情報に基づいて、ロボット認識画像を生成し、表示部４３に供給して表示画面２１aに表示させる。
【０１６４】
また、制御部４２は、通信部４４からのロボット認識情報を、記憶部４５に供給して記憶させる。
【０１６５】
ステップＳ２３において、制御部４２は、操作部４１から、ユーザによる選択操作に対応する操作信号が供給されたか否かに応じて、ユーザによる選択操作が行われたか否かを判定する。
【０１６６】
そして、ステップＳ２３では、制御部４２は、ユーザによる選択操作が行われていないと判定した場合、処理をステップＳ２１に戻し、それ以降同様の処理を繰り返す。
【０１６７】
また、ステップＳ２３において、制御部４２は、操作部４１から、ユーザによる選択操作に対応する操作信号が供給されたか否かに応じて、ユーザによる選択操作が行われたと判定した場合、処理をステップＳ２４に進める。いまの場合、例えば、図１７に示される撮像画像５２aの詳細情報を表示させるための選択操作が行われたものとする。
【０１６８】
この場合、ステップＳ２４において、制御部４２は、記憶部４５に記憶されているロボット認識情報を読み出し、読み出したロボット認識情報に含まれる物体画像５２b乃至５２eを、表示部４３に供給して表示画面２１aに表示させる。その後、処理はステップＳ２１に戻され、それ以降、同様の処理が行われる。なお、この表示処理は、例えば、ロボット２２からロボット認識情報が送信されなくなったときに終了される。
【０１６９】
以上説明したように、表示処理によれば、ロボット２２からのロボット認識情報に基づいて、図６乃至図１７に示されるような表示画面２１aを表示させるようにしたので、ロボット２２の行動を容易に予測することが可能となる。
【０１７０】
また、表示処理によれば、ステップＳ２３において、例えば、図１７の物体画像５２aを選択する選択操作が行われたことに対応して、ステップＳ２４において、物体画像５２aに写る物体を、他の方向から見た場合の物体画像５２b乃至５２eを表示させるようにした。
【０１７１】
このため、ユーザは、表示画面２１aに表示された物体画像の物体を、より正確に把握することができる。
【０１７２】
[ロボット２２の構成例]
次に、図１９は、ロボット２２の構成例を示している。
【０１７３】
このロボット２２は、通信部６１、カメラ６２、距離センサ６３、マイクロホン６４、スピーカ６５、制御部６６、駆動部６７、及び記憶部６８から構成される。
【０１７４】
通信部６１は、指示装置２１からの指示情報や、フィードバック情報、指定範囲情報等を受信し、制御部６６に供給する。
【０１７５】
通信部６１は、制御部６６からのロボット認識情報を、指示装置２１に送信する。
【０１７６】
カメラ６２は、光を感知する「目」に相当するものであり、例えば、CCD（Charge Coupled Device）イメージセンサ等により構成される。カメラ６２は、ロボット２２の周囲を撮像し、その撮像により得られる撮像画像を、制御部６６に供給する。
【０１７７】
距離センサ６３は、ロボット２２から物体までの距離を測るセンサであり、物体までの距離を測って制御部６６に供給する。
【０１７８】
マイクロホン６４は、音を感知する「耳」に相当するものであり、音声を集音し、その集音により得られる音声信号を、制御部６６に供給する。
【０１７９】
スピーカ６５は、ロボット２２の「口」に相当するものであり、制御部６６からの制御にしたがって、所定の音声を出力する。
【０１８０】
制御部６６は、通信部６１乃至スピーカ６５、及び駆動部６７を制御する。すなわち、例えば、制御部６６は、カメラ６２からの撮像画像、距離センサ６３からの距離、マイクロホン６４からの音声信号などに基づいて、周囲の状況等を把握し、把握した周囲の状況に応じて、駆動部６７を制御する。
【０１８１】
また、制御部６６は、通信部６１からの指示情報に基づいて、駆動部６７を制御して、ユーザにより指示された行動を自律的に行う。すなわち、例えば、制御部６６は、駆動部６７を制御して、ロボット２２に、指示情報に含まれるカテゴリ情報が表すカテゴリに属する物体を、ターゲットとして自律的に探索させる。
【０１８２】
さらに、制御部６６は、カメラ６２からの撮像画像に基づいて、撮像画像上の物体を検知し、検知した物体を表す物体画像を抽出する。また、制御部６６は、カメラ６２からの撮像画像に基づいて、検知した物体のスコアを計算する。
【０１８３】
すなわち、例えば、制御部６６は、通信部６１からの指示情報に基づいて、ターゲットとされる物体の識別器を、記憶部６８から読み出す。また、制御部６６は、カメラ６２からの撮像画像から、検知した物体の特徴を表す特徴量を抽出する。
【０１８４】
そして、制御部６６は、抽出した特徴量に基づいて、読み出した識別器を用いて、検知した物体のスコアを計算する。すなわち、例えば、制御部６６は、識別器から得られる識別結果（スコア）を、そのまま、検知した物体のスコアとすることもできるし、時系列的に、識別器から得られる識別結果を統合的に判断して、最終的なスコアを計算することもできる。
【０１８５】
制御部６６は、計算した物体のスコアに基づいて、その物体の認識状態を決定する。なお、認識状態の決定については、図２０を参照して後述する。
【０１８６】
また、制御部６６は、計算した物体のスコアや、決定した物体の認識状態に基づいて、表示画面２１aに表示させる物体画像を決定する。なお、表示画面２１aに表示させる物体画像の決定方法は、図２１を参照して後述する。
【０１８７】
制御部６６は、例えば、物体の認識状態に応じて、表示画面２１aに表示することに決定した物体画像を変更（例えば、矩形で囲んだり、斜線を付加）し、変更後の物体画像、物体のスコア、表示対象情報等を含むロボット認識情報を生成し、通信部６１に供給する。
【０１８８】
また、制御部６６は、距離センサ６３を制御して、検知した物体までの距離を計測させる。これにより、距離センサ６３は、制御部６６が検知した物体までの距離を、制御部６６に供給する。
【０１８９】
制御部６６は、カメラ６２からの撮像画像や、カメラ６２の姿勢（位置及び向き）等に基づいて、カメラ６２（ロボット２２）の３次元位置を検出する。なお、ロボット２２の３次元位置の検出方法の詳細は、例えば、特開２００８−３０４２６８号公報等に記載されている。
【０１９０】
なお、制御部６６は、例えば、GPS(global positioning system)やWi-Fiを用いた測位技術を用いて、ロボット２２の３次元位置を検出するようにしてもよい。
【０１９１】
制御部６６は、検出した３次元位置と、距離センサ６３から供給される距離とに基づいて、検知した物体の３次元位置を算出し、その物体が写った撮像画像に対応付けて、記憶部６８に供給して記憶させる。
【０１９２】
また、制御部６６は、記憶部６８に保持された撮像画像（例えば、図３の周囲画像３１や部分画像３５）等を読み出し、読み出した撮像画像も含むロボット認識画像を生成し、通信部６１に供給する。
【０１９３】
制御部６６は、通信部６１からの指定範囲情報と、記憶部６８に保持されている撮像画像とに基づいて、ユーザの指定操作により指定された領域を表す指定領域を検出する。
【０１９４】
また、制御部６６は、検出した指定領域上の物体に対応付けられている３次元位置を、記憶部６８から読み出し、読み出した３次元位置に基づいて、指定領域に対応する探索範囲を算出する。
【０１９５】
そして、制御部６６は、駆動部６７を制御して、ロボット２２の手や足に相当する部位を駆動させ、算出した探索範囲内でターゲット（カテゴリ情報が表すカテゴリに属する物体）を探索する動作を実行させる。
【０１９６】
駆動部６７は、制御部６６からの制御にしたがって、ロボット２２の「手」や「足」に相当する部分を駆動させる。これにより、ロボット２２は、自律的に行動する。
【０１９７】
記憶部６８は、例えば、制御部６６により実行される制御用プログラムを予め保持する他、制御部６６から書込みが指示されたデータ等を記憶（保持）する。
【０１９８】
また、記憶部６８は、複数の項目それぞれの物体毎に、その物体を識別するための識別器を記憶している。この識別器は、物体の特徴量を入力として、物体のスコアを出力する関数である。なお、この識別器は、予め行なわれた学習により生成されて記憶されているものとする。
【０１９９】
さらに、記憶部６８は、制御部６６からの撮像画像（撮像画像上の物体の３次元位置が対応付けられている撮像画像であって、例えば、周囲画像３１や部分画像３５等）を記憶する。
【０２００】
次に、図２０は、物体の認識状態の状態遷移図の一例を示している。
【０２０１】
図２０には、制御部６６が認識する認識状態として、「未検出（検知）」、「まだ分からない」、「ターゲットかもしれない」、「ターゲットである」、及び「ターゲットではない」が示されている。
【０２０２】
制御部６６は、計算した物体のスコアに応じて、その物体を、「まだ分からない」、「ターゲットかもしれない」、「ターゲットである」、又は「ターゲットではない」のいずれの状態として認識する。
【０２０３】
すなわち、例えば、制御部６６は、物体のスコアが閾値th1以上である場合、その物体を、「ターゲットである」ものとして認識し、物体のスコアが閾値th1未満であり、閾値th2（<th1）以上である場合、「ターゲットかもしれない」と認識する。
【０２０４】
また、例えば、制御部６６は、物体のスコアが閾値th2未満であり、閾値th3（<th2）以上である場合、その物体を、ターゲットであるか否か「まだ分からない」ものとして認識し、物体のスコアが閾値th3未満である場合、「ターゲットではない」ものとして認識する。
【０２０５】
なお、制御部６６は、ユーザによるフィードバック操作が行われる場合を除き、物体を「ターゲットである」ものとして認識する際に、必ず、「ターゲットかもしれない」と認識した状態を経由するようにしている。
【０２０６】
したがって、表示画面２１aにおいて、ターゲットであるか否か「まだ分からない」ものとして認識されている物体（細線の矩形で囲まれた物体画像に対応）が、急に「ターゲットである」ものとして認識された物体（太線の矩形で囲まれた物体画像に対応）とされることを防止できる。
【０２０７】
このため、ユーザは、表示画面２１aにおいて、「ターゲットかもしれない」ものとして認識された物体（そのままの状態で表示される物体画像に対応）にのみ、ターゲットに相応しくないものが存在するか否かに注意を払えばよいものとなる。
【０２０８】
このように、物体を「ターゲットである」ものとして認識する際に、必ず、「ターゲットかもしれない」と認識した状態を経由するようにしているのは、表示画面２１aにおいて、ターゲットであるか否か「まだ分からない」ものとして認識されている物体が、急に「ターゲットである」ものとして認識された物体とされる場合、ユーザは、表示画面２１aにおいて、すべての物体に注意を払わなければならず、非常に面倒であることによる。
【０２０９】
次に、図２１は、制御部６６が、物体のスコアに応じて、表示画面２１aに表示させる物体画像を決定する決定方法の一例を示している。
【０２１０】
図２１には、スコアの高い順序で、図中左側から、物体７１、物体７２、物体７３、…物体７４が示されている。
【０２１１】
制御部６６は、計算した物体７１のスコアに基づいて、物体７１を「ターゲットである」と認識している。また、制御部６６は、物体７２のスコアに基づいて、物体７２を「ターゲットかもしれない」と認識している。
【０２１２】
さらに、制御部６６は、物体７３のスコアに基づいて、物体７３を、ターゲットであるか否か「まだ分からない」ものと認識している。また、制御部６６は、物体７４のスコアに基づいて、物体７４を、「ターゲットではない」と認識している。
【０２１３】
例えば、制御部６６は、図２１に示されるように、検知した複数の物体のうち、スコアが高い上位N番までの物体に対応する物体画像を、指示装置２１の表示画面２１aに表示させるものとして決定することができる。
【０２１４】
また、例えば、制御部６６は、図２１に示されるように、検知した複数の物体のうち、「ターゲットである」及び「ターゲットかもしれない」と認識している物体に対応する物体画像を、少なくとも、指示装置２１の表示画面２１aに表示させるものとして決定してもよい。
【０２１５】
[ロボット２２がスコアを計算するときの動作説明]
次に、図２２のフローチャートを参照して、ロボット２２が行うスコア計算処理について説明する。
【０２１６】
このスコア計算処理は、例えば、ロボット２２が、指示装置２１からの指示情報に基づいて、室内を探索するときに開始される。
【０２１７】
ステップＳ４１において、カメラ６２は、ロボット２２の周囲の撮像を行い、その撮像により得られる撮像画像を、制御部６６に供給する。
【０２１８】
ステップＳ４２において、制御部６６は、カメラ６２からの撮像画像に基づいて、撮像画像上の物体を検知することを試みる。
【０２１９】
そして、制御部６６は、カメラ６２からの撮像画像に基づいて、その撮像画像から物体を検知したことに対応して、処理をステップＳ４３に進める。なお、制御部６６は、カメラ６２からの撮像画像に基づいて、その撮像画像から物体を検知しなかった場合、処理をステップＳ４１に戻し、それ以降同様の処理が行われる。
【０２２０】
制御部６６は、指示装置２１から通信部６１を介して供給される指示情報に基づいて、ロボット２２の処理対象を表すターゲットを判定し、判定したターゲット用の識別器を、記憶部６８から読み出す。
【０２２１】
ステップＳ４３において、制御部６６は、カメラ６２からの撮像画像から、検知した物体の特徴量を算出する。そして、制御部６６は、算出した特徴量に基づいて、記憶部６８から読み出した識別器を用いて、物体のスコアを計算する。
【０２２２】
ステップＳ４４では、制御部６６は、計算したスコアや、記憶部６８に記憶済みの撮像画像などを含むロボット認識情報を生成し、通信部６１に供給する。
【０２２３】
ステップＳ４５では、通信部６１は、制御部６１からのロボット認識情報を、指示装置２１に送信し、処理はステップＳ４１に戻され、それ以降同様の処理が行われる。
【０２２４】
なお、スコア計算処理は、例えば、ロボット２２がターゲットを見つけて、ユーザのところに持って帰ったときに終了される。
【０２２５】
以上説明したように、スコア計算処理によれば、検知した物体のスコアを計算し、計算したスコア等を含むロボット認識情報を、指示装置２１に送信するようにした。
【０２２６】
よって、指示装置２１の表示画面２１aにおいて、図６乃至図１７に示されるようなロボット認識画像を表示できるようになるので、ユーザは、ロボット２２の行動を容易に予測することが可能となる。
【０２２７】
＜２．第１の実施の形態の変形例＞
[ロボット認識画像の他の表示例]
ところで、図６乃至図１７を参照して、スコアの高い物体ほど、表示画面２１aの左に表示させるようにしたロボット認識画像を説明したが、ロボット認識画像は、これに限定されない。
【０２２８】
次に、図２３は、ロボット認識画像の他の表示例を示している。
【０２２９】
図２３において、表示画面２１aの上側の画面を表す上側画面８１には、スコアの高い物体の物体画像ほど、表示画面２１aの左側に配置されたロボット認識画像が表示される。いまの場合、物体９１、物体９２、物体９３、物体９４の順序でスコアが高いものとなっている。
【０２３０】
また、表示画面２１aの上側の画面を表す下側画面８２には、カメラ６２の撮像により得られた最新の撮像画像が表示される。この撮像画像には、図２３に示されるように、上側画面８１に表示された物体９１（「りんごジュース」）及び物体９２（「C炭酸ジュース」）が写っている。
【０２３１】
表示画面２１aにおいて、上側画面８１上の物体９１及び下側画面８２上の物体９１（「りんごジュース」）は、点線で接続されており、上側画面８１と下側画面８２に表示された物体９１との対応関係がわかるようになっている。
【０２３２】
このことは、物体９２についても同様である。なお、この場合、ロボット認識情報には、カメラ６２の撮像により得られた最新の撮像画像が含まれる。
【０２３３】
すなわち、図２３では、下側画面８２に、カメラ６２の撮像により得られる最新の撮像画像を表示する点が、図６乃至図１７を参照して説明した場合と異なるものとなる。
【０２３４】
図２３において、上側画面８１を見ると、物体９１及び物体９２それぞれの物体画像が太線の矩形で囲まれているため、ロボット２２は、物体９１及び９２をターゲットと認識していることが予測される。また、図２３において、下側画面８２を見ると、ロボット２２は、物体９１及び９２の近くに存在することが予測される。
【０２３５】
このため、ユーザは、図２３の上側画面８１のみを参照する場合と比較して、図２３の上側画面８１及び下側画面８２を参照することにより、ロボット２２が、物体９１又は物体９２の一方を、ターゲットとして持ち帰る行動をとることを、より容易に推測できる。
【０２３６】
なお、図２３において、下側画面８２には、カメラ６２の撮像により得られた最新の撮像画像を表示するようにしたが、その他、例えば、任意の時刻でカメラ６２の撮像により得られた撮像画像を表示することができる。また、カメラ６２の撮像により得られた複数の撮像画像を合成して作成した合成画像（パノラマビューのような画像）を表示するようにしてもよい。
【０２３７】
さらに、例えば、表示画面２１aには、カメラ６２の撮像により得られた撮像画像上に、太線の矩形等を直接、重畳させる（例えば、撮像画像上のりんごジュースを太線の矩形で囲む）ようにしたものを表示させるようにしてもよい。この場合、表示画面２１aには、図２３に示した上側画面８１に表示される画像は表示されず、撮像画像のみが表示されることとなる。
【０２３８】
また、例えば、図２４に示されるように、カメラ６２の撮像により得られる最新の撮像画像に代えて、表示画面２１aの下側画面８２に、室内の空間を表す空間図を表示させるようにしてもよい。この場合、ロボット認識情報には、室内の空間図を表す空間情報が含まれる。なお、空間情報は、例えば、ロボット２２の記憶部６８に予め保持されているものとする。
【０２３９】
また、図２４に示されるように、下側画面８２に表示される空間図には、ロボット２２がこれから移動する経路が、点線１０１で示されている。なお、図２４では、上側画面８１に表示された物体と、その物体が存在する空間図上の位置とが点線で接続され、対応関係がわかるようになっている。
【０２４０】
このため、ユーザは、図２４の表示画面２１aの上側画面８１のみを参照する場合と比較して、図２４の表示画面２１aの上側画面８１及び下側画面８２を参照することにより、ロボット２２が、物体９１（「りんごジュース」）を、ターゲットとして持ち帰るだろうと推測できる。
【０２４１】
なお、図２３及び図２４のような表示画面２１aを表示させるようにする場合、ロボット２２の近くに存在する物体（ロボット２２の位置から所定の範囲内に存在する物体）を、物体画像として優先的に表示させることが望ましい。
【０２４２】
また、表示画面２１aには、例えば、図２３に示される下側画面８２に撮像画像を表示し、図２４に示される下側画面８２に空間図を表示させるようにしたが、その他、例えば、撮像画像と空間図との両方を表示させるようにしてもよい。
【０２４３】
この場合、例えば、表示画面２１aには、図２３に示されるような表示とともに、ロボット２２がこれから移動する経路を表す点線１０１を含む空間図が表示されることとなる。
【０２４４】
次に、図２５は、ロボット認識画像のさらに他の表示例を示している。
【０２４５】
図２５には、表示画面２１aに、ロボット２２のカメラ６２の撮像により得られた最新の撮像画像が表示される。この撮像画像には、主に、ロボット２２により検知された物体１１１乃至１１４が写っている。
【０２４６】
そして、物体１１１及び１１３には、それぞれ、その物体に対してロボット２２が行おうとしている行動が、吹き出し１１１a乃至１１３aにより表示されている。
【０２４７】
吹き出し１１１aには、行動「捨てる」が表示され、吹き出し１１２aには、行動「持ってくる」が表示され、吹き出し１１３aには、行動「持ってくる」が表示され、吹き出し１１４aには、行動「捨てる」が表示される。なお、図２５に示されるような表示画面２１aが表示される場合、ロボット２２からのロボット認識情報には、物体（例えば、「鳥の置物」）を処理対象とするロボット２２の処理（例えば、「捨てる」）を表す処理情報が含まれる。
【０２４８】
また、吹き出し１１１a乃至１１３aの大きさは、例えば、吹き出しが付加された物体のスコアに応じた大きさとされる。なお、スコアは、吹き出しの大きさの他、吹き出しの色で表すようにしてもよい。
【０２４９】
第１の実施の形態では、ユーザが、指示装置２１を用いて、ロボット２２に、ターゲットとしての「お茶」を持ってくる旨を指示するようにしたが、指示は、これに限定されず、その他、例えば、ターゲットをゴミ箱に捨てる旨を指示することができる。
【０２５０】
その他、例えば、ユーザは、指示装置２１を用いて、ターゲットを「つかむ」、「拾う」、「片付ける」等の指示を行うことができる。
【０２５１】
図２５では、例えば、ユーザが、指示装置２１を用いて、ロボット２２に、「ジュース」を持ってくる旨を指示するとともに、「小物」をゴミ箱に捨てる旨を指示した場合に、指示装置２１の表示画面２１aに表示される表示例である。
【０２５２】
すなわち、表示画面２１aに表示されるロボット認識画像は、ユーザが、ロボット２２の行動を直感的に予測できるものであれば、どのような表示方法であってもよい。
【０２５３】
また、例えば、ユーザは、指示装置２１を用いて、ターゲットとして、「お茶」等の他、ターゲットとして人を選択することができる。この場合、ユーザは、指示装置２１を用いて、ターゲットとしての人を「呼んでくる」等の指示を行うことができる。
【０２５４】
この場合、表示画面２１aには、例えば、検知された人とともに、その人の名前を表示させるようにしてもよい。なお、人の名前は、例えば、その人を識別するための識別器に対応付けて、ロボット２２の記憶部６８に予め保持されているものとする。
【０２５５】
また、表示画面２１aに、検知された人を表す名前として、異なる人の名前が表示されている場合には、ユーザは、操作部４１を用いて、名前を、検知された人の名前に変更させるようにすることができる。
【０２５６】
ところで、例えば、指示装置２１は、ロボット２２からのロボット認識情報に基づいて、図２６に示されるように、表示画面２１aに、物体画像１２１乃至１２４を含むロボット認識画像を表示するようにしている。
【０２５７】
図２６に示される表示画面２１aでは、ロボット２２が、物体画像１２１に対応する物体「十八茶」を「ターゲットかもしれない」と認識していることが表示される。
【０２５８】
さらに、ロボット２２が、物体画像１２２に対応する物体「C炭酸ジュース」及び物体画像１２３に対応する物体「鉢植え」を、それぞれ、ターゲットであるか否か「まだ分からない」ものとして認識していること、物体画像１２４に対応する物体「ぬいぐるみ」を、「ターゲットではない」と認識していることが表示される。
【０２５９】
したがって、ユーザは、図２６に示される表示画面２１aを参照して、ロボット２２の行動を、以下のように推測することができる。すなわち、例えば、ユーザにおいては、ロボット２２が、「ターゲットかもしれない」と認識している物体「十八茶」を、いずれ「ターゲットである」ものとして認識するようになり、物体「十八茶」を持って帰るだろうと推測することができる。
【０２６０】
この場合、ユーザは、ロボット２２が、物体「十八茶」を持って帰るまで待つことが考えられる。
【０２６１】
また、例えば、図２７に示される表示画面２１aには、ロボット２２が、物体画像１４１に対応する物体「ABC お茶」、及び物体画像１４２に対応する物体「S茶」のいずれも「ターゲットである」ものとして認識していることを表す太線の矩形が表示される。
【０２６２】
さらに、例えば、図２７に示される表示画面２１aには、ロボット２２が、物体「ABC お茶」を持って帰ろうとしていることを表す三角印が表示される。
【０２６３】
したがって、ロボット２２は、物体「ABC お茶」及び物体「S茶」のいずれを持って帰ろうか迷っているものの、とりあえず、物体「ABC お茶」を持って帰ろうとしていることが、ユーザにより推測される。
【０２６４】
ユーザは、物体「ABC お茶」及び物体「S茶」のどちらでもよい場合には、指示装置２１を特に操作することなく、ロボット２２が、物体「ABC お茶」又は物体「S茶」の一方を持って帰るのを待つこととなる。
【０２６５】
なお、例えば、図２７の表示画面２１aにおいて、三角印が表示されておらず、ユーザが、物体「ABC お茶」又は物体「S茶」のどちらでもよいので、早く持ってきて欲しいと思ったときには、ロボット２２に、例えば物体「ABC お茶」を持ってくるように指示できることが望ましい。
【０２６６】
そこで、例えば、指示装置２１は、図２８に示されるように、表示画面２１aに表示された物体画像１６１乃至１６５のうち、ユーザが持ってきて欲しいと思っている物体「十八茶」に対応する物体画像１６２を、ユーザの操作により指示できるようにしている。
【０２６７】
なお、図２８では、表示画面２１aにおいて、例えば、三角印が表示されていない場合に、ユーザが持ってきて欲しいと思っている物体「十八茶」に対応する物体画像１６２が、ユーザの操作により指示されたことに対応して、太線の矩形で囲まれ、三角印で指示された物体画像１６２が表示されることとなる。
【０２６８】
また、例えば、図２９に示されるような表示画面２１aにおいて、物体画像１８１乃至１８７のうち、物体画像１８２に対応する物体「ABC お茶」を指し示す三角印が表示されている場合、ロボット２２が、物体「ABC お茶」を持って帰るだろうと推測される。
【０２６９】
ユーザが、物体「ABC お茶」ではなく、物体「Ｓ茶」を持って帰って欲しいと思っている場合、指示装置２１の操作部４１を操作することにより、物体「ABC お茶」に代えて、物体画像１８４に対応する物体「S茶」を持ってくるように指示することができる。
【０２７０】
すなわち、例えば、ユーザは、図３０に示されるように、表示画面２１a上の物体画像１８４を、ポインタ（矢印）等により指定するようにして、物体画像１８４に対応する物体「S茶」を持ってくるように指示することができる。
【０２７１】
これにより、表示画面２１aにおいて、物体画像１８２に対応する物体「ABC お茶」を指し示していた三角印（図２９）に代えて、物体画像１８４に対応する物体「S茶」を指し示す三角印（図３０）が表示されることとなる。
【０２７２】
＜３．第２の実施の形態＞
[表示画面２１aを見ているユーザが、ロボット２２に指示を与える場合の一例]
次に、図３１乃至図３８は、ユーザが、指示装置２１の操作部４１を操作して、ロボット２２に指示を与えるためのフィードバック操作を行う場合の一例を示している。
【０２７３】
図３１は、ユーザが、指示装置２１の表示画面２１aを参照して、指示装置２１の操作部４１を用いて、フィードバック操作を行う場合の一例を示している。
【０２７４】
図３１には、表示画面２１aに表示される物体画像２０１乃至２０４が示されている。なお、物体画像２０１及び２０２は、ロボット２２の認識状態が「ターゲットである」であることを示す矩形で囲まれている。
【０２７５】
また、物体画像２０３は、そのままの状態で表示され、物体「C炭酸ジュース」に対するロボット２２の認識状態が「まだ分からない」ものであることを示している。さらに、物体画像２０４は、ロボット２２の認識状態が「ターゲットではない」ことを示す斜線が付加されている。
【０２７６】
ユーザは、指示装置２１の操作部４１を用いて、例えば、物体画像２０３が表す物体「C炭酸ジュース」の認識状態を、矢印２２１で示されるように、「まだ分からない」から「ターゲットである」に変更するフィードバック操作を行うことができる。
【０２７７】
また、例えば、ユーザは、指示装置２１の操作部４１を用いて、物体画像２０２が表す物体「十八茶」の認識状態を、矢印２２２で示されるように、「ターゲットである」から「ターゲットではない」に変更するフィードバック操作を行うことができる。
【０２７８】
制御部４２は、操作部４１からの、フィードバック操作に対応する操作信号に応じて、対応するフィードバック情報を生成し、通信部４４に供給する。通信部４４は、制御部４２からのフィードバック情報を、ロボット２２に供給する。
【０２７９】
ロボット２２は、通信部４４からのフィードバック情報に基づいて、物体のスコアを再計算し、その結果得られるスコアに基づいて、各物体の認識状態を変化させる。
【０２８０】
次に、図３２は、指示装置２１からのフィードバック情報に応じて、ロボット２２の制御部６６が、物体の認識状態を変化させる場合の一例を示している。
【０２８１】
例えば、指示装置２１において、ユーザが、操作部４１を用いてフィードバック操作を行った場合、操作部４１は、フィードバック操作に対応する操作信号を、制御部４２に供給する。
【０２８２】
制御部４２は、操作部４１からの操作信号に基づいて、フィードバック情報を生成し、通信部４４に供給する。通信部４４は、制御部４２からのフィードバック情報を、ロボット２２に送信する。
【０２８３】
いまの場合、図３１に示したように、例えば、ユーザが、指示装置２１の操作部４１を用いて、物体画像２０３が表す物体「C炭酸ジュース」の認識状態を、矢印２２１で示されるように、「まだ分からない」から「ターゲットである」に変更するフィードバック操作を行った場合を考える。
【０２８４】
この場合、ロボット２２において、制御部６６は、指示装置２１の通信部４４から通信部６１を介して供給されるフィードバック情報に基づいて、物体「C炭酸ジュース」のスコアを再計算する。
【０２８５】
これにより、制御部６６は、再計算により得られた新たなスコアに基づいて、物体「C炭酸ジュース」の認識状態を、矢印２２１1で示されるように、「まだ分からない」から「ターゲットである」に決定（変更）する。
【０２８６】
なお、フィードバック操作として、物体の認識状態を、「ターゲットかもしれない」から「ターゲットである」に変更するフィードバック操作が行われた場合、制御部６６では以下の処理が行われる。すなわち、例えば、制御部６６は、通信部６１からのフィードバック情報に基づいて、物体の認識状態を、矢印２２１2で示されるように、「ターゲットかもしれない」から「ターゲットである」に決定する。
【０２８７】
また、フィードバック操作として、物体の認識状態を、「ターゲットではない」から「ターゲットである」に変更するフィードバック操作が行われた場合、制御部６６では以下の処理が行われる。すなわち、例えば、制御部６６は、通信部６１からのフィードバック情報に基づいて、物体の認識状態を、矢印２２１3で示されるように、「ターゲットではない」から「ターゲットである」に決定する。
【０２８８】
さらに、例えば、図３１に示したように、ユーザが、指示装置２１の操作部４１を用いて、物体画像２０２を表す物体「十八茶」の認識状態を、矢印２２２で示されるように、「ターゲットである」から「ターゲットではない」に変更するフィードバック操作を行った場合を考える。
【０２８９】
この場合、制御部６６は、図３２に示されるように、通信部６１からのフィードバック情報に基づいて、物体「十八茶」の認識状態を、矢印２２２で示されるように、「ターゲットである」から「ターゲットではない」に決定する。
【０２９０】
[フィードバック操作の一例]
次に、図３３乃至図３８を参照して、ユーザが、指示装置２１の表示画面２１aを参照して、フィードバック操作を行う場合について説明する。
【０２９１】
指示装置２１において、制御部４２は、ロボット２２から通信部４４を介して供給されるロボット認識情報に基づいて、表示部４３の表示画面２１aに、例えば、図３３に示されるような、物体画像２４１乃至２４４を含むロボット認識画像を表示させる。
【０２９２】
また、ロボット２２が、物体画像２４２が表す物体「スポドリンク」を「ターゲットである」と認識した場合、制御部４２は、ロボット２２から通信部４４を介して送信されてくるロボット認識情報に基づいて、表示画面２１aに、ロボット認識画像を表示させる。
【０２９３】
これにより、表示画面２１aには、図３４に示されるように、物体画像２４１乃至２４４を含むロボット認識画像が表示される。
【０２９４】
図３４に示される表示画面２１aでは、ロボット２２が、ユーザが所望する物体「十八茶」（物体画像２４５が表す物体）とは異なる物体「スポドリンク」（物体画像２４２が表す物体）を、ターゲットとして認識していることが推測される。
【０２９５】
そして、ロボット２２が、物体「スポドリンク」をターゲットとして持って帰る行動をとる場合、制御部４２は、ロボット２２から通信部４４を介して送信されるロボット認識情報に基づいて、表示画面２１aに、ロボット認識画像を表示させる。
【０２９６】
これにより、表示画面２１aは、図３５に示されるように、物体「スポドリンク」をターゲットとして持って帰ることを示す三角印が付加された物体画像２４２を表示する。
【０２９７】
この場合、ユーザは、図３５に示されるように、指示装置２１の操作部４１を用いて、物体「スポドリンク」はターゲットではない旨を指示するフィードバック操作を行う。このとき、操作部４１は、ユーザのフィードバック操作に対応する操作信号を、制御部４２に供給する。
【０２９８】
制御部４２は、操作部４１からの操作信号に基づいて、フィードバック情報を生成し、通信部４４に供給する。通信部４４は、制御部４２からのフィードバック情報を、ロボット２２に送信する。この場合、例えば、ロボット２２(制御部６６)は、通信部４４からのフィードバック情報に基づいて、物体「スポドリンク」のスコアを再計算する。
【０２９９】
これにより、物体「スポドリンク」のスコアは、例えば、物体「十八茶」のスコアよりも低いスコアとされ、ロボット２２は、物体「十八茶」をターゲットとして持って帰るように行動する。また、ロボット２２は、再計算したスコアに基づいて、物体「スポドリンク」の認識状態を、「ターゲットである」から「ターゲットではない」に変更する。
【０３００】
この場合、指示装置２１において、制御部４２は、ロボット２２から通信部４４を介して送信されるロボット認識情報に基づいて、表示画面２１aに、ロボット認識画像を表示させる。なお、ロボット認識情報には、少なくとも、ユーザのフィードバック操作に応じたフィードバック情報により再計算されたスコアが含まれる。
【０３０１】
これにより、表示画面２１aは、図３６に示されるように、物体「十八茶」をターゲットとして持って帰ることを示す三角印が付加された物体画像２４５を表示する。
【０３０２】
なお、ユーザは、物体「スポドリンク」はターゲットではない旨を指示するフィードバック操作を行う他、例えば、図３７に示されるように、物体「十八茶」がターゲットである旨を指示するフィードバック操作を行うようにしても良い。
【０３０３】
この場合、例えば、ロボット２２(制御部６６)は、通信部４４からのフィードバック情報に基づいて、物体「十八茶」のスコアを再計算する。これにより、物体「十八茶」のスコアは、例えば、物体「スポドリンク」のスコアよりも高いスコアとされ、ロボット２２は、物体「十八茶」をターゲットとして持って帰るように行動する。
【０３０４】
これに対して、指示装置２１の制御部４２は、ロボット２２から通信部４４を介して送信されるロボット認識情報に基づいて、表示画面２１aに、ロボット認識画像を表示させる。
【０３０５】
これにより、表示画面２１aは、図３８に示されるように、物体「十八茶」をターゲットとして持って帰ることを示す三角印が付加された物体画像２４５を表示する。
【０３０６】
なお、例えば、フィードバック操作により、物体がターゲットではない旨を指示する場合、ユーザは、操作部４１を用いて、ターゲットではない物体（の物体画像）を指定し、指定された物体を、ターゲットであるものとすることが考えられる。
【０３０７】
この場合、制御部４２は、ユーザにより指定された物体がターゲットではない旨を表すフィードバック情報を生成する。
【０３０８】
また、例えば、フィードバック操作により、物体がターゲットではない旨を指示する場合、ユーザは、操作部４１を用いて、ターゲットである物体（の物体画像）を指定し、指定されていない物体を、ターゲットではないものとすることが考えられる。
【０３０９】
この場合、制御部４２は、ユーザにより指定されていない物体がターゲットではない旨を表すフィードバック情報を生成する。
【０３１０】
なお、物体の指定は、指定したい表示画面２１a上の物体を、枠などで囲むようにして指定するようにしてもよい。また、操作部４１にマウスが含まれている場合には、指定したい表示画面２１a上の物体に、カーソル等を移動させ、マウスの左クリック（シングルクリック又はダブルクリック）で物体を指定してもよい。
【０３１１】
さらに、指示装置２１がパーソナルコンピュータなどであり、操作部４１としてコントロールキーやシフトキーが設けられている場合には、コントロールキーやシフトキーを併用して左クリックを行うことにより、同時に、複数の物体を指定することができる。
【０３１２】
また、例えば、ユーザは、物体を指定した後、マウスを用いた右クリックにより表示される選択肢「ターゲットである」、「ターゲットでない」等のうち、選択肢「ターゲットでない」を選択することにより、指定済みの物体がターゲットではない旨を表すフィードバック操作を行うようにしてもよい。
【０３１３】
さらに、例えば、ユーザは、指定済みの物体に対して、再度、マウスを用いた左クリックを行うことにより、物体の指定を解除することができる。その他、例えば、ユーザは、物体を、左クリックにより選択して、表示画面２１aの枠外に投げ捨てるような投げ捨て操作を、物体が「ターゲットではない」旨を表すフィードバック操作として行うことができる。
【０３１４】
例えば、操作部４１に「Enter」キーが含まれる場合、物体が指定されている状態で「Enter」キーを押下する押下操作を、指定された物体がターゲットである旨を表すフィードバック操作として採用することができる。
【０３１５】
また、例えば、操作部４１に「Delete」キーが含まれる場合、物体が指定された状態で「Delete」キーを押下する押下操作を、指定された物体がターゲットではない旨を表すフィードバック操作として採用することができる。
【０３１６】
その他、例えば、操作部４１に「Tab」キーが含まれる場合、ユーザは、「Tab」キーが押下される毎に、表示画面２１a上に表示されるフォーカスを移動させるようにすることができる。
【０３１７】
これらのことは、指定された物体がターゲットである旨を表すフィードバック操作を行う場合についても同様である。
【０３１８】
[指示装置２１が行うフィードバック処理について]
次に、図３９のフローチャートを参照して、指示装置２１が行うフィードバック処理について説明する。
【０３１９】
なお、このフィードバック処理は、例えば、指示装置２１の電源がオンされたときに開始される。また、表示画面２１aには、物体画像が表示されているものとする。
【０３２０】
ステップＳ６１において、制御部４２は、操作部４１から、フィードバック操作に対応する操作信号が供給されたか否かに基づいて、ユーザによるフィードバック操作が行われたか否かを判定し、ユーザによるフィードバック操作が行われたと判定するまで、ステップＳ６１の処理を繰り返して行う。
【０３２１】
ステップＳ６１において、制御部４２は、フィードバック操作に対応する操作信号が供給されたか否かに基づいて、ユーザによるフィードバック操作が行われたと判定した場合、処理をステップＳ６２に進める。
【０３２２】
ステップＳ６２において、制御部４２は、ユーザによるフィードバック操作に基づいて、フィードバック情報を生成し、通信部４４に供給する。
【０３２３】
ステップＳ６３において、通信部４４は、制御部４２からのフィードバック情報を、無線通信等を用いて、ロボット２２に送信し、処理をステップＳ６１に戻し、それ以降、同様の処理が行われる。なお、このフィードバック処理は、例えば、指示装置２１の電源がオフされたときに終了される。
【０３２４】
以上説明したように、フィードバック処理によれば、ユーザによるフィードバック操作に応じて、表示画面２１aに表示された物体を、ターゲットである等と指示できるようにした。
【０３２５】
このため、例えば、ロボット２２が、ターゲットではない物体を、ターゲットとして認識している場合等に、指示装置２１により、その物体が、ターゲットではないことをロボット２２にフィードバックさせることが可能となる。
【０３２６】
[ロボット２２が行うスコア再計算処理について]
次に、図４０のフローチャートを参照して、ロボット２２が行うスコア再計算処理を説明する。
【０３２７】
なお、このスコア再計算処理は、例えば、ロボット２２の電源がオンされたときに開始される。
【０３２８】
ステップＳ８１において、通信部６１は、指示装置２１からのフィードバック情報を受信するまで、ステップＳ８１の処理を繰り返す。そして。ステップＳ８１では、通信部６１は、指示装置２１からのフィードバック情報を受信した場合、受信したフィードバック情報を、制御部６６に供給して、処理をステップＳ８２に進める。
【０３２９】
ステップＳ８２において、制御部６６は、通信部６１からのフィードバック情報に基づいて、物体のスコアを再計算して、処理をステップＳ８３に進める。
【０３３０】
ステップＳ８３において、制御部６６は、再計算したスコアに基づいて、ロボット認識情報を生成し、通信部６１に供給して、処理をステップＳ８４に進める。
【０３３１】
ステップＳ８４では、通信部６１は、制御部６６からのロボット認識情報を、無線通信等により、指示装置２１に送信して、処理をステップＳ８１に戻し、それ以降、同様の処理が行われる。なお、このスコア再計算処理は、例えば、ロボット２２の電源がオフされたときに終了される。
【０３３２】
以上説明したように、スコア再計算処理によれば、指示装置２１からのフィードバック情報に基づいて、スコアを再計算するようにしたので、ユーザからのフィードバックを反映したスコアを計算することができる。
【０３３３】
＜４．第２の実施の形態の変形例＞
第２の実施の形態では、ユーザが、表示画面２１aを参照して、所定の物体が、ターゲットである旨又はターゲットではない旨のフィードバック操作を行うようにしたが、ユーザによるフィードバック操作は、これに限定されない。
【０３３４】
すなわち、例えば、表示画面２１aに、図４１に示されるようにして、物体２６１乃至２６３が１つの物体として表示される場合、ロボット２２は、物体２６１乃至物体２６３を１つの物体として認識しているものとなる。
【０３３５】
この場合、ユーザは、指示装置２１の操作部４１を用いて、例えば、１つの物体が表示された領域を指定するフィードバック操作を行うようにして、ロボット２２に、物体２６１乃至２６３を、それぞれ、１つの物体として認識させるようにすることができる。
【０３３６】
なお、１つの物体が表示された領域を指定するフィードバック操作は、例えば、操作部４１にマウスが含まれる場合、マウスを用いて、１つの物体が表示された領域を指定し、右クリックにより表示される選択肢「分離」を選択するようにして行われる。
【０３３７】
そして、制御部４２は、操作部４１から、フィードバック操作に対応する操作信号が供給されたことに対応して、フィードバック情報を生成し、通信部４４に供給する。通信部４４は、制御部４２からのフィードバック情報を、無線通信等によりロボット２２に送信する。
【０３３８】
ロボット２２において、通信部６１は、通信部４４からのフィードバック情報を制御部６６に供給する。制御部６６は、通信部６１からのフィードバック情報に基づいて、１つの物体として認識していた物体２６１乃至２６３を、それぞれ、１つの物体２６１,２６２,２６３として認識する。
【０３３９】
また、制御部６６は、１つの物体として認識した物体２６１、物体２６２、物体２６３についてのスコアを計算し、その計算結果などに基づいて、ロボット認識情報を生成し、通信部６１を介して、指示装置２１に送信する。
【０３４０】
指示装置２１では、制御部４２は、ロボット２２の通信部６１から、通信部４４を介して送信されるロボット認識情報に基づいて、表示部４３の表示画面２１aに、図４２に示されるようなロボット認識画像を表示させる。
【０３４１】
また、例えば、１つの物体とされるべきもの（例えば、同時に使用されるナイフ、フォーク、及びスプーンのセット等）が、分離して複数の物体として表示画面２１aに表示される場合には、ユーザは、指示装置２１の操作部４１を用いて、例えば、分離して表示された複数の物体を含む領域を指定するフィードバック操作を行うようにして、ロボット２２に、分離して表示された複数の物体を、１つの物体として認識させるようにすることができる。
【０３４２】
なお、分離して表示された複数の物体を含む領域を指定するフィードバック操作は、例えば、操作部４１にマウスが含まれる場合、マウスを用いて、各物体が表示された領域をそれぞれ指定し、右クリックにより表示される選択肢「マージ」を選択するようにして行われる。
【０３４３】
ところで、例えば、第２の実施の形態では、表示画面２１aに表示された物体に対して、フィードバック操作を行うようにした。
【０３４４】
しかしながら、その他、例えば、撮像画像上の物体が、制御部６６により検知されていない場合には、撮像画像上の、未検知の物体を含む領域を指定する領域指定操作により、未検知の物体を、物体としてロボット２２に検知（認識）させるようにすることができる。
【０３４５】
これにより、ロボット２２は、図４３に示されるように、未検知（検出）の物体を検知し、検知した物体の認識状態を、「未検出」から「まだ分からない」に決定することとなる。
【０３４６】
すなわち、例えば、ユーザは、指示装置２１の操作部４１を用いて、ロボット２２が物体を探索するための探索範囲を指定する領域指定操作を行うようにして、ロボット２２に探索範囲内での探索を行わせるようにすることができる。
【０３４７】
＜５．第３の実施の形態＞
次に、図４４は、撮像画像を用いて、探索範囲を指定する場合の一例を示している。
【０３４８】
例えば、ロボット認識情報に、撮像画像として、図４４Aに示されるような周囲画像３１が含まれる場合、指示装置２１の制御部４２は、そのロボット認識情報に基づいて、表示画面２１aに周囲画像３１を表示することとなる。
【０３４９】
この場合、ユーザは、指示装置２１の操作部４１を用いて、図４４Aに示されるように、表示画面２１aに表示された周囲画像３１上の部分領域２８１を、ターゲットを探索する探索範囲に対応する領域として指定する領域指定操作を行うことができる。
【０３５０】
これにより、操作部４１は、ユーザの領域指定操作が行われたことに応じて、対応する操作信号を、制御部４２に供給する。
【０３５１】
制御部４２は、操作部４１からの操作信号に応じて、周囲画像３１上の全領域のうち、ユーザの領域指定操作により指定された部分領域２８１を表す指定範囲情報を生成し、通信部４４に供給する。通信部４４は、制御部４２からの指定範囲情報を、ロボット２２に送信する。
【０３５２】
これに対して、ロボット２２の通信部６１は、指示装置２１の通信部４４からの指定範囲情報を受信し、制御部６６に供給する。制御部６６は、通信部６１からの指定範囲情報に基づいて、記憶部６８に保持されている周囲画像３１上の部分領域２８１を検出する。
【０３５３】
そして、制御部６６は、部分領域２８１上の各物体に対応付けられた複数の３次元位置を、記憶部６８から読み出し、読み出した複数の３次元位置に基づいて、ターゲットを探索するための探索範囲を算出（特定）する。
【０３５４】
なお、制御部６６が、探索範囲を算出する算出方法は、これに限定されない。すなわち、例えば、制御部６６は、部分領域２８１に３次元位置等が対応付けられていなくても、部分領域２８１や、カメラ６２の有効視野角、有効画素数、位置、及び向き等を表すパラメータから、探索範囲を算出することができる。
【０３５５】
この場合、記憶部６８には、例えば、周囲画像３１に対応付けて、撮像により周囲画像３１が得られた撮像時刻とともに、撮像時刻におけるカメラ６２の位置及び向き等を表す第１のパラメータが、カメラ６２の撮像時に、制御部６６により記憶されるものとする。また、記憶部６８には、カメラ６２の有効視野角及び有効画素数等を表す第２のパラメータが予め記憶されているものとする。
【０３５６】
すなわち、例えば、制御部６６は、撮像により周囲画像３１が得られた撮像時刻におけるカメラ６２の位置及び向き等を表す第１のパラメータと、カメラ６２の有効視野角及び有効画素数等を表す第２のパラメータを、記憶部６８から読み出す。
【０３５７】
そして、制御部６６は、第１及び第２のパラメータを用いることにより、周囲画像３１上を占める部分領域２８１から、部分領域２８１に対応する３次元的な視野範囲、つまり、撮像時刻において、部分領域２８１として撮像された実空間上の領域を特定する。
【０３５８】
なお、探索範囲としては、視野範囲のうち、ロボット２２が行動可能な領域が採用される。
【０３５９】
制御部６６は、駆動部６７を制御して、ロボット２２の手や足に相当する部位を駆動させ、算出した探索範囲内でターゲットを探索する動作を実行させる。
【０３６０】
また、例えば、ロボット認識情報に、図４４Bに示されるような部分画像３５が含まれる場合、指示装置２１の制御部４２は、そのロボット認識情報に基づいて、表示画面２１aに部分画像３５を表示することとなる。
【０３６１】
この場合、ユーザは、指示装置２１の操作部４１を操作して、表示画面２１aに表示された部分画像３５上の物体「りんごジュース」を検知させるように、部分画像３５上の部分領域２８２を指定する領域指定操作を行うことができる。
【０３６２】
これにより、ロボット２２は、部分画像３５上の部分領域２８２に対応する探索範囲内でターゲットを探索する動作を実行することとなる。よって、物体「りんごジュース」をロボット２２に検知させることができる。
【０３６３】
なお、部分画像３５としては、例えば、ユーザの領域指定操作により指定された領域を、より近距離で撮像した場合に得られる撮像画像や、過去の撮像により得られた撮像画像の一部分の画像を採用することができる。
【０３６４】
次に、図４５は、室内の空間図を用いて、探索範囲を指定する場合の一例を示している。
【０３６５】
例えば、ロボット認識情報に、図４５に示されるような空間画像３０１（室内の空間図を表す画像）が含まれる場合、指示装置２１の制御部４２は、そのロボット認識情報に基づいて、表示画面２１aに空間画像３０１を表示することとなる。なお、記憶部４５に、予め空間画像３０１を保持するように構成すれば、制御部４２は、記憶部４５から空間画像３０１を読み出して、表示画面２１aに表示することとなる。
【０３６６】
この場合、ユーザは、指示装置２１の操作部４１を操作して、表示画面２１aに表示された空間画像３０１上の部分領域３２１を、探索範囲として指定する領域指定操作を行うようことができる。
【０３６７】
これにより、操作部４１は、ユーザの領域指定操作が行われたことに応じて、対応する操作信号を、制御部４２に供給する。
【０３６８】
制御部４２は、操作部４１からの操作信号に応じて、空間画像３０１上の全領域のうち、ユーザの領域指定操作により指定された部分領域３２１を表す指定範囲情報を生成し、通信部４４に供給する。通信部４４は、制御部４２からの指定範囲情報を、ロボット２２に送信する。なお、指定範囲情報は、ロボット２２が、ターゲットを探索するための探索範囲を特定（把握）するための特定情報として用いられる。
【０３６９】
これに対して、ロボット２２の通信部６１は、指示装置２１の通信部４４からの指定範囲情報を受信し、制御部６６に供給する。制御部６６は、通信部６１からの指定範囲情報に基づいて、記憶部６８に保持されている空間画像３０１上の部分領域３２１を検出する。
【０３７０】
そして、制御部６６は、部分領域３２１を構成する各小領域に対応付けられた複数の３次元位置を、記憶部６８から読み出し、読み出した複数の３次元位置に基づいて、探索範囲を算出する。
【０３７１】
制御部６６は、駆動部６７を制御して、ロボット２２の手や足に相当する部位を駆動させ、算出した探索範囲内でターゲットを探索する動作を実行させる。なお、制御部６６は、通信部６１からの指示情報に基づいて、その指示情報に含まれるカテゴリ情報が表すカテゴリに属する物体を、ターゲットとして、探索範囲内で探索する動作を実行させる。また、例えば、制御部６６は、指示装置２１から通信部６１を介して指示情報を受信していない場合、ターゲットを自律的に決定して、探索範囲内を探索する動作を実行させる。
【０３７２】
これにより、ロボット２２は、空間画像３０１上の部分領域３２１に対応する探索範囲内でターゲットを探索する動作を実行することとなる。
【０３７３】
なお、表示画面２１aに空間画像３０１が表示されている場合、ユーザが、操作部４１を用いて、例えば、空間画像３０１上の全領域のうち、部分領域３２２を選択したときには、部分領域３２２内での撮像により得られた撮像画像３４１を、表示画面２１aに表示させることができる。
【０３７４】
すなわち、例えば、指示装置２１において、制御部４２は、ロボット２２から通信部４４を介して送信されてくるロボット認識情報を、記憶部４５に供給して記憶させている。
【０３７５】
したがって、記憶部４５には、図４５に示されるような空間画像３０１とともに、撮像画像３４１が、空間画像３０１上の部分領域３２２に対応付けられて記憶されている。
【０３７６】
このため、制御部４２は、ユーザにより部分領域３２２の選択が行われた場合、記憶部４５から、ユーザにより選択された部分領域３２２に対応する撮像画像３４１を読み出し、図４５に示されるようにして、表示画面２１aに表示させる。
【０３７７】
そして、ユーザは、操作部４１を用いて、表示画面２１aに表示された撮像画像３４１に対して、図４４Bを参照した場合と同様にして、撮像画像３４１上の部分領域３６１を指定する領域指定操作を行うことができる。
【０３７８】
これにより、ロボット２２は、撮像画像３４１上の部分領域３６１に対応する探索範囲内でターゲットを探索する動作を実行することとなる。
【０３７９】
なお、撮像画像３４１は、ロボット認識情報に含まれた状態で、ロボット２２から指示装置２１に送信される。
【０３８０】
ところで、ロボット２２から指示装置２１に送信されるロボット認識情報は、無線通信等におけるデータの輻輳を避けるために、少ないデータ量であることが望ましい。
【０３８１】
そこで、例えば、ロボット２２が、撮像画像３４１を、ロボット認識情報に含めて送信する場合には、図４６Bに示される高画質な撮像画像３４１のデータ量を少なくした、図４６Aに示されるような低画質の撮像画像３４１'を送信するようにしてもよい。なお、この撮像画像３４１'は、ユーザによる領域の指定等には用いられず、例えば、物体「りんごジュース」の物体画像を、表示画面２１aに表示する際に用いられる。また、ユーザによる領域の指定等に用いられる撮像画像は、高画質のままで送信され、表示画面２１aに表示されることが望ましい。
【０３８２】
撮像画像３４１'は、撮像画像３４１'上の全領域のうち、物体（「りんごジュース」のペットボトル）が写る部分領域３８１は、物体画像として用いるため、高画質とされ、それ以外の部分（斜線で示される部分）は、低画質とされている。
【０３８３】
すなわち、例えば、部分領域３８１は、高解像度又はカラーとされ、部分領域３８１以外は、低解像度又はモノクロとされる。
【０３８４】
[指示装置２１が行う領域指定処理について]
次に、図４７のフローチャートを参照して、指示装置２１が行う領域指定処理について説明する。
【０３８５】
ステップＳ１０１において、通信部４４は、ロボット２２からのロボット認識情報を受信して、制御部４２に供給する。なお、ロボット認識情報には、例えば、撮像画像として、周囲画像３１が含まれているものとする。
【０３８６】
ステップＳ１０２において、制御部４２は、通信部４４からのロボット認識情報に含まれる周囲画像３１を、表示部４３に供給して、表示部４３の表示画面２１aに表示させる。
【０３８７】
ステップＳ１０３において、制御部４２は、操作部４１から、ユーザの領域指定操作に対応する操作信号が供給されたか否かに応じて、ユーザによる領域指定操作が行われたか否かを判定する。なお、領域指定操作とは、例えば、表示画面２１aに表示された周囲画像３１上の全領域のうち、所定の部分領域２８１を指定する操作をいう。
【０３８８】
そして、ステップＳ１０３では、制御部４２は、操作部４１からの操作信号に応じて、ユーザの領域指定操作が行われたと判定するまで、ステップＳ１０３の処理を繰り返して行う。
【０３８９】
ステップＳ１０３において、制御部４２は、ユーザの領域指定操作が行われたと判定した場合、処理をステップＳ１０４に進める。この場合、操作部４１から制御部４２には、ユーザの領域指定操作に対応する操作信号が供給される。
【０３９０】
ステップＳ１０４において、制御部４２は、操作部４１からの操作信号に応じて、周囲画像３１上の、領域指定操作により指定された部分領域２８１を表す指定範囲情報を生成し、通信部４４に供給する。なお、指定範囲情報は、ロボット２２が、ターゲットを探索するための探索範囲を特定（把握）するための特定情報として用いられる。
【０３９１】
ステップＳ１０５では、通信部４４は、制御部４２からの指定範囲情報を、無線通信等を用いて、ロボット２２に供給し、ロボット２２に、探索範囲で探索を行わせる。以上で、この領域指定処理は終了される。
【０３９２】
以上説明したように、領域指定処理によれば、ユーザによる領域指定操作により、ロボット２２がターゲットを探索する探索範囲を指示できるようにしたので、例えば、ユーザが所望する範囲内を、ロボット２２に探索させることが可能となる。
【０３９３】
特に、例えば、ユーザによる領域指定操作により、ロボット２２が未検知の物体を少なくとも含む範囲を、探索範囲として指定することで、ロボット２２に、未検知の物体を検知させるようにすることが可能となる。
【０３９４】
[ロボット２２が行う探索処理について]
次に、図４８のフローチャートを参照して、ロボット２２が行う探索処理について説明する。
【０３９５】
ステップＳ１２１において、通信部６１は、指示装置２１の通信部４４からの指定範囲情報を受信し、制御部６６に供給する。なお、ステップＳ１２１は、後述するステップＳ１２２及びステップＳ１２３と並行して行われる。すなわち、例えば、通信部６１は、ステップＳ１２２又はステップＳ１２２の処理が実行中でも、指示装置２１の通信部４４からの指定範囲情報を受信することができる。
【０３９６】
ステップＳ１２２において、制御部６６は、通信部６１からの指定範囲情報に基づいて、記憶部６８に保持されている周囲画像３１上の部分領域２８１を検出する。
【０３９７】
そして、制御部６６は、部分領域２８１を構成する各小領域に対応付けられた複数の３次元位置を、記憶部６８から読み出し、読み出した複数の３次元位置に基づいて、探索範囲を算出（特定）する。
【０３９８】
ステップＳ１２３において、制御部６６は、算出した探索範囲で、ロボット２２がターゲットを探索できるように、駆動部６７を駆動させる。なお、制御部６６は、例えば、通信部６１からの指示情報に基づいて、その指示情報に含まれるカテゴリ情報が表すカテゴリに属する物体を、ターゲットとするようにしている。以上で、探索処理は終了される。
【０３９９】
以上説明したように、探索処理では、ユーザの領域指定操作により指定された探索範囲内で、ターゲットを探索するようにした。
【０４００】
このため、例えば、ユーザによる領域指定操作により、ロボット２２が未検知の物体を少なくとも含む範囲が、探索範囲として指定された場合、ロボット２２により、未検知の物体を検知することが可能となる。
【０４０１】
なお、物体そのものではなく、ユーザの領域指定操作により探索範囲を指定するようにしているのは、ロボット２２が未検知の物体を指定することができないためである。
【０４０２】
よって、ユーザは、ロボット２２が未検知の物体を含む探索範囲を指定することにより、ロボット２２に、指定された探索範囲を探索させて、未検知の物体を検知させることができる。
【０４０３】
また、領域指定処理のステップＳ１０３において、例えば、ユーザが、表示画面２１aに表示された周囲画像３１上の全領域のうち、所定の部分領域２８１を指定するようにして、探索範囲を指定するようにしたが、探索範囲の指定方法は、これに限定されない。
【０４０４】
すなわち、例えば、指示装置２１が、ユーザを撮像して得られる撮像画像から、ユーザのジェスチャやポスチャ等（以下、ジェスチャ等という）を認識できる場合には、ユーザは、ジェスチャ等により、探索範囲を指定することができる。
【０４０５】
また、例えば、指示装置２１が、音声を認識できる場合には、ユーザは、音声により、探索範囲を指定することができる。この場合、ユーザは、例えば、探索範囲として、「台所」や「ぼくの部屋」等と発話することで、探索範囲を指定することができる。
【０４０６】
このような場合、その他、例えば、ユーザは、音声やジェスチャ等により、ターゲットとされる物体のカテゴリを指定（指示）することもできる。これにより、指示装置２１では、ユーザに指定されたカテゴリを表すカテゴリ情報を含む指示情報が生成される。
【０４０７】
さらに、例えば、ロボット２２が、ユーザを撮像して得られる撮像画像からジェスチャ等を認識できる場合には、ユーザは、ジェスチャ等により、直接に、ロボット２２に対して探索範囲を指定することができる。
【０４０８】
この場合、例えば、制御部６６は、カメラ６２からの撮像画像に基づいて、ユーザのジェスチャを認識し、その認識結果を、探索範囲を特定するために用いられる特定情報として取得（生成）する。そして、制御部６６は、取得した特定情報を用いて、探索範囲を特定し、駆動部６７を制御して、特定した探索範囲でロボット２２に探索を行なわせる。
【０４０９】
また、例えば、ロボット２２が、音声を認識できる場合には、ユーザは、音声により、直接に、ロボット２２に対して探索範囲を指定することができる。
【０４１０】
この場合、例えば、制御部６６は、マイクロホン６４から入力されるユーザの音声に基づいて、ユーザの音声を認識し、その認識結果を、特定情報として取得（生成）する。そして、制御部６６は、取得した特定情報を用いて、探索範囲を特定し、駆動部６７を制御して、特定した探索範囲でロボット２２に探索を行なわせる。
【０４１１】
このような場合、その他、例えば、ユーザは、音声やジェスチャ等により、ターゲットとされる物体のカテゴリを、直接にロボット２２に対して指定（指示）することもできる。
【０４１２】
これにより、制御部６６では、ユーザに指定されたカテゴリを表すカテゴリ情報を含む指示情報が生成され、生成された指示情報に含まれるカテゴリ情報が表すカテゴリに属する物体を、ターゲットとしてロボット２２に探索を行わせる。
【０４１３】
ところで、指示装置２１としては、例えば、パーソナルコンピュータ等を適用することができる。
【０４１４】
なお、本技術は以下のような構成もとることができる。
（１）所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成部と、前記特定情報を用いて、前記ロボットに前記探索範囲を探索させる探索制御部とを含む制御装置。
（２）前記生成部は、前記ロボットに探索させる物体の属するカテゴリが前記ユーザにより指定されたことに対応して、前記カテゴリを表すカテゴリ情報も生成し、前記探索制御部は、前記カテゴリ情報も用いて、前記ロボットに、前記カテゴリに属する前記物体を、前記探索範囲で探索させる前記（１）に記載の制御装置。
前記（１）に記載の制御装置。
（３）前記生成部は、前記ロボットの周囲を撮像して得られる撮像画像を用いて、前記ユーザにより前記探索範囲が指定されたことに対応して、前記特定情報を生成する前記（２）に記載の制御装置。
（４）前記生成部は、前記ロボットが移動する空間の空間図を用いて、前記ユーザにより前記探索範囲が指定されたことに対応して、前記特定情報を生成する前記（２）に記載の制御装置。
（５）前記生成部は、前記ユーザの発話により前記探索範囲が指定されたことに対応して、前記ユーザの発話を音声認識して得られる前記特定情報を生成する前記（２）に記載の制御装置。
（６）前記生成部は、前記ユーザの身振りにより前記探索範囲が指定されたことに対応して、前記ユーザの身振りを認識して得られる前記特定情報を生成する前記（２）に記載の制御装置。
（７）前記探索制御部は、前記特定情報を、前記ロボットに送信することにより、前記ロボットに前記探索範囲を探索させる前記（１）乃至（６）に記載の制御装置。
（８）制御装置の制御方法において、前記制御装置による、所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成ステップと、前記特定情報を用いて、前記ロボットに前記探索範囲を探索させる探索制御ステップとを含む制御方法。
（９）コンピュータを、所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成部と、前記特定情報を用いて、前記ロボットに前記探索範囲を探索させる探索制御部として機能させるためのプログラム。
（１０）自律型のロボットと、前記ロボットを制御する制御装置とにより構成されるロボット制御システムにおいて、前記制御装置は、所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成部と、前記特定情報を、前記ロボットに送信する送信部とを含み、前記ロボットは、前記制御装置からの前記特定情報を受信する受信部と、受信した前記特定情報に基づいて、前記探索範囲を特定する特定部と、前記ロボットに前記探索範囲を探索させように駆動される駆動部とを含むロボット制御システム。
【０４１５】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【０４１６】
[コンピュータの構成例]
図４９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０４１７】
CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２、又は記憶部５０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）５０３には、CPU５０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU５０１、ROM５０２、及びRAM５０３は、バス５０４により相互に接続されている。
【０４１８】
CPU５０１にはまた、バス５０４を介して入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、キーボード、マウス、マイクロホン等よりなる入力部５０６、ディスプレイ、スピーカ等よりなる出力部５０７が接続されている。CPU５０１は、入力部５０６から入力される指令に対応して各種の処理を実行する。そして、CPU５０１は、処理の結果を出力部５０７に出力する。
【０４１９】
入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスクからなり、CPU５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０４２０】
また、通信部５０９を介してプログラムを取得し、記憶部５０８に記憶してもよい。
【０４２１】
入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア５１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部５０８に転送され、記憶される。
【０４２２】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図４９に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア５１１、又は、プログラムが一時的もしくは永続的に格納されるROM５０２や、記憶部５０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部５０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０４２３】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４２４】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０４２５】
なお、本開示は、第１乃至第３の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０４２６】
１ ロボット制御システム, ２１ 指示装置, ２１a 表示画面, ２２ ロボット, ４１ 操作部, ４２ 制御部, ４３ 表示部, ４４ 通信部, ４５ 記憶部, ６１ 通信部, ６２ カメラ, ６３ 距離センサ, ６４ マイクロホン, ６５ スピーカ, ６６ 制御部, ６７ 駆動部, ６８ 記憶部
【技術分野】
【０００１】
本開示は、制御装置、制御方法、プログラム、及びロボット制御システムに関し、例えば、ユーザにより指定された探索範囲を自律型ロボットに探索させるようにした制御装置、制御方法、プログラム、及びロボット制御システムに関する。
【背景技術】
【０００２】
例えば、周囲の状況や、ユーザからの大まかな指示に応じて、自律的に行動（動作）する自律型ロボットが一般的なものになりつつある。
【０００３】
この自律型ロボットでは、例えば、ユーザが、商品名などを指定せずに、ペットボトル入りのお茶を持ってくるように指示を与えた場合、その指示に応じて、ペットボトル入りのお茶を探して持ってくる動作を、自律的に実行する。
【０００４】
すなわち、例えば、自律型ロボットは、複数の、ペットボトル入りのお茶を見つけた場合、自らの判断で、ユーザが所望するペットボトル入りのお茶を選択し、ユーザのところまで持ってくる。
【０００５】
なお、ユーザが、物品とその物品の移動先を指定したことに応じて、ロボットに物品を移動先に移動させる技術が存在する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２６８１４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、例えば、自律型ロボットは、自律的に行動するため、ユーザが望む探索範囲を通り過ぎて、他の範囲を探索することが生じ得る。
【０００８】
そこで、例えば、ユーザが探索範囲を指定し、指定した探索範囲を、自律型ロボットに探索させるようにすることが望ましい。
【０００９】
本開示は、このような状況に鑑みてなされたものであり、簡易な操作により、自律型ロボットによる探索範囲を指定できるようにするものである。
【課題を解決するための手段】
【００１０】
本開示の第１の側面の制御装置は、所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成部と、前記特定情報を用いて、前記ロボットに前記探索範囲を探索させる探索制御部とを含む制御装置である。
【００１１】
前記生成部では、前記ロボットに探索させる物体の属するカテゴリが前記ユーザにより指定されたことに対応して、前記カテゴリを表すカテゴリ情報も生成し、前記探索制御部では、前記カテゴリ情報も用いて、前記ロボットに、前記カテゴリに属する前記物体を、前記探索範囲で探索させることができる。
【００１２】
前記生成部では、前記ロボットの周囲を撮像して得られる撮像画像を用いて、前記ユーザにより前記探索範囲が指定されたことに対応して、前記特定情報を生成することができる。
【００１３】
前記生成部では、前記ロボットが移動する空間の空間図を用いて、前記ユーザにより前記探索範囲が指定されたことに対応して、前記特定情報を生成することができる。
【００１４】
前記生成部では、前記ユーザの発話により前記探索範囲が指定されたことに対応して、前記ユーザの発話を音声認識して得られる前記特定情報を生成することができる。
【００１５】
前記生成部では、前記ユーザの身振りにより前記探索範囲が指定されたことに対応して、前記ユーザの身振りを認識して得られる前記特定情報を生成することができる。
【００１６】
前記探索制御部では、前記特定情報を、前記ロボットに送信することにより、前記ロボットに前記探索範囲を探索させることができる。
【００１７】
本開示の第１の側面の制御方法は、制御装置の制御方法であって、前記制御装置による、所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成ステップと、前記特定情報を用いて、前記ロボットに前記探索範囲を探索させる探索制御ステップとを含む制御方法である。
【００１８】
本開示の第１の側面のプログラムは、コンピュータを、所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成部と、前記特定情報を用いて、前記ロボットに前記探索範囲を探索させる探索制御部として機能させるためのプログラムである。
【００１９】
本開示の第１の側面によれば、所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報が生成され、前記特定情報を用いて、前記ロボットに前記探索範囲を探索させる。
【００２０】
本開示の第２の側面のロボット制御システムは、自律型のロボットと、前記ロボットを制御する制御装置とにより構成されるロボット制御システムであって、前記制御装置は、所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成部と、前記特定情報を、前記ロボットに送信する送信部とを含み、前記ロボットは、前記制御装置からの前記特定情報を受信する受信部と、受信した前記特定情報に基づいて、前記探索範囲を特定する特定部と、前記ロボットに前記探索範囲を探索させように駆動される駆動部とを含むロボット制御システムである。
【００２１】
本開示の第２の側面によれば、前記制御装置により、所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報が生成され、前記特定情報が、前記ロボットに送信される。そして、前記ロボットにより、前記制御装置からの前記特定情報が受信され、受信された前記特定情報に基づいて、前記探索範囲が特定され、前記ロボットに前記探索範囲を探索させように駆動される。
【発明の効果】
【００２２】
本開示によれば、簡易な操作により、自律型ロボットによる探索範囲を指定することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本開示におけるロボット制御システムの構成例を示す図である。
【図２】複数の項目が表示された表示画面の一例を示す図である。
【図３】ロボットが行う処理の概要を説明するための図である。
【図４】物体の認識状態の一例を示す図である。
【図５】指示装置の構成例を示すブロック図である。
【図６】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１の図である。
【図７】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第２の図である。
【図８】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第３の図である。
【図９】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第４の図である。
【図１０】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第５の図である。
【図１１】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第６の図である。
【図１２】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第７の図である。
【図１３】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第８の図である。
【図１４】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第９の図である。
【図１５】物体のスコアの変化を矢印で表示する場合の一例を示す第１の図である。
【図１６】物体のスコアの変化を矢印で表示する場合の一例を示す第２の図である。
【図１７】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１０の図である。
【図１８】指示装置が行う表示処理を説明するためのフローチャートである。
【図１９】ロボットの構成例を示すブロック図である。
【図２０】物体の認識状態の遷移の一例を示す状態遷移図である。
【図２１】物体の認識状態に応じて、ロボット認識情報を生成する生成方法を説明するための図である。
【図２２】ロボットが行うスコア計算処理を説明するためのフローチャートである。
【図２３】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１１の図である。
【図２４】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１２の図である。
【図２５】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１３の図である。
【図２６】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１４の図である。
【図２７】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１５の図である。
【図２８】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１６の図である。
【図２９】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１７の図である。
【図３０】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１８の図である。
【図３１】ユーザによるフィードバック操作を説明するための図である。
【図３２】フィードバック操作に応じて、物体の認識状態が遷移する様子の一例を示す図である。
【図３３】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第１９の図である。
【図３４】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第２０の図である。
【図３５】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第２１の図である。
【図３６】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第２２の図である。
【図３７】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第２３の図である。
【図３８】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第２４の図である。
【図３９】指示装置が行うフィードバック処理を説明するためのフローチャートである。
【図４０】ロボットが行うスコア再計算処理を説明するためのフローチャートである。
【図４１】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第２５の図である。
【図４２】ロボットからの情報に基づく表示が表示された表示画面の一例を示す第２６の図である。
【図４３】未検出とされた認識状態を、他の状態に遷移させる場合の一例を示す図である。
【図４４】撮像画像を用いて、探索範囲又は物体を指定する場合の一例を示す図である。
【図４５】室内の空間図を用いて、探索範囲を指定する場合の一例を示す図である。
【図４６】ロボットから指示装置に送信される撮像画像のデータ量を少なくする場合の一例を示す図である。
【図４７】指示装置が行う領域指定処理を説明するためのフローチャートである。
【図４８】ロボットが行う探索処理を説明するためのフローチャートである。
【図４９】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、本開示における実施の形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（ロボットの行動を予測するための情報を、指示装置の表示画面に表示する場合の一例）
２．第１の実施の形態の変形例
３．第２の実施の形態（指示装置を用いて、ユーザによるフィードバックをロボットに与える場合の一例）
４．第２の実施の形態の変形例
５．第３の実施の形態（指示装置を用いて、ロボットの探索範囲を指定する場合の一例）
【００２５】
＜１．第１の実施の形態＞
[ロボット制御システムの構成例]
図１は、第１の実施の形態であるロボット制御システム１の構成例を示している。
【００２６】
このロボット制御システム１は、表示画面２１aを有する指示装置２１、及び自律型ロボット２２から構成される。
【００２７】
指示装置２１は、ユーザの操作に応じて、ロボット２２に所望の行動（例えば、所定の物体をユーザのところまで持ってくるという行動）をとらせるための指示情報を生成し、無線通信等により、ロボット２２に送信する。
【００２８】
すなわち、例えば、指示装置２１は、図２に示されるように、ユーザにより選択可能な複数の項目「お茶」、「炭酸飲料」、「お菓子」、，，，を、表示画面２１aに表示させる。
【００２９】
ユーザは、図２に示されるような表示画面２１aを参照して、複数の項目の中から、ロボット２２に持ってきて欲しい物体の項目を選択（指定）する。なお、表示画面２１aには、項目として、例えば、ロボット２２に持ってきて欲しい物体のカテゴリが表示される。
【００３０】
これに対応して、指示装置２１は、ユーザに選択された項目としてのカテゴリ（例えば、「お茶」等）に属する物体をターゲットとして、ユーザのところまで持ってこさせるための指示情報を生成し、無線通信等により、ロボット２２に送信する。なお、指示情報には、ユーザに選択された項目としてのカテゴリを表すカテゴリ情報が含まれる。
【００３１】
ロボット２２は、指示装置２１からの指示情報に基づいて、ユーザに選択された項目としてのカテゴリに属する物体をターゲットとして探す動作を、自律的に実行する。
【００３２】
なお、ロボット２２に指示を与える方法は、指示装置２１を用いた上述の方法に限定されず、その他、例えば、ロボット２２が、音声認識によりユーザの音声を認識可能である場合には、ユーザが、ターゲット等を音声により指示することができる。
【００３３】
この場合、ロボット２２は、ユーザからの指示を、音声として認識し、その認識結果に基づいて、ユーザに指示されたターゲットを探す動作を、自律的に実行することとなる。また、例えば、ロボット２２が、ユーザのジェスチャやポスチャ等を認識可能である場合には、ユーザが、ジェスチャやポスチャ等により、ターゲット等を指示することができる。
【００３４】
ロボット２２は、周囲の状況や、ユーザからの大まかな指示（例えば、「お茶」持ってきて欲しいという大まかな指示）などに基づいて、自律的に各種の行動を行う２足歩行型のロボットである。
【００３５】
ロボット２２は、外部からの刺激を感知するセンサとして、音を感知する「耳」に相当するマイクロホン、及び光を感知する「目」に相当するカメラ等が、それぞれ所定の位置に設けられている。なお、ロボット２２の詳細は、図１９を参照して後述する。
【００３６】
次に、図３は、ロボット２２が行う処理の概要を示している。
【００３７】
図３には、ロボット２２の周囲を撮像して得られる周囲画像３１、ロボット２２によりターゲットであると認識されている物体を表す物体画像３２、ロボット２２によりターゲットではないと認識されている物体を表す物体画像３３、ロボット２２によりターゲットであるかもしれないと認識されている物体を表す物体画像３４、ロボット２２の撮像により得られた撮像画像の一部分を表す部分画像３５が示されている。
【００３８】
なお、ロボット２２は、例えば、ユーザが居住する部屋３６内を自律的に移動して、ターゲットを探索する。
【００３９】
ロボット２２は、ターゲットの探索中に、内蔵するカメラの撮像により得られた周囲画像３１や、部分画像３５を、適宜、指示装置２１に送信する。なお、周囲画像３１や部分画像３５は、ユーザが、指示装置２１を用いて、ロボット２２の探索範囲を指定する場合に用いられる。このことは、主に、図４３乃至図４７を参照して説明する。
【００４０】
また、ロボット２２は、部屋３６内を移動して、内蔵するカメラにより、物体を撮像して得られる撮像画像に基づいて、その物体が、ターゲットである度合いを表すスコア、つまり、ロボット２２の処理対象とされる度合いを表すスコアを計算する。なお、スコアの計算には、物体がターゲットであるか否かを識別するための識別器（を表す関数）が用いられる。
【００４１】
そして、ロボット２２は、物体のスコアに基づいて、物体の認識状態を決定する。なお、以下では、ロボット２２は、内蔵のカメラにより得られる画像を、スコアの計算に用いたり、指示装置２１に送信するものとして説明する。
【００４２】
しかしながら、スコアの計算に用いる画像や、指示装置２１に送信するための画像は、ロボット２２に内蔵のカメラにより得られる画像に限定されず、例えば、部屋３６の天井等に設置されたカメラにより得られる画像を採用することができる。この場合、部屋３６の天井等に設置されたカメラは、撮像により得られる画像を、ロボット２２に無線通信により送信するものとなる。
【００４３】
次に、図４は、認識状態の一例を示している。
【００４４】
図４Aは、ロボット２２の認識状態が、「ターゲットである」及び「ターゲットではない」の２種類である場合を示している。
【００４５】
図４Bは、ロボット２２の認識状態が、「ターゲットである」、「まだ分からない」、「ターゲットではない」の３種類である場合を示している。
【００４６】
図４Cは、ロボット２２の認識状態が、「ターゲットである」、「ターゲットかもしれない」、「まだ分からない」、及び「ターゲットではない」の４種類である場合を示している。
【００４７】
なお、第１の実施の形態では、ロボット２２は、図４Cに示されるように、４種類の認識状態のいずれかとして認識するものとする。
【００４８】
ロボット２２は、例えば、物体のスコアが閾値th1以上である場合、その物体を、「ターゲットである」ものとして認識し、物体のスコアが閾値th1未満であり、閾値th2（<th1）以上である場合、「ターゲットかもしれない」と認識する。
【００４９】
また、ロボット２２は、例えば、物体のスコアが閾値th2未満であり、閾値th3（<th2）以上である場合、その物体を、ターゲットであるか否か「まだ分からない」ものとして認識し、物体のスコアが閾値th3未満である場合、「ターゲットではない」ものとして認識する。
【００５０】
ここで、閾値th1乃至th3は、予め決められてロボット２２に保持されているものとする。なお、ロボット２２は、物体の認識情報を決定するために、スコアと閾値とを比較するようにしているが、認識情報の決定方法は、これに限定されない。
【００５１】
図３に戻り、ロボット２２は、例えば、物体「ABC お茶」のスコアが閾値th1以上であると判定した場合、指示装置２１の表示画面２１aに、物体「ABC お茶」が、「ターゲットである」ものと認識している旨を表示させる。
【００５２】
すなわち、例えば、指示装置２１の表示画面２１aには、図３に示されるように、物体「ABC お茶」を表す物体画像３２が、例えば、太線の矩形で囲まれた状態で表示される。この太線の矩形は、ロボット２２が、物体「ABC お茶」を「ターゲットである」と認識していることを表すものである。
【００５３】
また、例えば、ロボット２２は、例えば、図３に示されるように、物体「犬型のロボット」のスコアが閾値th3未満であると判定した場合、指示装置２１の表示画面２１aに、物体「犬型のロボット」が、「ターゲットではない」ものと認識している旨を表示させる。
【００５４】
すなわち、例えば、指示装置２１の表示画面２１aには、図３に示されるように、物体「犬型のロボット」を表す物体画像３３が、例えば、斜線が付加された状態で表示される。この斜線は、ロボット２２が、物体「犬型のロボット」を「ターゲットでなない」ものと認識していることを表すものである。
【００５５】
さらに、例えば、ロボット２２は、例えば、図３に示されるように、物体「オレンジジュース」のスコアが閾値th1未満であり、閾値th2以上であると判定した場合、指示装置２１の表示画面２１aに、物体「オレンジジュース」が、「ターゲットかもしれない」と認識している旨を表示させる。
【００５６】
すなわち、例えば、指示装置２１の表示画面２１aには、図３に示されるように、オレンジジュースと記載されたペットボトルを表す物体画像３４が、例えば、細線の矩形で囲まれた状態で表示される。この細線の矩形は、ロボット２２が、物体「オレンジジュース」を、「ターゲットかもしれない」と認識していることを表すものである。
【００５７】
また、例えば、ロボット２２は、所定の物体のスコアが閾値th2未満であり、閾値th3以上であると判定した場合、指示装置２１の表示画面２１aに、所定の物体が、ターゲットであるか否か「まだ分からない」ものとして認識している旨を表示させる。
【００５８】
すなわち、例えば、指示装置２１の表示画面２１aには、所定の物体を表す物体画像が、例えば、そのままの状態（矩形で囲まれたり、斜線が付加されない状態）で表示される。そのままの状態で物体画像が表示される場合、ロボット２２が、所定の物体を、ターゲットであるか否か「まだ分からない」ものとして認識していることを表すものである。
【００５９】
このように、指示装置２１の表示画面２１aには、ロボット２２が認識している情報を表示させるようにしているので、ユーザは、ロボット２２の行動を容易に予測できるようになる。
【００６０】
なお、表示方法は、これに限定されず、ユーザが、ロボット２２の行動を、直感的に理解できるような表示方法であれば、どのような表示方法であってもよい。
【００６１】
また、ユーザは、表示画面２１aを参照することにより、ターゲットとして好ましくない物体がターゲットとして認識されていると判断した場合、その物体はターゲットでない旨のフィードバック操作を、指示装置２１に対して行うことができる。
【００６２】
この場合、ロボット２２は、ユーザのフィードバック操作に応じて、物体のスコアを再計算し、再計算して得られたスコアに基づいて、自律的に行動する。なお、ユーザのフィードバック操作については、主に、図３１乃至図４２を参照して後述する。
【００６３】
[指示装置２１の構成例]
次に、図５は、指示装置２１の構成例を示している。
【００６４】
この指示装置２１は、操作部４１、制御部４２、表示画面２１aを有する表示部４３、通信部４４、及び記憶部４５から構成される。
【００６５】
操作部４１は、操作キーや操作ボタン等により構成され、例えば、ユーザが、ロボット２２に指示を与える場合等に、ユーザにより操作される。操作部４１は、ユーザに操作されたことに対応して、ユーザの操作に対応する操作信号を制御部４２に供給する。
【００６６】
制御部４２は、通信部４４からのロボット認識情報に基づいて、物体画像を含むロボット認識画像を生成し、表示部４３に供給して表示画面２１aに表示させる。なお、ロボット認識情報には、表示画面２１aの表示に必要な情報として、例えば、物体のスコア等が含まれる。また、表示画面２１aの表示例は、図６乃至図１７を参照して後述する。
【００６７】
また、制御部４２は、操作部４１からの操作信号に応じて、指示情報や、フィードバック情報、指定範囲情報を生成し、通信部４４に供給する。
【００６８】
ここで、フィードバック情報とは、指示装置２１において、ユーザのフィードバックの内容を表す情報をいう。
【００６９】
ユーザは、操作部４１を用いて、例えば、ロボット２２が「ターゲットである」と認識している物体が、ターゲットではない旨のフィードバック操作を行うことができる。このことは、図３１乃至図４２を参照して詳述する。
【００７０】
また、指定範囲情報とは、例えば、指示装置２１の表示画面２１aに表示された周囲画像３１や部分画像３５上の全領域のうち、ユーザの領域指定操作により指定された領域の位置を表す。
【００７１】
ユーザは、操作部４１を用いて、例えば、周囲画像３１や部分画像３５上の全領域のうち、ロボット２２がターゲットを探索する探索範囲を指定する領域指定操作を行うことができる。このことは、図４３乃至図４７を参照して詳述する。
【００７２】
制御部４２は、通信部４４からのロボット認識情報を、記憶部４５に供給して記憶させる。
【００７３】
表示部４３は、制御部４２からの制御にしたがって、表示画面２１aに画像を表示する。
【００７４】
なお、指示装置２１では、表示部４３を含めるように構成しているが、その他、例えば、表示部４３を指示装置２１に含めないように構成することができる。この場合、制御部４２と、外部に設けられた表示部４３とは、ケーブル等で接続されるものとなる。
【００７５】
通信部４４は、ロボット２２から送信されるロボット認識情報を受信し、制御部４２に供給する。また、通信部４４は、制御部４２からの指示情報や、フィードバック情報、指定範囲情報を、無線通信等を用いてロボット２２に送信する。
【００７６】
記憶部４５は、例えば、制御部４２により実行される制御用プログラム等を予め記憶している。また、例えば、記憶部４５は、制御部４２からのロボット認識情報を記憶する。
【００７７】
[表示画面２１aの表示例]
次に、図６乃至図１４は、指示装置２１が、ロボット２２からのロボット認識情報に基づいて、ロボット認識画像を表示した場合の表示画面２１aの一例を示している。
【００７８】
ロボット２２は、指示装置２１からの指示情報に基づいて、物体「お茶」を持ってくるように指示された場合、物体「お茶」を探しに出かける。
【００７９】
ロボット２２は、室内を探索しているが、まだ物体を検知していないため、指示装置２１には、ロボット２２からロボット認識情報が何も送信されない。
【００８０】
したがって、制御部４２は、図６に示されるように、例えば、何も写っていないロボット認識画像を、表示画面２１aに表示させる。
【００８１】
ロボット２２は、部屋３６の室内を撮像して得られる撮像画像から、物体「鳥の置物」を検知した場合、その撮像画像から、物体「鳥の置物」を表す物体画像５１を抽出し、ロボット認識情報に含めて、通信部４４に送信する。
【００８２】
これに対して、通信部４４は、ロボット２２からのロボット認識情報を、制御部４２に供給する。制御部４２は、通信部４４からのロボット認識情報に含まれる物体画像５１を、表示部４３に供給して表示画面２１aに表示させる。
【００８３】
これにより、表示画面２１aには、図７に示されるように、物体画像５１が、図中左側に表示される。このため、ユーザは、ロボット２２が、鳥の置物を物体として検知したことを容易に予測することができる。
【００８４】
ロボット２２は、物体「鳥の置物」がターゲットであるか否かを識別するために、物体「鳥の置物」に近づくように行動する。そして、ロボット２２は、物体「鳥の置物」を近くで撮像して得られた撮像画像から、「鳥の置物」を表す物体画像５１を抽出し、ロボット認識情報に含めて、通信部４４に送信する。
【００８５】
これに対して、通信部４４は、ロボット２２からのロボット認識情報を、制御部４２に供給する。制御部４２は、通信部４４からのロボット認識情報に含まれる物体画像５１を、表示部４３に供給して表示画面２１aに表示させる。
【００８６】
これにより、表示画面２１aには、図８に示されるように、図７の場合よりも大きな物体画像５１が、図中左側に表示される。なお、ロボット２２は、まだ物体「鳥の置物」のスコアを計算してないため、物体「鳥の置物」がターゲットであるか否か「まだ分からない」ものとして認識している。したがって、図８において、物体画像５１は、そのままの状態（矩形で囲まれたり、斜線が付加されない状態）で表示される。
【００８７】
ロボット２２は、物体「鳥の置物」を近くで撮像して得られる撮像画像から、物体「鳥の置物」のスコアを計算する。そして、ロボット２２は、計算したスコアに基づいて、物体「鳥の置物」が「ターゲットではない」と認識した場合、「ターゲットではない」旨を表す認識状態（を表す情報）を含むロボット認識情報を、通信部４４に送信する。
【００８８】
これに対して、通信部４４は、ロボット２２からのロボット認識情報を、制御部４２に供給する。制御部４２は、通信部４４からのロボット認識情報に含まれる認識状態に基づいて、斜線が付加された物体画像５１を生成し、表示部４３に供給して表示画面２１aに表示させる。
【００８９】
これにより、表示画面２１aには、図９に示されるように、斜線が付加された物体画像５１が表示される。
【００９０】
なお、物体画像５１に付加された斜線は、物体画像５１上の物体「鳥の置物」が、「ターゲットではない」ものとして、ロボット２２に認識されていることを表す。
【００９１】
このため、ユーザは、ロボット２２が、物体画像５１上の「鳥の置物」を「ターゲットではない」と認識していることを容易に予測することができる。
【００９２】
ロボット２２は、室内を撮像して得られる撮像画像から、物体「十八茶」を検知した場合、その撮像画像から、物体「十八茶」を表す物体画像５２を抽出する。
【００９３】
ロボット２２は、抽出した物体画像５２を含むロボット認識情報を、通信部４４に送信する。
【００９４】
これに対して、通信部４４は、ロボット２２からのロボット認識情報を、制御部４２に供給する。制御部４２は、通信部４４からのロボット認識情報に含まれる物体画像５２を、表示部４３に供給して表示画面２１aに表示させる。
【００９５】
これにより、表示画面２１aには、図１０に示されるように、図中左側に、ロボット２２により検知された物体「十八茶」の物体画像５２が表示される。このため、ユーザは、ロボット２２が、物体「十八茶」を検知したことを、容易に予測することができる。
【００９６】
また、ロボット２２は、物体「十八茶」の近くで撮像して得られる撮像画像から、物体「十八茶」のスコアを計算する。そして、ロボット２２は、計算したスコアに基づいて、物体「十八茶」が「ターゲットである」ものと認識した場合、物体「十八茶」が「ターゲットである」旨を表す認識状態を含むロボット認識情報を、通信部４４に送信する。
【００９７】
これに対して、通信部４４は、ロボット２２からのロボット認識情報を、制御部４２に供給する。制御部４２は、通信部４４からのロボット認識情報に基づいて、矩形で囲まれるとともに、三角印で指し示された物体画像５２、及び斜線が付加された物体画像５１を生成し、表示部４３に供給して表示画面２１aに表示させる。
【００９８】
これにより、表示画面２１aには、図１１に示されるように、太線の矩形で囲まれ、三角印（図１１に示される▲）で指し示された物体画像５２が図中左側に表示され、斜線の付加された物体画像５１が、物体画像５２よりも右側に表示される。
【００９９】
なお、物体画像５２を囲む太線の矩形は、物体画像５２の物体「十八茶」が、「ターゲットである」ものとして、ロボット２２に認識されていることを表す。また、物体画像５２を指し示す三角印は、ロボット２２が、物体画像５２の物体「十八茶」を持って帰ろうと思っていることを表す。
【０１００】
さらに、いまの場合、制御部４２は、物体のスコアが高い順序で、表示画面２１aの左側から右方向に、その物体を表す物体画像を表示するようにしている。
【０１０１】
また、物体画像の表示位置は、物体のスコアに応じた位置とされている。したがって、例えば、第１の物体画像と、第２の物体画像との表示間隔は、第１の物体画像と第２の物体画像それぞれの物体のスコアの差を表すものとなる。
【０１０２】
このため、ユーザは、物体画像が表示される、表示画面２１a上の位置に応じて、物体画像が表す物体のスコアを直感的に把握することができる。
【０１０３】
図１１に示されるような表示画面２１aからは、ロボット２２が、物体「十八茶」を持ってくる動作を実行することを容易に予測することができる。
【０１０４】
また、ロボット２２は、自律的に移動し、内蔵するカメラの撮像により得られる撮像画像から、新たな物体を検知した場合、上述した場合と同様にして、ロボット認識情報を生成し、通信部４４に送信する。
【０１０５】
これに対して、制御部４２は、通信部４４からのロボット認識情報に基づいて、表示部４３に供給して表示画面２１aに表示させる。
【０１０６】
このように、制御部４２は、ロボット２２から、通信部４４を介して送信されるロボット認識情報に基づいて、表示画面２１aの表示を更新することとなる。
【０１０７】
すなわち、例えば、表示画面２１aは、その後、ロボット２２の行動に応じて、図１２に示されるように、物体「ABC お茶」を表す物体画像５３が新たに表示されたものに更新される。また、表示画面２１aは、ロボット２２の行動に応じて、図１３に示されるように、物体「C炭酸ジュース」を表す物体画像５４、及び物体「USBメモリ」を表す物体画像５５が新たに表示されたものに更新される。さらに、例えば、表示画面２１aは、ロボット２２の行動に応じて、図１４に示されるように、スコアに応じて、各物体画像の位置が変更されたものに更新される。
【０１０８】
なお、図１４の表示画面２１aでは、図１３に示した表示画面２１aで表示されている物体画像５１が、表示されないものとなっている。
【０１０９】
図１４においては、表示画面２１aの左側に表示されるほどに、物体のスコアが高いものとなっており、物体画像を表示する位置によって、物体のスコアを表すようにしている。
【０１１０】
このため、物体画像５２乃至５５を、対応する各物体のスコアに応じた位置で表示させる場合、表示画面２１aや物体画像の大きさに起因して、物体画像５１を表示できない。
【０１１１】
なお、図１４において、物体画像５１の物体「鳥の置物」のスコアは、物体画像５５の物体「USBメモリ」のスコアよりも十分に小さいものとする。
【０１１２】
また、図１４において、物体画像５３の物体「ABC お茶」のスコアは、物体画像５２の物体「十八茶」のスコアよりも小さいものとなっている。
【０１１３】
しかしながら、三角印は、物体画像５３の物体「ABC お茶」を指し示しており、ロボット２２は、物体「ABC お茶」を持って帰ろうとしている。これは、ロボット２２が、物体のスコアのみならず、物体が存在する位置や、ユーザの好みを加味して、持って帰ろうとする物体を決定することによる。
【０１１４】
ところで、第１の実施の形態では、図６乃至図１４に示したように、物体のスコアが高い順序で、表示画面２１aの左側から右方向に並べて表示させるようにした。しかしながら、右方向の他、任意の方向（例えば、右側から左方向）に表示させることができる。
【０１１５】
また、例えば、第１の実施の形態では、図６乃至図１４に示したように、物体のスコアが高い順序で任意の方向に並べて表示するとともに、物体のスコアに応じた位置に、物体画像を表示させるようにしている。
【０１１６】
しかしながら、表示画面２１aには、スコアの順序のみを用いて、物体画像を表示するようにしてもよい。その他、例えば、表示画面２１aには、スコアの順序を用いずに、物体のスコアに応じた位置で、物体画像を表示させることができる。
【０１１７】
また、例えば、物体のスコアに応じて、物体画像の順序、位置、大きさ、明るさ（輝度等）、鮮明度、又は色の少なくとも１つを変更して表示するようにしてもよい。
【０１１８】
さらに、例えば、物体のスコアを、物体画像に対応付けて表示させるようにしてもよい。なお、スコアは、例えば、棒グラフや、円グラフで表示することができる。スコアの表示として、円グラフを用いる場合、現在、最もスコアが高い物体のスコアに対するパーセンテージを、円グラフとして表示するようにしてもよい。
【０１１９】
また、例えば、表示画面２１aにおいて、物体のスコアの変化を、矢印等で表示するようにしてもよい。
【０１２０】
具体的には、例えば、図１５に示されるように、物体画像５４に対応する物体「C炭酸ジュース」のスコアが増加するように変化している場合、表示画面２１aにおいて、物体画像５４に対応付けて、物体「C炭酸ジュース」のスコアの増加を示す白色の矢印を表示する。
【０１２１】
また、例えば、図１５に示されるように、物体画像５２に対応する物体「十八茶」のスコアが減少するように変化している場合、表示画面２１aにおいて、物体画像５２に対応付けて、物体「十八茶」のスコアの減少を示す黒色の矢印を表示する。
【０１２２】
さらに、例えば、図１５に示されるように、物体画像５５に対応する物体「USBメモリ」のスコアが減少するように変化している場合、表示画面２１aにおいて、物体画像５５に対応付けて、物体「USBメモリ」のスコアの減少を示す黒色の矢印を表示する。
【０１２３】
表示画面２１aにおいて、図１５に示されるような内容が表示される場合、ユーザは、ロボット２２が、物体「十八茶」ではなく、物体「C炭酸ジュース」を間違えて持ってくることを予測できる。この場合、ロボット２２が、物体「C炭酸ジュース」を間違えて持ってくる前に、ユーザは、例えば、物体「十八茶」を持ってくるように明確に指示を与えるようにすることができる。
【０１２４】
また、表示画面２１aにおいて、図１６に示されるような内容が表示される場合、ロボット２２が、ユーザの所望する物体「十八茶」を持ってくることを予測できる。この場合、ユーザは、ロボット２２に指示を与えることなく、ロボット２２が物体「十八茶」を持ってくるまで、仕事等に集中することができる。なお、図１６は、図１５と同様に構成されているため、図１６の説明は省略する。
【０１２５】
さらに、例えば、表示画面２１aにおいて、物体のスコアの変化を、矢印等に代えて、棒グラフや、折れ線グラフで表示させるようにしてもよい。その他、例えば、物体のスコアの変化とともに、又は物体のスコアの変化に代えて、スコアの履歴も表示してもよい。
【０１２６】
スコアの変化や履歴を表示する場合、ユーザは、表示画面２１aを参照することにより、物体のスコアの変化や履歴を把握できるようになるので、スコアの順位の変動を容易に予測でき、ひいては、ロボット２２の行動を先立って予測することができるようになる。
【０１２７】
なお、これらの表示は、制御部４２が、記憶部４５に記憶させたロボット認識情報を参照することにより実現される。
【０１２８】
また、指示装置２１において、スコアの順位の変動が生じたときには、音を鳴らしたり、振動したり、ランプを点滅させるようにして、その旨をユーザに通知することができる。
【０１２９】
ところで、第１の実施の形態では、図６乃至図１４に示したように、ロボット２２により、「ターゲットである」ものとして認識された物体の物体画像を、太線の矩形で囲み、「ターゲットかもしれない」と認識された物体の物体画像をそのままの状態で表示する。
【０１３０】
また、例えば、ロボット２２により、ターゲットであるか否か「まだ分からない」と認識された物体の物体画像を、細線の矩形で囲み、「ターゲットではない」と認識された物体の物体画像を、斜線を付加した状態で表示するようにした。
【０１３１】
しかしながら、それぞれの認識状態を表す表示方法は、矩形や斜線等に限定されない。
【０１３２】
また、例えば、認識状態を表す表示方法と、物体のスコアを表す表示方法とを併用して用いる他、認識状態を表す表示方法と、物体のスコアを表す表示方法との一方のみを用いて、表示画面２１aに表示するようにしてもよい。
【０１３３】
次に、図１７は、表示画面２１a上の物体画像に対して、ユーザの選択操作が行われたことに対応して、選択された物体画像の詳細情報を表示する場合の一例を示している。
【０１３４】
図１７に示される表示画面２１aには、主に、物体「十八茶」（ペットボトル）の底部分を表す物体画像５２a、及び物体「十八茶」の詳細情報として、物体「十八茶」をそれぞれ他の方向から撮像して得られた物体画像５２b乃至５２eが表示されている。
【０１３５】
ロボット２２は、例えば、表示画面２１aに表示される物体画像として、物体を撮像して得られる最新の撮像画像から、物体画像を抽出し、ロボット認識情報に含めて、指示装置２１に送信するようにしている。
【０１３６】
なお、ロボット２２は、ロボット認識情報に含める物体画像としては、最新の撮像画像から抽出した物体画像の他、物体が写っている複数の撮像画像のうち、最も解像度の高い撮像画像から抽出した物体画像を採用することができる。
【０１３７】
また、ロボット認識情報に含める物体画像としては、複数の物体画像のうち、ロボット２２により、物体の全体をよく表している抽出画像を採用してもよいし、典型的な抽出画像を採用してもよい。なお、典型的な抽出画像としては、例えば、物体を斜め上４５度から撮像した場合の抽出画像が考えられる。
【０１３８】
例えば、ロボット２２が、過去の撮像により、物体画像５２b乃至５２eを一部分に含む撮像画像を取得しているものの、最新の撮像により、物体画像５２aを一部分に含む撮像画像を取得している場合、物体「十八茶」の底部分が写る物体画像５２aを含むロボット認識画像が、指示装置２１に送信される。
【０１３９】
そして、指示装置２１では、図１７に示されるように、物体「十八茶」の底部分が写る物体画像５２aが、表示画面２１aに表示されることとなる。この場合、ユーザは、表示画面２１aに表示された物体画像５２aを見て、物体画像５２aが表す物体が「十八茶」であると理解できないことが生じ得る。
【０１４０】
そこで、ロボット２２は、物体画像５２aの他、物体画像５２b乃至５２eも含むロボット認識情報を、指示装置２１の通信部４４に送信するようにしている。この場合、通信部４４はロボット２２からのロボット認識情報を、制御部４２に供給する。
【０１４１】
制御部４２は、通信部４４からのロボット認識情報に基づいて、表示部４３の表示画面２１aに、図１７に示されるように、図中左側から、物体「スティックのり」の物体画像、物体「十八茶」の物体画像５２a、及び物体「財布」の物体画像を表示させる。
【０１４２】
また、制御部４２は、通信部４４からのロボット認識情報を、記憶部４５に供給して保持させる。
【０１４３】
指示装置２１において、ユーザが、操作部４１を用いて、表示画面２１a上の物体画像５２aを選択する選択操作を行った場合、操作部４１は、ユーザの選択操作に対応する操作信号を、制御部４２に供給する。
【０１４４】
そして、制御部４２は、操作部４１からの操作信号に応じて、記憶部４５に保持済みのロボット認識情報に含まれる物体画像５２b乃至５２eを読み出し、表示部４３に供給して表示画面２１aを表示させる。
【０１４５】
これにより、表示画面２１aには、図１７に示されるように、物体「十八茶」の詳細情報として、物体画像５２b乃至５２eが、表示画面２１aに表示される。
【０１４６】
このため、ユーザは、物体画像５２aから、物体画像５２a上の物体を把握できない場合でも、ユーザの選択操作に応じて表示される物体画像５２b乃至５２eにより、物体画像５２aに写る物体が「十八茶」であることを容易に把握できる。
【０１４７】
なお、制御部４２は、その他、例えば、操作部４１からの操作信号に応じて、ユーザの選択操作が行われた場合、物体画像５２aを拡大したものを、詳細情報として表示させるようにすることができる。この場合、例えば、制御部４２は、記憶部４５に保持済みのロボット認識情報に含まれる物体画像５２aを読み出し、所定の拡大率で拡大させて、表示画面２１aに表示させる。
【０１４８】
その他、例えば、制御部４２は、物体画像５２aの詳細情報として、物体画像５２a上の物体「十八茶」が検知された３次元位置を、表示画面２１aに表示させるようにしてもよい。この場合、記憶部４５には、物体画像５２aとともに、物体画像５２a上の物体「十八茶」の３次元位置も含むロボット認識情報が記憶されているものとする。
【０１４９】
ところで、指示装置２１が、例えば、操作部４１としてマウスが接続されたパーソナルコンピュータである場合、ユーザは、マウスを用いて、表示画面２１a上の物体画像５２a上に、カーソル等を移動させるようにして、物体画像５２aを選択する選択操作（マウスオーバー）を行うこととなる。
【０１５０】
なお、表示画面２１aには、複数の物体画像のうち、表示画面２１aの画面サイズに応じた所定枚数の物体画像のみが表示される。このため、表示画面２１aには、スコアが十分に高い物体画像や、スコアが上位n番までの物体画像、「ターゲットである」又は「ターゲットかもしれない」の少なくとも一方とされた物体画像のみを表示させるようにしている。
【０１５１】
したがって、表示画面２１aには表示されない物体画像が存在するため、ユーザの操作に応じて、そのような物体画像を、表示画面２１aに表示できるように構成することが望ましい。
【０１５２】
すなわち、例えば、ユーザは、マウスに設けられたスクロールボタンを回転させるスクロール操作を行うようにして、表示画面２１aに表示される各物体画像を縮小させ、表示画面２１aにより多くの物体画像を表示させることができる。
【０１５３】
この場合、制御部４２は、操作部４１から、スクロール操作に対応する操作信号が供給されたことに対応して、記憶部４５に保持済みのロボット認識情報を読み出す。そして、制御部４２は、読み出したロボット認識情報に基づいて、スクロール操作に応じて縮小された各物体画像を生成し、表示部４３に供給して表示画面２１aに表示させる。
【０１５４】
また、例えば、ユーザは、スクロール操作により、表示画面２１aに表示される各物体画像を拡大させ、表示画面２１aにより少ない物体画像を表示させることができる。
【０１５５】
さらに、表示画面２１aは、例えば、その中央に、スコアx1の物体画像を表示させ、スコアx1よりも大きなスコアの物体画像を、左側に表示させ、スコアx1よりも小さなスコアの物体画像を、右側に表示させる。
【０１５６】
表示画面２１aでは、ユーザ操作に応じて、スコアx1よりも小さなスコアx2(<x1)の物体画像を、表示画面２１aの中央に表示させ、スコアx2よりも大きなスコアの物体画像を、左側に表示させ、スコアx2よりも小さなスコアの物体画像を、右側に表示させることができる。
【０１５７】
すなわち、例えば、ユーザが、カーソル等を、スコアx2の物体画像が表示された位置に移動させ、その位置を、表示画面２１aの中央の位置とするように操作部４１を操作した場合、制御部４２において、表示画面２１aの中央の位置に、スコアx2の物体画像を表示させるようなロボット認識画像が生成され、表示部４３の表示画面２１aに表示されることとなる。
【０１５８】
なお、例えば、ユーザが、スコアx1の物体画像を表示させる位置を、表示画面２１aの中央とするように、操作部４１を操作した場合、表示画面２１aの表示は、その中央に、スコアx1の物体画像が表示される元の表示とされる。
【０１５９】
また、例えば、ユーザが、操作部４１を用いて、表示画面２１a上の全領域のうち、所定の領域を拡大して表示させるための拡大操作を行った場合、表示画面２１aにおける所定の領域が拡大して表示される。
【０１６０】
[指示装置２１がロボット認識画像を表示する場合の動作説明]
次に、図１８のフローチャートを参照して、指示装置２１が行う表示処理を説明する。
【０１６１】
この表示処理は、例えば、ロボット２２からロボット認識情報が送信されたときに開始される。
【０１６２】
ステップＳ２１において、通信部４４は、制御部４２からの制御にしたがって、ロボット２２からのロボット認識情報を受信し、制御部４２に供給する。
【０１６３】
ステップＳ２２において、制御部４２は、通信部４４からのロボット認識情報に基づいて、ロボット認識画像を生成し、表示部４３に供給して表示画面２１aに表示させる。
【０１６４】
また、制御部４２は、通信部４４からのロボット認識情報を、記憶部４５に供給して記憶させる。
【０１６５】
ステップＳ２３において、制御部４２は、操作部４１から、ユーザによる選択操作に対応する操作信号が供給されたか否かに応じて、ユーザによる選択操作が行われたか否かを判定する。
【０１６６】
そして、ステップＳ２３では、制御部４２は、ユーザによる選択操作が行われていないと判定した場合、処理をステップＳ２１に戻し、それ以降同様の処理を繰り返す。
【０１６７】
また、ステップＳ２３において、制御部４２は、操作部４１から、ユーザによる選択操作に対応する操作信号が供給されたか否かに応じて、ユーザによる選択操作が行われたと判定した場合、処理をステップＳ２４に進める。いまの場合、例えば、図１７に示される撮像画像５２aの詳細情報を表示させるための選択操作が行われたものとする。
【０１６８】
この場合、ステップＳ２４において、制御部４２は、記憶部４５に記憶されているロボット認識情報を読み出し、読み出したロボット認識情報に含まれる物体画像５２b乃至５２eを、表示部４３に供給して表示画面２１aに表示させる。その後、処理はステップＳ２１に戻され、それ以降、同様の処理が行われる。なお、この表示処理は、例えば、ロボット２２からロボット認識情報が送信されなくなったときに終了される。
【０１６９】
以上説明したように、表示処理によれば、ロボット２２からのロボット認識情報に基づいて、図６乃至図１７に示されるような表示画面２１aを表示させるようにしたので、ロボット２２の行動を容易に予測することが可能となる。
【０１７０】
また、表示処理によれば、ステップＳ２３において、例えば、図１７の物体画像５２aを選択する選択操作が行われたことに対応して、ステップＳ２４において、物体画像５２aに写る物体を、他の方向から見た場合の物体画像５２b乃至５２eを表示させるようにした。
【０１７１】
このため、ユーザは、表示画面２１aに表示された物体画像の物体を、より正確に把握することができる。
【０１７２】
[ロボット２２の構成例]
次に、図１９は、ロボット２２の構成例を示している。
【０１７３】
このロボット２２は、通信部６１、カメラ６２、距離センサ６３、マイクロホン６４、スピーカ６５、制御部６６、駆動部６７、及び記憶部６８から構成される。
【０１７４】
通信部６１は、指示装置２１からの指示情報や、フィードバック情報、指定範囲情報等を受信し、制御部６６に供給する。
【０１７５】
通信部６１は、制御部６６からのロボット認識情報を、指示装置２１に送信する。
【０１７６】
カメラ６２は、光を感知する「目」に相当するものであり、例えば、CCD（Charge Coupled Device）イメージセンサ等により構成される。カメラ６２は、ロボット２２の周囲を撮像し、その撮像により得られる撮像画像を、制御部６６に供給する。
【０１７７】
距離センサ６３は、ロボット２２から物体までの距離を測るセンサであり、物体までの距離を測って制御部６６に供給する。
【０１７８】
マイクロホン６４は、音を感知する「耳」に相当するものであり、音声を集音し、その集音により得られる音声信号を、制御部６６に供給する。
【０１７９】
スピーカ６５は、ロボット２２の「口」に相当するものであり、制御部６６からの制御にしたがって、所定の音声を出力する。
【０１８０】
制御部６６は、通信部６１乃至スピーカ６５、及び駆動部６７を制御する。すなわち、例えば、制御部６６は、カメラ６２からの撮像画像、距離センサ６３からの距離、マイクロホン６４からの音声信号などに基づいて、周囲の状況等を把握し、把握した周囲の状況に応じて、駆動部６７を制御する。
【０１８１】
また、制御部６６は、通信部６１からの指示情報に基づいて、駆動部６７を制御して、ユーザにより指示された行動を自律的に行う。すなわち、例えば、制御部６６は、駆動部６７を制御して、ロボット２２に、指示情報に含まれるカテゴリ情報が表すカテゴリに属する物体を、ターゲットとして自律的に探索させる。
【０１８２】
さらに、制御部６６は、カメラ６２からの撮像画像に基づいて、撮像画像上の物体を検知し、検知した物体を表す物体画像を抽出する。また、制御部６６は、カメラ６２からの撮像画像に基づいて、検知した物体のスコアを計算する。
【０１８３】
すなわち、例えば、制御部６６は、通信部６１からの指示情報に基づいて、ターゲットとされる物体の識別器を、記憶部６８から読み出す。また、制御部６６は、カメラ６２からの撮像画像から、検知した物体の特徴を表す特徴量を抽出する。
【０１８４】
そして、制御部６６は、抽出した特徴量に基づいて、読み出した識別器を用いて、検知した物体のスコアを計算する。すなわち、例えば、制御部６６は、識別器から得られる識別結果（スコア）を、そのまま、検知した物体のスコアとすることもできるし、時系列的に、識別器から得られる識別結果を統合的に判断して、最終的なスコアを計算することもできる。
【０１８５】
制御部６６は、計算した物体のスコアに基づいて、その物体の認識状態を決定する。なお、認識状態の決定については、図２０を参照して後述する。
【０１８６】
また、制御部６６は、計算した物体のスコアや、決定した物体の認識状態に基づいて、表示画面２１aに表示させる物体画像を決定する。なお、表示画面２１aに表示させる物体画像の決定方法は、図２１を参照して後述する。
【０１８７】
制御部６６は、例えば、物体の認識状態に応じて、表示画面２１aに表示することに決定した物体画像を変更（例えば、矩形で囲んだり、斜線を付加）し、変更後の物体画像、物体のスコア、表示対象情報等を含むロボット認識情報を生成し、通信部６１に供給する。
【０１８８】
また、制御部６６は、距離センサ６３を制御して、検知した物体までの距離を計測させる。これにより、距離センサ６３は、制御部６６が検知した物体までの距離を、制御部６６に供給する。
【０１８９】
制御部６６は、カメラ６２からの撮像画像や、カメラ６２の姿勢（位置及び向き）等に基づいて、カメラ６２（ロボット２２）の３次元位置を検出する。なお、ロボット２２の３次元位置の検出方法の詳細は、例えば、特開２００８−３０４２６８号公報等に記載されている。
【０１９０】
なお、制御部６６は、例えば、GPS(global positioning system)やWi-Fiを用いた測位技術を用いて、ロボット２２の３次元位置を検出するようにしてもよい。
【０１９１】
制御部６６は、検出した３次元位置と、距離センサ６３から供給される距離とに基づいて、検知した物体の３次元位置を算出し、その物体が写った撮像画像に対応付けて、記憶部６８に供給して記憶させる。
【０１９２】
また、制御部６６は、記憶部６８に保持された撮像画像（例えば、図３の周囲画像３１や部分画像３５）等を読み出し、読み出した撮像画像も含むロボット認識画像を生成し、通信部６１に供給する。
【０１９３】
制御部６６は、通信部６１からの指定範囲情報と、記憶部６８に保持されている撮像画像とに基づいて、ユーザの指定操作により指定された領域を表す指定領域を検出する。
【０１９４】
また、制御部６６は、検出した指定領域上の物体に対応付けられている３次元位置を、記憶部６８から読み出し、読み出した３次元位置に基づいて、指定領域に対応する探索範囲を算出する。
【０１９５】
そして、制御部６６は、駆動部６７を制御して、ロボット２２の手や足に相当する部位を駆動させ、算出した探索範囲内でターゲット（カテゴリ情報が表すカテゴリに属する物体）を探索する動作を実行させる。
【０１９６】
駆動部６７は、制御部６６からの制御にしたがって、ロボット２２の「手」や「足」に相当する部分を駆動させる。これにより、ロボット２２は、自律的に行動する。
【０１９７】
記憶部６８は、例えば、制御部６６により実行される制御用プログラムを予め保持する他、制御部６６から書込みが指示されたデータ等を記憶（保持）する。
【０１９８】
また、記憶部６８は、複数の項目それぞれの物体毎に、その物体を識別するための識別器を記憶している。この識別器は、物体の特徴量を入力として、物体のスコアを出力する関数である。なお、この識別器は、予め行なわれた学習により生成されて記憶されているものとする。
【０１９９】
さらに、記憶部６８は、制御部６６からの撮像画像（撮像画像上の物体の３次元位置が対応付けられている撮像画像であって、例えば、周囲画像３１や部分画像３５等）を記憶する。
【０２００】
次に、図２０は、物体の認識状態の状態遷移図の一例を示している。
【０２０１】
図２０には、制御部６６が認識する認識状態として、「未検出（検知）」、「まだ分からない」、「ターゲットかもしれない」、「ターゲットである」、及び「ターゲットではない」が示されている。
【０２０２】
制御部６６は、計算した物体のスコアに応じて、その物体を、「まだ分からない」、「ターゲットかもしれない」、「ターゲットである」、又は「ターゲットではない」のいずれの状態として認識する。
【０２０３】
すなわち、例えば、制御部６６は、物体のスコアが閾値th1以上である場合、その物体を、「ターゲットである」ものとして認識し、物体のスコアが閾値th1未満であり、閾値th2（<th1）以上である場合、「ターゲットかもしれない」と認識する。
【０２０４】
また、例えば、制御部６６は、物体のスコアが閾値th2未満であり、閾値th3（<th2）以上である場合、その物体を、ターゲットであるか否か「まだ分からない」ものとして認識し、物体のスコアが閾値th3未満である場合、「ターゲットではない」ものとして認識する。
【０２０５】
なお、制御部６６は、ユーザによるフィードバック操作が行われる場合を除き、物体を「ターゲットである」ものとして認識する際に、必ず、「ターゲットかもしれない」と認識した状態を経由するようにしている。
【０２０６】
したがって、表示画面２１aにおいて、ターゲットであるか否か「まだ分からない」ものとして認識されている物体（細線の矩形で囲まれた物体画像に対応）が、急に「ターゲットである」ものとして認識された物体（太線の矩形で囲まれた物体画像に対応）とされることを防止できる。
【０２０７】
このため、ユーザは、表示画面２１aにおいて、「ターゲットかもしれない」ものとして認識された物体（そのままの状態で表示される物体画像に対応）にのみ、ターゲットに相応しくないものが存在するか否かに注意を払えばよいものとなる。
【０２０８】
このように、物体を「ターゲットである」ものとして認識する際に、必ず、「ターゲットかもしれない」と認識した状態を経由するようにしているのは、表示画面２１aにおいて、ターゲットであるか否か「まだ分からない」ものとして認識されている物体が、急に「ターゲットである」ものとして認識された物体とされる場合、ユーザは、表示画面２１aにおいて、すべての物体に注意を払わなければならず、非常に面倒であることによる。
【０２０９】
次に、図２１は、制御部６６が、物体のスコアに応じて、表示画面２１aに表示させる物体画像を決定する決定方法の一例を示している。
【０２１０】
図２１には、スコアの高い順序で、図中左側から、物体７１、物体７２、物体７３、…物体７４が示されている。
【０２１１】
制御部６６は、計算した物体７１のスコアに基づいて、物体７１を「ターゲットである」と認識している。また、制御部６６は、物体７２のスコアに基づいて、物体７２を「ターゲットかもしれない」と認識している。
【０２１２】
さらに、制御部６６は、物体７３のスコアに基づいて、物体７３を、ターゲットであるか否か「まだ分からない」ものと認識している。また、制御部６６は、物体７４のスコアに基づいて、物体７４を、「ターゲットではない」と認識している。
【０２１３】
例えば、制御部６６は、図２１に示されるように、検知した複数の物体のうち、スコアが高い上位N番までの物体に対応する物体画像を、指示装置２１の表示画面２１aに表示させるものとして決定することができる。
【０２１４】
また、例えば、制御部６６は、図２１に示されるように、検知した複数の物体のうち、「ターゲットである」及び「ターゲットかもしれない」と認識している物体に対応する物体画像を、少なくとも、指示装置２１の表示画面２１aに表示させるものとして決定してもよい。
【０２１５】
[ロボット２２がスコアを計算するときの動作説明]
次に、図２２のフローチャートを参照して、ロボット２２が行うスコア計算処理について説明する。
【０２１６】
このスコア計算処理は、例えば、ロボット２２が、指示装置２１からの指示情報に基づいて、室内を探索するときに開始される。
【０２１７】
ステップＳ４１において、カメラ６２は、ロボット２２の周囲の撮像を行い、その撮像により得られる撮像画像を、制御部６６に供給する。
【０２１８】
ステップＳ４２において、制御部６６は、カメラ６２からの撮像画像に基づいて、撮像画像上の物体を検知することを試みる。
【０２１９】
そして、制御部６６は、カメラ６２からの撮像画像に基づいて、その撮像画像から物体を検知したことに対応して、処理をステップＳ４３に進める。なお、制御部６６は、カメラ６２からの撮像画像に基づいて、その撮像画像から物体を検知しなかった場合、処理をステップＳ４１に戻し、それ以降同様の処理が行われる。
【０２２０】
制御部６６は、指示装置２１から通信部６１を介して供給される指示情報に基づいて、ロボット２２の処理対象を表すターゲットを判定し、判定したターゲット用の識別器を、記憶部６８から読み出す。
【０２２１】
ステップＳ４３において、制御部６６は、カメラ６２からの撮像画像から、検知した物体の特徴量を算出する。そして、制御部６６は、算出した特徴量に基づいて、記憶部６８から読み出した識別器を用いて、物体のスコアを計算する。
【０２２２】
ステップＳ４４では、制御部６６は、計算したスコアや、記憶部６８に記憶済みの撮像画像などを含むロボット認識情報を生成し、通信部６１に供給する。
【０２２３】
ステップＳ４５では、通信部６１は、制御部６１からのロボット認識情報を、指示装置２１に送信し、処理はステップＳ４１に戻され、それ以降同様の処理が行われる。
【０２２４】
なお、スコア計算処理は、例えば、ロボット２２がターゲットを見つけて、ユーザのところに持って帰ったときに終了される。
【０２２５】
以上説明したように、スコア計算処理によれば、検知した物体のスコアを計算し、計算したスコア等を含むロボット認識情報を、指示装置２１に送信するようにした。
【０２２６】
よって、指示装置２１の表示画面２１aにおいて、図６乃至図１７に示されるようなロボット認識画像を表示できるようになるので、ユーザは、ロボット２２の行動を容易に予測することが可能となる。
【０２２７】
＜２．第１の実施の形態の変形例＞
[ロボット認識画像の他の表示例]
ところで、図６乃至図１７を参照して、スコアの高い物体ほど、表示画面２１aの左に表示させるようにしたロボット認識画像を説明したが、ロボット認識画像は、これに限定されない。
【０２２８】
次に、図２３は、ロボット認識画像の他の表示例を示している。
【０２２９】
図２３において、表示画面２１aの上側の画面を表す上側画面８１には、スコアの高い物体の物体画像ほど、表示画面２１aの左側に配置されたロボット認識画像が表示される。いまの場合、物体９１、物体９２、物体９３、物体９４の順序でスコアが高いものとなっている。
【０２３０】
また、表示画面２１aの上側の画面を表す下側画面８２には、カメラ６２の撮像により得られた最新の撮像画像が表示される。この撮像画像には、図２３に示されるように、上側画面８１に表示された物体９１（「りんごジュース」）及び物体９２（「C炭酸ジュース」）が写っている。
【０２３１】
表示画面２１aにおいて、上側画面８１上の物体９１及び下側画面８２上の物体９１（「りんごジュース」）は、点線で接続されており、上側画面８１と下側画面８２に表示された物体９１との対応関係がわかるようになっている。
【０２３２】
このことは、物体９２についても同様である。なお、この場合、ロボット認識情報には、カメラ６２の撮像により得られた最新の撮像画像が含まれる。
【０２３３】
すなわち、図２３では、下側画面８２に、カメラ６２の撮像により得られる最新の撮像画像を表示する点が、図６乃至図１７を参照して説明した場合と異なるものとなる。
【０２３４】
図２３において、上側画面８１を見ると、物体９１及び物体９２それぞれの物体画像が太線の矩形で囲まれているため、ロボット２２は、物体９１及び９２をターゲットと認識していることが予測される。また、図２３において、下側画面８２を見ると、ロボット２２は、物体９１及び９２の近くに存在することが予測される。
【０２３５】
このため、ユーザは、図２３の上側画面８１のみを参照する場合と比較して、図２３の上側画面８１及び下側画面８２を参照することにより、ロボット２２が、物体９１又は物体９２の一方を、ターゲットとして持ち帰る行動をとることを、より容易に推測できる。
【０２３６】
なお、図２３において、下側画面８２には、カメラ６２の撮像により得られた最新の撮像画像を表示するようにしたが、その他、例えば、任意の時刻でカメラ６２の撮像により得られた撮像画像を表示することができる。また、カメラ６２の撮像により得られた複数の撮像画像を合成して作成した合成画像（パノラマビューのような画像）を表示するようにしてもよい。
【０２３７】
さらに、例えば、表示画面２１aには、カメラ６２の撮像により得られた撮像画像上に、太線の矩形等を直接、重畳させる（例えば、撮像画像上のりんごジュースを太線の矩形で囲む）ようにしたものを表示させるようにしてもよい。この場合、表示画面２１aには、図２３に示した上側画面８１に表示される画像は表示されず、撮像画像のみが表示されることとなる。
【０２３８】
また、例えば、図２４に示されるように、カメラ６２の撮像により得られる最新の撮像画像に代えて、表示画面２１aの下側画面８２に、室内の空間を表す空間図を表示させるようにしてもよい。この場合、ロボット認識情報には、室内の空間図を表す空間情報が含まれる。なお、空間情報は、例えば、ロボット２２の記憶部６８に予め保持されているものとする。
【０２３９】
また、図２４に示されるように、下側画面８２に表示される空間図には、ロボット２２がこれから移動する経路が、点線１０１で示されている。なお、図２４では、上側画面８１に表示された物体と、その物体が存在する空間図上の位置とが点線で接続され、対応関係がわかるようになっている。
【０２４０】
このため、ユーザは、図２４の表示画面２１aの上側画面８１のみを参照する場合と比較して、図２４の表示画面２１aの上側画面８１及び下側画面８２を参照することにより、ロボット２２が、物体９１（「りんごジュース」）を、ターゲットとして持ち帰るだろうと推測できる。
【０２４１】
なお、図２３及び図２４のような表示画面２１aを表示させるようにする場合、ロボット２２の近くに存在する物体（ロボット２２の位置から所定の範囲内に存在する物体）を、物体画像として優先的に表示させることが望ましい。
【０２４２】
また、表示画面２１aには、例えば、図２３に示される下側画面８２に撮像画像を表示し、図２４に示される下側画面８２に空間図を表示させるようにしたが、その他、例えば、撮像画像と空間図との両方を表示させるようにしてもよい。
【０２４３】
この場合、例えば、表示画面２１aには、図２３に示されるような表示とともに、ロボット２２がこれから移動する経路を表す点線１０１を含む空間図が表示されることとなる。
【０２４４】
次に、図２５は、ロボット認識画像のさらに他の表示例を示している。
【０２４５】
図２５には、表示画面２１aに、ロボット２２のカメラ６２の撮像により得られた最新の撮像画像が表示される。この撮像画像には、主に、ロボット２２により検知された物体１１１乃至１１４が写っている。
【０２４６】
そして、物体１１１及び１１３には、それぞれ、その物体に対してロボット２２が行おうとしている行動が、吹き出し１１１a乃至１１３aにより表示されている。
【０２４７】
吹き出し１１１aには、行動「捨てる」が表示され、吹き出し１１２aには、行動「持ってくる」が表示され、吹き出し１１３aには、行動「持ってくる」が表示され、吹き出し１１４aには、行動「捨てる」が表示される。なお、図２５に示されるような表示画面２１aが表示される場合、ロボット２２からのロボット認識情報には、物体（例えば、「鳥の置物」）を処理対象とするロボット２２の処理（例えば、「捨てる」）を表す処理情報が含まれる。
【０２４８】
また、吹き出し１１１a乃至１１３aの大きさは、例えば、吹き出しが付加された物体のスコアに応じた大きさとされる。なお、スコアは、吹き出しの大きさの他、吹き出しの色で表すようにしてもよい。
【０２４９】
第１の実施の形態では、ユーザが、指示装置２１を用いて、ロボット２２に、ターゲットとしての「お茶」を持ってくる旨を指示するようにしたが、指示は、これに限定されず、その他、例えば、ターゲットをゴミ箱に捨てる旨を指示することができる。
【０２５０】
その他、例えば、ユーザは、指示装置２１を用いて、ターゲットを「つかむ」、「拾う」、「片付ける」等の指示を行うことができる。
【０２５１】
図２５では、例えば、ユーザが、指示装置２１を用いて、ロボット２２に、「ジュース」を持ってくる旨を指示するとともに、「小物」をゴミ箱に捨てる旨を指示した場合に、指示装置２１の表示画面２１aに表示される表示例である。
【０２５２】
すなわち、表示画面２１aに表示されるロボット認識画像は、ユーザが、ロボット２２の行動を直感的に予測できるものであれば、どのような表示方法であってもよい。
【０２５３】
また、例えば、ユーザは、指示装置２１を用いて、ターゲットとして、「お茶」等の他、ターゲットとして人を選択することができる。この場合、ユーザは、指示装置２１を用いて、ターゲットとしての人を「呼んでくる」等の指示を行うことができる。
【０２５４】
この場合、表示画面２１aには、例えば、検知された人とともに、その人の名前を表示させるようにしてもよい。なお、人の名前は、例えば、その人を識別するための識別器に対応付けて、ロボット２２の記憶部６８に予め保持されているものとする。
【０２５５】
また、表示画面２１aに、検知された人を表す名前として、異なる人の名前が表示されている場合には、ユーザは、操作部４１を用いて、名前を、検知された人の名前に変更させるようにすることができる。
【０２５６】
ところで、例えば、指示装置２１は、ロボット２２からのロボット認識情報に基づいて、図２６に示されるように、表示画面２１aに、物体画像１２１乃至１２４を含むロボット認識画像を表示するようにしている。
【０２５７】
図２６に示される表示画面２１aでは、ロボット２２が、物体画像１２１に対応する物体「十八茶」を「ターゲットかもしれない」と認識していることが表示される。
【０２５８】
さらに、ロボット２２が、物体画像１２２に対応する物体「C炭酸ジュース」及び物体画像１２３に対応する物体「鉢植え」を、それぞれ、ターゲットであるか否か「まだ分からない」ものとして認識していること、物体画像１２４に対応する物体「ぬいぐるみ」を、「ターゲットではない」と認識していることが表示される。
【０２５９】
したがって、ユーザは、図２６に示される表示画面２１aを参照して、ロボット２２の行動を、以下のように推測することができる。すなわち、例えば、ユーザにおいては、ロボット２２が、「ターゲットかもしれない」と認識している物体「十八茶」を、いずれ「ターゲットである」ものとして認識するようになり、物体「十八茶」を持って帰るだろうと推測することができる。
【０２６０】
この場合、ユーザは、ロボット２２が、物体「十八茶」を持って帰るまで待つことが考えられる。
【０２６１】
また、例えば、図２７に示される表示画面２１aには、ロボット２２が、物体画像１４１に対応する物体「ABC お茶」、及び物体画像１４２に対応する物体「S茶」のいずれも「ターゲットである」ものとして認識していることを表す太線の矩形が表示される。
【０２６２】
さらに、例えば、図２７に示される表示画面２１aには、ロボット２２が、物体「ABC お茶」を持って帰ろうとしていることを表す三角印が表示される。
【０２６３】
したがって、ロボット２２は、物体「ABC お茶」及び物体「S茶」のいずれを持って帰ろうか迷っているものの、とりあえず、物体「ABC お茶」を持って帰ろうとしていることが、ユーザにより推測される。
【０２６４】
ユーザは、物体「ABC お茶」及び物体「S茶」のどちらでもよい場合には、指示装置２１を特に操作することなく、ロボット２２が、物体「ABC お茶」又は物体「S茶」の一方を持って帰るのを待つこととなる。
【０２６５】
なお、例えば、図２７の表示画面２１aにおいて、三角印が表示されておらず、ユーザが、物体「ABC お茶」又は物体「S茶」のどちらでもよいので、早く持ってきて欲しいと思ったときには、ロボット２２に、例えば物体「ABC お茶」を持ってくるように指示できることが望ましい。
【０２６６】
そこで、例えば、指示装置２１は、図２８に示されるように、表示画面２１aに表示された物体画像１６１乃至１６５のうち、ユーザが持ってきて欲しいと思っている物体「十八茶」に対応する物体画像１６２を、ユーザの操作により指示できるようにしている。
【０２６７】
なお、図２８では、表示画面２１aにおいて、例えば、三角印が表示されていない場合に、ユーザが持ってきて欲しいと思っている物体「十八茶」に対応する物体画像１６２が、ユーザの操作により指示されたことに対応して、太線の矩形で囲まれ、三角印で指示された物体画像１６２が表示されることとなる。
【０２６８】
また、例えば、図２９に示されるような表示画面２１aにおいて、物体画像１８１乃至１８７のうち、物体画像１８２に対応する物体「ABC お茶」を指し示す三角印が表示されている場合、ロボット２２が、物体「ABC お茶」を持って帰るだろうと推測される。
【０２６９】
ユーザが、物体「ABC お茶」ではなく、物体「Ｓ茶」を持って帰って欲しいと思っている場合、指示装置２１の操作部４１を操作することにより、物体「ABC お茶」に代えて、物体画像１８４に対応する物体「S茶」を持ってくるように指示することができる。
【０２７０】
すなわち、例えば、ユーザは、図３０に示されるように、表示画面２１a上の物体画像１８４を、ポインタ（矢印）等により指定するようにして、物体画像１８４に対応する物体「S茶」を持ってくるように指示することができる。
【０２７１】
これにより、表示画面２１aにおいて、物体画像１８２に対応する物体「ABC お茶」を指し示していた三角印（図２９）に代えて、物体画像１８４に対応する物体「S茶」を指し示す三角印（図３０）が表示されることとなる。
【０２７２】
＜３．第２の実施の形態＞
[表示画面２１aを見ているユーザが、ロボット２２に指示を与える場合の一例]
次に、図３１乃至図３８は、ユーザが、指示装置２１の操作部４１を操作して、ロボット２２に指示を与えるためのフィードバック操作を行う場合の一例を示している。
【０２７３】
図３１は、ユーザが、指示装置２１の表示画面２１aを参照して、指示装置２１の操作部４１を用いて、フィードバック操作を行う場合の一例を示している。
【０２７４】
図３１には、表示画面２１aに表示される物体画像２０１乃至２０４が示されている。なお、物体画像２０１及び２０２は、ロボット２２の認識状態が「ターゲットである」であることを示す矩形で囲まれている。
【０２７５】
また、物体画像２０３は、そのままの状態で表示され、物体「C炭酸ジュース」に対するロボット２２の認識状態が「まだ分からない」ものであることを示している。さらに、物体画像２０４は、ロボット２２の認識状態が「ターゲットではない」ことを示す斜線が付加されている。
【０２７６】
ユーザは、指示装置２１の操作部４１を用いて、例えば、物体画像２０３が表す物体「C炭酸ジュース」の認識状態を、矢印２２１で示されるように、「まだ分からない」から「ターゲットである」に変更するフィードバック操作を行うことができる。
【０２７７】
また、例えば、ユーザは、指示装置２１の操作部４１を用いて、物体画像２０２が表す物体「十八茶」の認識状態を、矢印２２２で示されるように、「ターゲットである」から「ターゲットではない」に変更するフィードバック操作を行うことができる。
【０２７８】
制御部４２は、操作部４１からの、フィードバック操作に対応する操作信号に応じて、対応するフィードバック情報を生成し、通信部４４に供給する。通信部４４は、制御部４２からのフィードバック情報を、ロボット２２に供給する。
【０２７９】
ロボット２２は、通信部４４からのフィードバック情報に基づいて、物体のスコアを再計算し、その結果得られるスコアに基づいて、各物体の認識状態を変化させる。
【０２８０】
次に、図３２は、指示装置２１からのフィードバック情報に応じて、ロボット２２の制御部６６が、物体の認識状態を変化させる場合の一例を示している。
【０２８１】
例えば、指示装置２１において、ユーザが、操作部４１を用いてフィードバック操作を行った場合、操作部４１は、フィードバック操作に対応する操作信号を、制御部４２に供給する。
【０２８２】
制御部４２は、操作部４１からの操作信号に基づいて、フィードバック情報を生成し、通信部４４に供給する。通信部４４は、制御部４２からのフィードバック情報を、ロボット２２に送信する。
【０２８３】
いまの場合、図３１に示したように、例えば、ユーザが、指示装置２１の操作部４１を用いて、物体画像２０３が表す物体「C炭酸ジュース」の認識状態を、矢印２２１で示されるように、「まだ分からない」から「ターゲットである」に変更するフィードバック操作を行った場合を考える。
【０２８４】
この場合、ロボット２２において、制御部６６は、指示装置２１の通信部４４から通信部６１を介して供給されるフィードバック情報に基づいて、物体「C炭酸ジュース」のスコアを再計算する。
【０２８５】
これにより、制御部６６は、再計算により得られた新たなスコアに基づいて、物体「C炭酸ジュース」の認識状態を、矢印２２１1で示されるように、「まだ分からない」から「ターゲットである」に決定（変更）する。
【０２８６】
なお、フィードバック操作として、物体の認識状態を、「ターゲットかもしれない」から「ターゲットである」に変更するフィードバック操作が行われた場合、制御部６６では以下の処理が行われる。すなわち、例えば、制御部６６は、通信部６１からのフィードバック情報に基づいて、物体の認識状態を、矢印２２１2で示されるように、「ターゲットかもしれない」から「ターゲットである」に決定する。
【０２８７】
また、フィードバック操作として、物体の認識状態を、「ターゲットではない」から「ターゲットである」に変更するフィードバック操作が行われた場合、制御部６６では以下の処理が行われる。すなわち、例えば、制御部６６は、通信部６１からのフィードバック情報に基づいて、物体の認識状態を、矢印２２１3で示されるように、「ターゲットではない」から「ターゲットである」に決定する。
【０２８８】
さらに、例えば、図３１に示したように、ユーザが、指示装置２１の操作部４１を用いて、物体画像２０２を表す物体「十八茶」の認識状態を、矢印２２２で示されるように、「ターゲットである」から「ターゲットではない」に変更するフィードバック操作を行った場合を考える。
【０２８９】
この場合、制御部６６は、図３２に示されるように、通信部６１からのフィードバック情報に基づいて、物体「十八茶」の認識状態を、矢印２２２で示されるように、「ターゲットである」から「ターゲットではない」に決定する。
【０２９０】
[フィードバック操作の一例]
次に、図３３乃至図３８を参照して、ユーザが、指示装置２１の表示画面２１aを参照して、フィードバック操作を行う場合について説明する。
【０２９１】
指示装置２１において、制御部４２は、ロボット２２から通信部４４を介して供給されるロボット認識情報に基づいて、表示部４３の表示画面２１aに、例えば、図３３に示されるような、物体画像２４１乃至２４４を含むロボット認識画像を表示させる。
【０２９２】
また、ロボット２２が、物体画像２４２が表す物体「スポドリンク」を「ターゲットである」と認識した場合、制御部４２は、ロボット２２から通信部４４を介して送信されてくるロボット認識情報に基づいて、表示画面２１aに、ロボット認識画像を表示させる。
【０２９３】
これにより、表示画面２１aには、図３４に示されるように、物体画像２４１乃至２４４を含むロボット認識画像が表示される。
【０２９４】
図３４に示される表示画面２１aでは、ロボット２２が、ユーザが所望する物体「十八茶」（物体画像２４５が表す物体）とは異なる物体「スポドリンク」（物体画像２４２が表す物体）を、ターゲットとして認識していることが推測される。
【０２９５】
そして、ロボット２２が、物体「スポドリンク」をターゲットとして持って帰る行動をとる場合、制御部４２は、ロボット２２から通信部４４を介して送信されるロボット認識情報に基づいて、表示画面２１aに、ロボット認識画像を表示させる。
【０２９６】
これにより、表示画面２１aは、図３５に示されるように、物体「スポドリンク」をターゲットとして持って帰ることを示す三角印が付加された物体画像２４２を表示する。
【０２９７】
この場合、ユーザは、図３５に示されるように、指示装置２１の操作部４１を用いて、物体「スポドリンク」はターゲットではない旨を指示するフィードバック操作を行う。このとき、操作部４１は、ユーザのフィードバック操作に対応する操作信号を、制御部４２に供給する。
【０２９８】
制御部４２は、操作部４１からの操作信号に基づいて、フィードバック情報を生成し、通信部４４に供給する。通信部４４は、制御部４２からのフィードバック情報を、ロボット２２に送信する。この場合、例えば、ロボット２２(制御部６６)は、通信部４４からのフィードバック情報に基づいて、物体「スポドリンク」のスコアを再計算する。
【０２９９】
これにより、物体「スポドリンク」のスコアは、例えば、物体「十八茶」のスコアよりも低いスコアとされ、ロボット２２は、物体「十八茶」をターゲットとして持って帰るように行動する。また、ロボット２２は、再計算したスコアに基づいて、物体「スポドリンク」の認識状態を、「ターゲットである」から「ターゲットではない」に変更する。
【０３００】
この場合、指示装置２１において、制御部４２は、ロボット２２から通信部４４を介して送信されるロボット認識情報に基づいて、表示画面２１aに、ロボット認識画像を表示させる。なお、ロボット認識情報には、少なくとも、ユーザのフィードバック操作に応じたフィードバック情報により再計算されたスコアが含まれる。
【０３０１】
これにより、表示画面２１aは、図３６に示されるように、物体「十八茶」をターゲットとして持って帰ることを示す三角印が付加された物体画像２４５を表示する。
【０３０２】
なお、ユーザは、物体「スポドリンク」はターゲットではない旨を指示するフィードバック操作を行う他、例えば、図３７に示されるように、物体「十八茶」がターゲットである旨を指示するフィードバック操作を行うようにしても良い。
【０３０３】
この場合、例えば、ロボット２２(制御部６６)は、通信部４４からのフィードバック情報に基づいて、物体「十八茶」のスコアを再計算する。これにより、物体「十八茶」のスコアは、例えば、物体「スポドリンク」のスコアよりも高いスコアとされ、ロボット２２は、物体「十八茶」をターゲットとして持って帰るように行動する。
【０３０４】
これに対して、指示装置２１の制御部４２は、ロボット２２から通信部４４を介して送信されるロボット認識情報に基づいて、表示画面２１aに、ロボット認識画像を表示させる。
【０３０５】
これにより、表示画面２１aは、図３８に示されるように、物体「十八茶」をターゲットとして持って帰ることを示す三角印が付加された物体画像２４５を表示する。
【０３０６】
なお、例えば、フィードバック操作により、物体がターゲットではない旨を指示する場合、ユーザは、操作部４１を用いて、ターゲットではない物体（の物体画像）を指定し、指定された物体を、ターゲットであるものとすることが考えられる。
【０３０７】
この場合、制御部４２は、ユーザにより指定された物体がターゲットではない旨を表すフィードバック情報を生成する。
【０３０８】
また、例えば、フィードバック操作により、物体がターゲットではない旨を指示する場合、ユーザは、操作部４１を用いて、ターゲットである物体（の物体画像）を指定し、指定されていない物体を、ターゲットではないものとすることが考えられる。
【０３０９】
この場合、制御部４２は、ユーザにより指定されていない物体がターゲットではない旨を表すフィードバック情報を生成する。
【０３１０】
なお、物体の指定は、指定したい表示画面２１a上の物体を、枠などで囲むようにして指定するようにしてもよい。また、操作部４１にマウスが含まれている場合には、指定したい表示画面２１a上の物体に、カーソル等を移動させ、マウスの左クリック（シングルクリック又はダブルクリック）で物体を指定してもよい。
【０３１１】
さらに、指示装置２１がパーソナルコンピュータなどであり、操作部４１としてコントロールキーやシフトキーが設けられている場合には、コントロールキーやシフトキーを併用して左クリックを行うことにより、同時に、複数の物体を指定することができる。
【０３１２】
また、例えば、ユーザは、物体を指定した後、マウスを用いた右クリックにより表示される選択肢「ターゲットである」、「ターゲットでない」等のうち、選択肢「ターゲットでない」を選択することにより、指定済みの物体がターゲットではない旨を表すフィードバック操作を行うようにしてもよい。
【０３１３】
さらに、例えば、ユーザは、指定済みの物体に対して、再度、マウスを用いた左クリックを行うことにより、物体の指定を解除することができる。その他、例えば、ユーザは、物体を、左クリックにより選択して、表示画面２１aの枠外に投げ捨てるような投げ捨て操作を、物体が「ターゲットではない」旨を表すフィードバック操作として行うことができる。
【０３１４】
例えば、操作部４１に「Enter」キーが含まれる場合、物体が指定されている状態で「Enter」キーを押下する押下操作を、指定された物体がターゲットである旨を表すフィードバック操作として採用することができる。
【０３１５】
また、例えば、操作部４１に「Delete」キーが含まれる場合、物体が指定された状態で「Delete」キーを押下する押下操作を、指定された物体がターゲットではない旨を表すフィードバック操作として採用することができる。
【０３１６】
その他、例えば、操作部４１に「Tab」キーが含まれる場合、ユーザは、「Tab」キーが押下される毎に、表示画面２１a上に表示されるフォーカスを移動させるようにすることができる。
【０３１７】
これらのことは、指定された物体がターゲットである旨を表すフィードバック操作を行う場合についても同様である。
【０３１８】
[指示装置２１が行うフィードバック処理について]
次に、図３９のフローチャートを参照して、指示装置２１が行うフィードバック処理について説明する。
【０３１９】
なお、このフィードバック処理は、例えば、指示装置２１の電源がオンされたときに開始される。また、表示画面２１aには、物体画像が表示されているものとする。
【０３２０】
ステップＳ６１において、制御部４２は、操作部４１から、フィードバック操作に対応する操作信号が供給されたか否かに基づいて、ユーザによるフィードバック操作が行われたか否かを判定し、ユーザによるフィードバック操作が行われたと判定するまで、ステップＳ６１の処理を繰り返して行う。
【０３２１】
ステップＳ６１において、制御部４２は、フィードバック操作に対応する操作信号が供給されたか否かに基づいて、ユーザによるフィードバック操作が行われたと判定した場合、処理をステップＳ６２に進める。
【０３２２】
ステップＳ６２において、制御部４２は、ユーザによるフィードバック操作に基づいて、フィードバック情報を生成し、通信部４４に供給する。
【０３２３】
ステップＳ６３において、通信部４４は、制御部４２からのフィードバック情報を、無線通信等を用いて、ロボット２２に送信し、処理をステップＳ６１に戻し、それ以降、同様の処理が行われる。なお、このフィードバック処理は、例えば、指示装置２１の電源がオフされたときに終了される。
【０３２４】
以上説明したように、フィードバック処理によれば、ユーザによるフィードバック操作に応じて、表示画面２１aに表示された物体を、ターゲットである等と指示できるようにした。
【０３２５】
このため、例えば、ロボット２２が、ターゲットではない物体を、ターゲットとして認識している場合等に、指示装置２１により、その物体が、ターゲットではないことをロボット２２にフィードバックさせることが可能となる。
【０３２６】
[ロボット２２が行うスコア再計算処理について]
次に、図４０のフローチャートを参照して、ロボット２２が行うスコア再計算処理を説明する。
【０３２７】
なお、このスコア再計算処理は、例えば、ロボット２２の電源がオンされたときに開始される。
【０３２８】
ステップＳ８１において、通信部６１は、指示装置２１からのフィードバック情報を受信するまで、ステップＳ８１の処理を繰り返す。そして。ステップＳ８１では、通信部６１は、指示装置２１からのフィードバック情報を受信した場合、受信したフィードバック情報を、制御部６６に供給して、処理をステップＳ８２に進める。
【０３２９】
ステップＳ８２において、制御部６６は、通信部６１からのフィードバック情報に基づいて、物体のスコアを再計算して、処理をステップＳ８３に進める。
【０３３０】
ステップＳ８３において、制御部６６は、再計算したスコアに基づいて、ロボット認識情報を生成し、通信部６１に供給して、処理をステップＳ８４に進める。
【０３３１】
ステップＳ８４では、通信部６１は、制御部６６からのロボット認識情報を、無線通信等により、指示装置２１に送信して、処理をステップＳ８１に戻し、それ以降、同様の処理が行われる。なお、このスコア再計算処理は、例えば、ロボット２２の電源がオフされたときに終了される。
【０３３２】
以上説明したように、スコア再計算処理によれば、指示装置２１からのフィードバック情報に基づいて、スコアを再計算するようにしたので、ユーザからのフィードバックを反映したスコアを計算することができる。
【０３３３】
＜４．第２の実施の形態の変形例＞
第２の実施の形態では、ユーザが、表示画面２１aを参照して、所定の物体が、ターゲットである旨又はターゲットではない旨のフィードバック操作を行うようにしたが、ユーザによるフィードバック操作は、これに限定されない。
【０３３４】
すなわち、例えば、表示画面２１aに、図４１に示されるようにして、物体２６１乃至２６３が１つの物体として表示される場合、ロボット２２は、物体２６１乃至物体２６３を１つの物体として認識しているものとなる。
【０３３５】
この場合、ユーザは、指示装置２１の操作部４１を用いて、例えば、１つの物体が表示された領域を指定するフィードバック操作を行うようにして、ロボット２２に、物体２６１乃至２６３を、それぞれ、１つの物体として認識させるようにすることができる。
【０３３６】
なお、１つの物体が表示された領域を指定するフィードバック操作は、例えば、操作部４１にマウスが含まれる場合、マウスを用いて、１つの物体が表示された領域を指定し、右クリックにより表示される選択肢「分離」を選択するようにして行われる。
【０３３７】
そして、制御部４２は、操作部４１から、フィードバック操作に対応する操作信号が供給されたことに対応して、フィードバック情報を生成し、通信部４４に供給する。通信部４４は、制御部４２からのフィードバック情報を、無線通信等によりロボット２２に送信する。
【０３３８】
ロボット２２において、通信部６１は、通信部４４からのフィードバック情報を制御部６６に供給する。制御部６６は、通信部６１からのフィードバック情報に基づいて、１つの物体として認識していた物体２６１乃至２６３を、それぞれ、１つの物体２６１,２６２,２６３として認識する。
【０３３９】
また、制御部６６は、１つの物体として認識した物体２６１、物体２６２、物体２６３についてのスコアを計算し、その計算結果などに基づいて、ロボット認識情報を生成し、通信部６１を介して、指示装置２１に送信する。
【０３４０】
指示装置２１では、制御部４２は、ロボット２２の通信部６１から、通信部４４を介して送信されるロボット認識情報に基づいて、表示部４３の表示画面２１aに、図４２に示されるようなロボット認識画像を表示させる。
【０３４１】
また、例えば、１つの物体とされるべきもの（例えば、同時に使用されるナイフ、フォーク、及びスプーンのセット等）が、分離して複数の物体として表示画面２１aに表示される場合には、ユーザは、指示装置２１の操作部４１を用いて、例えば、分離して表示された複数の物体を含む領域を指定するフィードバック操作を行うようにして、ロボット２２に、分離して表示された複数の物体を、１つの物体として認識させるようにすることができる。
【０３４２】
なお、分離して表示された複数の物体を含む領域を指定するフィードバック操作は、例えば、操作部４１にマウスが含まれる場合、マウスを用いて、各物体が表示された領域をそれぞれ指定し、右クリックにより表示される選択肢「マージ」を選択するようにして行われる。
【０３４３】
ところで、例えば、第２の実施の形態では、表示画面２１aに表示された物体に対して、フィードバック操作を行うようにした。
【０３４４】
しかしながら、その他、例えば、撮像画像上の物体が、制御部６６により検知されていない場合には、撮像画像上の、未検知の物体を含む領域を指定する領域指定操作により、未検知の物体を、物体としてロボット２２に検知（認識）させるようにすることができる。
【０３４５】
これにより、ロボット２２は、図４３に示されるように、未検知（検出）の物体を検知し、検知した物体の認識状態を、「未検出」から「まだ分からない」に決定することとなる。
【０３４６】
すなわち、例えば、ユーザは、指示装置２１の操作部４１を用いて、ロボット２２が物体を探索するための探索範囲を指定する領域指定操作を行うようにして、ロボット２２に探索範囲内での探索を行わせるようにすることができる。
【０３４７】
＜５．第３の実施の形態＞
次に、図４４は、撮像画像を用いて、探索範囲を指定する場合の一例を示している。
【０３４８】
例えば、ロボット認識情報に、撮像画像として、図４４Aに示されるような周囲画像３１が含まれる場合、指示装置２１の制御部４２は、そのロボット認識情報に基づいて、表示画面２１aに周囲画像３１を表示することとなる。
【０３４９】
この場合、ユーザは、指示装置２１の操作部４１を用いて、図４４Aに示されるように、表示画面２１aに表示された周囲画像３１上の部分領域２８１を、ターゲットを探索する探索範囲に対応する領域として指定する領域指定操作を行うことができる。
【０３５０】
これにより、操作部４１は、ユーザの領域指定操作が行われたことに応じて、対応する操作信号を、制御部４２に供給する。
【０３５１】
制御部４２は、操作部４１からの操作信号に応じて、周囲画像３１上の全領域のうち、ユーザの領域指定操作により指定された部分領域２８１を表す指定範囲情報を生成し、通信部４４に供給する。通信部４４は、制御部４２からの指定範囲情報を、ロボット２２に送信する。
【０３５２】
これに対して、ロボット２２の通信部６１は、指示装置２１の通信部４４からの指定範囲情報を受信し、制御部６６に供給する。制御部６６は、通信部６１からの指定範囲情報に基づいて、記憶部６８に保持されている周囲画像３１上の部分領域２８１を検出する。
【０３５３】
そして、制御部６６は、部分領域２８１上の各物体に対応付けられた複数の３次元位置を、記憶部６８から読み出し、読み出した複数の３次元位置に基づいて、ターゲットを探索するための探索範囲を算出（特定）する。
【０３５４】
なお、制御部６６が、探索範囲を算出する算出方法は、これに限定されない。すなわち、例えば、制御部６６は、部分領域２８１に３次元位置等が対応付けられていなくても、部分領域２８１や、カメラ６２の有効視野角、有効画素数、位置、及び向き等を表すパラメータから、探索範囲を算出することができる。
【０３５５】
この場合、記憶部６８には、例えば、周囲画像３１に対応付けて、撮像により周囲画像３１が得られた撮像時刻とともに、撮像時刻におけるカメラ６２の位置及び向き等を表す第１のパラメータが、カメラ６２の撮像時に、制御部６６により記憶されるものとする。また、記憶部６８には、カメラ６２の有効視野角及び有効画素数等を表す第２のパラメータが予め記憶されているものとする。
【０３５６】
すなわち、例えば、制御部６６は、撮像により周囲画像３１が得られた撮像時刻におけるカメラ６２の位置及び向き等を表す第１のパラメータと、カメラ６２の有効視野角及び有効画素数等を表す第２のパラメータを、記憶部６８から読み出す。
【０３５７】
そして、制御部６６は、第１及び第２のパラメータを用いることにより、周囲画像３１上を占める部分領域２８１から、部分領域２８１に対応する３次元的な視野範囲、つまり、撮像時刻において、部分領域２８１として撮像された実空間上の領域を特定する。
【０３５８】
なお、探索範囲としては、視野範囲のうち、ロボット２２が行動可能な領域が採用される。
【０３５９】
制御部６６は、駆動部６７を制御して、ロボット２２の手や足に相当する部位を駆動させ、算出した探索範囲内でターゲットを探索する動作を実行させる。
【０３６０】
また、例えば、ロボット認識情報に、図４４Bに示されるような部分画像３５が含まれる場合、指示装置２１の制御部４２は、そのロボット認識情報に基づいて、表示画面２１aに部分画像３５を表示することとなる。
【０３６１】
この場合、ユーザは、指示装置２１の操作部４１を操作して、表示画面２１aに表示された部分画像３５上の物体「りんごジュース」を検知させるように、部分画像３５上の部分領域２８２を指定する領域指定操作を行うことができる。
【０３６２】
これにより、ロボット２２は、部分画像３５上の部分領域２８２に対応する探索範囲内でターゲットを探索する動作を実行することとなる。よって、物体「りんごジュース」をロボット２２に検知させることができる。
【０３６３】
なお、部分画像３５としては、例えば、ユーザの領域指定操作により指定された領域を、より近距離で撮像した場合に得られる撮像画像や、過去の撮像により得られた撮像画像の一部分の画像を採用することができる。
【０３６４】
次に、図４５は、室内の空間図を用いて、探索範囲を指定する場合の一例を示している。
【０３６５】
例えば、ロボット認識情報に、図４５に示されるような空間画像３０１（室内の空間図を表す画像）が含まれる場合、指示装置２１の制御部４２は、そのロボット認識情報に基づいて、表示画面２１aに空間画像３０１を表示することとなる。なお、記憶部４５に、予め空間画像３０１を保持するように構成すれば、制御部４２は、記憶部４５から空間画像３０１を読み出して、表示画面２１aに表示することとなる。
【０３６６】
この場合、ユーザは、指示装置２１の操作部４１を操作して、表示画面２１aに表示された空間画像３０１上の部分領域３２１を、探索範囲として指定する領域指定操作を行うようことができる。
【０３６７】
これにより、操作部４１は、ユーザの領域指定操作が行われたことに応じて、対応する操作信号を、制御部４２に供給する。
【０３６８】
制御部４２は、操作部４１からの操作信号に応じて、空間画像３０１上の全領域のうち、ユーザの領域指定操作により指定された部分領域３２１を表す指定範囲情報を生成し、通信部４４に供給する。通信部４４は、制御部４２からの指定範囲情報を、ロボット２２に送信する。なお、指定範囲情報は、ロボット２２が、ターゲットを探索するための探索範囲を特定（把握）するための特定情報として用いられる。
【０３６９】
これに対して、ロボット２２の通信部６１は、指示装置２１の通信部４４からの指定範囲情報を受信し、制御部６６に供給する。制御部６６は、通信部６１からの指定範囲情報に基づいて、記憶部６８に保持されている空間画像３０１上の部分領域３２１を検出する。
【０３７０】
そして、制御部６６は、部分領域３２１を構成する各小領域に対応付けられた複数の３次元位置を、記憶部６８から読み出し、読み出した複数の３次元位置に基づいて、探索範囲を算出する。
【０３７１】
制御部６６は、駆動部６７を制御して、ロボット２２の手や足に相当する部位を駆動させ、算出した探索範囲内でターゲットを探索する動作を実行させる。なお、制御部６６は、通信部６１からの指示情報に基づいて、その指示情報に含まれるカテゴリ情報が表すカテゴリに属する物体を、ターゲットとして、探索範囲内で探索する動作を実行させる。また、例えば、制御部６６は、指示装置２１から通信部６１を介して指示情報を受信していない場合、ターゲットを自律的に決定して、探索範囲内を探索する動作を実行させる。
【０３７２】
これにより、ロボット２２は、空間画像３０１上の部分領域３２１に対応する探索範囲内でターゲットを探索する動作を実行することとなる。
【０３７３】
なお、表示画面２１aに空間画像３０１が表示されている場合、ユーザが、操作部４１を用いて、例えば、空間画像３０１上の全領域のうち、部分領域３２２を選択したときには、部分領域３２２内での撮像により得られた撮像画像３４１を、表示画面２１aに表示させることができる。
【０３７４】
すなわち、例えば、指示装置２１において、制御部４２は、ロボット２２から通信部４４を介して送信されてくるロボット認識情報を、記憶部４５に供給して記憶させている。
【０３７５】
したがって、記憶部４５には、図４５に示されるような空間画像３０１とともに、撮像画像３４１が、空間画像３０１上の部分領域３２２に対応付けられて記憶されている。
【０３７６】
このため、制御部４２は、ユーザにより部分領域３２２の選択が行われた場合、記憶部４５から、ユーザにより選択された部分領域３２２に対応する撮像画像３４１を読み出し、図４５に示されるようにして、表示画面２１aに表示させる。
【０３７７】
そして、ユーザは、操作部４１を用いて、表示画面２１aに表示された撮像画像３４１に対して、図４４Bを参照した場合と同様にして、撮像画像３４１上の部分領域３６１を指定する領域指定操作を行うことができる。
【０３７８】
これにより、ロボット２２は、撮像画像３４１上の部分領域３６１に対応する探索範囲内でターゲットを探索する動作を実行することとなる。
【０３７９】
なお、撮像画像３４１は、ロボット認識情報に含まれた状態で、ロボット２２から指示装置２１に送信される。
【０３８０】
ところで、ロボット２２から指示装置２１に送信されるロボット認識情報は、無線通信等におけるデータの輻輳を避けるために、少ないデータ量であることが望ましい。
【０３８１】
そこで、例えば、ロボット２２が、撮像画像３４１を、ロボット認識情報に含めて送信する場合には、図４６Bに示される高画質な撮像画像３４１のデータ量を少なくした、図４６Aに示されるような低画質の撮像画像３４１'を送信するようにしてもよい。なお、この撮像画像３４１'は、ユーザによる領域の指定等には用いられず、例えば、物体「りんごジュース」の物体画像を、表示画面２１aに表示する際に用いられる。また、ユーザによる領域の指定等に用いられる撮像画像は、高画質のままで送信され、表示画面２１aに表示されることが望ましい。
【０３８２】
撮像画像３４１'は、撮像画像３４１'上の全領域のうち、物体（「りんごジュース」のペットボトル）が写る部分領域３８１は、物体画像として用いるため、高画質とされ、それ以外の部分（斜線で示される部分）は、低画質とされている。
【０３８３】
すなわち、例えば、部分領域３８１は、高解像度又はカラーとされ、部分領域３８１以外は、低解像度又はモノクロとされる。
【０３８４】
[指示装置２１が行う領域指定処理について]
次に、図４７のフローチャートを参照して、指示装置２１が行う領域指定処理について説明する。
【０３８５】
ステップＳ１０１において、通信部４４は、ロボット２２からのロボット認識情報を受信して、制御部４２に供給する。なお、ロボット認識情報には、例えば、撮像画像として、周囲画像３１が含まれているものとする。
【０３８６】
ステップＳ１０２において、制御部４２は、通信部４４からのロボット認識情報に含まれる周囲画像３１を、表示部４３に供給して、表示部４３の表示画面２１aに表示させる。
【０３８７】
ステップＳ１０３において、制御部４２は、操作部４１から、ユーザの領域指定操作に対応する操作信号が供給されたか否かに応じて、ユーザによる領域指定操作が行われたか否かを判定する。なお、領域指定操作とは、例えば、表示画面２１aに表示された周囲画像３１上の全領域のうち、所定の部分領域２８１を指定する操作をいう。
【０３８８】
そして、ステップＳ１０３では、制御部４２は、操作部４１からの操作信号に応じて、ユーザの領域指定操作が行われたと判定するまで、ステップＳ１０３の処理を繰り返して行う。
【０３８９】
ステップＳ１０３において、制御部４２は、ユーザの領域指定操作が行われたと判定した場合、処理をステップＳ１０４に進める。この場合、操作部４１から制御部４２には、ユーザの領域指定操作に対応する操作信号が供給される。
【０３９０】
ステップＳ１０４において、制御部４２は、操作部４１からの操作信号に応じて、周囲画像３１上の、領域指定操作により指定された部分領域２８１を表す指定範囲情報を生成し、通信部４４に供給する。なお、指定範囲情報は、ロボット２２が、ターゲットを探索するための探索範囲を特定（把握）するための特定情報として用いられる。
【０３９１】
ステップＳ１０５では、通信部４４は、制御部４２からの指定範囲情報を、無線通信等を用いて、ロボット２２に供給し、ロボット２２に、探索範囲で探索を行わせる。以上で、この領域指定処理は終了される。
【０３９２】
以上説明したように、領域指定処理によれば、ユーザによる領域指定操作により、ロボット２２がターゲットを探索する探索範囲を指示できるようにしたので、例えば、ユーザが所望する範囲内を、ロボット２２に探索させることが可能となる。
【０３９３】
特に、例えば、ユーザによる領域指定操作により、ロボット２２が未検知の物体を少なくとも含む範囲を、探索範囲として指定することで、ロボット２２に、未検知の物体を検知させるようにすることが可能となる。
【０３９４】
[ロボット２２が行う探索処理について]
次に、図４８のフローチャートを参照して、ロボット２２が行う探索処理について説明する。
【０３９５】
ステップＳ１２１において、通信部６１は、指示装置２１の通信部４４からの指定範囲情報を受信し、制御部６６に供給する。なお、ステップＳ１２１は、後述するステップＳ１２２及びステップＳ１２３と並行して行われる。すなわち、例えば、通信部６１は、ステップＳ１２２又はステップＳ１２２の処理が実行中でも、指示装置２１の通信部４４からの指定範囲情報を受信することができる。
【０３９６】
ステップＳ１２２において、制御部６６は、通信部６１からの指定範囲情報に基づいて、記憶部６８に保持されている周囲画像３１上の部分領域２８１を検出する。
【０３９７】
そして、制御部６６は、部分領域２８１を構成する各小領域に対応付けられた複数の３次元位置を、記憶部６８から読み出し、読み出した複数の３次元位置に基づいて、探索範囲を算出（特定）する。
【０３９８】
ステップＳ１２３において、制御部６６は、算出した探索範囲で、ロボット２２がターゲットを探索できるように、駆動部６７を駆動させる。なお、制御部６６は、例えば、通信部６１からの指示情報に基づいて、その指示情報に含まれるカテゴリ情報が表すカテゴリに属する物体を、ターゲットとするようにしている。以上で、探索処理は終了される。
【０３９９】
以上説明したように、探索処理では、ユーザの領域指定操作により指定された探索範囲内で、ターゲットを探索するようにした。
【０４００】
このため、例えば、ユーザによる領域指定操作により、ロボット２２が未検知の物体を少なくとも含む範囲が、探索範囲として指定された場合、ロボット２２により、未検知の物体を検知することが可能となる。
【０４０１】
なお、物体そのものではなく、ユーザの領域指定操作により探索範囲を指定するようにしているのは、ロボット２２が未検知の物体を指定することができないためである。
【０４０２】
よって、ユーザは、ロボット２２が未検知の物体を含む探索範囲を指定することにより、ロボット２２に、指定された探索範囲を探索させて、未検知の物体を検知させることができる。
【０４０３】
また、領域指定処理のステップＳ１０３において、例えば、ユーザが、表示画面２１aに表示された周囲画像３１上の全領域のうち、所定の部分領域２８１を指定するようにして、探索範囲を指定するようにしたが、探索範囲の指定方法は、これに限定されない。
【０４０４】
すなわち、例えば、指示装置２１が、ユーザを撮像して得られる撮像画像から、ユーザのジェスチャやポスチャ等（以下、ジェスチャ等という）を認識できる場合には、ユーザは、ジェスチャ等により、探索範囲を指定することができる。
【０４０５】
また、例えば、指示装置２１が、音声を認識できる場合には、ユーザは、音声により、探索範囲を指定することができる。この場合、ユーザは、例えば、探索範囲として、「台所」や「ぼくの部屋」等と発話することで、探索範囲を指定することができる。
【０４０６】
このような場合、その他、例えば、ユーザは、音声やジェスチャ等により、ターゲットとされる物体のカテゴリを指定（指示）することもできる。これにより、指示装置２１では、ユーザに指定されたカテゴリを表すカテゴリ情報を含む指示情報が生成される。
【０４０７】
さらに、例えば、ロボット２２が、ユーザを撮像して得られる撮像画像からジェスチャ等を認識できる場合には、ユーザは、ジェスチャ等により、直接に、ロボット２２に対して探索範囲を指定することができる。
【０４０８】
この場合、例えば、制御部６６は、カメラ６２からの撮像画像に基づいて、ユーザのジェスチャを認識し、その認識結果を、探索範囲を特定するために用いられる特定情報として取得（生成）する。そして、制御部６６は、取得した特定情報を用いて、探索範囲を特定し、駆動部６７を制御して、特定した探索範囲でロボット２２に探索を行なわせる。
【０４０９】
また、例えば、ロボット２２が、音声を認識できる場合には、ユーザは、音声により、直接に、ロボット２２に対して探索範囲を指定することができる。
【０４１０】
この場合、例えば、制御部６６は、マイクロホン６４から入力されるユーザの音声に基づいて、ユーザの音声を認識し、その認識結果を、特定情報として取得（生成）する。そして、制御部６６は、取得した特定情報を用いて、探索範囲を特定し、駆動部６７を制御して、特定した探索範囲でロボット２２に探索を行なわせる。
【０４１１】
このような場合、その他、例えば、ユーザは、音声やジェスチャ等により、ターゲットとされる物体のカテゴリを、直接にロボット２２に対して指定（指示）することもできる。
【０４１２】
これにより、制御部６６では、ユーザに指定されたカテゴリを表すカテゴリ情報を含む指示情報が生成され、生成された指示情報に含まれるカテゴリ情報が表すカテゴリに属する物体を、ターゲットとしてロボット２２に探索を行わせる。
【０４１３】
ところで、指示装置２１としては、例えば、パーソナルコンピュータ等を適用することができる。
【０４１４】
なお、本技術は以下のような構成もとることができる。
（１）所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成部と、前記特定情報を用いて、前記ロボットに前記探索範囲を探索させる探索制御部とを含む制御装置。
（２）前記生成部は、前記ロボットに探索させる物体の属するカテゴリが前記ユーザにより指定されたことに対応して、前記カテゴリを表すカテゴリ情報も生成し、前記探索制御部は、前記カテゴリ情報も用いて、前記ロボットに、前記カテゴリに属する前記物体を、前記探索範囲で探索させる前記（１）に記載の制御装置。
前記（１）に記載の制御装置。
（３）前記生成部は、前記ロボットの周囲を撮像して得られる撮像画像を用いて、前記ユーザにより前記探索範囲が指定されたことに対応して、前記特定情報を生成する前記（２）に記載の制御装置。
（４）前記生成部は、前記ロボットが移動する空間の空間図を用いて、前記ユーザにより前記探索範囲が指定されたことに対応して、前記特定情報を生成する前記（２）に記載の制御装置。
（５）前記生成部は、前記ユーザの発話により前記探索範囲が指定されたことに対応して、前記ユーザの発話を音声認識して得られる前記特定情報を生成する前記（２）に記載の制御装置。
（６）前記生成部は、前記ユーザの身振りにより前記探索範囲が指定されたことに対応して、前記ユーザの身振りを認識して得られる前記特定情報を生成する前記（２）に記載の制御装置。
（７）前記探索制御部は、前記特定情報を、前記ロボットに送信することにより、前記ロボットに前記探索範囲を探索させる前記（１）乃至（６）に記載の制御装置。
（８）制御装置の制御方法において、前記制御装置による、所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成ステップと、前記特定情報を用いて、前記ロボットに前記探索範囲を探索させる探索制御ステップとを含む制御方法。
（９）コンピュータを、所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成部と、前記特定情報を用いて、前記ロボットに前記探索範囲を探索させる探索制御部として機能させるためのプログラム。
（１０）自律型のロボットと、前記ロボットを制御する制御装置とにより構成されるロボット制御システムにおいて、前記制御装置は、所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成部と、前記特定情報を、前記ロボットに送信する送信部とを含み、前記ロボットは、前記制御装置からの前記特定情報を受信する受信部と、受信した前記特定情報に基づいて、前記探索範囲を特定する特定部と、前記ロボットに前記探索範囲を探索させように駆動される駆動部とを含むロボット制御システム。
【０４１５】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【０４１６】
[コンピュータの構成例]
図４９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０４１７】
CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２、又は記憶部５０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）５０３には、CPU５０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU５０１、ROM５０２、及びRAM５０３は、バス５０４により相互に接続されている。
【０４１８】
CPU５０１にはまた、バス５０４を介して入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、キーボード、マウス、マイクロホン等よりなる入力部５０６、ディスプレイ、スピーカ等よりなる出力部５０７が接続されている。CPU５０１は、入力部５０６から入力される指令に対応して各種の処理を実行する。そして、CPU５０１は、処理の結果を出力部５０７に出力する。
【０４１９】
入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスクからなり、CPU５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０４２０】
また、通信部５０９を介してプログラムを取得し、記憶部５０８に記憶してもよい。
【０４２１】
入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア５１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部５０８に転送され、記憶される。
【０４２２】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図４９に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア５１１、又は、プログラムが一時的もしくは永続的に格納されるROM５０２や、記憶部５０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部５０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０４２３】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４２４】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０４２５】
なお、本開示は、第１乃至第３の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０４２６】
１ ロボット制御システム, ２１ 指示装置, ２１a 表示画面, ２２ ロボット, ４１ 操作部, ４２ 制御部, ４３ 表示部, ４４ 通信部, ４５ 記憶部, ６１ 通信部, ６２ カメラ, ６３ 距離センサ, ６４ マイクロホン, ６５ スピーカ, ６６ 制御部, ６７ 駆動部, ６８ 記憶部
【特許請求の範囲】
【請求項１】
物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成部と、
前記特定情報を用いて、前記ロボットに前記物体を前記探索範囲で探索させる探索制御部と
を含む制御装置。
【請求項２】
前記生成部は、前記ロボットに探索させる物体の属するカテゴリが前記ユーザにより指定されたことに対応して、前記カテゴリを表すカテゴリ情報も生成し、
前記探索制御部は、前記カテゴリ情報も用いて、前記ロボットに、前記カテゴリに属する前記物体を、前記探索範囲で探索させる
請求項１に記載の制御装置。
【請求項３】
前記生成部は、前記ロボットの周囲を撮像して得られる撮像画像を用いて、前記ユーザにより前記探索範囲が指定されたことに対応して、前記特定情報を生成する
請求項２に記載の制御装置。
【請求項４】
前記生成部は、前記ロボットが移動する空間の空間図を用いて、前記ユーザにより前記探索範囲が指定されたことに対応して、前記特定情報を生成する
請求項２に記載の制御装置。
【請求項５】
前記生成部は、前記ユーザの発話により前記探索範囲が指定されたことに対応して、前記ユーザの発話を音声認識して得られる前記特定情報を生成する
請求項２に記載の制御装置。
【請求項６】
前記生成部は、前記ユーザの身振りにより前記探索範囲が指定されたことに対応して、前記ユーザの身振りを認識して得られる前記特定情報を生成する
請求項２に記載の制御装置。
【請求項７】
前記探索制御部は、前記特定情報を、前記ロボットに送信することにより、前記ロボットに前記探索範囲を探索させる
請求項１に記載の制御装置。
【請求項８】
制御装置の制御方法において、
前記制御装置による、
所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成ステップと、
前記特定情報を用いて、前記ロボットに前記探索範囲を探索させる探索制御ステップと
を含む制御方法。
【請求項９】
コンピュータを、
所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成部と、
前記特定情報を用いて、前記ロボットに前記探索範囲を探索させる探索制御部と
して機能させるためのプログラム。
【請求項１０】
自律型のロボットと、前記ロボットを制御する制御装置とにより構成されるロボット制御システムにおいて、
前記制御装置は、
所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成部と、
前記特定情報を、前記ロボットに送信する送信部と
を含み、
前記ロボットは、
前記制御装置からの前記特定情報を受信する受信部と、
受信した前記特定情報に基づいて、前記探索範囲を特定する特定部と、
前記ロボットに前記探索範囲を探索させように駆動される駆動部と
を含むロボット制御システム。
【請求項１】
物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成部と、
前記特定情報を用いて、前記ロボットに前記物体を前記探索範囲で探索させる探索制御部と
を含む制御装置。
【請求項２】
前記生成部は、前記ロボットに探索させる物体の属するカテゴリが前記ユーザにより指定されたことに対応して、前記カテゴリを表すカテゴリ情報も生成し、
前記探索制御部は、前記カテゴリ情報も用いて、前記ロボットに、前記カテゴリに属する前記物体を、前記探索範囲で探索させる
請求項１に記載の制御装置。
【請求項３】
前記生成部は、前記ロボットの周囲を撮像して得られる撮像画像を用いて、前記ユーザにより前記探索範囲が指定されたことに対応して、前記特定情報を生成する
請求項２に記載の制御装置。
【請求項４】
前記生成部は、前記ロボットが移動する空間の空間図を用いて、前記ユーザにより前記探索範囲が指定されたことに対応して、前記特定情報を生成する
請求項２に記載の制御装置。
【請求項５】
前記生成部は、前記ユーザの発話により前記探索範囲が指定されたことに対応して、前記ユーザの発話を音声認識して得られる前記特定情報を生成する
請求項２に記載の制御装置。
【請求項６】
前記生成部は、前記ユーザの身振りにより前記探索範囲が指定されたことに対応して、前記ユーザの身振りを認識して得られる前記特定情報を生成する
請求項２に記載の制御装置。
【請求項７】
前記探索制御部は、前記特定情報を、前記ロボットに送信することにより、前記ロボットに前記探索範囲を探索させる
請求項１に記載の制御装置。
【請求項８】
制御装置の制御方法において、
前記制御装置による、
所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成ステップと、
前記特定情報を用いて、前記ロボットに前記探索範囲を探索させる探索制御ステップと
を含む制御方法。
【請求項９】
コンピュータを、
所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成部と、
前記特定情報を用いて、前記ロボットに前記探索範囲を探索させる探索制御部と
して機能させるためのプログラム。
【請求項１０】
自律型のロボットと、前記ロボットを制御する制御装置とにより構成されるロボット制御システムにおいて、
前記制御装置は、
所定の物体を自律的に探索するロボットに探索させる探索範囲がユーザにより指定されたことに対応して、前記探索範囲を特定するために用いられる特定情報を生成する生成部と、
前記特定情報を、前記ロボットに送信する送信部と
を含み、
前記ロボットは、
前記制御装置からの前記特定情報を受信する受信部と、
受信した前記特定情報に基づいて、前記探索範囲を特定する特定部と、
前記ロボットに前記探索範囲を探索させように駆動される駆動部と
を含むロボット制御システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【公開番号】特開２０１３−３１８９７（Ｐ２０１３−３１８９７Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１１−１６８９２３（Ｐ２０１１−１６８９２３）
【出願日】平成２３年８月２日（２０１１．８．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２３年８月２日（２０１１．８．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]