物体把持を行うロボット及びロボットによる物体の把持方法
【課題】ロボットによる物体把持動作の正確性を向上させる。
【解決手段】ロボット１は、物体５０を把持する手部１２４を有する腕部１２、物体５０を撮像してステレオ画像を得るステレオカメラ１０１、物体５０の赤外線反射スペクトルを計測するための赤外線光源１２５及び赤外線センサ１２６、ステレオ画像を用いて物体５０の形状を推定する形状推定部１１１、赤外線反射スペクトルを用いて物体５０の材質を推定する材質推定部１１２、並びに、物体５０の形状及び材質に適応した腕部１２の動作内容を決定する動作計画部１１５を備える。
【解決手段】ロボット１は、物体５０を把持する手部１２４を有する腕部１２、物体５０を撮像してステレオ画像を得るステレオカメラ１０１、物体５０の赤外線反射スペクトルを計測するための赤外線光源１２５及び赤外線センサ１２６、ステレオ画像を用いて物体５０の形状を推定する形状推定部１１１、赤外線反射スペクトルを用いて物体５０の材質を推定する材質推定部１１２、並びに、物体５０の形状及び材質に適応した腕部１２の動作内容を決定する動作計画部１１５を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体把持を行うロボットに関する。
【背景技術】
【０００２】
作業環境内に存在する物体を認識して把持動作を実行するロボットが従来から提案されている。例えば、特許文献１には、ステレオカメラを用いて作業環境の３次元データを取得し、取得した３次元データによって環境内に存在する把持対象物体の位置及び形状を認識し、これに対する把持動作を実行するロボットが開示されている。
【０００３】
特許文献２には、人の熱線を検知するための赤外線センサをロボットハンドの把持部に備え、赤外線センサの検知結果を用いてロボットハンドの把持部を人の体温に近い温度に制御するロボットが開示されている。
【特許文献１】特開２００４−１１２２号公報
【特許文献２】特開２００４−５８１８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示されているような物体把持を行う従来のロボットは、視覚センサによって得られたデータ、具体的には、ステレオカメラによって得られたステレオ画像データやレンジセンサによって得られた距離画像データに基づいて把持対象物体の形状を認識し、認識した把持対象物体の形状に適応した把持動作を実行する。しかしながら、形状が同一又は近似していても材質が互いに異なっている物体の間では、物体を把持する際の最適な把持位置や把持力の大きさが異なる場合がある。
【０００５】
本発明は上述した事情を考慮してなされたものであり、形状認識のみを行う場合に比べて把持対象物体をより正確に認識することにより、ロボットが実行する物体把持動作の正確性を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様にかかるロボットは、把持対象物体の把持動作を実行するロボットであって、前記把持対象物体を把持可能なエンドエフェクタを有する腕部と、前記把持対象物体の画像データを取得する視覚センサと、前記把持対象物体の材質を特定するための計測データを取得する計測データ取得部と、前記画像データに基づいて前記把持対象物体の形状を推定する形状推定部と、前記計測データに基づいて前記把持対象物体の材質を推定する材質推定部と、前記把持対象物体の形状及び材質に適応した前記腕部の動作内容を決定する動作計画部とを備える。このような構成により、把持対象物体の材質を物体把持動作を決定する際の判断要素とすることができる。つまり、把持対象物体を特定するための判断材料の増加によって把持対象物体の特定精度を向上させることができ、確実な物体把持動作をロボットに実行させることができる。
【０００７】
なお、上述した本発明の第１の態様にかかるロボットにおいて、前記画像データは、ステレオカメラによって得られるステレオ画像及びレンジセンサによって得られる距離画像のいずれかとすればよい。
【０００８】
上述した本発明の第１の態様にかかるロボットにおいて、前記計測データは赤外線反射スペクトルとすることができる。より具体的には、前記材質推定部が、前記計測データ取得部によって得られた赤外線反射スペクトルを基準物質の赤外線反射スペクトルと照合することにより、前記把持対象物体の材質を推定するよう構成してもよい。
【０００９】
上述した本発明の第１の態様にかかるロボットにおいて、前記計測データ取得部が、赤外線光源と、前記把持対象物体に対して前記赤外線光源から赤外線を照射して得られる赤外線反射スペクトルを計測する赤外線センサとを備えるよう構成してもよい。なお、前記赤外線光源及び前記赤外線センサを前記エンドエフェクタに設けることが望ましい。このような構成により、赤外線光源及び赤外線センサを把持対象物体の近傍に移動した状態で赤外線反射スペクトルを取得できるため、把持対象物体の赤外線反射スペクトルを正確に取得することができる。
【００１０】
上述した本発明の第１の態様にかかるロボットは、複数の物体の把持情報が登録されたデータベースと、前記形状推定部及び前記材質推定部によって推定された形状及び材質に基づいて前記データベースを検索することにより、推定された形状及び材質に対応する把持情報を取得する検索部とをさらに備えることが望ましく、前記動作計画部が、前記検索部によって取得した把持情報に基づいて前記腕部の動作内容を決定することが望ましい。このような構成により、把持動作の都度、把持対象物体の形状や材質をパラメータとして把持動作を演算処理によって算出する場合に比べて、把持動作の作成に要する処理負荷を削減できる。このため、把持対象物体に適した把持動作を高速に行うことができる。
【００１１】
さらに、前記把持対象物体に対する把持動作の実行結果に基づいて前記データベースに登録された前記把持情報を更新することが望ましい。このような構成により、過去の把持動作の経験を蓄積できるため、ロボットによる把持動作の最適化を行うことができる。
【００１２】
本発明の第２の態様にかかる方法は、ロボットによる物体の把持方法である。具体的には、視覚センサによる取得情報に基づいて把持対象物体の形状を推定し、前記把持対象物体の赤外線の反射率に基づいて前記把持対象物体の材質を推定し、推定した前記把持対象物体の形状及び材質に応じて、前記把持対象物体を把持するロボット動作を作成することを特徴とする。これにより、把持対象物体の材質をロボットによる物体把持動作を決定する際の判断要素とすることができる。つまり、把持対象物体を特定するための判断材料の増加によって把持対象物体の特定精度を向上させることができ、確実な物体把持動作をロボットに実行させることができる。
【発明の効果】
【００１３】
本発明により、物体把持動作の正確性を向上させたロボット及びロボットによる物体把持方法を提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。
【００１５】
発明の実施の形態１．
本実施の形態にかかるロボット１は、ステレオカメラ１０１によって取得したステレオ画像データを元に把持対象である物体５０の位置及び形状を推定し、赤外線センサ１２６によって得た赤外線反射スペクトルから物体５０の材質を推定し、推定した物体５０の形状及び材質に適応した把持動作を実行するものである。
【００１６】
本実施の形態にかかるロボット１の外観を図１に示す。頭部１０は、胴体部１１に連結されている。また、胴体部１１には、腕部１２が連結されている。より詳細には、腕部１２に含まれる上腕部１２１が胴体部１１と肩関節機構（不図示）を介して連結され、上腕部１２１と前腕部１２３とが肘関節部１２２を介して連結され、前腕部１２３の先端に手部１２４が設けられている。ここで、手部１２４は、物体５０を把持するエンドエフェクタである。また、胴体部１１にはロボット１の移動機構である車輪１３１及び１３２が設けられている。
【００１７】
ロボット１の頭部１０には、外界を撮影可能な視覚センサとしてのステレオカメラ１０１が設けられている。一方、手部１２４には、赤外線を照射する赤外線光源１２５と、赤外線反射スペクトルを取得するための赤外線センサ１２６が設けられている。具体的には、赤外線光源１２５から照射される赤外線を物体５０に入射し、物体５０の赤外線波長領域での分光反射率、つまり赤外線反射スペクトルを赤外線センサ１２６によって取得する。
【００１８】
続いて以下では、物体５０の形状及び材質の推定結果を利用して物体５０の把持動作を実行する処理について、図２及び図３を用いて詳細に説明する。図２のブロック図は、物体５０の把持を実行する処理に関係するロボット１の主要部の構成を示している。
【００１９】
図２において、計測データ取得部１１０は、物体５０の材質特定に使用するための計測データを取得する。本実施の形態では、物体５０の材質を特定するための計測データとして赤外線反射スペクトルを利用するため、計測データ取得部１１０は、赤外線光源１２５及び赤外線センサ１２６を有している。
【００２０】
形状推定部１１１は、ステレオカメラ１０１によって撮影されたステレオ画像データを用いて物体５０の三次元形状を算出する。具体的には、ステレオカメラ１０１によって撮影したステレオ画像データから対応点を検出し、対応点の３次元位置を復元する。ここで、ステレオ画像における対応点の探索は、複数の撮影画像に対する時空間微分の拘束式を用いた勾配法や相関法等の公知の手法を適用して行えばよい。
【００２１】
材質推定部１１２は、赤外線センサ１２６によって取得された赤外線反射スペクトルを、ＲＯＭ（Read Only Memory）等の記憶部（不図示）に保持されている基準物質の赤外線反射スペクトルと照合することによって物体５０の材質を判定する。例えば、金属、ＡＢＳ及びポリカーボネート等のプラスチック、並びに木材といった基準物質の赤外線反射スペクトルを予め保持しておけばよい。
【００２２】
物体情報データベース１１３は、物体の形状及び材質に関する情報、並びに、物体を把持するための把持情報が関連付けて格納されたデータベースである。把持情報の具体例は、手部１２４による適切な把持位置や把持力に関する情報のほか、腕部１２の移動方向及び移動速度等の情報である。例えば、物体５０が上下２つに分離する物体が重ねられた集合物である場合は、下側の物体を把持位置とする把持情報を物体情報データベース１１３に登録するとよい。また、例えば、物体５０の形状が球体であり、かつ物体５０が滑り易い材質である場合は、物体５０の重心位置、つまり球体の中心より下側を把持位置とする把持情報を登録するとよい。
【００２３】
検索部１１４は、形状推定部１１１において算出した物体５０の形状と、材質推定部１１２において判定した物体５０の材質を、物体情報データベース１１３の格納データと照合する。当該照合の結果、物体５０に対応する物体を特定できた場合は、特定した物体の把持情報を物体情報データベース１１３から取得する。なお、検索部１１４は、物体５０の形状だけでなく、ステレオカメラ１０１による撮影画像から得られる物体５０のテクスチャを併せて照合することとしてもよい。この場合、物体のテクスチャ情報を物体情報データベース１１３に格納しておけばよい。
【００２４】
動作計画部１１５は、物体５０の位置及び形状並びに物体５０に対応する把持情報を元に、物体５０を把持するための腕部１２の動作を決定し、腕部１２の動作情報を制御部１１６に出力する。
【００２５】
制御部１１６は、頭部１０、腕部１２、車輪１３２及び１３３の位置、角度、速度、角速度等を検出するためにロボット１が備えているエンコーダ（不図示）や関節角センサ（不図示）等の内界センサの計測情報を収集し、頭部１０、腕部１２、車輪１３２及び１３３を駆動するための制御信号を、これらを駆動する駆動部に対して出力する。さらに、制御部１１６は、動作計画部１１５によって決定された腕部１２の移動経路に従って腕部１２を動作させるための制御信号をアーム駆動部１１７に出力する。アーム駆動部１１７は、腕部１２のアクチュエータを動作させるための駆動回路である。
【００２６】
次に、物体５０の形状及び材質の認識から物体把持動作を実行するまでの一連の処理手順を、図３のフローチャートを用いて説明する。まずステップＳ１０１では、ステレオカメラ１０１によって物体５０を撮像する。ステップＳ１０２では、形状推定部１１１が、ステレオカメラ１０１によって得たステレオ画像を用いて物体５０の三次元位置及び形状を推定する。
【００２７】
ステップＳ１０３では、赤外線光源１２５によって物体５０に赤外線を照射し、赤外線センサ１２６によって物体５０の赤外線反射スペクトルを取得する。ステップＳ１０４では、材質推定部１１２が、物体５０の赤外線反射スペクトルを基準物質の反射スペクトルと照合して物体５０の材質を判定する。
【００２８】
ステップＳ１０５では、検索部１１４が、物体５０の形状及び材質を物体情報データベース１１３の格納データと照合する。物体５０の形状及び材質に対応する物体の情報が物体情報データベース１１３に登録されている場合は、対応する把持情報を取得する（ステップＳ１０６）。一方、物体５０の形状及び材質に対応する物体の情報が物体情報データベース１１３に登録されていない場合は、物体５０の形状及び材質を新たな物体の情報として物体情報データベース１１３に格納する（ステップＳ１０７）。
【００２９】
ステップＳ１０８では、物体５０の位置及び形状並びに物体５０に対応する把持情報を用いて、物体５０に適した把持動作を実行する。なお、物体５０に対応する記録が物体情報データベース１１３に存在しなかった場合は、物体５０の形状及び材質から決定した把持動作を実行する。例えば、物体５０の形状から物体５０の重心位置を演算し、物体５０の形状及び材質から物体５０の質量を演算し、物体５０の材質、重心及び質量に相応する把持位置及び把持力を決定すればよい。
【００３０】
ステップＳ１０９では、物体５０に対する把持動作の実行結果をもとに物体情報データベース１１３を更新する。具体的には、物体５０の把持に成功した把持位置及び把持力の情報を、把持情報として物体情報データベース１１３に格納する。
【００３１】
上述したように、本実施の形態にかかるロボット１は、赤外線光源１２５及び赤外線センサ１２６によって得られた赤外線反射スペクトルを用いて物体５０の材質を特定し、特定した物体５０の材質を用いて把持動作の内容を決定する。これにより、同じ形状を有する物体であっても、材質が異なれば異なる物体として認識することができ、材質に応じた把持動作、把持位置及び把持力などを採用した動作計画が可能となる。すなわち、把持対象物体を特定するための判断材料の増加によって把持対象物体の特定精度を向上させることができ、確実な物体把持動作をロボットに実行させることができる。
【００３２】
なお、ロボット１の動作環境が暗いためにステレオカメラ１０１の撮影画像による物体５０のテクスチャの特定が困難である場合でも、赤外線反射スペクトルによる物体材質特定は可能である。したがって本発明は、テクスチャによる把持対象物体の特定が困難である場合に、把持対象物体の特定を詳細に実行するための補助手段としても有効である。
【００３３】
上述した発明の実施の形態１にかかるロボット１は、ステレオカメラ１０１によって得たステレオ画像をもとに物体５０の形状を推定することとしたが、レンジセンサによって外界の距離画像を取得し、当該距離画像を用いて物体５０の形状を推定してもよい。また、物体５０の形状の特定に熱画像を使用してもよい。可視光による形状取得が困難な場合に有効である。
【００３４】
また、発明の実施の形態１にかかるロボット１は、赤外線光源１２５及び赤外線センサ１２６を手部１２４に固定することとしたが、これらをロボット１の他の部位に設けることも可能である。しかしながら、赤外線光源１２５及び赤外線センサ１２６を手部１２４の近傍に設ければ、赤外線光源１２５及び赤外線センサ１２６を物体５０の近傍に配置した状態で赤外線反射スペクトルを取得することができる。このため、発明の実施の形態１の構成は、物体５０の赤外線反射スペクトルを正確に取得できる点で有効である。
【００３５】
また、発明の実施の形態１にかかるロボット１は、物体５０の形状及び材質を物体情報データベース１１３の格納情報と照合するものであるが、物体５０の形状及び材質に応じた把持動作を物体情報データベース１１３と照合せずに決定してもよい。しかしながら、把持動作の都度、把持対象物体の形状や材質をパラメータとして把持動作を演算処理によって算出するのでは、動作作成に要する処理負荷が大きい。また、把持対象物体の落下など過去と同じ失敗動作を繰り返す可能性が高い。これに対して、発明の実施の形態１にかかるロボット１は、物体情報データベース１１３に登録された把持位置及び把持力等の把持情報を参照して腕部１２の動作を決定するため、把持対象物体に適した把持動作を高速に行うことができる。また、物体情報データベース１１３に登録された把持情報を把持動作の実行結果によって更新することにより、過去の経験を蓄積し、把持動作の最適化を行うことができる。
【００３６】
なお、発明の実施の形態１の物体情報データベース１１３には、把持対象物体の材質に関する情報ではなく、材質を反映している計測データを登録してもよい。つまり、発明の実施の形態１であれば、赤外線反射スペクトルを登録すればよい。
【００３７】
さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００３８】
【図１】発明の実施の形態１にかかるロボットの外観を示す図である。
【図２】発明の実施の形態１にかかるロボットの内部構成を示すブロック図である。
【図３】発明の実施の形態１にかかるロボットが行う物体把持動作を示すフローチャートである。
【符号の説明】
【００３９】
１ ロボット
１０ 頭部
１１ 胴体部
１２ 腕部
１０１ ステレオカメラ
１１０ 計測データ取得部
１１１ 形状推定部
１１２ 材質推定部
１１３ 物体情報データベース
１１４ 検索部
１１５ 動作計画部
１１６ 制御部
１１７ アーム駆動部
１２１ 上腕部
１２２ 肘関節機構
１２３ 前腕部
１２４ 手部
１２５ 赤外線光源
１２６ 赤外線センサ
５０ 物体
【技術分野】
【０００１】
本発明は、物体把持を行うロボットに関する。
【背景技術】
【０００２】
作業環境内に存在する物体を認識して把持動作を実行するロボットが従来から提案されている。例えば、特許文献１には、ステレオカメラを用いて作業環境の３次元データを取得し、取得した３次元データによって環境内に存在する把持対象物体の位置及び形状を認識し、これに対する把持動作を実行するロボットが開示されている。
【０００３】
特許文献２には、人の熱線を検知するための赤外線センサをロボットハンドの把持部に備え、赤外線センサの検知結果を用いてロボットハンドの把持部を人の体温に近い温度に制御するロボットが開示されている。
【特許文献１】特開２００４−１１２２号公報
【特許文献２】特開２００４−５８１８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示されているような物体把持を行う従来のロボットは、視覚センサによって得られたデータ、具体的には、ステレオカメラによって得られたステレオ画像データやレンジセンサによって得られた距離画像データに基づいて把持対象物体の形状を認識し、認識した把持対象物体の形状に適応した把持動作を実行する。しかしながら、形状が同一又は近似していても材質が互いに異なっている物体の間では、物体を把持する際の最適な把持位置や把持力の大きさが異なる場合がある。
【０００５】
本発明は上述した事情を考慮してなされたものであり、形状認識のみを行う場合に比べて把持対象物体をより正確に認識することにより、ロボットが実行する物体把持動作の正確性を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様にかかるロボットは、把持対象物体の把持動作を実行するロボットであって、前記把持対象物体を把持可能なエンドエフェクタを有する腕部と、前記把持対象物体の画像データを取得する視覚センサと、前記把持対象物体の材質を特定するための計測データを取得する計測データ取得部と、前記画像データに基づいて前記把持対象物体の形状を推定する形状推定部と、前記計測データに基づいて前記把持対象物体の材質を推定する材質推定部と、前記把持対象物体の形状及び材質に適応した前記腕部の動作内容を決定する動作計画部とを備える。このような構成により、把持対象物体の材質を物体把持動作を決定する際の判断要素とすることができる。つまり、把持対象物体を特定するための判断材料の増加によって把持対象物体の特定精度を向上させることができ、確実な物体把持動作をロボットに実行させることができる。
【０００７】
なお、上述した本発明の第１の態様にかかるロボットにおいて、前記画像データは、ステレオカメラによって得られるステレオ画像及びレンジセンサによって得られる距離画像のいずれかとすればよい。
【０００８】
上述した本発明の第１の態様にかかるロボットにおいて、前記計測データは赤外線反射スペクトルとすることができる。より具体的には、前記材質推定部が、前記計測データ取得部によって得られた赤外線反射スペクトルを基準物質の赤外線反射スペクトルと照合することにより、前記把持対象物体の材質を推定するよう構成してもよい。
【０００９】
上述した本発明の第１の態様にかかるロボットにおいて、前記計測データ取得部が、赤外線光源と、前記把持対象物体に対して前記赤外線光源から赤外線を照射して得られる赤外線反射スペクトルを計測する赤外線センサとを備えるよう構成してもよい。なお、前記赤外線光源及び前記赤外線センサを前記エンドエフェクタに設けることが望ましい。このような構成により、赤外線光源及び赤外線センサを把持対象物体の近傍に移動した状態で赤外線反射スペクトルを取得できるため、把持対象物体の赤外線反射スペクトルを正確に取得することができる。
【００１０】
上述した本発明の第１の態様にかかるロボットは、複数の物体の把持情報が登録されたデータベースと、前記形状推定部及び前記材質推定部によって推定された形状及び材質に基づいて前記データベースを検索することにより、推定された形状及び材質に対応する把持情報を取得する検索部とをさらに備えることが望ましく、前記動作計画部が、前記検索部によって取得した把持情報に基づいて前記腕部の動作内容を決定することが望ましい。このような構成により、把持動作の都度、把持対象物体の形状や材質をパラメータとして把持動作を演算処理によって算出する場合に比べて、把持動作の作成に要する処理負荷を削減できる。このため、把持対象物体に適した把持動作を高速に行うことができる。
【００１１】
さらに、前記把持対象物体に対する把持動作の実行結果に基づいて前記データベースに登録された前記把持情報を更新することが望ましい。このような構成により、過去の把持動作の経験を蓄積できるため、ロボットによる把持動作の最適化を行うことができる。
【００１２】
本発明の第２の態様にかかる方法は、ロボットによる物体の把持方法である。具体的には、視覚センサによる取得情報に基づいて把持対象物体の形状を推定し、前記把持対象物体の赤外線の反射率に基づいて前記把持対象物体の材質を推定し、推定した前記把持対象物体の形状及び材質に応じて、前記把持対象物体を把持するロボット動作を作成することを特徴とする。これにより、把持対象物体の材質をロボットによる物体把持動作を決定する際の判断要素とすることができる。つまり、把持対象物体を特定するための判断材料の増加によって把持対象物体の特定精度を向上させることができ、確実な物体把持動作をロボットに実行させることができる。
【発明の効果】
【００１３】
本発明により、物体把持動作の正確性を向上させたロボット及びロボットによる物体把持方法を提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。
【００１５】
発明の実施の形態１．
本実施の形態にかかるロボット１は、ステレオカメラ１０１によって取得したステレオ画像データを元に把持対象である物体５０の位置及び形状を推定し、赤外線センサ１２６によって得た赤外線反射スペクトルから物体５０の材質を推定し、推定した物体５０の形状及び材質に適応した把持動作を実行するものである。
【００１６】
本実施の形態にかかるロボット１の外観を図１に示す。頭部１０は、胴体部１１に連結されている。また、胴体部１１には、腕部１２が連結されている。より詳細には、腕部１２に含まれる上腕部１２１が胴体部１１と肩関節機構（不図示）を介して連結され、上腕部１２１と前腕部１２３とが肘関節部１２２を介して連結され、前腕部１２３の先端に手部１２４が設けられている。ここで、手部１２４は、物体５０を把持するエンドエフェクタである。また、胴体部１１にはロボット１の移動機構である車輪１３１及び１３２が設けられている。
【００１７】
ロボット１の頭部１０には、外界を撮影可能な視覚センサとしてのステレオカメラ１０１が設けられている。一方、手部１２４には、赤外線を照射する赤外線光源１２５と、赤外線反射スペクトルを取得するための赤外線センサ１２６が設けられている。具体的には、赤外線光源１２５から照射される赤外線を物体５０に入射し、物体５０の赤外線波長領域での分光反射率、つまり赤外線反射スペクトルを赤外線センサ１２６によって取得する。
【００１８】
続いて以下では、物体５０の形状及び材質の推定結果を利用して物体５０の把持動作を実行する処理について、図２及び図３を用いて詳細に説明する。図２のブロック図は、物体５０の把持を実行する処理に関係するロボット１の主要部の構成を示している。
【００１９】
図２において、計測データ取得部１１０は、物体５０の材質特定に使用するための計測データを取得する。本実施の形態では、物体５０の材質を特定するための計測データとして赤外線反射スペクトルを利用するため、計測データ取得部１１０は、赤外線光源１２５及び赤外線センサ１２６を有している。
【００２０】
形状推定部１１１は、ステレオカメラ１０１によって撮影されたステレオ画像データを用いて物体５０の三次元形状を算出する。具体的には、ステレオカメラ１０１によって撮影したステレオ画像データから対応点を検出し、対応点の３次元位置を復元する。ここで、ステレオ画像における対応点の探索は、複数の撮影画像に対する時空間微分の拘束式を用いた勾配法や相関法等の公知の手法を適用して行えばよい。
【００２１】
材質推定部１１２は、赤外線センサ１２６によって取得された赤外線反射スペクトルを、ＲＯＭ（Read Only Memory）等の記憶部（不図示）に保持されている基準物質の赤外線反射スペクトルと照合することによって物体５０の材質を判定する。例えば、金属、ＡＢＳ及びポリカーボネート等のプラスチック、並びに木材といった基準物質の赤外線反射スペクトルを予め保持しておけばよい。
【００２２】
物体情報データベース１１３は、物体の形状及び材質に関する情報、並びに、物体を把持するための把持情報が関連付けて格納されたデータベースである。把持情報の具体例は、手部１２４による適切な把持位置や把持力に関する情報のほか、腕部１２の移動方向及び移動速度等の情報である。例えば、物体５０が上下２つに分離する物体が重ねられた集合物である場合は、下側の物体を把持位置とする把持情報を物体情報データベース１１３に登録するとよい。また、例えば、物体５０の形状が球体であり、かつ物体５０が滑り易い材質である場合は、物体５０の重心位置、つまり球体の中心より下側を把持位置とする把持情報を登録するとよい。
【００２３】
検索部１１４は、形状推定部１１１において算出した物体５０の形状と、材質推定部１１２において判定した物体５０の材質を、物体情報データベース１１３の格納データと照合する。当該照合の結果、物体５０に対応する物体を特定できた場合は、特定した物体の把持情報を物体情報データベース１１３から取得する。なお、検索部１１４は、物体５０の形状だけでなく、ステレオカメラ１０１による撮影画像から得られる物体５０のテクスチャを併せて照合することとしてもよい。この場合、物体のテクスチャ情報を物体情報データベース１１３に格納しておけばよい。
【００２４】
動作計画部１１５は、物体５０の位置及び形状並びに物体５０に対応する把持情報を元に、物体５０を把持するための腕部１２の動作を決定し、腕部１２の動作情報を制御部１１６に出力する。
【００２５】
制御部１１６は、頭部１０、腕部１２、車輪１３２及び１３３の位置、角度、速度、角速度等を検出するためにロボット１が備えているエンコーダ（不図示）や関節角センサ（不図示）等の内界センサの計測情報を収集し、頭部１０、腕部１２、車輪１３２及び１３３を駆動するための制御信号を、これらを駆動する駆動部に対して出力する。さらに、制御部１１６は、動作計画部１１５によって決定された腕部１２の移動経路に従って腕部１２を動作させるための制御信号をアーム駆動部１１７に出力する。アーム駆動部１１７は、腕部１２のアクチュエータを動作させるための駆動回路である。
【００２６】
次に、物体５０の形状及び材質の認識から物体把持動作を実行するまでの一連の処理手順を、図３のフローチャートを用いて説明する。まずステップＳ１０１では、ステレオカメラ１０１によって物体５０を撮像する。ステップＳ１０２では、形状推定部１１１が、ステレオカメラ１０１によって得たステレオ画像を用いて物体５０の三次元位置及び形状を推定する。
【００２７】
ステップＳ１０３では、赤外線光源１２５によって物体５０に赤外線を照射し、赤外線センサ１２６によって物体５０の赤外線反射スペクトルを取得する。ステップＳ１０４では、材質推定部１１２が、物体５０の赤外線反射スペクトルを基準物質の反射スペクトルと照合して物体５０の材質を判定する。
【００２８】
ステップＳ１０５では、検索部１１４が、物体５０の形状及び材質を物体情報データベース１１３の格納データと照合する。物体５０の形状及び材質に対応する物体の情報が物体情報データベース１１３に登録されている場合は、対応する把持情報を取得する（ステップＳ１０６）。一方、物体５０の形状及び材質に対応する物体の情報が物体情報データベース１１３に登録されていない場合は、物体５０の形状及び材質を新たな物体の情報として物体情報データベース１１３に格納する（ステップＳ１０７）。
【００２９】
ステップＳ１０８では、物体５０の位置及び形状並びに物体５０に対応する把持情報を用いて、物体５０に適した把持動作を実行する。なお、物体５０に対応する記録が物体情報データベース１１３に存在しなかった場合は、物体５０の形状及び材質から決定した把持動作を実行する。例えば、物体５０の形状から物体５０の重心位置を演算し、物体５０の形状及び材質から物体５０の質量を演算し、物体５０の材質、重心及び質量に相応する把持位置及び把持力を決定すればよい。
【００３０】
ステップＳ１０９では、物体５０に対する把持動作の実行結果をもとに物体情報データベース１１３を更新する。具体的には、物体５０の把持に成功した把持位置及び把持力の情報を、把持情報として物体情報データベース１１３に格納する。
【００３１】
上述したように、本実施の形態にかかるロボット１は、赤外線光源１２５及び赤外線センサ１２６によって得られた赤外線反射スペクトルを用いて物体５０の材質を特定し、特定した物体５０の材質を用いて把持動作の内容を決定する。これにより、同じ形状を有する物体であっても、材質が異なれば異なる物体として認識することができ、材質に応じた把持動作、把持位置及び把持力などを採用した動作計画が可能となる。すなわち、把持対象物体を特定するための判断材料の増加によって把持対象物体の特定精度を向上させることができ、確実な物体把持動作をロボットに実行させることができる。
【００３２】
なお、ロボット１の動作環境が暗いためにステレオカメラ１０１の撮影画像による物体５０のテクスチャの特定が困難である場合でも、赤外線反射スペクトルによる物体材質特定は可能である。したがって本発明は、テクスチャによる把持対象物体の特定が困難である場合に、把持対象物体の特定を詳細に実行するための補助手段としても有効である。
【００３３】
上述した発明の実施の形態１にかかるロボット１は、ステレオカメラ１０１によって得たステレオ画像をもとに物体５０の形状を推定することとしたが、レンジセンサによって外界の距離画像を取得し、当該距離画像を用いて物体５０の形状を推定してもよい。また、物体５０の形状の特定に熱画像を使用してもよい。可視光による形状取得が困難な場合に有効である。
【００３４】
また、発明の実施の形態１にかかるロボット１は、赤外線光源１２５及び赤外線センサ１２６を手部１２４に固定することとしたが、これらをロボット１の他の部位に設けることも可能である。しかしながら、赤外線光源１２５及び赤外線センサ１２６を手部１２４の近傍に設ければ、赤外線光源１２５及び赤外線センサ１２６を物体５０の近傍に配置した状態で赤外線反射スペクトルを取得することができる。このため、発明の実施の形態１の構成は、物体５０の赤外線反射スペクトルを正確に取得できる点で有効である。
【００３５】
また、発明の実施の形態１にかかるロボット１は、物体５０の形状及び材質を物体情報データベース１１３の格納情報と照合するものであるが、物体５０の形状及び材質に応じた把持動作を物体情報データベース１１３と照合せずに決定してもよい。しかしながら、把持動作の都度、把持対象物体の形状や材質をパラメータとして把持動作を演算処理によって算出するのでは、動作作成に要する処理負荷が大きい。また、把持対象物体の落下など過去と同じ失敗動作を繰り返す可能性が高い。これに対して、発明の実施の形態１にかかるロボット１は、物体情報データベース１１３に登録された把持位置及び把持力等の把持情報を参照して腕部１２の動作を決定するため、把持対象物体に適した把持動作を高速に行うことができる。また、物体情報データベース１１３に登録された把持情報を把持動作の実行結果によって更新することにより、過去の経験を蓄積し、把持動作の最適化を行うことができる。
【００３６】
なお、発明の実施の形態１の物体情報データベース１１３には、把持対象物体の材質に関する情報ではなく、材質を反映している計測データを登録してもよい。つまり、発明の実施の形態１であれば、赤外線反射スペクトルを登録すればよい。
【００３７】
さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００３８】
【図１】発明の実施の形態１にかかるロボットの外観を示す図である。
【図２】発明の実施の形態１にかかるロボットの内部構成を示すブロック図である。
【図３】発明の実施の形態１にかかるロボットが行う物体把持動作を示すフローチャートである。
【符号の説明】
【００３９】
１ ロボット
１０ 頭部
１１ 胴体部
１２ 腕部
１０１ ステレオカメラ
１１０ 計測データ取得部
１１１ 形状推定部
１１２ 材質推定部
１１３ 物体情報データベース
１１４ 検索部
１１５ 動作計画部
１１６ 制御部
１１７ アーム駆動部
１２１ 上腕部
１２２ 肘関節機構
１２３ 前腕部
１２４ 手部
１２５ 赤外線光源
１２６ 赤外線センサ
５０ 物体
【特許請求の範囲】
【請求項１】
把持対象物体の把持動作を実行するロボットであって、
前記把持対象物体を把持可能なエンドエフェクタを有する腕部と、
前記把持対象物体の画像データを取得する視覚センサと、
前記把持対象物体の材質を特定するための計測データを取得する計測データ取得部と、
前記画像データに基づいて前記把持対象物体の形状を推定する形状推定部と、
前記計測データに基づいて前記把持対象物体の材質を推定する材質推定部と、
前記把持対象物体の形状及び材質に適応した前記腕部の動作内容を決定する動作計画部と、
を備える物体把持ロボット。
【請求項２】
前記画像データは、ステレオカメラによって得られるステレオ画像及びレンジセンサによって得られる距離画像のいずれかである請求項１に記載の物体把持ロボット。
【請求項３】
前記計測データは赤外線反射スペクトルである請求項１に記載の物体把持ロボット。
【請求項４】
前記材質推定部は、前記計測データ取得部によって得られた赤外線反射スペクトルを基準物質の赤外線反射スペクトルと照合することにより、前記把持対象物体の材質を特定する請求項３に記載の物体把持ロボット。
【請求項５】
前記計測データ取得部は、
赤外線光源と、
前記把持対象物体に対して前記赤外線光源から赤外線を照射して得られる赤外線反射スペクトルを計測する赤外線センサとを備え、
前記赤外線光源及び前記赤外線センサが前記エンドエフェクタに設けられている請求項３に記載の物体把持ロボット。
【請求項６】
複数の物体の把持情報が登録されたデータベースと、
前記形状推定部及び前記材質推定部によって推定された形状及び材質に基づいて前記データベースを検索することにより、推定された形状及び材質に対応する把持情報を取得する検索部と、
をさらに備え、
前記動作計画部は、前記検索部によって取得した把持情報に基づいて前記腕部の動作内容を決定する請求項１に記載の物体把持ロボット。
【請求項７】
前記把持情報は、前記エンドエフェクタにより前記把持対象物体を把持する際の把持位置に関する情報及び把持力に関する情報の少なくとも一方を含む請求項６に記載の物体把持ロボット。
【請求項８】
前記把持対象物体に対する把持動作の実行結果に基づいて前記把持情報を更新する請求項６又は７に記載の物体把持ロボット。
【請求項９】
ロボットによる物体の把持方法であって、
視覚センサによる取得情報に基づいて把持対象物体の形状を推定し、
前記把持対象物体の赤外線の反射率に基づいて前記把持対象物体の材質を推定し、
推定した前記把持対象物体の形状及び材質に応じて、前記把持対象物体を把持するロボット動作を作成することを特徴とする方法。
【請求項１】
把持対象物体の把持動作を実行するロボットであって、
前記把持対象物体を把持可能なエンドエフェクタを有する腕部と、
前記把持対象物体の画像データを取得する視覚センサと、
前記把持対象物体の材質を特定するための計測データを取得する計測データ取得部と、
前記画像データに基づいて前記把持対象物体の形状を推定する形状推定部と、
前記計測データに基づいて前記把持対象物体の材質を推定する材質推定部と、
前記把持対象物体の形状及び材質に適応した前記腕部の動作内容を決定する動作計画部と、
を備える物体把持ロボット。
【請求項２】
前記画像データは、ステレオカメラによって得られるステレオ画像及びレンジセンサによって得られる距離画像のいずれかである請求項１に記載の物体把持ロボット。
【請求項３】
前記計測データは赤外線反射スペクトルである請求項１に記載の物体把持ロボット。
【請求項４】
前記材質推定部は、前記計測データ取得部によって得られた赤外線反射スペクトルを基準物質の赤外線反射スペクトルと照合することにより、前記把持対象物体の材質を特定する請求項３に記載の物体把持ロボット。
【請求項５】
前記計測データ取得部は、
赤外線光源と、
前記把持対象物体に対して前記赤外線光源から赤外線を照射して得られる赤外線反射スペクトルを計測する赤外線センサとを備え、
前記赤外線光源及び前記赤外線センサが前記エンドエフェクタに設けられている請求項３に記載の物体把持ロボット。
【請求項６】
複数の物体の把持情報が登録されたデータベースと、
前記形状推定部及び前記材質推定部によって推定された形状及び材質に基づいて前記データベースを検索することにより、推定された形状及び材質に対応する把持情報を取得する検索部と、
をさらに備え、
前記動作計画部は、前記検索部によって取得した把持情報に基づいて前記腕部の動作内容を決定する請求項１に記載の物体把持ロボット。
【請求項７】
前記把持情報は、前記エンドエフェクタにより前記把持対象物体を把持する際の把持位置に関する情報及び把持力に関する情報の少なくとも一方を含む請求項６に記載の物体把持ロボット。
【請求項８】
前記把持対象物体に対する把持動作の実行結果に基づいて前記把持情報を更新する請求項６又は７に記載の物体把持ロボット。
【請求項９】
ロボットによる物体の把持方法であって、
視覚センサによる取得情報に基づいて把持対象物体の形状を推定し、
前記把持対象物体の赤外線の反射率に基づいて前記把持対象物体の材質を推定し、
推定した前記把持対象物体の形状及び材質に応じて、前記把持対象物体を把持するロボット動作を作成することを特徴とする方法。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２００８−５５５８４（Ｐ２００８−５５５８４Ａ）
【公開日】平成２０年３月１３日（２００８．３．１３）
【国際特許分類】
【出願番号】特願２００６−２３８５１４（Ｐ２００６−２３８５１４）
【出願日】平成１８年９月４日（２００６．９．４）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２０年３月１３日（２００８．３．１３）
【国際特許分類】
【出願日】平成１８年９月４日（２００６．９．４）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]