マニピュレータ制御システム、マニピュレータ制御方法およびプログラム
【課題】重量が未知の把持対象物をマニピュレータが把持する際に、マニピュレータから把持対象物が滑り落ちることなく、かつ把持対象物がもろい物でも破壊せずに確実に把持・移動できるようにする。
【解決手段】このマニピュレータ作業支援システムは、マニピュレータ１１の把持部１０に設けられた成分分析装置１３により非接触で計測された材質と、把持部１０に設けられた形状計測センサ１４により非接触で測定された３次元形状データと物体情報データベース４３ｂのデータを基に対象物Ａの重量を算出し、算出した対象物Ａの重量から把持部１０が対象物Ａを把持するための把持力を算出する形状計測処理用ＰＣ４２と、この形状計測処理用ＰＣ４２により求められた把持力にてマニピュレータ１１を動作させる制御用ＰＣ４１とを備える。
【解決手段】このマニピュレータ作業支援システムは、マニピュレータ１１の把持部１０に設けられた成分分析装置１３により非接触で計測された材質と、把持部１０に設けられた形状計測センサ１４により非接触で測定された３次元形状データと物体情報データベース４３ｂのデータを基に対象物Ａの重量を算出し、算出した対象物Ａの重量から把持部１０が対象物Ａを把持するための把持力を算出する形状計測処理用ＰＣ４２と、この形状計測処理用ＰＣ４２により求められた把持力にてマニピュレータ１１を動作させる制御用ＰＣ４１とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、把持対象物をマニピュレータで把持および移動するためのマニピュレータ制御システム、マニピュレータ制御方法およびプログラムに関する。
【背景技術】
【０００２】
人が直接手で掴んで作業を行えないような物体を人の代わりに把持して移動や操作を行うために、マニピュレータが利用されている。
【０００３】
マニピュレータを用いた作業を行う場合、把持対象物は、特定されていることが多く、その物体形状、重量、把持位置、必要把持力、物体設置位置などの情報は既知であるものとして扱われることが多い。
【０００４】
把持対象物の設置位置や形状が不明な場合、画像処理システムあるいはそれに代わる計測システムと組み合わせて対象物の設置位置や形状を計測することで、把持位置や姿勢を修正することが可能である。
【０００５】
従来、把持対象物の重量が不明確な場合にマニピュレータの把持力を適切に調整する方法として、例えば把持物体を指内で滑らせることで押付け力と摩擦力より摩擦係数を推定して適切な把持力を決定する方法がある（例えば特許文献１参照）。
【０００６】
また、マニピュレータの指先に貼り付けた曲面弾性体と把持物体との固着状態から物体の滑り量を測定して把持力の調整に活用する方法もある（例えば特許文献２参照）。
【特許文献１】特開２００５−１４４５７３
【特許文献２】特開２０００−２５４８８４
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した従来のマニピュレータの物体把持力調整方法の場合、把持対象物の固有情報に基づいてマニピュレータ把持力調整を行うため、一般的に既知の対象物に対してしか把持作業が行えない。
【０００８】
これでは、汎用性がなく、様々な物体の把持作業を想定したとき、それぞれの対象物固有の情報を予め設定しておくことは困難であり、マニピュレータが未知の対象物に対しても作業を行えるように柔軟に対応できるようにすることが望ましい。
【０００９】
そのためには、把持対象物の形状のみならず重量やそれに適した把持位置、把持力などを自動的に判別できるようにする必要がある。
物体の外形（形状）は、カメラによるステレオ視の技術やレーザスキャン計測技術などの従来技術により３次元的に測定することが可能である。
【００１０】
しかしながら、形状計測を行うことで未知の形状の対象物を扱う場合、対象物の重量までは分からないため、適切な把持力を決定することができないという問題があった。
【００１１】
物体の把持作業においてマニピュレータが過大な把持力で物体を把持すると、対象物を握りつぶしてしまうことになる。また、この逆に把持力が不足した場合は、対象物が滑り落ちたりする恐れがある。このため、把持対象物の重量に応じた適切な把持力を決定することは重要である。
【００１２】
上述した先行技術に見られる手法は、重量が未知の把持対象物に対しても重量を推定して把持力を適切に調整することを可能にしているものの、物体把持後の指内での滑りを検出して重量推定を行っているため、把持対象物に接触したときの初期の推定値に大きな誤差があった場合は、把持力不足によって把持対象物を滑り落としたり、逆に把持力過多のため対象物を握りつぶしたりしてしまう恐れがある。
【００１３】
本発明はこのような課題を解決するためになされたもので、重量が未知の把持対象物をマニピュレータが把持部で把持する際に、マニピュレータの把持部から把持対象物が滑り落ちることなく、かつ把持対象物がもろい物でも破壊せずに確実に把持・移動することができるマニピュレータ制御システム、マニピュレータ制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記した課題を解決するために、本発明のマニピュレータ制御システムは、把持対象物を把持・移動するための把持部を有するマニピュレータと、前記把持部に設けられ、接近した前記把持対象物に対して光または放射線を放射してその材質を非接触で計測する成分分析器と、前記把持部に設けられ、接近した前記把持対象物に対して光または放射線を放射してその立体形状を非接触で測定する形状計測センサと、前記成分分析器により計測された前記把持対象物の材質と前記形状計測センサにより計測された立体形状とから前記把持対象物の体積を算出する体積算出部と、既知の把持対象物の形状、物質の密度情報、把持位置、把持力を含む物体情報を蓄積したデータベースと、前記体積算出部により計算された前記把持対象物の体積と、前記成分分析器により計測された把持対象物の材質をキーに前記データベースから読み出した物質の密度情報とから前記把持対象物の重量を算出する重量算出部と、前記重量算出部により算出された前記把持対象物の重量から前記把持対象物の把持力を算出する把持力算出部と、前記把持力算出部により算出された把持力にて前記マニピュレータを動作させる制御部とを具備することを特徴とする。
【００１５】
本発明のマニピュレータ制御方法は、把持対象物を把持・移動するための把持部を有するマニピュレータを制御して把持対象物を把持・移動するマニピュレータ制御方法において、前記把持部に設けられた成分分析器が、接近した前記把持対象物に対して光または放射線を放射してその材質を非接触で計測するステップと、前記把持部に設けられた形状計測センサが、接近した前記把持対象物に対して光または放射線を放射してその立体形状を非接触で測定するステップと、前記成分分析器により計測された前記把持対象物の材質と前記形状計測センサにより計測された立体形状とからコンピュータが前記把持対象物の体積を算出するステップと、計算した前記把持対象物の体積と、計測した前記把持対象物の材質をキーにデータベースから読み出した物質の密度情報とから前記コンピュータが前記把持対象物の重量を算出するステップと、算出した前記把持対象物の重量から前記コンピュータが、前記把持対象物を前記マニピュレータが把持するための把持力を算出するステップと、算出した把持力にて前記コンピュータが前記マニピュレータを動作させるステップとを有することを特徴とする。
【００１６】
本発明のプログラムは、把持対象物を把持・移動するための把持部を有するマニピュレータをコンピュータが制御するためのプログラムにおいて、前記コンピュータを、前記把持部に設けられた成分分析器が前記把持対象物に対して光または放射線を放射して非接触で計測した材質と、前記把持部に設けられた形状計測センサが、前記把持対象物に対して光または放射線を放射して非接触で測定した立体形状とから前記把持対象物の体積を算出する体積算出部と、既知の把持対象物の形状、物質の密度情報、把持位置、把持力を含む物体情報を蓄積したデータベースと、前記体積算出部により計算された前記把持対象物の体積と、前記成分分析器により計測された前記把持対象物の材質をキーに前記データベースから読み出した物質の密度情報とから前記把持対象物の重量を算出する重量算出部と、前記重量算出部により算出された前記把持対象物の重量から前記把持対象物の把持力を算出する把持力算出部と、前記把持力算出部により算出された把持力にて前記マニピュレータを動作させる制御部として機能させることを特徴とする。
【００１７】
すなわち、本発明では、重量が未知の把持対象物をマニピュレータで把持する際に、把持対象物の形状と質量を光または放射線を放射して非接触で計測し、その計測結果と質量から把持対象物の重量を計算により求め、把持対象物を把持するための適正な把持力を決定してから、マニピュレータで把持対象物を把持する。つまり重量が未知の把持対象物に対して事前にマニピュレータの把持力を適切に調整する。
【発明の効果】
【００１８】
本発明によれば、重量が未知の把持対象物をマニピュレータが把持部で把持する際に、マニピュレータの把持部から把持対象物が滑り落ちることなく、かつ把持対象物がもろい物でも破壊せずに確実に把持・移動することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
（第１実施形態）
まず、図１を参照してマニピュレータ制御システムの一つの実施形態であるマニピュレータ作業支援システムについて説明する。図１は第１実施形態のマニピュレータ作業支援システムの構成を示す図である。
【００２０】
この第１実施形態のマニピュレータ作業支援システムは、マニピュレータ１１と、このマニピュレータ１１と通信ケーブル２０を介して接続されたマニピュレータコントローラ３０と、このマニピュレータコントローラ３０とＬＡＮ２１などのネットワークを介して接続された複数のコンピュータ（制御用コンピュータ４１、形状計測処理用コンピュータ４２、物体情報データベース用コンピュータ４３、状態表示コンピュータ４４）とから構成されている。
【００２１】
以下、コンピュータを「ＰＣ」と称す。各ＰＣには、ＣＰＵ、ＲＯＭ、ＲＡＭなどのメモリ、ハードディスク装置などの記憶装置、マウス、キーボードなどの入力装置、ディスプレイ、外部インターフェースなどの出力装置が備えられている。
【００２２】
ハードディスク装置にはＣＰＵを動作させるためのオペレーティングシステム（以下「ＯＳ」と称す）および制御プログラムなどが記憶されている。マウス、キーボードなどは、オペレータによる各種指示操作を受付け、その指示をＣＰＵへ入力する。
【００２３】
マニピュレータ１１は、複数の関節１１ａ、１１ｂ、１１ｃと、腕部１１ｄ，１１ｅと、関節１１ａ、１１ｂ、１１ｃを各方向へ駆動する駆動部１１ｆと、腕部１１ｅの先端に設けられた把持部１０とを有している。
【００２４】
把持部１０の先端には、グリッパ部１２が設けられている。グリッパ部１２は、把持対象物Ａ（以下「対象物Ａ」と称す。）を把持するために指状の先端部１２ａを有しており、２つの先端部１２ａを開閉動作することにより対象物Ａを把持または離すことができる。グリッパ部１２には、先端部１２ａの把持力を計測する把持力計測センサ（図示せず）が設けられている。
【００２５】
把持部１０には、グリッパ部１２の先端、つまり手先に加わる外力（力とモーメント）を計測する６軸力センサ１５が備えられている。この６軸力センサ１５の上には、グリッパ部１２の先端の方向に向けて成分分析装置１３と形状計測センサ１４とが設けられている。
【００２６】
成分分析装置１３としては、例えば蛍光Ｘ線分析装置や赤外分光光度計測装置などの、放射線または光学系を用い、対象物Ａに触れることなく（非接触で）、対象物Ａの成分を分析してその構成を同定できる装置を利用する。
【００２７】
蛍光Ｘ線分析装置は、Ｘ線管球から発生されたＸ線を測定対象物Ａに照射し、その測定対象物Ａから放射された蛍光Ｘ線を受けて分析する装置である。この測定対象物Ａから放射される蛍光Ｘ線のエネルギーは、元素に固有のエネルギー値を持っているため、蛍光Ｘ線を測定することで測定対象物に含まれている元素の種類を特定することが可能である。
【００２８】
赤外分光光度計測装置は、対象物に赤外光を照射して、対象物からの透過光、反射光、あるいは散乱光を分光し、それぞれ透過スペクトル、反射スペクトルあるいは拡散スペクトルを得ることにより、対象物の物性情報を得る手法である。得られたスペクトルはその物質特有のものであり、これにより構成材料の同定を行うことが可能である。
【００２９】
形状計測センサ１４は、例えば２つのＣＣＤカメラを用いたステレオ視の技術またはレーザスキャンの技術を利用して３次元形状（立体形状）の認識を行う。レーザスキャンを行う場合の装置は、測定対象物に対してレーザ光を照射してから、そのレーザ光が測定対象物に反射して戻るまでの時間差により対象物Ａとの距離を計測する機構を、直接またはミラーの反射を用いて２次元的に走査することで対象物の３次元形状を測定する。ここではＣＣＤカメラを使用するものとして説明する。
【００３０】
なお、成分分析装置１３、形状計測センサ１４の種類は、ここに例示したものだけに限定されるものではなく、同じ目的であれば他の手段を用いてもよい。また、外力計測用のセンサとして６軸力センサ１５を用いたが、これに限らずロードセルを用いるなど、作業・操作内容に応じて代替して使用してもよい。
【００３１】
マニピュレータコントローラ３０には、ＣＰＵ３１、メモリ３２、制御用インターフェース３４、通信インターフェース３５などが備えられている。
【００３２】
マニピュレータコントローラ３０のメモリ３２には、各関節１１ａ、１１ｂ、１１ｃを駆動するモータを制御するためのモータドライバや制御ソフトウェア等が収容されている。
【００３３】
制御用インターフェース３４は、マニピュレータコントローラ３０に通信ケーブル２０を接続するためのインターフェースであり、マニピュレータ１１を動作させるための制御信号を通信ケーブル２０を通じてマニピュレータ１１へ送信する。
【００３４】
制御用インターフェース３４は、マニピュレータ１１の成分分析装置１３および形状計測センサ１４により測定された測定データを通信ケーブル２０を通じて受信し、ＣＰＵ３１へ渡す。
【００３５】
通信インターフェース３５は、ＬＡＮ接続ボードなどであり、マニピュレータコントローラ３０をＬＡＮ２１に接続する。通信インターフェース３５は、制御用ＰＣ４１からの動作指令を受信してＣＰＵ３１に渡す。
【００３６】
ＣＰＵ３１は、通信インターフェース３５から渡された動作指令をマニピュレータ１１用の制御信号にして制御用インターフェース３４を通じてマニピュレータ１１へ送信する。
【００３７】
また、ＣＰＵ３１は、制御用インターフェース３４により受信された測定データを通信インターフェース３５からＬＡＮ２１を通じて各ＰＣ（制御用ＰＣ４１、形状計測処理用ＰＣ４２、物体情報データベース用ＰＣ４３、状態表示ＰＣ４４）へ伝送する。
【００３８】
制御用ＰＣ４１は、マニピュレータ１１の動作の決定とマニピュレータコントローラ３０に対して各軸の動作指令を与える。制御用ＰＣ４１は、決定したマニピュレータ１１の動作およびマニピュレータコントローラ３０に対して各軸の動作指令などをディスプレイ４１ａに表示する。
【００３９】
制御用ＰＣ４１のＣＰＵは、成分分析装置１３により計測された対象物Ａの材質と形状計測センサ１４により計測された対象物Ａの３次元形状（立体形状）とから対象物Ａの体積を算出する体積算出部として機能する。
【００４０】
制御用ＰＣ４１のＣＰＵは、体積算出部により計算された対象物Ａの体積と、成分分析装置１３により計測された対象物Ａの材質をキーに物体情報データベース用ＰＣ４３の物体情報データベース４３ｂから読み出した物質の密度情報とから対象物Ａの重量を算出する重量算出部として機能する。
【００４１】
制御用ＰＣ４１のＣＰＵは、重量算出部により算出された把持対象物の重量からマニピュレータ１１が対象物Ａを把持するための把持力を算出する把持力算出部として機能する。
【００４２】
制御用ＰＣ４１のＣＰＵは、把持力算出部により算出された把持力にてマニピュレータ１１を動作させる制御部として機能する。
【００４３】
形状計測処理用ＰＣ４２のＣＰＵは、手先（グリッパ部１２）の形状計測センサ１４から得られた対象物Ａの形状計測結果の情報に基づいて対象物Ａの３次元形状のデータを演算（計算）して求め、演算結果（計算結果）の３次元形状のデータをディスプレイ４２ａに表示する。
【００４４】
物体情報データベース用ＰＣ４３は、既知の把持物体固有の情報（３次元の形状データ、物質の密度情報、把持位置、把持力、重量、重心位置、把持可能位置などの物体情報）が登録（蓄積）された物体情報データベース４３ｂを有している。
物体情報データベース４３ｂは、一つのキーワードから関連する情報を検索可能であり、例えば計算された把持対象物の体積と、成分分析器１３により計測された把持対象物の材質をキーにして物質の密度情報を読み出し可能である。
【００４５】
物体情報データベース用ＰＣ４３のＣＰＵは、計測された対象物Ａの形状データを検索キーとして、物体情報データベース４３ｂから該当対象物Ａ（物体）のデータ（特性データなど）を検索する検索部と、この検索部により検索された対象物Ａのデータ（特性データなど）をディスプレイ４３ａに表示（出力）する出力部として機能する。
【００４６】
物体情報データベース用ＰＣ４３のＣＰＵは、検索部による検索の結果、対象物Ａの情報が物体情報データベース４３ｂに存在しない場合、その対象物Ａを未知の物体として、計測および計算により求めた情報（形状データ、材質など）を物体情報データベース４３ｂに追加登録する登録部として機能する。
【００４７】
物体情報データベース用ＰＣ４３のＣＰＵは、検索部による検索の結果、対象物Ａの情報が物体情報データベース４３ｂに存在しない場合、その対象物Ａを未知の物体とし、未知の物体について、対象物Ａの形状に類似する物体のデータ（特性データなど）を物体情報データベース４３ｂから読み出してそのデータ（特性データなど）を対象物Ａのデータとするデータ選出部として機能する。
【００４８】
物体情報データベース用ＰＣ４３のＣＰＵは、データ選出部により対象物Ａのものとされた類似する物体の特性データを基に（キーとして）物体情報データベース４３ｂに予め記憶された把持位置、把持力の中から適切な把持位置、把持力を決定する把持力決定部として機能する。
【００４９】
状態表示ＰＣ４４は、形状計測センサ１４により計測された対象物Ａの形状を基にマニピュレータ１１の把持部１０が対象物Ａを把持する３次元空間上の位置を求める。そして、状態表示ＰＣ４４は、マニピュレータ１１の姿勢やその把持部１０と対象物Ａとの位置姿勢関係を３次元のコンピュータグラフィック（以下「ＣＧ」と称す。）でディスプレイ４４ａの画面に表示する。
【００５０】
なお、各ＰＣ４１〜４４は、ＬＡＮ２１に接続されており、互いに情報を送受信することができる。ここでは各処理毎にＰＣを分けて設置する例を示したが、各ＰＣの処理機能を一つにまとめて１台のＰＣに集約してもよい。
【００５１】
続いて、図２を参照してこの第１実施形態のマニピュレータ作業支援システムの動作を説明する。図２はこの第１実施形態のマニピュレータ作業支援システムの処理動作を示すフローチャートである。
【００５２】
この第１実施形態のマニピュレータ作業支援システムの場合、制御用ＰＣ４１のＣＰＵは、把持部１０の先端部１２ａ、つまり手先のＣＣＤカメラから得られた映像を画像処理することによって対象物Ａの３次元空間上の位置（座標）を認識し、マニピュレータコントローラ３０に対してマニピュレータ１１を動作させるための指示を送り、まずマニピュレータ１１を動作させて、その先端部１２ａ、つまり手先を対象物Ａの近傍まで移動し（図２のステップ１０１）、対象物Ａに接近させる。なお、ステップは処理工程を意味し、以下では、ステップを「Ｓ」と称す。
【００５３】
このとき、対象物Ａの大まかな３次元空間上の位置（座標）は、予め物体情報データベース４３ｂに登録されているものとしても良く、手先のＣＣＤカメラの映像に基づく画像処理によって認識しても良い。
【００５４】
次に、マニピュレータ１１の手先に設けた形状計測センサ１４により対象物Ａの３次元形状の計測が行われる（Ｓ１０２）。
【００５５】
形状計測センサ１４では、ステレオ視による画像処理やレーザスキャン装置による計測を行う上で、手先位置固定の固定視点からでは対象物Ａの一部しか計測できない恐れがある。
【００５６】
このため、制御用ＰＣ４１のＣＰＵは、対象物Ａの周囲を周回するようにマニピュレータ１１の先端を移動させる。この移動に伴い形状計測処理用ＰＣ４２のＣＰＵは、対象物Ａの外観を計測した計測結果を合成処理することで、対象物Ａの３次元形状データを得る。
【００５７】
次に、形状計測処理用ＰＣ４２のＣＰＵは、得られた対象物Ａの３次元形状データを用いて対象物Ａの体積を算出する（Ｓ１０３）。
【００５８】
このときの形状計測によって得られるデータは、３次元の位置情報を有する計測点群であるので、形状計測処理用ＰＣ４２のＣＰＵは、これらの点群を表面として構成するソリッドモデルを生成する。ソリッドモデルから体積を算出する手法は、３次元ＣＡＤなどで広く使用されており、同様の手法を用いるものとする。
【００５９】
次に、形状計測処理用ＰＣ４２のＣＰＵは、形状計測センサ１４の情報に基づき手先位置と対象物Ａまでの距離を計算し、手先を対象物Ａに接近させる。
【００６０】
その後、形状計測処理用ＰＣ４２のＣＰＵは、成分分析装置により対象物Ａの成分を分析する（Ｓ１０４）。
【００６１】
成分分析には、まず、手先に搭載した蛍光Ｘ線分析装置にてＸ線を照射して対象物Ａより放射される蛍光Ｘ線の強度を測定する。
【００６２】
次に、形状計測処理用ＰＣ４２のＣＰＵは、測定した蛍光Ｘ線の強度スペクトルの値から物体情報データベース４３ｂを参照することで対象物Ａの構成材料を選定し、その材料をキーワードにしてさらに物体情報データベース４３ｂに登録されている物質の密度情報を参照することで、対象物Ａの密度を算出する（Ｓ１０５）。
【００６３】
また、形状計測処理用ＰＣ４２のＣＰＵは、その物質によって構成される一般的な物体について物体情報データベース４３ｂを参照することでその物体の摩擦係数の値も読み出す。なお、本実施形態では対象物Ａは、均一の材料にて構成されているものとして扱うものとする。
【００６４】
次に、形状計測処理用ＰＣ４２のＣＰＵは、算出した対象物の体積と密度の情報を用いて重量＝体積×密度の関係式より対象物Ａの重量を算出する（Ｓ１０６）。
【００６５】
次に、形状計測処理用ＰＣ４２のＣＰＵは、算出した対象物Ａの重量と、物体情報データベース４３ｂの参照により得られた物体の摩擦係数値より、適した把持力を決定し（Ｓ１０７）、決定した把持力をＬＡＮ２１を通じて制御用ＰＣ４１へ通知する。
【００６６】
次に、把持力が通知された制御用ＰＣ４１のＣＰＵは、形状計測センサ１４を用いて対象物Ａの位置姿勢を確認しながら、グリッパ部１２の先端部１２ａを対象物Ａを把持可能位置へ移動し（Ｓ１０８）、先に決定した把持力になるように把持力計測センサ（図示せず）から得られる計測値で把持力を調整しながら先端部１２ａを閉じてゆき対象物Ａを把持する（Ｓ１０９）。
【００６７】
最後に、対象物Ａを持ち上げた後、グリッパ部１２に装着している６軸力センサ１５により対象物Ａの正確な重量を測定し、その測定結果と計算で求めた重量とを比較して誤差分に相当する把持力を調整（修正）する（Ｓ１１０）。
【００６８】
例えば、計算した重量よりも実際の重量が重ければ、把持力を増加させることでグリッパ部１２の指部から対象物Ａが滑り落ちることを防止する。この逆に指部に滑り触覚センサを搭載しておき、対象物Ａの滑りを検出した際に把持力を増加させるといった方法も有効である。
【００６９】
このようにこの第１実施形態によれば、マニピュレータ１１で対象物Ａを把持する前に対象物Ａの形状の認識と重量の推定（計算）を行うので、始めにグリッパ部１２で対象物Ａを掴むときから適切な把持力で対象物Ａを把持することができ、かつ対象物Ａの設置位置の変化に自律的に対応可能であり、対象物Ａの把持・移動作業時にマニピュレータ１１の把持力が弱すぎて対象物Ａが落下したり、マニピュレータ１１の把持力が強すぎて対象物Ａを握りつぶす（破損）などのミスを極力なくすことができる。
【００７０】
（第２実施形態）
次に、図３を参照して第２実施形態について説明する。図３は第２実施形態のマニピュレータ作業支援システムの処理動作を示すフローチャートである。なお以下の実施形態において、第１実施形態と同一の構成および動作工程には同一の符号を付し重複する説明は省略する。
【００７１】
この第２実施形態は、第１実施形態に示したマニピュレータ作業支援システムの構成において、対象物Ａの形状計測を行うことで、把持可能な位置を探索して自動的に設定する動作の一例である。
【００７２】
この第２実施形態のマニピュレータ作業支援システムでは、形状計測処理用ＰＣ４２のＣＰＵは、上記第１実施形態と同様の処理で重量を推定、つまり計算により求めた後（Ｓ１０１〜Ｓ１０６）、対象物Ａより得た３次元形状のデータより対象物Ａの重心位置を計算により求める（Ｓ２０７）。
【００７３】
次に、形状計測処理用ＰＣ４２のＣＰＵは、求めた対象物Ａの重心位置近傍でかつグリッパ部１２にて把持可能な位置を特定（決定）する（Ｓ２０８）。重心位置近傍とは、重心からの距離が予め設定された範囲内をいい、この例では例えば数ｃｍ以内をいう。
【００７４】
把持可能位置は、グリッパ部１２の指形状に依存するが、例えば単純な２本指の開閉機構からなるグリッパ部１２の場合は、指の開口幅と把持部の接触面積から決定される。
【００７５】
重心位置付近位置で把持が不可能な場合は、重心位置を中心にしてなるべくその近傍にて把持可能位置を探索して決定する。
【００７６】
次に、形状計測処理用ＰＣ４２のＣＰＵは、計算により求めた対象物Ａの重量から対象物Ａに適した把持力を決定する（Ｓ２０９）。このとき、把持位置が重心よりもずれる場合は、その把持位置を持つことによって発生する回転モーメントの値をパラメータの一つとして把持力を決定し、決定した把持力を制御用ＰＣ４１へ通知する。
【００７７】
把持力の通知を受けた制御用ＰＣ４１のＣＰＵは、形状計測センサ１４により測定された測定値によって対象物Ａの位置姿勢を確認しながらマニピュレータ１１を動作させてグリッパ部１２（手先）を形状計測処理用ＰＣ４２により決定された把持可能位置へ移動し（Ｓ２１０）、その位置でグリッパ部１２にて対象物Ａを把持する（Ｓ２１１）。
【００７８】
このとき制御用ＰＣ４１のＣＰＵは、把持力計測センサ（図示せず）の把持力測定値が先に決定した力になるようにグリッパ部１２の把持力を調整しながらグリッパ部１２の先端部１２ａ（手先）を閉じてゆき対象物Ａを把持する。
【００７９】
なお、手先に加わる外力の計測センサとして６軸力センサ１５を利用した場合は、力成分のみならずモーメント成分の測定も可能であるため、モーメントの大きさから対象物Ａの重心位置を測定することが可能であり、計算で求めた重心位置を補正（修正）する（Ｓ２１２）。
【００８０】
このようにこの第２実施形態によれば、第１実施形態の機能に加えて、把持位置が不確定な対象物Ａについてもその位置を自律的に決定および修正することが可能な物体の把持・移動作業を実現することができる。
【００８１】
（第３実施形態）
次に、図４を参照して第３実施形態について説明する。図４は第３実施形態のマニピュレータ作業支援システムの処理動作を示すフローチャートである。
この第３実施形態では、第１実施形態に示した物体情報データベース用ＰＣ４３の物体情報物体情報データベース４３ｂに、把持対象物の特性データを収納しておく。
【００８２】
図４に示すように、物体情報データベース４３ｂに、各々の対象物の正確な形状、重量、重心位置、把持可能位置、把持位置の摩擦係数、適切な把持力など、物体固有の情報を登録しておく。
【００８３】
次に、マニピュレータ１１による把持作業時に、第１実施形態と同様に、形状計測処理用ＰＣ４２のＣＰＵは、グリップ部１２（手先）の形状計測センサ１４により計測された対象物Ａの３次元形状計測データを取得し（Ｓ３０２）、この３次元形状データを基に物体情報データベース４３ｂを参照することで、対象物Ａの密度を計算する（Ｓ３０３）。
【００８４】
そして、形状計測処理用ＰＣ４２のＣＰＵは、該当する物体固有の情報を、物体情報データベース４３ｂから検索して取得することで適切な把持力を決定し、制御用ＰＣ４１のＣＰＵがその決定した把持力でマニピュレータ１１を動作させてそのグリップ部１２（手先）を対象物Ａの位置へ移動し（Ｓ３０４）、対象物Ａを把持する（Ｓ３０５）。
【００８５】
対象物Ａの３次元形状計測データを用いた検索方法の例としては、３次元空間上で表現される対象物Ａの形状の特徴を表す頂点の位置関係やサイズなどの比較によって行う方法がある。
【００８６】
この場合、物体固有の情報を物体情報データベース４３ｂに登録できるので、その把持にかかわる情報だけでなく、例えばその対象物Ａの利用方法の情報なども登録しておくことができる。
【００８７】
例えば、対象物Ａがネジ回しなどの工具であれば、ネジ山に先端を押し付け長手軸方向に回転させるといった、その工具の使用方法の情報を物体情報データベース４３ｂから取得して作業に利用することができる。
【００８８】
このようにこの第３実施形態によれば、物体情報データベース４３ｂに、既知の把持対象物の正確な形状、重量、重心位置、把持可能位置、把持位置の摩擦係数、適切な把持力などを登録しておくことで、対象物Ａについて詳細な情報を得ることができ、正確な把持動作を行うことができる。また、把持動作のみならず対象物Ａを把持した状態での作業に応用することが可能である。
【００８９】
（第４実施形態）
次に、図５を参照して第４実施形態について説明する。図５は第４実施形態のマニピュレータ作業支援システムの処理動作を示すフローチャートである。
【００９０】
上記第３実施形態では、物体情報データベース４３ｂの情報を予め人の手によって入力および登録する必要があり、既知の対象物Ａにしか対応できない。
【００９１】
そこで、この第４実施形態では、第１実施形態および第２実施形態の機能によって取得した未知の対象物Ａの形状や重量、適切な把持力などのデータを物体情報データベース４３ｂに登録することで、対応可能な対象物Ａを自動的に追加するものである。
【００９２】
すなわち、この第４実施形態のマニピュレータ作業支援システムでは、形状計測処理用ＰＣ４２のＣＰＵは、上記第１実施形態と同様の処理で重量を推定した後（Ｓ１０１〜Ｓ１０６）、対象物Ａより得た３次元形状のデータより対象物Ａの重心位置を計算により求める（Ｓ２０７）。
【００９３】
次に、形状計測処理用ＰＣ４２のＣＰＵは、求めた対象物Ａの重心位置近傍でかつグリッパ部１２にて把持可能な位置を特定（決定）する（Ｓ２０８）。重心位置近傍とは、予め設定された数ｃｍ以内をいう。
【００９４】
把持可能位置は、グリッパ部１２の指形状に依存するが、例えば単純な２本指の開閉機構からなるグリッパ部１２の場合は、指の開口幅と把持部の接触面積から決定される。
【００９５】
重心位置付近位置で把持が不可能な場合は、重心位置を中心にしてなるべくその近傍にて把持可能位置を探索して決定する。
【００９６】
次に、形状計測処理用ＰＣ４２のＣＰＵは、計算により求めた対象物Ａの重量から対象物Ａに適した把持力を決定する（Ｓ２０９）。このとき、把持位置が重心よりもずれる場合は、その把持位置を持つことによって発生する回転モーメントの値をパラメータの一つとして把持力を決定し、決定した把持力を制御用ＰＣ４１へ通知する。
【００９７】
把持力の通知を受けた制御用ＰＣ４１のＣＰＵは、形状計測センサ１４により測定された測定値によって対象物Ａの位置姿勢を確認しながらマニピュレータ１１を動作させてグリッパ部１２（手先）を形状計測処理用ＰＣ４２により決定された把持可能位置へ移動し（Ｓ２１０）、その位置でグリッパ部１２にて対象物Ａを把持する（Ｓ２１１）。
【００９８】
このとき制御用ＰＣ４１のＣＰＵは、把持力計測センサ（図示せず）の把持力測定値が先に決定した力になるようにグリッパ部１２の把持力を調整しながらグリッパ部１２の先端部１２ａ（手先）を閉じてゆき対象物Ａを把持する。
【００９９】
なお、手先に加わる外力の計測センサとして６軸力センサ１５を利用した場合は、力成分のみならずモーメント成分の測定も可能であるため、モーメントの大きさから対象物Ａの重心位置を測定することが可能であり、計算で求めた重心位置を補正（修正）する（Ｓ２１２）。
【０１００】
最後に、形状計測処理用ＰＣ４２のＣＰＵは、取得した未知の対象物Ａの形状や重量、適切な把持力などのデータを物体情報データベース４３ｂに登録し、物体情報データベース４３ｂの内容を更新する（Ｓ４１３）。
【０１０１】
このようにこの第４実施形態によれば、対象物Ａの固有情報が既知であるものに加え、未知であるものも計測を行い計算した物体の情報を、物体情報データベース４３ｂに追加登録することで、同じ物体を再度把持するときは物体情報データベース４３ｂを参照することで、人手によるデータベース登録がない物体についても適正な把持力で物体を把持・移動することができる。
【０１０２】
（第５実施形態）
次に、第５実施形態について説明する。
第５実施形態は、第４実施形態に関連し、対象物Ａの形状が物体情報データベース４３ｂに登録されている物体のデータと一致しないものの近似、つまり形状が類似する場合に、その類似した物体のデータに基づいて対象物Ａの特性を計算で求めて、マニピュレータ１１を制御し対象物Ａを把持するものである。
【０１０３】
例えばネジ回しなどの工具は大きさが異なる類似した形状のものが多数存在する。また、これら工具は、形が異なっていても工具としての使用方法は同じである。
【０１０４】
上記第４実施形態で示したように、形状計測の結果、物体情報データベース４３ｂに存在する形状のものとは一致せず、対象物Ａが未知形状であるものの、物体情報データベース４３ｂに類似形状のデータが存在する場合、形状計測処理用ＰＣ４２のＣＰＵは、類似形状のデータを持つ物体の情報から、未知の対象物Ａの重量を計算で求め、把持位置や把持力などを推定して決定すると共に、未知の対象物Ａについての使用方法を既知の物と同じであるものとして物体情報データベース４３ｂに追加登録する。
【０１０５】
第１実施形態および第２実施形態で示したような対象物Ａの特性データの算出も併せて行うことで、特性の推定精度をより向上することができる。
【０１０６】
なお、実際に把持作業を実施した後には、その対象物の特性情報を物体情報データベース４３ｂに追加して登録を行い、再活用できるようにする。
【０１０７】
このようにこの第５実施形態によれば、対象物Ａの固有情報が未知であるものに対しても、物体情報データベース４３ｂに類似する形状の物体情報が存在すれば、その物体情報を基に対象物Ａの特性を計算により求めて、把持に係るパラメータを決定することができ、計測だけによる特性推定と併せて推定精度を向上させた物体の把持・移動作業を実現することができる。
【０１０８】
（第６実施形態）
次に、図６を参照して本発明に係る第６実施形態について説明する。図６は第６実施形態のマニピュレータの構成を示す図である。
この第６実施形態では、第１実施形態に示した構成に加えて、マニピュレータ１１の手先部（把持部１０）に搭載された非接触ＩＣタグのリーダライタ６１と、リーダライタ６１がデータを書き込んだ非接触ＩＣタグとしての情報タグ６０を対象物Ａに貼り付けるタグ設置機構６２とから構成されている。
【０１０９】
リーダライタ６１は、対象物Ａの特性データを情報タグ６０に記憶する情報書込部として機能する。
【０１１０】
また、リーダライタ６１は、対象物Ａに取り付けられている情報タグ６０から、光または電波による無線通信で対象物Ａの特性データを読み込み、把持力決定部である形状計測処理用ＰＣ４２へ渡す情報読取部として機能する。
【０１１１】
情報タグ６０の片面には、粘着剤が塗布されている。タグ設置機構６２は、伸縮可能な筒状部６２ａを有している。筒状部６２ａは、吸着ノズルとなっており、その先端に、粘着剤が塗布されていない情報タグ６０の他の面が吸引などで吸着されている。
【０１１２】
タグ設置機構６２は、リーダライタ６１によって特性データが書き込まれた情報タグ６０を対象物Ａに取り付ける取付部として機能する。
【０１１３】
このタグ設置機構６２の場合、情報タグ６０を対象物Ａに押し付けて吸引を停止することで、情報タグ６０を対象物Ａに貼り付ける装置である。
【０１１４】
第１実施形態乃至第５実施形態で示した物体情報データベース４３ｂを検索、参照する方式は照合の際に処理時間が発生すると共に、物体情報データベース４３ｂの運用・管理が必要となる。
【０１１５】
そこで、この第６実施形態では、一度推定した対象物の特性データをリーダライタ６１が情報タグ６０に書き込み、その情報タグ６０をタグ設置機構６２が把持対象物に貼り付ける。なお、情報タグ６０は、貼り付けるだけでなく、磁石などで取り付けても良い。
【０１１６】
このようにすることで、次回、同じ対象物Ａを把持するときには、対象物Ａに貼り付けられた情報タグ６０に記憶された特性データをリーダライタ６１が読み取り（読み込み）、形状計測処理用ＰＣ４２に入力することで、形状計測処理用ＰＣ４２のＣＰＵは、当該対象物Ａの適切な把持位置や把持力などの把持に係るパラメータを、測定および計算によらずに瞬時に決定することができる。
【０１１７】
情報タグ６０としては、この例のような電気的に読み書き可能なＩＣタグの他、２次元バーコードをその場で印刷して作成して利用してもよい。なお、２次元バーコードの読み込みは、視覚センサによって行うため、形状計測用カメラを把持部１０に搭載するようにする。また、情報タグ６０に特性データ自体を書き込むのではなく、物体情報データベース４３ｂの参照先のアドレスやパスを情報タグ６０に記憶してもよい。
【０１１８】
このようにこの第６実施形態によれば、一度推定した対象物Ａの把持に係る特性データ、つまりパラメータなどを情報タグ６０に書き込み対象物Ａに貼り付けておくことで、次回の把持作業時に、計測や計算および物体情報データベース４３ｂの参照などを行うことなく、瞬時に物体の特性を取得し、適正な把持力で対象物Ａを把持し移動作業を行うことができる。
【０１１９】
（第７実施形態）
次に、図７を参照して第７実施形態について説明する。図７は第７実施形態の状態表示画面の一例を示す図である。
この第７実施形態は、第１実施形態に示した構成において、マニピュレータ１１を操作するオペレータが状態表示ＰＣ４４のディスプレイ４４ａに表示された状態表示を確認して操作を行うことで、マニピュレータ１１の状態の確認と指示を与えられるようにしたものである。
【０１２０】
状態表示ＰＣ４４のＣＰＵは、マニピュレータ１１自身の姿勢やその手先の位置姿勢、また周囲の環境構造物を、視覚的に分かりやすいように３次元グラフィック処理にてディスプレイ４４ａに表示を行う。
【０１２１】
ディスプレイ４４ａの状態表示画面７１には、対象物Ａの外形とその周辺の環境構造物がリアルに表示される。オペレータが状態表示画面７１の操作カーソル７２を、マウスなどで移動して対象物Ａの表示を選択すると、状態表示ＰＣ４４のＣＰＵは、物体情報表示ウインドウ７３をポップアップ表示する。
【０１２２】
物体情報表示ウインドウ７３には、物体情報データベース４３ｂに登録された対象物Ａの材質や重量などの特性データおよび各計測装置により測定された対象物Ａの材質や重量などの特性データが表示される。
【０１２３】
ここで、表示する特性データには、第１実施形態乃至第３実施形態で示した成分分析装置１３および形状計測装置１４による計測結果と形状計測処理用ＰＣ４２による算出結果とを用いると共に、物体情報データベース用ＰＣ４３の物体情報データベース４３ｂに登録されている物体情報を検索により読み出して表示する。
【０１２４】
また、マウスなどにより、状態表示画面７１の対象物Ａの表示が選択されたことで、状態表示ＰＣ４４のＣＰＵは、把持作業開始のトリガ信号をＬＡＮ２１を通じて制御用ＰＣ４１へ送信して、トリガ信号を受信した制御用ＰＣ４１のＣＰＵがマニピュレータコントローラ３０に対して把持作業開始の制御指令を出すようにしても良い。
【０１２５】
このようにこの第７実施形態によれば、オペレータが視覚的にロボットの状態と対象物Ａの特性データを把握することが可能であり、画面上に表示されている対象物Ａを選択することで、対象物Ａの材質や重量などの特性データが表示されるので、オペレータは、これを見ながら物体の把持・移動作業を行うことができる。
【０１２６】
以上説明したように上記実施形態によれば、マニピュレータ１１の把持作業の適用範囲を拡大することができ、例えば家庭環境など多種多様な対象物が存在する空間での作業を行うロボットへの応用につなげることが可能である。
【０１２７】
なお、本発明は上記実施形態のみに限定されるものではなく、変形が可能である。上記各実施形態では、多軸および多関節のマニピュレータ１１を用いたが、本発明は、上記実施形態のみに限定されるものではなく、一軸のもの（関節のないもの）でもよく、物体を把持する機構に広く適用可能である。
【０１２８】
また、上記実施形態では、対象物Ａの材質や形状を計測する計測器をマニピュレータ１１の手先に搭載する例を示したが、計測器の搭載位置は、マニピュレータ１１の手先の位置に限定されるものではなくマニピュレータ１１の手先以外の部分やマニピュレータ１１とは別の位置に設置してもよい。
【０１２９】
さらに、上述した各実施形態を適宜組み合わせて、本発明の主旨を逸脱しない範囲で種々変形して実施することができる。
【図面の簡単な説明】
【０１３０】
【図１】本発明の一つの実施形態のマニピュレータ制御システムの構成を示す図。
【図２】第１実施形態のマニピュレータ制御システムの処理を示すフローチャート。
【図３】第２実施形態のマニピュレータ制御システムの処理を示すフローチャート。
【図４】第３実施形態のマニピュレータ制御システムの処理を示すフローチャート。
【図５】第４実施形態のマニピュレータ制御システムの処理を示すフローチャート。
【図６】第６実施形態のマニピュレータ制御システムの処理を示すフローチャート。
【図７】第７実施形態におけるディスプレイの状態表示画面を示す図。
【符号の説明】
【０１３１】
Ａ… 把持対象物
１０… 把持部
１１… マニピュレータ
１２… グリッパ部
１３… 成分分析装置
１４… 形状計測装置
１５… ６軸力センサ
１７… 作業台
１８… 信号線・動力線
２０… 通信線
２１… ＬＡＮ
３０… マニピュレータコントローラ
４１… 制御用コンピュータ（制御用ＰＣ）
４２… 形状計測処理用コンピュータ（形状計測処理用ＰＣ）
４３… 物体情報データベース用コンピュータ（物体情報データベース用ＰＣ）
４４… 状態表示用コンピュータ（状態表示用ＰＣ）
６０… 情報タグ
６１… リーダライタ
６２… タグ設置機構
７１… 状態表示画面
７２… 操作カーソル
７３… 物体情報表示ウインドウ
【技術分野】
【０００１】
本発明は、把持対象物をマニピュレータで把持および移動するためのマニピュレータ制御システム、マニピュレータ制御方法およびプログラムに関する。
【背景技術】
【０００２】
人が直接手で掴んで作業を行えないような物体を人の代わりに把持して移動や操作を行うために、マニピュレータが利用されている。
【０００３】
マニピュレータを用いた作業を行う場合、把持対象物は、特定されていることが多く、その物体形状、重量、把持位置、必要把持力、物体設置位置などの情報は既知であるものとして扱われることが多い。
【０００４】
把持対象物の設置位置や形状が不明な場合、画像処理システムあるいはそれに代わる計測システムと組み合わせて対象物の設置位置や形状を計測することで、把持位置や姿勢を修正することが可能である。
【０００５】
従来、把持対象物の重量が不明確な場合にマニピュレータの把持力を適切に調整する方法として、例えば把持物体を指内で滑らせることで押付け力と摩擦力より摩擦係数を推定して適切な把持力を決定する方法がある（例えば特許文献１参照）。
【０００６】
また、マニピュレータの指先に貼り付けた曲面弾性体と把持物体との固着状態から物体の滑り量を測定して把持力の調整に活用する方法もある（例えば特許文献２参照）。
【特許文献１】特開２００５−１４４５７３
【特許文献２】特開２０００−２５４８８４
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した従来のマニピュレータの物体把持力調整方法の場合、把持対象物の固有情報に基づいてマニピュレータ把持力調整を行うため、一般的に既知の対象物に対してしか把持作業が行えない。
【０００８】
これでは、汎用性がなく、様々な物体の把持作業を想定したとき、それぞれの対象物固有の情報を予め設定しておくことは困難であり、マニピュレータが未知の対象物に対しても作業を行えるように柔軟に対応できるようにすることが望ましい。
【０００９】
そのためには、把持対象物の形状のみならず重量やそれに適した把持位置、把持力などを自動的に判別できるようにする必要がある。
物体の外形（形状）は、カメラによるステレオ視の技術やレーザスキャン計測技術などの従来技術により３次元的に測定することが可能である。
【００１０】
しかしながら、形状計測を行うことで未知の形状の対象物を扱う場合、対象物の重量までは分からないため、適切な把持力を決定することができないという問題があった。
【００１１】
物体の把持作業においてマニピュレータが過大な把持力で物体を把持すると、対象物を握りつぶしてしまうことになる。また、この逆に把持力が不足した場合は、対象物が滑り落ちたりする恐れがある。このため、把持対象物の重量に応じた適切な把持力を決定することは重要である。
【００１２】
上述した先行技術に見られる手法は、重量が未知の把持対象物に対しても重量を推定して把持力を適切に調整することを可能にしているものの、物体把持後の指内での滑りを検出して重量推定を行っているため、把持対象物に接触したときの初期の推定値に大きな誤差があった場合は、把持力不足によって把持対象物を滑り落としたり、逆に把持力過多のため対象物を握りつぶしたりしてしまう恐れがある。
【００１３】
本発明はこのような課題を解決するためになされたもので、重量が未知の把持対象物をマニピュレータが把持部で把持する際に、マニピュレータの把持部から把持対象物が滑り落ちることなく、かつ把持対象物がもろい物でも破壊せずに確実に把持・移動することができるマニピュレータ制御システム、マニピュレータ制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記した課題を解決するために、本発明のマニピュレータ制御システムは、把持対象物を把持・移動するための把持部を有するマニピュレータと、前記把持部に設けられ、接近した前記把持対象物に対して光または放射線を放射してその材質を非接触で計測する成分分析器と、前記把持部に設けられ、接近した前記把持対象物に対して光または放射線を放射してその立体形状を非接触で測定する形状計測センサと、前記成分分析器により計測された前記把持対象物の材質と前記形状計測センサにより計測された立体形状とから前記把持対象物の体積を算出する体積算出部と、既知の把持対象物の形状、物質の密度情報、把持位置、把持力を含む物体情報を蓄積したデータベースと、前記体積算出部により計算された前記把持対象物の体積と、前記成分分析器により計測された把持対象物の材質をキーに前記データベースから読み出した物質の密度情報とから前記把持対象物の重量を算出する重量算出部と、前記重量算出部により算出された前記把持対象物の重量から前記把持対象物の把持力を算出する把持力算出部と、前記把持力算出部により算出された把持力にて前記マニピュレータを動作させる制御部とを具備することを特徴とする。
【００１５】
本発明のマニピュレータ制御方法は、把持対象物を把持・移動するための把持部を有するマニピュレータを制御して把持対象物を把持・移動するマニピュレータ制御方法において、前記把持部に設けられた成分分析器が、接近した前記把持対象物に対して光または放射線を放射してその材質を非接触で計測するステップと、前記把持部に設けられた形状計測センサが、接近した前記把持対象物に対して光または放射線を放射してその立体形状を非接触で測定するステップと、前記成分分析器により計測された前記把持対象物の材質と前記形状計測センサにより計測された立体形状とからコンピュータが前記把持対象物の体積を算出するステップと、計算した前記把持対象物の体積と、計測した前記把持対象物の材質をキーにデータベースから読み出した物質の密度情報とから前記コンピュータが前記把持対象物の重量を算出するステップと、算出した前記把持対象物の重量から前記コンピュータが、前記把持対象物を前記マニピュレータが把持するための把持力を算出するステップと、算出した把持力にて前記コンピュータが前記マニピュレータを動作させるステップとを有することを特徴とする。
【００１６】
本発明のプログラムは、把持対象物を把持・移動するための把持部を有するマニピュレータをコンピュータが制御するためのプログラムにおいて、前記コンピュータを、前記把持部に設けられた成分分析器が前記把持対象物に対して光または放射線を放射して非接触で計測した材質と、前記把持部に設けられた形状計測センサが、前記把持対象物に対して光または放射線を放射して非接触で測定した立体形状とから前記把持対象物の体積を算出する体積算出部と、既知の把持対象物の形状、物質の密度情報、把持位置、把持力を含む物体情報を蓄積したデータベースと、前記体積算出部により計算された前記把持対象物の体積と、前記成分分析器により計測された前記把持対象物の材質をキーに前記データベースから読み出した物質の密度情報とから前記把持対象物の重量を算出する重量算出部と、前記重量算出部により算出された前記把持対象物の重量から前記把持対象物の把持力を算出する把持力算出部と、前記把持力算出部により算出された把持力にて前記マニピュレータを動作させる制御部として機能させることを特徴とする。
【００１７】
すなわち、本発明では、重量が未知の把持対象物をマニピュレータで把持する際に、把持対象物の形状と質量を光または放射線を放射して非接触で計測し、その計測結果と質量から把持対象物の重量を計算により求め、把持対象物を把持するための適正な把持力を決定してから、マニピュレータで把持対象物を把持する。つまり重量が未知の把持対象物に対して事前にマニピュレータの把持力を適切に調整する。
【発明の効果】
【００１８】
本発明によれば、重量が未知の把持対象物をマニピュレータが把持部で把持する際に、マニピュレータの把持部から把持対象物が滑り落ちることなく、かつ把持対象物がもろい物でも破壊せずに確実に把持・移動することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
（第１実施形態）
まず、図１を参照してマニピュレータ制御システムの一つの実施形態であるマニピュレータ作業支援システムについて説明する。図１は第１実施形態のマニピュレータ作業支援システムの構成を示す図である。
【００２０】
この第１実施形態のマニピュレータ作業支援システムは、マニピュレータ１１と、このマニピュレータ１１と通信ケーブル２０を介して接続されたマニピュレータコントローラ３０と、このマニピュレータコントローラ３０とＬＡＮ２１などのネットワークを介して接続された複数のコンピュータ（制御用コンピュータ４１、形状計測処理用コンピュータ４２、物体情報データベース用コンピュータ４３、状態表示コンピュータ４４）とから構成されている。
【００２１】
以下、コンピュータを「ＰＣ」と称す。各ＰＣには、ＣＰＵ、ＲＯＭ、ＲＡＭなどのメモリ、ハードディスク装置などの記憶装置、マウス、キーボードなどの入力装置、ディスプレイ、外部インターフェースなどの出力装置が備えられている。
【００２２】
ハードディスク装置にはＣＰＵを動作させるためのオペレーティングシステム（以下「ＯＳ」と称す）および制御プログラムなどが記憶されている。マウス、キーボードなどは、オペレータによる各種指示操作を受付け、その指示をＣＰＵへ入力する。
【００２３】
マニピュレータ１１は、複数の関節１１ａ、１１ｂ、１１ｃと、腕部１１ｄ，１１ｅと、関節１１ａ、１１ｂ、１１ｃを各方向へ駆動する駆動部１１ｆと、腕部１１ｅの先端に設けられた把持部１０とを有している。
【００２４】
把持部１０の先端には、グリッパ部１２が設けられている。グリッパ部１２は、把持対象物Ａ（以下「対象物Ａ」と称す。）を把持するために指状の先端部１２ａを有しており、２つの先端部１２ａを開閉動作することにより対象物Ａを把持または離すことができる。グリッパ部１２には、先端部１２ａの把持力を計測する把持力計測センサ（図示せず）が設けられている。
【００２５】
把持部１０には、グリッパ部１２の先端、つまり手先に加わる外力（力とモーメント）を計測する６軸力センサ１５が備えられている。この６軸力センサ１５の上には、グリッパ部１２の先端の方向に向けて成分分析装置１３と形状計測センサ１４とが設けられている。
【００２６】
成分分析装置１３としては、例えば蛍光Ｘ線分析装置や赤外分光光度計測装置などの、放射線または光学系を用い、対象物Ａに触れることなく（非接触で）、対象物Ａの成分を分析してその構成を同定できる装置を利用する。
【００２７】
蛍光Ｘ線分析装置は、Ｘ線管球から発生されたＸ線を測定対象物Ａに照射し、その測定対象物Ａから放射された蛍光Ｘ線を受けて分析する装置である。この測定対象物Ａから放射される蛍光Ｘ線のエネルギーは、元素に固有のエネルギー値を持っているため、蛍光Ｘ線を測定することで測定対象物に含まれている元素の種類を特定することが可能である。
【００２８】
赤外分光光度計測装置は、対象物に赤外光を照射して、対象物からの透過光、反射光、あるいは散乱光を分光し、それぞれ透過スペクトル、反射スペクトルあるいは拡散スペクトルを得ることにより、対象物の物性情報を得る手法である。得られたスペクトルはその物質特有のものであり、これにより構成材料の同定を行うことが可能である。
【００２９】
形状計測センサ１４は、例えば２つのＣＣＤカメラを用いたステレオ視の技術またはレーザスキャンの技術を利用して３次元形状（立体形状）の認識を行う。レーザスキャンを行う場合の装置は、測定対象物に対してレーザ光を照射してから、そのレーザ光が測定対象物に反射して戻るまでの時間差により対象物Ａとの距離を計測する機構を、直接またはミラーの反射を用いて２次元的に走査することで対象物の３次元形状を測定する。ここではＣＣＤカメラを使用するものとして説明する。
【００３０】
なお、成分分析装置１３、形状計測センサ１４の種類は、ここに例示したものだけに限定されるものではなく、同じ目的であれば他の手段を用いてもよい。また、外力計測用のセンサとして６軸力センサ１５を用いたが、これに限らずロードセルを用いるなど、作業・操作内容に応じて代替して使用してもよい。
【００３１】
マニピュレータコントローラ３０には、ＣＰＵ３１、メモリ３２、制御用インターフェース３４、通信インターフェース３５などが備えられている。
【００３２】
マニピュレータコントローラ３０のメモリ３２には、各関節１１ａ、１１ｂ、１１ｃを駆動するモータを制御するためのモータドライバや制御ソフトウェア等が収容されている。
【００３３】
制御用インターフェース３４は、マニピュレータコントローラ３０に通信ケーブル２０を接続するためのインターフェースであり、マニピュレータ１１を動作させるための制御信号を通信ケーブル２０を通じてマニピュレータ１１へ送信する。
【００３４】
制御用インターフェース３４は、マニピュレータ１１の成分分析装置１３および形状計測センサ１４により測定された測定データを通信ケーブル２０を通じて受信し、ＣＰＵ３１へ渡す。
【００３５】
通信インターフェース３５は、ＬＡＮ接続ボードなどであり、マニピュレータコントローラ３０をＬＡＮ２１に接続する。通信インターフェース３５は、制御用ＰＣ４１からの動作指令を受信してＣＰＵ３１に渡す。
【００３６】
ＣＰＵ３１は、通信インターフェース３５から渡された動作指令をマニピュレータ１１用の制御信号にして制御用インターフェース３４を通じてマニピュレータ１１へ送信する。
【００３７】
また、ＣＰＵ３１は、制御用インターフェース３４により受信された測定データを通信インターフェース３５からＬＡＮ２１を通じて各ＰＣ（制御用ＰＣ４１、形状計測処理用ＰＣ４２、物体情報データベース用ＰＣ４３、状態表示ＰＣ４４）へ伝送する。
【００３８】
制御用ＰＣ４１は、マニピュレータ１１の動作の決定とマニピュレータコントローラ３０に対して各軸の動作指令を与える。制御用ＰＣ４１は、決定したマニピュレータ１１の動作およびマニピュレータコントローラ３０に対して各軸の動作指令などをディスプレイ４１ａに表示する。
【００３９】
制御用ＰＣ４１のＣＰＵは、成分分析装置１３により計測された対象物Ａの材質と形状計測センサ１４により計測された対象物Ａの３次元形状（立体形状）とから対象物Ａの体積を算出する体積算出部として機能する。
【００４０】
制御用ＰＣ４１のＣＰＵは、体積算出部により計算された対象物Ａの体積と、成分分析装置１３により計測された対象物Ａの材質をキーに物体情報データベース用ＰＣ４３の物体情報データベース４３ｂから読み出した物質の密度情報とから対象物Ａの重量を算出する重量算出部として機能する。
【００４１】
制御用ＰＣ４１のＣＰＵは、重量算出部により算出された把持対象物の重量からマニピュレータ１１が対象物Ａを把持するための把持力を算出する把持力算出部として機能する。
【００４２】
制御用ＰＣ４１のＣＰＵは、把持力算出部により算出された把持力にてマニピュレータ１１を動作させる制御部として機能する。
【００４３】
形状計測処理用ＰＣ４２のＣＰＵは、手先（グリッパ部１２）の形状計測センサ１４から得られた対象物Ａの形状計測結果の情報に基づいて対象物Ａの３次元形状のデータを演算（計算）して求め、演算結果（計算結果）の３次元形状のデータをディスプレイ４２ａに表示する。
【００４４】
物体情報データベース用ＰＣ４３は、既知の把持物体固有の情報（３次元の形状データ、物質の密度情報、把持位置、把持力、重量、重心位置、把持可能位置などの物体情報）が登録（蓄積）された物体情報データベース４３ｂを有している。
物体情報データベース４３ｂは、一つのキーワードから関連する情報を検索可能であり、例えば計算された把持対象物の体積と、成分分析器１３により計測された把持対象物の材質をキーにして物質の密度情報を読み出し可能である。
【００４５】
物体情報データベース用ＰＣ４３のＣＰＵは、計測された対象物Ａの形状データを検索キーとして、物体情報データベース４３ｂから該当対象物Ａ（物体）のデータ（特性データなど）を検索する検索部と、この検索部により検索された対象物Ａのデータ（特性データなど）をディスプレイ４３ａに表示（出力）する出力部として機能する。
【００４６】
物体情報データベース用ＰＣ４３のＣＰＵは、検索部による検索の結果、対象物Ａの情報が物体情報データベース４３ｂに存在しない場合、その対象物Ａを未知の物体として、計測および計算により求めた情報（形状データ、材質など）を物体情報データベース４３ｂに追加登録する登録部として機能する。
【００４７】
物体情報データベース用ＰＣ４３のＣＰＵは、検索部による検索の結果、対象物Ａの情報が物体情報データベース４３ｂに存在しない場合、その対象物Ａを未知の物体とし、未知の物体について、対象物Ａの形状に類似する物体のデータ（特性データなど）を物体情報データベース４３ｂから読み出してそのデータ（特性データなど）を対象物Ａのデータとするデータ選出部として機能する。
【００４８】
物体情報データベース用ＰＣ４３のＣＰＵは、データ選出部により対象物Ａのものとされた類似する物体の特性データを基に（キーとして）物体情報データベース４３ｂに予め記憶された把持位置、把持力の中から適切な把持位置、把持力を決定する把持力決定部として機能する。
【００４９】
状態表示ＰＣ４４は、形状計測センサ１４により計測された対象物Ａの形状を基にマニピュレータ１１の把持部１０が対象物Ａを把持する３次元空間上の位置を求める。そして、状態表示ＰＣ４４は、マニピュレータ１１の姿勢やその把持部１０と対象物Ａとの位置姿勢関係を３次元のコンピュータグラフィック（以下「ＣＧ」と称す。）でディスプレイ４４ａの画面に表示する。
【００５０】
なお、各ＰＣ４１〜４４は、ＬＡＮ２１に接続されており、互いに情報を送受信することができる。ここでは各処理毎にＰＣを分けて設置する例を示したが、各ＰＣの処理機能を一つにまとめて１台のＰＣに集約してもよい。
【００５１】
続いて、図２を参照してこの第１実施形態のマニピュレータ作業支援システムの動作を説明する。図２はこの第１実施形態のマニピュレータ作業支援システムの処理動作を示すフローチャートである。
【００５２】
この第１実施形態のマニピュレータ作業支援システムの場合、制御用ＰＣ４１のＣＰＵは、把持部１０の先端部１２ａ、つまり手先のＣＣＤカメラから得られた映像を画像処理することによって対象物Ａの３次元空間上の位置（座標）を認識し、マニピュレータコントローラ３０に対してマニピュレータ１１を動作させるための指示を送り、まずマニピュレータ１１を動作させて、その先端部１２ａ、つまり手先を対象物Ａの近傍まで移動し（図２のステップ１０１）、対象物Ａに接近させる。なお、ステップは処理工程を意味し、以下では、ステップを「Ｓ」と称す。
【００５３】
このとき、対象物Ａの大まかな３次元空間上の位置（座標）は、予め物体情報データベース４３ｂに登録されているものとしても良く、手先のＣＣＤカメラの映像に基づく画像処理によって認識しても良い。
【００５４】
次に、マニピュレータ１１の手先に設けた形状計測センサ１４により対象物Ａの３次元形状の計測が行われる（Ｓ１０２）。
【００５５】
形状計測センサ１４では、ステレオ視による画像処理やレーザスキャン装置による計測を行う上で、手先位置固定の固定視点からでは対象物Ａの一部しか計測できない恐れがある。
【００５６】
このため、制御用ＰＣ４１のＣＰＵは、対象物Ａの周囲を周回するようにマニピュレータ１１の先端を移動させる。この移動に伴い形状計測処理用ＰＣ４２のＣＰＵは、対象物Ａの外観を計測した計測結果を合成処理することで、対象物Ａの３次元形状データを得る。
【００５７】
次に、形状計測処理用ＰＣ４２のＣＰＵは、得られた対象物Ａの３次元形状データを用いて対象物Ａの体積を算出する（Ｓ１０３）。
【００５８】
このときの形状計測によって得られるデータは、３次元の位置情報を有する計測点群であるので、形状計測処理用ＰＣ４２のＣＰＵは、これらの点群を表面として構成するソリッドモデルを生成する。ソリッドモデルから体積を算出する手法は、３次元ＣＡＤなどで広く使用されており、同様の手法を用いるものとする。
【００５９】
次に、形状計測処理用ＰＣ４２のＣＰＵは、形状計測センサ１４の情報に基づき手先位置と対象物Ａまでの距離を計算し、手先を対象物Ａに接近させる。
【００６０】
その後、形状計測処理用ＰＣ４２のＣＰＵは、成分分析装置により対象物Ａの成分を分析する（Ｓ１０４）。
【００６１】
成分分析には、まず、手先に搭載した蛍光Ｘ線分析装置にてＸ線を照射して対象物Ａより放射される蛍光Ｘ線の強度を測定する。
【００６２】
次に、形状計測処理用ＰＣ４２のＣＰＵは、測定した蛍光Ｘ線の強度スペクトルの値から物体情報データベース４３ｂを参照することで対象物Ａの構成材料を選定し、その材料をキーワードにしてさらに物体情報データベース４３ｂに登録されている物質の密度情報を参照することで、対象物Ａの密度を算出する（Ｓ１０５）。
【００６３】
また、形状計測処理用ＰＣ４２のＣＰＵは、その物質によって構成される一般的な物体について物体情報データベース４３ｂを参照することでその物体の摩擦係数の値も読み出す。なお、本実施形態では対象物Ａは、均一の材料にて構成されているものとして扱うものとする。
【００６４】
次に、形状計測処理用ＰＣ４２のＣＰＵは、算出した対象物の体積と密度の情報を用いて重量＝体積×密度の関係式より対象物Ａの重量を算出する（Ｓ１０６）。
【００６５】
次に、形状計測処理用ＰＣ４２のＣＰＵは、算出した対象物Ａの重量と、物体情報データベース４３ｂの参照により得られた物体の摩擦係数値より、適した把持力を決定し（Ｓ１０７）、決定した把持力をＬＡＮ２１を通じて制御用ＰＣ４１へ通知する。
【００６６】
次に、把持力が通知された制御用ＰＣ４１のＣＰＵは、形状計測センサ１４を用いて対象物Ａの位置姿勢を確認しながら、グリッパ部１２の先端部１２ａを対象物Ａを把持可能位置へ移動し（Ｓ１０８）、先に決定した把持力になるように把持力計測センサ（図示せず）から得られる計測値で把持力を調整しながら先端部１２ａを閉じてゆき対象物Ａを把持する（Ｓ１０９）。
【００６７】
最後に、対象物Ａを持ち上げた後、グリッパ部１２に装着している６軸力センサ１５により対象物Ａの正確な重量を測定し、その測定結果と計算で求めた重量とを比較して誤差分に相当する把持力を調整（修正）する（Ｓ１１０）。
【００６８】
例えば、計算した重量よりも実際の重量が重ければ、把持力を増加させることでグリッパ部１２の指部から対象物Ａが滑り落ちることを防止する。この逆に指部に滑り触覚センサを搭載しておき、対象物Ａの滑りを検出した際に把持力を増加させるといった方法も有効である。
【００６９】
このようにこの第１実施形態によれば、マニピュレータ１１で対象物Ａを把持する前に対象物Ａの形状の認識と重量の推定（計算）を行うので、始めにグリッパ部１２で対象物Ａを掴むときから適切な把持力で対象物Ａを把持することができ、かつ対象物Ａの設置位置の変化に自律的に対応可能であり、対象物Ａの把持・移動作業時にマニピュレータ１１の把持力が弱すぎて対象物Ａが落下したり、マニピュレータ１１の把持力が強すぎて対象物Ａを握りつぶす（破損）などのミスを極力なくすことができる。
【００７０】
（第２実施形態）
次に、図３を参照して第２実施形態について説明する。図３は第２実施形態のマニピュレータ作業支援システムの処理動作を示すフローチャートである。なお以下の実施形態において、第１実施形態と同一の構成および動作工程には同一の符号を付し重複する説明は省略する。
【００７１】
この第２実施形態は、第１実施形態に示したマニピュレータ作業支援システムの構成において、対象物Ａの形状計測を行うことで、把持可能な位置を探索して自動的に設定する動作の一例である。
【００７２】
この第２実施形態のマニピュレータ作業支援システムでは、形状計測処理用ＰＣ４２のＣＰＵは、上記第１実施形態と同様の処理で重量を推定、つまり計算により求めた後（Ｓ１０１〜Ｓ１０６）、対象物Ａより得た３次元形状のデータより対象物Ａの重心位置を計算により求める（Ｓ２０７）。
【００７３】
次に、形状計測処理用ＰＣ４２のＣＰＵは、求めた対象物Ａの重心位置近傍でかつグリッパ部１２にて把持可能な位置を特定（決定）する（Ｓ２０８）。重心位置近傍とは、重心からの距離が予め設定された範囲内をいい、この例では例えば数ｃｍ以内をいう。
【００７４】
把持可能位置は、グリッパ部１２の指形状に依存するが、例えば単純な２本指の開閉機構からなるグリッパ部１２の場合は、指の開口幅と把持部の接触面積から決定される。
【００７５】
重心位置付近位置で把持が不可能な場合は、重心位置を中心にしてなるべくその近傍にて把持可能位置を探索して決定する。
【００７６】
次に、形状計測処理用ＰＣ４２のＣＰＵは、計算により求めた対象物Ａの重量から対象物Ａに適した把持力を決定する（Ｓ２０９）。このとき、把持位置が重心よりもずれる場合は、その把持位置を持つことによって発生する回転モーメントの値をパラメータの一つとして把持力を決定し、決定した把持力を制御用ＰＣ４１へ通知する。
【００７７】
把持力の通知を受けた制御用ＰＣ４１のＣＰＵは、形状計測センサ１４により測定された測定値によって対象物Ａの位置姿勢を確認しながらマニピュレータ１１を動作させてグリッパ部１２（手先）を形状計測処理用ＰＣ４２により決定された把持可能位置へ移動し（Ｓ２１０）、その位置でグリッパ部１２にて対象物Ａを把持する（Ｓ２１１）。
【００７８】
このとき制御用ＰＣ４１のＣＰＵは、把持力計測センサ（図示せず）の把持力測定値が先に決定した力になるようにグリッパ部１２の把持力を調整しながらグリッパ部１２の先端部１２ａ（手先）を閉じてゆき対象物Ａを把持する。
【００７９】
なお、手先に加わる外力の計測センサとして６軸力センサ１５を利用した場合は、力成分のみならずモーメント成分の測定も可能であるため、モーメントの大きさから対象物Ａの重心位置を測定することが可能であり、計算で求めた重心位置を補正（修正）する（Ｓ２１２）。
【００８０】
このようにこの第２実施形態によれば、第１実施形態の機能に加えて、把持位置が不確定な対象物Ａについてもその位置を自律的に決定および修正することが可能な物体の把持・移動作業を実現することができる。
【００８１】
（第３実施形態）
次に、図４を参照して第３実施形態について説明する。図４は第３実施形態のマニピュレータ作業支援システムの処理動作を示すフローチャートである。
この第３実施形態では、第１実施形態に示した物体情報データベース用ＰＣ４３の物体情報物体情報データベース４３ｂに、把持対象物の特性データを収納しておく。
【００８２】
図４に示すように、物体情報データベース４３ｂに、各々の対象物の正確な形状、重量、重心位置、把持可能位置、把持位置の摩擦係数、適切な把持力など、物体固有の情報を登録しておく。
【００８３】
次に、マニピュレータ１１による把持作業時に、第１実施形態と同様に、形状計測処理用ＰＣ４２のＣＰＵは、グリップ部１２（手先）の形状計測センサ１４により計測された対象物Ａの３次元形状計測データを取得し（Ｓ３０２）、この３次元形状データを基に物体情報データベース４３ｂを参照することで、対象物Ａの密度を計算する（Ｓ３０３）。
【００８４】
そして、形状計測処理用ＰＣ４２のＣＰＵは、該当する物体固有の情報を、物体情報データベース４３ｂから検索して取得することで適切な把持力を決定し、制御用ＰＣ４１のＣＰＵがその決定した把持力でマニピュレータ１１を動作させてそのグリップ部１２（手先）を対象物Ａの位置へ移動し（Ｓ３０４）、対象物Ａを把持する（Ｓ３０５）。
【００８５】
対象物Ａの３次元形状計測データを用いた検索方法の例としては、３次元空間上で表現される対象物Ａの形状の特徴を表す頂点の位置関係やサイズなどの比較によって行う方法がある。
【００８６】
この場合、物体固有の情報を物体情報データベース４３ｂに登録できるので、その把持にかかわる情報だけでなく、例えばその対象物Ａの利用方法の情報なども登録しておくことができる。
【００８７】
例えば、対象物Ａがネジ回しなどの工具であれば、ネジ山に先端を押し付け長手軸方向に回転させるといった、その工具の使用方法の情報を物体情報データベース４３ｂから取得して作業に利用することができる。
【００８８】
このようにこの第３実施形態によれば、物体情報データベース４３ｂに、既知の把持対象物の正確な形状、重量、重心位置、把持可能位置、把持位置の摩擦係数、適切な把持力などを登録しておくことで、対象物Ａについて詳細な情報を得ることができ、正確な把持動作を行うことができる。また、把持動作のみならず対象物Ａを把持した状態での作業に応用することが可能である。
【００８９】
（第４実施形態）
次に、図５を参照して第４実施形態について説明する。図５は第４実施形態のマニピュレータ作業支援システムの処理動作を示すフローチャートである。
【００９０】
上記第３実施形態では、物体情報データベース４３ｂの情報を予め人の手によって入力および登録する必要があり、既知の対象物Ａにしか対応できない。
【００９１】
そこで、この第４実施形態では、第１実施形態および第２実施形態の機能によって取得した未知の対象物Ａの形状や重量、適切な把持力などのデータを物体情報データベース４３ｂに登録することで、対応可能な対象物Ａを自動的に追加するものである。
【００９２】
すなわち、この第４実施形態のマニピュレータ作業支援システムでは、形状計測処理用ＰＣ４２のＣＰＵは、上記第１実施形態と同様の処理で重量を推定した後（Ｓ１０１〜Ｓ１０６）、対象物Ａより得た３次元形状のデータより対象物Ａの重心位置を計算により求める（Ｓ２０７）。
【００９３】
次に、形状計測処理用ＰＣ４２のＣＰＵは、求めた対象物Ａの重心位置近傍でかつグリッパ部１２にて把持可能な位置を特定（決定）する（Ｓ２０８）。重心位置近傍とは、予め設定された数ｃｍ以内をいう。
【００９４】
把持可能位置は、グリッパ部１２の指形状に依存するが、例えば単純な２本指の開閉機構からなるグリッパ部１２の場合は、指の開口幅と把持部の接触面積から決定される。
【００９５】
重心位置付近位置で把持が不可能な場合は、重心位置を中心にしてなるべくその近傍にて把持可能位置を探索して決定する。
【００９６】
次に、形状計測処理用ＰＣ４２のＣＰＵは、計算により求めた対象物Ａの重量から対象物Ａに適した把持力を決定する（Ｓ２０９）。このとき、把持位置が重心よりもずれる場合は、その把持位置を持つことによって発生する回転モーメントの値をパラメータの一つとして把持力を決定し、決定した把持力を制御用ＰＣ４１へ通知する。
【００９７】
把持力の通知を受けた制御用ＰＣ４１のＣＰＵは、形状計測センサ１４により測定された測定値によって対象物Ａの位置姿勢を確認しながらマニピュレータ１１を動作させてグリッパ部１２（手先）を形状計測処理用ＰＣ４２により決定された把持可能位置へ移動し（Ｓ２１０）、その位置でグリッパ部１２にて対象物Ａを把持する（Ｓ２１１）。
【００９８】
このとき制御用ＰＣ４１のＣＰＵは、把持力計測センサ（図示せず）の把持力測定値が先に決定した力になるようにグリッパ部１２の把持力を調整しながらグリッパ部１２の先端部１２ａ（手先）を閉じてゆき対象物Ａを把持する。
【００９９】
なお、手先に加わる外力の計測センサとして６軸力センサ１５を利用した場合は、力成分のみならずモーメント成分の測定も可能であるため、モーメントの大きさから対象物Ａの重心位置を測定することが可能であり、計算で求めた重心位置を補正（修正）する（Ｓ２１２）。
【０１００】
最後に、形状計測処理用ＰＣ４２のＣＰＵは、取得した未知の対象物Ａの形状や重量、適切な把持力などのデータを物体情報データベース４３ｂに登録し、物体情報データベース４３ｂの内容を更新する（Ｓ４１３）。
【０１０１】
このようにこの第４実施形態によれば、対象物Ａの固有情報が既知であるものに加え、未知であるものも計測を行い計算した物体の情報を、物体情報データベース４３ｂに追加登録することで、同じ物体を再度把持するときは物体情報データベース４３ｂを参照することで、人手によるデータベース登録がない物体についても適正な把持力で物体を把持・移動することができる。
【０１０２】
（第５実施形態）
次に、第５実施形態について説明する。
第５実施形態は、第４実施形態に関連し、対象物Ａの形状が物体情報データベース４３ｂに登録されている物体のデータと一致しないものの近似、つまり形状が類似する場合に、その類似した物体のデータに基づいて対象物Ａの特性を計算で求めて、マニピュレータ１１を制御し対象物Ａを把持するものである。
【０１０３】
例えばネジ回しなどの工具は大きさが異なる類似した形状のものが多数存在する。また、これら工具は、形が異なっていても工具としての使用方法は同じである。
【０１０４】
上記第４実施形態で示したように、形状計測の結果、物体情報データベース４３ｂに存在する形状のものとは一致せず、対象物Ａが未知形状であるものの、物体情報データベース４３ｂに類似形状のデータが存在する場合、形状計測処理用ＰＣ４２のＣＰＵは、類似形状のデータを持つ物体の情報から、未知の対象物Ａの重量を計算で求め、把持位置や把持力などを推定して決定すると共に、未知の対象物Ａについての使用方法を既知の物と同じであるものとして物体情報データベース４３ｂに追加登録する。
【０１０５】
第１実施形態および第２実施形態で示したような対象物Ａの特性データの算出も併せて行うことで、特性の推定精度をより向上することができる。
【０１０６】
なお、実際に把持作業を実施した後には、その対象物の特性情報を物体情報データベース４３ｂに追加して登録を行い、再活用できるようにする。
【０１０７】
このようにこの第５実施形態によれば、対象物Ａの固有情報が未知であるものに対しても、物体情報データベース４３ｂに類似する形状の物体情報が存在すれば、その物体情報を基に対象物Ａの特性を計算により求めて、把持に係るパラメータを決定することができ、計測だけによる特性推定と併せて推定精度を向上させた物体の把持・移動作業を実現することができる。
【０１０８】
（第６実施形態）
次に、図６を参照して本発明に係る第６実施形態について説明する。図６は第６実施形態のマニピュレータの構成を示す図である。
この第６実施形態では、第１実施形態に示した構成に加えて、マニピュレータ１１の手先部（把持部１０）に搭載された非接触ＩＣタグのリーダライタ６１と、リーダライタ６１がデータを書き込んだ非接触ＩＣタグとしての情報タグ６０を対象物Ａに貼り付けるタグ設置機構６２とから構成されている。
【０１０９】
リーダライタ６１は、対象物Ａの特性データを情報タグ６０に記憶する情報書込部として機能する。
【０１１０】
また、リーダライタ６１は、対象物Ａに取り付けられている情報タグ６０から、光または電波による無線通信で対象物Ａの特性データを読み込み、把持力決定部である形状計測処理用ＰＣ４２へ渡す情報読取部として機能する。
【０１１１】
情報タグ６０の片面には、粘着剤が塗布されている。タグ設置機構６２は、伸縮可能な筒状部６２ａを有している。筒状部６２ａは、吸着ノズルとなっており、その先端に、粘着剤が塗布されていない情報タグ６０の他の面が吸引などで吸着されている。
【０１１２】
タグ設置機構６２は、リーダライタ６１によって特性データが書き込まれた情報タグ６０を対象物Ａに取り付ける取付部として機能する。
【０１１３】
このタグ設置機構６２の場合、情報タグ６０を対象物Ａに押し付けて吸引を停止することで、情報タグ６０を対象物Ａに貼り付ける装置である。
【０１１４】
第１実施形態乃至第５実施形態で示した物体情報データベース４３ｂを検索、参照する方式は照合の際に処理時間が発生すると共に、物体情報データベース４３ｂの運用・管理が必要となる。
【０１１５】
そこで、この第６実施形態では、一度推定した対象物の特性データをリーダライタ６１が情報タグ６０に書き込み、その情報タグ６０をタグ設置機構６２が把持対象物に貼り付ける。なお、情報タグ６０は、貼り付けるだけでなく、磁石などで取り付けても良い。
【０１１６】
このようにすることで、次回、同じ対象物Ａを把持するときには、対象物Ａに貼り付けられた情報タグ６０に記憶された特性データをリーダライタ６１が読み取り（読み込み）、形状計測処理用ＰＣ４２に入力することで、形状計測処理用ＰＣ４２のＣＰＵは、当該対象物Ａの適切な把持位置や把持力などの把持に係るパラメータを、測定および計算によらずに瞬時に決定することができる。
【０１１７】
情報タグ６０としては、この例のような電気的に読み書き可能なＩＣタグの他、２次元バーコードをその場で印刷して作成して利用してもよい。なお、２次元バーコードの読み込みは、視覚センサによって行うため、形状計測用カメラを把持部１０に搭載するようにする。また、情報タグ６０に特性データ自体を書き込むのではなく、物体情報データベース４３ｂの参照先のアドレスやパスを情報タグ６０に記憶してもよい。
【０１１８】
このようにこの第６実施形態によれば、一度推定した対象物Ａの把持に係る特性データ、つまりパラメータなどを情報タグ６０に書き込み対象物Ａに貼り付けておくことで、次回の把持作業時に、計測や計算および物体情報データベース４３ｂの参照などを行うことなく、瞬時に物体の特性を取得し、適正な把持力で対象物Ａを把持し移動作業を行うことができる。
【０１１９】
（第７実施形態）
次に、図７を参照して第７実施形態について説明する。図７は第７実施形態の状態表示画面の一例を示す図である。
この第７実施形態は、第１実施形態に示した構成において、マニピュレータ１１を操作するオペレータが状態表示ＰＣ４４のディスプレイ４４ａに表示された状態表示を確認して操作を行うことで、マニピュレータ１１の状態の確認と指示を与えられるようにしたものである。
【０１２０】
状態表示ＰＣ４４のＣＰＵは、マニピュレータ１１自身の姿勢やその手先の位置姿勢、また周囲の環境構造物を、視覚的に分かりやすいように３次元グラフィック処理にてディスプレイ４４ａに表示を行う。
【０１２１】
ディスプレイ４４ａの状態表示画面７１には、対象物Ａの外形とその周辺の環境構造物がリアルに表示される。オペレータが状態表示画面７１の操作カーソル７２を、マウスなどで移動して対象物Ａの表示を選択すると、状態表示ＰＣ４４のＣＰＵは、物体情報表示ウインドウ７３をポップアップ表示する。
【０１２２】
物体情報表示ウインドウ７３には、物体情報データベース４３ｂに登録された対象物Ａの材質や重量などの特性データおよび各計測装置により測定された対象物Ａの材質や重量などの特性データが表示される。
【０１２３】
ここで、表示する特性データには、第１実施形態乃至第３実施形態で示した成分分析装置１３および形状計測装置１４による計測結果と形状計測処理用ＰＣ４２による算出結果とを用いると共に、物体情報データベース用ＰＣ４３の物体情報データベース４３ｂに登録されている物体情報を検索により読み出して表示する。
【０１２４】
また、マウスなどにより、状態表示画面７１の対象物Ａの表示が選択されたことで、状態表示ＰＣ４４のＣＰＵは、把持作業開始のトリガ信号をＬＡＮ２１を通じて制御用ＰＣ４１へ送信して、トリガ信号を受信した制御用ＰＣ４１のＣＰＵがマニピュレータコントローラ３０に対して把持作業開始の制御指令を出すようにしても良い。
【０１２５】
このようにこの第７実施形態によれば、オペレータが視覚的にロボットの状態と対象物Ａの特性データを把握することが可能であり、画面上に表示されている対象物Ａを選択することで、対象物Ａの材質や重量などの特性データが表示されるので、オペレータは、これを見ながら物体の把持・移動作業を行うことができる。
【０１２６】
以上説明したように上記実施形態によれば、マニピュレータ１１の把持作業の適用範囲を拡大することができ、例えば家庭環境など多種多様な対象物が存在する空間での作業を行うロボットへの応用につなげることが可能である。
【０１２７】
なお、本発明は上記実施形態のみに限定されるものではなく、変形が可能である。上記各実施形態では、多軸および多関節のマニピュレータ１１を用いたが、本発明は、上記実施形態のみに限定されるものではなく、一軸のもの（関節のないもの）でもよく、物体を把持する機構に広く適用可能である。
【０１２８】
また、上記実施形態では、対象物Ａの材質や形状を計測する計測器をマニピュレータ１１の手先に搭載する例を示したが、計測器の搭載位置は、マニピュレータ１１の手先の位置に限定されるものではなくマニピュレータ１１の手先以外の部分やマニピュレータ１１とは別の位置に設置してもよい。
【０１２９】
さらに、上述した各実施形態を適宜組み合わせて、本発明の主旨を逸脱しない範囲で種々変形して実施することができる。
【図面の簡単な説明】
【０１３０】
【図１】本発明の一つの実施形態のマニピュレータ制御システムの構成を示す図。
【図２】第１実施形態のマニピュレータ制御システムの処理を示すフローチャート。
【図３】第２実施形態のマニピュレータ制御システムの処理を示すフローチャート。
【図４】第３実施形態のマニピュレータ制御システムの処理を示すフローチャート。
【図５】第４実施形態のマニピュレータ制御システムの処理を示すフローチャート。
【図６】第６実施形態のマニピュレータ制御システムの処理を示すフローチャート。
【図７】第７実施形態におけるディスプレイの状態表示画面を示す図。
【符号の説明】
【０１３１】
Ａ… 把持対象物
１０… 把持部
１１… マニピュレータ
１２… グリッパ部
１３… 成分分析装置
１４… 形状計測装置
１５… ６軸力センサ
１７… 作業台
１８… 信号線・動力線
２０… 通信線
２１… ＬＡＮ
３０… マニピュレータコントローラ
４１… 制御用コンピュータ（制御用ＰＣ）
４２… 形状計測処理用コンピュータ（形状計測処理用ＰＣ）
４３… 物体情報データベース用コンピュータ（物体情報データベース用ＰＣ）
４４… 状態表示用コンピュータ（状態表示用ＰＣ）
６０… 情報タグ
６１… リーダライタ
６２… タグ設置機構
７１… 状態表示画面
７２… 操作カーソル
７３… 物体情報表示ウインドウ
【特許請求の範囲】
【請求項１】
把持対象物を把持・移動するための把持部を有するマニピュレータと、
前記把持部に設けられ、接近した前記把持対象物に対して光または放射線を放射してその材質を非接触で計測する成分分析器と、
前記把持部に設けられ、接近した前記把持対象物に対して光または放射線を放射してその立体形状を非接触で測定する形状計測センサと、
前記成分分析器により計測された前記把持対象物の材質と前記形状計測センサにより計測された立体形状とから前記把持対象物の体積を算出する体積算出部と、
既知の把持対象物の形状、物質の密度情報、把持位置、把持力を含む物体情報を蓄積したデータベースと、
前記体積算出部により計算された前記把持対象物の体積と、前記成分分析器により計測された把持対象物の材質をキーに前記データベースから読み出した物質の密度情報とから前記把持対象物の重量を算出する重量算出部と、
前記重量算出部により算出された前記把持対象物の重量から前記把持対象物の把持力を算出する把持力算出部と、
前記把持力算出部により算出された把持力にて前記マニピュレータを動作させる制御部と
を具備することを特徴とするマニピュレータ制御システム。
【請求項２】
前記形状計測センサにより計測された前記把持対象物の形状を基に前記マニピュレータの把持部が前記把持対象物を把持する３次元空間上の位置を求める手段を具備することを特徴とする請求項１記載のマニピュレータ制御システム。
【請求項３】
計測された前記把持対象物の形状を検索キーとして、前記物体情報データベースから前記把持対象物の特性データを検索する検索部と、
前記検索部により検索された前記把持対象物の特性データを出力する手段と
を具備することを特徴とする請求項１記載のマニピュレータ制御システム。
【請求項４】
前記検索部による検索の結果、前記把持対象物の情報が前記データベースに存在しない場合、計測および計算された前記未知の物体の情報を前記データベースに追加登録する登録部を具備することを特徴とする請求項３記載のマニピュレータ制御システム。
【請求項５】
前記検索部による検索の結果、前記把持対象物の情報が前記データベースに存在しない場合、計測および計算された前記未知の物体について、前記把持対象物の形状に類似する物体のデータを前記データベースから読み出してその特性データを前記把持対象物のデータとするデータ選出部と、
前記把持対象物の特性データを基に前記データベースに予め記憶された把持位置、把持力の中から適切な把持位置、把持力を決定する把持力決定部と
を具備することを特徴とする請求項３記載のマニピュレータ制御システム。
【請求項６】
前記把持対象物の特性データを情報タグに記憶する情報書込部と、
前記情報書込部により書き込まれた情報タグを前記把持対象物に取り付る取付部と
を具備することを特徴とする請求項１乃至５いずれか１記載のマニピュレータ制御システム。
【請求項７】
前記把持対象物に取り付けられている情報タグから、光または電波による無線通信で前記把持対象物のデータを読み込み、前記把持力決定部へ渡す情報読取部を具備することを特徴とする請求項５記載のマニピュレータ制御システム。
【請求項８】
前記マニピュレータおよび把持対象物の位置および姿勢を立体的に表示する表示手段、
前記把持対象物の形状、重量および特性などの計算値または推定値、あるいは前記データベースより読み出した情報を表示する表示手段の少なくとも一つを備えることを特徴とする請求項１乃至７いずれか１記載のマニピュレータ制御システム。
【請求項９】
把持対象物を把持・移動するための把持部を有するマニピュレータを制御して前記把持対象物を把持・移動するマニピュレータ制御方法において、
前記把持部に設けられた成分分析器が、接近した前記把持対象物に対して光または放射線を放射してその材質を非接触で計測するステップと、
前記把持部に設けられた形状計測センサが、接近した前記把持対象物に対して光または放射線を放射してその立体形状を非接触で測定するステップと、
前記成分分析器により計測された前記把持対象物の材質と前記形状計測センサにより計測された立体形状とからコンピュータが前記把持対象物の体積を算出するステップと、
計算した前記把持対象物の体積と、計測した前記把持対象物の材質をキーにデータベースから読み出した物質の密度情報とから前記コンピュータが前記把持対象物の重量を算出するステップと、
算出した前記把持対象物の重量から前記コンピュータが、前記把持対象物を前記マニピュレータが把持するための把持力を算出するステップと、
算出した把持力にて前記コンピュータが前記マニピュレータを動作させるステップと
を有することを特徴とするマニピュレータ制御方法。
【請求項１０】
把持対象物を把持・移動するための把持部を有するマニピュレータをコンピュータが制御するためのプログラムにおいて、
前記コンピュータを、
前記把持部に設けられた成分分析器が前記把持対象物に対して光または放射線を放射して非接触で計測した材質と、前記把持部に設けられた形状計測センサが、前記把持対象物に対して光または放射線を放射して非接触で測定した立体形状とから前記把持対象物の体積を算出する体積算出部と、
既知の把持対象物の形状、物質の密度情報、把持位置、把持力を含む物体情報を蓄積したデータベースと、
前記体積算出部により計算された前記把持対象物の体積と、前記成分分析器により計測された前記把持対象物の材質をキーに前記データベースから読み出した物質の密度情報とから前記把持対象物の重量を算出する重量算出部と、
前記重量算出部により算出された前記把持対象物の重量から前記把持対象物の把持力を算出する把持力算出部と、
前記把持力算出部により算出された把持力にて前記マニピュレータを動作させる制御部
として機能させることを特徴とするプログラム。
【請求項１】
把持対象物を把持・移動するための把持部を有するマニピュレータと、
前記把持部に設けられ、接近した前記把持対象物に対して光または放射線を放射してその材質を非接触で計測する成分分析器と、
前記把持部に設けられ、接近した前記把持対象物に対して光または放射線を放射してその立体形状を非接触で測定する形状計測センサと、
前記成分分析器により計測された前記把持対象物の材質と前記形状計測センサにより計測された立体形状とから前記把持対象物の体積を算出する体積算出部と、
既知の把持対象物の形状、物質の密度情報、把持位置、把持力を含む物体情報を蓄積したデータベースと、
前記体積算出部により計算された前記把持対象物の体積と、前記成分分析器により計測された把持対象物の材質をキーに前記データベースから読み出した物質の密度情報とから前記把持対象物の重量を算出する重量算出部と、
前記重量算出部により算出された前記把持対象物の重量から前記把持対象物の把持力を算出する把持力算出部と、
前記把持力算出部により算出された把持力にて前記マニピュレータを動作させる制御部と
を具備することを特徴とするマニピュレータ制御システム。
【請求項２】
前記形状計測センサにより計測された前記把持対象物の形状を基に前記マニピュレータの把持部が前記把持対象物を把持する３次元空間上の位置を求める手段を具備することを特徴とする請求項１記載のマニピュレータ制御システム。
【請求項３】
計測された前記把持対象物の形状を検索キーとして、前記物体情報データベースから前記把持対象物の特性データを検索する検索部と、
前記検索部により検索された前記把持対象物の特性データを出力する手段と
を具備することを特徴とする請求項１記載のマニピュレータ制御システム。
【請求項４】
前記検索部による検索の結果、前記把持対象物の情報が前記データベースに存在しない場合、計測および計算された前記未知の物体の情報を前記データベースに追加登録する登録部を具備することを特徴とする請求項３記載のマニピュレータ制御システム。
【請求項５】
前記検索部による検索の結果、前記把持対象物の情報が前記データベースに存在しない場合、計測および計算された前記未知の物体について、前記把持対象物の形状に類似する物体のデータを前記データベースから読み出してその特性データを前記把持対象物のデータとするデータ選出部と、
前記把持対象物の特性データを基に前記データベースに予め記憶された把持位置、把持力の中から適切な把持位置、把持力を決定する把持力決定部と
を具備することを特徴とする請求項３記載のマニピュレータ制御システム。
【請求項６】
前記把持対象物の特性データを情報タグに記憶する情報書込部と、
前記情報書込部により書き込まれた情報タグを前記把持対象物に取り付る取付部と
を具備することを特徴とする請求項１乃至５いずれか１記載のマニピュレータ制御システム。
【請求項７】
前記把持対象物に取り付けられている情報タグから、光または電波による無線通信で前記把持対象物のデータを読み込み、前記把持力決定部へ渡す情報読取部を具備することを特徴とする請求項５記載のマニピュレータ制御システム。
【請求項８】
前記マニピュレータおよび把持対象物の位置および姿勢を立体的に表示する表示手段、
前記把持対象物の形状、重量および特性などの計算値または推定値、あるいは前記データベースより読み出した情報を表示する表示手段の少なくとも一つを備えることを特徴とする請求項１乃至７いずれか１記載のマニピュレータ制御システム。
【請求項９】
把持対象物を把持・移動するための把持部を有するマニピュレータを制御して前記把持対象物を把持・移動するマニピュレータ制御方法において、
前記把持部に設けられた成分分析器が、接近した前記把持対象物に対して光または放射線を放射してその材質を非接触で計測するステップと、
前記把持部に設けられた形状計測センサが、接近した前記把持対象物に対して光または放射線を放射してその立体形状を非接触で測定するステップと、
前記成分分析器により計測された前記把持対象物の材質と前記形状計測センサにより計測された立体形状とからコンピュータが前記把持対象物の体積を算出するステップと、
計算した前記把持対象物の体積と、計測した前記把持対象物の材質をキーにデータベースから読み出した物質の密度情報とから前記コンピュータが前記把持対象物の重量を算出するステップと、
算出した前記把持対象物の重量から前記コンピュータが、前記把持対象物を前記マニピュレータが把持するための把持力を算出するステップと、
算出した把持力にて前記コンピュータが前記マニピュレータを動作させるステップと
を有することを特徴とするマニピュレータ制御方法。
【請求項１０】
把持対象物を把持・移動するための把持部を有するマニピュレータをコンピュータが制御するためのプログラムにおいて、
前記コンピュータを、
前記把持部に設けられた成分分析器が前記把持対象物に対して光または放射線を放射して非接触で計測した材質と、前記把持部に設けられた形状計測センサが、前記把持対象物に対して光または放射線を放射して非接触で測定した立体形状とから前記把持対象物の体積を算出する体積算出部と、
既知の把持対象物の形状、物質の密度情報、把持位置、把持力を含む物体情報を蓄積したデータベースと、
前記体積算出部により計算された前記把持対象物の体積と、前記成分分析器により計測された前記把持対象物の材質をキーに前記データベースから読み出した物質の密度情報とから前記把持対象物の重量を算出する重量算出部と、
前記重量算出部により算出された前記把持対象物の重量から前記把持対象物の把持力を算出する把持力算出部と、
前記把持力算出部により算出された把持力にて前記マニピュレータを動作させる制御部
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−４９４５９（Ｐ２００８−４９４５９Ａ）
【公開日】平成２０年３月６日（２００８．３．６）
【国際特許分類】
【出願番号】特願２００６−２３０４８３（Ｐ２００６−２３０４８３）
【出願日】平成１８年８月２８日（２００６．８．２８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２０年３月６日（２００８．３．６）
【国際特許分類】
【出願日】平成１８年８月２８日（２００６．８．２８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]