投影面情報提示装置と方法
【課題】ロボットハンドと対象物との相対位置誤差を拡大表示することができ、これにより目視かつ手動操作によりロボットハンドを対象物に対して正確に位置決めすることができる投影面情報提示装置と方法を提供する。
【解決手段】 ロボットハンド１２に設けられたプロジェクタ２２により、原パターンＡを対象物２に固定された投射面３上に投射し（Ｓ１）、ロボットハンド１２に設けられたカメラ２４により、投射された原パターンである投射パターンＢを撮影し（Ｓ２）、撮影した投射パターンである撮影パターンＣを、ロボットハンド１２が対象物２に対し予め設定した位置と姿勢をとる基準位置において、原パターンＡと一致するように変形し（Ｓ３）、変形した変形パターンＤを原パターンＡに重畳する（Ｓ５）。（Ｓ１）〜（Ｓ５）を順に繰り返す。
【解決手段】 ロボットハンド１２に設けられたプロジェクタ２２により、原パターンＡを対象物２に固定された投射面３上に投射し（Ｓ１）、ロボットハンド１２に設けられたカメラ２４により、投射された原パターンである投射パターンＢを撮影し（Ｓ２）、撮影した投射パターンである撮影パターンＣを、ロボットハンド１２が対象物２に対し予め設定した位置と姿勢をとる基準位置において、原パターンＡと一致するように変形し（Ｓ３）、変形した変形パターンＤを原パターンＡに重畳する（Ｓ５）。（Ｓ１）〜（Ｓ５）を順に繰り返す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、目視かつ手動操作によりロボットハンドを対象物に対して位置決めするための投影面情報提示装置と方法に関する。
【背景技術】
【０００２】
近年、多くの自動車メーカが「モジュール化組付」を推進している。モジュール化組付とは、車体に組付ける複数の部品を１つのモジュールに予め組付けておき、このモジュールを車体に組付ける部品組付手段である。
このようなモジュール化組付により、部品組付のための車両内乗込み作業を低減することができるが、その反面、モジュールが大型化し、作業者の負担が増大していた。
【０００３】
そこで、組立ライン上で移動する作業対象物（例えば、自動車の車体）にワーク（例えば、インストゥルメントパネルなどのモジュール）を組付ける際の、作業者の負担を軽減する手段が種々、提案されている（例えば、非特許文献１〜４）。
また、本発明と関連する技術として、特許文献１〜５が開示されている。
【０００４】
非特許文献１、２は、いわゆるパワーアシスト装置であり、作業全体を作業者が実施するが、これらの装置によりワークの重量を支持することで、作業員による重量物の扱いを容易にするものである。
非特許文３、４は、いわゆるロボットを用いたハンドガイド装置であり、人の操作入力によりロボットを操作し、人とロボットが協働作業するものである。
【０００５】
これらの装置（以下、「ハンドガイドシステム」と呼ぶ）は、ワークを装置で把持し、その重量を支えることで人による重量物の扱いを可能にしている。ハンドガイドシステムでは、人（以下「作業者」）が目視によってワークや組み付け対象の位置を確認し、装置を操作するようになっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許３９２６３１１号公報、「傾斜角度測定装置を有するプロジェクタ」
【特許文献２】特開２００２−７１３１５号公報、「投影平面計測システム」
【特許文献３】特開２００１−３３０４１７号、「カラーパターン光投影を用いた三次元形状計測法および三次元形状計測装置」
【特許文献４】特開２０００−６５５４２号、「３次元画像撮影装置」
【特許文献５】特開２０００−９４４２号、「３次元画像撮影装置」
【非特許文献】
【０００７】
【非特許文献１】鴻巣仁司，荒木勇，山田陽滋、「自動車組立作業支援装置スキルアシストの実用化」日本ロボット学会誌Ｖｏｌ．２２ Ｎｏ．４，ｐｐ．５０８〜５１４， ２００４
【非特許文献２】アイコクアルファ ラクラクハンド（リフトアシスト）、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ａｉｋｏｋｕ．ｃｏ．ｊｐ／ｒｈ／ｉｎｄｅｘ．ｈｔｍｌ＞
【非特許文献３】ＪＩＳ Ｂ８４３３：２００７ ：産業用ロボットの安全規格
【非特許文献４】藤井 正和， 塩形 大輔， 村上 弘記， 曽根原 光治， 「人間・産業用ロボットの協働のための安全システムの提案」，日本機械学会ロボティクス・メカトロニクス講演会２００８ 予稿集， ２Ａ１−Ａ２１
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したハンドガイドシステムを用いる時、対象物とワークの位置関係が、作業者の死角になって目視で確認できないことがある。このような場合のために、特許文献１〜５の手段の適用が考えられる。
特許文献１、２は、カメラとプロジェクタを用い、画像処理により投影平面の傾斜角度又は配置を計測するものである。
特許文献３は、投射装置と撮影装置を用い、対象物の３次元形状を計測するものである。
特許文献４、５は、２台以上のカメラを用い、対象物の３次元画像を撮影するものである。
【０００９】
しかし、特許文献１〜５の手段を適用しても、カメラを用いて対象物の位置と姿勢を求める場合、カメラ画像からは奥行き方向の情報を得にくい問題点があった。
すなわち、ロボットを手動操作する場合、撮影されたパターンの変化を目視で確認しながら操作する。しかし、カメラとプロジェクタの距離が近いと、対象面がわずかに傾いた程度では、撮影されるパターンがほとんど変化しない。したがって、目視では対象面の微小な傾斜を認識できない問題点があった。
【００１０】
本発明は上述した問題点を解決するために創案されたものである。すなわち、本発明の目的は、ロボットハンドと対象物との相対位置誤差を拡大表示することができ、これにより目視かつ手動操作によりロボットハンドを対象物に対して正確に位置決めすることができる投影面情報提示装置と方法を提供することにある。
【課題を解決するための手段】
【００１１】
本発明によれば、手動操作によりロボットハンドを対象物に対して位置決めするための投影面情報提示装置であって、
前記ロボットハンドに設けられ、特定の原パターンを前記対象物に固定された投射面上に投射するプロジェクタと、
前記ロボットハンドに設けられ、前記投射された原パターンである投射パターンを撮影するカメラと、
前記撮影した投射パターンである撮影パターンを、ロボットハンドが対象物に対し予め設定した位置と姿勢をとる基準位置において、原パターンと一致するように変形した変形パターンを前記原パターンに重畳するパターン重畳装置と、を備えることを特徴とする投影面情報提示装置が提供される。
【００１２】
本発明の実施形態によれば、前記パターン重畳装置による前記変形は、射影変換、台形補正、又は歪み補正による。
【００１３】
また、前記撮影パターンを表示する画像表示装置を備える、ことが好ましい。
【００１４】
また本発明によれば、手動操作によりロボットハンドを対象物に対して位置決めするための投影面情報提示方法であって、
（Ａ）前記ロボットハンドに設けられたプロジェクタにより、特定の原パターンを前記対象物に固定された投射面上に投射し、
（Ｂ）前記ロボットハンドに設けられたカメラにより、前記投射された原パターンである投射パターンを撮影し、
（Ｃ）前記撮影した投射パターンである撮影パターンを、ロボットハンドが対象物に対し予め設定した位置と姿勢をとる基準位置において、原パターンと一致するように変形し、
（Ｄ）前記変形した撮影パターンである変形パターンを前記原パターンに重畳し、
（Ｅ）前記（Ａ）〜（Ｄ）を順に繰り返す、ことを特徴とする投影面情報提示方法が提供される。
【００１５】
本発明の実施形態によれば、前記（Ｃ）において、前記重畳前に、前記変形パターンを原パターンと異なる明度又は色調に変更する。
また、前記（Ｅ）において、予め設定した周期毎に、前記変形パターンを消去する。
また、手動操作によるロボットハンドの移動毎に、前記変形パターンを消去する、のが好ましい。
【発明の効果】
【００１６】
上記本発明の装置と方法によれば、パターン重畳装置により撮影パターンを変形した変形パターンを原パターンに重畳（重ね合わせ）するので、投射パターンにも原パターンに変形パターンが重畳して表示される。
しかし、パターン重畳装置による変形は、変形パターンが予め設定した「基準位置」において原パターンと一致する変形であるため、ロボットハンドが基準位置に位置する場合、変形パターンは原パターンに一致する。
なお、「基準位置」とは、ロボットハンドが対象物に対し予め設定した位置と姿勢をとる位置である。
従って、この場合は、プロジェクタによる投射、カメラによる撮影、パターン重畳装置による重畳を繰り返しても、投射面上の投射パターンは投射された原パターンのみであり、これから目視により相対位置誤差が０であることを確認できる。
【００１７】
一方、ロボットハンドが基準位置にない場合には、対象物との相対位置に誤差があり、撮影パターンを変形した変形パターンは原パターンに一致せず、投射面上においてズレを生じる。
このズレは、プロジェクタによる投射、カメラによる撮影、パターン重畳装置による重畳を繰り返すことで、投射面上において順次大きく表示される。
【００１８】
従って、本発明によれば、ロボットハンドと対象物との相対位置誤差を拡大表示することができ、これにより目視かつ手動操作によりロボットハンドを対象物に対して正確に位置決めすることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明による投影面情報提示装置を備えたハンドガイドシステムの模式図である。
【図２】本発明の投影面情報提示装置を示す模式図である。
【図３】原パターンＡ、投射パターンＢ、撮影パターンＣ、及び撮影パターンＣを変形した変形パターンＤの関係を示す図である。
【図４】本発明の投影面情報提示方法を示すフロー図である。
【図５】本発明の第１実施形態を示す図である。
【図６】第１実施形態において、実際の投射面が基準投射面よりカメラ及びプロジェクタから遠くにある場合を示す図である。
【図７】本発明の第２実施形態を示す図である。
【図８】第２実施形態において、実際の投射面が基準投射面よりずれている場合を示す図である。
【図９】本発明の第３実施形態を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の好ましい実施例を図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。
【００２１】
図１は、本発明による投影面情報提示装置を備えたハンドガイドシステムの模式図である。
このハンドガイドシステムは、ハンドガイド装置１０を備え、作業者６が操作することで、ワーク１を自由に動かし、対象物２の開口部２ａにワーク１を組付けるようになっている。
【００２２】
図１において、ハンドガイド装置１０は、ロボットハンド１２、ロボット１４、手動操作盤１６、及びロボット制御装置１８を備える。
【００２３】
ロボットハンド１２は、ワーク１を把持する。ロボットハンド１２は、ワーク１を把持できる限りで、その他の構成であってもよい。
【００２４】
ロボット１４は、この例では多関節ロボットであり、ロボットハンド１２の末端部（図１で上端）を支持し、ロボットハンド１２を所定のロボットエリア内で移動可能に構成されている。なお、ロボット１４は、多関節ロボットに限定されず、その他の周知のロボットであってもよい。
【００２５】
手動操作盤１６は、ロボットハンド１２に設けられ、作業エリア内で人６（例えば作業員）が手動操作盤１６を操作してロボット１４の作動を操作するようになっている。
なお、手動操作盤１６の取付け位置は、ロボットハンド１２に限定されず、その他の位置、例えばロボット１４から離れた固定位置であってもよい。
【００２６】
ロボット制御装置１８は、ロボット１４を制御する。
ロボット制御装置１８は、例えば、「自動モード」と「協働モード」とを有する。
自動モードでは、人６（作業員）の操作なしに、所定のシーケンス又はプログラムに従い、ロボット１４を自動制御する。協働モードでは、人６（作業員）が手動操作盤１６を操作してロボット１４の作動を操作するようになっている。
また、ハンドガイド装置１０は、人の判断や経験を必要とする作業時のみ協働モードに切替え、その他の作業を自動モードで実行するようになっている。
なお、本願において、「自動モード」及び「協働モード」は必須ではなく、人６（作業員）が手動操作盤１６を操作してロボット１４の作動を操作することができればよい。
【００２７】
本発明における手動操作盤１６は、例えばイネーブルスイッチ、片手操作入力デバイス、表示灯及び押釦スイッチを備える。
イネーブルスイッチは、安全を担保するために片手を占有し、これを把持することでスイッチがＯＮするようになっている。
片手操作入力デバイスは、直交３軸の並進入力と該３軸まわりの回転入力を片手操作で入力可能に構成されている。
また、本発明の協働モードにおいて、両手でイネーブルスイッチと片手操作入力デバイスを操作することによりロボット１４を手動制御できるようになっている。
なお、入力デバイスは片手操作入力デバイスに限定されず、２つの入力デバイスを両手で操作してロボット１４を手動制御する構成であってもよい。
表示灯は、ハンドガイド装置１０の種々の状態を表示し、押釦スイッチは種々の信号（例えば、非常停止信号）を出力するようになっている。
【００２８】
なお、上述したハンドガイド装置１０は一例であり、本発明はこれに限定されず、手動操作によりロボットハンドを対象物に対して位置決めする装置である限りで、その他の装置であってもよい。
【００２９】
図２は、本発明の投影面情報提示装置を示す模式図である。この図において、本発明の投影面情報提示装置２０は、手動操作盤１６を用いた手動操作によりロボットハンド１２を対象物２に対して位置決めするための装置であり、プロジェクタ２２、カメラ２４、及びパターン重畳装置２６を備える。
【００３０】
プロジェクタ２２は、ロボットハンド１２のワーク把持部に固定して設けられ、特定の原パターンＡを対象物２に固定された投射面３上に投射する。
プロジェクタ２２は、例えば、投影レンズ、液晶表示部、液晶表示部の画像を制御する画像制御部を有する液晶プロジェクタである。対象物２に固定された投射面３は、組み付け先の一部を使っても良いし、専用のパネルを取り付けても良い。
【００３１】
カメラ２４は、ロボットハンド１２のワーク把持部に固定して設けられ、プロジェクタ２２で投射された原パターンＡである投射パターンＢを撮影する。
カメラ２４は、例えば、デジタルカメラ又はデジタルビデオカメラである。
【００３２】
従って、プロジェクタ２２とカメラ２４は、ロボットハンド１２で把持されたワーク１と連動して移動するようになっている。
カメラ２４とプロジェクタ２２の光軸をそろえる必要はないが、カメラ２４の視野とプロジェクタ２２の投射範囲が、できるだけ重なるような向きが良い。
また、カメラ２４とプロジェクタ２２間の距離は任意であるが、距離が離れるほど検出精度は高くなる。ただし、距離が離れると、カメラ視野とプロジェクタの投射範囲が重なりにくくなる。
【００３３】
パターン重畳装置２６は、カメラ２４で撮影した投射パターンＢである撮影パターンＣを、予め設定した「基準位置」において、原パターンＡと一致するように変形した変形パターンＤを原パターンＡに重畳（重ね合わせ）するようになっている。
パターン重畳装置２６は、例えばコンピュータである。パターン重畳装置２６は、ロボット制御装置１８と一体でも、別置きでもよい。
【００３４】
予め設定した「基準位置」とは、ロボットハンド１２が対象物２に対し予め設定した位置と姿勢をとる位置であり、例えば上述した図１、図２において、対象物２の開口部２ａにワーク１を組付ける際に、精密な位置決めを必要とするロボットハンド１２の位置と姿勢である。また、基準位置は、例えば、ワーク１が対象物２の開口部２ａに組み付けられたときの位置関係であってもよい。
【００３５】
図２において、本発明の投影面情報提示装置２０は、さらに画像表示装置２８を備える。
画像表示装置２８は、例えば液晶ディスプレイであり、人６（作業員）が手動操作盤１６を操作しながら直視できる位置に設けられ、カメラ２４で撮影した撮影パターンＣを表示する。
なお、本発明において、画像表示装置２８は必須ではなく、人６（作業員）が手動操作盤１６を操作しながら投射面３上の投射パターンＢを直視できる限りで、省略することができる。
【００３６】
図３は、上述した原パターンＡ、投射パターンＢ、撮影パターンＣ、及び撮影パターンＣを変形した変形パターンＤの関係を示す図である。この図において、（Ａ）はプロジェクタ２２、カメラ２４、及び投射面３の位置関係を示す図、（Ｂ）は原パターンＡ、投射パターンＢ、撮影パターンＣ、及び変形パターンＤの模式図である。
【００３７】
図３（Ａ）の例において、プロジェクタ２２の光軸２２ａとカメラ２４の光軸２４ａとのなす角度がθであり、互いに点Ｏで交差する。また、上述した基準位置（ロボットハンド１２が対象物２に対し予め設定した位置と姿勢をとる位置）において、投射面３は点Ｏを通り、カメラ２４の光軸２４ａが投射面３に対して直交するものとする。
なおこの図において、投射面３は紙面に直交し、光軸２２ａと光軸２４ａは紙面に平行な平面内に位置するものとする。
【００３８】
図３（Ｂ）に示すように、この例においてプロジェクタ２２の液晶表示部２３ａにおける原パターンＡが矩形ａｂｃｄである場合、投射面３上の投射パターンＢは、線分ａ１ｂ１が線分ｃ１ｄ１より短くなるので、台形ａ１ｂ１ｃ１ｄ１となる。
また、この場合、カメラ２４の光軸２４ａが投射面３に対して直交しているので、カメラ２４で撮影した撮影パターンＣは、台形ａ１ｂ１ｃ１ｄ１の相似形である台形ａ２ｂ２ｃ２ｄ２となる。
【００３９】
一方、パターン重畳装置２６による変形は、変形パターンＤが予め設定した「基準位置」において原パターンＡと一致する変形であるため、ロボットハンド１２が基準位置に位置する場合、変形パターンＤは液晶表示部２３ａにおける原パターンＡと一致する矩形ｅｆｇｈとなる。
【００４０】
言い換えれば、パターン重畳装置２６による変形は、投射面３が基準投射面４（後述する）と一致する場合に、変形パターンＤが原パターンＡと一致するように設定される。
このパターン重畳装置２６による変形は、ロボットハンド１２が対象物２に対し予め設定した位置と姿勢をとらないとき、すなわち、投射面３が基準投射面４（後述する）と一致しない場合にも、同一の変形が実施される。
従って、ロボットハンド１２が対象物２に対し予め設定した位置と姿勢をとらないとき、変形パターンＤは原パターンＡと一致せず、その間にずれが発生する。
【００４１】
上述したパターン重畳装置２６による変形は、例えば、射影変換、台形補正、又は歪み補正によるのがよい。
上述した例のように、投射面３が平面であり、撮影画像の歪みを無視できる場合には、台形補正により上記台形ａ２ｂ２ｃ２ｄ２を矩形ｅｆｇｈに変形することができる。
また、撮影画像の歪みを考慮する場合には、台形補正と歪み補正により上記変形を実施することができる。
さらに、一般的には、光軸２２ａ、光軸２４ａ及び投射面３の位置関係により、射影変換により上記変形を実施することができる。
【００４２】
図４は、本発明の投影面情報提示方法を示すフロー図である。
本発明の方法は、手動操作によりロボットハンド１２を対象物２に対して位置決めするための方法であり、この図に示すように、Ｓ１〜Ｓ７の各ステップ（工程）からなる。
【００４３】
Ｓ１（投射ステップ）では、ロボットハンド１２に設けられたプロジェクタ２２により、特定の原パターンＡを対象物２に固定された投射面３上に投射する。
【００４４】
Ｓ２（撮影ステップ）では、ロボットハンド１２に設けられたカメラ２４により、投射された原パターンＡである投射パターンＢを撮影する。
【００４５】
Ｓ３（変形ステップ）では、撮影した投射パターンＢである撮影パターンＣを、ロボットハンド１２が対象物２に対し予め設定した位置と姿勢をとる基準位置において、原パターンＡと一致するように変形する。
【００４６】
Ｓ４（明度又は色調の変更ステップ）では、撮影パターンＣを変形した変形パターンＤを原パターンＡと異なる明度又は色調に変更する。
「異なる明度」に変更とは、例えば黒の原パターンＡに対し、変形パターンＤをグレイ（灰色）にする。また、「異なる色調」に変更とは、例えば黒の原パターンＡに対し、基準位置より前を青色、基準位置より後を赤色で表示する。
この変更により、投射面３上に投射された投射パターンＢから原パターンＡと変形パターンＤとの目視による区別が容易となる。
なお、Ｓ４は必須ではなく、これを省略することもできる。
【００４７】
Ｓ５（重畳ステップ）では、変形した撮影パターンＣである変形パターンＤを原パターンＡに重畳する。ここで、「重畳」とは重ね合わせの意味であり、液晶表示部２３ａ上の原パターンＡはそのまま維持し、変形パターンＤを原パターンＡの対応する位置に重ねて、液晶表示部２３ａ上のパターンとすることを意味する。
【００４８】
Ｓ６（消去判断ステップ）では、変形パターンＤを消去するかどうかを判断する。
変形パターンＤの消去は、例えば、予め設定した周期毎に実施する。この周期は、予め設定した時間（例えば１〜１０秒）、或いは予め設定した繰返し数（例えば２回〜１０回）であるのがよい。
また、変形パターンＤの消去は、手動操作によるロボットハンド１２の移動毎に実施してもよい。
【００４９】
Ｓ６で、変形パターンＤを消去する（ＹＥＳ）の場合、Ｓ７（消去ステップ）で変形パターンＤを消去し、Ｓ１に戻る。
Ｓ６で、変形パターンＤを消去しない（ＮＯ）の場合、Ｓ１に直接戻る。
【００５０】
ロボットハンド１２の手動操作中において、Ｓ１〜Ｓ７の各ステップを順に繰り返すのがよい。
また、手動操作中の特定の時間帯（例えば組立時）又は領域（例えば対象物２の近傍）においてのみ、Ｓ１〜Ｓ７の各ステップを順に繰り返すようにしてもよい。
【００５１】
上述したように、ロボットハンド１２が対象物２に対し予め設定した位置と姿勢をとる基準位置において、変形パターンＤは液晶表示部２３ａにおける原パターンＡと一致するので、変形パターンＤを原パターンＡに重畳しても、原パターンＡは変化しない。
従って、Ｓ１〜Ｓ５の各ステップを順に繰り返し、プロジェクタ２２による投射、カメラ２４による撮影、パターン重畳装置２６による重畳を繰り返しても、原パターンＡは変化せず、投射面上の投射パターンＢは投射された原パターンＡのみであり、これから目視により相対位置誤差が０であることを確認できる。
【００５２】
一方、ロボットハンド１２が基準位置にない場合には、対象物２との相対位置に誤差があり、撮影パターンＣを変形した変形パターンＤは原パターンＡと一致せず、投射面３上においてズレを生じる。
このズレは、プロジェクタ２２による投射、カメラ２４による撮影、パターン重畳装置２６による重畳を繰り返すことで、投射面３上において順次大きく表示される。
【００５３】
従って、本発明によれば、ロボットハンド１２と対象物２との相対位置誤差を拡大表示することができ、これにより目視かつ手動操作によりロボットハンドを対象物に対して正確に位置決めすることができる。
【００５４】
図５は、本発明の第１実施形態を示す図である。この例において、原パターンＡは１本の縦線である。この図を用いて簡単な例で本発明の原理を説明する。
（Ａ）は、対象物２とカメラ２４及びプロジェクタ２２が予め設定した「基準位置」にある時の上面図である。この時の投射面３の位置を「基準投射面４」とする。この例では、（Ｂ）に示すプロジェクタ２２が投射するパターン（液晶表示部２３ａにおける原パターンＡ）と、（Ｃ）に示すカメラ２４が撮影するパターン（撮影パターンＣ）は一致している。
【００５５】
この例のように、投射面３が基準投射面４にある時、原パターンＡと撮影パターンＣが一致するのは、原パターンＡが１本の線あるいは点である場合に限られる。
【００５６】
図６は、第１実施形態において、実際の投射面３が基準投射面４よりカメラ２４及びプロジェクタ２２から遠くにある場合を示す図である。
投射面３が基準投射面４より遠くにある時、撮影される撮影パターンＣの位置が矢印で示すように右方向にずれる（Ａ）。次に、撮影された撮影パターンＣを変形した変形パターンＤを原パターンＡに重畳する（Ｂ）。次いで、重畳後の原パターンＡと変形パターンＤを投射すると、一回目よりずれたパターンが重なって撮影される（Ｃ）。このように、撮影パターンＣを変形した変形パターンＤを原パターンＡに重畳し、投射することを繰り返すことで、微小なパターンのずれが拡大していく（Ｄ）。
【００５７】
図６の例では、投射面３が基準投射面４より遠くにある時、パターンが右側にずれて重なっていく。逆に、投射面３が基準投射面４より近くにあるときは，パターンが左側にずれて重なる。
【００５８】
図７は、本発明の第２実施形態を示す図である。この例において、原パターンＡは２本の縦線である。
（Ａ）は、対象物２とカメラ２４及びプロジェクタ２２が予め設定した「基準位置」にある時の上面図である。
【００５９】
この例では、投射する原パターンＡを左右に離れた２本の縦線としているため、原パターンＡ（Ｂ）と撮影パターンＣ（Ｃ）が一致しない。この場合、撮影パターンＣを変形した変形パターンＤ（Ｄ）が原パターンＡと一致するように撮影パターンＣを変形する。この変換は、例えば、射影変換、台形補正、又は歪み補正による。
【００６０】
図８は、第２実施形態において、実際の投射面３が基準投射面４よりずれている場合を示す図である。
この例では、投射面３は基準投射面４に対し、奥行き方向の平行移動だけでなく、傾きもずれている。この場合も、図６と同様に、左右のパターンが少しずつ、ずれていく。
この例で、原パターンＡの左の縦線が投射される位置は、投射面３が基準投射面４より遠くにあるため、右方向にずれた変形パターンＤが重なっていく。原パターンＡの右の縦線が投射される位置は、投射面３が基準投射面４より近くにあるため、左方向にずれた変形パターンＤが重なっていく。
【００６１】
図９は、本発明の第３実施形態を示す図である。この例において、原パターンＡは２本の縦線である。
（Ａ）は、カメラ２４、プロジェクタ２２、及び投射面３を側面から見た図を示す。
【００６２】
（Ａ）に示すように、投射面３が基準投射面４から水平軸回りに傾いている場合も、図６と同様に動作する。この場合、投射される原パターンＡの縦線のうち上側では、投射面３が基準投射面４より遠く、下側では投射面３が基準投射面４より近い。従って、原パターンＡの縦線の上側は右方向にずれた変形パターンＤが重なっていき、下側は左方向にずれた変形パターンＤが重なっていく。
【００６３】
以上の実施形態から、投射面３と基準投射面４のずれを以下のように求めることができる。
（水平軸周りの傾き）
画像上部と下部で、原パターンＡと変形パターンＤのずれ具合を比較する。
（垂直軸回りの傾き）
画像の左右で、原パターンＡと変形パターンＤのずれ具合を比較する。
（奥行き）
画像全体にわたって、原パターンＡに対し変形パターンＤが左右どちら側にずれているかを見る。
【００６４】
画像上の３点で奥行き情報を得ればよいため、投射する原パターンＡは２本の線でなくても良い。
例えば、原パターンＡは、画像上の原点と、原点より水平方向、垂直方向に離れた２点の合計３点の点であってもよい。また、原パターンＡは、格子状のパターンであってもよい。
また、投射面３及び基準投射面４は、平面に限定されず、緩やかな曲面であってもよい。
【００６５】
さらに、プロジェクタ２２を用いず、投射面３に相等する組み付け先にディスプレイを設置し、カメラ２４をディスプレイに向け、原パターンＡをディスプレイに表示させることで、本発明と同様の効果が得られる。
【００６６】
なお、本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々の変更を加え得ることは勿論である。
【符号の説明】
【００６７】
１ ワーク、２ 対象物、２ａ 開口部、
３ 投射面、４ 基準投射面、６ 作業者、
１０ ハンドガイド装置、１２ ロボットハンド、
１４ ロボット、１６ 手動操作盤、１８ ロボット制御装置、
２０ 投影面情報提示装置、２２ プロジェクタ、２２ａ 光軸、
２３ａ 液晶表示部、２４ カメラ、２４ａ 光軸、
２６ パターン重畳装置（コンピュータ）、
２８ 画像表示装置（液晶ディスプレイ）
【技術分野】
【０００１】
本発明は、目視かつ手動操作によりロボットハンドを対象物に対して位置決めするための投影面情報提示装置と方法に関する。
【背景技術】
【０００２】
近年、多くの自動車メーカが「モジュール化組付」を推進している。モジュール化組付とは、車体に組付ける複数の部品を１つのモジュールに予め組付けておき、このモジュールを車体に組付ける部品組付手段である。
このようなモジュール化組付により、部品組付のための車両内乗込み作業を低減することができるが、その反面、モジュールが大型化し、作業者の負担が増大していた。
【０００３】
そこで、組立ライン上で移動する作業対象物（例えば、自動車の車体）にワーク（例えば、インストゥルメントパネルなどのモジュール）を組付ける際の、作業者の負担を軽減する手段が種々、提案されている（例えば、非特許文献１〜４）。
また、本発明と関連する技術として、特許文献１〜５が開示されている。
【０００４】
非特許文献１、２は、いわゆるパワーアシスト装置であり、作業全体を作業者が実施するが、これらの装置によりワークの重量を支持することで、作業員による重量物の扱いを容易にするものである。
非特許文３、４は、いわゆるロボットを用いたハンドガイド装置であり、人の操作入力によりロボットを操作し、人とロボットが協働作業するものである。
【０００５】
これらの装置（以下、「ハンドガイドシステム」と呼ぶ）は、ワークを装置で把持し、その重量を支えることで人による重量物の扱いを可能にしている。ハンドガイドシステムでは、人（以下「作業者」）が目視によってワークや組み付け対象の位置を確認し、装置を操作するようになっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許３９２６３１１号公報、「傾斜角度測定装置を有するプロジェクタ」
【特許文献２】特開２００２−７１３１５号公報、「投影平面計測システム」
【特許文献３】特開２００１−３３０４１７号、「カラーパターン光投影を用いた三次元形状計測法および三次元形状計測装置」
【特許文献４】特開２０００−６５５４２号、「３次元画像撮影装置」
【特許文献５】特開２０００−９４４２号、「３次元画像撮影装置」
【非特許文献】
【０００７】
【非特許文献１】鴻巣仁司，荒木勇，山田陽滋、「自動車組立作業支援装置スキルアシストの実用化」日本ロボット学会誌Ｖｏｌ．２２ Ｎｏ．４，ｐｐ．５０８〜５１４， ２００４
【非特許文献２】アイコクアルファ ラクラクハンド（リフトアシスト）、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ａｉｋｏｋｕ．ｃｏ．ｊｐ／ｒｈ／ｉｎｄｅｘ．ｈｔｍｌ＞
【非特許文献３】ＪＩＳ Ｂ８４３３：２００７ ：産業用ロボットの安全規格
【非特許文献４】藤井 正和， 塩形 大輔， 村上 弘記， 曽根原 光治， 「人間・産業用ロボットの協働のための安全システムの提案」，日本機械学会ロボティクス・メカトロニクス講演会２００８ 予稿集， ２Ａ１−Ａ２１
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したハンドガイドシステムを用いる時、対象物とワークの位置関係が、作業者の死角になって目視で確認できないことがある。このような場合のために、特許文献１〜５の手段の適用が考えられる。
特許文献１、２は、カメラとプロジェクタを用い、画像処理により投影平面の傾斜角度又は配置を計測するものである。
特許文献３は、投射装置と撮影装置を用い、対象物の３次元形状を計測するものである。
特許文献４、５は、２台以上のカメラを用い、対象物の３次元画像を撮影するものである。
【０００９】
しかし、特許文献１〜５の手段を適用しても、カメラを用いて対象物の位置と姿勢を求める場合、カメラ画像からは奥行き方向の情報を得にくい問題点があった。
すなわち、ロボットを手動操作する場合、撮影されたパターンの変化を目視で確認しながら操作する。しかし、カメラとプロジェクタの距離が近いと、対象面がわずかに傾いた程度では、撮影されるパターンがほとんど変化しない。したがって、目視では対象面の微小な傾斜を認識できない問題点があった。
【００１０】
本発明は上述した問題点を解決するために創案されたものである。すなわち、本発明の目的は、ロボットハンドと対象物との相対位置誤差を拡大表示することができ、これにより目視かつ手動操作によりロボットハンドを対象物に対して正確に位置決めすることができる投影面情報提示装置と方法を提供することにある。
【課題を解決するための手段】
【００１１】
本発明によれば、手動操作によりロボットハンドを対象物に対して位置決めするための投影面情報提示装置であって、
前記ロボットハンドに設けられ、特定の原パターンを前記対象物に固定された投射面上に投射するプロジェクタと、
前記ロボットハンドに設けられ、前記投射された原パターンである投射パターンを撮影するカメラと、
前記撮影した投射パターンである撮影パターンを、ロボットハンドが対象物に対し予め設定した位置と姿勢をとる基準位置において、原パターンと一致するように変形した変形パターンを前記原パターンに重畳するパターン重畳装置と、を備えることを特徴とする投影面情報提示装置が提供される。
【００１２】
本発明の実施形態によれば、前記パターン重畳装置による前記変形は、射影変換、台形補正、又は歪み補正による。
【００１３】
また、前記撮影パターンを表示する画像表示装置を備える、ことが好ましい。
【００１４】
また本発明によれば、手動操作によりロボットハンドを対象物に対して位置決めするための投影面情報提示方法であって、
（Ａ）前記ロボットハンドに設けられたプロジェクタにより、特定の原パターンを前記対象物に固定された投射面上に投射し、
（Ｂ）前記ロボットハンドに設けられたカメラにより、前記投射された原パターンである投射パターンを撮影し、
（Ｃ）前記撮影した投射パターンである撮影パターンを、ロボットハンドが対象物に対し予め設定した位置と姿勢をとる基準位置において、原パターンと一致するように変形し、
（Ｄ）前記変形した撮影パターンである変形パターンを前記原パターンに重畳し、
（Ｅ）前記（Ａ）〜（Ｄ）を順に繰り返す、ことを特徴とする投影面情報提示方法が提供される。
【００１５】
本発明の実施形態によれば、前記（Ｃ）において、前記重畳前に、前記変形パターンを原パターンと異なる明度又は色調に変更する。
また、前記（Ｅ）において、予め設定した周期毎に、前記変形パターンを消去する。
また、手動操作によるロボットハンドの移動毎に、前記変形パターンを消去する、のが好ましい。
【発明の効果】
【００１６】
上記本発明の装置と方法によれば、パターン重畳装置により撮影パターンを変形した変形パターンを原パターンに重畳（重ね合わせ）するので、投射パターンにも原パターンに変形パターンが重畳して表示される。
しかし、パターン重畳装置による変形は、変形パターンが予め設定した「基準位置」において原パターンと一致する変形であるため、ロボットハンドが基準位置に位置する場合、変形パターンは原パターンに一致する。
なお、「基準位置」とは、ロボットハンドが対象物に対し予め設定した位置と姿勢をとる位置である。
従って、この場合は、プロジェクタによる投射、カメラによる撮影、パターン重畳装置による重畳を繰り返しても、投射面上の投射パターンは投射された原パターンのみであり、これから目視により相対位置誤差が０であることを確認できる。
【００１７】
一方、ロボットハンドが基準位置にない場合には、対象物との相対位置に誤差があり、撮影パターンを変形した変形パターンは原パターンに一致せず、投射面上においてズレを生じる。
このズレは、プロジェクタによる投射、カメラによる撮影、パターン重畳装置による重畳を繰り返すことで、投射面上において順次大きく表示される。
【００１８】
従って、本発明によれば、ロボットハンドと対象物との相対位置誤差を拡大表示することができ、これにより目視かつ手動操作によりロボットハンドを対象物に対して正確に位置決めすることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明による投影面情報提示装置を備えたハンドガイドシステムの模式図である。
【図２】本発明の投影面情報提示装置を示す模式図である。
【図３】原パターンＡ、投射パターンＢ、撮影パターンＣ、及び撮影パターンＣを変形した変形パターンＤの関係を示す図である。
【図４】本発明の投影面情報提示方法を示すフロー図である。
【図５】本発明の第１実施形態を示す図である。
【図６】第１実施形態において、実際の投射面が基準投射面よりカメラ及びプロジェクタから遠くにある場合を示す図である。
【図７】本発明の第２実施形態を示す図である。
【図８】第２実施形態において、実際の投射面が基準投射面よりずれている場合を示す図である。
【図９】本発明の第３実施形態を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の好ましい実施例を図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。
【００２１】
図１は、本発明による投影面情報提示装置を備えたハンドガイドシステムの模式図である。
このハンドガイドシステムは、ハンドガイド装置１０を備え、作業者６が操作することで、ワーク１を自由に動かし、対象物２の開口部２ａにワーク１を組付けるようになっている。
【００２２】
図１において、ハンドガイド装置１０は、ロボットハンド１２、ロボット１４、手動操作盤１６、及びロボット制御装置１８を備える。
【００２３】
ロボットハンド１２は、ワーク１を把持する。ロボットハンド１２は、ワーク１を把持できる限りで、その他の構成であってもよい。
【００２４】
ロボット１４は、この例では多関節ロボットであり、ロボットハンド１２の末端部（図１で上端）を支持し、ロボットハンド１２を所定のロボットエリア内で移動可能に構成されている。なお、ロボット１４は、多関節ロボットに限定されず、その他の周知のロボットであってもよい。
【００２５】
手動操作盤１６は、ロボットハンド１２に設けられ、作業エリア内で人６（例えば作業員）が手動操作盤１６を操作してロボット１４の作動を操作するようになっている。
なお、手動操作盤１６の取付け位置は、ロボットハンド１２に限定されず、その他の位置、例えばロボット１４から離れた固定位置であってもよい。
【００２６】
ロボット制御装置１８は、ロボット１４を制御する。
ロボット制御装置１８は、例えば、「自動モード」と「協働モード」とを有する。
自動モードでは、人６（作業員）の操作なしに、所定のシーケンス又はプログラムに従い、ロボット１４を自動制御する。協働モードでは、人６（作業員）が手動操作盤１６を操作してロボット１４の作動を操作するようになっている。
また、ハンドガイド装置１０は、人の判断や経験を必要とする作業時のみ協働モードに切替え、その他の作業を自動モードで実行するようになっている。
なお、本願において、「自動モード」及び「協働モード」は必須ではなく、人６（作業員）が手動操作盤１６を操作してロボット１４の作動を操作することができればよい。
【００２７】
本発明における手動操作盤１６は、例えばイネーブルスイッチ、片手操作入力デバイス、表示灯及び押釦スイッチを備える。
イネーブルスイッチは、安全を担保するために片手を占有し、これを把持することでスイッチがＯＮするようになっている。
片手操作入力デバイスは、直交３軸の並進入力と該３軸まわりの回転入力を片手操作で入力可能に構成されている。
また、本発明の協働モードにおいて、両手でイネーブルスイッチと片手操作入力デバイスを操作することによりロボット１４を手動制御できるようになっている。
なお、入力デバイスは片手操作入力デバイスに限定されず、２つの入力デバイスを両手で操作してロボット１４を手動制御する構成であってもよい。
表示灯は、ハンドガイド装置１０の種々の状態を表示し、押釦スイッチは種々の信号（例えば、非常停止信号）を出力するようになっている。
【００２８】
なお、上述したハンドガイド装置１０は一例であり、本発明はこれに限定されず、手動操作によりロボットハンドを対象物に対して位置決めする装置である限りで、その他の装置であってもよい。
【００２９】
図２は、本発明の投影面情報提示装置を示す模式図である。この図において、本発明の投影面情報提示装置２０は、手動操作盤１６を用いた手動操作によりロボットハンド１２を対象物２に対して位置決めするための装置であり、プロジェクタ２２、カメラ２４、及びパターン重畳装置２６を備える。
【００３０】
プロジェクタ２２は、ロボットハンド１２のワーク把持部に固定して設けられ、特定の原パターンＡを対象物２に固定された投射面３上に投射する。
プロジェクタ２２は、例えば、投影レンズ、液晶表示部、液晶表示部の画像を制御する画像制御部を有する液晶プロジェクタである。対象物２に固定された投射面３は、組み付け先の一部を使っても良いし、専用のパネルを取り付けても良い。
【００３１】
カメラ２４は、ロボットハンド１２のワーク把持部に固定して設けられ、プロジェクタ２２で投射された原パターンＡである投射パターンＢを撮影する。
カメラ２４は、例えば、デジタルカメラ又はデジタルビデオカメラである。
【００３２】
従って、プロジェクタ２２とカメラ２４は、ロボットハンド１２で把持されたワーク１と連動して移動するようになっている。
カメラ２４とプロジェクタ２２の光軸をそろえる必要はないが、カメラ２４の視野とプロジェクタ２２の投射範囲が、できるだけ重なるような向きが良い。
また、カメラ２４とプロジェクタ２２間の距離は任意であるが、距離が離れるほど検出精度は高くなる。ただし、距離が離れると、カメラ視野とプロジェクタの投射範囲が重なりにくくなる。
【００３３】
パターン重畳装置２６は、カメラ２４で撮影した投射パターンＢである撮影パターンＣを、予め設定した「基準位置」において、原パターンＡと一致するように変形した変形パターンＤを原パターンＡに重畳（重ね合わせ）するようになっている。
パターン重畳装置２６は、例えばコンピュータである。パターン重畳装置２６は、ロボット制御装置１８と一体でも、別置きでもよい。
【００３４】
予め設定した「基準位置」とは、ロボットハンド１２が対象物２に対し予め設定した位置と姿勢をとる位置であり、例えば上述した図１、図２において、対象物２の開口部２ａにワーク１を組付ける際に、精密な位置決めを必要とするロボットハンド１２の位置と姿勢である。また、基準位置は、例えば、ワーク１が対象物２の開口部２ａに組み付けられたときの位置関係であってもよい。
【００３５】
図２において、本発明の投影面情報提示装置２０は、さらに画像表示装置２８を備える。
画像表示装置２８は、例えば液晶ディスプレイであり、人６（作業員）が手動操作盤１６を操作しながら直視できる位置に設けられ、カメラ２４で撮影した撮影パターンＣを表示する。
なお、本発明において、画像表示装置２８は必須ではなく、人６（作業員）が手動操作盤１６を操作しながら投射面３上の投射パターンＢを直視できる限りで、省略することができる。
【００３６】
図３は、上述した原パターンＡ、投射パターンＢ、撮影パターンＣ、及び撮影パターンＣを変形した変形パターンＤの関係を示す図である。この図において、（Ａ）はプロジェクタ２２、カメラ２４、及び投射面３の位置関係を示す図、（Ｂ）は原パターンＡ、投射パターンＢ、撮影パターンＣ、及び変形パターンＤの模式図である。
【００３７】
図３（Ａ）の例において、プロジェクタ２２の光軸２２ａとカメラ２４の光軸２４ａとのなす角度がθであり、互いに点Ｏで交差する。また、上述した基準位置（ロボットハンド１２が対象物２に対し予め設定した位置と姿勢をとる位置）において、投射面３は点Ｏを通り、カメラ２４の光軸２４ａが投射面３に対して直交するものとする。
なおこの図において、投射面３は紙面に直交し、光軸２２ａと光軸２４ａは紙面に平行な平面内に位置するものとする。
【００３８】
図３（Ｂ）に示すように、この例においてプロジェクタ２２の液晶表示部２３ａにおける原パターンＡが矩形ａｂｃｄである場合、投射面３上の投射パターンＢは、線分ａ１ｂ１が線分ｃ１ｄ１より短くなるので、台形ａ１ｂ１ｃ１ｄ１となる。
また、この場合、カメラ２４の光軸２４ａが投射面３に対して直交しているので、カメラ２４で撮影した撮影パターンＣは、台形ａ１ｂ１ｃ１ｄ１の相似形である台形ａ２ｂ２ｃ２ｄ２となる。
【００３９】
一方、パターン重畳装置２６による変形は、変形パターンＤが予め設定した「基準位置」において原パターンＡと一致する変形であるため、ロボットハンド１２が基準位置に位置する場合、変形パターンＤは液晶表示部２３ａにおける原パターンＡと一致する矩形ｅｆｇｈとなる。
【００４０】
言い換えれば、パターン重畳装置２６による変形は、投射面３が基準投射面４（後述する）と一致する場合に、変形パターンＤが原パターンＡと一致するように設定される。
このパターン重畳装置２６による変形は、ロボットハンド１２が対象物２に対し予め設定した位置と姿勢をとらないとき、すなわち、投射面３が基準投射面４（後述する）と一致しない場合にも、同一の変形が実施される。
従って、ロボットハンド１２が対象物２に対し予め設定した位置と姿勢をとらないとき、変形パターンＤは原パターンＡと一致せず、その間にずれが発生する。
【００４１】
上述したパターン重畳装置２６による変形は、例えば、射影変換、台形補正、又は歪み補正によるのがよい。
上述した例のように、投射面３が平面であり、撮影画像の歪みを無視できる場合には、台形補正により上記台形ａ２ｂ２ｃ２ｄ２を矩形ｅｆｇｈに変形することができる。
また、撮影画像の歪みを考慮する場合には、台形補正と歪み補正により上記変形を実施することができる。
さらに、一般的には、光軸２２ａ、光軸２４ａ及び投射面３の位置関係により、射影変換により上記変形を実施することができる。
【００４２】
図４は、本発明の投影面情報提示方法を示すフロー図である。
本発明の方法は、手動操作によりロボットハンド１２を対象物２に対して位置決めするための方法であり、この図に示すように、Ｓ１〜Ｓ７の各ステップ（工程）からなる。
【００４３】
Ｓ１（投射ステップ）では、ロボットハンド１２に設けられたプロジェクタ２２により、特定の原パターンＡを対象物２に固定された投射面３上に投射する。
【００４４】
Ｓ２（撮影ステップ）では、ロボットハンド１２に設けられたカメラ２４により、投射された原パターンＡである投射パターンＢを撮影する。
【００４５】
Ｓ３（変形ステップ）では、撮影した投射パターンＢである撮影パターンＣを、ロボットハンド１２が対象物２に対し予め設定した位置と姿勢をとる基準位置において、原パターンＡと一致するように変形する。
【００４６】
Ｓ４（明度又は色調の変更ステップ）では、撮影パターンＣを変形した変形パターンＤを原パターンＡと異なる明度又は色調に変更する。
「異なる明度」に変更とは、例えば黒の原パターンＡに対し、変形パターンＤをグレイ（灰色）にする。また、「異なる色調」に変更とは、例えば黒の原パターンＡに対し、基準位置より前を青色、基準位置より後を赤色で表示する。
この変更により、投射面３上に投射された投射パターンＢから原パターンＡと変形パターンＤとの目視による区別が容易となる。
なお、Ｓ４は必須ではなく、これを省略することもできる。
【００４７】
Ｓ５（重畳ステップ）では、変形した撮影パターンＣである変形パターンＤを原パターンＡに重畳する。ここで、「重畳」とは重ね合わせの意味であり、液晶表示部２３ａ上の原パターンＡはそのまま維持し、変形パターンＤを原パターンＡの対応する位置に重ねて、液晶表示部２３ａ上のパターンとすることを意味する。
【００４８】
Ｓ６（消去判断ステップ）では、変形パターンＤを消去するかどうかを判断する。
変形パターンＤの消去は、例えば、予め設定した周期毎に実施する。この周期は、予め設定した時間（例えば１〜１０秒）、或いは予め設定した繰返し数（例えば２回〜１０回）であるのがよい。
また、変形パターンＤの消去は、手動操作によるロボットハンド１２の移動毎に実施してもよい。
【００４９】
Ｓ６で、変形パターンＤを消去する（ＹＥＳ）の場合、Ｓ７（消去ステップ）で変形パターンＤを消去し、Ｓ１に戻る。
Ｓ６で、変形パターンＤを消去しない（ＮＯ）の場合、Ｓ１に直接戻る。
【００５０】
ロボットハンド１２の手動操作中において、Ｓ１〜Ｓ７の各ステップを順に繰り返すのがよい。
また、手動操作中の特定の時間帯（例えば組立時）又は領域（例えば対象物２の近傍）においてのみ、Ｓ１〜Ｓ７の各ステップを順に繰り返すようにしてもよい。
【００５１】
上述したように、ロボットハンド１２が対象物２に対し予め設定した位置と姿勢をとる基準位置において、変形パターンＤは液晶表示部２３ａにおける原パターンＡと一致するので、変形パターンＤを原パターンＡに重畳しても、原パターンＡは変化しない。
従って、Ｓ１〜Ｓ５の各ステップを順に繰り返し、プロジェクタ２２による投射、カメラ２４による撮影、パターン重畳装置２６による重畳を繰り返しても、原パターンＡは変化せず、投射面上の投射パターンＢは投射された原パターンＡのみであり、これから目視により相対位置誤差が０であることを確認できる。
【００５２】
一方、ロボットハンド１２が基準位置にない場合には、対象物２との相対位置に誤差があり、撮影パターンＣを変形した変形パターンＤは原パターンＡと一致せず、投射面３上においてズレを生じる。
このズレは、プロジェクタ２２による投射、カメラ２４による撮影、パターン重畳装置２６による重畳を繰り返すことで、投射面３上において順次大きく表示される。
【００５３】
従って、本発明によれば、ロボットハンド１２と対象物２との相対位置誤差を拡大表示することができ、これにより目視かつ手動操作によりロボットハンドを対象物に対して正確に位置決めすることができる。
【００５４】
図５は、本発明の第１実施形態を示す図である。この例において、原パターンＡは１本の縦線である。この図を用いて簡単な例で本発明の原理を説明する。
（Ａ）は、対象物２とカメラ２４及びプロジェクタ２２が予め設定した「基準位置」にある時の上面図である。この時の投射面３の位置を「基準投射面４」とする。この例では、（Ｂ）に示すプロジェクタ２２が投射するパターン（液晶表示部２３ａにおける原パターンＡ）と、（Ｃ）に示すカメラ２４が撮影するパターン（撮影パターンＣ）は一致している。
【００５５】
この例のように、投射面３が基準投射面４にある時、原パターンＡと撮影パターンＣが一致するのは、原パターンＡが１本の線あるいは点である場合に限られる。
【００５６】
図６は、第１実施形態において、実際の投射面３が基準投射面４よりカメラ２４及びプロジェクタ２２から遠くにある場合を示す図である。
投射面３が基準投射面４より遠くにある時、撮影される撮影パターンＣの位置が矢印で示すように右方向にずれる（Ａ）。次に、撮影された撮影パターンＣを変形した変形パターンＤを原パターンＡに重畳する（Ｂ）。次いで、重畳後の原パターンＡと変形パターンＤを投射すると、一回目よりずれたパターンが重なって撮影される（Ｃ）。このように、撮影パターンＣを変形した変形パターンＤを原パターンＡに重畳し、投射することを繰り返すことで、微小なパターンのずれが拡大していく（Ｄ）。
【００５７】
図６の例では、投射面３が基準投射面４より遠くにある時、パターンが右側にずれて重なっていく。逆に、投射面３が基準投射面４より近くにあるときは，パターンが左側にずれて重なる。
【００５８】
図７は、本発明の第２実施形態を示す図である。この例において、原パターンＡは２本の縦線である。
（Ａ）は、対象物２とカメラ２４及びプロジェクタ２２が予め設定した「基準位置」にある時の上面図である。
【００５９】
この例では、投射する原パターンＡを左右に離れた２本の縦線としているため、原パターンＡ（Ｂ）と撮影パターンＣ（Ｃ）が一致しない。この場合、撮影パターンＣを変形した変形パターンＤ（Ｄ）が原パターンＡと一致するように撮影パターンＣを変形する。この変換は、例えば、射影変換、台形補正、又は歪み補正による。
【００６０】
図８は、第２実施形態において、実際の投射面３が基準投射面４よりずれている場合を示す図である。
この例では、投射面３は基準投射面４に対し、奥行き方向の平行移動だけでなく、傾きもずれている。この場合も、図６と同様に、左右のパターンが少しずつ、ずれていく。
この例で、原パターンＡの左の縦線が投射される位置は、投射面３が基準投射面４より遠くにあるため、右方向にずれた変形パターンＤが重なっていく。原パターンＡの右の縦線が投射される位置は、投射面３が基準投射面４より近くにあるため、左方向にずれた変形パターンＤが重なっていく。
【００６１】
図９は、本発明の第３実施形態を示す図である。この例において、原パターンＡは２本の縦線である。
（Ａ）は、カメラ２４、プロジェクタ２２、及び投射面３を側面から見た図を示す。
【００６２】
（Ａ）に示すように、投射面３が基準投射面４から水平軸回りに傾いている場合も、図６と同様に動作する。この場合、投射される原パターンＡの縦線のうち上側では、投射面３が基準投射面４より遠く、下側では投射面３が基準投射面４より近い。従って、原パターンＡの縦線の上側は右方向にずれた変形パターンＤが重なっていき、下側は左方向にずれた変形パターンＤが重なっていく。
【００６３】
以上の実施形態から、投射面３と基準投射面４のずれを以下のように求めることができる。
（水平軸周りの傾き）
画像上部と下部で、原パターンＡと変形パターンＤのずれ具合を比較する。
（垂直軸回りの傾き）
画像の左右で、原パターンＡと変形パターンＤのずれ具合を比較する。
（奥行き）
画像全体にわたって、原パターンＡに対し変形パターンＤが左右どちら側にずれているかを見る。
【００６４】
画像上の３点で奥行き情報を得ればよいため、投射する原パターンＡは２本の線でなくても良い。
例えば、原パターンＡは、画像上の原点と、原点より水平方向、垂直方向に離れた２点の合計３点の点であってもよい。また、原パターンＡは、格子状のパターンであってもよい。
また、投射面３及び基準投射面４は、平面に限定されず、緩やかな曲面であってもよい。
【００６５】
さらに、プロジェクタ２２を用いず、投射面３に相等する組み付け先にディスプレイを設置し、カメラ２４をディスプレイに向け、原パターンＡをディスプレイに表示させることで、本発明と同様の効果が得られる。
【００６６】
なお、本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々の変更を加え得ることは勿論である。
【符号の説明】
【００６７】
１ ワーク、２ 対象物、２ａ 開口部、
３ 投射面、４ 基準投射面、６ 作業者、
１０ ハンドガイド装置、１２ ロボットハンド、
１４ ロボット、１６ 手動操作盤、１８ ロボット制御装置、
２０ 投影面情報提示装置、２２ プロジェクタ、２２ａ 光軸、
２３ａ 液晶表示部、２４ カメラ、２４ａ 光軸、
２６ パターン重畳装置（コンピュータ）、
２８ 画像表示装置（液晶ディスプレイ）
【特許請求の範囲】
【請求項１】
手動操作によりロボットハンドを対象物に対して位置決めするための投影面情報提示装置であって、
前記ロボットハンドに設けられ、特定の原パターンを前記対象物に固定された投射面上に投射するプロジェクタと、
前記ロボットハンドに設けられ、前記投射された原パターンである投射パターンを撮影するカメラと、
前記撮影した投射パターンである撮影パターンを、ロボットハンドが対象物に対し予め設定した位置と姿勢をとる基準位置において、原パターンと一致するように変形した変形パターンを前記原パターンに重畳するパターン重畳装置と、を備えることを特徴とする投影面情報提示装置。
【請求項２】
前記パターン重畳装置による前記変形は、射影変換、台形補正、又は歪み補正による、ことを特徴とする請求項１に記載の投影面情報提示装置。
【請求項３】
前記撮影パターンを表示する画像表示装置を備える、ことを特徴とする請求項１に記載の投影面情報提示装置。
【請求項４】
手動操作によりロボットハンドを対象物に対して位置決めするための投影面情報提示方法であって、
（Ａ）前記ロボットハンドに設けられたプロジェクタにより、特定の原パターンを前記対象物に固定された投射面上に投射し、
（Ｂ）前記ロボットハンドに設けられたカメラにより、前記投射された原パターンである投射パターンを撮影し、
（Ｃ）前記撮影した投射パターンである撮影パターンを、ロボットハンドが対象物に対し予め設定した位置と姿勢をとる基準位置において、原パターンと一致するように変形し、
（Ｄ）前記変形した撮影パターンである変形パターンを前記原パターンに重畳し、
（Ｅ）前記（Ａ）〜（Ｄ）を順に繰り返す、ことを特徴とする投影面情報提示方法。
【請求項５】
前記（Ｃ）において、前記重畳前に、前記変形パターンを原パターンと異なる明度又は色調に変更する、ことを特徴とする請求項４に記載の投影面情報提示方法。
【請求項６】
前記（Ｅ）において、予め設定した周期毎に、前記変形パターンを消去する、ことを特徴とする請求項４に記載の投影面情報提示方法。
【請求項７】
手動操作によるロボットハンドの移動毎に、前記変形パターンを消去する、ことを特徴とする請求項４に記載の投影面情報提示方法。
【請求項１】
手動操作によりロボットハンドを対象物に対して位置決めするための投影面情報提示装置であって、
前記ロボットハンドに設けられ、特定の原パターンを前記対象物に固定された投射面上に投射するプロジェクタと、
前記ロボットハンドに設けられ、前記投射された原パターンである投射パターンを撮影するカメラと、
前記撮影した投射パターンである撮影パターンを、ロボットハンドが対象物に対し予め設定した位置と姿勢をとる基準位置において、原パターンと一致するように変形した変形パターンを前記原パターンに重畳するパターン重畳装置と、を備えることを特徴とする投影面情報提示装置。
【請求項２】
前記パターン重畳装置による前記変形は、射影変換、台形補正、又は歪み補正による、ことを特徴とする請求項１に記載の投影面情報提示装置。
【請求項３】
前記撮影パターンを表示する画像表示装置を備える、ことを特徴とする請求項１に記載の投影面情報提示装置。
【請求項４】
手動操作によりロボットハンドを対象物に対して位置決めするための投影面情報提示方法であって、
（Ａ）前記ロボットハンドに設けられたプロジェクタにより、特定の原パターンを前記対象物に固定された投射面上に投射し、
（Ｂ）前記ロボットハンドに設けられたカメラにより、前記投射された原パターンである投射パターンを撮影し、
（Ｃ）前記撮影した投射パターンである撮影パターンを、ロボットハンドが対象物に対し予め設定した位置と姿勢をとる基準位置において、原パターンと一致するように変形し、
（Ｄ）前記変形した撮影パターンである変形パターンを前記原パターンに重畳し、
（Ｅ）前記（Ａ）〜（Ｄ）を順に繰り返す、ことを特徴とする投影面情報提示方法。
【請求項５】
前記（Ｃ）において、前記重畳前に、前記変形パターンを原パターンと異なる明度又は色調に変更する、ことを特徴とする請求項４に記載の投影面情報提示方法。
【請求項６】
前記（Ｅ）において、予め設定した周期毎に、前記変形パターンを消去する、ことを特徴とする請求項４に記載の投影面情報提示方法。
【請求項７】
手動操作によるロボットハンドの移動毎に、前記変形パターンを消去する、ことを特徴とする請求項４に記載の投影面情報提示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−６６３４５（Ｐ２０１２−６６３４５Ａ）
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願番号】特願２０１０−２１３４３９（Ｐ２０１０−２１３４３９）
【出願日】平成２２年９月２４日（２０１０．９．２４）
【出願人】（０００００００９９）株式会社ＩＨＩ (5,014)
【Ｆターム（参考）】
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願日】平成２２年９月２４日（２０１０．９．２４）
【出願人】（０００００００９９）株式会社ＩＨＩ (5,014)
【Ｆターム（参考）】
[ Back to top ]