レンジ検査のための測定装置および方法
本発明は、レンジデータの取得および解析を用いて物体（１）の３次元の特性を測定するための画像化装置および方法に関する。画像化装置は、測定開始前に、レンジデータの取得および解析を構成するための手段と、画素を含む少なくとも１つのセンサ（５）を用いて上記の物体（１）の画像からの反射光を検出することによって、上記の物体（１）の画像を作成するための手段と、センサの画素単位で測定された作成画像から上記の物体（１）のレンジデータを取得するための手段と、取得したレンジデータをセンサの画素値から世界座標に較正するための手段と、レンジデータを一様に離隔されたグリッドに再サンプリングすることによって、較正されたレンジデータを矯正するための手段と、較正および矯正の施されたレンジデータを解析して、上記の物体（１）の３次元の特性を得るための手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、測定装置の分野に関し、さらに詳細には、レンジデータの取得および解析を用いることによって物体の３次元の特性を測定することができる測定装置およびそのような測定のための方法に関する。
【背景技術】
【０００２】
２次元の（２Ｄ）スマートカメラは、１つのデバイスに２Ｄ画像の取得、処理および解析を集約し、機能性のすべてがきわめて柔軟に構成可能である。複数の処理ステップを任意の順序で適用することができる。１つのステップからの出力を用いて、次のステップを構成することができる。中間値を格納して、後の段階で用いることができる。次に、これらの値は、データフロー、出力フォーマット、処理および解析における変数、などのアスペクトを制御することができる。このきわめて柔軟に構成可能な解析は、動的解析と呼ばれる。これとは対照的な解析が静的解析であり、静的解析では同一の解析ステップシーケンスが、中間結果に関係なく、各画像で実行される。
【０００３】
通常の検査タスクは、システムに対して教示した物体形状の位置を最初に特定することである。一旦、位置を特定すると、物体の面積、エッジまたは角などの特徴を決定することができる。続いて、特徴の特性が解析され、結果は通常、分類結果（たとえば合格／不合格）、測定値（たとえば物体面積）またはそのような値の組み合わせといった複数の形態である。
【０００４】
構成は、ＰＣまたは他の制御ハードウェアをデバイスに取り付けることによって実現される。構成は通常、グラフィカルユーザインターフェイスの複数の形態を用いて形成され、取得画像は構成を補助するものとして示される。構成後、デバイスは、ＰＣまたは他の制御ハードウェアが接続されなくても独立型製品として動作することができる。
【０００５】
しかし、これらのタイプのユニットでは、３次元（３Ｄ）データとしても周知である、レンジデータを取得して処理することは不可能である。
【０００６】
一連のレンジ値を得るためにレンジ画像化が用いられ、普通の２Ｄ画像化と比べて、レンジ画像の画素値は光強度ではなく、カメラと測定される物体との距離を表す。レンジデータを測定するための公知の技術は複数ある。これらの技術としては、レーザ三角測距、構造化光による画像化、飛行時間型測定および立体画像化が挙げられる。
【０００７】
複数の市販のデバイスは、出力としてレンジデータを作成する。これらのデバイスは通常、レンジデータの処理、解析および／または格納のために、ＰＣなどの処理装置に適合している。これらのデバイスは、レンジデータ値のストリームを出力する。値は、異なる方式で組織化されることができる。物体を横切る線に沿って測定されたレンジ値の１次元の集合は、プロファイルと呼ばれる。それに続く複数のプロファイルが、レンジ画像を形成する。普通の２次元画像のように、レンジ画像は、２次元の画素の集合からなる。違いは、レンジ画像の画素値が光強度ではなく形状を示すことにある。
【０００８】
複数の市販のレンジ画像化製品は、出力を生じる前にデータを処理する。その結果として、出力は、処理の結果である。これらの製品はすべて、プロファイル基準ごとにプロファイル上でレンジ値を処理する。処理はプロファイル面積またはエッジの位置などの単独測定値を形成するために制限される。解析は、上述の意味では静的である。そのようなレンジ画像化製品の実施例は、ドイツのシック・アーゲー（ＳＩＣＫ ＡＧ）の光シートセンサＤＭＨである。
【０００９】
既存のレンジ画像化デバイスにおいて利用可能な構成の程度およびプロファイルごとのプロファイル解析は、多くの検査タスクでは十分ではない。ユーザは通常、走査される物体の有用な特性を得るために、レンジデータを処理するデバイス以外に、カスタムソフトウェア機能性を開発する必要がある。２Ｄスマートカメラの場合のように、通常の検査タスクは、画像における１つ以上の物体の位置を特定し、次に、見つけたられた物体の異なる測定を行うことからなる。結果は、他のデバイスに対して一部のユーザが構成可能なプロトコルに基づいて記録される必要がある。そのような動的解析は、既存のレンジ画像化デバイスでは利用できない。
【００１０】
従来技術による１つの手法が、特許文献１に示されている。この特許文献１は、円形部品を検査するための３次元の検査システムを開示している。システムは、検査対象の部品のプロファイル信号を生成する１〜４台のカメラを備える。プロファイル信号は、コンピュータに転送され、コンピュータは信号を解析し、検査部品の２Ｄの高さ画像を生成する。検査部品の高さ画像は、周知の良好な部品データと比較することによって解析され、検査部品が満足の行くものか、または許容可能ではない欠陥があるかどうかを決定する。システムは、ある程度までユーザによって構成可能であり、たとえば、検査対象の部品間の距離を作業員が選択したり、検査用の部品数を作業員が選択したり、検査工程を作業員が開始したりすることができる。さらに、システムは、通常の「画素」から実世界単位、たとえば面積につき平方インチまたは平方ミリメートル、長さの測定値ではインチまたはミリメートルなどに較正してもよい。
【００１１】
しかし、上述の文献によるシステムは、上述のような２Ｄスマートカメラという意味ではさほどユーザが構成可能ではない。さらに、上述のシステムは、円形部品、すなわち対称な部品（物体）を検査するために用いられる。２Ｄ画像解析システムへの入力として（画素単位から実世界単位に）較正された高さ画像を用いると、物体が非対称の形状である場合には、提供される物体は、カメラに対する相対的な位置に応じてサイズおよび形状が変化する結果を生じる。これらの歪みは一般に、既存の解析システムで見られる構成機能性によって適正に対処されることはない。
【００１２】
したがって、２Ｄスマートカメラの自在な構成性能をレンジカメラのデータ取得と組み合わせて１つのユニットにし、上述の歪みに関する問題点を克服するような、物体の３次元の特性を測定するための改良した画像化装置および方法に関する必要性がある。
【００１３】
【特許文献１】米国特許第６ ５４２ ２３５号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１４】
上記のことを考慮して、本発明の目的は、上述のシステムの歪みに関する欠点を未然に防止し、レンジデータの取得および解析を用いた物体の３次元の特性の測定のための改良した画像化装置を提供することにある。
【課題を解決するための手段】
【００１５】
本目的は、
−測定開始前に、レンジデータの取得および解析を構成するための手段と、
−画素を備える少なくとも１つのセンサを用いて上記の物体の画像からの反射光を検出することによって、上記の物体の画像を作成するための手段と、
−センサの画素単位で測定された作成画像から上記の物体のレンジデータを取得するための手段と、
−取得したレンジデータをセンサの画素値から世界座標に較正するための手段と、
−レンジデータを一様に離隔されたグリッドに再サンプリングすることによって、較正されたレンジデータを矯正するための手段と、
−較正および矯正の施されたレンジデータを解析して、上記の物体の３次元の特性を得るための手段と、
を備える画像化装置によって実現される。
【００１６】
本発明の別の目的は、レンジデータの取得および解析を用いて物体の３次元の特性を測定するための改良した方法を提供することにある。
【００１７】
この別の目的は、
−測定開始前に、レンジデータの取得および解析を構成するための手段を提供するステップと、
−画素を備える少なくとも１つのセンサを用いて上記の物体からの反射光を検出することによって、上記の物体の画像を作成するステップと、
−センサの画素単位で測定された作成画像から上記の物体のレンジデータを取得するステップと、
−取得したレンジデータをセンサの画素値から世界座標に較正するステップと、
−レンジデータを一様に離隔されたグリッドに再サンプリングすることによって、較正されたレンジデータを矯正するステップと、
−較正および矯正の施されたレンジデータを解析して、上記の物体の３次元の特性を得るステップと、
を備える方法を提供することによって実現される。
【００１８】
本発明のさらに別の目的および特徴は、添付図面に関連して考慮される以下の詳細な説明から明白となるであろう。しかし、図面は説明のために示されているに過ぎず、本発明の制限を定義するものを示しているわけではなく、本発明の制限の定義のためには、添付請求項を参照すべきであることを理解すべきである。さらに、図面は必ずしも一定の比率で描かれているわけではなく、特に明記しない限り、本願明細書に記載される構造および手順を概念的に説明することを意図しているに過ぎないことをさらに理解すべきである。
【００１９】
図面では、類似の参照符号は、複数の図を通して類似の要素を示している。
【発明を実施するための最良の形態】
【００２０】
以下に、ユーザによって構成可能なスマートレンジカメラを用いたレンジ画像の取得のための画像化装置の好ましい実施形態について説明する。
【００２１】
図１は、物体１の３次元の特性の測定のための画像化装置を概略的に示す。本装置は、入射光によって物体１を照らすために配置された少なくとも１つの光源３を備える。光源３は、構造化光、たとえば、点状光、直線状光、または複数の実質的に点部分または直線部分から構成される光を生成し、かつ、たとえば、レーザ、発光ダイオード（ＬＥＤ）、普通の光（電球）などの用途に適した任意のタイプであってもよい。これらのタイプの光源は、当業者にはなじみがあり、本願明細書ではさらに説明しない。レーザ光は、本発明の好ましい実施形態において用いられることが好ましく、レーザ光源３は物体１を横切る光の線２を生成する。
【００２２】
画像化センサ５は、光源３から所定の距離に配置され、物体からの反射光を検出して、検出光を電気信号に変換するために配置される。電気信号は、物体１の照らされた断面のディジタル表示を作成するために用いられる。光学素子４、たとえばレンズは、センサ５の前に配置され、物体１からの反射光を集光する。
【００２３】
好ましい実施形態において、センサ５はｕ×ｖ個（ｕが行であり、ｖが列である）の画素を有するアレイセンサであるが、当業者は、他のタイプのセンサ、例えばＣＣＤセンサまたはＣＭＯＳセンサまたは物体の特性の画像化に適した任意の他のセンサに本発明を適用しうることは十分に理解されよう。本システムでは、センサ５は、２次元の情報（２Ｄ、強度）および３次元の情報（３Ｄ、レンジデータ）のいずれをも検出することができる。すなわち、物体の強度分布および幾何的なプロファイルのいずれをも測定することができる。好ましい実施形態において、レンジデータは、三角測距を用いることによって得られる。すなわち、光源３がセンサ５から所定の距離に配置される場合には、センサ５において反射光の位置はセンサ５から物体１までの距離を表す。レンジデータを測定するために用いられる他の技術は、他の構造化光による画像化、飛行時間型測定および立体画像化である。立体画像化において、物体の画像は、２つの異なる見晴らしの利く点に配置された２つのセンサから得られ、各センサにおける対応する点は、物体１の画像上に位置しており、それによって三角測距を行い、これらの点の３Ｄ座標を計算する。
【００２４】
２Ｄの強度情報はそれ自体で物体１の検出に有用であるが、レンジデータの品質の信頼性の高い測定値として用いられてもよい。センサ５が反射光を全く検出しないことが時折あるが、この現象は「欠損データ」と呼ばれる。欠損データの原因としては、２つの説明が考えられる。レーザが遮断されることから、センサが反射光を検出しないか、または、たとえば、物体が暗色および／またはきわめて反射性の高い色を有する場合に、光が吸収されるかまたはレシーバーから離れて反射されることから、センサが反射光を検出しないかのいずれかである。この現象については、図３の説明と共にさらに詳細に記載する。
【００２５】
センサ５はさらに、散乱光、すなわち物体１の表面層における光の分散を検出することができてもよい。材料を透通する光が記録され、分散後、入射した位置とは異なる位置で物体１から現れる。これがどのようにして生じるかは、物体材料の内部特性に左右され、このように測定されることができる。
【００２６】
物体１および画像化装置は、所定の移動方向、図１に示されるｙ方向において互いに対して移動される。本発明の好ましい実施形態において、物体１は、画像化装置６に対して移動する。物体１は、たとえば、移動するコンベヤベルト上に配置されてもよく、あるいは代わりに、ベルトがなく、物体１自体が移動する。画像化装置６に対して物体１が移動するのではなく、関係は当然のことながら逆転してもよい。すなわち、物体１が静止し、測定時には画像化装置６が物体の上を移動する。さらに別の実施形態において、物体１および画像化装置６の両方が互いに対して移動する。
【００２７】
センサ５は、光源３によって照らされた物体の複数の断面において、物体１のレンジ情報を検出するように配置される。すなわち、物体１のレンジ画像に集約される複数の断面画像を得るために、物体１がｙ方向に移動されるときには、物体１を反復的に測定（走査）するようにセンサ５が配置される。
【００２８】
好ましい実施形態において、画像化装置６は、独立型ユニットであり、レンジ画像の取得のための手段と、検査物体の形状を記述する手段と、次にユーザが構成可能な解析のための手段と、を備える。装置が独立型ユニットであることにより、信頼性が高くなり、格納リソースが少なくて済み、１つのみのユニットを備えるシステムは扱いやすい。
【００２９】
図２は、本発明の好ましい実施形態による画像化装置６の異なる構成要素を概略的に示す。画像化装置６は、物体１のレンジデータを取得するための手段８を備える。取得手段８は、これに関連してヴィジョンフロントエンド（vision front-end）と呼ばれる。ヴィジョンフロントエンド８については、図３の説明と共にさらに詳細に述べる。
【００３０】
画像化装置６は、ヴィジョンフロントエンド８から供給されるレンジデータを動的に解析するために配置される解析器７をさらに備える。解析器７は、ヴィジョンフロントエンド８からのデータの動的解析を行うソフトウェアを備える。解析器７は、専用のハードウェア、たとえば、画像のフィルタリングなどの一部の解析タスクの時間性能を増大するディジタル信号プロセッサ（ＤＳＰ）を備えてもよい。解析器７はまた、汎用マイクロプロセッサおよび処理および解析を行ったデータを出力するための手段を備えてもよい。
【００３１】
画像化装置６はさらに他に、ヴィジョンフロントエンド８および解析器７を制御するために配置される制御および通信モジュール９を備える。制御および通信モジュール９は、装置の他のモジュールに対する制御信号として動的解析の結果を出力する。モジュールはまた、電源が入ったときにシステムを動作可能にする役割も担っており、この役割は固定記憶装置から格納された構成乃至設定を取り出すことを含む。制御および通信モジュール９はさらに、ヴィジョンフロントエンド８および解析器７の構成のための手段を備え、構成デバイス１１および他の外部デバイス１０との通信を行うために配置されており、好ましい実施形態ではパーソナルコンピュータ（ＰＣ）である。ヴィジョンフロントエンド８および解析器７は、外部構成デバイス１１、たとえば、ＰＣを用いて構成される。ＰＣは、スクリーン１２上でグラフィカルユーザインターフェイスを実行し、そこで、画像取得および動的解析の両方を構成してもよい。
【００３２】
データ取得を構成する場合には、異なる変数、たとえば、露光時間、視野およびセンサのゲインを変更してもよい。また、レーザピーク抽出アルゴリズムと、たとえば、較正および矯正（これらのついては以下にさらに詳細に述べる）などの有効または無効な事前処理ステップと、を選択することも可能である。
【００３３】
動的解析の構成は、少なくとも１つの基本的な解析タスク（以下ではツールと呼ぶ）を備える。各ツールは、複数の入力変数および複数の出力結果値を有する。あるツールからの出力は、他のツールへの入力として用いられることができる。入力および出力はいずれも、数値、画像またはテキスト値であってもよい。ツールの実行順序は、ユーザによって明示的に指定されてもよく、またはツール間の入出力関係に基づき、システムによって暗黙的に導き出されてもよい。たとえば、エッジ検出ツールが入力として主要な画像領域を必要とする場合には、この主要な領域に戻る物体検索ツールはエッジ検出の前に実行される必要があることは、自動的に推定することが可能である。
【００３４】
解析の構成は、対話型グラフィック方式で作成される。ユーザは、異なるツールを適用することができ、それぞれの適用したツールからの結果に対話型フィードバックを施すことができる。フィードバックの１つの重要な形態は、中間結果画像である。画像は、物体、角またはエッジなどの抽出された特徴を示す重ね合わせられたグラフィックスを有することができる。フィードバックの他の形態は、数またはテキストの出力値と、エラーメッセージと、を含む。ツールの中には画像処理機能性を含まず、代わりに、ツールの実行順序を制御するために用いられるものもある。そのようなツールは、反復法（iteration）を導入し、ツールの実行順序における条件付きまたは無条件分岐を導入する。
【００３５】
一部のツールは、通信に関連している。一実施例は、他のツールの測定結果を含むメッセージを送るツールである。別の実施例は、システムの出力信号のディジタル値またはアナログ値を設定するツールである。ツールを用いた制御通信の別法としてまたは補完的な方法として、通信を処理するシステム機能性の何か別の形態であってもよい。
【００３６】
図３は、ヴィジョンフロントエンド８の構成要素を概略的に示す。図から分かるように、図１に示されたシステム設定における構成要素部品は、本発明の好ましい実施形態において、１つの単独ユニット、すなわちヴィジョンフロントエンド８にすべて組み込まれる。ヴィジョンフロントエンド８は、レンジデータ（レンジ画像）を取得するために主として配置され、入射光、好ましくはレーザ光によって物体１を照らすための光源３と、物体からの反射光を検出し、検出光を物体１の画像に変換するために配置されたセンサ５と、センサ５の前に配置される集光光学素子４と、を備える。
【００３７】
ヴィジョンフロントエンド８は、取得画像を処理し、入射光の位置を特定するために配置されたプリプロセッサ１４をさらに備える。プリプロセッサ１４はまた、以下に述べるように、較正および矯正を行ってもよい。
【００３８】
ヴィジョンフロントエンド８はさらに他に、欠損データを識別するための手段を備え、この手段は、欠損データを識別するためのステップを実行するために配置される。レーザ三角測距を用いる場合、投影されたレーザの部分が検査されるべき物体によって遮断される可能性がある。これは、欠損データと呼ばれる不明なレンジ測定値を生じる結果となる。すなわち、有効なデータが欠けている作成画像中の位置が識別されることになる。欠損データを伴う測定値は、ヴィジョンフロントエンド８によって識別され、レンジ画像の対応する画素には欠損データに関するフラグを立てるために特殊な値で印がつけられる。通常、値０（ゼロ）が用いられる。欠損データはまた、レーザ三角測距とは異なる別のレンジ画像化技術においても生じる。
【００３９】
いくつかの検査タスクにとって、欠損データ領域の形状および位置は、重要な情報を含む。そのような情報は、測定されることになっているレーザ光を遮断する物体の特徴でありえる。欠損データの領域における測定値の位置を特定し、測定を実行するために、解析ツールを用いることができる。他の測定タスクにおいて、欠損データは、関心がなくても、解析に影響を及ぼさないようにするために、個別の方法で処理されなければならない。欠損データの位置は、検査物体の回転に左右される。物体の回転不変な識別にとって、欠損データ領域は、物体検索ツールによって無視される必要がある。これは、２つの方式で実現することができる。欠損データを伴うすべての画素を無視するように、ツールをプログラミングすることができる。あるいは、補間（interpolation）および／または補外（extrapolation）のいくつかの形態を用いて欠損領域の周囲の有効な画素から推定されるレンジ値で欠損データ領域を満たすことができる。この事前処理を、個別のツールによって、または、ヴィジョンフロントエンド８の事前処理モジュール１４内でなすことができる。欠損データ領域が満たされた後、欠損データを処理するように開発されてないツールを処理後のレンジ画像に適用することができる。
【００４０】
ヴィジョンフロントエンド８は、レンジ情報を測定するための手段を備え、かつ、それは、抽出された線のグレースケール強度、偏光または直接白色光などのレーザ光以外の他の光源に関するグレースケール強度、物体の色および物体表面の散乱特性などのさらなる情報の取得のための手段をさらに備えていてもよい。
【００４１】
続いて、各レンジ測定のために、１つ以上の関連測定値があり、これは多様式データ（multi modal data）と呼ばれる。測定値の各様式は以下では、構成要素と呼ぶ。各構成要素のデータを、２Ｄ画像として組織化することができる。そのとき、ヴィジョンフロントエンド８からの出力は単独のレンジ画像ではなく、一連の画像である。構成要素ごとに画像が１つ存在する。
【００４２】
多様式画像の解析は、純粋なレンジ画像の場合のような類似の態様で行われることができる。ツールを各構成要素画像に独立に適用することができる。たとえば、バーコード読み取りツールを、レンジ画像上で動作する体積測定ツールの後の強度画像に適用することができる。ツールの中には、同時に２つ以上の画像に動作することができるものがあり、２つ以上の構成要素からの情報を組み合わせて、より精巧で特異な解析を実行することができる。
【００４３】
ヴィジョンフロントエンドにおけるレーザ線抽出は、センサの画素単位で測定されたレンジ値を返す。センサの各行ｕは１つのレンジ値ｖを有する。一定の物体の移動および一定のサンプリング速度を仮定すると、レンジ画像の２つの軸は、それぞれｕ方向およびｙ方向にある。画素値はｖ方向にある。センサの座標値をミリメートルなどの何らかの適切な単位で表現される世界座標（ｘ、ｙ、ｚ）に変換することが有用であることがしばしばあり、それを実行する方法を以下では較正と呼ぶ。単独のプロファイルのすべてのレンジデータは、定数ｙの同一のレーザ平面に配置される。したがって、主要なマッピング乃至写像（mapping）は、センサ座標（ｕ、ｖ）から世界座標（ｘ、ｚ）へである。
【００４４】
ヴィジョンフロントエンドは、デバイスに厳密に取り付けられる。したがって、一旦、デバイスが組み立てられると、（ｕ、ｖ）から（ｘ、ｙ）への写像は一定であると仮定される。したがって、組立後、周知の寸法の物体をデバイスの測定視野における周知の位置に提供することによって、写像を検出することが可能である。一旦、較正されると、実行時に表索引または予め計算された数式の評価によって、各レンジ測定値（ｕ、ｖ）を世界座標（ｘ、ｚ）に写像することが簡単である。結果は２つの画像であり、いずれの画像もｕおよびｙに沿った軸を有する。第１の画像の画素値はｘ方向であり、第２の画像の画素値はｚ方向である。
【００４５】
図４ａは、従来技術の手法における取得設定を示しており、１つのレンジ位置は、それぞれの描かれた光線に沿って得られる。外部の２Ｄ画像解析システムへの入力として較正されたレンジ画像を使用することは周知の技術であり、これらのレンジ画像は、デカルト座標（ｘ、ｙ）グリッド上ではサンプリングされない。代わりに、サンプリングパターンは、画像化センサによって定義され、その結果、図４ａに示され、上述したように、センサの行ｕごとに１つのレンジ値を生じる。この方法を用いた結果、提供された物体は、画像化装置に対する位置（ｘおよびｚにおける）に応じて、サイズおよび形状が変化することになる。
【００４６】
上述の従来技術の解析システムにおける較正機能性は、上述した歪みに適正に対処することはない。本発明の好ましい実施形態において、この問題点は、処理前に、物体１の画像を矯正乃至修正することによって克服される。図４ｂは、矯正後の画像取得設定を示しており、１つのレンジ位置はそれぞれの仮想光線１６に沿って得られる。矯正の方法では、解析器に提供する前に、レンジデータを一様に離隔された（ｘ、ｙ）グリッドに再サンプリングする。これは、レンジ画像の真の変換不変な解析を可能にする。任意の解像度のｘ方向に沿ってサンプリンググリッドに対し、矯正における補間を施すことができる。検査タスクの中には、ｙ方向と同様のｘ方向の解像度を有することが好都合である場合もある。そのとき、ｚ軸を中心として物体の回転とは独立に解析を行うことは比較的容易である。
【００４７】
図５ａは単独のプロファイルの較正１７および矯正１８に用いられる座標系を示し、図５ｂは一連のプロファイルの較正１７および矯正１８に用いられる座標系を示し、図５ｃは画像として見られる一連のプロファイルの較正１７および矯正１８において用いられる座標系を示す。
【００４８】
図５ａ〜図５ｃから分かるように、較正１７の結果は２つの画像であり、いずれの画像もｕおよびｙに沿った軸を有する。上述のように、第１の画像の画素値はｘ方向にあり、第２の画像の画素値はｚ方向にある。矯正１８の結果は、ｘおよびｙに沿った軸を有する１つの画像である。画素値はｚ方向にある。図５ｂおよび図５ｃに示される一連のプロファイルにとって、較正１７および矯正１８は、シーケンスごとに個別に行われることを理解すべきである。
【００４９】
図５ａ〜図５ｃに示される物体の画像の較正１７および矯正１８において、垂直レーザ光源が用いられる。傾斜レーザ光源が用いられる場合には、すなわち、レーザ光が物体に対して角度を成して入射する場合には、矯正は２次元で行わなければならない。したがって、較正は３つの画像を生じる結果となり、１つの矯正画像が得られる前に、さらなる中間矯正ステップがあることになる。たとえば、立体画像化がレンジデータを測定するために用いられる場合にも、同じことが当てはまる。
【００５０】
以下に、物体の３次元の特性を測定するための方法が記述され、当該方法は、
−測定開始前に、レンジデータの取得および解析を構成するための手段を提供するステップと、
−画素を備える少なくとも１つのセンサを用いて上記の物体からの反射光を検出することによって、上記の物体の画像を作成するステップと、
−センサの画素単位で測定された作成画像から上記の物体のレンジデータを取得するステップと、
−取得したレンジデータをセンサの画素値から世界座標に較正するステップと、
−レンジデータを一様に離隔されたグリッドに再サンプリングすることによって、較正されたレンジデータを矯正するステップと、
−較正および矯正の施されたレンジデータを解析して、上記の物体の３次元の特性を得るステップと、
を備える。
【００５１】
他の実施形態において、レンジデータ解析の構成は、少なくとも１つの入力変数および少なくとも１つの出力結果値を有する基本的な解析タスクを備え、それによって、第１の解析タスクからの出力結果値は、第２の解析タスクへの入力変数として用いられる。
【００５２】
さらに他の実施形態において、方法は、有効なデータが欠損している作成画像における画素位置を識別するステップを備え、それによって、データが欠損している作成画像において識別された画素位置は、無視されるか、または補間および／または補外を用いて、データが欠損している画素の周囲の有効な画素から推定されたレンジ値で満たされるかのいずれかである。
【００５３】
他の実施形態において、方法は、少なくとも１つの以下のステップ、すなわち、上記の物体の作成画像からグレースケール強度データを取得するステップおよび／または物体表面の散乱特性を測定するステップをさらに備える。
【００５４】
さらに別の実施形態において、三角測距は、上記の物体の画像を作成するために用いられる。
【００５５】
したがって、本発明の好ましい実施形態に適用した場合について、本発明の基本的な新規な特徴を図示して説明し、指摘したが、本発明の範囲を逸脱することなく、当業者によって、示されたデバイスの形および詳細、それらの動作について、種々の省略および置換および変更を行ってもよいことは理解されよう。たとえば、同様の結果を達成するための実質的に同様の方式における実質的に同様の機能を実行する要素および／または方法ステップのすべての組み合わせは、本発明の範囲に包含されることは明確に意図している。さらに、本発明の任意の開示された形または実施形態に関して図示および／または説明された構造および／または要素および／または方法ステップは、設計選択の一般的な問題として、任意の他の開示または記載または指摘された形または実施形態に組み込まれてもよいことを認識すべきである。したがって、本発明は、本願明細書に添付される特許請求の範囲によってのみ制限される。
【図面の簡単な説明】
【００５６】
【図１】物体の３次元の特性を測定するための画像化装置を概略的に示す。
【図２】画像化装置の異なる構成要素を概略的に示す。
【図３】画像化装置のヴィジョンフロントエンドの構成要素を概略的に示す。
【図４ａ】従来技術の手法における取得設定を示しており、１つのレンジ位置はそれぞれの描かれた光線に沿って得られる。
【図４ｂ】矯正後の取得設定を示しており、１つのレンジ位置はそれぞれの仮想光線に沿って得られる。
【図５ａ】１つのプロファイルの較正および矯正において用いられる座標系を示す。
【図５ｂ】一連のプロファイルの較正および矯正において用いられる座標系を示す。
【図５ｃ】画像として見られる一連のプロファイルの較正および矯正において用いられる座標系を示す。
【技術分野】
【０００１】
本発明は、測定装置の分野に関し、さらに詳細には、レンジデータの取得および解析を用いることによって物体の３次元の特性を測定することができる測定装置およびそのような測定のための方法に関する。
【背景技術】
【０００２】
２次元の（２Ｄ）スマートカメラは、１つのデバイスに２Ｄ画像の取得、処理および解析を集約し、機能性のすべてがきわめて柔軟に構成可能である。複数の処理ステップを任意の順序で適用することができる。１つのステップからの出力を用いて、次のステップを構成することができる。中間値を格納して、後の段階で用いることができる。次に、これらの値は、データフロー、出力フォーマット、処理および解析における変数、などのアスペクトを制御することができる。このきわめて柔軟に構成可能な解析は、動的解析と呼ばれる。これとは対照的な解析が静的解析であり、静的解析では同一の解析ステップシーケンスが、中間結果に関係なく、各画像で実行される。
【０００３】
通常の検査タスクは、システムに対して教示した物体形状の位置を最初に特定することである。一旦、位置を特定すると、物体の面積、エッジまたは角などの特徴を決定することができる。続いて、特徴の特性が解析され、結果は通常、分類結果（たとえば合格／不合格）、測定値（たとえば物体面積）またはそのような値の組み合わせといった複数の形態である。
【０００４】
構成は、ＰＣまたは他の制御ハードウェアをデバイスに取り付けることによって実現される。構成は通常、グラフィカルユーザインターフェイスの複数の形態を用いて形成され、取得画像は構成を補助するものとして示される。構成後、デバイスは、ＰＣまたは他の制御ハードウェアが接続されなくても独立型製品として動作することができる。
【０００５】
しかし、これらのタイプのユニットでは、３次元（３Ｄ）データとしても周知である、レンジデータを取得して処理することは不可能である。
【０００６】
一連のレンジ値を得るためにレンジ画像化が用いられ、普通の２Ｄ画像化と比べて、レンジ画像の画素値は光強度ではなく、カメラと測定される物体との距離を表す。レンジデータを測定するための公知の技術は複数ある。これらの技術としては、レーザ三角測距、構造化光による画像化、飛行時間型測定および立体画像化が挙げられる。
【０００７】
複数の市販のデバイスは、出力としてレンジデータを作成する。これらのデバイスは通常、レンジデータの処理、解析および／または格納のために、ＰＣなどの処理装置に適合している。これらのデバイスは、レンジデータ値のストリームを出力する。値は、異なる方式で組織化されることができる。物体を横切る線に沿って測定されたレンジ値の１次元の集合は、プロファイルと呼ばれる。それに続く複数のプロファイルが、レンジ画像を形成する。普通の２次元画像のように、レンジ画像は、２次元の画素の集合からなる。違いは、レンジ画像の画素値が光強度ではなく形状を示すことにある。
【０００８】
複数の市販のレンジ画像化製品は、出力を生じる前にデータを処理する。その結果として、出力は、処理の結果である。これらの製品はすべて、プロファイル基準ごとにプロファイル上でレンジ値を処理する。処理はプロファイル面積またはエッジの位置などの単独測定値を形成するために制限される。解析は、上述の意味では静的である。そのようなレンジ画像化製品の実施例は、ドイツのシック・アーゲー（ＳＩＣＫ ＡＧ）の光シートセンサＤＭＨである。
【０００９】
既存のレンジ画像化デバイスにおいて利用可能な構成の程度およびプロファイルごとのプロファイル解析は、多くの検査タスクでは十分ではない。ユーザは通常、走査される物体の有用な特性を得るために、レンジデータを処理するデバイス以外に、カスタムソフトウェア機能性を開発する必要がある。２Ｄスマートカメラの場合のように、通常の検査タスクは、画像における１つ以上の物体の位置を特定し、次に、見つけたられた物体の異なる測定を行うことからなる。結果は、他のデバイスに対して一部のユーザが構成可能なプロトコルに基づいて記録される必要がある。そのような動的解析は、既存のレンジ画像化デバイスでは利用できない。
【００１０】
従来技術による１つの手法が、特許文献１に示されている。この特許文献１は、円形部品を検査するための３次元の検査システムを開示している。システムは、検査対象の部品のプロファイル信号を生成する１〜４台のカメラを備える。プロファイル信号は、コンピュータに転送され、コンピュータは信号を解析し、検査部品の２Ｄの高さ画像を生成する。検査部品の高さ画像は、周知の良好な部品データと比較することによって解析され、検査部品が満足の行くものか、または許容可能ではない欠陥があるかどうかを決定する。システムは、ある程度までユーザによって構成可能であり、たとえば、検査対象の部品間の距離を作業員が選択したり、検査用の部品数を作業員が選択したり、検査工程を作業員が開始したりすることができる。さらに、システムは、通常の「画素」から実世界単位、たとえば面積につき平方インチまたは平方ミリメートル、長さの測定値ではインチまたはミリメートルなどに較正してもよい。
【００１１】
しかし、上述の文献によるシステムは、上述のような２Ｄスマートカメラという意味ではさほどユーザが構成可能ではない。さらに、上述のシステムは、円形部品、すなわち対称な部品（物体）を検査するために用いられる。２Ｄ画像解析システムへの入力として（画素単位から実世界単位に）較正された高さ画像を用いると、物体が非対称の形状である場合には、提供される物体は、カメラに対する相対的な位置に応じてサイズおよび形状が変化する結果を生じる。これらの歪みは一般に、既存の解析システムで見られる構成機能性によって適正に対処されることはない。
【００１２】
したがって、２Ｄスマートカメラの自在な構成性能をレンジカメラのデータ取得と組み合わせて１つのユニットにし、上述の歪みに関する問題点を克服するような、物体の３次元の特性を測定するための改良した画像化装置および方法に関する必要性がある。
【００１３】
【特許文献１】米国特許第６ ５４２ ２３５号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１４】
上記のことを考慮して、本発明の目的は、上述のシステムの歪みに関する欠点を未然に防止し、レンジデータの取得および解析を用いた物体の３次元の特性の測定のための改良した画像化装置を提供することにある。
【課題を解決するための手段】
【００１５】
本目的は、
−測定開始前に、レンジデータの取得および解析を構成するための手段と、
−画素を備える少なくとも１つのセンサを用いて上記の物体の画像からの反射光を検出することによって、上記の物体の画像を作成するための手段と、
−センサの画素単位で測定された作成画像から上記の物体のレンジデータを取得するための手段と、
−取得したレンジデータをセンサの画素値から世界座標に較正するための手段と、
−レンジデータを一様に離隔されたグリッドに再サンプリングすることによって、較正されたレンジデータを矯正するための手段と、
−較正および矯正の施されたレンジデータを解析して、上記の物体の３次元の特性を得るための手段と、
を備える画像化装置によって実現される。
【００１６】
本発明の別の目的は、レンジデータの取得および解析を用いて物体の３次元の特性を測定するための改良した方法を提供することにある。
【００１７】
この別の目的は、
−測定開始前に、レンジデータの取得および解析を構成するための手段を提供するステップと、
−画素を備える少なくとも１つのセンサを用いて上記の物体からの反射光を検出することによって、上記の物体の画像を作成するステップと、
−センサの画素単位で測定された作成画像から上記の物体のレンジデータを取得するステップと、
−取得したレンジデータをセンサの画素値から世界座標に較正するステップと、
−レンジデータを一様に離隔されたグリッドに再サンプリングすることによって、較正されたレンジデータを矯正するステップと、
−較正および矯正の施されたレンジデータを解析して、上記の物体の３次元の特性を得るステップと、
を備える方法を提供することによって実現される。
【００１８】
本発明のさらに別の目的および特徴は、添付図面に関連して考慮される以下の詳細な説明から明白となるであろう。しかし、図面は説明のために示されているに過ぎず、本発明の制限を定義するものを示しているわけではなく、本発明の制限の定義のためには、添付請求項を参照すべきであることを理解すべきである。さらに、図面は必ずしも一定の比率で描かれているわけではなく、特に明記しない限り、本願明細書に記載される構造および手順を概念的に説明することを意図しているに過ぎないことをさらに理解すべきである。
【００１９】
図面では、類似の参照符号は、複数の図を通して類似の要素を示している。
【発明を実施するための最良の形態】
【００２０】
以下に、ユーザによって構成可能なスマートレンジカメラを用いたレンジ画像の取得のための画像化装置の好ましい実施形態について説明する。
【００２１】
図１は、物体１の３次元の特性の測定のための画像化装置を概略的に示す。本装置は、入射光によって物体１を照らすために配置された少なくとも１つの光源３を備える。光源３は、構造化光、たとえば、点状光、直線状光、または複数の実質的に点部分または直線部分から構成される光を生成し、かつ、たとえば、レーザ、発光ダイオード（ＬＥＤ）、普通の光（電球）などの用途に適した任意のタイプであってもよい。これらのタイプの光源は、当業者にはなじみがあり、本願明細書ではさらに説明しない。レーザ光は、本発明の好ましい実施形態において用いられることが好ましく、レーザ光源３は物体１を横切る光の線２を生成する。
【００２２】
画像化センサ５は、光源３から所定の距離に配置され、物体からの反射光を検出して、検出光を電気信号に変換するために配置される。電気信号は、物体１の照らされた断面のディジタル表示を作成するために用いられる。光学素子４、たとえばレンズは、センサ５の前に配置され、物体１からの反射光を集光する。
【００２３】
好ましい実施形態において、センサ５はｕ×ｖ個（ｕが行であり、ｖが列である）の画素を有するアレイセンサであるが、当業者は、他のタイプのセンサ、例えばＣＣＤセンサまたはＣＭＯＳセンサまたは物体の特性の画像化に適した任意の他のセンサに本発明を適用しうることは十分に理解されよう。本システムでは、センサ５は、２次元の情報（２Ｄ、強度）および３次元の情報（３Ｄ、レンジデータ）のいずれをも検出することができる。すなわち、物体の強度分布および幾何的なプロファイルのいずれをも測定することができる。好ましい実施形態において、レンジデータは、三角測距を用いることによって得られる。すなわち、光源３がセンサ５から所定の距離に配置される場合には、センサ５において反射光の位置はセンサ５から物体１までの距離を表す。レンジデータを測定するために用いられる他の技術は、他の構造化光による画像化、飛行時間型測定および立体画像化である。立体画像化において、物体の画像は、２つの異なる見晴らしの利く点に配置された２つのセンサから得られ、各センサにおける対応する点は、物体１の画像上に位置しており、それによって三角測距を行い、これらの点の３Ｄ座標を計算する。
【００２４】
２Ｄの強度情報はそれ自体で物体１の検出に有用であるが、レンジデータの品質の信頼性の高い測定値として用いられてもよい。センサ５が反射光を全く検出しないことが時折あるが、この現象は「欠損データ」と呼ばれる。欠損データの原因としては、２つの説明が考えられる。レーザが遮断されることから、センサが反射光を検出しないか、または、たとえば、物体が暗色および／またはきわめて反射性の高い色を有する場合に、光が吸収されるかまたはレシーバーから離れて反射されることから、センサが反射光を検出しないかのいずれかである。この現象については、図３の説明と共にさらに詳細に記載する。
【００２５】
センサ５はさらに、散乱光、すなわち物体１の表面層における光の分散を検出することができてもよい。材料を透通する光が記録され、分散後、入射した位置とは異なる位置で物体１から現れる。これがどのようにして生じるかは、物体材料の内部特性に左右され、このように測定されることができる。
【００２６】
物体１および画像化装置は、所定の移動方向、図１に示されるｙ方向において互いに対して移動される。本発明の好ましい実施形態において、物体１は、画像化装置６に対して移動する。物体１は、たとえば、移動するコンベヤベルト上に配置されてもよく、あるいは代わりに、ベルトがなく、物体１自体が移動する。画像化装置６に対して物体１が移動するのではなく、関係は当然のことながら逆転してもよい。すなわち、物体１が静止し、測定時には画像化装置６が物体の上を移動する。さらに別の実施形態において、物体１および画像化装置６の両方が互いに対して移動する。
【００２７】
センサ５は、光源３によって照らされた物体の複数の断面において、物体１のレンジ情報を検出するように配置される。すなわち、物体１のレンジ画像に集約される複数の断面画像を得るために、物体１がｙ方向に移動されるときには、物体１を反復的に測定（走査）するようにセンサ５が配置される。
【００２８】
好ましい実施形態において、画像化装置６は、独立型ユニットであり、レンジ画像の取得のための手段と、検査物体の形状を記述する手段と、次にユーザが構成可能な解析のための手段と、を備える。装置が独立型ユニットであることにより、信頼性が高くなり、格納リソースが少なくて済み、１つのみのユニットを備えるシステムは扱いやすい。
【００２９】
図２は、本発明の好ましい実施形態による画像化装置６の異なる構成要素を概略的に示す。画像化装置６は、物体１のレンジデータを取得するための手段８を備える。取得手段８は、これに関連してヴィジョンフロントエンド（vision front-end）と呼ばれる。ヴィジョンフロントエンド８については、図３の説明と共にさらに詳細に述べる。
【００３０】
画像化装置６は、ヴィジョンフロントエンド８から供給されるレンジデータを動的に解析するために配置される解析器７をさらに備える。解析器７は、ヴィジョンフロントエンド８からのデータの動的解析を行うソフトウェアを備える。解析器７は、専用のハードウェア、たとえば、画像のフィルタリングなどの一部の解析タスクの時間性能を増大するディジタル信号プロセッサ（ＤＳＰ）を備えてもよい。解析器７はまた、汎用マイクロプロセッサおよび処理および解析を行ったデータを出力するための手段を備えてもよい。
【００３１】
画像化装置６はさらに他に、ヴィジョンフロントエンド８および解析器７を制御するために配置される制御および通信モジュール９を備える。制御および通信モジュール９は、装置の他のモジュールに対する制御信号として動的解析の結果を出力する。モジュールはまた、電源が入ったときにシステムを動作可能にする役割も担っており、この役割は固定記憶装置から格納された構成乃至設定を取り出すことを含む。制御および通信モジュール９はさらに、ヴィジョンフロントエンド８および解析器７の構成のための手段を備え、構成デバイス１１および他の外部デバイス１０との通信を行うために配置されており、好ましい実施形態ではパーソナルコンピュータ（ＰＣ）である。ヴィジョンフロントエンド８および解析器７は、外部構成デバイス１１、たとえば、ＰＣを用いて構成される。ＰＣは、スクリーン１２上でグラフィカルユーザインターフェイスを実行し、そこで、画像取得および動的解析の両方を構成してもよい。
【００３２】
データ取得を構成する場合には、異なる変数、たとえば、露光時間、視野およびセンサのゲインを変更してもよい。また、レーザピーク抽出アルゴリズムと、たとえば、較正および矯正（これらのついては以下にさらに詳細に述べる）などの有効または無効な事前処理ステップと、を選択することも可能である。
【００３３】
動的解析の構成は、少なくとも１つの基本的な解析タスク（以下ではツールと呼ぶ）を備える。各ツールは、複数の入力変数および複数の出力結果値を有する。あるツールからの出力は、他のツールへの入力として用いられることができる。入力および出力はいずれも、数値、画像またはテキスト値であってもよい。ツールの実行順序は、ユーザによって明示的に指定されてもよく、またはツール間の入出力関係に基づき、システムによって暗黙的に導き出されてもよい。たとえば、エッジ検出ツールが入力として主要な画像領域を必要とする場合には、この主要な領域に戻る物体検索ツールはエッジ検出の前に実行される必要があることは、自動的に推定することが可能である。
【００３４】
解析の構成は、対話型グラフィック方式で作成される。ユーザは、異なるツールを適用することができ、それぞれの適用したツールからの結果に対話型フィードバックを施すことができる。フィードバックの１つの重要な形態は、中間結果画像である。画像は、物体、角またはエッジなどの抽出された特徴を示す重ね合わせられたグラフィックスを有することができる。フィードバックの他の形態は、数またはテキストの出力値と、エラーメッセージと、を含む。ツールの中には画像処理機能性を含まず、代わりに、ツールの実行順序を制御するために用いられるものもある。そのようなツールは、反復法（iteration）を導入し、ツールの実行順序における条件付きまたは無条件分岐を導入する。
【００３５】
一部のツールは、通信に関連している。一実施例は、他のツールの測定結果を含むメッセージを送るツールである。別の実施例は、システムの出力信号のディジタル値またはアナログ値を設定するツールである。ツールを用いた制御通信の別法としてまたは補完的な方法として、通信を処理するシステム機能性の何か別の形態であってもよい。
【００３６】
図３は、ヴィジョンフロントエンド８の構成要素を概略的に示す。図から分かるように、図１に示されたシステム設定における構成要素部品は、本発明の好ましい実施形態において、１つの単独ユニット、すなわちヴィジョンフロントエンド８にすべて組み込まれる。ヴィジョンフロントエンド８は、レンジデータ（レンジ画像）を取得するために主として配置され、入射光、好ましくはレーザ光によって物体１を照らすための光源３と、物体からの反射光を検出し、検出光を物体１の画像に変換するために配置されたセンサ５と、センサ５の前に配置される集光光学素子４と、を備える。
【００３７】
ヴィジョンフロントエンド８は、取得画像を処理し、入射光の位置を特定するために配置されたプリプロセッサ１４をさらに備える。プリプロセッサ１４はまた、以下に述べるように、較正および矯正を行ってもよい。
【００３８】
ヴィジョンフロントエンド８はさらに他に、欠損データを識別するための手段を備え、この手段は、欠損データを識別するためのステップを実行するために配置される。レーザ三角測距を用いる場合、投影されたレーザの部分が検査されるべき物体によって遮断される可能性がある。これは、欠損データと呼ばれる不明なレンジ測定値を生じる結果となる。すなわち、有効なデータが欠けている作成画像中の位置が識別されることになる。欠損データを伴う測定値は、ヴィジョンフロントエンド８によって識別され、レンジ画像の対応する画素には欠損データに関するフラグを立てるために特殊な値で印がつけられる。通常、値０（ゼロ）が用いられる。欠損データはまた、レーザ三角測距とは異なる別のレンジ画像化技術においても生じる。
【００３９】
いくつかの検査タスクにとって、欠損データ領域の形状および位置は、重要な情報を含む。そのような情報は、測定されることになっているレーザ光を遮断する物体の特徴でありえる。欠損データの領域における測定値の位置を特定し、測定を実行するために、解析ツールを用いることができる。他の測定タスクにおいて、欠損データは、関心がなくても、解析に影響を及ぼさないようにするために、個別の方法で処理されなければならない。欠損データの位置は、検査物体の回転に左右される。物体の回転不変な識別にとって、欠損データ領域は、物体検索ツールによって無視される必要がある。これは、２つの方式で実現することができる。欠損データを伴うすべての画素を無視するように、ツールをプログラミングすることができる。あるいは、補間（interpolation）および／または補外（extrapolation）のいくつかの形態を用いて欠損領域の周囲の有効な画素から推定されるレンジ値で欠損データ領域を満たすことができる。この事前処理を、個別のツールによって、または、ヴィジョンフロントエンド８の事前処理モジュール１４内でなすことができる。欠損データ領域が満たされた後、欠損データを処理するように開発されてないツールを処理後のレンジ画像に適用することができる。
【００４０】
ヴィジョンフロントエンド８は、レンジ情報を測定するための手段を備え、かつ、それは、抽出された線のグレースケール強度、偏光または直接白色光などのレーザ光以外の他の光源に関するグレースケール強度、物体の色および物体表面の散乱特性などのさらなる情報の取得のための手段をさらに備えていてもよい。
【００４１】
続いて、各レンジ測定のために、１つ以上の関連測定値があり、これは多様式データ（multi modal data）と呼ばれる。測定値の各様式は以下では、構成要素と呼ぶ。各構成要素のデータを、２Ｄ画像として組織化することができる。そのとき、ヴィジョンフロントエンド８からの出力は単独のレンジ画像ではなく、一連の画像である。構成要素ごとに画像が１つ存在する。
【００４２】
多様式画像の解析は、純粋なレンジ画像の場合のような類似の態様で行われることができる。ツールを各構成要素画像に独立に適用することができる。たとえば、バーコード読み取りツールを、レンジ画像上で動作する体積測定ツールの後の強度画像に適用することができる。ツールの中には、同時に２つ以上の画像に動作することができるものがあり、２つ以上の構成要素からの情報を組み合わせて、より精巧で特異な解析を実行することができる。
【００４３】
ヴィジョンフロントエンドにおけるレーザ線抽出は、センサの画素単位で測定されたレンジ値を返す。センサの各行ｕは１つのレンジ値ｖを有する。一定の物体の移動および一定のサンプリング速度を仮定すると、レンジ画像の２つの軸は、それぞれｕ方向およびｙ方向にある。画素値はｖ方向にある。センサの座標値をミリメートルなどの何らかの適切な単位で表現される世界座標（ｘ、ｙ、ｚ）に変換することが有用であることがしばしばあり、それを実行する方法を以下では較正と呼ぶ。単独のプロファイルのすべてのレンジデータは、定数ｙの同一のレーザ平面に配置される。したがって、主要なマッピング乃至写像（mapping）は、センサ座標（ｕ、ｖ）から世界座標（ｘ、ｚ）へである。
【００４４】
ヴィジョンフロントエンドは、デバイスに厳密に取り付けられる。したがって、一旦、デバイスが組み立てられると、（ｕ、ｖ）から（ｘ、ｙ）への写像は一定であると仮定される。したがって、組立後、周知の寸法の物体をデバイスの測定視野における周知の位置に提供することによって、写像を検出することが可能である。一旦、較正されると、実行時に表索引または予め計算された数式の評価によって、各レンジ測定値（ｕ、ｖ）を世界座標（ｘ、ｚ）に写像することが簡単である。結果は２つの画像であり、いずれの画像もｕおよびｙに沿った軸を有する。第１の画像の画素値はｘ方向であり、第２の画像の画素値はｚ方向である。
【００４５】
図４ａは、従来技術の手法における取得設定を示しており、１つのレンジ位置は、それぞれの描かれた光線に沿って得られる。外部の２Ｄ画像解析システムへの入力として較正されたレンジ画像を使用することは周知の技術であり、これらのレンジ画像は、デカルト座標（ｘ、ｙ）グリッド上ではサンプリングされない。代わりに、サンプリングパターンは、画像化センサによって定義され、その結果、図４ａに示され、上述したように、センサの行ｕごとに１つのレンジ値を生じる。この方法を用いた結果、提供された物体は、画像化装置に対する位置（ｘおよびｚにおける）に応じて、サイズおよび形状が変化することになる。
【００４６】
上述の従来技術の解析システムにおける較正機能性は、上述した歪みに適正に対処することはない。本発明の好ましい実施形態において、この問題点は、処理前に、物体１の画像を矯正乃至修正することによって克服される。図４ｂは、矯正後の画像取得設定を示しており、１つのレンジ位置はそれぞれの仮想光線１６に沿って得られる。矯正の方法では、解析器に提供する前に、レンジデータを一様に離隔された（ｘ、ｙ）グリッドに再サンプリングする。これは、レンジ画像の真の変換不変な解析を可能にする。任意の解像度のｘ方向に沿ってサンプリンググリッドに対し、矯正における補間を施すことができる。検査タスクの中には、ｙ方向と同様のｘ方向の解像度を有することが好都合である場合もある。そのとき、ｚ軸を中心として物体の回転とは独立に解析を行うことは比較的容易である。
【００４７】
図５ａは単独のプロファイルの較正１７および矯正１８に用いられる座標系を示し、図５ｂは一連のプロファイルの較正１７および矯正１８に用いられる座標系を示し、図５ｃは画像として見られる一連のプロファイルの較正１７および矯正１８において用いられる座標系を示す。
【００４８】
図５ａ〜図５ｃから分かるように、較正１７の結果は２つの画像であり、いずれの画像もｕおよびｙに沿った軸を有する。上述のように、第１の画像の画素値はｘ方向にあり、第２の画像の画素値はｚ方向にある。矯正１８の結果は、ｘおよびｙに沿った軸を有する１つの画像である。画素値はｚ方向にある。図５ｂおよび図５ｃに示される一連のプロファイルにとって、較正１７および矯正１８は、シーケンスごとに個別に行われることを理解すべきである。
【００４９】
図５ａ〜図５ｃに示される物体の画像の較正１７および矯正１８において、垂直レーザ光源が用いられる。傾斜レーザ光源が用いられる場合には、すなわち、レーザ光が物体に対して角度を成して入射する場合には、矯正は２次元で行わなければならない。したがって、較正は３つの画像を生じる結果となり、１つの矯正画像が得られる前に、さらなる中間矯正ステップがあることになる。たとえば、立体画像化がレンジデータを測定するために用いられる場合にも、同じことが当てはまる。
【００５０】
以下に、物体の３次元の特性を測定するための方法が記述され、当該方法は、
−測定開始前に、レンジデータの取得および解析を構成するための手段を提供するステップと、
−画素を備える少なくとも１つのセンサを用いて上記の物体からの反射光を検出することによって、上記の物体の画像を作成するステップと、
−センサの画素単位で測定された作成画像から上記の物体のレンジデータを取得するステップと、
−取得したレンジデータをセンサの画素値から世界座標に較正するステップと、
−レンジデータを一様に離隔されたグリッドに再サンプリングすることによって、較正されたレンジデータを矯正するステップと、
−較正および矯正の施されたレンジデータを解析して、上記の物体の３次元の特性を得るステップと、
を備える。
【００５１】
他の実施形態において、レンジデータ解析の構成は、少なくとも１つの入力変数および少なくとも１つの出力結果値を有する基本的な解析タスクを備え、それによって、第１の解析タスクからの出力結果値は、第２の解析タスクへの入力変数として用いられる。
【００５２】
さらに他の実施形態において、方法は、有効なデータが欠損している作成画像における画素位置を識別するステップを備え、それによって、データが欠損している作成画像において識別された画素位置は、無視されるか、または補間および／または補外を用いて、データが欠損している画素の周囲の有効な画素から推定されたレンジ値で満たされるかのいずれかである。
【００５３】
他の実施形態において、方法は、少なくとも１つの以下のステップ、すなわち、上記の物体の作成画像からグレースケール強度データを取得するステップおよび／または物体表面の散乱特性を測定するステップをさらに備える。
【００５４】
さらに別の実施形態において、三角測距は、上記の物体の画像を作成するために用いられる。
【００５５】
したがって、本発明の好ましい実施形態に適用した場合について、本発明の基本的な新規な特徴を図示して説明し、指摘したが、本発明の範囲を逸脱することなく、当業者によって、示されたデバイスの形および詳細、それらの動作について、種々の省略および置換および変更を行ってもよいことは理解されよう。たとえば、同様の結果を達成するための実質的に同様の方式における実質的に同様の機能を実行する要素および／または方法ステップのすべての組み合わせは、本発明の範囲に包含されることは明確に意図している。さらに、本発明の任意の開示された形または実施形態に関して図示および／または説明された構造および／または要素および／または方法ステップは、設計選択の一般的な問題として、任意の他の開示または記載または指摘された形または実施形態に組み込まれてもよいことを認識すべきである。したがって、本発明は、本願明細書に添付される特許請求の範囲によってのみ制限される。
【図面の簡単な説明】
【００５６】
【図１】物体の３次元の特性を測定するための画像化装置を概略的に示す。
【図２】画像化装置の異なる構成要素を概略的に示す。
【図３】画像化装置のヴィジョンフロントエンドの構成要素を概略的に示す。
【図４ａ】従来技術の手法における取得設定を示しており、１つのレンジ位置はそれぞれの描かれた光線に沿って得られる。
【図４ｂ】矯正後の取得設定を示しており、１つのレンジ位置はそれぞれの仮想光線に沿って得られる。
【図５ａ】１つのプロファイルの較正および矯正において用いられる座標系を示す。
【図５ｂ】一連のプロファイルの較正および矯正において用いられる座標系を示す。
【図５ｃ】画像として見られる一連のプロファイルの較正および矯正において用いられる座標系を示す。
【特許請求の範囲】
【請求項１】
レンジデータの取得および解析を用いて、物体（１）の３次元の特性を測定するための方法であって、
−画素を備える少なくとも１つのセンサ（５）を用いて前記物体からの反射光を検出することによって、前記物体の画像を作成するステップと、
−センサの画素単位（ｕ、ｖ）で測定された前記作成画像から前記物体（１）のレンジデータを取得するステップと、
−前記取得したレンジデータをセンサの画素値（ｕ、ｖ）から世界座標（ｘ、ｚ）に較正するステップと、を備える方法において、
−前記測定開始前に前記レンジデータの取得および解析を構成するための手段を提供するステップと、
−前記レンジデータを一様に離隔されたグリッドに再サンプリングすることによって、前記較正されたレンジデータを矯正するステップと、
−前記物体（１）の前記３次元の特性を得るために、前記較正および矯正の施されたレンジデータを解析するステップと、をさらに備えることを特徴とする方法。
【請求項２】
前記レンジデータ解析の前記構成は、少なくとも１つの入力変数および少なくとも１つの出力結果値を有する基本的な解析タスクを備え、それによって、第１の解析タスクからの前記出力結果値は、第２の解析タスクへの入力変数として用いられることを特徴とする請求項１に記載の方法。
【請求項３】
前記方法は、有効なデータが欠損している前記作成画像における画素位置を識別するステップをさらに備えることを特徴とする請求項１に記載の方法。
【請求項４】
前記方法は、データが欠損している前記作成画像において前記識別された画素位置を無視するステップをさらに備えることを特徴とする請求項３に記載の方法。
【請求項５】
前記方法は、データが欠損している前記作成画像で前記識別された画素位置を、補間および／または補外を用いて、データが欠損している前記画素の周囲の前記有効な画素から推定されたレンジ値で満たすステップをさらに備えることを特徴とする請求項３に記載の方法。
【請求項６】
前記方法は、前記物体（１）の前記作成画像からグレースケール強度データを取得するステップをさらに備えることを特徴とする請求項１に記載の方法。
【請求項７】
前記方法は、前記物体表面の散乱特性を測定するステップをさらに備えることを特徴とする請求項１に記載の方法。
【請求項８】
前記物体（１）の画像を作成する前記ステップは、三角測距を用いて行われることを特徴とする請求項１に記載の方法。
【請求項９】
レンジデータの取得および解析を用いて、物体（１）の３次元の特性を測定するための画像化装置（６）であって、
−画素を備える少なくとも１つのセンサ（５）を用いて前記物体（１）からの反射光を検出することによって、前記物体（１）の画像を作成するための手段（８）と、
−センサの画素単位（ｕ、ｖ）で測定された前記作成画像から前記物体（１）のレンジデータを取得するための手段（８）と、
−前記取得したレンジデータをセンサの画素値（ｕ、ｖ）から世界座標（ｘ、ｚ）に較正するための手段と、を備える装置において、
−前記測定開始前に、前記レンジデータの取得および解析を構成するための手段（１１）と、
−前記レンジデータを一様に離隔されたグリッドに再サンプリングすることによって、前記較正されたレンジデータを矯正するための手段と、
−前記物体（１）の前記３次元の特性を得るために、前記較正および矯正の施されたレンジデータを解析するための手段（７）と、をさらに備えることを特徴とする画像化装置（６）。
【請求項１０】
前記レンジデータ解析の前記構成は、少なくとも１つの入力変数および少なくとも１つの出力結果値を有する基本的な解析タスクを備え、それによって、第１の解析タスクからの前記出力結果値は、第２の解析タスクへの入力変数として用いられることを特徴とする請求項９に記載の画像化装置（６）。
【請求項１１】
前記画像化装置（６）は、データが欠損している前記作成画像における画素位置を識別するための手段（１４）をさらに備えることを特徴とする請求項９に記載の画像化装置（６）。
【請求項１２】
前記画像化装置（６）は、データが欠損している前記作成画像において前記識別された画素位置を無視するための手段（１４）をさらに備えることを特徴とする請求項１１に記載の画像化装置（６）。
【請求項１３】
前記画像化装置（６）は、データが欠損している前記作成画像において前記識別された画素位置を、補間および／または補外を用いて、データが欠損している前記画素の周囲の前記有効な画素から推定されたレンジ値で満たすための手段（１４）をさらに備えることを特徴とする請求項１１に記載の画像化装置（６）。
【請求項１４】
前記画像化装置（６）は、前記物体（１）の前記作成画像からグレースケール強度データを取得するための手段をさらに備えることを特徴とする請求項９に記載の画像化装置（６）。
【請求項１５】
前記画像化装置（６）は、前記物体表面の散乱特性を測定するための手段をさらに備えることを特徴とする請求項９に記載の画像化装置（６）。
【請求項１６】
前記画像化装置（６）は、独立型ユニットであることを特徴とする請求項９に記載の画像化装置（６）。
【請求項１】
レンジデータの取得および解析を用いて、物体（１）の３次元の特性を測定するための方法であって、
−画素を備える少なくとも１つのセンサ（５）を用いて前記物体からの反射光を検出することによって、前記物体の画像を作成するステップと、
−センサの画素単位（ｕ、ｖ）で測定された前記作成画像から前記物体（１）のレンジデータを取得するステップと、
−前記取得したレンジデータをセンサの画素値（ｕ、ｖ）から世界座標（ｘ、ｚ）に較正するステップと、を備える方法において、
−前記測定開始前に前記レンジデータの取得および解析を構成するための手段を提供するステップと、
−前記レンジデータを一様に離隔されたグリッドに再サンプリングすることによって、前記較正されたレンジデータを矯正するステップと、
−前記物体（１）の前記３次元の特性を得るために、前記較正および矯正の施されたレンジデータを解析するステップと、をさらに備えることを特徴とする方法。
【請求項２】
前記レンジデータ解析の前記構成は、少なくとも１つの入力変数および少なくとも１つの出力結果値を有する基本的な解析タスクを備え、それによって、第１の解析タスクからの前記出力結果値は、第２の解析タスクへの入力変数として用いられることを特徴とする請求項１に記載の方法。
【請求項３】
前記方法は、有効なデータが欠損している前記作成画像における画素位置を識別するステップをさらに備えることを特徴とする請求項１に記載の方法。
【請求項４】
前記方法は、データが欠損している前記作成画像において前記識別された画素位置を無視するステップをさらに備えることを特徴とする請求項３に記載の方法。
【請求項５】
前記方法は、データが欠損している前記作成画像で前記識別された画素位置を、補間および／または補外を用いて、データが欠損している前記画素の周囲の前記有効な画素から推定されたレンジ値で満たすステップをさらに備えることを特徴とする請求項３に記載の方法。
【請求項６】
前記方法は、前記物体（１）の前記作成画像からグレースケール強度データを取得するステップをさらに備えることを特徴とする請求項１に記載の方法。
【請求項７】
前記方法は、前記物体表面の散乱特性を測定するステップをさらに備えることを特徴とする請求項１に記載の方法。
【請求項８】
前記物体（１）の画像を作成する前記ステップは、三角測距を用いて行われることを特徴とする請求項１に記載の方法。
【請求項９】
レンジデータの取得および解析を用いて、物体（１）の３次元の特性を測定するための画像化装置（６）であって、
−画素を備える少なくとも１つのセンサ（５）を用いて前記物体（１）からの反射光を検出することによって、前記物体（１）の画像を作成するための手段（８）と、
−センサの画素単位（ｕ、ｖ）で測定された前記作成画像から前記物体（１）のレンジデータを取得するための手段（８）と、
−前記取得したレンジデータをセンサの画素値（ｕ、ｖ）から世界座標（ｘ、ｚ）に較正するための手段と、を備える装置において、
−前記測定開始前に、前記レンジデータの取得および解析を構成するための手段（１１）と、
−前記レンジデータを一様に離隔されたグリッドに再サンプリングすることによって、前記較正されたレンジデータを矯正するための手段と、
−前記物体（１）の前記３次元の特性を得るために、前記較正および矯正の施されたレンジデータを解析するための手段（７）と、をさらに備えることを特徴とする画像化装置（６）。
【請求項１０】
前記レンジデータ解析の前記構成は、少なくとも１つの入力変数および少なくとも１つの出力結果値を有する基本的な解析タスクを備え、それによって、第１の解析タスクからの前記出力結果値は、第２の解析タスクへの入力変数として用いられることを特徴とする請求項９に記載の画像化装置（６）。
【請求項１１】
前記画像化装置（６）は、データが欠損している前記作成画像における画素位置を識別するための手段（１４）をさらに備えることを特徴とする請求項９に記載の画像化装置（６）。
【請求項１２】
前記画像化装置（６）は、データが欠損している前記作成画像において前記識別された画素位置を無視するための手段（１４）をさらに備えることを特徴とする請求項１１に記載の画像化装置（６）。
【請求項１３】
前記画像化装置（６）は、データが欠損している前記作成画像において前記識別された画素位置を、補間および／または補外を用いて、データが欠損している前記画素の周囲の前記有効な画素から推定されたレンジ値で満たすための手段（１４）をさらに備えることを特徴とする請求項１１に記載の画像化装置（６）。
【請求項１４】
前記画像化装置（６）は、前記物体（１）の前記作成画像からグレースケール強度データを取得するための手段をさらに備えることを特徴とする請求項９に記載の画像化装置（６）。
【請求項１５】
前記画像化装置（６）は、前記物体表面の散乱特性を測定するための手段をさらに備えることを特徴とする請求項９に記載の画像化装置（６）。
【請求項１６】
前記画像化装置（６）は、独立型ユニットであることを特徴とする請求項９に記載の画像化装置（６）。
【図１】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図５ａ】
【図５ｂ】
【図５ｃ】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図５ａ】
【図５ｂ】
【図５ｃ】
【公表番号】特表２００８−５０５３１２（Ｐ２００８−５０５３１２Ａ）
【公表日】平成２０年２月２１日（２００８．２．２１）
【国際特許分類】
【出願番号】特願２００７−５１９１５２（Ｐ２００７−５１９１５２）
【出願日】平成１７年６月１３日（２００５．６．１３）
【国際出願番号】ＰＣＴ／ＳＥ２００５／０００８８７
【国際公開番号】ＷＯ２００６／００４４８３
【国際公開日】平成１８年１月１２日（２００６．１．１２）
【出願人】（５０４０４８６９６）シック アイヴィピー エービー (6)
【Ｆターム（参考）】
【公表日】平成２０年２月２１日（２００８．２．２１）
【国際特許分類】
【出願日】平成１７年６月１３日（２００５．６．１３）
【国際出願番号】ＰＣＴ／ＳＥ２００５／０００８８７
【国際公開番号】ＷＯ２００６／００４４８３
【国際公開日】平成１８年１月１２日（２００６．１．１２）
【出願人】（５０４０４８６９６）シック アイヴィピー エービー (6)
【Ｆターム（参考）】
[ Back to top ]