偏光で符号化された絞り開口マスクを偏光に感度を有するセンサーと組み合わせて用いた単一レンズ3D撮像装置
【課題】
デフォーカス技術を用いた三次元(3D)撮像装置および方法を開示する。
【解決手段】
この装置は、1つのレンズと、レンズを遮る偏光で符号化された少なくとも1つの絞り開口と、被写体から出て、かつレンズと偏光で符号化された少なくとも1つの絞り開口とを通過した電磁放射線を獲得するために動作可能な偏光に感度を有するセンサーと、センサー情報を処理するため、かつ被写体の3D画像を生成するために、センサーと通信可能に接続されたプロセッサとを有する。
デフォーカス技術を用いた三次元(3D)撮像装置および方法を開示する。
【解決手段】
この装置は、1つのレンズと、レンズを遮る偏光で符号化された少なくとも1つの絞り開口と、被写体から出て、かつレンズと偏光で符号化された少なくとも1つの絞り開口とを通過した電磁放射線を獲得するために動作可能な偏光に感度を有するセンサーと、センサー情報を処理するため、かつ被写体の3D画像を生成するために、センサーと通信可能に接続されたプロセッサとを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、三次元(3D)撮像装置および方法に関し、とりわけ、偏光で符号化された絞り開口マスクを偏光に感度を有するセンサーと組み合わせて用いた単一レンズ3D撮像装置に関する。
【背景技術】
【0002】
本願は非仮特許出願であり、米国特許仮出願第60/881,776号(2007年1月22日出願、発明の名称「デフォーカス技術に基づく単一レンズ三次元撮像装置」)、米国特許仮出願第60/881,779号(2007年1月22日出願、発明の名称「デフォーカス技術に基づく携帯用三次元マッピング装置」、および、米国特許仮出願第60/881,762号(2007年1月22日出願、発明の名称「カメラベースの定量三次元撮像システムにおける必要な視点の数を低減する方法」)、米国特許仮出願第60/925,918号(2007年4月23日出願、発明の名称「単一レンズ、単一絞り開口、単一センサー3D撮像装置(Single− lens, Single−aperture, Single−sensor 3−D Imaging Device)」)、米国特許仮出願第60/926,010号(2007年4月23日出願、発明の名称「偏光で符号化された絞り開口マスクを偏光に感度を有するセンサーと組み合わせて用いた単一レンズ三次元撮像(Single Lens Three−Dimensional imaging using Polarization−Coded Aperture Mask Combined with a Polarization−Sensitive Sensor)」)、米国特許仮出願第60/926,023号(2007年4月23日出願、発明の名称「単一センサーを用いたデフォーカスに基づく静的および動的3D撮像用の空間的に偏向したピンホール形状および位置(SDPSP)を有する絞り開口システム(An Aperture System with Spatially Biased Pinhole Shapes and Position (SDPSP) for Static and Dynamic 3−D Defocusing−Based Imaging with Single Sensor)」)による優先権主張をする。
【0003】
三次元(3D)撮像は、撮像技術改良の恩恵を受ける常に進化し続けている分野である。強化された三次元撮像は、例えば、(定量的三次元撮像により)撮像された被写体の定量的な情報を生成するなど、多様な目的に使用可能である。しかし、現在の撮像技術は、定量的な三次元撮像を十分支援することはできていない。例えば、撮像系の焦点面上にない点が、撮像系により撮像される時、センサーにより検出された獲得点は、デフォーカスであるといわれる。撮像系が大きな絞り開口を有する場合、この非合焦点は、ぼやけて現れる。したがって、点の画像のぼやけは、点から焦点面への空間距離を定量的に決定するために用いられうると提案されている。また、焦点面の位置を知ることができれば、撮像系を用いて定量的な三次元撮像を行うことができると提案されている。点の三次元位置を再構成するためには、ぼやけた円盤の大きさおよび/または強度(Z)と、センサー上の点の位置(X、Y)とを測定することのみが必要である。
【0004】
しかしながら、実践的には、このようなシステムを効果的に実現するのは難しい。第1に、ぼやけた画像は、センサー上の多大なスペースを占有するので、重複する画像を分離する洗練されたアルゴリズムが必要である。第2に、(焦点面が光学系に非常に接近していない限り)光学系に入射する光量は、合焦点(focused point)と非合焦点(defocused point)との間で感知できるほど変わらない。したがって、ぼやけた画像も、合焦画像と同じ量のエネルギーをセンサー上へ投射するが、より大きな面積に広がっている。デフォーカス画像の強度は、その面積に反比例しており、その結果、ぼやけに基づいて焦点面と点との間の距離を定量的に測定するには、極端に大きい動的範囲を有するセンサーが必要である。実際のレンズでは回折効果もあり、これにより、ぼやけた画像が、ある深度領域では、広いガウス分布というよりはむしろ輪形状に見え、ソフトウェア処理がより複雑になる。例えば、非特許文献1を参照されたい。レンズ収差または回折がない場合でさえ、深度情報はぼやけたスポットの直径の測定結果より導きだされるので、撮像された点の強度がこの測定結果に影響を与えるという事実により、画像処理は複雑になる。例えば、2つの非合焦点A・Bが同じデフォーカス量を有するが、点Aのほうが点Bよりも明るい場合、点Bの画像は、その場面において背景照度から同じように浮き上がっていないという理由だけで、通常、点Aの画像よりも小さな直径を有するものとして測定されるであろう。
【0005】
元来の「デフォーカス」の概念では、このようなぼやけに基づくシステムにおける深度情報は、画像を形成する光線束の周辺(外側)光により伝えられる。例えば、非特許文献2を参照されたい。撮像系の感度を決定付けるのは、これらの光線がセンサー面となす角度である。したがって、画像を形成するために周辺光のみが通過できるように、撮像系中に小さな絞り開口を軸外に置くことによる等価の測定も可能であるべきである。もし上述のように、ぼやけシステムが、その大きな絞り開口を小さな絞り開口に代えて、大きい絞り開口の周辺部の任意の場所に有する場合、非合焦点の画像は、ぼやけ画像の周辺にあったであろうものの上に位置する小さな点となる。結果として得られるのは、ぼやけたスポットの大きさにより伝えられる深度情報ではなく、はるかにより小さいスポット中にある横方向のオフセットにより伝えられる深度情報である。画像上のスポットの位置の測定における感度は、その大きさを測定するよりも、強度差に対する感度がずっと低い。
【0006】
小さな絞り開口を用いることにより、ぼやけに基づくシステムに伴う動的範囲の問題は緩和されるが、これは、小さな絞り開口の大きなFナンバーにより、回折ぼやけ(デフォーカスぼやけではなく)が画像中の主なぼやけの原因になるからである。これは、焦点面からの距離が長い領域では、画像がほぼ同じ大きさになることを意味する。
【0007】
軸外絞り開口を用いるということは、空間内の点の位置の再現が、ここで、単一の点のセンサー上のすべての画像を見つけ、これらの画像間の距離を測定することを含むということを意味する。画像は、絞り開口構成と同じパターンで現れる。例えば、正三角形の頂点として、3つの小さな絞り開口が用いられる場合、非合焦点の画像は、正三角形中に配された3つの小さなスポットとなる。絞り開口の三角形に対するこれらの画像の三角形の方向(orientation)により、非合焦点が焦点面の前方(ahead of)ないし前(in front of)にあるか否かがわかる。さらに、画像の三角形の大きさは、非合焦点と焦点面との間の距離に関連する。合焦点の場合は、この三角形の大きさはゼロになり、これは、全ての3つの画像が互いに重なり合うことにより生じる。三角形は、デフォーカスの量が増加するにつれ、大きくなる。複数の小さな画像は、1つの大きなぼやけた像よりも、センサー上で占有するスペースが小さく、したがって、この構成により重複問題が緩和される。
【0008】
再現におけるマッチング問題は、新しい問題を引き起こす。撮像される被写体が、特徴のない点の集合である場合、画像は識別不可能となり、その相対的な位置によってのみ(例えば、ある画像上中の正三角形を形成するある許容誤差内の全てのドットを見つけることによって)マッチング可能である。この比較的緩やかなマッチングの基準では、ミスマッチまたは「ゴースト」の数を減らすために、3つ以上の絞り開口を用いることが必要となる。
【0009】
単一の軸外絞り開口は、深度情報を記録するが、しかし、Zは、撮像される点の面内位置から分離することはできない。2つの絞り開口は、深度情報を記録し、かつ、Zに依存せずに面内位置を抽出可能となる。実地では、2つの絞り開口のみで、ランダムな点の大群を再現することは不可能であるが、これは、画像がミスマッチされる際には、多くのゴースト粒子が生成されるからである。さらに、2つの画像のみから、ある粒子が焦点面の前または後にあるかを知ることは不可能である。3つの絞り開口により、ミスマッチは低減され、粒子から焦点面への距離の符号が、複数画像により形成された三角形の方向によりわかる。例えば、非特許文献2を参照されたい。
【0010】
デフォーカス概念の元来の実地での実装は、3つの軸外絞り開口を備えた単一のレンズからなり、これらの3つの軸外絞り開口が1つの白黒センサー上に撮像することよりなる。(すなわち、3つは、許容可能な結果を生じさせるための絞り開口の最低限の数であると考えられた。)デフォーカス測定は、焦点面に対して相対的な点の位置の測定であるので、所望の点の絶対的な位置を知るために、装置の位置を知ることが必要である点に留意すべきである。
【0011】
この3つの軸外絞り開口が、1つの白黒センサー上へ撮像するのにも欠点がある。領域内の点の密度が高いときには、センサーの過密は、まだ問題となる。この場合、各点は、センサー上に3つまでの画像を有し、まだ、動的範囲の問題が存在する。(すなわち、焦点面上の点は、センサー上で合致する3つの画像を有し、したがって、非合焦点よりも3倍明るく見える。)動的範囲の問題は、選択的にこの体積を照射し、焦点面上の点を撮像しないようにすることにより、克服されうる。
【0012】
特許文献1および特許文献2に記載されているように、過密問題の1つの解決方法は、各絞り開口を別のセンサーを用いて撮像させることである。これにより、マッチング基準が増えるが、これは、この場合画像上の各スポットが、絞り開口構成の頂点のうちの1つのみになりうるからである。各スポットの源(絞り開口)がわかるので、マッチング過程の曖昧さが少し低減する。
【0013】
さらに、センサーを追加する(例えば、電荷結合素子(CCD))ことにより、1つのセンサーシステムに比較して、製造の複雑さが増すことに加えて、コストが高く、サイズがより大きくなるという欠点がある。複数のセンサーの配置は、その配列、構造安定性に対する課題をもたらす。複数センサーは、温度、振動およびこれ以外の環境影響効果により異なる影響を受け、較正誤差が生じがちである。
【0014】
上述の理由により、マッチング問題を緩和または解消する定量的な三次元撮像系の必要性が存在する。この撮像系は、簡素性および小型化のために、単一のレンズかつ単一のセンサー構成で実現可能であり、また、所望の場合、複数レンズかつ複数センサー構成へと容易に拡張可能であるべきである。
【先行技術文献】
【特許文献】
【0015】
【特許文献1】米国特許第6,955,656号明細書
【特許文献2】米国特許第7,006,132号明細書
【非特許文献】
【0016】
【非特許文献1】ウー・M(Wu,M.)、ロバーツ・J・W(Roberts,J.W.)およびバックレー・M(Buckley,M.)著、「単一カメラを用いたミクロン尺度の蛍光粒子の三次元追跡(Three dimensional fluorescent particle tracking at micron−scale using a single camera)」、液体における実験(Experiments in Fluids)、2005年、38巻、461−465頁
【非特許文献2】ウィラート・C・E(Willert,C.E.)およびガリブ・M(Gharib,M.)著、「単一カメラを用いた三次元粒子撮像(Three−dimensional particle imaging with a single camera)」、液体における実験(Experiments in Fluids)、1992年、12巻、353−358頁
【発明の概要】
【発明が解決しようとする課題】
【0017】
本発明は、三次元(3D)撮像装置および方法に関し、とりわけ、偏光で符号化された絞り開口マスクを偏光に感度を有するセンサーと組み合わせて用いた単一レンズ3D撮像装置に関する。
【課題を解決するための手段】
【0018】
この装置は、1つのレンズと、レンズを遮る偏光で符号化された(polarization-coded)少なくとも1つの絞り開口と、被写体から出て、かつレンズと偏光で符号化された少なくとも1つの絞り開口とを通過した電磁放射線を獲得するために動作可能な偏光に感度を有するセンサーと、センサー情報を処理するため、かつ被写体の3D画像を生成するために、センサーと通信可能に接続されたプロセッサとを有する。
【0019】
別の実施形態では、マスクは、互いに区別できる偏光で符号化された2つの絞り開口を有し、2つの絞り開口の偏光は、相対的にほぼ垂直であり、ここで、偏光に感度を有するセンサーは、各絞り開口により生成された画像を区別するように構成され、これにより、ミスマッチを最低限に抑える。
【0020】
本発明のさらに別の実施形態では、偏光で符号化された少なくとも1つの絞り開口は、絞り開口の偏光が露光間で変わるように回転し、これにより、異なる露光に関する同じマーカーの像の間の距離から、深度情報が演算可能である。
【0021】
当業者には理解されるであろうが、本発明は、対応する3D撮像方法も含み、この方法は被写体から出て、かつ1つのレンズと、偏光で符号化された少なくとも1つの絞り開口とを通過した電磁放射線を、偏光に感度を有するセンサーを用いて獲得する行為と、被写体を表現する3D画像を生成するために、センサーからの情報を処理する行為とを含む。
【0022】
本発明の方法の別の実施形態では、マスクは、互いに区別できる偏光で符号化された2つの絞り開口を有し、2つの絞り開口の偏光は、相対的にほぼ垂直であり、偏光に感度を有するセンサーは、各絞り開口により生成された画像を区別するように構成され、これにより、ミスマッチを最低限に抑える。
【0023】
さらに別の実施形態では、この方法は、さらに偏光で符号化された少なくとも1つの絞り開口を、絞り開口の偏光が露光間で変わるように回転させる行為を含み、これにより、異なる露光に関する同じマーカーの像の間の距離から、深度情報が演算可能である。
【0024】
本発明の目的、特徴および利点は、以下の図面と組み合わせて、本発明の開示される態様の以下の詳細な説明を参照すると明らかであろう。
【図面の簡単な説明】
【0025】
【図1A】センサーを含む帯域通過フィルターシステムを示す図である。
【図1B】図1Aのセンサーにより受け取られた実点に関する、デフォーカスの複数のパターンで符号化された画像獲得を示す図である。
【図1C】図1B中、枠で示した領域の拡大図であり、赤色ドットと対応する緑色ドットとの形式で、複数の波長でアドレス可能なパターンをマッチングする方法を示す図である。
【図1D】焦点距離(L)と、図1Cにおけるマッチ粒子および「ゴースト」粒子のZ距離との関係を示すチャートを示す図である。
【図2A】偏光フィルター撮像系を示す図である。
【図2B】偏光フィルター撮像系を示す図である。
【図3A】点を撮像するための絞り開口システムを示す図である。
【図3B】点を撮像するための絞り開口システムを示す図である。
【図4A】単一孔のマスクを有する同期した単一絞り開口システムを示す図であり、このマスクが、第1位置Aにあるところを示す図である。
【図4B】単一孔のマスクを有する同期した単一絞り開口システムを示す図であり、このマスクが、第2位置Bにあるところを示す図である。
【図4C】1つの回転可能な絞り開口を示し、異なる回転角度において2つの被写体画像が生成されたところを示す図である。
【図5A】複数のFストップを有する単一絞り開口システムを示す図である。
【図5B】複数のFストップを有する単一絞り開口システムのセンサーから獲得した画像を示す図である。
【図5C】図5B中、枠で示した領域の拡大図である。
【図5D】プロセッサにより決定されたマッチングした点のチャートを示す図である。
【図5E】振動する単一絞り開口システムを示す図である。
【図5F】1つの非対称の絞り開口を示す図であり、焦点面の前と焦点面の後ろとにある被写体により生成された対応する像の比較図である。
【図5G】1つの非対称の絞り開口を示す図であり、焦点面の前と焦点面の後ろとにある被写体により生成された対応する像の比較図である。
【図5H】1つの非対称の絞り開口を示す図であり、焦点面の前と焦点面の後ろとにある被写体により生成された対応する像の比較図である。
【図6A】電子的にマスクされた撮像系を示す図であり、第1の複数窓の電子絞り開口が開いた状態であるところを示す図である。
【図6B】電子的にマスクされた撮像系を示す図であり、第2の複数窓の電子絞り開口が開いた状態であるところを示す図である。
【図7A】対象の被写体表面上に投影するのに適したアドレス可能な雛型パターンを示す図である。
【図7B】アドレス可能な雛型を用いて撮った目標とする被写体の獲得画像を示す図である。
【図7C】獲得画像および格子の一部分を示す図である。
【図7D】図7Cの中央サンプルの図を再構成した図である。
【図8A】非レーザーパターン投影機および撮像系を示す図である。
【図8B】2つのオフセットプリズムおよび2つのセンサーを有するシステムを示す図である。
【図8C】1つの銀メッキオフセットプリズムと2つのセンサーとを有するシステムを示す図である。
【図8D】3つのCCDセンサーアセンブリシステムを示す図である。
【図8E】狭帯域ミラーセンサーアセンブリシステムを示す図である。
【図9】レーザーパターン投影機および撮像系を示す図である。
【図10】被写体表面の像を作成するための、画像獲得および画像処理の行為を示すフローチャートである。
【図11】画像の再構成を支援するために、撮像系にアドレス可能なパターンを組み込むことを示したフローチャートである。
【発明を実施するための形態】
【0026】
本発明は、安価で正確な三次元撮像方法(例えば、マッピング)という、長年に渡るニーズに応えるものである。本発明の態様は、製造部品の表面および体積検査、実際の製品と元の設計との比較、3D被写体走査、人体部分の診断(ヘルニア、動脈、美容整形手術前および後など)、表面粗さの評価および表面変形の実時間フィードバックに適用可能である。以下の詳細な説明では、本発明のより完全な理解のために、多くの特定の詳細を挙げる。しかし、本発明は必ずしもこれらの特定の詳細に限定されずに実施可能であることは、当業者には明確である。本発明を不明瞭にしないように、周知の構造や装置を、詳細図ではなくブロック図の形態で示している場合もある。
【0027】
読者には、本明細書と同時に提出された全ての論文および文献に注意を払われたい。これらの論文および文献は、本明細書と共に公衆が閲覧できるように公開され、これらの全論文および文献の内容は、本願中に参照として組み込まれている。本明細書(添付の請求項、要約および図面を含む)中に開示された全ての特徴は、別途明示的に言明しない限りは、同一の、等価のまたは類似の目的に沿う代替となる特徴に置き換えてもよい。したがって、別途明示的に言明しない限りは、開示された各特徴は、等価または類似の一連の包括的な特徴の非限定的な1つの例を示すにすぎない。
【0028】
さらに、ある特定の機能を達成する「ための手段(means for)」形式、または、ある特定の機能を達成する「ための工程(step for)」形式で、明示的に表明されていない請求項のいかなる要素も、米国特許法第112条第6項で指定された「手段」または「工程」として解釈されない。特に、本願請求項中の「〜の工程(step of)」または「〜の行為(act of)」との文言の使用は、米国特許法第112条第6項の規定の行使を意図していない。
【0029】
まず、本発明の導入を行い、全般的な理解を促す。次に、光の特性およびマスクの形状に基づくデフォーカス方法を、特徴マッピングに関して説明する。その後、単一絞り開口システムの態様を、特徴マッピングに関して説明する。続いて、パターンマッチングの例を提示する。次に、本発明による撮像方法を提示する。次に、画像マッチングの説明を行う。
【0030】
(1.0)導入
デフォーカスによるぼやけを用いて、ある点とレンズの焦点面との間の距離を測定することができる。本発明は追加の特徴を提案するが、これは、光学技術および照明技術の観点から、元来のデフォーカス概念の欠点を克服するように、単一レンズおよび複数の絞り開口を有する構成に追加された特徴である。以下の態様により、単一のレンズ、単一のセンサーおよび複数の絞り開口を有する装置を用いて、被写体表面を頑健に測定することができる。
【0031】
複数の絞り開口を有する構成に、光学的な修正を行うことより、物理的にマスクをし、フィルターをかけられた情報をセンサーに伝達して、各絞り開口が、被写体表面を再構成するために、分離可能な画像を再構成することができるようにする。分離可能な画像を生成するために、絞り開口の形状を変える、絞り開口の透過率を符号化する、または、露光中または露光の合間に孔が絞り開口表面に対して移動する単一スリットを有するマスクを提供することで絞り開口マスクを修正してもよい。各絞り開口マスクは、被写体の所望の特徴の表現に役立つ追加的な情報を提供する。
【0032】
単一のレンズ、単一のセンサーおよび複数の絞り開口を有する装置は、登録情報を用いて、被写体から追加的な情報を入手するよう強化されてもよい。登録情報は、被写体の識別特徴、被写体表面に投影された情報、または、被写体の上に直接おかれたマーカーから得られてもよい。
【0033】
一度の露光によって獲得が不可能な大きな被写体に関しては、上述の態様は、所望の被写体の表面特徴を再作成するために、複数の露光を共に合わせるのに使用可能な情報を提供してもよい。あるいは、大きな被写体と小さな被写体との両方について複数の画像を走査して、被写体または被写体特徴の高解像度の像を生成することができる。このマッチング概念は、立体視システムにも同様に適用可能である。
【0034】
ここで、本発明の態様を、以下に、添付の図面を参照してより十分記載し、ここで本発明の好適な実施形態を示す。本発明は、多くの様々な形態で実施可能であり、本願で記載した実施形態に限定されるよう解釈されるべきではない。さらに、添付の図面で示した層やその他の部材の寸法は、詳細をより明確に示すために、誇張されている場合がありうる。本発明は、図面に示されている寸法関係に限定されるように解釈されるべきではなく、図面に示されている個々の部材は、図示された寸法に限定されるよう解釈されるべきではない。
【0035】
(2.0)光の特性および形状に基づくシステム
照射された被写体からの光またはこれ以外の電磁放射線が、レンズを通過し、マスクされた絞り開口を通過し、このマスクされた絞り開口からの情報を受け取るのに適したセンサー上に渡されると、マスクされた絞り開口は、識別可能な画像を生成する。マスクされた絞り開口は、被写体の符号化されたデフォーカスの情報を、適切なセンサー上に渡す。デフォーカス情報は、焦点面に対する被写体の点の測定尺度を提供する。マスクされた絞り開口からの符号化された情報は、重複画像を分離するため、かつ、センサーにより検出された対応する点をマッチングするために必要な情報を提供する。「光」という文言は、本発明の様々な実施形態を説明する際に用いられうるが、本発明は、電磁スペクトルの任意の部分(マイクロ波、赤外線、紫外線およびX線を含むがこれに限定されない)の使用に適していることに留意されたい。「光」との文言は、例示的な目的で使用されるのであり、本発明の範囲を、電磁スペクトルの可視部分に限定する意図はない。
【0036】
マスクされた絞り開口が2つ以上用いられた場合、単数または複数のマスクされた絞り開口から検出された形状の波長に対しての強度(明度)の特性および/または形態が、センサー上で容易に識別可能なように、理想的には各マスクは互いに異なっている。様々なフィルタリング用絞り開口を用いて、光にその特性に応じて選択的にフィルターをかけて、光センサー上へ渡し、各絞り開口からの画像が識別可能であるようにしうる。さらに、2つ以上の絞り開口の形状が識別可能な場合、センサーによって検出される各絞り開口の画像もまた識別可能である。したがって、適切な絞り開口マスクとフィルターとの非限定的な例としては、波長帯域通過フィルター、光偏光フィルターおよび異なる形状を有するマスクが含まれる。
【0037】
(2.1)色による符号化フィルター
図1Aを参照すると、帯域通過フィルターシステム100が示されている。この帯域通過フィルター100は、レンズ102、赤色絞り開口106と緑色絞り開口108とを有するマスク104、および、センサー110を有する。ここでは、赤色絞り開口106と緑色絞り開口108としてそれぞれ示されているが、適切なセンサー110と組み合わせて、任意の数および任意の組み合わせの色フィルタリング用絞り開口を用いてもよい。したがって、絞り開口は、ここでは特定的に赤色絞り開口106および緑色絞り開口108としてそれぞれ言及されているが、この絞り開口がそれに限定されることは意図せず、代わりに第1絞り開口、第2絞り開口などと言及が可能である。
【0038】
この帯域通過フィルターシステム100は、照射された被写体112が焦点面114の前におかれると、この照射された被写体112の像を生成する。散光116は、照射された被写体112の表面から反射され、レンズ102を通過する。レンズ102を通過すると、この散光116は、赤色絞り開口106または緑色絞り開口108のいずれかを選択的に通過するか、反射されるか、または、マスク104により吸収される。赤色絞り開口106を透過した赤色光118および緑色絞り開口108を透過した緑色光120は、その後、画像焦点122より前に位置づけられたセンサー110上に記録される。当業者には理解されうるであろうが、被写体を照射するために用いられる光の色は、所望の絞り開口または絞り開口セットのみを通過するようにも選択できる。狭帯域光投影機の使用は、1セットの絞り開口が1つの色でデフォーカス情報を獲得するのに用いられ、別の絞り開口が被写体の実際の視覚画像を別の色で投影するように用いられる場合に有用であり、この結果、2つは容易に区別可能になる。
【0039】
図1Bを参照すると、複数の実点について複数の色で符号化されたデフォーカス画像獲得124が、図1Aのセンサー110により受け取られたところが図示されている。各々の色で符号化された獲得124は、各絞り開口106・108により作られた複数波長のアドレス可能なパターンに対応している。図1Bに示すように、被写体上の各実点は、複数波長のアドレス可能なパターンである赤色ドット126と緑色ドット128とで表現される。当業者には理解されうるように、赤色ドット126と緑色ドット128とは、それぞれ赤色絞り開口と緑色絞り開口との結果である。しかしながら、ドットの色は絞り開口の色により変更しうるので、本発明は、この態様に限定されることはない。対応する赤色ドット126と緑色ドット128は、対応線130により互いい連結されて図示されている。対応線130は見えないが、しかし、これは、色で符号化された画像獲得124における点のマッチングの困難さを強調するのに役立つツールである。対応線130により連結されているドットのみが、実際に互いに対応している。このマスク104がなければ、対応する点を連結するのに十分な情報はないであろう。
【0040】
図1Cを参照すると、この図は、図1B中枠で示した領域132の拡大図であり、対応する赤色ドット126と緑色ドット128との間のマッチング方法を示した図である。複数色で符号化された画像獲得124が行われると、プロセッサは、この画像内で色で符号化された全ドットに関する検索を始める。あるいは、検索を生データから行ってもよい。(すなわち、実画像124を生成する必要はない。)これに代えて、センサー110がプロセッサに接続され、プロセッサがセンサー情報を直接受け取る。いずれの場合にしても、全てのドットが検出されると、焦点面114に対する照射された点112の相対的な位置を想定して、マッチング過程が開始する。焦点面114に対する照射された点112の相対的な位置は、先験的に知られているか、ユーザーにより入力されるか、ソフトウェアにより決定されるか、あるいは、センサーにより決定されてもよい。ここでは、例証の目的で、被写体の照射された点112は、焦点面114の前にあることが前提とされる。したがって、マッチングは、例えば以下のような指示コマンドで開始する。「2つの絞り開口を結ぶ線に対応する線の上に(ある許容誤差内で)存在する赤色ドット126・142・144・146の右側にある任意の緑色ドット128・136・138・140はマッチ(適合)である。」第1の赤色ドット126が検出され、続いて、上記指示コマンドにより、赤色ドット126の許容誤差134内の第1の緑色ドット128がマッチングする。この場合の許容誤差134は、赤色ドット126から半径で表された距離として表示される。しかしながら、許容誤差134は、任意の所望の形状または距離の形式をとりうる。赤色ドット126の許容誤差134内で、補足的な検索が緑色ドット136・138・140に対して行われ、合計3つの「ゴースト」マッチ(それぞれ緑色ドット136・138・140)が生成される。
【0041】
図1Dを参照すると、この図は、焦点距離(L)と、図1C中のマッチ粒子および「ゴースト」粒子のZ距離との関係を示す。赤色ドット126と、全ての緑色ドット128・142・144・146とのマッチングの結果として、1つのマッチ148と、3つのゴースト150・152・154が得られる。赤色ドット126と緑色ドット128との間のマッチは、第1のマッチング点148のZ対Lの関係を演算するのに用いられる。赤色ドット126と緑色ドット136・138・140との間のミスマッチ(非適合)は、それぞれ第1の3つのゴースト150・152・154をもたらす。
【0042】
第2の赤色ドット142に関しては、1つのマッチ156と、2つのゴースト158・160が生成される。第2の赤色ドット142と対応する緑色ドット136との間のマッチは、第2のマッチング点156のZ対Lの関係を演算するのに用いられる。赤色ドット142と緑色ドット138・140との間のミスマッチは、それぞれ2つのゴースト158・160で表現される。
【0043】
第3の赤色ドット144に関しては、1つのマッチ162と、2つのゴースト158・160が生成される。ゴースト158・160は、他の絞り開口からの対応するドットに割り当てられえないドットである。第3の赤色ドット144と対応する緑色ドット138との間のマッチは、第3のマッチング点162のZ対Lの関係を演算するのに用いられる。赤色ドット144と緑色ドット140との間の1つのミスマッチは、ゴースト164で表現される。
【0044】
最後に、第4の赤色ドット146に関しては、1つのマッチ162が生成されるが、ゴーストは生成されない。第4の赤色ドット146と対応する緑色ドット140との間のマッチは、第4のかつ最後のマッチング点166のZ対Lの関係を演算するのに用いられる。赤色ドット146の右には、マッチングする緑色ドット140以外の緑色のドットはないので、図1Cの枠で示した領域132に関しては、これ以上のミスマッチは存在しない。
【0045】
マッチ粒子と「ゴースト」粒子との間の、Z対Lの関係の決定においては、異なる符号化がされた点、例えば図1Bに示したような点126・128があることにより大いに強化される。絞り開口マスク104により色情報が提供されないような分離不可能な場合は、より多くのゴーストが存在するが、これは、色などの差別化要因がない場合、図1Aの各「赤色ドット」は、他の任意の「赤色ドット」ともマッチング可能となり、より多くのゴーストが生成されるからである。さらに、任意の与えられたドットが、それ自体、実際には、他のドットの上にある2つのドットではないとの想定ができず、焦点面上により多くのゴーストが追加される。
【0046】
(2.2)偏光フィルター
「光」という文言は、本発明の様々な実施形態を説明する際に用いられうるが、本発明は、電磁スペクトルの任意の部分(マイクロ波、赤外線、紫外線およびX線を含むがこれに限定されない)の使用に適していることに留意されたい。「光」との文言は、例示的な目的で使用されるのであり、本発明の範囲を、電磁スペクトルの可視部分に限定する意図はない。
【0047】
符号化情報は、任意の数の方法でセンサーに提供されうる。非限定的な例として、図2は、偏光フィルター撮像系200を示す。この偏光フィルター撮像系200は、レンズ202、水平方向での偏光を行う絞り開口206と垂直方向での偏光を行う絞り開口208とを備えたマスク204、および、偏光間での識別を行うことができるセンサー210を有する。ここでは、水平方向での偏光を行う絞り開口206と垂直方向での偏光を行う絞り開口208との組み合わせとしてそれぞれ図示したが、少なくともほぼ直交する方向の対であれば、任意の数の任意の組み合わせを使用してもよい。
【0048】
照射された被写体212が焦点面214の前におかれると、偏光フィルター撮像系200は照射された被写体212の像を生成する。散光216は、照射された被写体112の表面から反射され、レンズ202を透過する。レンズ202を透過すると、この散光216は、水平方向での偏光を行う絞り開口206と垂直方向での偏光を行う絞り開口208のいずれかを選択的に通過するか、あるいは、マスク204により反射される。その後水平方向での偏光を行う絞り開口206を透過した水平方向に偏光された光218と、垂直方向での偏光を行う絞り開口208を透過した垂直方向に偏光された光220は、焦点面222より前に位置づけられているセンサー210上に記録される。
【0049】
水平方向での偏光を行う絞り開口206と垂直方向での偏光を行う絞り開口208とを異なるように符号化することで、図1Bに示したと同様の識別可能なドットが得られる。しかし、この偏光の態様から得られる符号化情報は、色で符号化されたドットの代わりに、偏光マーカーを提供する。
【0050】
同様の結果は、図2Bで示すような、偏光で符号化された少なくとも1つの絞り開口を用いることによっても得られることができ、この場合、この少なくとも1つの絞り開口が、第1絞り開口位置224から第2絞り開口位置226に回転し、各位置において露光が行われると、絞り開口の偏光が、露光間で変わり、その結果、第1露光228と第2露光230とから、互いに区別可能な偏光画像228・230セットがそれぞれ得られ、これにより、同じマーカー232からの異なる露光による像228と像230との間の距離を測定することにより、深さ情報を決定できる。
【0051】
(帯域通過フィルターシステム100の場合のように)選択的な光の透過、または、(偏光フィルター撮像系200の場合のように)光の特性の活用は、センサーが受け取る情報を符号化する効果的な手段である。最終的に、センサーによって検出される符号化情報は、図1Cおよび図1Dに記載したマッチングのタスクを容易にする。
【0052】
(2.3)空間的に偏向された絞り開口
図3Aを参照すると、この図は、ほぼ点光源と考えられるような十分小さい点を撮像するために、異なる形状を有する絞り開口システム300を示す。異なる形状を有する絞り開口システム300は、レンズ302、円形状の絞り開口306と四角形状の絞り開口308とを有するマスク304、および、センサー310を有する。ここでは円形状の絞り開口306と四角形状の絞り開口308として図示したが、任意の数の任意の組み合わせでの異なる形状のフィルタリング絞り開口を使用してもよい。適切な形状の非限定的な例には、凸多面体、凹多面体、円形、ポリフォームおよびこれらの組み合わせが含まれる。
【0053】
異なる形状を有する絞り開口システム300は、露光毎に、照射された被写体312の2つの表現314・316を生成する。センサー310により検出された各形状314・316は、各絞り開口306・308の形状にそれぞれ対応する。散光320は、照射された被写体312の表面から反射され、レンズ302を通過すると、円形状の絞り開口306または四角形状の絞り開口308のいずれかを通過するか、あるいは、マスク304により反射され、センサーの焦点面318より後方に反射される。円形状の絞り開口306を通過した透過光322は、センサー310上に円形のパターン314を生成する。同様に、四角形状の絞り開口308を通過した透過光324は、センサー310上に四角形のパターン316を生成する。複数個を獲得することにより、多数の円形のパターン314と、多数の四角形のパターン316が検出され、プロセッサ326により、マッチング規則に基づいて、マッチングがなされる。マッチとゴーストとは双方とも、図1Dに図示されたようなZ対Lのプロットグラフ上に描かれる。あるいは、ゴースト画像なしでマッチを示したプロットグラフを生成してもよい。
【0054】
異なる形状の絞り開口に加えて、空間的に偏向された絞り開口は、図3Bに図示するように、同様の形状であるが、マスク329の中心から異なる放射状の位置に位置づけられている絞り開口326・328も有することができる。この絞り開口システムが、第1位置326・328から、第2位置330・332に回転し、各位置において露光が行われると(時間遅延順次撮像)、マスクの中心329からの絞り開口の距離が、被写体により生成された像336・338の撮像装置334上での位置の変化の率を決める。ここで、この変化の率は画像が露光間で動く距離を物理的に明示する。
【0055】
本発明の使用に適した空間的に偏向された絞り開口の別の実施形態は、形状は似ているが大きさが異なる絞り開口であり、例えば、2つの円形の絞り開口であって、一方が他方よりも大きい絞り開口である。異なる大きさの絞り開口を用いることにより、上述し、かつ図3Aで示したような異なる形状の絞り開口を用いる場合と同じ機能を効果的に実現する。
【0056】
(3.0)単一絞り開口システム
図4Aおよび図4Bを参照すると、同期化された単一絞り開口システム400は、レンズ402、単一孔のマスク404、移動絞り開口406、センサー408、および、センサー408と通信するプロセッサ410を有し、これが図示されている。さらに、単一孔のマスク404は、それぞれ第1位置Aと第2位置Bとで示されている。反射光線414を選択的にレンズ402、および、単一孔のマスク404の絞り開口406を通過させることにより、照射された被写体412は再構成されうる。単一孔のマスク404の移動絞り開口406は露光間に絞り開口面上で動くが、この単一孔のマスク404の位置は、プロセッサ410により記録される。図4Aに示すように、移動絞り開口406は光416を透過させ、センサー408により検出される第1の点414を生成する。図4Aに示すように、第1露光時の移動絞り開口406の第1位置情報は、プロセッサ410により記録される。第2露光時には、移動絞り開口406が、第2位置Bへと移動する(図4Bに図示)。図4Bに図示されるように、移動開口406は光418を透過させ、センサー408により検出される第2の点420を生成する。第2露光時の移動絞り開口406の第2位置情報は、プロセッサ410により記録される。第1の点414および第1位置情報、ならびに、第2の点420および第2位置情報は、その後、第1露光からの第1の点414を、第2の点420とマッチングさせるために用いられる。あるいは、第1露光と第2露光との間で、反射光414の色を変更して、マッチング過程の支援用に用いられる情報を提供してもよい。
【0057】
同様に、ミスマッチの問題は、図4Cに示すように絞り開口422を回転させることにより緩和される。ある時間をかけて絞り開口を回転させることにより、楕円の絞り開口に対して相対的に複数の画像獲得がなされた場合には、重複する画像が区別されることができ、これにより、画像重複により生じる曖昧さが緩和される。この図は、第1絞り開口位置422にある絞り開口と水平面にある2つの被写体424により形成される画像の比較を示す図である。この第1絞り開口位置422では、被写体画像426が重複し、潜在的にミスマッチが引き起こされる。しかしながら、絞り開口が第2絞り開口位置428に回転されると、形成された画像430は区別可能である。
【0058】
(3.1)単一スリット絞り開口システム
図5Aを参照すると、複数のFストップを有する単一絞り開口システム500が図示されている。この異なる形状を有する絞り開口システム500は、レンズ502、実質的に楕円であるスリット絞り開口506を1つ有するマスク504、センサー508、および、センサー508と通信するプロセッサ510を有する。ここでは、概略的に楕円形状の絞り開口506として示したが、一般的に、その形状に関わらず、幅より長さの方が著しく長い任意の絞り開口を用いてもよい。
【0059】
反射光514がレンズおよびマスク504の実質的に楕円であるスリット絞り開口506を選択的に通過できるようにすることにより、照射された被写体512が再構成されてもよい。この単一絞り開口システム500は、標準的な円形の絞り開口の代わりに、長くて狭いスリット絞り開口506を用いている点が顕著である。スリット絞り開口506が2方向で異なるFナンバーを有する点が効果的である。スリット絞り開口506の長さは長く、小さいFナンバーをなし、これが、センサー508上で、大きく変動する円盤516を生成する。逆に、スリット絞り開口502の狭い幅は、大きなFナンバーをなし、これは最低限の変動しか生成せず、点光源の画像は、円盤516ではなく、線518で表される。この場合の強度は、面積ではなく長さに反比例して変動すると考えられることができ、センサー上で要求される動的範囲は、純粋なぼやけシステムに比較して、大幅に小さくなる。さらに、生成された画像516・518は、一方向にのみ大きくなり、重複の可能性が最小限に抑えられる。
【0060】
また、図5Fに示すように、スリット絞り開口を非対称形状542にすることもできる。このように非対称にする目的は、焦点面550の前にある被写体546であるのか、または、後ろにある被写体548であるのかをセンサー544が決めることができるようにすることである。焦点面550の後ろにある被写体548は、センサー544上に反転した画像552を生成し、焦点面550の前にある被写体546は正像554を生成する。しかしながら、図5Aのように、絞り開口が対称形状506である場合には、焦点面550の後ろにある被写体548により生成された像516は、焦点面550の前546の対応する位置にある像と区別ができない。非対称の絞り開口542を用いることにより、これらの焦点面550の前にある被写体546と、後ろにある被写体548とは区別可能となる。図5F中に図示した非対称の絞り開口542は、全体として楕円の形状の一端に円形の孔を有するが、いずれの非対称形状の絞り開口も同じ効果を奏する。
【0061】
図5Bを参照すると、複数のFストップを有する単一絞り開口のシステム500のセンサー508により獲得された画像520が示されている。画像520の枠522内には、異なるZ座標を有する複数のプロット524・526・528・530が示されている。画像520として示されているが、示された情報は、条件づけられ、信号を介してプロセッサ510で処理されるために送られてもよい。
【0062】
図5Cを参照すると、図5Bの獲得された画像中の枠で示した領域522は、絞り開口の動きに対応する複数のFストップの細長い筋524・526・528・530を見つけるために処理される。全ての複数のFストップの細長い筋524・526・528・530が見つけられると、Z対Lの関係を決定するための規則が適用される。マッチングが必要でない点が顕著である。
【0063】
全ての点が、焦点面「L」より前方にあると想定して、Z対Lの関係を演算するために複数のFストップの細長い筋524・526・528・530が用いられる。プロセッサ510により決められたマッチングされた点532・534・536・538の例を図5Dに示す。一般的に、センサー508に接続されたプロセッサ510を用いて、センサーから得られた生データを収集してもよい。プロセッサ510は、続いて、Z対Lの関係を用いて、各検出されたFストップの細長い筋524・526・528・530の深度情報を演算してもよい。続いて、プロセッサ510を用いて、各照射された点512の深度情報から被写体の表現を生成してもよい。別の態様では、プロセッサ510はメモリを有してもよい。このメモリを用いて、既知の距離におけるそれ以前にサンプリングをした点の較正情報を記憶しておいてもよい。この較正情報は、迅速なインライン処理のために、画像獲得システム中に参照テーブルとして記憶されていてもよい。あるいは、較正情報は遠隔で記憶され、プロセッサによりアクセスされてもよい。
【0064】
図5B、図5Cおよび図5Dに示した結果は、図5Eで示したような振動する単一絞り開口システム540を用いて得られても良い。この振動する単一絞り開口システム540は、レンズ502、単一の移動絞り開口506を有するマスク504およびセンサー508を有する。
【0065】
反射光514が、レンズおよびマスク504の実質的に楕円である絞り開口506を選択的に通過できるようにすることにより、照射された被写体512が再構成されうる。この単一絞り開口システム500は、移動絞り開口506を用い、2方向で異なるFナンバーを有する効果を効果的にシュミレーションしている点が顕著である。移動絞り開口506が、制御の下で、右から左へと、AとBとの方向(あるいは、これ以外の任意の方向で)で周期振動し、移動絞り開口506のAからBへの正味の変位は、小さいFナンバーを生成する。このAからBへの横方向への移動の小さいFナンバーは、センサー508上で、大きく変動する円盤516を生成する。さらに、この移動絞り開口506は、AからBへと動くので、移動絞り開口506の垂直直径には正味の変化はない。したがって、移動絞り開口506の高さが一定であることにより、Fナンバーが大きくなり、これは最低限の変動しかせず、点光源の画像は、円盤516ではなく、線518で表される。この場合の強度は、絞り開口506が、ある特定の軸上位置で過ごす時間の量に依存し、したがって、この技術で生成された画像は、薄暗い直線に連結された明るい端部のように見える。さらに、生成された画像516・518は、一方向にのみ大きくなり、重複の可能性が最小限に抑えられる。
【0066】
ある態様では、本発明は、2つの絞り開口のシステムとして考えられ、2つの絞り開口画像を物理的に撮像装置上で単に連結することによって、マッチングの曖昧さが除去される。(点光源ではなく)絞り開口を通った大きい被写体を撮像させるとき、3つの画像を見ることができる。中央画像は被写体画像であり、外側の他の2つの画像は、回折およびレンズ効果の結果形成される。この被写体の尺度が小さくなるにしたがって点光源に近づき、極端な場合、点光源の被写体の画像は、絞り開口と同じ形状を有する。
【0067】
(3.2)軸外デフォーカス絞り開口と共にある大きな中央絞り開口
「光」という文言は、本発明の様々な実施形態を説明する際に用いられうるが、本発明は、電磁スペクトルの任意の部分(マイクロ波、赤外線、紫外線およびX線を含むがこれに限定されない)の使用に適していることに留意されたい。「光」との文言は、例示的な目的で使用されるのであり、本発明の範囲を、電磁スペクトルの可視部分に限定する意図はない。
【0068】
図5Gに示すように、ミスマッチの問題は、少なくとも1つの軸外デフォーカス絞り開口558と共に大きな中央絞り開口556を用いることによっても緩和できる。中央絞り開口556は、典型的なカメラの中にあるような中央可変絞り開口でありえる。この中央絞り開口556のFナンバーが、デフォーカス絞り開口558のFナンバーとは異なるので効果的である。これは、被写体561の実質的に完全な画像560が、中央絞り開口556を介して、常にセンサー562上に存在し、その上にデフォーカス絞り開口558からの非合焦ドット564が重なっていることを意味する。
【0069】
常に被写体画像があることは、3つの目的に役立つ。第1に、操作者は、これによりこの装置がどこを指しているかがわかることができる。第2に、この中央絞り開口により与えられた被写体画像は、デフォーカス絞り開口により撮像された点の物理的なx−y−z位置に一致し、被写体表面マップを作ることができる(以下の項4.0「パターンマッチング」参照)。最後に、装置により生成された被写体の二次元(2D)画像から正確なPOISE(位置および方向)の見積もりが可能になる。POISEを決めるための様々な方法は、当該分野では周知である。この見積もりを行うために、既存のPOISE方法は、背景画像の特徴または予め置かれたマークされた点を使用することができる。背景画像の特徴を用いる際には、異なるカメラ位置から中央絞り開口により得られた実像を適切に回転し、その歪みを正し、スケーリングすることにより、カメラ位置が得られる。光投影システムが用いられる場合、被写体上に投影され、中央絞り開口を通って撮像された光の点を用いて、カメラ位置を得ることができる。本発明と共に用いるのに適したPOISE方法の例は、米国特許出願公開公報2007/0103460A1号(ジャーン(Zhang)他、発明の名称「カメラの動きの決定(Determining Cameral Motion)」)、米国特許出願公開公報2007/0008312A1号(ジョウ(Zhou)他、発明の名称「パノラマを形成する二次元画像からカメラ位置を決定する方法(Method for Determining Camera Position from Two−Dimensional Images that form a Panorama)」)、国際出願PCT/US2006/060724号(3Mイノベーティブ・プロパティーズ社(3M Innovative Properties Company)、発明の名称「カメラの動きの決定(Determining Camera Motion)」)、および、ロウ・デヴィッド・G(Lowe, David G)著、「単一の二次元画像からの三次元被写体認識(Three−Dimensional Object Recognition from Single Two− Dimensional Images)」、アーティフィシャル・インテリジェンス(Artificial Intelligence)、31,3(1987年3月)、P.353−395に見ることができる。
【0070】
中央絞り開口は、位置付け(POISE)のために価値ある情報を提供するのだが、混雑も引き起こしうる。本発明のある実施形態では、図5Hに示すように、大きな中央絞り開口556を軸外デフォーカス絞り開口558と共に備えたシステムが、所定の光のパターン566を被写体561の表面上に投影するための光投影機564と合わせて用いられる。この所定のパターン566は、デフォーカス絞り開口558を通ってデフォーカスとなり、パターン画像568中のデフォーカス量を用いて、被写体561に関する深さ情報を決めることができる。この構成の潜在的な難点は、中央絞り開口が、全ての点のシフトされない(デフォーカスではない)画像も、投影パターン中に生成し、これが、デフォーカス絞り開口により生成された非合焦点と干渉しうるという点である。狭帯域光源を備えたドット投影システムを、投影光の波長を選択的にフィルタリングするために中央絞り開口556上の光学フィルター556(水平の線で表示)と共に用いることにより、中央絞り開口により生成されたシフトされない画像が除去されうる。さらに、デフォーカス絞り開口558上の共役フィルター(垂直の線で表示)は、投影光の波長のみを通過させることができるが、これを用いることにより、被写体の画像が軸外デフォーカス絞り開口を通って形成されるのを防ぎ、被写体画像560がぼやけないように保つことができる。
【0071】
さらに、複数のデフォーカス絞り開口を用いる際、デフォーカス絞り開口が中央絞り開口に対して非対称に置かれる場合には、点の画像はこの区別も含み、画像の方向により、形成点がレンズの焦点面の前方にあるのか後にあるのかが示される。この技術は、上述の単一の非対称絞り開口を用いた場合と同じ機能を果たす。
【0072】
最後に、中央絞り開口を追加することにより、2つのデフォーカス絞り開口システムを備えたシステムに、有益な参照情報を提供することができるが、3つ以上のデフォーカス絞り開口を備えたシステムへこれを適用することに関しては限りがない。
【0073】
(3.3)電子的にマスクされた絞り開口
図6Aおよび図6Bを参照すると、電子的にマスクされた撮像系600が、レンズ602、絞り開口板604、複数の窓を有する電子的な絞り開口606、センサー608、および、センサー608と絞り開口板604と通信するプロセッサ610を有することが示されている。適切な絞り開口板604の非限定的な例には、液晶表示(LCD)が含まれ、これは、獲得センサー608と完全に同期化されてもよい。ある態様では、感度は、絞り開口の「軸外度合い(off−axisness)」を変えることにより制御されてもよい。反射光616が、レンズ602、および、複数の窓を有する電子的な絞り開口606の多くの窓のうちの1つを選択的に通過できるようにすることにより、照射された被写体614が再構成されうる。
【0074】
図6Aに示すように、複数の窓を有する電子的な絞り開口606の第1の窓612は、光618を透過させ、センサー608により検出される第1の点620を生成する。第1露光の間、第1の開いた窓612の位置情報が、プロセッサ610により記録される。
【0075】
第2露光を得るために、複数の窓を有する電子的な絞り開口606の第2の窓が開かれる。図6Bに示すように、複数の窓を有する電子的な絞り開口606の第2の窓622は、光624を透過させることができ、センサー608により検出される第2の点626を生成する。第2露光の間、第2の開いた窓622の位置情報が、プロセッサ610により記録される。第1の点620および第1の開いた窓612位置情報、ならびに、第2の点626および第2の開いた窓622位置情報は、その後、第1露光からの第1の点620を、第2の点626の情報とマッチングさせるために用いられる。
【0076】
(4.0)パターン投影によるパターンマッチング
対象の被写体が、その形状がマッチングされるべき表面である場合、マーカーの予め決められたパターンがその表面上に投影され、投影されたマーカーの相対的な位置を測定することにより、検出される画像中の点がサンプリングされうる。センサーが許容する撮像されるドットの密度上限は、撮像系の限界である。各図中で点が特定されると、同じ点が両方の図中に存在するか否かのみが問題となる。別の態様では、マッピングされるべき大きな塊(volum)が、ある大きな塊中に非対称のセルの集合を含んでいる場合、セルの形状と方向とを、図同士のマッチングにおける追加的な制約として用いることができ、したがって、ミスマッチが生じうる可能性を低減することができる。これを「特徴マッチング」と称する
【0077】
図7Aを参照すると、対象の被写体の表面上に投影するのに適した、アドレス可能な雛型パターン700が示されている。アドレス可能な雛型パターン700は投影され、または、目標とする表面上に物理的に置かれ、被写体から様々な距離(Z)だけ離れた位置で、撮像系により獲得される。ある態様では、アドレス可能な雛型パターン700は、識別可能な中央点702を備えた格子パターンの形状を有する。
【0078】
図7Bを参照すると、アドレス可能な雛型を用いて撮られた、目標とする被写体の獲得画像704が図示されている。図示されているように、獲得された画像704中で、いくつかのドット706・708・710・712は欠如している。
【0079】
図7Cを参照すると、一部の格子714を用いた獲得画像704が示されている。アドレス可能なパターン702が正しく並んでいる場合、識別可能な源を有する格子パターン714は、必要とされる視点の数または画像獲得を2つに減らすために、「構造化されたパターンマッチング」という手法を採用可能である。コンピュータで読み取り可能な媒体上に記憶されているか、または、プロセッサで実行可能であるアドレス指定を行うアルゴリズムは、雛型パターンによるアドレス可能な雛型パターン700中の各ドットの「相対的なアドレスを見つける」ために、各絞り開口の画像を処理する。適切なアドレス可能な雛型パターン700の非限定的な例を図7Aに示す。アドレス指定を行うアルゴリズムは、アドレス可能なパターン704の変形を許容するようにある程度の許容誤差を有する(図7Bおよび図7C参照)。アドレス可能なパターン704の変形は、元のアドレス可能な雛型パターン700(図7A参照)と対比してみると顕著である。さらに、アドレス指定を行うアルゴリズムは、獲得された画像704中の実体の欠如706・708・710・712を扱うこともできる。アドレス可能な雛型パターン700上のある点が、アドレス可能なパターン704中に現れなかった場合に情報の欠如が生じると考えられる。
【0080】
図7Cの中央サンプル716の再構成された図を、図7Dに示す。同じアドレスを有するドット対それぞれに対してZを演算することにより、点が再構成される。欠如したドット対に関しては、再構成は行われない。
【0081】
(4.1)パターン投影機(非レーザー)
「光」という文言は、本発明の様々な実施形態を説明する際に用いられうるが、本発明は、電磁スペクトルの任意の部分(マイクロ波、赤外線、紫外線およびX線を含むがこれに限定されない)の使用に適していることに留意されたい。「光」との文言は、例示的な目的で使用されるのであり、本発明の範囲を、電磁スペクトルの可視部分に限定する意図はない。
【0082】
図8Aを参照すると、非レーザーパターン投影機800および撮像系802が図示されている。非レーザーパターン投影機800は、撮像系802の撮像レンズ806と同じレンズ804を有する。非レーザーパターン投影機800のこのレンズ804は、撮像系802のレンズ806と等価の距離分だけ、ビームスプリッター808から離れて置かれている。これにより、投影された点812の主光線810を、撮像系802のセンサー816により検出された主光線814と一致させることができる。したがって、投影された点812と撮像レンズ806の焦点面820との間の距離が変化した場合さえ、検出された画像中の投影されたパターン818は動いていないように見える。これにより、いくつかの点(例えば、ドット)が欠如している場合でさえ、アドレス可能なパターン818の特定がはるかに容易になる。
【0083】
前提条件は、各視点からの画像が物理的に分離されていることである。これは、もちろん、写真測量法などの複数センサーシステムにおいては当てはまるのであるが、デフォーカス概念(単一のレンズ上の複数の絞り開口が、単一のセンサー上に撮像する)などの場合には、特別な注意が必要である。
【0084】
光822が、パターンステンシル824およびレンズ804(実質的に、撮像レンズ806と同じであるレンズ)を有する投影機レンズ系826を通過することにより、投影されたパターン818が生成される。
【0085】
単一のレンズ系では、絞り開口画像は分離されなくてはならない。これは、プリズム(図8Bおよび図8C参照)または光ファイバー束を用いて達成する。これにより各絞り開口が分離されたセンサー上に投影される。あるいは、センサーが色センサーである場合、物理的にマスクされた絞り開口(図8Dおよび図8E参照)を用いて達成される。
【0086】
図8Bを参照すると、2つのオフセットプリズムおよび2つのセンサーを有するシステム828が示されている。このシステム828は、マスクおよび2つのスリットを有する絞り開口838より後方にある、第1プリズム830、第2プリズム832、第1センサー834ならびに第2センサー836を有する。第1プリズム830および第2プリズム832は、2つのスリットを有する絞り開口838からの入射光840・842をオフセットし、第1プリズム830および第2プリズム832からの透過光が、分離されたセンサー834・836により検出されるようにする。2つのスリットを有する絞り開口838が、光の固有の特性に基づいて情報を符号化するために用いられる場合、あるいは、アドレス可能なパターン技術が採用された時のように光が分離されねばならない場合には、このような構成が用いられてもよい。適切な固有の特性の非限定的な例には、限定されるのではないが、周波数、複数の周波数、符号化され透過された光検出画像の偏光が含まれる。
【0087】
図8Cを参照すると、1つの銀メッキのオフセットプリズムと2つのセンサーとを有するシステム844が示されている。このシステム844は、マスクおよび2つのスリットを有する絞り開口852より後方にある、銀メッキプリズム846、第1センサー848ならびに第2センサー850を有する。銀メッキプリズム846は、2つのスリットを有する絞り開口852からの第1の入射光束854をオフセットし、銀メッキプリズム846からの透過光が第1センサー848により検出されるようにする。あるいは、2つのスリットを有する絞り開口852を通過した光856は、第2センサー850上で別々に検出されてもよい。
【0088】
図8Dを参照すると、3つのCCDセンサーを集めたシステム858が示されている。このシステム858は、マスクおよび2つのスリットを有する絞り開口862の後方にある3つのCCDセンサー860を有する。このCCDセンサー860は、青色センサー862、緑色センサー864および赤色センサー866を有する。プリズム系868は、2つのスリットを有する絞り開口856からの第1入射光束870をオフセットし、このプリズム868からの透過光が、赤色センサー866により検出されるようにしうる。あるいは、2つのスリットを有する絞り開口852を通過した光872は、別々に緑色センサー864上で別々に検出されてもよい。
【0089】
図8Eは、狭帯域ミラーセンサーを集めたシステム874を示す。このシステム874は、マスクおよび2つのスリットを有する絞り開口878の後方に位置づけられた狭帯域ミラー876、2つのスリットを有する絞り開口878、ならびに、第1センサー880および第2センサー882を有する。この狭帯域ミラー系876は、2つのスリットを有する絞り開口878からの入射光束884をオフセットし、この狭帯域ミラー系876の透過光が、第1センサー880により検出されうるようにする。あるいは、2つのスリットを有する絞り開口878を通過した光886が第2センサー882上で別々に検出されてもよい。
【0090】
(4.2)パターン投影機(レーザー)
任意のレンズは、2つの「主平面」により表現されうる。この主平面の位置は、このレンズの関数に過ぎず、(ある点の画像の中央線を規定する)主光線は全て、軸上で第1の主平面に入り、第2の主平面を出るように動く。
【0091】
前方の主平面と視野との位置測定を用いることにより、所望のパターンを有する回折格子を作って、レーザー投影機からのビームが、撮像されたドットの主光線と一致するように位置づけることができる。したがって、投影されたドットと撮像レンズの焦点面との間の距離が変化する場合さえ、投影されたパターンは、画像中で動いていないように見える。これにより、いくつかのドットが撮像されていない場合でさえ、アドレス可能なパターンの検索がはるかに容易になる。
【0092】
複合レンズを通る複雑な光線追跡(光線が、全ての空気/ガラスの界面で屈折するような場合)は、光線が屈折する2つの平面で数学的に表現可能である。したがって、左側の画像が、「実際の」光線追跡を示し、右側の画像は、このようなレンズの数学的表現を示す。これらの表面は、第1のガラス界面に入り、最後のガラス界面を去り、レンズ軸を交差するためにこれらを広げる、主(chief)光線(「主(principal)光線」とも称される)を用いることにより見つけられる。この交差点が、上述の平面の位置の印となる。
【0093】
したがって、まず始めに較正を行い(これは、格子をいくつかのZ距離で撮像することにより行う)、次に、これらの2つの面がどこにあるのか、および、視野角度はいくらであるのかを見つけるために、最小二乗適合法を行う。次に、視野角度に合うように回折格子をカスタマイズし、ビームスプリッターからの距離を第1主平面からの距離と同じ距離にしうる。したがって、レーザー光線は、主光線とまさに同じ光路をたどる。
【0094】
作動においては、ある被写体がレンズに近づくに従い、画像中の被写体は大きくなる。これは、被写体の縁が、画像上で、横方向に動くことを意味する。同じことが、カメラの前で表面上に投影された任意のパターンに関しても該当する。図9で示した態様と同じように光線を正確にマッチングさせることによりZ位置に関わらず、いずれの点も全く横方向には動かない。
【0095】
ここで、2つの孔を有する絞り開口マスクが加えられると、対応するドットは、ここでも互いに対して離れて動く。(ドット(画像)は、周辺(外側光線)により形成される。)しかし、主光線が横方向には動かないので、対応する「マッチ形状」の重心は、横方向には動かない。考えられるのは、アドレス可能なパターンの識別可能なドットが位置づけられると、マッチの重心を見つけることができる。このパターンが横方向には決して広がらないことがわかっていることにより、パターン上のこれ以外の全点の重心がどこにあるべきかがわかり、これが、点の「アドレス化」を支援する。
【0096】
この点が従来のアドレス可能なパターン検索とは異なる点である。従来のアドレス可能なパターン検索では、点が全て互いに対して動き、その結果、表面のZの変化が大きくなりすぎ、パターンが再構成できなくなりえる。
【0097】
図9を参照すると、レーザーパターン投影機システム900および撮像系902が図示されている。このレーザーパターン投影機システム900は、レーザー投影機904およびフィルタリング用マスク906を有する。このフィルタリング用マスク906は、投影機904からの光を、50%ビームスプリッター908上に選択的に通過させる。レーザー投影機904およびフィルタリング用マスク906は、ビームスプリッター908と一列に並び、これにより、投影された点912の主光線910は、撮像系902のセンサー916により検出された主光線914と一致する。したがって、投影された点912と撮像レンズ906の焦点面920との間の距離が変化する場合さえ、投影されたパターン918は、検出された画像中で動いていないように見える。これにより、いくつかの点(例えば、ドット)が欠如している場合でさえ、アドレス可能なパターン918の特定がずっと容易になる。
【0098】
(5.0)撮像方法
図10を参照すると、被写体表面の二次元または三次元表現を作成するための、画像獲得および画像処理の工程を示すフローチャートが示される。任意の単一レンズ装置が、撮像レンズ、識別可能な画像を生成できるように構成された絞り開口、センサーおよびプロセッサを含むように形成または修正される。
【0099】
撮像過程は、被写体表面を照射する行為1000から開始する。被写体表面は、撮像系または適切な外部光源により照射されうる。光は、被写体表面より反射され、絞り開口を透過する(行為1010)。この絞り開口は、撮像レンズの撮像レンズ面中、撮像レンズの前方もしくは撮像レンズの後方に置かれるか、アクセス可能な場合撮像レンズの絞り開口面に適用されるか、または、リレーレンズ系を介してアクセス可能としうる。
【0100】
光が絞り開口を通って移動する際、絞り開口を用いて、多くの方法でセンサーが受け取る情報を符号化しうる。センサー上に識別可能な画像を生成する行為1020用に光を符号化しうる適切な方法の非限定的な例には、限定されるのではないが以下が含まれる。すなわち、光の特性に応じて透過光にフィルターをかける方法(例えば、波長または偏光によりフィルターをかけるなどの)、時間の関数として光を透過させる方法(例えば、識別可能な画像を、時間の関数として、絞り開口を通過可能にするなど)、または、絞り開口の形状を物理的に変えて、一連の異なる形状を有するようにして、この絞り開口を通過する通過光が、識別可能な形状に基づく画像を生成する方法が含まれる。
【0101】
追加的な画像を獲得する行為を行うか否かをシステムが決定するのを支援する行為1030を実装することもできる。この行為は、さらに、獲得画像の適切さを秤量するよう補強されてもよい。例えば、露光中に過度の移動が行われていた画像がセンサーにより検出された場合、この画像は、アルゴリズムにより放棄されてもよい。この場合、最後に獲得された画像が放棄され、過程は、被写体の照射行為1000から再獲得される。別の態様では、受け取った画像は処理に適したものでありうるが、しかし、より多くの画像獲得が必要である(行為1030)。この場合、アルゴリズムをさらに補強するために、さらなる決定を追加可能である。この一例は、撮像系の視点を調節すべきか否かの決定する行為1040を追加することであるだろう。撮像装置の位置または被写体の所望の領域を移す必要があれば、撮像系または目標とする被写体のいずれかが、視点を調節する行為1050のために変えられてもよい。
【0102】
画像の全てまたは少なくとも一部分が獲得されれば、各画像内での点間の関係または点情報間の関係を用いて、各点に対する相対的なまたは絶対的な距離情報を演算または決定する行為1060が行われる。距離情報がわかれば、この情報は、この距離情報を用いて被写体の表現(例えば、3Dマッピング)を生成する行為1070用のアルゴリズムに供給されうる。
【0103】
(6.0)画像マッチング
複数の露光獲得を必要とする大きな被写体または応用では、画像マッチングにより、被写体表面を再び作成するために、関連する画像獲得を互いに結び付ける方法が提供される。目標とする被写体を再び作成する必要はないが、目標とする被写体に対する撮像系の相対的な位置がわかっているとき、画像マッチングにより、正確な測定尺度を用いて目標とする被写体を再び作成する能力が提供される。デジタルキルティングとも称される画像マッチングは、アドレス可能なパターンの雛型画像を用いることにより、一般に多いに支援される。ある態様では、アドレス可能なパターンの投影機を、物理的に獲得装置に結び付けてもよい。別の態様では、アドレス可能なパターンの投影機は、獲得装置に依存せずに動いてもよいが、獲得装置より見えるパターンがアドレス可能であるように動く。
【0104】
撮像装置は、アドレス可能なパターンの雛型画像を初期位置で獲得する。このアドレス可能なパターンの雛型画像は、通常X、YおよびZ平面において固定の数の点を有する。その後、撮像装置の位置を調節して、第2のアドレス可能なパターンの雛型画像を第2位置で獲得する。移動制約を越えると決定された調節位置は無視するとの予防的措置をとってもよい。第2位置または調節された位置は、個々の6つの可変の平行移動および回転により、初期の撮像装置の位置に関連付けられる。新しい位置で獲得された画像は、部分的に第1の雛型画像と重複し、実質的に類似数の点を有しているという点により、通常、調節された位置は初期位置に関連付けられる。
【0105】
作動においては、少なくとも1つの外殻が、プロセッサにより生成され、または、ユーザーにより手動で強調表示される。この外殻は、アドレス可能なパターンの雛型画像およびアドレス可能なパターンの表面画像内の全ての点を囲む。全ての場合にそうであるとはいえないが、アドレス可能なパターンの雛型画像の外殻の外側にある点は、放棄してもよい。アドレス可能なパターンの表面画像中の点の内殻も複数個生成される。この内殻は、個々の6つの可変の平行移動および回転による、複数の殻の交差内の獲得間の最大限許容可能な変位の関数である。誤差は、アドレス可能なパターンの表面画像上にある点とアドレス可能なパターンの雛型画像との間の差から演算してもよい。
【0106】
殻が生成されたら、アドレス可能なパターン情報が、マッチングアルゴリズムを用いて処理される。このマッチングアルゴリズムは、アドレス可能なパターンの表面画像上の各点と、アドレス可能なパターンの雛型画像上の対応する点との間の距離を決定するように構成されている。各マッチングされた点は、その個体の移動により、複数の内殻から形成され、高解像度のデータセットを形成するために回転により1つにまとめられる。
【0107】
何百または場合によっては何千もの獲得をマッチングすると、このよく規定された点の大群は、個体の平行移動および回転により1つにまとめられる。目標とする被写体の特徴を回復するのに十分なマッチング点が存在するか否かを決定するように、アドレス可能なパターン情報を用いたアルゴリズムを適応させてもよい。よく規定された点の大群が作成されると、この高解像度点の大群を用いて、標準的なアルゴリズムまたは市販のパッケージを介し、補間あり又はなしで、高解像度の表面(ナーブおよびメッシュなど)を生成または出力することができる。このような標準的なアルゴリズムまたは市販のパッケージは、例えば、ジオマジック(Geomagic)社製のジオマジック・スタジオ(Geomagic Studio)である。ジオマジック(Geomagic)社は、アメリカ合衆国、27709、ノースカロライナ州、リサーチ・トライアングル・パーク、3200 イースト・ハイウェイ 54、ケープフィアービルディング、300号室(3200 East Hwy 54, Cape Fear Building, Suite 300, Research Triangle Park,NC,27709)在である。
【0108】
この適合は、全ての誤差が、この装置の精度の関数である、ある閾値以下であれば十分であると考えられている。これが行われれば、調節された位置における第2の獲得が雛型となり、次の獲得が、これにマッチングする表面となる。マッチングアルゴリズム中のアドレス可能なパターン情報の頑健さにより、十分な獲得が得られるまで表面形状を補間することなく、小さいセットを小さいセットにマッチングさせることができる。
【0109】
図11は、画像の再構成を支援するために、アドレス可能なパターンを使用することを示すフローチャートである。表面特徴獲得時にアドレス可能なパターンを用いるのは、分離可能な視点の三次元撮像システム中で用いられる対応検索を迂回する方法の1つである。
【0110】
開始過程1100が、多数の画像を獲得する行為で始まるが、各画像がアドレス可能なパターンを含む(アドレス可能なパターンで照射される)(行為1102)。通常、各画像は、異なる視点から撮られるが、アドレス可能なパターンは、被写体の表面輪郭に関して静止している。複数の画像はそれぞれ、アドレス可能なパターン情報の少なくとも一部を有し、少なくとも1つの点は、目標とする被写体の少なくとも一面を表現する。当業者は、被写体がその上に様々な点を有しうると理解するであろう。各点は、これから行われる被写体の再構成に関する重要な情報を提供しうる。
【0111】
画像中の各点に対してアドレスが割り当てられる(アドレス化行為1110)。一般的に、アドレス可能なパターンは、アドレス化行為1110中で支援するために参照される被写体上の一連のプロットを提供する。重要であるのは、アドレス可能なパターンは、対称形である必要はなく、通常の一連のマーカーまたは画像を包含する。適切なアドレス可能なパターン情報の非限定的な例には、色シーケンスパターン、異なる形状を有する被写体を有するパターン、および、位置シーケンスパターン、識別可能な被写体特徴または被写体ランドマーク、もしくは、これらの組み合わせが含まれる。アドレス可能なパターンの画像は、種々の方法で、被写体表面上に置かれうる。この適切な方法の非限定的な例には、アドレス可能なパターンの画像を被写体表面上に投影する方法、アドレス可能なパターンの画像を被写体表面上に物理的に置く方法、および、源としての撮像される被写体に固有の特徴を用いる方法が含まれる。
【0112】
追加的な画像を獲得する行為を行うか否かをシステムが決定するのを支援する行為1120を実装してもよい。この行為は、さらに、獲得画像の適切さを秤量するよう補強されてもよい。例えば、露光中に過度の移動が行われていた画像がセンサーにより検出された場合、この画像は、アルゴリズムにより放棄されてもよい。この場合、最後に獲得された画像が放棄され、過程は、被写体の照射行為1102から繰り返される。別の態様では、アドレス可能なパターンを用いて受け取った画像は処理に適したものでありうるが、しかし、被写体を再構成するために、より多くの画像獲得が必要である。この場合、アルゴリズムをさらに補強するために、さらなる決定過程を追加可能である。この一例は、撮像系の視点を調節すべきか否かの決定(行為1130)を追加することであるだろう。撮像装置の位置または被写体の所望の領域を移す必要があれば、撮像系または目標とする被写体のいずれかが、視点を調節する行為1140のために変えられてもよい。
【0113】
画像の全てまたは少なくとも一部分が獲得されれば、各画像内での点間の関係または点情報間の関係を用いて、各点に対する相対的なまたは絶対的な距離情報を演算または決定する。距離情報がわかれば、この情報は、この距離情報を用いて被写体の表現を生成する行為1160に供給される。
【0114】
図面および関連する詳細な説明は、本発明の実施形態を図解するために提供されるものであり、本発明の範囲を限定する目的で提供されるのではない。明細書中の「1実施形態」または「ある実施形態」への言及は、この実施形態に関連して記載された特定の特徴、構造または特性が、少なくとも本発明の1実施形態中に含まれることを示すことを意図する。明細書中の種々の箇所において記載した「1実施形態中」または「ある実施形態中」との語句は、必ずしも全て同じ実施形態を言及したのではない。
【0115】
別途、文脈的に必要としている場合を除いて、本開示中で用いられる、「有する(comprise)」という語句およびその変化形(“comprising”、“comprises”および“comprised”)には、他の添加物、要素、整数または工程を排除する意図はない。
【0116】
また、本実施形態は、フローチャート、フローダイヤグラム、構造図またはブロック図として表した過程として開示されている点に留意されたい。フローチャートは、作動の種々の工程を、順序だてた過程として開示しうるが、多くの作動は、並行的にまたは同時に実施されうる。図示した工程は、限定的な意図はなく、示した各工程が方法にとって本質的であるとして示す意図はなく、例示的な工程のみである。
【0117】
上述の明細書で、本発明は特定の実施形態を参照して記載した。しかしながら、本発明のより広い精神および範囲を離れることなく、種々の修正および変更を行ってもよいことは明らかである。したがって、明細書および図面は、制限的な意味合いではなく、例示的な意味合いで考えられるべきである。本発明は、このような実施形態によって限定されると解釈されるべきではないと理解されるべきである。
【0118】
上述の詳細な説明から、本発明は多くの利点を有することが明らかであり、本願中で説明したものもあり、本発明の実施形態中で本来的なものとして記載されたり特許請求されたものもある。修正は、本願中に記載した主題の教示を離れることなく、本願中に記載した装置、装置(apparatus)および方法に対して行われうるという点も理解される。本発明はこのようなものとして、添付の請求項で要求していない限り、記載した実施形態に限定されない。
【技術分野】
【0001】
本発明は、三次元(3D)撮像装置および方法に関し、とりわけ、偏光で符号化された絞り開口マスクを偏光に感度を有するセンサーと組み合わせて用いた単一レンズ3D撮像装置に関する。
【背景技術】
【0002】
本願は非仮特許出願であり、米国特許仮出願第60/881,776号(2007年1月22日出願、発明の名称「デフォーカス技術に基づく単一レンズ三次元撮像装置」)、米国特許仮出願第60/881,779号(2007年1月22日出願、発明の名称「デフォーカス技術に基づく携帯用三次元マッピング装置」、および、米国特許仮出願第60/881,762号(2007年1月22日出願、発明の名称「カメラベースの定量三次元撮像システムにおける必要な視点の数を低減する方法」)、米国特許仮出願第60/925,918号(2007年4月23日出願、発明の名称「単一レンズ、単一絞り開口、単一センサー3D撮像装置(Single− lens, Single−aperture, Single−sensor 3−D Imaging Device)」)、米国特許仮出願第60/926,010号(2007年4月23日出願、発明の名称「偏光で符号化された絞り開口マスクを偏光に感度を有するセンサーと組み合わせて用いた単一レンズ三次元撮像(Single Lens Three−Dimensional imaging using Polarization−Coded Aperture Mask Combined with a Polarization−Sensitive Sensor)」)、米国特許仮出願第60/926,023号(2007年4月23日出願、発明の名称「単一センサーを用いたデフォーカスに基づく静的および動的3D撮像用の空間的に偏向したピンホール形状および位置(SDPSP)を有する絞り開口システム(An Aperture System with Spatially Biased Pinhole Shapes and Position (SDPSP) for Static and Dynamic 3−D Defocusing−Based Imaging with Single Sensor)」)による優先権主張をする。
【0003】
三次元(3D)撮像は、撮像技術改良の恩恵を受ける常に進化し続けている分野である。強化された三次元撮像は、例えば、(定量的三次元撮像により)撮像された被写体の定量的な情報を生成するなど、多様な目的に使用可能である。しかし、現在の撮像技術は、定量的な三次元撮像を十分支援することはできていない。例えば、撮像系の焦点面上にない点が、撮像系により撮像される時、センサーにより検出された獲得点は、デフォーカスであるといわれる。撮像系が大きな絞り開口を有する場合、この非合焦点は、ぼやけて現れる。したがって、点の画像のぼやけは、点から焦点面への空間距離を定量的に決定するために用いられうると提案されている。また、焦点面の位置を知ることができれば、撮像系を用いて定量的な三次元撮像を行うことができると提案されている。点の三次元位置を再構成するためには、ぼやけた円盤の大きさおよび/または強度(Z)と、センサー上の点の位置(X、Y)とを測定することのみが必要である。
【0004】
しかしながら、実践的には、このようなシステムを効果的に実現するのは難しい。第1に、ぼやけた画像は、センサー上の多大なスペースを占有するので、重複する画像を分離する洗練されたアルゴリズムが必要である。第2に、(焦点面が光学系に非常に接近していない限り)光学系に入射する光量は、合焦点(focused point)と非合焦点(defocused point)との間で感知できるほど変わらない。したがって、ぼやけた画像も、合焦画像と同じ量のエネルギーをセンサー上へ投射するが、より大きな面積に広がっている。デフォーカス画像の強度は、その面積に反比例しており、その結果、ぼやけに基づいて焦点面と点との間の距離を定量的に測定するには、極端に大きい動的範囲を有するセンサーが必要である。実際のレンズでは回折効果もあり、これにより、ぼやけた画像が、ある深度領域では、広いガウス分布というよりはむしろ輪形状に見え、ソフトウェア処理がより複雑になる。例えば、非特許文献1を参照されたい。レンズ収差または回折がない場合でさえ、深度情報はぼやけたスポットの直径の測定結果より導きだされるので、撮像された点の強度がこの測定結果に影響を与えるという事実により、画像処理は複雑になる。例えば、2つの非合焦点A・Bが同じデフォーカス量を有するが、点Aのほうが点Bよりも明るい場合、点Bの画像は、その場面において背景照度から同じように浮き上がっていないという理由だけで、通常、点Aの画像よりも小さな直径を有するものとして測定されるであろう。
【0005】
元来の「デフォーカス」の概念では、このようなぼやけに基づくシステムにおける深度情報は、画像を形成する光線束の周辺(外側)光により伝えられる。例えば、非特許文献2を参照されたい。撮像系の感度を決定付けるのは、これらの光線がセンサー面となす角度である。したがって、画像を形成するために周辺光のみが通過できるように、撮像系中に小さな絞り開口を軸外に置くことによる等価の測定も可能であるべきである。もし上述のように、ぼやけシステムが、その大きな絞り開口を小さな絞り開口に代えて、大きい絞り開口の周辺部の任意の場所に有する場合、非合焦点の画像は、ぼやけ画像の周辺にあったであろうものの上に位置する小さな点となる。結果として得られるのは、ぼやけたスポットの大きさにより伝えられる深度情報ではなく、はるかにより小さいスポット中にある横方向のオフセットにより伝えられる深度情報である。画像上のスポットの位置の測定における感度は、その大きさを測定するよりも、強度差に対する感度がずっと低い。
【0006】
小さな絞り開口を用いることにより、ぼやけに基づくシステムに伴う動的範囲の問題は緩和されるが、これは、小さな絞り開口の大きなFナンバーにより、回折ぼやけ(デフォーカスぼやけではなく)が画像中の主なぼやけの原因になるからである。これは、焦点面からの距離が長い領域では、画像がほぼ同じ大きさになることを意味する。
【0007】
軸外絞り開口を用いるということは、空間内の点の位置の再現が、ここで、単一の点のセンサー上のすべての画像を見つけ、これらの画像間の距離を測定することを含むということを意味する。画像は、絞り開口構成と同じパターンで現れる。例えば、正三角形の頂点として、3つの小さな絞り開口が用いられる場合、非合焦点の画像は、正三角形中に配された3つの小さなスポットとなる。絞り開口の三角形に対するこれらの画像の三角形の方向(orientation)により、非合焦点が焦点面の前方(ahead of)ないし前(in front of)にあるか否かがわかる。さらに、画像の三角形の大きさは、非合焦点と焦点面との間の距離に関連する。合焦点の場合は、この三角形の大きさはゼロになり、これは、全ての3つの画像が互いに重なり合うことにより生じる。三角形は、デフォーカスの量が増加するにつれ、大きくなる。複数の小さな画像は、1つの大きなぼやけた像よりも、センサー上で占有するスペースが小さく、したがって、この構成により重複問題が緩和される。
【0008】
再現におけるマッチング問題は、新しい問題を引き起こす。撮像される被写体が、特徴のない点の集合である場合、画像は識別不可能となり、その相対的な位置によってのみ(例えば、ある画像上中の正三角形を形成するある許容誤差内の全てのドットを見つけることによって)マッチング可能である。この比較的緩やかなマッチングの基準では、ミスマッチまたは「ゴースト」の数を減らすために、3つ以上の絞り開口を用いることが必要となる。
【0009】
単一の軸外絞り開口は、深度情報を記録するが、しかし、Zは、撮像される点の面内位置から分離することはできない。2つの絞り開口は、深度情報を記録し、かつ、Zに依存せずに面内位置を抽出可能となる。実地では、2つの絞り開口のみで、ランダムな点の大群を再現することは不可能であるが、これは、画像がミスマッチされる際には、多くのゴースト粒子が生成されるからである。さらに、2つの画像のみから、ある粒子が焦点面の前または後にあるかを知ることは不可能である。3つの絞り開口により、ミスマッチは低減され、粒子から焦点面への距離の符号が、複数画像により形成された三角形の方向によりわかる。例えば、非特許文献2を参照されたい。
【0010】
デフォーカス概念の元来の実地での実装は、3つの軸外絞り開口を備えた単一のレンズからなり、これらの3つの軸外絞り開口が1つの白黒センサー上に撮像することよりなる。(すなわち、3つは、許容可能な結果を生じさせるための絞り開口の最低限の数であると考えられた。)デフォーカス測定は、焦点面に対して相対的な点の位置の測定であるので、所望の点の絶対的な位置を知るために、装置の位置を知ることが必要である点に留意すべきである。
【0011】
この3つの軸外絞り開口が、1つの白黒センサー上へ撮像するのにも欠点がある。領域内の点の密度が高いときには、センサーの過密は、まだ問題となる。この場合、各点は、センサー上に3つまでの画像を有し、まだ、動的範囲の問題が存在する。(すなわち、焦点面上の点は、センサー上で合致する3つの画像を有し、したがって、非合焦点よりも3倍明るく見える。)動的範囲の問題は、選択的にこの体積を照射し、焦点面上の点を撮像しないようにすることにより、克服されうる。
【0012】
特許文献1および特許文献2に記載されているように、過密問題の1つの解決方法は、各絞り開口を別のセンサーを用いて撮像させることである。これにより、マッチング基準が増えるが、これは、この場合画像上の各スポットが、絞り開口構成の頂点のうちの1つのみになりうるからである。各スポットの源(絞り開口)がわかるので、マッチング過程の曖昧さが少し低減する。
【0013】
さらに、センサーを追加する(例えば、電荷結合素子(CCD))ことにより、1つのセンサーシステムに比較して、製造の複雑さが増すことに加えて、コストが高く、サイズがより大きくなるという欠点がある。複数のセンサーの配置は、その配列、構造安定性に対する課題をもたらす。複数センサーは、温度、振動およびこれ以外の環境影響効果により異なる影響を受け、較正誤差が生じがちである。
【0014】
上述の理由により、マッチング問題を緩和または解消する定量的な三次元撮像系の必要性が存在する。この撮像系は、簡素性および小型化のために、単一のレンズかつ単一のセンサー構成で実現可能であり、また、所望の場合、複数レンズかつ複数センサー構成へと容易に拡張可能であるべきである。
【先行技術文献】
【特許文献】
【0015】
【特許文献1】米国特許第6,955,656号明細書
【特許文献2】米国特許第7,006,132号明細書
【非特許文献】
【0016】
【非特許文献1】ウー・M(Wu,M.)、ロバーツ・J・W(Roberts,J.W.)およびバックレー・M(Buckley,M.)著、「単一カメラを用いたミクロン尺度の蛍光粒子の三次元追跡(Three dimensional fluorescent particle tracking at micron−scale using a single camera)」、液体における実験(Experiments in Fluids)、2005年、38巻、461−465頁
【非特許文献2】ウィラート・C・E(Willert,C.E.)およびガリブ・M(Gharib,M.)著、「単一カメラを用いた三次元粒子撮像(Three−dimensional particle imaging with a single camera)」、液体における実験(Experiments in Fluids)、1992年、12巻、353−358頁
【発明の概要】
【発明が解決しようとする課題】
【0017】
本発明は、三次元(3D)撮像装置および方法に関し、とりわけ、偏光で符号化された絞り開口マスクを偏光に感度を有するセンサーと組み合わせて用いた単一レンズ3D撮像装置に関する。
【課題を解決するための手段】
【0018】
この装置は、1つのレンズと、レンズを遮る偏光で符号化された(polarization-coded)少なくとも1つの絞り開口と、被写体から出て、かつレンズと偏光で符号化された少なくとも1つの絞り開口とを通過した電磁放射線を獲得するために動作可能な偏光に感度を有するセンサーと、センサー情報を処理するため、かつ被写体の3D画像を生成するために、センサーと通信可能に接続されたプロセッサとを有する。
【0019】
別の実施形態では、マスクは、互いに区別できる偏光で符号化された2つの絞り開口を有し、2つの絞り開口の偏光は、相対的にほぼ垂直であり、ここで、偏光に感度を有するセンサーは、各絞り開口により生成された画像を区別するように構成され、これにより、ミスマッチを最低限に抑える。
【0020】
本発明のさらに別の実施形態では、偏光で符号化された少なくとも1つの絞り開口は、絞り開口の偏光が露光間で変わるように回転し、これにより、異なる露光に関する同じマーカーの像の間の距離から、深度情報が演算可能である。
【0021】
当業者には理解されるであろうが、本発明は、対応する3D撮像方法も含み、この方法は被写体から出て、かつ1つのレンズと、偏光で符号化された少なくとも1つの絞り開口とを通過した電磁放射線を、偏光に感度を有するセンサーを用いて獲得する行為と、被写体を表現する3D画像を生成するために、センサーからの情報を処理する行為とを含む。
【0022】
本発明の方法の別の実施形態では、マスクは、互いに区別できる偏光で符号化された2つの絞り開口を有し、2つの絞り開口の偏光は、相対的にほぼ垂直であり、偏光に感度を有するセンサーは、各絞り開口により生成された画像を区別するように構成され、これにより、ミスマッチを最低限に抑える。
【0023】
さらに別の実施形態では、この方法は、さらに偏光で符号化された少なくとも1つの絞り開口を、絞り開口の偏光が露光間で変わるように回転させる行為を含み、これにより、異なる露光に関する同じマーカーの像の間の距離から、深度情報が演算可能である。
【0024】
本発明の目的、特徴および利点は、以下の図面と組み合わせて、本発明の開示される態様の以下の詳細な説明を参照すると明らかであろう。
【図面の簡単な説明】
【0025】
【図1A】センサーを含む帯域通過フィルターシステムを示す図である。
【図1B】図1Aのセンサーにより受け取られた実点に関する、デフォーカスの複数のパターンで符号化された画像獲得を示す図である。
【図1C】図1B中、枠で示した領域の拡大図であり、赤色ドットと対応する緑色ドットとの形式で、複数の波長でアドレス可能なパターンをマッチングする方法を示す図である。
【図1D】焦点距離(L)と、図1Cにおけるマッチ粒子および「ゴースト」粒子のZ距離との関係を示すチャートを示す図である。
【図2A】偏光フィルター撮像系を示す図である。
【図2B】偏光フィルター撮像系を示す図である。
【図3A】点を撮像するための絞り開口システムを示す図である。
【図3B】点を撮像するための絞り開口システムを示す図である。
【図4A】単一孔のマスクを有する同期した単一絞り開口システムを示す図であり、このマスクが、第1位置Aにあるところを示す図である。
【図4B】単一孔のマスクを有する同期した単一絞り開口システムを示す図であり、このマスクが、第2位置Bにあるところを示す図である。
【図4C】1つの回転可能な絞り開口を示し、異なる回転角度において2つの被写体画像が生成されたところを示す図である。
【図5A】複数のFストップを有する単一絞り開口システムを示す図である。
【図5B】複数のFストップを有する単一絞り開口システムのセンサーから獲得した画像を示す図である。
【図5C】図5B中、枠で示した領域の拡大図である。
【図5D】プロセッサにより決定されたマッチングした点のチャートを示す図である。
【図5E】振動する単一絞り開口システムを示す図である。
【図5F】1つの非対称の絞り開口を示す図であり、焦点面の前と焦点面の後ろとにある被写体により生成された対応する像の比較図である。
【図5G】1つの非対称の絞り開口を示す図であり、焦点面の前と焦点面の後ろとにある被写体により生成された対応する像の比較図である。
【図5H】1つの非対称の絞り開口を示す図であり、焦点面の前と焦点面の後ろとにある被写体により生成された対応する像の比較図である。
【図6A】電子的にマスクされた撮像系を示す図であり、第1の複数窓の電子絞り開口が開いた状態であるところを示す図である。
【図6B】電子的にマスクされた撮像系を示す図であり、第2の複数窓の電子絞り開口が開いた状態であるところを示す図である。
【図7A】対象の被写体表面上に投影するのに適したアドレス可能な雛型パターンを示す図である。
【図7B】アドレス可能な雛型を用いて撮った目標とする被写体の獲得画像を示す図である。
【図7C】獲得画像および格子の一部分を示す図である。
【図7D】図7Cの中央サンプルの図を再構成した図である。
【図8A】非レーザーパターン投影機および撮像系を示す図である。
【図8B】2つのオフセットプリズムおよび2つのセンサーを有するシステムを示す図である。
【図8C】1つの銀メッキオフセットプリズムと2つのセンサーとを有するシステムを示す図である。
【図8D】3つのCCDセンサーアセンブリシステムを示す図である。
【図8E】狭帯域ミラーセンサーアセンブリシステムを示す図である。
【図9】レーザーパターン投影機および撮像系を示す図である。
【図10】被写体表面の像を作成するための、画像獲得および画像処理の行為を示すフローチャートである。
【図11】画像の再構成を支援するために、撮像系にアドレス可能なパターンを組み込むことを示したフローチャートである。
【発明を実施するための形態】
【0026】
本発明は、安価で正確な三次元撮像方法(例えば、マッピング)という、長年に渡るニーズに応えるものである。本発明の態様は、製造部品の表面および体積検査、実際の製品と元の設計との比較、3D被写体走査、人体部分の診断(ヘルニア、動脈、美容整形手術前および後など)、表面粗さの評価および表面変形の実時間フィードバックに適用可能である。以下の詳細な説明では、本発明のより完全な理解のために、多くの特定の詳細を挙げる。しかし、本発明は必ずしもこれらの特定の詳細に限定されずに実施可能であることは、当業者には明確である。本発明を不明瞭にしないように、周知の構造や装置を、詳細図ではなくブロック図の形態で示している場合もある。
【0027】
読者には、本明細書と同時に提出された全ての論文および文献に注意を払われたい。これらの論文および文献は、本明細書と共に公衆が閲覧できるように公開され、これらの全論文および文献の内容は、本願中に参照として組み込まれている。本明細書(添付の請求項、要約および図面を含む)中に開示された全ての特徴は、別途明示的に言明しない限りは、同一の、等価のまたは類似の目的に沿う代替となる特徴に置き換えてもよい。したがって、別途明示的に言明しない限りは、開示された各特徴は、等価または類似の一連の包括的な特徴の非限定的な1つの例を示すにすぎない。
【0028】
さらに、ある特定の機能を達成する「ための手段(means for)」形式、または、ある特定の機能を達成する「ための工程(step for)」形式で、明示的に表明されていない請求項のいかなる要素も、米国特許法第112条第6項で指定された「手段」または「工程」として解釈されない。特に、本願請求項中の「〜の工程(step of)」または「〜の行為(act of)」との文言の使用は、米国特許法第112条第6項の規定の行使を意図していない。
【0029】
まず、本発明の導入を行い、全般的な理解を促す。次に、光の特性およびマスクの形状に基づくデフォーカス方法を、特徴マッピングに関して説明する。その後、単一絞り開口システムの態様を、特徴マッピングに関して説明する。続いて、パターンマッチングの例を提示する。次に、本発明による撮像方法を提示する。次に、画像マッチングの説明を行う。
【0030】
(1.0)導入
デフォーカスによるぼやけを用いて、ある点とレンズの焦点面との間の距離を測定することができる。本発明は追加の特徴を提案するが、これは、光学技術および照明技術の観点から、元来のデフォーカス概念の欠点を克服するように、単一レンズおよび複数の絞り開口を有する構成に追加された特徴である。以下の態様により、単一のレンズ、単一のセンサーおよび複数の絞り開口を有する装置を用いて、被写体表面を頑健に測定することができる。
【0031】
複数の絞り開口を有する構成に、光学的な修正を行うことより、物理的にマスクをし、フィルターをかけられた情報をセンサーに伝達して、各絞り開口が、被写体表面を再構成するために、分離可能な画像を再構成することができるようにする。分離可能な画像を生成するために、絞り開口の形状を変える、絞り開口の透過率を符号化する、または、露光中または露光の合間に孔が絞り開口表面に対して移動する単一スリットを有するマスクを提供することで絞り開口マスクを修正してもよい。各絞り開口マスクは、被写体の所望の特徴の表現に役立つ追加的な情報を提供する。
【0032】
単一のレンズ、単一のセンサーおよび複数の絞り開口を有する装置は、登録情報を用いて、被写体から追加的な情報を入手するよう強化されてもよい。登録情報は、被写体の識別特徴、被写体表面に投影された情報、または、被写体の上に直接おかれたマーカーから得られてもよい。
【0033】
一度の露光によって獲得が不可能な大きな被写体に関しては、上述の態様は、所望の被写体の表面特徴を再作成するために、複数の露光を共に合わせるのに使用可能な情報を提供してもよい。あるいは、大きな被写体と小さな被写体との両方について複数の画像を走査して、被写体または被写体特徴の高解像度の像を生成することができる。このマッチング概念は、立体視システムにも同様に適用可能である。
【0034】
ここで、本発明の態様を、以下に、添付の図面を参照してより十分記載し、ここで本発明の好適な実施形態を示す。本発明は、多くの様々な形態で実施可能であり、本願で記載した実施形態に限定されるよう解釈されるべきではない。さらに、添付の図面で示した層やその他の部材の寸法は、詳細をより明確に示すために、誇張されている場合がありうる。本発明は、図面に示されている寸法関係に限定されるように解釈されるべきではなく、図面に示されている個々の部材は、図示された寸法に限定されるよう解釈されるべきではない。
【0035】
(2.0)光の特性および形状に基づくシステム
照射された被写体からの光またはこれ以外の電磁放射線が、レンズを通過し、マスクされた絞り開口を通過し、このマスクされた絞り開口からの情報を受け取るのに適したセンサー上に渡されると、マスクされた絞り開口は、識別可能な画像を生成する。マスクされた絞り開口は、被写体の符号化されたデフォーカスの情報を、適切なセンサー上に渡す。デフォーカス情報は、焦点面に対する被写体の点の測定尺度を提供する。マスクされた絞り開口からの符号化された情報は、重複画像を分離するため、かつ、センサーにより検出された対応する点をマッチングするために必要な情報を提供する。「光」という文言は、本発明の様々な実施形態を説明する際に用いられうるが、本発明は、電磁スペクトルの任意の部分(マイクロ波、赤外線、紫外線およびX線を含むがこれに限定されない)の使用に適していることに留意されたい。「光」との文言は、例示的な目的で使用されるのであり、本発明の範囲を、電磁スペクトルの可視部分に限定する意図はない。
【0036】
マスクされた絞り開口が2つ以上用いられた場合、単数または複数のマスクされた絞り開口から検出された形状の波長に対しての強度(明度)の特性および/または形態が、センサー上で容易に識別可能なように、理想的には各マスクは互いに異なっている。様々なフィルタリング用絞り開口を用いて、光にその特性に応じて選択的にフィルターをかけて、光センサー上へ渡し、各絞り開口からの画像が識別可能であるようにしうる。さらに、2つ以上の絞り開口の形状が識別可能な場合、センサーによって検出される各絞り開口の画像もまた識別可能である。したがって、適切な絞り開口マスクとフィルターとの非限定的な例としては、波長帯域通過フィルター、光偏光フィルターおよび異なる形状を有するマスクが含まれる。
【0037】
(2.1)色による符号化フィルター
図1Aを参照すると、帯域通過フィルターシステム100が示されている。この帯域通過フィルター100は、レンズ102、赤色絞り開口106と緑色絞り開口108とを有するマスク104、および、センサー110を有する。ここでは、赤色絞り開口106と緑色絞り開口108としてそれぞれ示されているが、適切なセンサー110と組み合わせて、任意の数および任意の組み合わせの色フィルタリング用絞り開口を用いてもよい。したがって、絞り開口は、ここでは特定的に赤色絞り開口106および緑色絞り開口108としてそれぞれ言及されているが、この絞り開口がそれに限定されることは意図せず、代わりに第1絞り開口、第2絞り開口などと言及が可能である。
【0038】
この帯域通過フィルターシステム100は、照射された被写体112が焦点面114の前におかれると、この照射された被写体112の像を生成する。散光116は、照射された被写体112の表面から反射され、レンズ102を通過する。レンズ102を通過すると、この散光116は、赤色絞り開口106または緑色絞り開口108のいずれかを選択的に通過するか、反射されるか、または、マスク104により吸収される。赤色絞り開口106を透過した赤色光118および緑色絞り開口108を透過した緑色光120は、その後、画像焦点122より前に位置づけられたセンサー110上に記録される。当業者には理解されうるであろうが、被写体を照射するために用いられる光の色は、所望の絞り開口または絞り開口セットのみを通過するようにも選択できる。狭帯域光投影機の使用は、1セットの絞り開口が1つの色でデフォーカス情報を獲得するのに用いられ、別の絞り開口が被写体の実際の視覚画像を別の色で投影するように用いられる場合に有用であり、この結果、2つは容易に区別可能になる。
【0039】
図1Bを参照すると、複数の実点について複数の色で符号化されたデフォーカス画像獲得124が、図1Aのセンサー110により受け取られたところが図示されている。各々の色で符号化された獲得124は、各絞り開口106・108により作られた複数波長のアドレス可能なパターンに対応している。図1Bに示すように、被写体上の各実点は、複数波長のアドレス可能なパターンである赤色ドット126と緑色ドット128とで表現される。当業者には理解されうるように、赤色ドット126と緑色ドット128とは、それぞれ赤色絞り開口と緑色絞り開口との結果である。しかしながら、ドットの色は絞り開口の色により変更しうるので、本発明は、この態様に限定されることはない。対応する赤色ドット126と緑色ドット128は、対応線130により互いい連結されて図示されている。対応線130は見えないが、しかし、これは、色で符号化された画像獲得124における点のマッチングの困難さを強調するのに役立つツールである。対応線130により連結されているドットのみが、実際に互いに対応している。このマスク104がなければ、対応する点を連結するのに十分な情報はないであろう。
【0040】
図1Cを参照すると、この図は、図1B中枠で示した領域132の拡大図であり、対応する赤色ドット126と緑色ドット128との間のマッチング方法を示した図である。複数色で符号化された画像獲得124が行われると、プロセッサは、この画像内で色で符号化された全ドットに関する検索を始める。あるいは、検索を生データから行ってもよい。(すなわち、実画像124を生成する必要はない。)これに代えて、センサー110がプロセッサに接続され、プロセッサがセンサー情報を直接受け取る。いずれの場合にしても、全てのドットが検出されると、焦点面114に対する照射された点112の相対的な位置を想定して、マッチング過程が開始する。焦点面114に対する照射された点112の相対的な位置は、先験的に知られているか、ユーザーにより入力されるか、ソフトウェアにより決定されるか、あるいは、センサーにより決定されてもよい。ここでは、例証の目的で、被写体の照射された点112は、焦点面114の前にあることが前提とされる。したがって、マッチングは、例えば以下のような指示コマンドで開始する。「2つの絞り開口を結ぶ線に対応する線の上に(ある許容誤差内で)存在する赤色ドット126・142・144・146の右側にある任意の緑色ドット128・136・138・140はマッチ(適合)である。」第1の赤色ドット126が検出され、続いて、上記指示コマンドにより、赤色ドット126の許容誤差134内の第1の緑色ドット128がマッチングする。この場合の許容誤差134は、赤色ドット126から半径で表された距離として表示される。しかしながら、許容誤差134は、任意の所望の形状または距離の形式をとりうる。赤色ドット126の許容誤差134内で、補足的な検索が緑色ドット136・138・140に対して行われ、合計3つの「ゴースト」マッチ(それぞれ緑色ドット136・138・140)が生成される。
【0041】
図1Dを参照すると、この図は、焦点距離(L)と、図1C中のマッチ粒子および「ゴースト」粒子のZ距離との関係を示す。赤色ドット126と、全ての緑色ドット128・142・144・146とのマッチングの結果として、1つのマッチ148と、3つのゴースト150・152・154が得られる。赤色ドット126と緑色ドット128との間のマッチは、第1のマッチング点148のZ対Lの関係を演算するのに用いられる。赤色ドット126と緑色ドット136・138・140との間のミスマッチ(非適合)は、それぞれ第1の3つのゴースト150・152・154をもたらす。
【0042】
第2の赤色ドット142に関しては、1つのマッチ156と、2つのゴースト158・160が生成される。第2の赤色ドット142と対応する緑色ドット136との間のマッチは、第2のマッチング点156のZ対Lの関係を演算するのに用いられる。赤色ドット142と緑色ドット138・140との間のミスマッチは、それぞれ2つのゴースト158・160で表現される。
【0043】
第3の赤色ドット144に関しては、1つのマッチ162と、2つのゴースト158・160が生成される。ゴースト158・160は、他の絞り開口からの対応するドットに割り当てられえないドットである。第3の赤色ドット144と対応する緑色ドット138との間のマッチは、第3のマッチング点162のZ対Lの関係を演算するのに用いられる。赤色ドット144と緑色ドット140との間の1つのミスマッチは、ゴースト164で表現される。
【0044】
最後に、第4の赤色ドット146に関しては、1つのマッチ162が生成されるが、ゴーストは生成されない。第4の赤色ドット146と対応する緑色ドット140との間のマッチは、第4のかつ最後のマッチング点166のZ対Lの関係を演算するのに用いられる。赤色ドット146の右には、マッチングする緑色ドット140以外の緑色のドットはないので、図1Cの枠で示した領域132に関しては、これ以上のミスマッチは存在しない。
【0045】
マッチ粒子と「ゴースト」粒子との間の、Z対Lの関係の決定においては、異なる符号化がされた点、例えば図1Bに示したような点126・128があることにより大いに強化される。絞り開口マスク104により色情報が提供されないような分離不可能な場合は、より多くのゴーストが存在するが、これは、色などの差別化要因がない場合、図1Aの各「赤色ドット」は、他の任意の「赤色ドット」ともマッチング可能となり、より多くのゴーストが生成されるからである。さらに、任意の与えられたドットが、それ自体、実際には、他のドットの上にある2つのドットではないとの想定ができず、焦点面上により多くのゴーストが追加される。
【0046】
(2.2)偏光フィルター
「光」という文言は、本発明の様々な実施形態を説明する際に用いられうるが、本発明は、電磁スペクトルの任意の部分(マイクロ波、赤外線、紫外線およびX線を含むがこれに限定されない)の使用に適していることに留意されたい。「光」との文言は、例示的な目的で使用されるのであり、本発明の範囲を、電磁スペクトルの可視部分に限定する意図はない。
【0047】
符号化情報は、任意の数の方法でセンサーに提供されうる。非限定的な例として、図2は、偏光フィルター撮像系200を示す。この偏光フィルター撮像系200は、レンズ202、水平方向での偏光を行う絞り開口206と垂直方向での偏光を行う絞り開口208とを備えたマスク204、および、偏光間での識別を行うことができるセンサー210を有する。ここでは、水平方向での偏光を行う絞り開口206と垂直方向での偏光を行う絞り開口208との組み合わせとしてそれぞれ図示したが、少なくともほぼ直交する方向の対であれば、任意の数の任意の組み合わせを使用してもよい。
【0048】
照射された被写体212が焦点面214の前におかれると、偏光フィルター撮像系200は照射された被写体212の像を生成する。散光216は、照射された被写体112の表面から反射され、レンズ202を透過する。レンズ202を透過すると、この散光216は、水平方向での偏光を行う絞り開口206と垂直方向での偏光を行う絞り開口208のいずれかを選択的に通過するか、あるいは、マスク204により反射される。その後水平方向での偏光を行う絞り開口206を透過した水平方向に偏光された光218と、垂直方向での偏光を行う絞り開口208を透過した垂直方向に偏光された光220は、焦点面222より前に位置づけられているセンサー210上に記録される。
【0049】
水平方向での偏光を行う絞り開口206と垂直方向での偏光を行う絞り開口208とを異なるように符号化することで、図1Bに示したと同様の識別可能なドットが得られる。しかし、この偏光の態様から得られる符号化情報は、色で符号化されたドットの代わりに、偏光マーカーを提供する。
【0050】
同様の結果は、図2Bで示すような、偏光で符号化された少なくとも1つの絞り開口を用いることによっても得られることができ、この場合、この少なくとも1つの絞り開口が、第1絞り開口位置224から第2絞り開口位置226に回転し、各位置において露光が行われると、絞り開口の偏光が、露光間で変わり、その結果、第1露光228と第2露光230とから、互いに区別可能な偏光画像228・230セットがそれぞれ得られ、これにより、同じマーカー232からの異なる露光による像228と像230との間の距離を測定することにより、深さ情報を決定できる。
【0051】
(帯域通過フィルターシステム100の場合のように)選択的な光の透過、または、(偏光フィルター撮像系200の場合のように)光の特性の活用は、センサーが受け取る情報を符号化する効果的な手段である。最終的に、センサーによって検出される符号化情報は、図1Cおよび図1Dに記載したマッチングのタスクを容易にする。
【0052】
(2.3)空間的に偏向された絞り開口
図3Aを参照すると、この図は、ほぼ点光源と考えられるような十分小さい点を撮像するために、異なる形状を有する絞り開口システム300を示す。異なる形状を有する絞り開口システム300は、レンズ302、円形状の絞り開口306と四角形状の絞り開口308とを有するマスク304、および、センサー310を有する。ここでは円形状の絞り開口306と四角形状の絞り開口308として図示したが、任意の数の任意の組み合わせでの異なる形状のフィルタリング絞り開口を使用してもよい。適切な形状の非限定的な例には、凸多面体、凹多面体、円形、ポリフォームおよびこれらの組み合わせが含まれる。
【0053】
異なる形状を有する絞り開口システム300は、露光毎に、照射された被写体312の2つの表現314・316を生成する。センサー310により検出された各形状314・316は、各絞り開口306・308の形状にそれぞれ対応する。散光320は、照射された被写体312の表面から反射され、レンズ302を通過すると、円形状の絞り開口306または四角形状の絞り開口308のいずれかを通過するか、あるいは、マスク304により反射され、センサーの焦点面318より後方に反射される。円形状の絞り開口306を通過した透過光322は、センサー310上に円形のパターン314を生成する。同様に、四角形状の絞り開口308を通過した透過光324は、センサー310上に四角形のパターン316を生成する。複数個を獲得することにより、多数の円形のパターン314と、多数の四角形のパターン316が検出され、プロセッサ326により、マッチング規則に基づいて、マッチングがなされる。マッチとゴーストとは双方とも、図1Dに図示されたようなZ対Lのプロットグラフ上に描かれる。あるいは、ゴースト画像なしでマッチを示したプロットグラフを生成してもよい。
【0054】
異なる形状の絞り開口に加えて、空間的に偏向された絞り開口は、図3Bに図示するように、同様の形状であるが、マスク329の中心から異なる放射状の位置に位置づけられている絞り開口326・328も有することができる。この絞り開口システムが、第1位置326・328から、第2位置330・332に回転し、各位置において露光が行われると(時間遅延順次撮像)、マスクの中心329からの絞り開口の距離が、被写体により生成された像336・338の撮像装置334上での位置の変化の率を決める。ここで、この変化の率は画像が露光間で動く距離を物理的に明示する。
【0055】
本発明の使用に適した空間的に偏向された絞り開口の別の実施形態は、形状は似ているが大きさが異なる絞り開口であり、例えば、2つの円形の絞り開口であって、一方が他方よりも大きい絞り開口である。異なる大きさの絞り開口を用いることにより、上述し、かつ図3Aで示したような異なる形状の絞り開口を用いる場合と同じ機能を効果的に実現する。
【0056】
(3.0)単一絞り開口システム
図4Aおよび図4Bを参照すると、同期化された単一絞り開口システム400は、レンズ402、単一孔のマスク404、移動絞り開口406、センサー408、および、センサー408と通信するプロセッサ410を有し、これが図示されている。さらに、単一孔のマスク404は、それぞれ第1位置Aと第2位置Bとで示されている。反射光線414を選択的にレンズ402、および、単一孔のマスク404の絞り開口406を通過させることにより、照射された被写体412は再構成されうる。単一孔のマスク404の移動絞り開口406は露光間に絞り開口面上で動くが、この単一孔のマスク404の位置は、プロセッサ410により記録される。図4Aに示すように、移動絞り開口406は光416を透過させ、センサー408により検出される第1の点414を生成する。図4Aに示すように、第1露光時の移動絞り開口406の第1位置情報は、プロセッサ410により記録される。第2露光時には、移動絞り開口406が、第2位置Bへと移動する(図4Bに図示)。図4Bに図示されるように、移動開口406は光418を透過させ、センサー408により検出される第2の点420を生成する。第2露光時の移動絞り開口406の第2位置情報は、プロセッサ410により記録される。第1の点414および第1位置情報、ならびに、第2の点420および第2位置情報は、その後、第1露光からの第1の点414を、第2の点420とマッチングさせるために用いられる。あるいは、第1露光と第2露光との間で、反射光414の色を変更して、マッチング過程の支援用に用いられる情報を提供してもよい。
【0057】
同様に、ミスマッチの問題は、図4Cに示すように絞り開口422を回転させることにより緩和される。ある時間をかけて絞り開口を回転させることにより、楕円の絞り開口に対して相対的に複数の画像獲得がなされた場合には、重複する画像が区別されることができ、これにより、画像重複により生じる曖昧さが緩和される。この図は、第1絞り開口位置422にある絞り開口と水平面にある2つの被写体424により形成される画像の比較を示す図である。この第1絞り開口位置422では、被写体画像426が重複し、潜在的にミスマッチが引き起こされる。しかしながら、絞り開口が第2絞り開口位置428に回転されると、形成された画像430は区別可能である。
【0058】
(3.1)単一スリット絞り開口システム
図5Aを参照すると、複数のFストップを有する単一絞り開口システム500が図示されている。この異なる形状を有する絞り開口システム500は、レンズ502、実質的に楕円であるスリット絞り開口506を1つ有するマスク504、センサー508、および、センサー508と通信するプロセッサ510を有する。ここでは、概略的に楕円形状の絞り開口506として示したが、一般的に、その形状に関わらず、幅より長さの方が著しく長い任意の絞り開口を用いてもよい。
【0059】
反射光514がレンズおよびマスク504の実質的に楕円であるスリット絞り開口506を選択的に通過できるようにすることにより、照射された被写体512が再構成されてもよい。この単一絞り開口システム500は、標準的な円形の絞り開口の代わりに、長くて狭いスリット絞り開口506を用いている点が顕著である。スリット絞り開口506が2方向で異なるFナンバーを有する点が効果的である。スリット絞り開口506の長さは長く、小さいFナンバーをなし、これが、センサー508上で、大きく変動する円盤516を生成する。逆に、スリット絞り開口502の狭い幅は、大きなFナンバーをなし、これは最低限の変動しか生成せず、点光源の画像は、円盤516ではなく、線518で表される。この場合の強度は、面積ではなく長さに反比例して変動すると考えられることができ、センサー上で要求される動的範囲は、純粋なぼやけシステムに比較して、大幅に小さくなる。さらに、生成された画像516・518は、一方向にのみ大きくなり、重複の可能性が最小限に抑えられる。
【0060】
また、図5Fに示すように、スリット絞り開口を非対称形状542にすることもできる。このように非対称にする目的は、焦点面550の前にある被写体546であるのか、または、後ろにある被写体548であるのかをセンサー544が決めることができるようにすることである。焦点面550の後ろにある被写体548は、センサー544上に反転した画像552を生成し、焦点面550の前にある被写体546は正像554を生成する。しかしながら、図5Aのように、絞り開口が対称形状506である場合には、焦点面550の後ろにある被写体548により生成された像516は、焦点面550の前546の対応する位置にある像と区別ができない。非対称の絞り開口542を用いることにより、これらの焦点面550の前にある被写体546と、後ろにある被写体548とは区別可能となる。図5F中に図示した非対称の絞り開口542は、全体として楕円の形状の一端に円形の孔を有するが、いずれの非対称形状の絞り開口も同じ効果を奏する。
【0061】
図5Bを参照すると、複数のFストップを有する単一絞り開口のシステム500のセンサー508により獲得された画像520が示されている。画像520の枠522内には、異なるZ座標を有する複数のプロット524・526・528・530が示されている。画像520として示されているが、示された情報は、条件づけられ、信号を介してプロセッサ510で処理されるために送られてもよい。
【0062】
図5Cを参照すると、図5Bの獲得された画像中の枠で示した領域522は、絞り開口の動きに対応する複数のFストップの細長い筋524・526・528・530を見つけるために処理される。全ての複数のFストップの細長い筋524・526・528・530が見つけられると、Z対Lの関係を決定するための規則が適用される。マッチングが必要でない点が顕著である。
【0063】
全ての点が、焦点面「L」より前方にあると想定して、Z対Lの関係を演算するために複数のFストップの細長い筋524・526・528・530が用いられる。プロセッサ510により決められたマッチングされた点532・534・536・538の例を図5Dに示す。一般的に、センサー508に接続されたプロセッサ510を用いて、センサーから得られた生データを収集してもよい。プロセッサ510は、続いて、Z対Lの関係を用いて、各検出されたFストップの細長い筋524・526・528・530の深度情報を演算してもよい。続いて、プロセッサ510を用いて、各照射された点512の深度情報から被写体の表現を生成してもよい。別の態様では、プロセッサ510はメモリを有してもよい。このメモリを用いて、既知の距離におけるそれ以前にサンプリングをした点の較正情報を記憶しておいてもよい。この較正情報は、迅速なインライン処理のために、画像獲得システム中に参照テーブルとして記憶されていてもよい。あるいは、較正情報は遠隔で記憶され、プロセッサによりアクセスされてもよい。
【0064】
図5B、図5Cおよび図5Dに示した結果は、図5Eで示したような振動する単一絞り開口システム540を用いて得られても良い。この振動する単一絞り開口システム540は、レンズ502、単一の移動絞り開口506を有するマスク504およびセンサー508を有する。
【0065】
反射光514が、レンズおよびマスク504の実質的に楕円である絞り開口506を選択的に通過できるようにすることにより、照射された被写体512が再構成されうる。この単一絞り開口システム500は、移動絞り開口506を用い、2方向で異なるFナンバーを有する効果を効果的にシュミレーションしている点が顕著である。移動絞り開口506が、制御の下で、右から左へと、AとBとの方向(あるいは、これ以外の任意の方向で)で周期振動し、移動絞り開口506のAからBへの正味の変位は、小さいFナンバーを生成する。このAからBへの横方向への移動の小さいFナンバーは、センサー508上で、大きく変動する円盤516を生成する。さらに、この移動絞り開口506は、AからBへと動くので、移動絞り開口506の垂直直径には正味の変化はない。したがって、移動絞り開口506の高さが一定であることにより、Fナンバーが大きくなり、これは最低限の変動しかせず、点光源の画像は、円盤516ではなく、線518で表される。この場合の強度は、絞り開口506が、ある特定の軸上位置で過ごす時間の量に依存し、したがって、この技術で生成された画像は、薄暗い直線に連結された明るい端部のように見える。さらに、生成された画像516・518は、一方向にのみ大きくなり、重複の可能性が最小限に抑えられる。
【0066】
ある態様では、本発明は、2つの絞り開口のシステムとして考えられ、2つの絞り開口画像を物理的に撮像装置上で単に連結することによって、マッチングの曖昧さが除去される。(点光源ではなく)絞り開口を通った大きい被写体を撮像させるとき、3つの画像を見ることができる。中央画像は被写体画像であり、外側の他の2つの画像は、回折およびレンズ効果の結果形成される。この被写体の尺度が小さくなるにしたがって点光源に近づき、極端な場合、点光源の被写体の画像は、絞り開口と同じ形状を有する。
【0067】
(3.2)軸外デフォーカス絞り開口と共にある大きな中央絞り開口
「光」という文言は、本発明の様々な実施形態を説明する際に用いられうるが、本発明は、電磁スペクトルの任意の部分(マイクロ波、赤外線、紫外線およびX線を含むがこれに限定されない)の使用に適していることに留意されたい。「光」との文言は、例示的な目的で使用されるのであり、本発明の範囲を、電磁スペクトルの可視部分に限定する意図はない。
【0068】
図5Gに示すように、ミスマッチの問題は、少なくとも1つの軸外デフォーカス絞り開口558と共に大きな中央絞り開口556を用いることによっても緩和できる。中央絞り開口556は、典型的なカメラの中にあるような中央可変絞り開口でありえる。この中央絞り開口556のFナンバーが、デフォーカス絞り開口558のFナンバーとは異なるので効果的である。これは、被写体561の実質的に完全な画像560が、中央絞り開口556を介して、常にセンサー562上に存在し、その上にデフォーカス絞り開口558からの非合焦ドット564が重なっていることを意味する。
【0069】
常に被写体画像があることは、3つの目的に役立つ。第1に、操作者は、これによりこの装置がどこを指しているかがわかることができる。第2に、この中央絞り開口により与えられた被写体画像は、デフォーカス絞り開口により撮像された点の物理的なx−y−z位置に一致し、被写体表面マップを作ることができる(以下の項4.0「パターンマッチング」参照)。最後に、装置により生成された被写体の二次元(2D)画像から正確なPOISE(位置および方向)の見積もりが可能になる。POISEを決めるための様々な方法は、当該分野では周知である。この見積もりを行うために、既存のPOISE方法は、背景画像の特徴または予め置かれたマークされた点を使用することができる。背景画像の特徴を用いる際には、異なるカメラ位置から中央絞り開口により得られた実像を適切に回転し、その歪みを正し、スケーリングすることにより、カメラ位置が得られる。光投影システムが用いられる場合、被写体上に投影され、中央絞り開口を通って撮像された光の点を用いて、カメラ位置を得ることができる。本発明と共に用いるのに適したPOISE方法の例は、米国特許出願公開公報2007/0103460A1号(ジャーン(Zhang)他、発明の名称「カメラの動きの決定(Determining Cameral Motion)」)、米国特許出願公開公報2007/0008312A1号(ジョウ(Zhou)他、発明の名称「パノラマを形成する二次元画像からカメラ位置を決定する方法(Method for Determining Camera Position from Two−Dimensional Images that form a Panorama)」)、国際出願PCT/US2006/060724号(3Mイノベーティブ・プロパティーズ社(3M Innovative Properties Company)、発明の名称「カメラの動きの決定(Determining Camera Motion)」)、および、ロウ・デヴィッド・G(Lowe, David G)著、「単一の二次元画像からの三次元被写体認識(Three−Dimensional Object Recognition from Single Two− Dimensional Images)」、アーティフィシャル・インテリジェンス(Artificial Intelligence)、31,3(1987年3月)、P.353−395に見ることができる。
【0070】
中央絞り開口は、位置付け(POISE)のために価値ある情報を提供するのだが、混雑も引き起こしうる。本発明のある実施形態では、図5Hに示すように、大きな中央絞り開口556を軸外デフォーカス絞り開口558と共に備えたシステムが、所定の光のパターン566を被写体561の表面上に投影するための光投影機564と合わせて用いられる。この所定のパターン566は、デフォーカス絞り開口558を通ってデフォーカスとなり、パターン画像568中のデフォーカス量を用いて、被写体561に関する深さ情報を決めることができる。この構成の潜在的な難点は、中央絞り開口が、全ての点のシフトされない(デフォーカスではない)画像も、投影パターン中に生成し、これが、デフォーカス絞り開口により生成された非合焦点と干渉しうるという点である。狭帯域光源を備えたドット投影システムを、投影光の波長を選択的にフィルタリングするために中央絞り開口556上の光学フィルター556(水平の線で表示)と共に用いることにより、中央絞り開口により生成されたシフトされない画像が除去されうる。さらに、デフォーカス絞り開口558上の共役フィルター(垂直の線で表示)は、投影光の波長のみを通過させることができるが、これを用いることにより、被写体の画像が軸外デフォーカス絞り開口を通って形成されるのを防ぎ、被写体画像560がぼやけないように保つことができる。
【0071】
さらに、複数のデフォーカス絞り開口を用いる際、デフォーカス絞り開口が中央絞り開口に対して非対称に置かれる場合には、点の画像はこの区別も含み、画像の方向により、形成点がレンズの焦点面の前方にあるのか後にあるのかが示される。この技術は、上述の単一の非対称絞り開口を用いた場合と同じ機能を果たす。
【0072】
最後に、中央絞り開口を追加することにより、2つのデフォーカス絞り開口システムを備えたシステムに、有益な参照情報を提供することができるが、3つ以上のデフォーカス絞り開口を備えたシステムへこれを適用することに関しては限りがない。
【0073】
(3.3)電子的にマスクされた絞り開口
図6Aおよび図6Bを参照すると、電子的にマスクされた撮像系600が、レンズ602、絞り開口板604、複数の窓を有する電子的な絞り開口606、センサー608、および、センサー608と絞り開口板604と通信するプロセッサ610を有することが示されている。適切な絞り開口板604の非限定的な例には、液晶表示(LCD)が含まれ、これは、獲得センサー608と完全に同期化されてもよい。ある態様では、感度は、絞り開口の「軸外度合い(off−axisness)」を変えることにより制御されてもよい。反射光616が、レンズ602、および、複数の窓を有する電子的な絞り開口606の多くの窓のうちの1つを選択的に通過できるようにすることにより、照射された被写体614が再構成されうる。
【0074】
図6Aに示すように、複数の窓を有する電子的な絞り開口606の第1の窓612は、光618を透過させ、センサー608により検出される第1の点620を生成する。第1露光の間、第1の開いた窓612の位置情報が、プロセッサ610により記録される。
【0075】
第2露光を得るために、複数の窓を有する電子的な絞り開口606の第2の窓が開かれる。図6Bに示すように、複数の窓を有する電子的な絞り開口606の第2の窓622は、光624を透過させることができ、センサー608により検出される第2の点626を生成する。第2露光の間、第2の開いた窓622の位置情報が、プロセッサ610により記録される。第1の点620および第1の開いた窓612位置情報、ならびに、第2の点626および第2の開いた窓622位置情報は、その後、第1露光からの第1の点620を、第2の点626の情報とマッチングさせるために用いられる。
【0076】
(4.0)パターン投影によるパターンマッチング
対象の被写体が、その形状がマッチングされるべき表面である場合、マーカーの予め決められたパターンがその表面上に投影され、投影されたマーカーの相対的な位置を測定することにより、検出される画像中の点がサンプリングされうる。センサーが許容する撮像されるドットの密度上限は、撮像系の限界である。各図中で点が特定されると、同じ点が両方の図中に存在するか否かのみが問題となる。別の態様では、マッピングされるべき大きな塊(volum)が、ある大きな塊中に非対称のセルの集合を含んでいる場合、セルの形状と方向とを、図同士のマッチングにおける追加的な制約として用いることができ、したがって、ミスマッチが生じうる可能性を低減することができる。これを「特徴マッチング」と称する
【0077】
図7Aを参照すると、対象の被写体の表面上に投影するのに適した、アドレス可能な雛型パターン700が示されている。アドレス可能な雛型パターン700は投影され、または、目標とする表面上に物理的に置かれ、被写体から様々な距離(Z)だけ離れた位置で、撮像系により獲得される。ある態様では、アドレス可能な雛型パターン700は、識別可能な中央点702を備えた格子パターンの形状を有する。
【0078】
図7Bを参照すると、アドレス可能な雛型を用いて撮られた、目標とする被写体の獲得画像704が図示されている。図示されているように、獲得された画像704中で、いくつかのドット706・708・710・712は欠如している。
【0079】
図7Cを参照すると、一部の格子714を用いた獲得画像704が示されている。アドレス可能なパターン702が正しく並んでいる場合、識別可能な源を有する格子パターン714は、必要とされる視点の数または画像獲得を2つに減らすために、「構造化されたパターンマッチング」という手法を採用可能である。コンピュータで読み取り可能な媒体上に記憶されているか、または、プロセッサで実行可能であるアドレス指定を行うアルゴリズムは、雛型パターンによるアドレス可能な雛型パターン700中の各ドットの「相対的なアドレスを見つける」ために、各絞り開口の画像を処理する。適切なアドレス可能な雛型パターン700の非限定的な例を図7Aに示す。アドレス指定を行うアルゴリズムは、アドレス可能なパターン704の変形を許容するようにある程度の許容誤差を有する(図7Bおよび図7C参照)。アドレス可能なパターン704の変形は、元のアドレス可能な雛型パターン700(図7A参照)と対比してみると顕著である。さらに、アドレス指定を行うアルゴリズムは、獲得された画像704中の実体の欠如706・708・710・712を扱うこともできる。アドレス可能な雛型パターン700上のある点が、アドレス可能なパターン704中に現れなかった場合に情報の欠如が生じると考えられる。
【0080】
図7Cの中央サンプル716の再構成された図を、図7Dに示す。同じアドレスを有するドット対それぞれに対してZを演算することにより、点が再構成される。欠如したドット対に関しては、再構成は行われない。
【0081】
(4.1)パターン投影機(非レーザー)
「光」という文言は、本発明の様々な実施形態を説明する際に用いられうるが、本発明は、電磁スペクトルの任意の部分(マイクロ波、赤外線、紫外線およびX線を含むがこれに限定されない)の使用に適していることに留意されたい。「光」との文言は、例示的な目的で使用されるのであり、本発明の範囲を、電磁スペクトルの可視部分に限定する意図はない。
【0082】
図8Aを参照すると、非レーザーパターン投影機800および撮像系802が図示されている。非レーザーパターン投影機800は、撮像系802の撮像レンズ806と同じレンズ804を有する。非レーザーパターン投影機800のこのレンズ804は、撮像系802のレンズ806と等価の距離分だけ、ビームスプリッター808から離れて置かれている。これにより、投影された点812の主光線810を、撮像系802のセンサー816により検出された主光線814と一致させることができる。したがって、投影された点812と撮像レンズ806の焦点面820との間の距離が変化した場合さえ、検出された画像中の投影されたパターン818は動いていないように見える。これにより、いくつかの点(例えば、ドット)が欠如している場合でさえ、アドレス可能なパターン818の特定がはるかに容易になる。
【0083】
前提条件は、各視点からの画像が物理的に分離されていることである。これは、もちろん、写真測量法などの複数センサーシステムにおいては当てはまるのであるが、デフォーカス概念(単一のレンズ上の複数の絞り開口が、単一のセンサー上に撮像する)などの場合には、特別な注意が必要である。
【0084】
光822が、パターンステンシル824およびレンズ804(実質的に、撮像レンズ806と同じであるレンズ)を有する投影機レンズ系826を通過することにより、投影されたパターン818が生成される。
【0085】
単一のレンズ系では、絞り開口画像は分離されなくてはならない。これは、プリズム(図8Bおよび図8C参照)または光ファイバー束を用いて達成する。これにより各絞り開口が分離されたセンサー上に投影される。あるいは、センサーが色センサーである場合、物理的にマスクされた絞り開口(図8Dおよび図8E参照)を用いて達成される。
【0086】
図8Bを参照すると、2つのオフセットプリズムおよび2つのセンサーを有するシステム828が示されている。このシステム828は、マスクおよび2つのスリットを有する絞り開口838より後方にある、第1プリズム830、第2プリズム832、第1センサー834ならびに第2センサー836を有する。第1プリズム830および第2プリズム832は、2つのスリットを有する絞り開口838からの入射光840・842をオフセットし、第1プリズム830および第2プリズム832からの透過光が、分離されたセンサー834・836により検出されるようにする。2つのスリットを有する絞り開口838が、光の固有の特性に基づいて情報を符号化するために用いられる場合、あるいは、アドレス可能なパターン技術が採用された時のように光が分離されねばならない場合には、このような構成が用いられてもよい。適切な固有の特性の非限定的な例には、限定されるのではないが、周波数、複数の周波数、符号化され透過された光検出画像の偏光が含まれる。
【0087】
図8Cを参照すると、1つの銀メッキのオフセットプリズムと2つのセンサーとを有するシステム844が示されている。このシステム844は、マスクおよび2つのスリットを有する絞り開口852より後方にある、銀メッキプリズム846、第1センサー848ならびに第2センサー850を有する。銀メッキプリズム846は、2つのスリットを有する絞り開口852からの第1の入射光束854をオフセットし、銀メッキプリズム846からの透過光が第1センサー848により検出されるようにする。あるいは、2つのスリットを有する絞り開口852を通過した光856は、第2センサー850上で別々に検出されてもよい。
【0088】
図8Dを参照すると、3つのCCDセンサーを集めたシステム858が示されている。このシステム858は、マスクおよび2つのスリットを有する絞り開口862の後方にある3つのCCDセンサー860を有する。このCCDセンサー860は、青色センサー862、緑色センサー864および赤色センサー866を有する。プリズム系868は、2つのスリットを有する絞り開口856からの第1入射光束870をオフセットし、このプリズム868からの透過光が、赤色センサー866により検出されるようにしうる。あるいは、2つのスリットを有する絞り開口852を通過した光872は、別々に緑色センサー864上で別々に検出されてもよい。
【0089】
図8Eは、狭帯域ミラーセンサーを集めたシステム874を示す。このシステム874は、マスクおよび2つのスリットを有する絞り開口878の後方に位置づけられた狭帯域ミラー876、2つのスリットを有する絞り開口878、ならびに、第1センサー880および第2センサー882を有する。この狭帯域ミラー系876は、2つのスリットを有する絞り開口878からの入射光束884をオフセットし、この狭帯域ミラー系876の透過光が、第1センサー880により検出されうるようにする。あるいは、2つのスリットを有する絞り開口878を通過した光886が第2センサー882上で別々に検出されてもよい。
【0090】
(4.2)パターン投影機(レーザー)
任意のレンズは、2つの「主平面」により表現されうる。この主平面の位置は、このレンズの関数に過ぎず、(ある点の画像の中央線を規定する)主光線は全て、軸上で第1の主平面に入り、第2の主平面を出るように動く。
【0091】
前方の主平面と視野との位置測定を用いることにより、所望のパターンを有する回折格子を作って、レーザー投影機からのビームが、撮像されたドットの主光線と一致するように位置づけることができる。したがって、投影されたドットと撮像レンズの焦点面との間の距離が変化する場合さえ、投影されたパターンは、画像中で動いていないように見える。これにより、いくつかのドットが撮像されていない場合でさえ、アドレス可能なパターンの検索がはるかに容易になる。
【0092】
複合レンズを通る複雑な光線追跡(光線が、全ての空気/ガラスの界面で屈折するような場合)は、光線が屈折する2つの平面で数学的に表現可能である。したがって、左側の画像が、「実際の」光線追跡を示し、右側の画像は、このようなレンズの数学的表現を示す。これらの表面は、第1のガラス界面に入り、最後のガラス界面を去り、レンズ軸を交差するためにこれらを広げる、主(chief)光線(「主(principal)光線」とも称される)を用いることにより見つけられる。この交差点が、上述の平面の位置の印となる。
【0093】
したがって、まず始めに較正を行い(これは、格子をいくつかのZ距離で撮像することにより行う)、次に、これらの2つの面がどこにあるのか、および、視野角度はいくらであるのかを見つけるために、最小二乗適合法を行う。次に、視野角度に合うように回折格子をカスタマイズし、ビームスプリッターからの距離を第1主平面からの距離と同じ距離にしうる。したがって、レーザー光線は、主光線とまさに同じ光路をたどる。
【0094】
作動においては、ある被写体がレンズに近づくに従い、画像中の被写体は大きくなる。これは、被写体の縁が、画像上で、横方向に動くことを意味する。同じことが、カメラの前で表面上に投影された任意のパターンに関しても該当する。図9で示した態様と同じように光線を正確にマッチングさせることによりZ位置に関わらず、いずれの点も全く横方向には動かない。
【0095】
ここで、2つの孔を有する絞り開口マスクが加えられると、対応するドットは、ここでも互いに対して離れて動く。(ドット(画像)は、周辺(外側光線)により形成される。)しかし、主光線が横方向には動かないので、対応する「マッチ形状」の重心は、横方向には動かない。考えられるのは、アドレス可能なパターンの識別可能なドットが位置づけられると、マッチの重心を見つけることができる。このパターンが横方向には決して広がらないことがわかっていることにより、パターン上のこれ以外の全点の重心がどこにあるべきかがわかり、これが、点の「アドレス化」を支援する。
【0096】
この点が従来のアドレス可能なパターン検索とは異なる点である。従来のアドレス可能なパターン検索では、点が全て互いに対して動き、その結果、表面のZの変化が大きくなりすぎ、パターンが再構成できなくなりえる。
【0097】
図9を参照すると、レーザーパターン投影機システム900および撮像系902が図示されている。このレーザーパターン投影機システム900は、レーザー投影機904およびフィルタリング用マスク906を有する。このフィルタリング用マスク906は、投影機904からの光を、50%ビームスプリッター908上に選択的に通過させる。レーザー投影機904およびフィルタリング用マスク906は、ビームスプリッター908と一列に並び、これにより、投影された点912の主光線910は、撮像系902のセンサー916により検出された主光線914と一致する。したがって、投影された点912と撮像レンズ906の焦点面920との間の距離が変化する場合さえ、投影されたパターン918は、検出された画像中で動いていないように見える。これにより、いくつかの点(例えば、ドット)が欠如している場合でさえ、アドレス可能なパターン918の特定がずっと容易になる。
【0098】
(5.0)撮像方法
図10を参照すると、被写体表面の二次元または三次元表現を作成するための、画像獲得および画像処理の工程を示すフローチャートが示される。任意の単一レンズ装置が、撮像レンズ、識別可能な画像を生成できるように構成された絞り開口、センサーおよびプロセッサを含むように形成または修正される。
【0099】
撮像過程は、被写体表面を照射する行為1000から開始する。被写体表面は、撮像系または適切な外部光源により照射されうる。光は、被写体表面より反射され、絞り開口を透過する(行為1010)。この絞り開口は、撮像レンズの撮像レンズ面中、撮像レンズの前方もしくは撮像レンズの後方に置かれるか、アクセス可能な場合撮像レンズの絞り開口面に適用されるか、または、リレーレンズ系を介してアクセス可能としうる。
【0100】
光が絞り開口を通って移動する際、絞り開口を用いて、多くの方法でセンサーが受け取る情報を符号化しうる。センサー上に識別可能な画像を生成する行為1020用に光を符号化しうる適切な方法の非限定的な例には、限定されるのではないが以下が含まれる。すなわち、光の特性に応じて透過光にフィルターをかける方法(例えば、波長または偏光によりフィルターをかけるなどの)、時間の関数として光を透過させる方法(例えば、識別可能な画像を、時間の関数として、絞り開口を通過可能にするなど)、または、絞り開口の形状を物理的に変えて、一連の異なる形状を有するようにして、この絞り開口を通過する通過光が、識別可能な形状に基づく画像を生成する方法が含まれる。
【0101】
追加的な画像を獲得する行為を行うか否かをシステムが決定するのを支援する行為1030を実装することもできる。この行為は、さらに、獲得画像の適切さを秤量するよう補強されてもよい。例えば、露光中に過度の移動が行われていた画像がセンサーにより検出された場合、この画像は、アルゴリズムにより放棄されてもよい。この場合、最後に獲得された画像が放棄され、過程は、被写体の照射行為1000から再獲得される。別の態様では、受け取った画像は処理に適したものでありうるが、しかし、より多くの画像獲得が必要である(行為1030)。この場合、アルゴリズムをさらに補強するために、さらなる決定を追加可能である。この一例は、撮像系の視点を調節すべきか否かの決定する行為1040を追加することであるだろう。撮像装置の位置または被写体の所望の領域を移す必要があれば、撮像系または目標とする被写体のいずれかが、視点を調節する行為1050のために変えられてもよい。
【0102】
画像の全てまたは少なくとも一部分が獲得されれば、各画像内での点間の関係または点情報間の関係を用いて、各点に対する相対的なまたは絶対的な距離情報を演算または決定する行為1060が行われる。距離情報がわかれば、この情報は、この距離情報を用いて被写体の表現(例えば、3Dマッピング)を生成する行為1070用のアルゴリズムに供給されうる。
【0103】
(6.0)画像マッチング
複数の露光獲得を必要とする大きな被写体または応用では、画像マッチングにより、被写体表面を再び作成するために、関連する画像獲得を互いに結び付ける方法が提供される。目標とする被写体を再び作成する必要はないが、目標とする被写体に対する撮像系の相対的な位置がわかっているとき、画像マッチングにより、正確な測定尺度を用いて目標とする被写体を再び作成する能力が提供される。デジタルキルティングとも称される画像マッチングは、アドレス可能なパターンの雛型画像を用いることにより、一般に多いに支援される。ある態様では、アドレス可能なパターンの投影機を、物理的に獲得装置に結び付けてもよい。別の態様では、アドレス可能なパターンの投影機は、獲得装置に依存せずに動いてもよいが、獲得装置より見えるパターンがアドレス可能であるように動く。
【0104】
撮像装置は、アドレス可能なパターンの雛型画像を初期位置で獲得する。このアドレス可能なパターンの雛型画像は、通常X、YおよびZ平面において固定の数の点を有する。その後、撮像装置の位置を調節して、第2のアドレス可能なパターンの雛型画像を第2位置で獲得する。移動制約を越えると決定された調節位置は無視するとの予防的措置をとってもよい。第2位置または調節された位置は、個々の6つの可変の平行移動および回転により、初期の撮像装置の位置に関連付けられる。新しい位置で獲得された画像は、部分的に第1の雛型画像と重複し、実質的に類似数の点を有しているという点により、通常、調節された位置は初期位置に関連付けられる。
【0105】
作動においては、少なくとも1つの外殻が、プロセッサにより生成され、または、ユーザーにより手動で強調表示される。この外殻は、アドレス可能なパターンの雛型画像およびアドレス可能なパターンの表面画像内の全ての点を囲む。全ての場合にそうであるとはいえないが、アドレス可能なパターンの雛型画像の外殻の外側にある点は、放棄してもよい。アドレス可能なパターンの表面画像中の点の内殻も複数個生成される。この内殻は、個々の6つの可変の平行移動および回転による、複数の殻の交差内の獲得間の最大限許容可能な変位の関数である。誤差は、アドレス可能なパターンの表面画像上にある点とアドレス可能なパターンの雛型画像との間の差から演算してもよい。
【0106】
殻が生成されたら、アドレス可能なパターン情報が、マッチングアルゴリズムを用いて処理される。このマッチングアルゴリズムは、アドレス可能なパターンの表面画像上の各点と、アドレス可能なパターンの雛型画像上の対応する点との間の距離を決定するように構成されている。各マッチングされた点は、その個体の移動により、複数の内殻から形成され、高解像度のデータセットを形成するために回転により1つにまとめられる。
【0107】
何百または場合によっては何千もの獲得をマッチングすると、このよく規定された点の大群は、個体の平行移動および回転により1つにまとめられる。目標とする被写体の特徴を回復するのに十分なマッチング点が存在するか否かを決定するように、アドレス可能なパターン情報を用いたアルゴリズムを適応させてもよい。よく規定された点の大群が作成されると、この高解像度点の大群を用いて、標準的なアルゴリズムまたは市販のパッケージを介し、補間あり又はなしで、高解像度の表面(ナーブおよびメッシュなど)を生成または出力することができる。このような標準的なアルゴリズムまたは市販のパッケージは、例えば、ジオマジック(Geomagic)社製のジオマジック・スタジオ(Geomagic Studio)である。ジオマジック(Geomagic)社は、アメリカ合衆国、27709、ノースカロライナ州、リサーチ・トライアングル・パーク、3200 イースト・ハイウェイ 54、ケープフィアービルディング、300号室(3200 East Hwy 54, Cape Fear Building, Suite 300, Research Triangle Park,NC,27709)在である。
【0108】
この適合は、全ての誤差が、この装置の精度の関数である、ある閾値以下であれば十分であると考えられている。これが行われれば、調節された位置における第2の獲得が雛型となり、次の獲得が、これにマッチングする表面となる。マッチングアルゴリズム中のアドレス可能なパターン情報の頑健さにより、十分な獲得が得られるまで表面形状を補間することなく、小さいセットを小さいセットにマッチングさせることができる。
【0109】
図11は、画像の再構成を支援するために、アドレス可能なパターンを使用することを示すフローチャートである。表面特徴獲得時にアドレス可能なパターンを用いるのは、分離可能な視点の三次元撮像システム中で用いられる対応検索を迂回する方法の1つである。
【0110】
開始過程1100が、多数の画像を獲得する行為で始まるが、各画像がアドレス可能なパターンを含む(アドレス可能なパターンで照射される)(行為1102)。通常、各画像は、異なる視点から撮られるが、アドレス可能なパターンは、被写体の表面輪郭に関して静止している。複数の画像はそれぞれ、アドレス可能なパターン情報の少なくとも一部を有し、少なくとも1つの点は、目標とする被写体の少なくとも一面を表現する。当業者は、被写体がその上に様々な点を有しうると理解するであろう。各点は、これから行われる被写体の再構成に関する重要な情報を提供しうる。
【0111】
画像中の各点に対してアドレスが割り当てられる(アドレス化行為1110)。一般的に、アドレス可能なパターンは、アドレス化行為1110中で支援するために参照される被写体上の一連のプロットを提供する。重要であるのは、アドレス可能なパターンは、対称形である必要はなく、通常の一連のマーカーまたは画像を包含する。適切なアドレス可能なパターン情報の非限定的な例には、色シーケンスパターン、異なる形状を有する被写体を有するパターン、および、位置シーケンスパターン、識別可能な被写体特徴または被写体ランドマーク、もしくは、これらの組み合わせが含まれる。アドレス可能なパターンの画像は、種々の方法で、被写体表面上に置かれうる。この適切な方法の非限定的な例には、アドレス可能なパターンの画像を被写体表面上に投影する方法、アドレス可能なパターンの画像を被写体表面上に物理的に置く方法、および、源としての撮像される被写体に固有の特徴を用いる方法が含まれる。
【0112】
追加的な画像を獲得する行為を行うか否かをシステムが決定するのを支援する行為1120を実装してもよい。この行為は、さらに、獲得画像の適切さを秤量するよう補強されてもよい。例えば、露光中に過度の移動が行われていた画像がセンサーにより検出された場合、この画像は、アルゴリズムにより放棄されてもよい。この場合、最後に獲得された画像が放棄され、過程は、被写体の照射行為1102から繰り返される。別の態様では、アドレス可能なパターンを用いて受け取った画像は処理に適したものでありうるが、しかし、被写体を再構成するために、より多くの画像獲得が必要である。この場合、アルゴリズムをさらに補強するために、さらなる決定過程を追加可能である。この一例は、撮像系の視点を調節すべきか否かの決定(行為1130)を追加することであるだろう。撮像装置の位置または被写体の所望の領域を移す必要があれば、撮像系または目標とする被写体のいずれかが、視点を調節する行為1140のために変えられてもよい。
【0113】
画像の全てまたは少なくとも一部分が獲得されれば、各画像内での点間の関係または点情報間の関係を用いて、各点に対する相対的なまたは絶対的な距離情報を演算または決定する。距離情報がわかれば、この情報は、この距離情報を用いて被写体の表現を生成する行為1160に供給される。
【0114】
図面および関連する詳細な説明は、本発明の実施形態を図解するために提供されるものであり、本発明の範囲を限定する目的で提供されるのではない。明細書中の「1実施形態」または「ある実施形態」への言及は、この実施形態に関連して記載された特定の特徴、構造または特性が、少なくとも本発明の1実施形態中に含まれることを示すことを意図する。明細書中の種々の箇所において記載した「1実施形態中」または「ある実施形態中」との語句は、必ずしも全て同じ実施形態を言及したのではない。
【0115】
別途、文脈的に必要としている場合を除いて、本開示中で用いられる、「有する(comprise)」という語句およびその変化形(“comprising”、“comprises”および“comprised”)には、他の添加物、要素、整数または工程を排除する意図はない。
【0116】
また、本実施形態は、フローチャート、フローダイヤグラム、構造図またはブロック図として表した過程として開示されている点に留意されたい。フローチャートは、作動の種々の工程を、順序だてた過程として開示しうるが、多くの作動は、並行的にまたは同時に実施されうる。図示した工程は、限定的な意図はなく、示した各工程が方法にとって本質的であるとして示す意図はなく、例示的な工程のみである。
【0117】
上述の明細書で、本発明は特定の実施形態を参照して記載した。しかしながら、本発明のより広い精神および範囲を離れることなく、種々の修正および変更を行ってもよいことは明らかである。したがって、明細書および図面は、制限的な意味合いではなく、例示的な意味合いで考えられるべきである。本発明は、このような実施形態によって限定されると解釈されるべきではないと理解されるべきである。
【0118】
上述の詳細な説明から、本発明は多くの利点を有することが明らかであり、本願中で説明したものもあり、本発明の実施形態中で本来的なものとして記載されたり特許請求されたものもある。修正は、本願中に記載した主題の教示を離れることなく、本願中に記載した装置、装置(apparatus)および方法に対して行われうるという点も理解される。本発明はこのようなものとして、添付の請求項で要求していない限り、記載した実施形態に限定されない。
【特許請求の範囲】
【請求項1】
三次元(3D)撮像装置であって、
1つのレンズと、
前記レンズを遮る偏光で符号化された少なくとも1つの絞り開口と、
被写体から出て、かつ前記レンズと前記偏光で符号化された少なくとも1つの絞り開口とを通過した電磁放射線を獲得するために動作可能な偏光に感度を有するセンサーと、
前記センサー情報を処理するため、かつ前記被写体の3D画像を生成するために、前記センサーと通信可能に接続されたプロセッサと
を有する装置。
【請求項2】
マスクは、互いに区別できる偏光で符号化された2つの絞り開口を有し、前記2つの絞り開口の偏光は、相対的にほぼ垂直であり、ここで、前記偏光に感度を有するセンサーは、各絞り開口により生成された画像を区別するように構成され、これにより、ミスマッチを最低限に抑える請求項1に記載の装置。
【請求項3】
前記偏光で符号化された少なくとも1つの絞り開口は、前記絞り開口の偏光が露光間で変わるように回転し、これにより、異なる露光に関する同じマーカーの像の間の距離から、深度情報が演算可能である請求項1に記載の装置。
【請求項4】
三次元(3D)撮像方法であって、
被写体から出て、かつ1つのレンズと、偏光で符号化された少なくとも1つの絞り開口とを通過した電磁放射線を、偏光に感度を有するセンサーを用いて獲得する行為と、
前記被写体を表現する3D画像を生成するために、前記センサーからの情報を処理する行為と
を含む方法。
【請求項5】
マスクは、互いに区別できる偏光で符号化された2つの絞り開口を有し、前記2つの絞り開口の偏光は、相対的にほぼ垂直であり、ここで、前記偏光に感度を有するセンサーは、各絞り開口により生成された画像を区別するように構成され、これにより、ミスマッチを最低限に抑える請求項1に記載の方法。
【請求項6】
さらに、前記偏光で符号化された少なくとも1つの絞り開口を、前記絞り開口の偏光が露光間で変わるように回転させる行為を含み、これにより、異なる露光に関する同じマーカーの像の間の距離から、深度情報が演算可能である請求項1に記載の方法。
【請求項1】
三次元(3D)撮像装置であって、
1つのレンズと、
前記レンズを遮る偏光で符号化された少なくとも1つの絞り開口と、
被写体から出て、かつ前記レンズと前記偏光で符号化された少なくとも1つの絞り開口とを通過した電磁放射線を獲得するために動作可能な偏光に感度を有するセンサーと、
前記センサー情報を処理するため、かつ前記被写体の3D画像を生成するために、前記センサーと通信可能に接続されたプロセッサと
を有する装置。
【請求項2】
マスクは、互いに区別できる偏光で符号化された2つの絞り開口を有し、前記2つの絞り開口の偏光は、相対的にほぼ垂直であり、ここで、前記偏光に感度を有するセンサーは、各絞り開口により生成された画像を区別するように構成され、これにより、ミスマッチを最低限に抑える請求項1に記載の装置。
【請求項3】
前記偏光で符号化された少なくとも1つの絞り開口は、前記絞り開口の偏光が露光間で変わるように回転し、これにより、異なる露光に関する同じマーカーの像の間の距離から、深度情報が演算可能である請求項1に記載の装置。
【請求項4】
三次元(3D)撮像方法であって、
被写体から出て、かつ1つのレンズと、偏光で符号化された少なくとも1つの絞り開口とを通過した電磁放射線を、偏光に感度を有するセンサーを用いて獲得する行為と、
前記被写体を表現する3D画像を生成するために、前記センサーからの情報を処理する行為と
を含む方法。
【請求項5】
マスクは、互いに区別できる偏光で符号化された2つの絞り開口を有し、前記2つの絞り開口の偏光は、相対的にほぼ垂直であり、ここで、前記偏光に感度を有するセンサーは、各絞り開口により生成された画像を区別するように構成され、これにより、ミスマッチを最低限に抑える請求項1に記載の方法。
【請求項6】
さらに、前記偏光で符号化された少なくとも1つの絞り開口を、前記絞り開口の偏光が露光間で変わるように回転させる行為を含み、これにより、異なる露光に関する同じマーカーの像の間の距離から、深度情報が演算可能である請求項1に記載の方法。
【図1A】
【図1B】
【図1C】
【図1D】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図5F】
【図5G】
【図5H】
【図6A】
【図6B】
【図7A】
【図7B】
【図7C】
【図7D】
【図8A】
【図8B】
【図8C】
【図8D】
【図8E】
【図9】
【図10】
【図11】
【図1B】
【図1C】
【図1D】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図5F】
【図5G】
【図5H】
【図6A】
【図6B】
【図7A】
【図7B】
【図7C】
【図7D】
【図8A】
【図8B】
【図8C】
【図8D】
【図8E】
【図9】
【図10】
【図11】
【公表番号】特表2010−526481(P2010−526481A)
【公表日】平成22年7月29日(2010.7.29)
【国際特許分類】
【出願番号】特願2010−506266(P2010−506266)
【出願日】平成20年4月23日(2008.4.23)
【国際出願番号】PCT/US2008/005314
【国際公開番号】WO2008/133959
【国際公開日】平成20年11月6日(2008.11.6)
【出願人】(501272937)カリフォルニア インスティテュート オブ テクノロジー (25)
【Fターム(参考)】
【公表日】平成22年7月29日(2010.7.29)
【国際特許分類】
【出願日】平成20年4月23日(2008.4.23)
【国際出願番号】PCT/US2008/005314
【国際公開番号】WO2008/133959
【国際公開日】平成20年11月6日(2008.11.6)
【出願人】(501272937)カリフォルニア インスティテュート オブ テクノロジー (25)
【Fターム(参考)】
[ Back to top ]