映像分析を用いた標的の地理参照方法
【課題】標的システムのサブシステム間において標的を地理参照するための方法を提供する。
【解決手段】送信側のサブシステム位置４０７において形成される標的画像を受信することと、標的画像の第１の選定された一部２１５に関する標的記述子を生成することと、標的位置情報及び標的記述子を標的システムの送信側のサブシステム１００から標的システムの受信側のサブシステム３００へ送信することと、受信側のサブシステム３００のカメラの光軸３２２を送信側のサブシステム１００から受信される標的位置情報に基づいて標的に向けることと、光軸３２２が標的２１０に向けられたとき、受信側のサブシステム位置４０９において標的画像を形成することと、及び送信側のサブシステム位置４０７において形成される標的画像の第１の選定された一部２１５と相関性がある、受信側のサブシステム位置４０９において形成される標的画像の第２の選定された一部を特定する。
【解決手段】送信側のサブシステム位置４０７において形成される標的画像を受信することと、標的画像の第１の選定された一部２１５に関する標的記述子を生成することと、標的位置情報及び標的記述子を標的システムの送信側のサブシステム１００から標的システムの受信側のサブシステム３００へ送信することと、受信側のサブシステム３００のカメラの光軸３２２を送信側のサブシステム１００から受信される標的位置情報に基づいて標的に向けることと、光軸３２２が標的２１０に向けられたとき、受信側のサブシステム位置４０９において標的画像を形成することと、及び送信側のサブシステム位置４０７において形成される標的画像の第１の選定された一部２１５と相関性がある、受信側のサブシステム位置４０９において形成される標的画像の第２の選定された一部を特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、標的システムに関連し、具体的には標的システムのサブシステム間において標的地理を参照するための方法に関連する。
【背景技術】
【０００２】
軍事アプリケーションは、多くの場合、標的位置を決めるために斥候を使用する。斥候は、標的位置に関する情報を、必要な火力が配置されている発射基地へ送信する。通常、斥候は、発射基地から遠く離れて配置されている。一旦、標的が斥候によって発見され、調査されると、標的位置が特定され、標的位置が発射基地へ送信される。発射基地は、斥候からの入力に基づいて、標的を特定することを試みる。
【０００３】
一旦、標的の正確な位置が、斥候によって認識されると、正確な位置を標的システムの別の一部と共有することが望まれる。場合によっては、斥候が、発射基地のために標的を正確に特定するための十分な情報を送信することが困難なこともある。例えば、建築物の特定の窓が、標的であり得るが、斥候が標的位置を正確で精密に知ったとしても、特定の窓が、必ずしも発射基地によって知られているか又は特定可能であるとは限らない。
【０００４】
多くの場合、発射基地は、斥候から受信される情報に基づいて、標的を正確に特定できない。場合によっては、斥候及び発射基地からの標的の視野角における相違によって混乱することがある。例えば、斥候によって目撃されるような標的の見え方が、明確であっても、発射基地によって目撃される表示が、斥候から送信される標的の周囲の詳細を曖昧にする太陽からの反射を有する場合、標的が発射基地によって正確に特定され得ない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、標的システムのサブシステム間において標的位置を正確で精密に共有するように作動可能な、標的位置を地理参照するための標的システムを提供することである。
【課題を解決するための手段】
【０００６】
本出願は、標的システムのサブシステム間において標的を地理参照するための方法に関する。本方法は、送信側のサブシステム位置において形成される標的画像を受信することと、標的画像の受信に応答して標的画像の第１の選定された一部に関する標的記述子を生成することと、を含む。本方法は更に、標的位置情報及び標的記述子を、標的システムの送信側のサブシステムから標的システムの受信側のサブシステムへ送信することを含む。本方法は、送信側のサブシステムから受信される標的位置情報に基づいて受信側のサブシステムのカメラの光軸を標的に向けることと、光軸が標的に向けられていたとき、受信側のサブシステムの位置における標的画像を形成することと、及び送信側のサブシステム位置において形成される標的画像の第１の選定された一部と相関性がある、受信側のサブシステム位置において形成される標的画像の第２の選定された一部を特定することと、を含む。標的画像の第２の選定された一部の特定は、送信側のサブシステムから受信される標的記述子に基づく。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態による標的位置を、地理参照するための標的システムのブロック図である。
【図２】図２Ａは第１の位置及び第２の位置において形成される例示的な標的画像並びに第１の位置において形成される標的画像の選定された一部の内部の例示的なセグメント表現を示す。図２Ｂは第１の位置及び第２の位置において形成される例示的な標的画像並びに第１の位置において形成される標的画像の選定された一部の内部の例示的なセグメント表現を示す。図２Ｃは第１の位置及び第２の位置において形成される例示的な標的画像並びに第１の位置において形成される標的画像の選定された一部の中の例示的なセグメント表現を示す。
【図３】図３Ａは本発明の実施形態による例示的な標的に対して標的の方位決定を使用する場面レンダリングの例示である。図３Ｂは本発明の実施形態による例示的な標的に対して標的の方位決定を使用する場面レンダリングの例示である。図３Ｃは本発明の実施形態による例示的な標的に対して標的の方位決定を使用する場面レンダリングの例示である。図３Ｄは本発明の実施形態による例示的な標的に対して標的の方位決定を使用する場面レンダリングの例示である。
【図４Ａ】本発明による標的システムのサブシステム間において標的を地理参照するための方法の一実施形態の流れ図である。
【図４Ｂ】本発明による標的システムのサブシステム間において標的を地理参照するための方法の一実施形態の流れ図である。
【図５】本発明の実施形態による場面レンダリング機能を実装するための方法の流れ図である。
【図６】通信リンクの帯域幅が制限されているとき、本発明の実施形態による標的位置情報及び標的記述子を送信するための方法の流れ図である。
【発明を実施するための形態】
【０００８】
一般的な実施によって説明される様々な特徴を、拡大するように描かないで、本発明に関連する特徴を強調するように描いている。同一の参照文字は、図面及びテキストの初めから終わりまで同一の要素を示す。
【０００９】
以下の詳細な記載において、本明細書の一部を形成する添付の図面を参照し、本発明において実施され得る例示的な特定の実施形態を図示することによって示す。当業者が本発明を実施可能なように、これらの実施形態を十分に詳細に説明し、別の実施形態が利用され得、論理的、機械的及び電気的な変更が、本発明の範囲から逸脱せずに実行され得ることが理解されよう。したがって、以下詳細な説明を限定する意味に取るべきではない。
【００１０】
本明細書に説明されている標的位置を地理参照するための標的システムは、標的システムのサブシステム間において、標的位置を正確で精密に共有するように作動可能である。用語「位置」及び「地理的位置」を、本明細書においては互換可能に使用する。当業者に知られているように、精度（accuracy）は、量、表現などに関する正確性の程度であって、すなわち、測定の精度（accuracy）は、測定の結果が真の値にどれくらい近いかに関する尺度である。当業者に知られているように、精度（precision）は、量の正確性が表現される程度であって、すなわち、測定の精度（precision）は、結果がその真の値との合意性を参照せずにどれくらい良好に決定されたかに関する測定である。
【００１１】
前述されたように、（大建築物の特定の窓のような）標的を正確で精密に位置付けることと、標的システムのサブシステムへ情報を送信することと、データを交換するメディアの帯域幅が、必ずしも高帯域でないときであっても、サブシステムが、標的を正確で精密に位置付けし得ることも望まれる。本明細書に記載されているラスター又はベクトル画像を確立する地理参照を使用し、標的位置において少なくとも１つの固有識別子が、第１のサブシステムによって標的画像の選定された一部の内部で認識される。第１のサブシステムが、少なくとも１つの固有識別子を第２のサブシステムへ送信する。第２のサブシステムが、第２のサブシステムにおいて標的画像の選定された一部を認識するために、少なくとも１つの固有識別子を使用する。第１及び第２のサブシステムが、別々の位置において存在し得る。
【００１２】
図１は、本発明の実施形態による標的位置（４０５）を地理参照するための標的システム（１０）のブロック図である。標的システム（１０）は、第１の位置（４０７）に位置付けられた送信側のサブシステム（１００）及び第２の位置（４０９）に位置付けられた受信側のサブシステム（３００）を含む。受信側のサブシステム（３００）は、無線リンクとして示されているが、有線リンクであり得る通信リンク（２７０）によって送信側のサブシステム（１００）と通信可能に接続される。この実施形態の一実装において、標的位置（４０５）は、地理的な位置であって、標的位置（４０５）を示す情報は、緯度、経度及び高度を含む。例示のために、標的位置が標的（２１１）においてＸとして示されている。
【００１３】
送信側のサブシステム（１００）は、第１のカメラ（１２０）、第１のディスプレイ（１６０）、第１のプロセッサー（１１０）、第１の距離計（１３０）、第１の全地球測位システム受信機（ＧＰＳ ＲＸ）（１４０）、送信機（ＴＸ）（１７０）、及び記憶媒体（１６６）を含む。記憶媒体（１６６）は、メモリー（１６５）、映像分析（ＶＡ）機能（１５０）、及び場面レンダリング（ＳＲ）機能（１５２）を含む。第１のカメラ（１２０）は、第１の可動式カメラ台（１２４）に位置付けられ、光軸（１２２）を有する。第１のカメラ台（１２４）は、３つの直交軸の周囲で光軸（１２２）の方向を合わせるように調整され得る。
【００１４】
受信側のサブシステム（３００）は、第２のカメラ（３２０）、第２のディスプレイ（３６０）、第２のプロセッサー（３１０）、第２の距離計（３３０）、第２の全地球測位システム受信機（ＧＰＳ ＲＸ）（３４０）、受信機（ＲＸ）（３７０）、及び記憶媒体（３６６）を含む。記憶媒体（３６６）は、メモリー（３６５）及び映像分析（ＶＡ）機能（３５０）を含む。第２のカメラ（３２０）は、第２の可動式カメラ台（３２４）に配置され、光軸（３２２）を有する。第２のカメラ台（３２４）は、３つの直交軸（３２２）の周囲で光軸の方向を合わせるように調整され得、第１のカメラ台（１２４）の周囲の３つの直交軸と異なるように調整できる。
【００１５】
標的位置（４０５）を地理参照するための標的システム（１０）の動作の実施形態を、ここで説明する。第１のプロセッサー（１１０）が、標的画像を示す情報を受信し、標的画像の第１の選定された一部に関する標的記述子を生成する。この実施形態の一実装において、標的画像は、標的（２１１）が配置されている標的領域（２０１）の画像である。図１に示されているように、標的領域（２０１）は、標的（２１１）のすべてを含む。（本明細書において「選定された一部（２１５）」としても参照されている）標的画像の第１の選定された一部（２１５）を、標的（２１１）のサブセットとして図１に示す。ボックス（２１５Ａ）は、第１の標的の選定された一部のサブセットの表現である。この実施形態の一実装において、送信側のサブシステム位置（４０７）において形成される標的画像の第１の選定された一部が、標的画像の第１の選定された一部のサブセット画像（２１５）に縮小される。サブセット画像は、画像のサブセット（２１５Ａ）である。この実施形態の別の実装において、第１の選定された一部（２１５）は、標的領域（２０１）の一部及び標的（２１１）の一部を含む。
【００１６】
例示的な事例に関しては、標的（２１１）が、駐車場に駐車された乗り物の場合、第１のカメラ（１２０）の焦点面に焦点を合わせられている標的領域（２０１）の画像が、駐車場における標的（２１１）に隣接する別の乗り物を含み得る。例示的な別の事例においては、第１のカメラ（１２０）の焦点面に焦点を合わせられている標的領域（２０１）の画像は、全部の標的（２１１）に満たないものを含む。例えば、標的（２１１）が建物の場合、標的画像（すなわち標的領域（２０１））は、建物の１つの壁の中心部だけを含み得、選定された一部（２１５）は、標的領域（２０１）のサブセットである。このように、標的領域（２０１）のボックスの表現、標的（２１１）及び標的（２１１）の選定された一部（２１５）の相対的サイズは、図１に示されているものと変化し得、本発明の範囲を限定することを意図していないことが理解されよう。第１の選定された一部（２１５）のサブセット（２１５Ａ）は、常に第１の選定された一部（２１５）の領域よりも小さい領域を包含する。
【００１７】
標的画像の第１の選定された一部（２１５）の内部の標的記述子を生成するための映像分析機能（１５０）が、第１のプロセッサー（１１０）によって実行可能である。場面レンダリング機能（１５２）が、第１のプロセッサー（１１０）によって実行可能であって、場面レンダリング機能（１５２）からの出力が、標的記述子を生成するための映像分析機能（１５０）によって使用される。この実施形態の一実装において、場面レンダリング機能（１５２）は、標的記述子を生成するように要求されない。このように第１のプロセッサー（１１０）が、標的画像の第１（２１１）の選定された一部（２１５）に関する標的記述子を生成する。
【００１８】
第１のプロセッサー（１１０）が、標的位置（４０５）も生成する。第１のプロセッサー（１１０）が、航法解決を使用することによって標的（２１１）の地理的位置、及び標的（２１１）への測定範囲（Ｒ）を測定する。送信機（１７０）が、標的記述子及び標的位置（４０５）を示す情報を受信側のサブシステム（３００）へ送信する。この情報は、受信側のサブシステム（３００）へ送信され、受信側のサブシステム（３００）が、部分的な画像だけを解析要求する対象領域（すなわち、選定された一部（２１５）又は選定された一部（２１５）のサブセット（２１５Ａ））へ速やかに光軸（３２２）を向けることができる。具体的には受信機（３７０）は、標的記述子及び標的位置（４０５）を示す情報を受信する。その後、第２のプロセッサー（３１０）が、第２のカメラ（３２０）の光軸（３２２）を標的位置（４０５）に向ける。第２のプロセッサー（３１０）が、受信される標的記述子に基づいて標的画像の第１の選定された一部（２１５）と相関性がある標的の一部（２１１）を特定する。
【００１９】
第１のカメラ台（１２４）は、第１のプロセッサー（１１０）からの命令を受信するために第１のプロセッサー（１１０）と通信可能に接続され、第１のカメラ台（１２４）の方位は、第１のプロセッサー（１１０）によって制御される。第１のカメラ台（１２４）は、第１のカメラ台（１２４）が、受信される命令に基づいた適切な向きに変えるまで、３つの直交軸の周囲で回転し、及び／又は３つの直交軸に沿って移動する。第１のカメラ台（１２４）は、光軸（１２２）が標的位置（４０５）において標的（２１１）に向くように調整されたとき、第１のカメラ（１２０）が、第１のカメラ（１２０）の焦点面において（本明細書において「標的画像」としても参照されている）標的（２１１）の画像を形成する。本明細書に定義されているように、光軸（１２２）は、標的（２１１）の画像が第１のカメラ（１２０）の焦点面上のどこかに収まったとき、標的位置（４０５）において標的（２１１）に向いている。標的画像を示す情報が、通信可能に接続された第１のディスプレイ（１６０）に送信され、標的（２１１）の画像（又は選定された一部（２１５）を含む標的（２１１）の画像の一部）が、送信側のサブシステム（１００）のユーザーに表示される。
【００２０】
この実施形態の一実装においては、送信側のサブシステム（１００）のユーザーが、第１のカメラ（１２０）を標的（２１１）に向ける。そのような一実装においては、標的のおおよその位置が、知られていて、第１のカメラ台（１２４）の方位は要求されない。別のそのような実装においては、第１のカメラ台（１２４）の方位が（第１のカメラ台（１２４）上の測定装置の方位角及び／又は姿勢によって）決定され、第１のカメラ台（１２４）の方位を示すこの情報が、標的位置（４０５）を決定する際に使用するために、第１のプロセッサー（１１０）へ送信される。
【００２１】
第１のプロセッサー（１１０）が、第１のカメラ（１２０）から標的画像を示す情報を受信するために、通信可能に接続される。第１のプロセッサー（１１０）は、第１の全地球測位システム受信機（ＧＰＳ ＲＸ）（１４０）から（本明細書において「第１の位置（４０７）を示す情報」としても参照されている）第１の位置（４０７）を受信するために、第１の全地球測位システム受信機（ＧＰＳ ＲＸ）（１４０）と通信可能に接続される。第１のプロセッサー（１１０）は、第１の位置（４０７）と標的位置（４０５）の間の距離（Ｒ）を示す情報を受信するために、第１の距離計（１３０）と通信可能に接続される。第１のプロセッサー（１１０）は、（本明細書において「標的位置（４０５）を示す情報」としても参照されている）標的位置（４０５）を生成するために、第１の全地球測位システム受信機（ＧＰＳ ＲＸ）（１４０）及び第１の距離計（１３０）から受信される情報を使用する。
【００２２】
選定された一部（２１５）は、第１のディスプレイ（１６０）に表示されている標的画像の一部を選択するために、第１のディスプレイ（１６０）における（又はそれと接続されている）グラフィカルユーザーインターフェース（１６２）を使用する送信側のサブシステム（１１０）のユーザーによって、選択される。この実施形態の一実装において、グラフィカルユーザーインターフェース（１６２）は、マウスのような装置である。この実施形態の別の実装において、ユーザーは、最初に標的（２１１）を特定し、その後、標的領域（２０１）の選定された一部（２１５）を選択するために、グラフィカルユーザーインターフェース（１６２）を使用する。この実施形態の更に別の実装において、ユーザーが、最初に標的（２１１）を特定するためにグラフィカルユーザーインターフェース（１６２）を使用し、第１のプロセッサー（１１０）が、標的領域（２０１）を分析し、知覚品質の異なる境界を決定する支援をする標的領域（２０１）の知覚特性（例えばエントロピー）に基づいて、（少なくとも標的（２１１）の画像の一部を含む）標的領域（２０１）の選定された一部（２１５）を選択する。この実施形態の更に別の実装において、グラフィカルユーザーインターフェース以外のインターフェースが、（標的（２１１）の画像の少なくとも一部を含む）標的領域（２０１）の選定された一部（２１５）を選択するために、ユーザーによって使用される。
【００２３】
送信機（１７０）が、第１のプロセッサー（１１０）から標的記述子及び標的位置（４０５）を示す情報を受信するために、通信可能に接続される。送信機（１７０）が、標的記述子及び標的位置（４０５）を、通信リンク（２７０）を介し受信側のサブシステム（３００）へ送信する。所望の標的システム（１０）の応答時間に基づいた許容され得る通信遅延が、受信側のサブシステム（３００）へ標的記述子及び標的位置（４０５）を送信する前に決定される。映像分析機能（１５０）は、標的（２１１）の小さい領域（すなわち、選定された一部（２１５）又は選定された一部（２１５）のサブセット（２１５Ａ）ためだけに）データを送信し、標的記述子又はグレースケール画像のうち、より最小のデータを必要とするいずれかに動的に送信することによって、通信リンク（２７０）に関して小さい帯域幅要件を記述する。
【００２４】
受信側のサブシステム（３００）における受信機（３７０）が、送信機（１７０）から標的記述子及び標的位置（４０５）を受信する。標的位置（４０５）を示す情報に応答して第２のプロセッサー（３１０）が、地理的なおおよその位置を使用し、第２のカメラ台（３２４）を調整することによって、第２のカメラ（３２０）の光軸（３２２）を標的位置（４０５）に向ける。本明細書に定義されているように、標的（２１１）の画像が、第２のカメラ（３２０）の焦点面上のどこかに収まったとき、光軸（３２２）は、標的位置（４０５）の方又はその位置へ向いている。受信側のサブシステム（３００）が、その後、第２の距離計（３３０）及び第２のカメラ（３２０）から範囲及び映像データを収集する。受信側のサブシステム（３００）の映像分析機能（３５０）がその後、引き継ぐ。標的（２１１）の測定された位置の周囲において第２の選定された一部（２１５）が、選択される。第２の選定された領域（２１５）に関する標的記述子が、受信側のサブシステム（３００）において決定され、送信側のサブシステム（１００）から受信される第１の選定された領域（２１５）に関する標的記述子と比較される。グレースケール画像が、帯域幅の制限によって、標的記述子の代わりに送信された場合、受信側のサブシステム（３００）の映像分析機能（３５０）が、（受信され生成された）表示双方に関する標的記述子を決定し、それらを比較する。
【００２５】
一致が見出された場合、受信側のサブシステム（３００）は、標的が特定されていると見なす。本明細書に定義されているように、第２の選定された領域（２１５）が、第１の選定された領域（２１５）に一致したとき、第２の選定された領域（２１５）は、第１の選定された領域（２１５）と相関している。このように第２のプロセッサー（３１０）は、受信される標的記述子に基づいて、標的画像の第１の選定された一部（２１５）に相関性がある（本明細書において「第２の選定された一部（２１５）」としても参照されている）標的の選定された一部（２１５）を特定する。かくして、第１のディスプレイ（１６０）上に視察される第１の画像の選定された一部（２１５）が、第２のディスプレイ（３６０）上に視察される第２の選定された一部（２１５）の画像からの外観と異なり得るが、受信側のサブシステム（３００）のユーザーは、送信側のサブシステム（１００）のユーザーによって選定された第１の選定された一部（２１５）と本質的に同一である、第２の選定された一部（２１５）を選択する。この外観における相違は、遠近法による相違、及び／又は第１の位置（４０７）及び第２の位置（４０９）から目撃される標的（２１１）の選定された一部（２１５）から反射された光の条件の相違のためであり得る。この実施形態の一実装においては、一致が見出された場合、第２のディスプレイ（３６０）のアイコンが、色を変更する。この実施形態の別の実装においては、一致が見出された場合、標的を特定するアイコンが、第２のディスプレイ（３６０）上の第２の選定された領域（２１５）に現れる。
【００２６】
映像分析機能（３５０）は、送信側のサブシステム（３００）が、標的（２１０）を地図配置し、その画像を取得する事実による。第２のレーザー距離測定器（３３０）と、第２のカメラ（３２０）と、第２の全地球測位システム受信機（３４０）（及び／又は慣性計測装置）との間の調整不良が、潜在的に誤った標的認識の原因となる。この実施形態の一実装において、カルマンフィルターが、ランタイム中の調整不良を測定するために使用される。
【００２７】
送信側のサブシステム（１００）の様々なコンポーネントが、適切な（例えば、バス、トレース、ケーブル、有線、ポート、無線送受信装置などを使用する）インターフェースを使用し、必要に応じて相互と通信可能に接続される。第１のカメラ台（１２４）が、第１のプロセッサー（１１０）から受信される命令に応答して作動する適切な（例えば、ギヤ、ギヤボックス、チェーン、カム、電磁装置、水力、ガス圧力装置、及び圧電性、化学的及び／又は熱的装置）インターフェースによって機械的に制御される。この実施形態の一実装において、第１の距離計（１３０）及び第１のカメラ（１２０）双方が、第１のプロセッサー（１１０）と配線される。この実施形態の別の実装において、第１の距離計（１３０）及び第１のカメラ（１２０）が、無線リンクによって通信可能に接続される。同様に受信側のサブシステム（３００）の様々なコンポーネントが、適切なインターフェースを使用し、必要に応じて相互と通信可能に接続され、第２のカメラ台（３２４）が、適切なインターフェースによって機械的に制御される。
【００２８】
メモリー（１６５）は、例えば、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリー（ＲＯＭ）、及び／又は第１のプロセッサー（１１０）内のレジスターのような現在知られているか又は後に開発される適切な任意のメモリーを含む。一実装において、第１のプロセッサー（１１０）は、マイクロプロセッサー又はマイクロコントローラーを含む。更に、図１に第１のプロセッサー（１１０）及びメモリー（１６５）を別々の要素として示すが、一実装において第１のプロセッサー（１１０）及びメモリー（１６５）は、単一の装置（例えば単一の集積回路装置）に実装される。一実装において、第１のプロセッサー（１１０）は、プロセッサーサポートチップ、及び／又は特定用途集積回路（ＡＳＩＣ）のようなシステムサポートチップを含む。
【００２９】
この実施形態の一実装において、映像分析機能（１５０）及び場面レンダリング機能（１５２）は、第１のプロセッサー（１１０）にストアされている。第１のプロセッサー（１１０）は、映像分析機能（１５０）、場面レンダリング機能（１５２）、及び本明細書に記載された第１のプロセッサー（１１０）によって実行される処理の少なくともいくつかを第１のプロセッサー（１１０）に実行させる他のソフトウェア及び／又はファームウェアを実行する。少なくとも映像分析機能（１５０）の一部、場面レンダリング機能（１５２）、及び／又は第１のプロセッサー（１１０）によって実行されるファームウェア、及び関連する任意のデータ構造は、実行中に記憶媒体（１６６）にストアされている。
【００３０】
メモリー（３６５）は、例えば、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリー（ＲＯＭ）、及び／又は第２のプロセッサー（３１０）内のレジスターのような現在知られているか又は後に開発される適切な任意のメモリーを含む。この実施形態の別の実装において、映像分析機能（３５０）が、第２のプロセッサー（３１０）にストアされている。第２のプロセッサー（３１０）は、本明細書において説明された第２のプロセッサー（３１０）によって実行される処理の少なくともいくつかを映像分析機能（３５０）、及び第２のプロセッサー（３１０）に実行させる他のソフトウェア及び／又はファームウェアを実行する。少なくとも映像分析機能（３５０）及び／又は第２のプロセッサー（３１０）によって実行されるファームウェアの一部、及び関連する任意のデータ構造が実行中に記憶媒体（３６６）にストアされている。
【００３１】
システム（１０）の実装を、ここで図２Ａ〜２Ｃ及び図３Ａ〜３Ｄを参照して説明する。図２Ａ〜２Ｃは、（図２Ａの）第１の位置において形成される例示的な標的画像及び第２の位置（図２Ｃ）、及び第１の位置において形成される標的画像の選定された一部（２１５）の内部の（図２Ｂ）（２１７）において一般に表される例示的なセグメントの表現を示す。図２Ａに示されているように、標的領域（２０１）がすべての画像（２１５）であるが、中心にプラス符号（＋）がある破線の円は、少なくとも標的（２１１）の一部を含む第１の選定された一部である。この例示的な実施形態において、選定された一部（２１５）は、標的（２１１）より大きいが、標的（２１１）の画像は、比較的小さい標的領域（２０１）の一部である。
【００３２】
映像分析機能（１５０）は、送信側のサブシステム（１００）における第１のカメラ（１２０）の焦点面上に視察されるような標的画像の第１の選定された一部（２１５）の場面符号化をオンデマンドで実行する。第１のプロセッサー（１１０）によって実行される映像分析機能（１５０）は、以下の主要な特性及び機能を有する。
【００３３】
１）同一場面の異なる表示を介し確実に特定可能な標的記述子を決定すること
２）送信側のサブシステム（１００）及び受信側のサブシステム（３００）によって目撃される標的（２１１）の透視表示が劇的に異なったとき、場面レンダリング機能（１５２）から生成された標的記述子への入力を受信すること
３）送信される情報を最小化し、情報の時間感度を制限することによって、（通信リンク（２７０）の帯域幅に従った）送信機（１７０）と受信機（３７０）の間において通信するために要求される帯域幅を制限すること
４）受信側のサブシステム（３００）のユーザーに第２のカメラ（３２０）を介し標的（２１１）をすぐに位置づけ、視察させるために、第１のカメラ（１２０）からの画像データと一緒に第１の距離計（１３０）からの距離情報を使用すること
送信側のサブシステム（１００）の映像分析アルゴリズム（１５０）が、標的画像の第１の選定された一部（２１５）を選択する。この第１の選定された一部（２１５）に関する視覚的な範囲情報がキャプチャされ、記録される。その後、第１の選定された一部（２１５）に関する少なくとも１つの標的記述子が、決定される。標的記述子が、標的（２１１）が、受信側のサブシステム（３００）の第２のカメラ（３２０）の表示中に正しく検出され得るように、標的（２１１）の周囲において標的領域（２０１）を確実に記載する。確実性を達するために、標的記述子は、標的（２１１）の周囲の第１の選定された一部（２１５）において抽出された複数の特徴及び測定された地理的位置に関する情報を含む。
【００３４】
映像分析法の動作図を図２Ｂに示す。図２Ｂにおいて、点線の中心にそれぞれ存在するセグメント（２１７）は、生成される標的記述子の対象の表示領域である。この例示的な事例において、楕円として示されたセグメント（２１７）は、特定の特徴を撮像する複数の画素を取り巻いている。この実施形態の一実装において、セグメント（２１７）のサブセットが、ハイコントラスト、ポイントからの高い反射率、１つ以上の選定された放射率値、エントロピーなどのような特定のタイプの物理的特性に関して生成される。標的記述子は、画像の選定された一部（２１５）内部領域だけに関して生成される。セグメント（２１７）は、生成される標的記述子が対象とする特徴を囲むために、使用され得る任意の形の例示である。
【００３５】
この実施形態の一実装において、符号化された場面情報は、アイコン（ＩＣＯＮ）の配置に関する命令として受信機（３７０）に送信される。この場合、第２のカメラ（３２０）の光軸（３２２）が、標的位置（４０５）に向けられ、第２のカメラ（３２０）が、標的（２１１）に焦点を合わせられたとき、（図２Ｃの（２１９）としてラベリングされたボックスのような）アイコンが、生成された標的（２１１）の画像上に挿入される。
【００３６】
一旦、第１のプロセッサー（１１０）が、第１の位置（４０７）、第２の位置（４０９）及び標的位置（４０５）の地理的な位置を決定（又はメモリー（１６５）からリトリーブ）すると、第１のプロセッサー（１１０）が、第１の位置（４０７）における受信側のサブシステム（３００）と、第２の位置（４０９）における送信側のサブシステム（１００）と、標的位置（４０５）との相対的な位置を決定する。プロセッサーが、２つの表示の間の相違を決定するために、記憶媒体（１６６）におけるソフトウェアを実行する。２つの表示が、所定の閾値と異なる場合、それらは、実質的に異なるものとして宣言される。
【００３７】
（スケール不変特性変換（ＳＩＦＴ）によって計算される）テクスチャ記述子が、同一の場面に関する２つのいくらか異なる表示にわたってマッチングされ得るが、それらは、２つの表示が劇的に異なる場合、失敗し得る。かくして、２つの表示が実質的に異なっているとき、場面レンダリングが、そのデータに対して実行される。場面レンダリングは、誤り一致を減少させる。そのような状況において、映像分析アルゴリズム（１５０）が、最初に受信機の表示が提供する場面をレンダリングし、その後、標的記述子を決定する。場面レンダリングの一実装において、形状及びテクスチャの結合された記述子が、特徴それぞれに関して生成される。この実施形態の別の実装において、エッジが、標的記述子を生成するために使用される。この実施形態の更に別の実装において、スケルトンが、標的記述子を生成するために使用される。結合記述子は、照明における変化に対してより確実であって、様々な撮像条件下で、高度な性能を提供する。この実施形態の別の実装において、場面レンダリングは、（ベロダインライダー（Ｖｅｌｏｄｙｎｅ Ｌｉｄａｒ）のような）操舵可能なレーザー距離測定器が提供する３次元の場面情報を用いたセンサー入力を増大させることによって実行される。
【００３８】
図２Ａ〜２Ｃに示されている映像分析技術は、送信側のサブシステム（１００）及び受信側のサブシステム（３００）双方による標的（２１１）の視界（ＬＯＳ）に依存する。視界がないとき又は形状及びテクスチャ記述子が、標的を固有に特定できない困難な標的領域に関しては、標的方位決定システム（ＴＯＤＳ）が、選定された一部（２１５）のマッチング処理において、映像分析機能（１５０）及び映像分析機能（３５０）を支援する。ＴＯＤＳは、送信側のサブシステム（３００）によって正確な標的特定の確率を改善するために、標的領域（２０１）に関する地図参照される方位を計算する。標的の方位決定は、場面レンダリングを実行する方法の１つであって、映像分析機能（１５０）、場面レンダリング機能（１５２）、及び映像分析機能（３５０）の実行によって実装される。ＴＯＤＳは、標的領域（２０１）の方位又はプレーンを測定し、受信側のサブシステム（３００）に送信する前に、標的領域記述子にそれを追加する。このようにＴＯＤＳは、受信側のサブシステム（３００）における表示が、地図参照された幾何学図形において正しく定義され得る構造によって閉塞される動作中に正確な標的特定の確率を改善する。
【００３９】
図３Ａ〜３Ｄは、本発明の実施形態による、例示的な標的に対する標的の方位決定を使用する場面レンダリングの例示である。標的の方位決定は、グラフベースの方法を使用する標的領域の画像分割、標的領域のセグメントそれぞれの地図参照の測距、及び標的領域におけるセグメントそれぞれのプレーン及び方位の決定から成る。図３Ａは、標的領域（２０１）（市街路）における例示的な標的（２１１）（乗用車）を示す。図３Ｂは、図３Ａの標的領域（２０１）の選定された一部（２１５）（前席の同乗者のウインドウ及び街路及び建物の背景の一部）を示す。図３Ｃは、選定された一部（２１５）の内部の（この実施形態において円形として表示されている）セグメント（２１７）を示す。地図参照の測距は、標的領域（２０１）における選定された領域（２１５）のセグメント（２１７）それぞれに関して実行される。図３Ｄに、図３Ｃのセグメント（２１７）グループに関して決定される（２１８−（１〜Ｎ））に一般に表されるプレーン及び（２２２−（１〜Ｎ））に一般に表される（矢印として示されている）プレーン方位を示す。
【００４０】
例えば、プレーン（２１８−１）は、選定された領域（２１５）において、ダクトの画像の内部のセグメント（２１７）から生成され、プレーン（２１８−２）は、選定された領域（２１５）において、客席のウインドウ画像の内部のセグメント（２１７）から生成される。（図１の）プレーン（２１８−（１〜Ｎ））及び関連するプレーン方位（２２２−（１〜Ｎ））が、場面レンダリング機能（１５２）の実施中に生成される。異なる知覚品質の境界の決定を援助する標的領域（２０１）の知覚特性（例えばエントロピー）が、場面レンダリング機能（１５２）によって決定される。
【００４１】
画像分割の難しさは、計算時間と、場面に関連する大域的な性質を知覚的にキャプチャする機能との間のトレードオフである。グラフベースの方法は、非常に多角的であって、知覚的に意味のある方法で、場面をセグメント分割するための機能をずっと維持している間、もっと高速になるように調整され得る。これらの方法は、画素それぞれをノードとして扱う。２つの画素間の選定された相違インデックスが、連結領域を潜在的に分解定義された閾値よりも小さい場合、２つのノード間のエッジが確立される。標的領域におけるセグメントそれぞれのプレーン及び方位決定が、送信側のサブシステム（１００）から送信された標的領域記述子に追加される。受信側のサブシステム（３００）の映像分析機能（３５０）が、形状及びテクスチャ記述子に追加した記述子内の標的の方位情報に基づいたマッチングを実行するように修正される。
【００４２】
この実施形態の一実装において、第１のプロセッサー（１１０）は、標的（２１１）が移動中であって、第１のカメラ（１２０）から受信される情報を使用していることを認知し、第１の距離計（１３０）は、標的（２１１）が移動速度を決定する。この場合、第１のプロセッサー（１１０）は、標的位置（４０５）を示す情報及び標的記述子に伴って送信機（１７０）を介し、標的（２１０）の速度を示す情報を受信側のサブシステム（３００）に送信する。
【００４３】
図４は、本発明による標的システムのサブシステムの間において標的を地理参照するための方法（４００）の一実施形態の流れ図である。この実施形態の一実装において標的システムは、図１、２Ａ〜２Ｄ及び３Ａ〜３Ｄを参照して前述されたような標的システム（１０）である。本方法（４００）を図１に示されている標的システム（１０）を参照して説明するが、本方法（４００）が、本明細書を読む当業者によって理解され得るように別の仮想ネットワークの実施形態を使用して実装され得ることが理解されよう。
【００４４】
ブロック（４０２）において、第１のプロセッサー（１００）が、送信側のサブシステム位置（４０７）において形成される標的画像を受信する。標的画像は、第１のカメラ（１２０）の光軸（１２２）が、標的（２１１）に向けられたとき、第１のカメラ（１２０）の焦点面において形成される。ブロック（４０４）において、標的画像の第１の選定された一部（２１５）が、送信側のサブシステム位置（４０７）において形成される標的画像から選定される。
【００４５】
ブロック（４０６）において、標的記述子が、標的画像の受信に応答して標的画像の第１の選定された一部（２１５）に関して生成される。第１のプロセッサー（１１０）が、標的記述子を生成するために、映像分析機能（１５０）又は、場面レンダリング機能（１５０）及び映像分析機能（１５０）を実行する。
【００４６】
ブロック（４０８）において、送信側のサブシステム位置（４０７）と標的位置（２０１）の間の標的距離（Ｒ）が決定される。この実施形態の一実装において、標的位置（４０５）を決定することは、最初に全地球測位システム受信機（１４０）から第１のプロセッサー（１１０）において、送信側のサブシステム位置（すなわち第１の位置（４０７））を示す情報を受信することと、第１の距離計（１３０）から第１のプロセッサー（１１０）において受信される情報に基づいて、送信側のサブシステム（１００）と標的（２１１）の間の標的距離Ｒ（図１）を決定することと、第１のカメラ台（１２４）の方位（すなわち第１のカメラ（１２０）の光軸（１２２）の方位）に基づいて、送信側のサブシステム（１００）と標的（２１１）の間の高度角を決定することと、送信側のサブシステム位置（４０７）、及び決定された距離（Ｒ）、及び送信側のサブシステム（１００）と標的（２１１）の間の高度角度に基づいて、標的位置（４０５）を決定することと、を含む。このようにして標的記述子が、標的位置（４０５）において標的の異なる表示から確実に特定可能である。
【００４７】
ブロック（４１０）において、送信側のサブシステム（１００）と受信側のサブシステム（２００）の間の通信リンク（２７０）の帯域幅が、決定される。この実施形態の一実装において、第１のプロセッサー（１１０）が、通信リンク（２７０）の帯域幅を決定する。
【００４８】
ブロック（４１２）において、場面レンダリングが必要とされるか決定される。この実施形態の一実装において、第１のプロセッサー（１１０）は、第１の位置（４０７）における送信側のサブシステム（１００）、第２の位置（４０９）における受信側のサブシステム（３００）、及び標的位置（４０９）における標的（２１１）の相対的な位置に基づいて、場面レンダリングが、要求されるか決定する。場面レンダリングが要求される場合、方法（４００）のフローは、ブロック（４１４）へ進む。ブロック（４１４）において、フローは、図５のブロック（５０２）へ進む。図５は、本発明の実施形態による場面レンダリング機能を実装するための方法（５００）の流れ図である。方法（５００）のフローを以下に説明する。
【００４９】
場面レンダリングが、要求されない場合、方法（４００）のフローは、ブロック（４１６）へ進む。ブロック（４１６）において、通信リンク（２７０）の帯域幅が、選定された帯域幅よりも小さいか決定される。この実施形態の一実装において、選定された帯域幅は、１１ＭＢｐｓである。この実施形態の別の実装において、選定された帯域幅は、１００ＭＢｐｓである。帯域幅が選定された帯域幅よりも小さい場合、フローはブロック（４１８）へ進む。
【００５０】
ブロック（４１８）において、方法（４００）のフローは、図６のブロック（６０２）へ進む。図６は、通信リンク（２８０）の帯域幅が、制限されたとき、本発明の実施形態による標的位置情報及び標的記述子を送信するための方法の流れ図である。方法（６００）のフローを以下に説明する。
【００５１】
通信リンク（２７０）の帯域幅が、選定された帯域幅よりも大きい場合、方法（４００）のフローはブロック（４２０）へ進む。ブロック（４２０）において、標的位置情報及び標的記述子が、標的システム（１０）の送信側のサブシステム（１００）から標的システム（１０）の受信側のサブシステム（３００）へ送信される。ブロック（４２２）において、受信側のサブシステム（３００）のカメラ（３２０）（すなわち第２のカメラ（３２０））の光軸（３２０）が、送信側のサブシステム（１００）から受信される標的位置情報に基づいて、標的（２１１）に向けられる。ブロック（４２４）において、標的画像は、光軸（３２２）が標的（２１１）へ向けられたとき、受信側のサブシステム位置（４０９）において形成される。ブロック（４２６）において、受信側のサブシステム位置（４０９）において形成される標的画像の第２の選定された一部（２１５）が特定される。標的画像の第２の選定された一部（２１５）は、送信側のサブシステム位置（４０７）において形成される標的画像の第１の選定された一部（２１５）と相関している。本特定は、送信側のサブシステム（１００）から受信される標的記述子に基づく。
【００５２】
同一の場面の異なる表示を介して確実に特定可能な標的記述子を決定するための方法を、ここで図５に示されている方法（５００）のフローを参照して説明する。ブロック（５０２）は、フローが図４のブロック（４１４）から進むことを示す。ブロック（５０４）において、送信側のサブシステム位置において形成される標的画像の第１の選定された一部（２１５）が、セグメントに分割される。ブロック（５０６）において、送信側のサブシステム位置において形成される標的画像の第１の選定された一部（２１５）の並べられたセグメント（２１７）が、地理参照される。ブロック（５０８）において、並べられたセグメント（２１７）の地理参照それぞれに関するプレーン及びプレーン方位が決定される。ブロック（５１０）において、形状記述子が、標的画像の第１の選定された一部（２１５）の少なくとも１つの特徴に関する標的記述子を生成するために、テクスチャ記述子と結合される。ブロック（５１０）は任意である。ブロック（５１２）において、フローは、図４の方法（４００）のブロック（４１６）へ進む。
【００５３】
通信リンク（２７０）の帯域幅が制限されているとき、標的位置情報及び標的記述子を送信するための方法を、ここで図６に示されている方法（６００）のフローを参照して説明する。ブロック（６０２）は、フローが、図４のブロック（４１８）から続いていることを示す。ブロック（６０４）において、送信側のサブシステム位置（４０７）において形成される標的画像の第１の選定された一部（２１５）が、標的画像の第１の選定された一部のサブセット画像に縮小される。例えば、標的画像の第１の選定された一部のサブセット画像は、第１の標的（２１１）の選定された一部（２１５）のサブセット（２１５Ａ）の画像であり得る。
【００５４】
ブロック（６０６）において、標的記述子が、標的画像の第１の選定された一部（２１５）のサブセット画像に関してだけ生成される。ブロック（６０８）において、サブセット画像又はサブセット画像に関するグレースケール画像に関する標的記述子が、通信リンク（２７０）を介し、送信側のサブシステム（１００）から受信側のサブシステム（３００）へ送信される。送信機（１７０）は、サブセット画像のグレースケールが必要とするよりも更に小さい送信帯域幅を、サブセット画像に関する標的記述子が要求するとき、サブセット画像に関する標的記述子を送信する。同様に、送信機（１７０）は、サブセット画像に関する標的記述子の送信が必要とするよりも更に小さい帯域幅を、サブセット画像のグレースケール画像の送信が要求するとき、サブセット画像のグレースケール画像を送信する。第１のプロセッサー（１１０）が、それを決定するソフトウェアを実行する。ブロック（６１０）において、フローは、図４の方法（４００）のブロック（４２０）へ進む。
【００５５】
この実施形態の一実装において、送信側のサブシステム（１００）の少なくとも一部が、送信側のサブシステム（１００）のユーザーによって使われる。
特定の実施形態が本明細書において例示され記載されているが、同一目的を達するように計算実行される任意の処理が、示されている特定の実施形態の代替になり得ることが当業者によって十分に理解されよう。本出願は、本発明の任意の適用又は変形を含めるように意図されている。したがって、本発明が請求項及びその同等物によってのみ限定されることを、明確に意図している。
【符号の説明】
【００５６】
１０ 標的システム
１００ 送信側のサブシステム
１１０ 第１のプロセッサー
１２０ 第１のカメラ
１２２ 光軸
１２４ 第１のカメラ台
１３０ 第１の距離計
１４０ 第１の全地球測位システム受信機
１５０ 映像分析機能
１５２ 場面レンダリング機能
１６０ 第１のディスプレイ
１６２ グラフィカルユーザーインターフェース
１６５ 記憶媒体
１６６ 記憶媒体
１７０ 送信機
２０１ 標的領域
２１０ 標的
２１１ 標的
２１５ 標的画像の第１の選定された一部
２１５Ａ 第１の標的の選定された一部のサブセット
２１７ セグメント
２１８−Ｎ プレーン
２１９ アイコン
２２２−Ｎ プレーン方位
２７０ 通信リンク
３００ 受信側のサブシステム
３１０ 第２のプロセッサー
３２０ 第２のカメラ
３２２ 光軸
３２４ 第２のカメラ台
３３０ 第２の距離計
３４０ 第２の全地球測位システム受信機
３５０ 映像分析機能
３６０ 第２のディスプレイ
３６２ グラフィカルユーザーインターフェース
３６５ メモリー
３６６ 記憶媒体
３７０ 受信機
４０５ 標的位置
４０７ 第１の位置
４０９ 第２の位置
【技術分野】
【０００１】
本発明は、標的システムに関連し、具体的には標的システムのサブシステム間において標的地理を参照するための方法に関連する。
【背景技術】
【０００２】
軍事アプリケーションは、多くの場合、標的位置を決めるために斥候を使用する。斥候は、標的位置に関する情報を、必要な火力が配置されている発射基地へ送信する。通常、斥候は、発射基地から遠く離れて配置されている。一旦、標的が斥候によって発見され、調査されると、標的位置が特定され、標的位置が発射基地へ送信される。発射基地は、斥候からの入力に基づいて、標的を特定することを試みる。
【０００３】
一旦、標的の正確な位置が、斥候によって認識されると、正確な位置を標的システムの別の一部と共有することが望まれる。場合によっては、斥候が、発射基地のために標的を正確に特定するための十分な情報を送信することが困難なこともある。例えば、建築物の特定の窓が、標的であり得るが、斥候が標的位置を正確で精密に知ったとしても、特定の窓が、必ずしも発射基地によって知られているか又は特定可能であるとは限らない。
【０００４】
多くの場合、発射基地は、斥候から受信される情報に基づいて、標的を正確に特定できない。場合によっては、斥候及び発射基地からの標的の視野角における相違によって混乱することがある。例えば、斥候によって目撃されるような標的の見え方が、明確であっても、発射基地によって目撃される表示が、斥候から送信される標的の周囲の詳細を曖昧にする太陽からの反射を有する場合、標的が発射基地によって正確に特定され得ない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、標的システムのサブシステム間において標的位置を正確で精密に共有するように作動可能な、標的位置を地理参照するための標的システムを提供することである。
【課題を解決するための手段】
【０００６】
本出願は、標的システムのサブシステム間において標的を地理参照するための方法に関する。本方法は、送信側のサブシステム位置において形成される標的画像を受信することと、標的画像の受信に応答して標的画像の第１の選定された一部に関する標的記述子を生成することと、を含む。本方法は更に、標的位置情報及び標的記述子を、標的システムの送信側のサブシステムから標的システムの受信側のサブシステムへ送信することを含む。本方法は、送信側のサブシステムから受信される標的位置情報に基づいて受信側のサブシステムのカメラの光軸を標的に向けることと、光軸が標的に向けられていたとき、受信側のサブシステムの位置における標的画像を形成することと、及び送信側のサブシステム位置において形成される標的画像の第１の選定された一部と相関性がある、受信側のサブシステム位置において形成される標的画像の第２の選定された一部を特定することと、を含む。標的画像の第２の選定された一部の特定は、送信側のサブシステムから受信される標的記述子に基づく。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態による標的位置を、地理参照するための標的システムのブロック図である。
【図２】図２Ａは第１の位置及び第２の位置において形成される例示的な標的画像並びに第１の位置において形成される標的画像の選定された一部の内部の例示的なセグメント表現を示す。図２Ｂは第１の位置及び第２の位置において形成される例示的な標的画像並びに第１の位置において形成される標的画像の選定された一部の内部の例示的なセグメント表現を示す。図２Ｃは第１の位置及び第２の位置において形成される例示的な標的画像並びに第１の位置において形成される標的画像の選定された一部の中の例示的なセグメント表現を示す。
【図３】図３Ａは本発明の実施形態による例示的な標的に対して標的の方位決定を使用する場面レンダリングの例示である。図３Ｂは本発明の実施形態による例示的な標的に対して標的の方位決定を使用する場面レンダリングの例示である。図３Ｃは本発明の実施形態による例示的な標的に対して標的の方位決定を使用する場面レンダリングの例示である。図３Ｄは本発明の実施形態による例示的な標的に対して標的の方位決定を使用する場面レンダリングの例示である。
【図４Ａ】本発明による標的システムのサブシステム間において標的を地理参照するための方法の一実施形態の流れ図である。
【図４Ｂ】本発明による標的システムのサブシステム間において標的を地理参照するための方法の一実施形態の流れ図である。
【図５】本発明の実施形態による場面レンダリング機能を実装するための方法の流れ図である。
【図６】通信リンクの帯域幅が制限されているとき、本発明の実施形態による標的位置情報及び標的記述子を送信するための方法の流れ図である。
【発明を実施するための形態】
【０００８】
一般的な実施によって説明される様々な特徴を、拡大するように描かないで、本発明に関連する特徴を強調するように描いている。同一の参照文字は、図面及びテキストの初めから終わりまで同一の要素を示す。
【０００９】
以下の詳細な記載において、本明細書の一部を形成する添付の図面を参照し、本発明において実施され得る例示的な特定の実施形態を図示することによって示す。当業者が本発明を実施可能なように、これらの実施形態を十分に詳細に説明し、別の実施形態が利用され得、論理的、機械的及び電気的な変更が、本発明の範囲から逸脱せずに実行され得ることが理解されよう。したがって、以下詳細な説明を限定する意味に取るべきではない。
【００１０】
本明細書に説明されている標的位置を地理参照するための標的システムは、標的システムのサブシステム間において、標的位置を正確で精密に共有するように作動可能である。用語「位置」及び「地理的位置」を、本明細書においては互換可能に使用する。当業者に知られているように、精度（accuracy）は、量、表現などに関する正確性の程度であって、すなわち、測定の精度（accuracy）は、測定の結果が真の値にどれくらい近いかに関する尺度である。当業者に知られているように、精度（precision）は、量の正確性が表現される程度であって、すなわち、測定の精度（precision）は、結果がその真の値との合意性を参照せずにどれくらい良好に決定されたかに関する測定である。
【００１１】
前述されたように、（大建築物の特定の窓のような）標的を正確で精密に位置付けることと、標的システムのサブシステムへ情報を送信することと、データを交換するメディアの帯域幅が、必ずしも高帯域でないときであっても、サブシステムが、標的を正確で精密に位置付けし得ることも望まれる。本明細書に記載されているラスター又はベクトル画像を確立する地理参照を使用し、標的位置において少なくとも１つの固有識別子が、第１のサブシステムによって標的画像の選定された一部の内部で認識される。第１のサブシステムが、少なくとも１つの固有識別子を第２のサブシステムへ送信する。第２のサブシステムが、第２のサブシステムにおいて標的画像の選定された一部を認識するために、少なくとも１つの固有識別子を使用する。第１及び第２のサブシステムが、別々の位置において存在し得る。
【００１２】
図１は、本発明の実施形態による標的位置（４０５）を地理参照するための標的システム（１０）のブロック図である。標的システム（１０）は、第１の位置（４０７）に位置付けられた送信側のサブシステム（１００）及び第２の位置（４０９）に位置付けられた受信側のサブシステム（３００）を含む。受信側のサブシステム（３００）は、無線リンクとして示されているが、有線リンクであり得る通信リンク（２７０）によって送信側のサブシステム（１００）と通信可能に接続される。この実施形態の一実装において、標的位置（４０５）は、地理的な位置であって、標的位置（４０５）を示す情報は、緯度、経度及び高度を含む。例示のために、標的位置が標的（２１１）においてＸとして示されている。
【００１３】
送信側のサブシステム（１００）は、第１のカメラ（１２０）、第１のディスプレイ（１６０）、第１のプロセッサー（１１０）、第１の距離計（１３０）、第１の全地球測位システム受信機（ＧＰＳ ＲＸ）（１４０）、送信機（ＴＸ）（１７０）、及び記憶媒体（１６６）を含む。記憶媒体（１６６）は、メモリー（１６５）、映像分析（ＶＡ）機能（１５０）、及び場面レンダリング（ＳＲ）機能（１５２）を含む。第１のカメラ（１２０）は、第１の可動式カメラ台（１２４）に位置付けられ、光軸（１２２）を有する。第１のカメラ台（１２４）は、３つの直交軸の周囲で光軸（１２２）の方向を合わせるように調整され得る。
【００１４】
受信側のサブシステム（３００）は、第２のカメラ（３２０）、第２のディスプレイ（３６０）、第２のプロセッサー（３１０）、第２の距離計（３３０）、第２の全地球測位システム受信機（ＧＰＳ ＲＸ）（３４０）、受信機（ＲＸ）（３７０）、及び記憶媒体（３６６）を含む。記憶媒体（３６６）は、メモリー（３６５）及び映像分析（ＶＡ）機能（３５０）を含む。第２のカメラ（３２０）は、第２の可動式カメラ台（３２４）に配置され、光軸（３２２）を有する。第２のカメラ台（３２４）は、３つの直交軸（３２２）の周囲で光軸の方向を合わせるように調整され得、第１のカメラ台（１２４）の周囲の３つの直交軸と異なるように調整できる。
【００１５】
標的位置（４０５）を地理参照するための標的システム（１０）の動作の実施形態を、ここで説明する。第１のプロセッサー（１１０）が、標的画像を示す情報を受信し、標的画像の第１の選定された一部に関する標的記述子を生成する。この実施形態の一実装において、標的画像は、標的（２１１）が配置されている標的領域（２０１）の画像である。図１に示されているように、標的領域（２０１）は、標的（２１１）のすべてを含む。（本明細書において「選定された一部（２１５）」としても参照されている）標的画像の第１の選定された一部（２１５）を、標的（２１１）のサブセットとして図１に示す。ボックス（２１５Ａ）は、第１の標的の選定された一部のサブセットの表現である。この実施形態の一実装において、送信側のサブシステム位置（４０７）において形成される標的画像の第１の選定された一部が、標的画像の第１の選定された一部のサブセット画像（２１５）に縮小される。サブセット画像は、画像のサブセット（２１５Ａ）である。この実施形態の別の実装において、第１の選定された一部（２１５）は、標的領域（２０１）の一部及び標的（２１１）の一部を含む。
【００１６】
例示的な事例に関しては、標的（２１１）が、駐車場に駐車された乗り物の場合、第１のカメラ（１２０）の焦点面に焦点を合わせられている標的領域（２０１）の画像が、駐車場における標的（２１１）に隣接する別の乗り物を含み得る。例示的な別の事例においては、第１のカメラ（１２０）の焦点面に焦点を合わせられている標的領域（２０１）の画像は、全部の標的（２１１）に満たないものを含む。例えば、標的（２１１）が建物の場合、標的画像（すなわち標的領域（２０１））は、建物の１つの壁の中心部だけを含み得、選定された一部（２１５）は、標的領域（２０１）のサブセットである。このように、標的領域（２０１）のボックスの表現、標的（２１１）及び標的（２１１）の選定された一部（２１５）の相対的サイズは、図１に示されているものと変化し得、本発明の範囲を限定することを意図していないことが理解されよう。第１の選定された一部（２１５）のサブセット（２１５Ａ）は、常に第１の選定された一部（２１５）の領域よりも小さい領域を包含する。
【００１７】
標的画像の第１の選定された一部（２１５）の内部の標的記述子を生成するための映像分析機能（１５０）が、第１のプロセッサー（１１０）によって実行可能である。場面レンダリング機能（１５２）が、第１のプロセッサー（１１０）によって実行可能であって、場面レンダリング機能（１５２）からの出力が、標的記述子を生成するための映像分析機能（１５０）によって使用される。この実施形態の一実装において、場面レンダリング機能（１５２）は、標的記述子を生成するように要求されない。このように第１のプロセッサー（１１０）が、標的画像の第１（２１１）の選定された一部（２１５）に関する標的記述子を生成する。
【００１８】
第１のプロセッサー（１１０）が、標的位置（４０５）も生成する。第１のプロセッサー（１１０）が、航法解決を使用することによって標的（２１１）の地理的位置、及び標的（２１１）への測定範囲（Ｒ）を測定する。送信機（１７０）が、標的記述子及び標的位置（４０５）を示す情報を受信側のサブシステム（３００）へ送信する。この情報は、受信側のサブシステム（３００）へ送信され、受信側のサブシステム（３００）が、部分的な画像だけを解析要求する対象領域（すなわち、選定された一部（２１５）又は選定された一部（２１５）のサブセット（２１５Ａ））へ速やかに光軸（３２２）を向けることができる。具体的には受信機（３７０）は、標的記述子及び標的位置（４０５）を示す情報を受信する。その後、第２のプロセッサー（３１０）が、第２のカメラ（３２０）の光軸（３２２）を標的位置（４０５）に向ける。第２のプロセッサー（３１０）が、受信される標的記述子に基づいて標的画像の第１の選定された一部（２１５）と相関性がある標的の一部（２１１）を特定する。
【００１９】
第１のカメラ台（１２４）は、第１のプロセッサー（１１０）からの命令を受信するために第１のプロセッサー（１１０）と通信可能に接続され、第１のカメラ台（１２４）の方位は、第１のプロセッサー（１１０）によって制御される。第１のカメラ台（１２４）は、第１のカメラ台（１２４）が、受信される命令に基づいた適切な向きに変えるまで、３つの直交軸の周囲で回転し、及び／又は３つの直交軸に沿って移動する。第１のカメラ台（１２４）は、光軸（１２２）が標的位置（４０５）において標的（２１１）に向くように調整されたとき、第１のカメラ（１２０）が、第１のカメラ（１２０）の焦点面において（本明細書において「標的画像」としても参照されている）標的（２１１）の画像を形成する。本明細書に定義されているように、光軸（１２２）は、標的（２１１）の画像が第１のカメラ（１２０）の焦点面上のどこかに収まったとき、標的位置（４０５）において標的（２１１）に向いている。標的画像を示す情報が、通信可能に接続された第１のディスプレイ（１６０）に送信され、標的（２１１）の画像（又は選定された一部（２１５）を含む標的（２１１）の画像の一部）が、送信側のサブシステム（１００）のユーザーに表示される。
【００２０】
この実施形態の一実装においては、送信側のサブシステム（１００）のユーザーが、第１のカメラ（１２０）を標的（２１１）に向ける。そのような一実装においては、標的のおおよその位置が、知られていて、第１のカメラ台（１２４）の方位は要求されない。別のそのような実装においては、第１のカメラ台（１２４）の方位が（第１のカメラ台（１２４）上の測定装置の方位角及び／又は姿勢によって）決定され、第１のカメラ台（１２４）の方位を示すこの情報が、標的位置（４０５）を決定する際に使用するために、第１のプロセッサー（１１０）へ送信される。
【００２１】
第１のプロセッサー（１１０）が、第１のカメラ（１２０）から標的画像を示す情報を受信するために、通信可能に接続される。第１のプロセッサー（１１０）は、第１の全地球測位システム受信機（ＧＰＳ ＲＸ）（１４０）から（本明細書において「第１の位置（４０７）を示す情報」としても参照されている）第１の位置（４０７）を受信するために、第１の全地球測位システム受信機（ＧＰＳ ＲＸ）（１４０）と通信可能に接続される。第１のプロセッサー（１１０）は、第１の位置（４０７）と標的位置（４０５）の間の距離（Ｒ）を示す情報を受信するために、第１の距離計（１３０）と通信可能に接続される。第１のプロセッサー（１１０）は、（本明細書において「標的位置（４０５）を示す情報」としても参照されている）標的位置（４０５）を生成するために、第１の全地球測位システム受信機（ＧＰＳ ＲＸ）（１４０）及び第１の距離計（１３０）から受信される情報を使用する。
【００２２】
選定された一部（２１５）は、第１のディスプレイ（１６０）に表示されている標的画像の一部を選択するために、第１のディスプレイ（１６０）における（又はそれと接続されている）グラフィカルユーザーインターフェース（１６２）を使用する送信側のサブシステム（１１０）のユーザーによって、選択される。この実施形態の一実装において、グラフィカルユーザーインターフェース（１６２）は、マウスのような装置である。この実施形態の別の実装において、ユーザーは、最初に標的（２１１）を特定し、その後、標的領域（２０１）の選定された一部（２１５）を選択するために、グラフィカルユーザーインターフェース（１６２）を使用する。この実施形態の更に別の実装において、ユーザーが、最初に標的（２１１）を特定するためにグラフィカルユーザーインターフェース（１６２）を使用し、第１のプロセッサー（１１０）が、標的領域（２０１）を分析し、知覚品質の異なる境界を決定する支援をする標的領域（２０１）の知覚特性（例えばエントロピー）に基づいて、（少なくとも標的（２１１）の画像の一部を含む）標的領域（２０１）の選定された一部（２１５）を選択する。この実施形態の更に別の実装において、グラフィカルユーザーインターフェース以外のインターフェースが、（標的（２１１）の画像の少なくとも一部を含む）標的領域（２０１）の選定された一部（２１５）を選択するために、ユーザーによって使用される。
【００２３】
送信機（１７０）が、第１のプロセッサー（１１０）から標的記述子及び標的位置（４０５）を示す情報を受信するために、通信可能に接続される。送信機（１７０）が、標的記述子及び標的位置（４０５）を、通信リンク（２７０）を介し受信側のサブシステム（３００）へ送信する。所望の標的システム（１０）の応答時間に基づいた許容され得る通信遅延が、受信側のサブシステム（３００）へ標的記述子及び標的位置（４０５）を送信する前に決定される。映像分析機能（１５０）は、標的（２１１）の小さい領域（すなわち、選定された一部（２１５）又は選定された一部（２１５）のサブセット（２１５Ａ）ためだけに）データを送信し、標的記述子又はグレースケール画像のうち、より最小のデータを必要とするいずれかに動的に送信することによって、通信リンク（２７０）に関して小さい帯域幅要件を記述する。
【００２４】
受信側のサブシステム（３００）における受信機（３７０）が、送信機（１７０）から標的記述子及び標的位置（４０５）を受信する。標的位置（４０５）を示す情報に応答して第２のプロセッサー（３１０）が、地理的なおおよその位置を使用し、第２のカメラ台（３２４）を調整することによって、第２のカメラ（３２０）の光軸（３２２）を標的位置（４０５）に向ける。本明細書に定義されているように、標的（２１１）の画像が、第２のカメラ（３２０）の焦点面上のどこかに収まったとき、光軸（３２２）は、標的位置（４０５）の方又はその位置へ向いている。受信側のサブシステム（３００）が、その後、第２の距離計（３３０）及び第２のカメラ（３２０）から範囲及び映像データを収集する。受信側のサブシステム（３００）の映像分析機能（３５０）がその後、引き継ぐ。標的（２１１）の測定された位置の周囲において第２の選定された一部（２１５）が、選択される。第２の選定された領域（２１５）に関する標的記述子が、受信側のサブシステム（３００）において決定され、送信側のサブシステム（１００）から受信される第１の選定された領域（２１５）に関する標的記述子と比較される。グレースケール画像が、帯域幅の制限によって、標的記述子の代わりに送信された場合、受信側のサブシステム（３００）の映像分析機能（３５０）が、（受信され生成された）表示双方に関する標的記述子を決定し、それらを比較する。
【００２５】
一致が見出された場合、受信側のサブシステム（３００）は、標的が特定されていると見なす。本明細書に定義されているように、第２の選定された領域（２１５）が、第１の選定された領域（２１５）に一致したとき、第２の選定された領域（２１５）は、第１の選定された領域（２１５）と相関している。このように第２のプロセッサー（３１０）は、受信される標的記述子に基づいて、標的画像の第１の選定された一部（２１５）に相関性がある（本明細書において「第２の選定された一部（２１５）」としても参照されている）標的の選定された一部（２１５）を特定する。かくして、第１のディスプレイ（１６０）上に視察される第１の画像の選定された一部（２１５）が、第２のディスプレイ（３６０）上に視察される第２の選定された一部（２１５）の画像からの外観と異なり得るが、受信側のサブシステム（３００）のユーザーは、送信側のサブシステム（１００）のユーザーによって選定された第１の選定された一部（２１５）と本質的に同一である、第２の選定された一部（２１５）を選択する。この外観における相違は、遠近法による相違、及び／又は第１の位置（４０７）及び第２の位置（４０９）から目撃される標的（２１１）の選定された一部（２１５）から反射された光の条件の相違のためであり得る。この実施形態の一実装においては、一致が見出された場合、第２のディスプレイ（３６０）のアイコンが、色を変更する。この実施形態の別の実装においては、一致が見出された場合、標的を特定するアイコンが、第２のディスプレイ（３６０）上の第２の選定された領域（２１５）に現れる。
【００２６】
映像分析機能（３５０）は、送信側のサブシステム（３００）が、標的（２１０）を地図配置し、その画像を取得する事実による。第２のレーザー距離測定器（３３０）と、第２のカメラ（３２０）と、第２の全地球測位システム受信機（３４０）（及び／又は慣性計測装置）との間の調整不良が、潜在的に誤った標的認識の原因となる。この実施形態の一実装において、カルマンフィルターが、ランタイム中の調整不良を測定するために使用される。
【００２７】
送信側のサブシステム（１００）の様々なコンポーネントが、適切な（例えば、バス、トレース、ケーブル、有線、ポート、無線送受信装置などを使用する）インターフェースを使用し、必要に応じて相互と通信可能に接続される。第１のカメラ台（１２４）が、第１のプロセッサー（１１０）から受信される命令に応答して作動する適切な（例えば、ギヤ、ギヤボックス、チェーン、カム、電磁装置、水力、ガス圧力装置、及び圧電性、化学的及び／又は熱的装置）インターフェースによって機械的に制御される。この実施形態の一実装において、第１の距離計（１３０）及び第１のカメラ（１２０）双方が、第１のプロセッサー（１１０）と配線される。この実施形態の別の実装において、第１の距離計（１３０）及び第１のカメラ（１２０）が、無線リンクによって通信可能に接続される。同様に受信側のサブシステム（３００）の様々なコンポーネントが、適切なインターフェースを使用し、必要に応じて相互と通信可能に接続され、第２のカメラ台（３２４）が、適切なインターフェースによって機械的に制御される。
【００２８】
メモリー（１６５）は、例えば、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリー（ＲＯＭ）、及び／又は第１のプロセッサー（１１０）内のレジスターのような現在知られているか又は後に開発される適切な任意のメモリーを含む。一実装において、第１のプロセッサー（１１０）は、マイクロプロセッサー又はマイクロコントローラーを含む。更に、図１に第１のプロセッサー（１１０）及びメモリー（１６５）を別々の要素として示すが、一実装において第１のプロセッサー（１１０）及びメモリー（１６５）は、単一の装置（例えば単一の集積回路装置）に実装される。一実装において、第１のプロセッサー（１１０）は、プロセッサーサポートチップ、及び／又は特定用途集積回路（ＡＳＩＣ）のようなシステムサポートチップを含む。
【００２９】
この実施形態の一実装において、映像分析機能（１５０）及び場面レンダリング機能（１５２）は、第１のプロセッサー（１１０）にストアされている。第１のプロセッサー（１１０）は、映像分析機能（１５０）、場面レンダリング機能（１５２）、及び本明細書に記載された第１のプロセッサー（１１０）によって実行される処理の少なくともいくつかを第１のプロセッサー（１１０）に実行させる他のソフトウェア及び／又はファームウェアを実行する。少なくとも映像分析機能（１５０）の一部、場面レンダリング機能（１５２）、及び／又は第１のプロセッサー（１１０）によって実行されるファームウェア、及び関連する任意のデータ構造は、実行中に記憶媒体（１６６）にストアされている。
【００３０】
メモリー（３６５）は、例えば、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリー（ＲＯＭ）、及び／又は第２のプロセッサー（３１０）内のレジスターのような現在知られているか又は後に開発される適切な任意のメモリーを含む。この実施形態の別の実装において、映像分析機能（３５０）が、第２のプロセッサー（３１０）にストアされている。第２のプロセッサー（３１０）は、本明細書において説明された第２のプロセッサー（３１０）によって実行される処理の少なくともいくつかを映像分析機能（３５０）、及び第２のプロセッサー（３１０）に実行させる他のソフトウェア及び／又はファームウェアを実行する。少なくとも映像分析機能（３５０）及び／又は第２のプロセッサー（３１０）によって実行されるファームウェアの一部、及び関連する任意のデータ構造が実行中に記憶媒体（３６６）にストアされている。
【００３１】
システム（１０）の実装を、ここで図２Ａ〜２Ｃ及び図３Ａ〜３Ｄを参照して説明する。図２Ａ〜２Ｃは、（図２Ａの）第１の位置において形成される例示的な標的画像及び第２の位置（図２Ｃ）、及び第１の位置において形成される標的画像の選定された一部（２１５）の内部の（図２Ｂ）（２１７）において一般に表される例示的なセグメントの表現を示す。図２Ａに示されているように、標的領域（２０１）がすべての画像（２１５）であるが、中心にプラス符号（＋）がある破線の円は、少なくとも標的（２１１）の一部を含む第１の選定された一部である。この例示的な実施形態において、選定された一部（２１５）は、標的（２１１）より大きいが、標的（２１１）の画像は、比較的小さい標的領域（２０１）の一部である。
【００３２】
映像分析機能（１５０）は、送信側のサブシステム（１００）における第１のカメラ（１２０）の焦点面上に視察されるような標的画像の第１の選定された一部（２１５）の場面符号化をオンデマンドで実行する。第１のプロセッサー（１１０）によって実行される映像分析機能（１５０）は、以下の主要な特性及び機能を有する。
【００３３】
１）同一場面の異なる表示を介し確実に特定可能な標的記述子を決定すること
２）送信側のサブシステム（１００）及び受信側のサブシステム（３００）によって目撃される標的（２１１）の透視表示が劇的に異なったとき、場面レンダリング機能（１５２）から生成された標的記述子への入力を受信すること
３）送信される情報を最小化し、情報の時間感度を制限することによって、（通信リンク（２７０）の帯域幅に従った）送信機（１７０）と受信機（３７０）の間において通信するために要求される帯域幅を制限すること
４）受信側のサブシステム（３００）のユーザーに第２のカメラ（３２０）を介し標的（２１１）をすぐに位置づけ、視察させるために、第１のカメラ（１２０）からの画像データと一緒に第１の距離計（１３０）からの距離情報を使用すること
送信側のサブシステム（１００）の映像分析アルゴリズム（１５０）が、標的画像の第１の選定された一部（２１５）を選択する。この第１の選定された一部（２１５）に関する視覚的な範囲情報がキャプチャされ、記録される。その後、第１の選定された一部（２１５）に関する少なくとも１つの標的記述子が、決定される。標的記述子が、標的（２１１）が、受信側のサブシステム（３００）の第２のカメラ（３２０）の表示中に正しく検出され得るように、標的（２１１）の周囲において標的領域（２０１）を確実に記載する。確実性を達するために、標的記述子は、標的（２１１）の周囲の第１の選定された一部（２１５）において抽出された複数の特徴及び測定された地理的位置に関する情報を含む。
【００３４】
映像分析法の動作図を図２Ｂに示す。図２Ｂにおいて、点線の中心にそれぞれ存在するセグメント（２１７）は、生成される標的記述子の対象の表示領域である。この例示的な事例において、楕円として示されたセグメント（２１７）は、特定の特徴を撮像する複数の画素を取り巻いている。この実施形態の一実装において、セグメント（２１７）のサブセットが、ハイコントラスト、ポイントからの高い反射率、１つ以上の選定された放射率値、エントロピーなどのような特定のタイプの物理的特性に関して生成される。標的記述子は、画像の選定された一部（２１５）内部領域だけに関して生成される。セグメント（２１７）は、生成される標的記述子が対象とする特徴を囲むために、使用され得る任意の形の例示である。
【００３５】
この実施形態の一実装において、符号化された場面情報は、アイコン（ＩＣＯＮ）の配置に関する命令として受信機（３７０）に送信される。この場合、第２のカメラ（３２０）の光軸（３２２）が、標的位置（４０５）に向けられ、第２のカメラ（３２０）が、標的（２１１）に焦点を合わせられたとき、（図２Ｃの（２１９）としてラベリングされたボックスのような）アイコンが、生成された標的（２１１）の画像上に挿入される。
【００３６】
一旦、第１のプロセッサー（１１０）が、第１の位置（４０７）、第２の位置（４０９）及び標的位置（４０５）の地理的な位置を決定（又はメモリー（１６５）からリトリーブ）すると、第１のプロセッサー（１１０）が、第１の位置（４０７）における受信側のサブシステム（３００）と、第２の位置（４０９）における送信側のサブシステム（１００）と、標的位置（４０５）との相対的な位置を決定する。プロセッサーが、２つの表示の間の相違を決定するために、記憶媒体（１６６）におけるソフトウェアを実行する。２つの表示が、所定の閾値と異なる場合、それらは、実質的に異なるものとして宣言される。
【００３７】
（スケール不変特性変換（ＳＩＦＴ）によって計算される）テクスチャ記述子が、同一の場面に関する２つのいくらか異なる表示にわたってマッチングされ得るが、それらは、２つの表示が劇的に異なる場合、失敗し得る。かくして、２つの表示が実質的に異なっているとき、場面レンダリングが、そのデータに対して実行される。場面レンダリングは、誤り一致を減少させる。そのような状況において、映像分析アルゴリズム（１５０）が、最初に受信機の表示が提供する場面をレンダリングし、その後、標的記述子を決定する。場面レンダリングの一実装において、形状及びテクスチャの結合された記述子が、特徴それぞれに関して生成される。この実施形態の別の実装において、エッジが、標的記述子を生成するために使用される。この実施形態の更に別の実装において、スケルトンが、標的記述子を生成するために使用される。結合記述子は、照明における変化に対してより確実であって、様々な撮像条件下で、高度な性能を提供する。この実施形態の別の実装において、場面レンダリングは、（ベロダインライダー（Ｖｅｌｏｄｙｎｅ Ｌｉｄａｒ）のような）操舵可能なレーザー距離測定器が提供する３次元の場面情報を用いたセンサー入力を増大させることによって実行される。
【００３８】
図２Ａ〜２Ｃに示されている映像分析技術は、送信側のサブシステム（１００）及び受信側のサブシステム（３００）双方による標的（２１１）の視界（ＬＯＳ）に依存する。視界がないとき又は形状及びテクスチャ記述子が、標的を固有に特定できない困難な標的領域に関しては、標的方位決定システム（ＴＯＤＳ）が、選定された一部（２１５）のマッチング処理において、映像分析機能（１５０）及び映像分析機能（３５０）を支援する。ＴＯＤＳは、送信側のサブシステム（３００）によって正確な標的特定の確率を改善するために、標的領域（２０１）に関する地図参照される方位を計算する。標的の方位決定は、場面レンダリングを実行する方法の１つであって、映像分析機能（１５０）、場面レンダリング機能（１５２）、及び映像分析機能（３５０）の実行によって実装される。ＴＯＤＳは、標的領域（２０１）の方位又はプレーンを測定し、受信側のサブシステム（３００）に送信する前に、標的領域記述子にそれを追加する。このようにＴＯＤＳは、受信側のサブシステム（３００）における表示が、地図参照された幾何学図形において正しく定義され得る構造によって閉塞される動作中に正確な標的特定の確率を改善する。
【００３９】
図３Ａ〜３Ｄは、本発明の実施形態による、例示的な標的に対する標的の方位決定を使用する場面レンダリングの例示である。標的の方位決定は、グラフベースの方法を使用する標的領域の画像分割、標的領域のセグメントそれぞれの地図参照の測距、及び標的領域におけるセグメントそれぞれのプレーン及び方位の決定から成る。図３Ａは、標的領域（２０１）（市街路）における例示的な標的（２１１）（乗用車）を示す。図３Ｂは、図３Ａの標的領域（２０１）の選定された一部（２１５）（前席の同乗者のウインドウ及び街路及び建物の背景の一部）を示す。図３Ｃは、選定された一部（２１５）の内部の（この実施形態において円形として表示されている）セグメント（２１７）を示す。地図参照の測距は、標的領域（２０１）における選定された領域（２１５）のセグメント（２１７）それぞれに関して実行される。図３Ｄに、図３Ｃのセグメント（２１７）グループに関して決定される（２１８−（１〜Ｎ））に一般に表されるプレーン及び（２２２−（１〜Ｎ））に一般に表される（矢印として示されている）プレーン方位を示す。
【００４０】
例えば、プレーン（２１８−１）は、選定された領域（２１５）において、ダクトの画像の内部のセグメント（２１７）から生成され、プレーン（２１８−２）は、選定された領域（２１５）において、客席のウインドウ画像の内部のセグメント（２１７）から生成される。（図１の）プレーン（２１８−（１〜Ｎ））及び関連するプレーン方位（２２２−（１〜Ｎ））が、場面レンダリング機能（１５２）の実施中に生成される。異なる知覚品質の境界の決定を援助する標的領域（２０１）の知覚特性（例えばエントロピー）が、場面レンダリング機能（１５２）によって決定される。
【００４１】
画像分割の難しさは、計算時間と、場面に関連する大域的な性質を知覚的にキャプチャする機能との間のトレードオフである。グラフベースの方法は、非常に多角的であって、知覚的に意味のある方法で、場面をセグメント分割するための機能をずっと維持している間、もっと高速になるように調整され得る。これらの方法は、画素それぞれをノードとして扱う。２つの画素間の選定された相違インデックスが、連結領域を潜在的に分解定義された閾値よりも小さい場合、２つのノード間のエッジが確立される。標的領域におけるセグメントそれぞれのプレーン及び方位決定が、送信側のサブシステム（１００）から送信された標的領域記述子に追加される。受信側のサブシステム（３００）の映像分析機能（３５０）が、形状及びテクスチャ記述子に追加した記述子内の標的の方位情報に基づいたマッチングを実行するように修正される。
【００４２】
この実施形態の一実装において、第１のプロセッサー（１１０）は、標的（２１１）が移動中であって、第１のカメラ（１２０）から受信される情報を使用していることを認知し、第１の距離計（１３０）は、標的（２１１）が移動速度を決定する。この場合、第１のプロセッサー（１１０）は、標的位置（４０５）を示す情報及び標的記述子に伴って送信機（１７０）を介し、標的（２１０）の速度を示す情報を受信側のサブシステム（３００）に送信する。
【００４３】
図４は、本発明による標的システムのサブシステムの間において標的を地理参照するための方法（４００）の一実施形態の流れ図である。この実施形態の一実装において標的システムは、図１、２Ａ〜２Ｄ及び３Ａ〜３Ｄを参照して前述されたような標的システム（１０）である。本方法（４００）を図１に示されている標的システム（１０）を参照して説明するが、本方法（４００）が、本明細書を読む当業者によって理解され得るように別の仮想ネットワークの実施形態を使用して実装され得ることが理解されよう。
【００４４】
ブロック（４０２）において、第１のプロセッサー（１００）が、送信側のサブシステム位置（４０７）において形成される標的画像を受信する。標的画像は、第１のカメラ（１２０）の光軸（１２２）が、標的（２１１）に向けられたとき、第１のカメラ（１２０）の焦点面において形成される。ブロック（４０４）において、標的画像の第１の選定された一部（２１５）が、送信側のサブシステム位置（４０７）において形成される標的画像から選定される。
【００４５】
ブロック（４０６）において、標的記述子が、標的画像の受信に応答して標的画像の第１の選定された一部（２１５）に関して生成される。第１のプロセッサー（１１０）が、標的記述子を生成するために、映像分析機能（１５０）又は、場面レンダリング機能（１５０）及び映像分析機能（１５０）を実行する。
【００４６】
ブロック（４０８）において、送信側のサブシステム位置（４０７）と標的位置（２０１）の間の標的距離（Ｒ）が決定される。この実施形態の一実装において、標的位置（４０５）を決定することは、最初に全地球測位システム受信機（１４０）から第１のプロセッサー（１１０）において、送信側のサブシステム位置（すなわち第１の位置（４０７））を示す情報を受信することと、第１の距離計（１３０）から第１のプロセッサー（１１０）において受信される情報に基づいて、送信側のサブシステム（１００）と標的（２１１）の間の標的距離Ｒ（図１）を決定することと、第１のカメラ台（１２４）の方位（すなわち第１のカメラ（１２０）の光軸（１２２）の方位）に基づいて、送信側のサブシステム（１００）と標的（２１１）の間の高度角を決定することと、送信側のサブシステム位置（４０７）、及び決定された距離（Ｒ）、及び送信側のサブシステム（１００）と標的（２１１）の間の高度角度に基づいて、標的位置（４０５）を決定することと、を含む。このようにして標的記述子が、標的位置（４０５）において標的の異なる表示から確実に特定可能である。
【００４７】
ブロック（４１０）において、送信側のサブシステム（１００）と受信側のサブシステム（２００）の間の通信リンク（２７０）の帯域幅が、決定される。この実施形態の一実装において、第１のプロセッサー（１１０）が、通信リンク（２７０）の帯域幅を決定する。
【００４８】
ブロック（４１２）において、場面レンダリングが必要とされるか決定される。この実施形態の一実装において、第１のプロセッサー（１１０）は、第１の位置（４０７）における送信側のサブシステム（１００）、第２の位置（４０９）における受信側のサブシステム（３００）、及び標的位置（４０９）における標的（２１１）の相対的な位置に基づいて、場面レンダリングが、要求されるか決定する。場面レンダリングが要求される場合、方法（４００）のフローは、ブロック（４１４）へ進む。ブロック（４１４）において、フローは、図５のブロック（５０２）へ進む。図５は、本発明の実施形態による場面レンダリング機能を実装するための方法（５００）の流れ図である。方法（５００）のフローを以下に説明する。
【００４９】
場面レンダリングが、要求されない場合、方法（４００）のフローは、ブロック（４１６）へ進む。ブロック（４１６）において、通信リンク（２７０）の帯域幅が、選定された帯域幅よりも小さいか決定される。この実施形態の一実装において、選定された帯域幅は、１１ＭＢｐｓである。この実施形態の別の実装において、選定された帯域幅は、１００ＭＢｐｓである。帯域幅が選定された帯域幅よりも小さい場合、フローはブロック（４１８）へ進む。
【００５０】
ブロック（４１８）において、方法（４００）のフローは、図６のブロック（６０２）へ進む。図６は、通信リンク（２８０）の帯域幅が、制限されたとき、本発明の実施形態による標的位置情報及び標的記述子を送信するための方法の流れ図である。方法（６００）のフローを以下に説明する。
【００５１】
通信リンク（２７０）の帯域幅が、選定された帯域幅よりも大きい場合、方法（４００）のフローはブロック（４２０）へ進む。ブロック（４２０）において、標的位置情報及び標的記述子が、標的システム（１０）の送信側のサブシステム（１００）から標的システム（１０）の受信側のサブシステム（３００）へ送信される。ブロック（４２２）において、受信側のサブシステム（３００）のカメラ（３２０）（すなわち第２のカメラ（３２０））の光軸（３２０）が、送信側のサブシステム（１００）から受信される標的位置情報に基づいて、標的（２１１）に向けられる。ブロック（４２４）において、標的画像は、光軸（３２２）が標的（２１１）へ向けられたとき、受信側のサブシステム位置（４０９）において形成される。ブロック（４２６）において、受信側のサブシステム位置（４０９）において形成される標的画像の第２の選定された一部（２１５）が特定される。標的画像の第２の選定された一部（２１５）は、送信側のサブシステム位置（４０７）において形成される標的画像の第１の選定された一部（２１５）と相関している。本特定は、送信側のサブシステム（１００）から受信される標的記述子に基づく。
【００５２】
同一の場面の異なる表示を介して確実に特定可能な標的記述子を決定するための方法を、ここで図５に示されている方法（５００）のフローを参照して説明する。ブロック（５０２）は、フローが図４のブロック（４１４）から進むことを示す。ブロック（５０４）において、送信側のサブシステム位置において形成される標的画像の第１の選定された一部（２１５）が、セグメントに分割される。ブロック（５０６）において、送信側のサブシステム位置において形成される標的画像の第１の選定された一部（２１５）の並べられたセグメント（２１７）が、地理参照される。ブロック（５０８）において、並べられたセグメント（２１７）の地理参照それぞれに関するプレーン及びプレーン方位が決定される。ブロック（５１０）において、形状記述子が、標的画像の第１の選定された一部（２１５）の少なくとも１つの特徴に関する標的記述子を生成するために、テクスチャ記述子と結合される。ブロック（５１０）は任意である。ブロック（５１２）において、フローは、図４の方法（４００）のブロック（４１６）へ進む。
【００５３】
通信リンク（２７０）の帯域幅が制限されているとき、標的位置情報及び標的記述子を送信するための方法を、ここで図６に示されている方法（６００）のフローを参照して説明する。ブロック（６０２）は、フローが、図４のブロック（４１８）から続いていることを示す。ブロック（６０４）において、送信側のサブシステム位置（４０７）において形成される標的画像の第１の選定された一部（２１５）が、標的画像の第１の選定された一部のサブセット画像に縮小される。例えば、標的画像の第１の選定された一部のサブセット画像は、第１の標的（２１１）の選定された一部（２１５）のサブセット（２１５Ａ）の画像であり得る。
【００５４】
ブロック（６０６）において、標的記述子が、標的画像の第１の選定された一部（２１５）のサブセット画像に関してだけ生成される。ブロック（６０８）において、サブセット画像又はサブセット画像に関するグレースケール画像に関する標的記述子が、通信リンク（２７０）を介し、送信側のサブシステム（１００）から受信側のサブシステム（３００）へ送信される。送信機（１７０）は、サブセット画像のグレースケールが必要とするよりも更に小さい送信帯域幅を、サブセット画像に関する標的記述子が要求するとき、サブセット画像に関する標的記述子を送信する。同様に、送信機（１７０）は、サブセット画像に関する標的記述子の送信が必要とするよりも更に小さい帯域幅を、サブセット画像のグレースケール画像の送信が要求するとき、サブセット画像のグレースケール画像を送信する。第１のプロセッサー（１１０）が、それを決定するソフトウェアを実行する。ブロック（６１０）において、フローは、図４の方法（４００）のブロック（４２０）へ進む。
【００５５】
この実施形態の一実装において、送信側のサブシステム（１００）の少なくとも一部が、送信側のサブシステム（１００）のユーザーによって使われる。
特定の実施形態が本明細書において例示され記載されているが、同一目的を達するように計算実行される任意の処理が、示されている特定の実施形態の代替になり得ることが当業者によって十分に理解されよう。本出願は、本発明の任意の適用又は変形を含めるように意図されている。したがって、本発明が請求項及びその同等物によってのみ限定されることを、明確に意図している。
【符号の説明】
【００５６】
１０ 標的システム
１００ 送信側のサブシステム
１１０ 第１のプロセッサー
１２０ 第１のカメラ
１２２ 光軸
１２４ 第１のカメラ台
１３０ 第１の距離計
１４０ 第１の全地球測位システム受信機
１５０ 映像分析機能
１５２ 場面レンダリング機能
１６０ 第１のディスプレイ
１６２ グラフィカルユーザーインターフェース
１６５ 記憶媒体
１６６ 記憶媒体
１７０ 送信機
２０１ 標的領域
２１０ 標的
２１１ 標的
２１５ 標的画像の第１の選定された一部
２１５Ａ 第１の標的の選定された一部のサブセット
２１７ セグメント
２１８−Ｎ プレーン
２１９ アイコン
２２２−Ｎ プレーン方位
２７０ 通信リンク
３００ 受信側のサブシステム
３１０ 第２のプロセッサー
３２０ 第２のカメラ
３２２ 光軸
３２４ 第２のカメラ台
３３０ 第２の距離計
３４０ 第２の全地球測位システム受信機
３５０ 映像分析機能
３６０ 第２のディスプレイ
３６２ グラフィカルユーザーインターフェース
３６５ メモリー
３６６ 記憶媒体
３７０ 受信機
４０５ 標的位置
４０７ 第１の位置
４０９ 第２の位置
【特許請求の範囲】
【請求項１】
標的システム（１０）のサブシステム間において標的（２１１）を地理参照するための方法であって、
送信側のサブシステム位置（４０７）において形成される標的画像を受信するステップと、
前記標的画像の受信に応答して前記標的画像の第１の選定された一部（２１５）に関する標的記述子を生成するステップと、
標的位置情報及び前記標的記述子を、前記標的システムの送信側のサブシステム（１００）から前記標的システムの受信側のサブシステム（３００）へ送信するステップと、
前記送信側のサブシステムから受信される前記標的位置情報に基づいて、前記受信側のサブシステムのカメラ（３２０）の光軸（３２２）を前記標的に向けるステップと、
前記光軸が前記標的に向けられたとき、受信側のサブシステム位置において標的画像を形成するステップと、
前記送信側のサブシステム位置において形成される前記標的画像の前記第１の選定された一部と相関性がある、前記受信側のサブシステム位置において形成される前記標的画像の第２の選定された一部（２１５）を特定するステップであって、前記特定するステップが、前記送信側のサブシステムから受信される前記標的記述子に基づくものと、を含む方法。
【請求項２】
更に、
前記送信側のサブシステム位置（４０７）と前記標的位置（４０５）の間の標的距離（Ｒ）を決定するステップと、
前記送信側のサブシステム位置において形成される前記標的画像の受信に応答して、前記送信側のサブシステム（１００）において場面レンダリング機能（１５２）を実装するステップであって、前記実装が、第１の位置における前記送信側のサブシステムと、第２の位置（４０９）における前記受信側のサブシステム（３００）と、前記標的位置における前記標的（２１１）と、の相対的な位置に基づくものであって、前記標的記述子の生成が、前記場面レンダリング機能からの出力に基づくことを特徴とする請求項１記載の方法。
【請求項３】
更に、
前記送信側のサブシステム（１００）と前記受信側のサブシステム（３００）の間の通信リンクの帯域幅を決定するステップと、
前記決定された帯域幅が選定された帯域幅よりも小さいとき、
送信側のサブシステム位置（４０７）において形成される前記標的画像の前記第１の選定された一部を、前記標的画像の前記第１の選定された一部（２１５）のサブセット画像へ縮小するステップと、
前記標的画像の前記第１の選定された一部の前記サブセット画像だけに関する標的記述子を生成するステップと、
送信するためにより小さい帯域幅を要求する、前記サブセット画像に関する前記標的記述子又は前記サブセット画像のグレースケール画像に関する前記標的記述子のいずれか１つを送信するステップと、を含む請求項１記載の方法。
【請求項１】
標的システム（１０）のサブシステム間において標的（２１１）を地理参照するための方法であって、
送信側のサブシステム位置（４０７）において形成される標的画像を受信するステップと、
前記標的画像の受信に応答して前記標的画像の第１の選定された一部（２１５）に関する標的記述子を生成するステップと、
標的位置情報及び前記標的記述子を、前記標的システムの送信側のサブシステム（１００）から前記標的システムの受信側のサブシステム（３００）へ送信するステップと、
前記送信側のサブシステムから受信される前記標的位置情報に基づいて、前記受信側のサブシステムのカメラ（３２０）の光軸（３２２）を前記標的に向けるステップと、
前記光軸が前記標的に向けられたとき、受信側のサブシステム位置において標的画像を形成するステップと、
前記送信側のサブシステム位置において形成される前記標的画像の前記第１の選定された一部と相関性がある、前記受信側のサブシステム位置において形成される前記標的画像の第２の選定された一部（２１５）を特定するステップであって、前記特定するステップが、前記送信側のサブシステムから受信される前記標的記述子に基づくものと、を含む方法。
【請求項２】
更に、
前記送信側のサブシステム位置（４０７）と前記標的位置（４０５）の間の標的距離（Ｒ）を決定するステップと、
前記送信側のサブシステム位置において形成される前記標的画像の受信に応答して、前記送信側のサブシステム（１００）において場面レンダリング機能（１５２）を実装するステップであって、前記実装が、第１の位置における前記送信側のサブシステムと、第２の位置（４０９）における前記受信側のサブシステム（３００）と、前記標的位置における前記標的（２１１）と、の相対的な位置に基づくものであって、前記標的記述子の生成が、前記場面レンダリング機能からの出力に基づくことを特徴とする請求項１記載の方法。
【請求項３】
更に、
前記送信側のサブシステム（１００）と前記受信側のサブシステム（３００）の間の通信リンクの帯域幅を決定するステップと、
前記決定された帯域幅が選定された帯域幅よりも小さいとき、
送信側のサブシステム位置（４０７）において形成される前記標的画像の前記第１の選定された一部を、前記標的画像の前記第１の選定された一部（２１５）のサブセット画像へ縮小するステップと、
前記標的画像の前記第１の選定された一部の前記サブセット画像だけに関する標的記述子を生成するステップと、
送信するためにより小さい帯域幅を要求する、前記サブセット画像に関する前記標的記述子又は前記サブセット画像のグレースケール画像に関する前記標的記述子のいずれか１つを送信するステップと、を含む請求項１記載の方法。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【公開番号】特開２０１０−９６４９６（Ｐ２０１０−９６４９６Ａ）
【公開日】平成２２年４月３０日（２０１０．４．３０）
【国際特許分類】
【外国語出願】
【出願番号】特願２００９−２３７２３２（Ｐ２００９−２３７２３２）
【出願日】平成２１年１０月１４日（２００９．１０．１４）
【出願人】（５００５７５８２４）ハネウェル・インターナショナル・インコーポレーテッド (1,504)
【Ｆターム（参考）】
【公開日】平成２２年４月３０日（２０１０．４．３０）
【国際特許分類】
【出願番号】特願２００９−２３７２３２（Ｐ２００９−２３７２３２）
【出願日】平成２１年１０月１４日（２００９．１０．１４）
【出願人】（５００５７５８２４）ハネウェル・インターナショナル・インコーポレーテッド (1,504)
【Ｆターム（参考）】
[ Back to top ]