ランドマーク識別のための自動標識付け
【課題】画像においてランドマークを識別する方法を提供する。
【解決手段】作業現場の画像を受け取り、この画像において示唆された作業現場の特徴の識別を判定するために画像を分析する。作業現場の特徴の示唆された識別を、通信ユニットを通じて送る。確認された識別を形成するために、作業現場の特徴の示唆された識別を受け取る。確認された識別、およびこの確認された識別と関連のある複数の属性を、データベースに格納する。
【解決手段】作業現場の画像を受け取り、この画像において示唆された作業現場の特徴の識別を判定するために画像を分析する。作業現場の特徴の示唆された識別を、通信ユニットを通じて送る。確認された識別を形成するために、作業現場の特徴の示唆された識別を受け取る。確認された識別、およびこの確認された識別と関連のある複数の属性を、データベースに格納する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般には、ナビゲーション・システムおよび方法に関し、更に特定すれば移動ロボット・ナビゲーション・システムおよび方法に関する。更に一層特定すれば、本開示は、ランドマーク識別のための自動標識付け(tagging)に関する。
【従来技術】
【０００２】
肉体的作業を行うためのロボット・デバイスの使用は、近年増加している。移動ロボット・デバイスは、種々の異なる作業を行うために用いることができる。これらの移動デバイスは、半自動モードまたは完全自動モードで動作することもできる。これらの移動デバイスは、種々の異なるタスクを半自動モードまたは完全自動モードで実行するために、統合ナビゲーション・システムを有することもある。移動ロボット・デバイスは、位置確認およびナビゲーションのために、視覚ランドマークおよび物理的周辺(physical perimeter)を拠り所とすることが多い。三角測量において位置確認およびナビゲーションのために用いられる視覚ランドマークは、永続的なランドマークであって、特定および位置確認できなければならない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
これらの永続的ランドマークは、汎地球測位システムまたは手動測定方法によって正確に調査することはできるが、時間がかかりその上法外に費用がかかることもある。また、移動ロボット・デバイスは、視覚ランドマークを調査するためにも用いることができるが、ランドマークの永続性またはランドマークの位置安定性を識別および区別する能力に欠ける。
【課題を解決するための手段】
【０００４】
異なる例示的な実施形態は、画像においてランドマークを識別する方法を提供する。この画像において示唆された作業現場の特徴の識別を判定するために画像を分析する。作業現場の特徴の示唆された識別を、通信ユニットを通じて送る。確認された識別を形成するために、作業現場の特徴の示唆された識別を受け取る。確認された識別、およびこの確認された識別と関連のある複数の属性を、データベースに格納する。
【０００５】
更に、異なる例示的な実施形態は、画像においてランドマークを識別するシステムを提供する。このシステムは、作業現場特徴データベース、ユーザ・インターフェース、およびデータ処理システムを備えている。データ処理システムは、画像を分析するデータ分類プロセスを実行し、前記作業現場特徴データベースを用いて前記画像において示唆された作業現場の特徴の識別を判定し、前記作業現場の特徴の示唆された識別を通信ユニットを通じて送り、確認された識別を形成するために、前記作業現場の特徴の示唆された識別の確認を受け、前記確認された識別および当該確認された識別と関連のある複数の属性を前記作業現場特徴データベースに格納するように構成されている。
【０００６】
特徴、機能、および利点は、本発明の種々の実施形態において独立して達成することができ、または更に別の実施形態において組み合わせることもできる。実施形態における更なる詳細は、以下の説明および図面を参照することによって確認することができる。
【図面の簡単な説明】
【０００７】
例示的な実施形態の新規な特徴であると確信する特性について、添付した特許請求の範囲に明記する。しかしながら、例示的な実施形態、ならびにその好ましい使用様式、更に別の目的および利点は、以下の本発明の例示的な実施形態の詳細な説明を参照し、添付図面と合わせて読むことによって最良に理解されよう。
【図１】図１は、例示的な実施形態を実現することができる作業現場環境のブロック図である。
【図２】図２は、例示的な実施形態によるデータ処理システムのブロック図である。
【図３】図３は、例示的な実施形態によるナビゲーション・システムのブロック図である。
【図４】図４は、例示的な実施形態による可動システムのブロック図である。
【図５】図５は、例示的な実施形態によるセンサ・システムのブロック図である。
【図６】図６は、例示的な実施形態による行動データベースのブロック図である。
【図７】図７は、例示的な実施形態による作業現場データベースのブロック図である。
【図８】図８は、例示的な実施形態による環境センサ・システムのブロック図である。
【図９】図９は、例示的な実施形態による作業現場特徴識別システムのブロック図である。
【図１０】図１０は、例示的な実施形態による画像のブロック図である。
【図１１】図１１は、例示的な実施形態にしたがって、画像においてランドマークを識別するプロセスを示すフローチャートである。
【図１２】図１２は、例示的な実施形態にしたがって、作業現場の特徴を識別するプロセスを示すフローチャートである。
【発明を実施するための形態】
【０００８】
図面を参照し特に図１を参照すると、例示的な実施形態を実現することができる作業現場環境のブロック図が示されている。作業現場環境１００は、自律車両が動作することができる任意のタイプの作業現場環境とすることができる。例示的な一例では、作業現場環境１００は、構造物、建造物、作業現場、エリア、ヤード、ゴルフ・コース、室内環境、野外環境、異なるエリア、ユーザの要望の変化、および／または任意のその他の適した作業現場環境または作業現場環境の組み合わせとすることもできる。
【０００９】
例示的な一例では、ユーザの必要性の変化は、限定ではなく、ユーザが古い場所から新しい場所に移動し、古い場所の構内とは異なる、新しい場所の構内において自律車両を運転することを含むこともできる。別の例示的な一例として、異なるエリアは、限定ではなく、自律車両を屋内環境および野外環境の双方で運転すること、または自律車両を、例えば、前庭および裏庭において運転することを含むことができる。
【００１０】
作業現場環境１００は、本発明の一実施形態ではネットワーク１０１を含む。この例では、バック・オフィス１０２は、１台のコンピュータまたは分散型計算クラウドとすることができる。バック・オフィス１０２は、物理的なデータベースおよび／または外部データベースへの接続をサポートする。これらのデータベースは、異なる例示的な実施形態でも用いることができる。バック・オフィス１０２は、異なる車両へのデータベースをサポートすること、そしてデータベースからの情報へのオンライン・アクセスを提供することもできる。また、バック・オフィス１０２は、例えば、自律車両１０４のような、車両についての経路計画を提供することもできる。
【００１１】
バック・オフィス１０２は、作業現場特徴識別システム１０３を含む。作業現場特徴識別システム１０３は、複数の作業現場１０６において自動車両１０４によって検出された作業現場の特徴を自動的に識別する。
【００１２】
作業現場環境１００は、自律車両１０４、複数の作業現場１０６、ユーザ１０８、および手動制御デバイス１１０を含むことができる。自律車両１０４は、任意のタイプの自律車両とすることができ、限定ではなく、移動ロボット機械、サービス・ロボット、フィールド・ロボット、ロボット芝刈り機、ロボット除雪機、ロボット落ち葉除去機、ロボット芝給水機、ロボット掃除機、および／またはその他の任意の自律車両を含む。自律車両１０４は、ナビゲーション・システム１１２を含む。
【００１３】
ナビゲーション・システム１１２は、自律車両１０４について移動性(mobility)、位置決め、およびナビゲーションを制御するためのシステムを備える。システムの能力には、例えば、限定ではなく、作業現場のランダムなエリア・カバレッジを実行するための基本可動機能、接触スイッチの障害物回避のための基本障害物回避機能、測地機能のための基本推測航法および／または自律車両１０４のための基本機能の任意のその他の組み合わせというような、基本的な行動を含むことができる。ナビゲーション・システム１１２は、複数の作業現場１１６のような作業現場内において環境データを検出するために用いられる環境データ収集システム１１４を含む。
【００１４】
環境データ収集システム１１４によって検出された環境データは、ランドマークの識別及び位置確認において用いるために、ネットワーク１０１を通じて作業現場特徴識別システム１０３に送ることができる。また、ナビゲーション・システム１１２は、例えば、エリア・カバレッジ・タスクを実行するために、複数の作業現場１０６内において自律車両１０４をナビゲートするための経路計画能力を含むこともできる。複数の作業現場１０６は、作業現場環境１００において、自律車両１０４が動作することができる任意のエリアとすることができる。複数の作業現場１０６における各作業現場には、複数のタスクを関連付けることができる。作業現場１１６は、複数の作業現場１０６における１つの作業現場の例示的な一例である。例えば、例示的な実施形態では、作業現場１１６は、ユーザの住居の裏庭であってもよい。作業現場１１６は、複数の環境データ収集位置１１７および複数のタスク１１８を含む。複数の環境データ収集位置１１７は、環境データ収集システム１１４が、例えば、複数の作業現場１０６内部で環境データを検出することができる任意の位置である。例示的な実施形態では、複数のタスク１１８は、ユーザの住居の裏庭の芝刈りを含むことができる。自律車両１０４は、作業現場１１６内部において複数のタスク１１８を実行するように動作することができる。本明細書において用いる場合、数(number)は１つ以上の項目に言及する。例示的な一例では、複数の作業現場１０６は、限定ではなく、主要な庭および二次的な庭を含むことができる。主要な庭は、複数のタスク１１８が関連付けられている作業現場１１６とすることができる。二次的な庭には、例えば、他の１組のタスクを関連付けることができる。
【００１５】
例示的な一例では、環境データ収集システム１１４を自律車両１０４によって、作業現場１１６内にある複数の環境データ収集位置１１７に移動させることができる。別の例示的な例では、環境データ収集システム１１４は、人間、動物、人間制御車両、および／または任意のその他の適した移動体プラットフォームによって、複数の環境データ収集位置１１７に移動させることができる。
【００１６】
複数の作業現場１０６における各作業現場は、複数の作業現場の特徴を含む場合がある。作業現場１１６は、複数の作業現場の特徴１２０を含む。複数の作業現場の特徴１２０は、任意のタイプの作業現場１１６の視覚的特徴とすることができ、限定ではなく、ランドマーク、植物、構造、野生生物、建物、および／または任意のその他の適した視覚的特徴を含む。複数の作業現場の特徴１２０は、複数のランドマーク１２２および複数のその他の特徴１２４を含むことができる。
【００１７】
複数のランドマーク１２２は、自律車両１０４によって検出することができる任意のタイプの特徴(feature)とすることができる。例示的な一例では、複数のランドマーク１２２は、限定ではなく、円筒形ランドマーク、有色ランドマーク、パターンを付けたランドマーク、照明付きランドマーク、垂直ランドマーク、自然ランドマーク、以上の任意の組み合わせ、および／または他の任意の適したランドマークを含むことができる。パターンを付けたランドマークは、例えば、別個の情報を提供するために組み込まれた視覚的パターンを含むことができる。照明付けランドマークは、例えば、夜間のような、光が少ない状況または光のない状況において、視覚的検出に備えることができる。自然ランドマークは、例えば、限定ではなく、樹木の幹を含むことができる。他のタイプのランドマークには、例えば、建造物、建築構造、道路、歩道、曲がり角、壁、および／またはその他の任意の適したランドマークを含むことができる。
【００１８】
複数のその他の特徴１２４は、ランドマークとしては不適切な、任意のタイプの作業現場１１６の視覚的特徴である。例えば、複数のその他の特徴１２４は、限定ではなく、グランド・カバー、植木鉢、および／または任意のその他のタイプの非永続的物体を含むことができる。非永続的物体とは、例えば、限定ではなく、中庭の家具であってもよい。
【００１９】
ユーザ１０８は、限定ではなく、人間の操作者、ロボット・オペレータ、またはその他の何らかの外部システムとすることができる。手動制御デバイス１１０は、ユーザ１０８が自律行動を無効にして自律車両１０４および／または作業現場後口調識別システム１０３を制御することを可能にする、任意のタイプの手動コントローラとすることができる。手動制御デバイス１１０は、ユーザ１０８が、例えば、自動識別の確認のような入力を作業現場特徴識別システム１０３に供給するためのユーザ・インターフェースを設けることもできる。例示的な一例では、ユーザ１０８は、手動制御デバイス１１０を用いて、複数のタスク１１８を実行するためおよび／または複数の作業現場の特徴１２０を識別するために、作業現場１１６内において自律車両１０４の移動を制御することができる。別の例示的な例では、ユーザ１０８は、手動制御デバイス１１０を用いて、作業現場特徴識別システム１０３による複数の作業現場の特徴１２０の自動識別を確認することもできる。
【００２０】
図１における作業現場環境１００の図示は、異なる有利な実施形態を実現することができる態様に対して、物理的または構造的限定を暗示することを意味するのではない。図示したコンポーネントに加えておよび／またはこれらに代わって他のコンポーネントを用いることもできる。有利な実施形態によっては、一部のコンポーネントが不要な場合もある。または、ブロックは一部の機能的コンポーネントを例示するために示されている。異なる有利な実施形態において実現するときには、これらのブロックの１つ以上を組み合わせること、および／または異なるブロックに分割することもできる。
【００２１】
例えば、例示的な一実施形態では、作業現場特徴識別システム１０３を自律車両１０４に配置することもできる。この例示的な例では、作業現場特徴識別システム１０３は、複数の作業現場１０６において自律車両１０４によって検出された作業現場の特徴を動的に識別することができる。
【００２２】
異なる例示的な実施形態は、ロボット・ナビゲーションに現在用いられている方法は、多くの場合、非常に原始的なランダム・ナビゲーション・システムを用いていることを認識し、これを考慮に入れている。このランダム・ナビゲーション・システムは、電気信号を伝達するワイヤによって確立された周辺の内部で動作する。現在用いられている方法におけるロボット機械には、電気信号検出器と、バンパ・スイッチとを当該機械の本体に装備することができる。これらの機械は、周辺ワイヤからの信号を検出するまで、または機械の外部物体との接触によってバンパ・スイッチが閉じるまで、ほぼ直線方向に移動する。これらの２つの状況のいずれかが発生すると、これらの機械は方向を変える。このように、現在の方法は、機械を作業エリアの周辺以内に制約し、外部物体との接触後に移動を維持する。
【００２３】
異なる例示的な実施形態は、更に、現在用いられているロボット・ナビゲーション用視覚ナビゲーション・システムは、作業現場内において永続的ランドマークを識別しその位置を確認しなければならないことも認識し、これを考慮に入れている。これらの永続的ランドマークは、現在では汎地球測位システムまたは手動測定方法によって正確に調査することができるが、これらは時間がかかり法外に費用もかかる。更に、視覚的ランドマークを調査するために用いられる現在の移動ロボット・デバイスは、ランドマークの永続性またはランドマークの位置安定性を識別および区別する能力に欠ける。
【００２４】
このため、異なる例示的な実施形態の１つ以上は、画像においてランドマークを識別する方法を提供する。作業現場の画像を受信する。この画像を分析して、当該画像における作業現場の特徴によって示唆された識別(identity)を判定する。作業現場の特徴の示唆された識別は、通信ユニットを通じて送られる。作業現場の特徴の示唆された識別の確認を受けて、確認された識別を形成する。この確認された識別、および当該確認された識別と関連のある属性をデータベースに格納する。
【００２５】
更に、異なる例示的な実施形態は、画像においてランドマークを識別するシステムを提供する。このシステムは、作業現場特徴データベース、ユーザ・インターフェース、およびデータ処理システムを備えている。データ処理システムは、画像を分析し、作業現場特徴データベースを用いてその画像における作業現場の特徴の示唆された識別を判定し、作業現場の特徴の示唆された識別を通信ユニットを通じて送り、作業現場の特徴の示唆された識別の確認を受けて、確認された識別を形成し、この確認された識別、および当該確認された識別と関連のある複数の属性を作業現場特徴データベースに格納するために、データ分類プロセスを実行するように構成されている。
【００２６】
異なる例示的な実施形態は、自動化されたランドマーク検出および標識付けによって、高精度なランドマーク識別および位置確認を可能にするシステムを提供する。
これより図２を参照すると、例示的な一実施形態によるデータ処理システムのブロック図が示されている。データ処理システム２００は、図１におけるバック・オフィス１０２のような、コンピュータの一例であり、その中に、プロセスを実現するコンピュータ使用可能プログラム・コードまたは命令を、この例示的な実施形態のために配置することができる。
【００２７】
この例示的な例では、データ処理システム２００は、プロセッサ・ユニット２０４との間に通信を設ける通信ファブリック２０２、メモリ２０６、永続的ストレージ２０８、通信ユニット２１０、入力／出力（Ｉ／Ｏ）ユニット２１２、およびディスプレイ２１４を含む。
【００２８】
プロセッサ・ユニット２０４は、メモリ２０６にロードすることができるソフトウェアの命令を実行する機能を果たす。プロセッサ・ユニット２０４は、個々の実施態様に応じて、１組の１つ以上のプロセッサであってもよく、またはマルチプロセッサ・コアであってもよい。更に、プロセッサ・ユニット２０４は、１つ以上の異質なプロセッサ・システムを用いて実現することもできる。この場合、主プロセッサが副プロセッサと共に１つのチップ上に存在する。別の例示的な例として、プロセッサ・ユニット２０４は、同じタイプの複数の(multiple)プロセッサを内蔵する対称マルチプロセッサ・システムであってもよい。
【００２９】
メモリ２０６および永続的ストレージ２０８は、記憶デバイス２１６の例である。記憶デバイスは、例えば限定ではなく、データ、機能的形態のプログラム・コード、および／またはその他の適した情報というような情報を、一時的におよび／または永続的に格納することができる任意のハードウェア部である。メモリ２０６は、この例では、例えば、ランダム・アクセス・メモリあるいはその他の任意の適した揮発性または不揮発性記憶デバイスとすることができる。永続的ストレージ２０８は、個々の実施態様に応じて、種々の形態をなすことができる。例えば、永続的ストレージ２０８は、１つ以上のコンポーネントまたはデバイスを内蔵することができる。例えば、永続的ストレージ２０８は、ハード・ドライブ、フラッシュ・メモリ、再書き込み可能な光ディスク、再書き込み可能な磁気テープ、または以上の何らかの組み合わせとすることができる。また、永続的ストレージ２０８によって用いられる媒体は、リムーバブルであってもよい。例えば、リムーバブル・ハード・ドライブを永続的ストレージ２０８に用いることもできる。
【００３０】
通信ユニット２１０は、これらの例では、他のデータ処理システムまたはデバイスとの通信に備える。これらの例では、通信ユニット２１０はネットワーク・インターフェース・カードである。通信ユニット２１０は、物理的およびワイヤレス通信の一方または双方の使用によって、通信を提供することができる。
【００３１】
入力／出力ユニット２１２は、データ処理システム２００に接続することができるその他のデバイスとのデータの入力および出力を可能にする。例えば、入力／出力ユニット２１２は、キーボード、マウス、および／またはその他の適した何らかの入力デバイスを通じて、ユーザ入力のための接続を設けることができる。更に、入力／出力ユニット２１２は、出力をプリンタに送ることができる。ディスプレイ２１４は情報をユーザに表示するメカニズムを備えている。
【００３２】
オペレーティング・システム、アプリケーション、および／またはプログラムの命令は、記憶デバイス２１６に配置することができる。記憶デバイス２１６は、通信ファブリック２０２を通じてプロセッサ・ユニット２０４と通信状態にある。これらの例示的な例では、命令は、永続的ストレージ２０８において機能的形態となっている。これらの命令をメモリ２０６にロードして、プロセッサ・ユニット２０４によって実行することができる。異なる実施形態のプロセスは、プロセッサ・ユニット２０４によって、コンピュータ実装命令を用いて実行することができる。コンピュータ実装命令は、メモリ２０６のようなメモリに配置することができる。
【００３３】
これらの命令は、プログラム・コード、コンピュータ使用可能プログラム・コード、またはコンピュータ読み取り可能プログラムと呼ばれており、プロセッサ・ユニット２０４におけるプロセッサによって読み取り実行することができる。異なる実施形態におけるプログラム・コードは、メモリ２０６または永続的ストレージ２０８のような、異なる物理的または有形コンピュータ読み取り可能媒体において具体化することができる。
【００３４】
プログラム・コード２１８は、機能的形態で、選択的にリムーバブルであるコンピュータ読み取り可能媒体２２０上に配置されており、データ処理システム２００にロードするまたは転送して、プロセッサ・ユニット２０４によって実行することができる。プログラム・コード２１８およびコンピュータ読み取り可能媒体２２０は、これらの例ではコンピュータ・プログラム製品２２２を形成する。一例では、コンピュータ読み取り可能媒体２２０は、永続的ストレージ２０８の一部であるハード・ドライブのような、記憶デバイスへの転送のために例えば、永続的ストレージ２０８の一部であるドライブまたはその他のデバイスに挿入されるまたはその中に置かれる光ディスクまたは磁気ディスクのように、有形形態であることができる。有形形態では、コンピュータ読み取り可能媒体２２０は、データ処理システム２００に接続されているハード・ドライブ、サム・ドライブ(thumb drive)、またはフラッシュ・メモリというような、永続的ストレージの形態をなすこともできる。また、コンピュータ読み取り可能媒体２２０の有形形態は、コンピュータ記録可能記憶媒体とも呼ばれる。実例の中には、コンピュータ読み取り可能媒体２２０がリムーバブルでなくてもよい場合もある。
【００３５】
あるいは、プログラム・コード２１８は、コンピュータ読み取り可能媒体２２０からデータ処理システム２００に、通信ユニット２１０への通信リンクを通じて、および／または入力／出力ユニット２１２への接続を通じて転送することもできる。通信リンクおよび／または接続は、例示的な例では、物理的またはワイヤレスとすることができる。また、コンピュータ読み取り可能媒体は、通信リンクまたはプログラム・コードを含むワイヤレス送信というような、無形媒体の形態をなすこともできる。
【００３６】
例示的な実施形態によっては、プログラム・コード２１８をネットワークを通じて永続的ストレージ２０８に別のデバイスまたはデータ処理システムからダウンロードし、データ処理システム２００内で用いるようにすることもできる。例えば、サーバ・データ処理システムにおいてコンピュータ読み取り可能記憶媒体に格納されているプログラム・コードを、ネットワークを通じてこのサーバからデータ処理システム２００にダウンロードすることができる。プログラム・コード２１８を供給するデータ処理システムは、サーバ・コンピュータ、クライアント・コンピュータ、またはプログラム・コード２１８を格納および送信することができる他の何らかのデバイスであってもよい。
【００３７】
データ処理システム２００について図示した異なるコンポーネントは、異なる実施形態を実現することができる態様に対して構造的限定を規定することを意味するのではない。異なる例示的な実施形態は、データ処理システム２００について図示したコンポーネントに加えてまたはこれらの代わりにコンポーネントを含むデータ処理システムにおいても実現することができる。図２に示すその他のコンポーネントは、図示する例示的な例から変更することができる。異なる実施形態は、プログラム・コードを実行することができる任意のハードウェア・デバイスまたはシステムを用いて実現することができる。一例として、データ処理システムは、無機コンポーネントと統合された有機コンポーネントを含むことができ、および／または人を除外した有機コンポーネントで全体的に構成することもできる。例えば、記憶デバイスを有機半導体で構成することもできる。
【００３８】
別の例として、データ処理システム２００における記憶デバイスは、データを記憶することができる任意のハードウェア装置である。メモリ２０６、永続的ストレージ２０８、およびコンピュータ読み取り可能媒体２２０は、有形形態とした記憶デバイスの例である。
【００３９】
別の例では、通信ファブリック２０２を実現するためにバス・システムを用いることもでき、このバス・システムは、システム・バスまたは入力／出力バスというような、１系統以上のバスで構成することができる。勿論、バス・システムは、当該バス・システムに取り付けられている異なるコンポーネントまたはデバイス間におけるデータの転送に備えているアーキテクチャのうち任意の適したタイプを用いて実現することができる。加えて、通信ユニットは、モデムまたはネットワーク・アダプタのような、データを送信および受信するために用いられる１つ以上のデバイスを含むことができる。更に、メモリは、例えば、メモリ２０６または通信ファブリック２０２の中に存在することもあるインターフェースおよびメモリ・コントローラ・ハブにおいて見られるようなキャッシュとすることもできる。
【００４０】
本明細書において用いる場合、「少なくとも１つの」という句は、品目のリストと共に用いられる場合、これらの品目の１つ以上の異なる組み合わせを用いることができること、そしてリストにおける各項目のうち１つだけがあればよいことを意味する。例えば、「品目Ａ、品目Ｂ、および品目Ｃのうち少なくとも１つ」は、例えば、限定ではなく、品目Ａ、または品目Ａおよび品目Ｂを含むことができる。また、この例は、品目Ａ、品目Ｂおよび品目Ｃ、または品目Ｂおよび品目Ｃも含むことができる。
【００４１】
これより図３を参照すると、例示的な一実施形態によるナビゲーション・システムのブロック図が示されている。ナビゲーション・システム３００は、図１におけるナビゲーション・システム１１２の一実施態様の一例である。
【００４２】
ナビゲーション・システム３００は、プロセッサ・ユニット３０２、通信ユニット３０４、行動データベース３０６、作業現場データベース３０８、可動システム３１０、センサ・システム３１２、電源３１４、電力レベル・インディケータ３１６、基本システム・インターフェース３１８、および環境データ収集システム３２０を含む。環境データ収集システム３２０は、環境センサ・システム３２２、複数のデータベース３２４、および環境データ発生器３２６を含む。
【００４３】
環境センサ・システム３２２は、図１における複数の作業現場特徴１０６のような作業現場特徴、および図１における複数の作業現場のような作業現場におけるその他の環境データを検出する。他の環境データは、例えば、限定ではなく、風、降水量、温度、季節、および／または任意のその他の適した環境データを含むことができる。環境センサ・システム３２２は、視覚システム３２８を含む。視覚システム３２８は、例えば、限定ではなく、ステレオ視覚システム、非対称視覚システム、スタジアメトリック測距視覚システム(stadiametric ranging vision system)、および／または任意のその他の適した視覚システムとすることができる。視覚システム３２８は、複数のカメラ３３０を含む。複数のカメラ３３０は、例えば、図１における作業現場１１６のような、作業現場または作業現場エリアの画像を撮影するために用いることができる。複数のカメラ３３０によって撮影された画像は、例えば、ランドマーク識別および経路計画に用いるために、基本システム・インターフェース３１８を通じてプロセッサ・ユニット３０２に転送することができる。本明細書において用いる場合、「複数の」は１つ以上の画像に言及するものとする。複数のカメラ３３０は、例えば、限定ではなく、カラー・カメラ、白黒カメラ、赤外線カメラ、および／または任意のその他の適したカメラを含むことができる。
【００４４】
環境データ収集システム３２０の複数のデータベース３２４は、図１における作業現場環境１００のような作業現場環境と関連のある園芸および天候情報を提供する。複数のデータベース３２４は、例えば、限定ではなく、園芸データベース３３２、天候データベース３３４、オンライン・データベース３３６、および／または任意のその他の適したデータベースを含むことができる。
【００４５】
園芸データベース３３２は、限定ではなく、植物種および変種のような情報、ならびに植物種および変種の給水の必要性、成長段階、特性、および成長過程についての情報、自律車両に影響を及ぼすかもしれない作業現場環境の具体的な環境的特徴等を含むことができる。例えば、種々の植物種の特性は、限定ではなく、幹、樹皮、分枝系統、幹のサイズ、葉のパターン、発芽、非発芽(non-budding)、色、成長パターン、好ましい日照、好ましい土壌水分、好ましい土壌ｐＨ等とすることができる。天候データベース３３４は、作業現場環境についての現在の天候、作業現場環境についての天候履歴等を含むことができる。
【００４６】
オンライン・データベース３３６は、通信ユニット３０４を用いてワイヤレスでインターネットにアクセスすることができる。オンライン・データベース３３６は、動的に情報を環境データ収集システム３２０に提供し、これによって、環境データ発生器３２６によって発生されたデータに対する調節が可能になる。例えば、オンライン・データベース３３６は、限定ではなく、作業現場環境の現在の天候状態、作業現場環境に対する現在の制約、作業現場環境についての天気予報、および／または任意のその他の適した情報を含むことができる。現在の制約には、限定ではなく、洪水のような、自律車両には望ましくない地面状態というような、複数の制約を含むことができる。
【００４７】
例の中には、オンライン・データベース３３６がリモート・アクセス・データベースであるともよい場合もある。オンライン・データベース３３６によって提供されるこの天候情報は、作業現場環境について高い精度の環境データを取得するためには、環境センサ・システム３２２のどのセンサを活性化すべきか判定するために、環境データ収集システム３２０によって用いることができる。雨、雪、霧、および霜というような天候のために、ある種のセンサの範囲が狭くなったり、作業現場環境から高い精度の環境データを取得するためには他のセンサの属性の調節を行わなければならない場合もある。入手することができる他のタイプの情報には、限定ではなく、枝葉展開、落ち葉状態、芝水分応力(lawn moisture stress)というような植物の成長過程情報が含まれる。
【００４８】
環境データ発生器３２６は、複数のカメラ３３０によって撮影された画像、環境センサ・システム３２２によって検出されたその他の環境データ、および複数のデータベース３２４からの情報を用いて、図１における作業現場１１６のような、作業現場に関する作業現場データ３２７を発生する。作業現場データ３２７は、例えば、作業現場地図上における作業現場特徴の自動標識付けにおいて用いるために、図１における作業現場特徴識別システム１０３に送ることができる。
【００４９】
プロセッサ・ユニット３０２は、図２におけるデータ処理システム２００の一実施態様の一例とすることができる。プロセッサ・ユニット３０２は、車両制御プロセス３３８を含む。車両制御プロセス３３８は、可動システム３１０と通信しこれを制御するように構成されている。車両制御プロセス３３８は、経路計画モジュール３４０を含む。経路計画モジュール３４０は、行動データベース３０６および作業現場データベース３０８からの情報を、環境データ収集システム３２０から受け取った作業現場データ３２７と共に用いて、経路計画３４２を作成することができる。経路は、任意の長さでよく、例えば、１フィートまたは１０フィートでもよく、自律車両のランドマーク、障害物、周辺、および／または境界線に対する位置が変化するに連れて変化してもよい。
【００５０】
例示的な一例では、車両制御プロセス３３８は、図１における作業現場１１６のような作業現場全域について経路計画３４２を計画するために、作業現場データベース３０８から作業現場地図を引き出すことができる。車両制御プロセス３３８は、経路計画３４２を用いてコマンドおよび／または信号を可動システム３１０に送り、経路計画３４２にしたがって、ナビゲーション・システム３００と関連のある自律車両を移動させることができる。車両制御プロセス３３８は、例えば、作業現場特徴識別において用いるために作業現場を調査し画像を取り込むために、経路計画３４２全域にわたって自律車両を移動させることができる。車両制御プロセス３３８は、例えば、限定ではなく、自立車両上で選択されるボタン、手動制御デバイスからのコマンド、ソフトウェア・ドリブン・イベント、時間ドリブン・イベント、および／または任意のその他の適したトリガというような、トリガに応答して、作業現場の調査を開始することができる。
【００５１】
また、プロセッサ・ユニット３０２は、行動データベース３０６および作業現場データベース３０８と通信しこの中に格納されているデータにアクセスすることができる。データにアクセスするには、行動データベース３０６および／または作業現場データベース３０８の中にデータを格納する、これらからデータを引き出す、および／またはこのデータに対して作用するための任意のプロセスを含むことができる。例えば、データにアクセスするには、限定ではなく、行動データベース３０６および／または作業現場データベース３０８に収容されている参照表を用いること、行動データベース３０６および／または作業現場データベース３０８を用いて照会プロセスを実行すること、および／またはデータベースに格納されているデータにアクセスするための任意のその他の適したプロセスを含むことができる。
【００５２】
プロセッサ・ユニット３０２は、センサ・システム３１２から情報を受け取り、可動システム３１０を制御するときに、センサ情報を、行動データベース３０６からの行動データと共に用いることができる。また、プロセッサ・ユニット３０２は、例えば、図１におけるユーザ１０８によって動作させられる手動制御デバイス１１０のような、外部コントローラからの制御信号を受け取ることもできる。これらの制御信号は、通信ユニット３０４を用いて、プロセッサ・ユニット３０２によって受け取ることができる。
【００５３】
通信ユニット３０４は、情報を受け取るための通信リンクをプロセッサ・ユニット３０２に設けることができる。この情報は、例えば、データ、コマンド、および／または命令を含む。通信ユニット３０４は、種々の形態をなすことができる。例えば、通信ユニット３０４は、セルラ・フォン・システム、Ｗｉ−Ｆｉワイヤレス・システム、または何らかのその他の適したワイヤレス通信システムというような、ワイヤレス通信システムを含むことができる。
【００５４】
また、通信ユニット３０４は、例えば、図１における手動制御デバイス１１０のような、任意の(optional)手動コントローラへの有線接続も含むことができる。更に、通信ユニット３０４は、例えば、ユニバーサル・シリアル・バス・ポート、シリアル・インターフェース、パラレル・ポート・インターフェース、ネットワーク・インターフェース、または物理的な通信リンクを設けるための何らかのその他の適したポートというような、通信ポートも含むことができる。通信ユニット３０４は、例えば、外部制御デバイスまたはユーザと通信するために用いることができる。
【００５５】
例示的な一例では、プロセッサ・ユニット３０２は、図１においてユーザ１０８によって動作させられる手動制御デバイス１１０から制御信号を受け取ることができる。これらの制御信号は車両制御プロセス３３８の自律行動を無効にして、ユーザ１０８に、ナビゲーション・システム３００と関連のある自律車両を停止、始動、操舵、および／またはそれ以外で制御させることができる。
【００５６】
行動データベース３０６は、可動システム３１０を制御するときに車両制御プロセス３３８が利用することができる複数の行動行為(behavioral action)を収容する。行動データベース３０６は、限定ではなく、基本的な車両行動、エリア・カバレッジ行動、周囲行動、障害物回避行動、手動制御行動、給電行動、および／または自律車両のための任意のその他の適した行動を含むことができる。
【００５７】
可動システム３１０は、図１における自律車両１０４のような、自律車両に移動可能性(mobility)を備える。可動システム３１０は、種々の形態をなすことができる。可動システム３１０は、例えば、限定ではなく、推進システム、操舵システム、制動システム、および可動コンポーネントを含むことができる。これらの例では、可動システム３１０は、車両制御プロセス３３８からコマンドを受け取り、これらのコマンドに応答して、関連のある自律車両を移動させることができる。
【００５８】
センサ・システム３１２は、センサ・データを収集しプロセッサ・ユニット３０２に送信するための複数のセンサ・システムを含むことができる。例えば、センサ・システム３１２は、限定ではなく、推測航法システム、障害物検出システム、周辺検出システム、および／または図５に更に詳細に例示的に示すような、何らかのその他の適したタイプのセンサ・システムを含むことができる。センサ・データとは、センサ・システム３１２によって収集された情報のことである。
【００５９】
電源３１４は、ナビゲーション・システム３００、および例えば、図１における自律車両１０４のような、関連のある自律車両のコンポーネントに電力を供給する。電源３１４は、限定ではなく、バッテリ、移動バッテリ再充電器、ウルトラキャパシタ(ultracapacitor)、燃料電池、ガス発電機(gas powered generator)、太陽電池、および／または任意のその他の適した電源を含むことができる。電力レベル・インディケータ３１６は、電源３１４のレベルを監視し、電源レベルをプロセッサ・ユニット３０２に伝達する。例示的な一例では、電力レベル・インディケータ３１６は、電源３１４における電力の低レベルについての情報を送ることができる。プロセッサ・ユニット３０２は、行動データベース３０６にアクセスして、この例示的な例では、低電力レベルの指示に応答して、行動行為を採用することができる。例えば、限定ではなく、行動行為は、低電力レベルの検出に応答して、タスクの処理を中止すること、および再充電ステーションを探すこととしてもよい。
【００６０】
基本システム・インターフェース３１８は、環境データ収集システム３２０とその他のコンポーネントとの間において給電およびデータ通信を行う。例示的な一例では、基本システム・インターフェース３１８を用いて、複数のカメラ３３０によって撮影した画像を環境データ収集システム３２０からプロセッサ・ユニット３０２に転送することができる。
【００６１】
図３におけるナビゲーション・システム３００の図示は、異なる有利な実施形態を実現することができる態様に対して、物理的または構造的限定を暗示することを意味するのではない。図示したコンポーネントに加えておよび／またはこれらに代わって他のコンポーネントを用いることもできる。有利な実施形態によっては、一部のコンポーネントが不要な場合もある。または、ブロックは一部の機能的コンポーネントを例示するために示されている。異なる有利な実施形態において実現するときには、これらのブロックの１つ以上を組み合わせること、および／または異なるブロックに分割することもできる。
【００６２】
例えば、例示的な一実施形態では、環境センサ・システム３３２を、ナビゲーション・システム３００のセンサ・システム３１２と統合することもできる。別の例示的な実施形態では、環境データ収集システム３２０をナビゲーション・システム３００のプロセッサ・ユニット３０２と統合することもできる。
【００６３】
更に別の例示的な実施形態では、視覚システム３２８は、環境センサ・システム３３２とは別個のコンポーネントであってもよく、例えば、基本システム・インターフェース３１８を用いて、プロセッサ・ユニット３０２および／または環境データ収集システム３２０と相互作用することもできる。更に別の例示的な例では、複数のデータベース３２４をナビゲーション・システム３００から離れて配置し、通信システム３０４を用いて環境データ収集システム３２０がアクセスするようにしてもよい。
【００６４】
図４は、例示的な一実施形態による可動システムのブロック図である。可動システム４００は、図３における可動システム３１０の一実施態様の一例である。
可動システム４００は、図３におけるナビゲーション・システム３００のような、ナビゲーション・システムと関連のある自律車両に移動可能性を与える。可動システム４００は、種々の形態をなすことができる。可動システム４００は、例えば、限定ではなく、推進システム４０２、操舵システム４０４、制動システム４０６、および複数の可動コンポーネント４０８を含むことができる。これらの例では、推進システム４０２は、図３におけるナビゲーション・システム３００のようなナビゲーション・システムからのコマンドに応答して、図１における自律車両１０４のような自律車両を推進させるまたは移動させることができる。
【００６５】
推進システム４０２は、ナビゲーション・システムのプロセッサ・ユニットから受け取った命令に応答して、自律車両が移動する速度を維持または上昇させることができる。推進システム４０２は、電気制御推進システムとすることができる。推進システム４０２は、例えば、限定ではなく、内燃エンジン、内燃エンジン／電気混成システム、電気エンジン(electric engine)、または何らかのその他の適した推進システムとすることができる。例示的な一例では、推進システム４０２は車輪駆動モータ４１０を含むことができる。車輪駆動モータ４１０は、車輪のような可動コンポーネントに組み込まれている電気モータとすることができ、可動コンポーネントを直接駆動する。例示的な一実施形態では、車輪駆動モータ４１０を差動的に制御することによって、操舵を行うこともできる。
【００６６】
操舵システム４０４は、ナビゲーション・システムのプロセッサ・ユニットから受け取ったコマンドに応答して、自律車両の方向または操舵を制御する。操舵システム４０４は、例えば、限定ではなく、電気制御油圧操舵システム、電気駆動ラックおよびピニオン操舵システム、差動操舵システム、または何らかのその他の適した操舵システムとすることができる。例示的な一例では、操舵システム４０４は、複数の可動コンポーネント４０８を制御するように構成された専用車輪を含むことができる。
【００６７】
制動システム４０６は、ナビゲーション・システムのプロセッサ・ユニットから受け取ったコマンドに応答して、自律車両を減速および／または停止させることができる。制動システム４０６は、電気制御制動システムとすることができる。この制動システムは、例えば、限定ではなく、油圧制動システム、摩擦制動システム、車輪駆動モータ４１０を用いた再生制動システム、または電気的に制御することができる何らかの他の適した制動システムとすることができる。例示的な一例では、ナビゲーション・システムは、図１における手動制御デバイス１１０のような外部コントローラからコマンドを受け取り、緊急停止装置を活性化させることができる。ナビゲーション・システムは、コマンドを可動システム４００に送り、制動システム４０６を制御して、この例示的な例では、緊急停止を実行することができる。
【００６８】
複数の可動コンポーネント４０８は、ナビゲーション・システムのプロセッサ・ユニットから受け取り、推進システム４０２、操舵システム４０４、および制動システム４０６によって実行する命令に応答して、複数の方向および／または位置に移動する能力を、自律車両に設ける。複数の可動コンポーネント４０８は、例えば、限定ではなく、車輪、トラック(tracks)、フィート(feet)、ロータ、プロペラ、翼、および／またはその他の適したコンポーネントとすることができる。
【００６９】
図４における可動システム４００の図示は、異なる有利な実施形態を実現することができる態様に対して、物理的または構造的限定を暗示することを意味するのではない。図示したコンポーネントに加えておよび／またはこれらに代わって他のコンポーネントを用いることもできる。有利な実施形態によっては、一部のコンポーネントが不要な場合もある。または、ブロックは一部の機能的コンポーネントを例示するために示されている。異なる有利な実施形態において実現するときには、これらのブロックの１つ以上を組み合わせること、および／または異なるブロックに分割することもできる。
【００７０】
図５は、例示的な一実施形態によるセンサ・システムのブロック図である。センサ・システム５００は、図３におけるセンサ・システム３１２の一実施態様の一例である。
センサ・システム５００は、センサ・データを収集し、図３におけるナビゲーション・システム３００のような、ナビゲーション・システムのプロセッサ・ユニットにセンサ・データを送信するために複数のセンサ・システムを含む。センサ・システム５００は、障害物検出システム５０２、周辺検出システム５０４、および推測航法システム５０６を含む。
【００７１】
障害物検出システム５０２は、限定ではなく、複数のコンタクト・スイッチ５０８および超音波変換器５１０を含むことができる。複数のコンタクト・スイッチ５０８は、例えば、図１における作業現場環境１００のような環境における自律車両の外部物体との接触を検出する。複数のコンタクト・スイッチ５０８は、例えば、限定ではなく、バンパ・スイッチを含むことができる。超音波変換器５１０は、高周波音波を発生し、戻ってくるエコーを評価する。超音波変換器５１０は、信号、即ち、高周波音波を送ってからエコーを受信するまでの時間間隔を計算して、物体までの距離を決定する。
【００７２】
周辺検出システム５０４は、図１における作業現場１１６のような作業現場の周辺または境界線を検出し、周辺検出についての情報を、ナビゲーション・システムのプロセッサ・ユニットに送る。周辺検出システム５０４は、限定ではなく、受信機５１２および赤外線検出器５１４を含むことができる。受信機５１２は、例えば、図１における作業現場１１６のような、作業現場の周辺を規定するワイヤによって発することができる電気信号を検出する。赤外線検出器５１４は、例えば、図１における作業現場１１６のような、作業現場の周辺に沿って赤外線光源によって放出することができる赤外線光を検出する。
【００７３】
例示的な一例では、受信機５１２は、周辺ワイヤからの電気信号を検出し、その検出した信号についての情報を、図３におけるナビゲーション・システム３００のような、ナビゲーション・システムのプロセッサ・ユニットに送ることができる。次いで、ナビゲーション・システムは、図４における可動システム４００のような、可動システムにコマンドを送り、この例示的な例では、ナビゲーション・システムと関連のある自律車両の方向または行程を変更することができる。
【００７４】
推測航法システム５０６は、ナビゲーション・システムと関連のある自律車両の現在地を推定する。推測航法システム５０６は、既に決定されている位置、ならびに経過時間および行程において、既知の速度または推定速度についての情報に基づいて、現在地を推定する。推測航法システム５０６は、限定ではなく、オドメータ５１６、コンパス５１８、および加速度計５２０を含むことができる。オドメータ５１６は、図１における自律車両１０４のような機械が走行した距離を示すために用いられる電子または機械的デバイスである。コンパス５１８は、地球の磁極に対する位置または方向を決定するために用いられるデバイスである。加速度計５２０は、自由落下に対してそれが受けた加速度を測定する。
【００７５】
図５におけるセンサ・システム５００の図示は、異なる有利な実施形態を実現することができる態様に対して、物理的または構造的限定を暗示することを意味するのではない。図示したコンポーネントに加えておよび／またはこれらに代わって他のコンポーネントを用いることもできる。有利な実施形態によっては、一部のコンポーネントが不要な場合もある。または、ブロックは一部の機能的コンポーネントを例示するために示されている。異なる有利な実施形態において実現するときには、これらのブロックの１つ以上を組み合わせること、および／または異なるブロックに分割することもできる。
【００７６】
図６は、例示的な一実施形態による行動データベースのブロック図である。行動データベース６００は、図３における行動データベース３０６の一実施態様の一例である。
行動データベース６００は、図３における可動システム３１０を制御するときに、ナビゲーション・システム３００の車両制御プロセス３３８が利用することができる複数の行動行為を含む。行動データベース６００は、限定ではなく、基本的車両行動６０２、エリア・カバレッジ行動６０４、周辺行動６０６、障害物回避行動６０８、手動制御行動６１０、給電行動６１２、および／または自律車両のための任意のその他の適した行動を含むことができる。
【００７７】
基本車両行動６０２は、自律車両が実行することができる複数の基本タスクについて行為を規定する。基本車両行動６０２は、限定ではなく、芝刈り、清掃(vacuuming)、床磨き、落ち葉掃除、除雪、散水、噴霧、セキュリティ、および／または任意のその他の適したタスクを含むことができる。
【００７８】
エリア・カバレッジ行動６０４は、基本車両行動６０２を実行するときにエリア・カバレッジについて行為を規定する。エリア・カバレッジ行動６０４は、限定ではなく、区域分解行動、り耕体(boustrouphadon)エリア・カバレッジ行動、螺旋形エリア・カバレッジ行動、カスタム化経路計画、および／または任意のその他の適したエリア・カバレッジ行動を含むことができる。区域分解行動は、例えば、限定ではなく、円弧追従(follow arc)行動、二点間行動、および／または任意のその他の適した行動を含むことができる。
【００７９】
周辺行動６０６は、図５における周辺検出システム５０４によるというような、周辺検出に応答したナビゲーション・システムについての行為を規定する。例示的な一例では、周辺行動６０６は、限定ではなく、周辺追従、進行方向変更、および／または任意のその他の適した行動を含むことができる。進行方向変更は、例えば、周辺の内部に留まるために、ある角度だけ自律車両の進行方向を変更するように動作することができる。周辺追従は、予め定められた距離だけ自律車両を周辺に平行に移動させるように動作することができる。予め定められた距離は、例えば、自律車両の幅から誤差量を減算した値に等しくすることができる。
【００８０】
障害物回避行動６０８は、ナビゲーション・システムが自律車両周囲の環境における物体との衝突を回避するための行為を規定する。例示的な一例では、障害物回避行動６０８は、限定ではなく、障害物周回、逆方向および進行方向変更、および／または任意のその他の適した行動を含むことができる。障害物周回は、例えば、障害物周囲にある全エリアにおいてタスクを実行するために、自律車両を障害物の回りで誘導して、元の経路に沿ってまたは障害物全体の周囲を進行するように動作することができる。逆方向および進行方向変更は、図５における障害物検出システム５０２のような障害物検出システムによって検出された物体を回避するために、前方に移動する前に自律車両の方向を逆転し、ある角度だけ進行方向を変更するように動作することができる。
【００８１】
手動制御行動６１０は、ナビゲーション・システムが、自律性をディスエーブルし、例えば、図１におけるユーザ１０８のようなユーザからの運動制御を採用するための行為を規定する。給電行為６１２は、ナビゲーション・システムが、図３における電源３１４のような電源において検出した電力レベルに応答して、複数の措置を講ずるための行為を規定する。例示的な一実施形態では、給電行動６１２は、限定ではなく、自律車両のタスク処理を停止し、自律車両のために追加電力または電力再充電を探し出すことを含むことができる。
【００８２】
図６における行動データベース６００の図示は、異なる有利な実施形態を実現することができる態様に対して、物理的または構造的限定を暗示することを意味するのではない。図示したコンポーネントに加えておよび／またはこれらに代わって他のコンポーネントを用いることもできる。有利な実施形態によっては、一部のコンポーネントが不要な場合もある。または、ブロックは一部の機能的コンポーネントを例示するために示されている。異なる有利な実施形態において実現するときには、これらのブロックの１つ以上を組み合わせること、および／または異なるブロックに分割することもできる。
【００８３】
図７は、例示的な一実施形態による作業現場データベースのブロック図である。作業現場データベース７００は、図３における作業現場データベース３０８の一実施態様の一例である。
【００８４】
作業現場データベース７００は、経路を計画するときおよび／または図３における可動システム３１０を制御するときに、ナビゲーション・システム３００のプロセッサ・ユニット３０２が利用することができる複数のデータベースを含む。作業現場データベース７００は、限定ではなく、地図データベース７０２、ランドマーク・データベース７０４、および／または自律車両についての情報の任意のその他の適したデータベースを含むことができる。
【００８５】
地図データベース７０２は、複数の作業現場地図７０６を含む。複数の作業現場地図７０６は、例えば、図１における複数の作業現場１０６に対応することができる。例示的な一実施形態では、複数の作業現場地図７０６は、ネットワーク１０１を用いて図１におけるバック・オフィス１０２のような遠隔地から地図データベース７０２にロードすることができる。別の例示的な実施形態では、複数の作業現場地図７０６は、図１において作業現場特徴識別システム１０３によって更新された後に、地図データベース７０２に格納することもできる。更に別の例示的な実施形態では、例えば、基本システム・インターフェース３１８を通じて図１のユーザ１０８のようなユーザ、および／または図３における通信ユニット３０４によって、複数の作業現場地図７０６を地図データベース７０２にロードすることもできる。
【００８６】
ランドマーク・データベース７０４は、ランドマーク画像および定義７０８、ならびに位置情報７１０を含むことができる。ランドマーク画像および定義７０８は、例えば、図１における作業現場１１６の中にある複数のランドマーク１２２のような作業現場の中にある複数のランドマークを識別することができる。位置情報７１０は、ランドマーク画像において識別された各ランドマーク、および作業現場内における位置に対する定義７０８を識別する。位置情報７１０は、例えば、地図データベース７０２に格納されている複数の作業現場地図７０６と関連付けることもできる。
【００８７】
例示的な一例では、ランドマーク・データベース７０４は、作業現場特徴識別システム１０３によって、図１における環境データ収集システム１１４によって検出された環境データを用いて、自動的に更新することができる。別の例示的な例では、ランドマーク・データベース７０４は、図１における環境データ収集システム１１４から作業現場特徴データを受け取った後に、図１におけるユーザ１０８のようなユーザによって更新することもできる。
【００８８】
図７における作業現場データベース７００の図示は、異なる有利な実施形態を実現することができる態様に対して、物理的限定またはアーキテクチャの限定を暗示することを意味するのではない。図示したコンポーネントに加えておよび／またはこれらに代わって他のコンポーネントを用いることもできる。有利な実施形態によっては、一部のコンポーネントが不要な場合もある。または、ブロックは一部の機能的コンポーネントを例示するために示されている。異なる有利な実施形態において実現するときには、これらのブロックの１つ以上を組み合わせること、および／または異なるブロックに分割することもできる。
【００８９】
これより図８を参照すると、例示的な一実施形態による作業現場地図のブロック図が示されている。作業現場地図８００は、図３における環境データ収集システムの環境センサ・システム３２２の一実施態様の一例とすることができる。
【００９０】
図示のように、環境センサ・システム８００は、例えば、限定ではなく、汎地球測位システム８０２、構造化光センサ８０４、二次元／三次元レーザ・レーダ８０６、推測航法システム８０８、レーダ８１０、超音波ソナー８１２、無線周波数識別リーダ（ＲＦＩＤ）８１４、雨センサ８１６、周囲光センサ８１８、および視覚システム８２０を含むことができる。これらの異なるセンサは、図１における自律車両１０４のような、自律車両周囲の環境を識別するために用いることができる。例えば、これらのセンサｓは、作業現場１１６における複数の作業現場特徴１２０というような、自律車両周囲の作業現場環境において作業現場特徴を検出するために用いることができる。別の例では、これらのセンサは、環境における動的状態を検出するために用いることができる。動的状態とは、例えば、限定ではなく、風速、風向、降雨量、温度、および／または作業現場環境における任意のその他の状態とすることができる。
【００９１】
汎地球測位システム８０２は、作業現場環境における他の物体に対する自律車両の位置を特定することができる。汎地球測位システム８０２は、信号強度および／または飛行時間に基づく、任意のタイプの無線周波数三角測量方式とすることができる。例には、限定ではなく、汎地球測位システム、Ｇｌｏｎａｓｓ、Ｇａｌｉｌｅｏ、およびセル・タワー相対信号強度が含まれる。位置は、通例、誤差を含む、緯度および経度として報告される。誤差は、電離層状態、衛星コンスタレーション、および植物による信号減衰というような要因に左右される。汎地球測位システム８０２によって検出された位置確認情報は、例えば、作業現場環境内にあるランドマークの位置(position)および局在性(localization)を特定するために用いることができる。
【００９２】
構造化光センサ８０４は、１本以上の線というようなパターンで光を放出し、カメラを通した光の反射を読み取り、この反射を解釈して、環境における物体を検出および測定する。二次元／三次元レーザ・レーダ８０６は、散乱光の特性を測定し、離れた目標の距離および／またはその他の情報を発見する光学遠隔検知技術である。二次元／三次元レーザ・レーダ８０６は、レーザ・パルスをビームとして放出し、次いでこのビームを走査して二次元または三次元距離行列(range matrix)を発生する。距離マトリクスは、パルスの送信と反射信号の検出との間の時間遅延を測定することによって、物体または表面までの距離を判定するために用いられる。
【００９３】
推測航法８０８は、既知の位置から開始し、既知の速度、経過時間、および経路に基づいて、次いで数学的にまたは直接その位置から前進する。この速度に基づく前進は、車両オドメータ、または地上速度レーダを用いて、既知の位置から走行した距離を決定することができる。レーダ８１０は、当技術分野では周知であり、物体までの距離を測定するために飛行時間モードで用いることができ、更に物体の速度を計算するためにドプラー・モードでも用いることができる。レーダ８１０は、電磁波を用いて、移動物体および固定物体双方の距離、高度、方向、または速度を特定する。超音波ソナー８１２は、超音波周波数における音の伝搬を用いて、パルスの送信から受信までの時間を測定し、既知の音速を用いてこの測定値を距離に変換することによって、物体までの距離を測定する。超音波ソナー８１２は、当技術分野では周知であり、レーダ８１０と同様に、飛行時間モードまたはドプラー・モードで用いることができる。無線周波数識別リーダ（ＲＦＩＤ）８１４は、格納されているデータを拠り所とし、無線周波数識別（ＲＦＩＤ）タグまたはトランスポンダと呼ばれるデバイスを用いてデータを引き出す。雨センサ８１６は、自動車両の外面上における降雨量を検出する。周囲光センサ８１８は、作業現場環境における周囲光の量を測定する。
【００９４】
視覚システム８２０は、例えば、限定ではなく、ステレオ視覚システム、非対称視覚システム、スタジアメトリック測距視覚システム(stadiametric ranging vision system)、および／または任意のその他の適した視覚システムとすることができる。視覚システム８２０は、複数のカメラ８２２を含む。複数のカメラ８２２は、例えば、赤外線カメラ、可視光カメラ、カラー・カメラ、白黒カメラ、ディジタル・カメラ、および／または任意のその他の適したカメラを含む、任意のタイプのカメラとすることができる。赤外線カメラは、無生物物体に対して生体を示す熱を検出する。また、赤外線カメラは、赤外線放射線を用いて画像を形成することもできる。可視光カメラは、標準的な静止画カメラとすればよく、色情報のために単体で用いたり、あるいは第２カメラと共にステレオ画像または三次元画像を発生するために用いることもできる。可視光カメラを第２カメラと共に用いてステレオ画像を発生する場合、２つ以上のカメラを異なる露出設定値に設定すると、ある範囲の照明条件において、性能向上を実現することができる。また、可視光カメラは、動画を撮影し記録するビデオ・カメラであってもよい。複数のカメラ８２２は、複数の画像８２４を撮影する。複数の画像８２４は、図３における環境データ収集システム３２０が作業現場についての環境データを発生するために用いることができる。また、複数の画像８２４は、図１における作業現場特徴識別システム１０３が、環境センサ・システム８００によって作業現場において検出された作業現場の特徴を自動的に識別するためにも用いることができる。
【００９５】
環境センサ・システム８００は、前述のセンサの１つ以上から環境データを引き出して、環境の異なる観点を得ることができる。例えば、環境センサ・システム８００は、視覚システム８２０から視覚データを得ることができ、二次元／三次元レーザ・レーダ８０６から環境における物体に対する車両の距離についてのデータを得ることができ、更に汎地球測位システム８０２から地図に対する車両の位置データを得ることができる。
【００９６】
図８における環境センサ・システム８００の図示は、異なる有利な実施形態を実現することができる態様に対して、物理的または構造的限定を暗示することを意味するのではない。図示したコンポーネントに加えておよび／またはこれらに代わって他のコンポーネントを用いることもできる。有利な実施形態によっては、一部のコンポーネントが不要な場合もある。または、ブロックは一部の機能的コンポーネントを例示するために示されている。異なる有利な実施形態において実現するときには、これらのブロックの１つ以上を組み合わせること、および／または異なるブロックに分割することもできる。
【００９７】
これより図９を参照すると、例示的な一実施形態による作業現場特徴識別システムのブロック図が示されている。作業現場特徴識別システム９００は、図１における作業現場特徴識別システム１０３の一実施態様の例示的な一例である。
【００９８】
作業現場特徴識別システム９００は、作業現場特徴データベース９０２、データ分類プロセス９０４、およびユーザ・インターフェース９０６を含む。作業現場特徴データベース９０２は、複数の候補物体９０８、物体プロパティ(property)９１０、複数の識別された物体９１２、複数の確認された物体９１４、複数の作業現場地図９１６、および複数の画像９１７を含む。複数の候補物体９０８は、位置的安定性を有する物体および／または、例えば、位置確認およびナビゲーションにおいて用いるためのランドマークとして適している物体のリストとすることができる。複数の候補物体９０８は、例えば、限定ではなく、コンクリート・スラブ、花壇、壁、壁柱、旗棒、樹木の幹、電柱、付属建築物、家、庭園構造、および／または位置的安定性のある任意のその他の適した物体を含むことができる。
【００９９】
また、複数の候補物体９０８は、複数の物体９０８における候補物体の各々と関連のある物体属性９０７も含むことができる。物体属性９０７は、候補物体の特性についての情報であり、限定ではなく、色、表面模様、形状、寸法の比率、および／または任意のその他の適した特性等である。複数の候補物体９０８における各物体には、この例では、物体属性９０７における１つ以上の属性を関連付けることができる。物体属性９０７における色についての情報は、例えば、色相、彩度、ならびに値（ＨＳＶ）色空間または色相、彩度、および明度（ＨＳＬ）色空間というような、ＲＧＢカラー・モードにおいて点を表すための色空間を規定することができる。物体属性９０７における表面模様についての情報は、例えば、粗いから滑らかまでの表面模様の規模(scale)と関連付けられた数値で表すことができる。物体属性９０７における形状についての情報は、例えば、凸状、凹状、平坦、多面カット状(mutifaceted)、および／または任意のその他の適した形状基準というような基準を含むことができる。物体属性９０７における高さの比率についての情報は、例えば、高さ対幅の比率と関連付けられた数値で表すことができる。
【０１００】
物体プロパティ９１０は、複数の候補物体９０８と関連のあるプロパティのリストを含む。物体プロパティ９１０は、例えば、限定ではなく、自律車両による走行可能性(traversability)、自律車両による非走行可能性、季節的変化、物質成分、および／または任意のその他の適した物体プロパティを含むことができる。物体プロパティ９１０は、例えば、図１における自律車両１０４にような自律車両の物理的行動に対して実世界効果を有する複数の候補物体９０８の属性である。例示的な一例では、複数の候補物体９０８は、自律車両による走行可能性の物体プロパティと関連のあるコンクリート・スラブを含むことができ、作業現場内において複数のタスクを実行している間にこのコンクリート・スラブを乗り越える際に、自律車両の物理的行動が生ずる。別の例示的な例では、複数の候補物体９０８は、自律車両による非走行可能性の物体プロパティと関連のある花壇を含むことができ、作業現場において複数のタスクを実行している間にこの花壇を避けるおよび／または迂回する自律車両の物理的行動が生ずる。更に別の例示的な例では、物体プロパティ９１０は、自律車両の動作命令と関連付けることもできる。この例では、複数の候補物体９０８は、非走行可能性の物体プロパティおよび「ぶつかるな」という動作命令と関連のある樹木を含むことができる。
【０１０１】
また、作業現場地図において識別された作業現場特徴と関連のある物体プロパティ９１０は、ナビゲーション・システム３００のようなナビゲーション・システムが、作業現場内において自律車両行動および経路計画を計画する際に用いることもできる。自律車両の実世界行動は、作業現場環境において識別された複数の候補物体９０８と関連のある物体プロパティ９１０による影響を受ける。
【０１０２】
複数の識別された物体９１２は、物体識別と関連のある物体プロパティ、記述、および画像を含むことができる。複数の識別された物体９１２は、データ分類プロセス９０４によって自動的に識別された作業現場の特徴を表す。例示的な一例では、複数の識別された物体９１２は、色が茶色で表面模様が粗いという物体属性、および非走行可能性という物体プロパティを有する、円筒形で、狭い、垂直構造の物体を含むことができる。この例では、この物体は、データ分類プロセス９０４によって「樹木の幹」と識別することができる。
【０１０３】
複数の確認された物体９１４は、例えば、図１におけるユーザ１０８のようなユーザによって既に確認されている物体識別と関連のある物体プロパティ、記述、および／または画像を含むことができる。例示的な一例では、データ分類プロセス９０４は、色が茶色で表面模様が粗いという物体属性、および非走行可能性という物体プロパティを有する、円筒形で、狭い、垂直構造の画像を、自動的に「樹木の幹」と識別することができる。ユーザは、ユーザ入力９１８をユーザ・インターフェース９０６を通じて供給して、この自動識別を確認することができ、データ分類プロセス９０４は、確認された物体識別およびプロパティを、複数の確認された物体９１４に格納することができる。また、複数の確認された物体９１４は、例えば、物体の直径または大きさというような、ユーザ入力９１８を通じてユーザによって追加された追加情報も含むことができる。この追加情報は、データ分類プロセス９０４が、例えば、倍率調整した作業現場地図を作成するために用いることができる。
【０１０４】
複数の作業現場地図９１６は、データ分類プロセス９０４によって作成され、例えば、図３におけるナビゲーション・システム３００のような自律車両のナビゲーション・システムによる経路計画において用いるために、作業現場特徴データベース９０２に格納される。
【０１０５】
複数の画像９１７は、予め発生されている作業現場の画像データ、格納されている作業現場の画像、バック・オフィスからユーザにダウンロードされた作業現場の画像、および／または任意のその他の適した画像とすることができる。複数の画像９１７は、例示的な一例では、画像分析プロセス９２２が画像データ９２４を分析し、作業現場の特徴を識別するために用いることができる。
【０１０６】
データ分類プロセス９０４は、画像分析プロセス９２２を含む。データ分類プロセス９０４は、画像データ９２４および／または環境データ９２６を、図３における環境データ収集システム３２０から受け取ることができる。画像データ９２４は、例えば、図３における視覚システム３２８から直接送信された複数の画像とすることができる。環境データ９２６は、例えば、図３における環境データ発生器３２６によって発生された、作業現場環境についての画像および関連する環境データを含むことができる。
【０１０７】
画像分析プロセス９２２は、画像データ９２４および／または環境データ９２６を分析し、作業現場特徴データベース９０２を用いて、複数の物体識別９２８を発生する。また、画像分析プロセス９２２は、画像データ９２４および／または環境データ９２６を、作業現場特徴データベース９０２における複数の画像９１７と比較して、複数の画像９１７のうち少なくとも２つの画像間における共通の特徴を識別することができる。
【０１０８】
データ分類プロセス９０４は、画像シーケンサ９３０を含む。画像シーケンサ９３０は、画像データ９２４および／または環境データ９２６から受け取った作業現場の複数の画像を分析して、編集画像９３１を発生する。編集画像９３１は、画像において撮影された物体の点群による、作業現場の複数の画像の三次元モデルである。画像シーケンサ９３０は、当技術分野では周知であるパターン認識アルゴリズムを用いて、画像の部分同士を比較して、点を作成する。次いで、画像シーケンサ９３０は、これらの点を比較して、画像をモデルに変換する。画像シーケンサ９３０は、複数の三次元モデル９３２を編集画像９３１から抽出する。複数の三次元モデル９３２は、画像における複数の物体の三次元モデルである。例示的な一例では、画像シーケンサ９３０は、樹木のような、中心的物体の三次元モデルを編集画像９３１から抽出することができる。
【０１０９】
画像分析プロセス９２２は、複数の三次元モデル９３２の物体属性９３４を識別する。物体属性９３４とは、例えば、限定ではなく、色、表面模様、形状、寸法の比率、および／または任意のその他の適した特性というような、物体の物理的特性である。画像分析プロセス９２２は、複数の候補物体９０８における情報を用いて、候補物体と関連のある物体属性９０７のような複数の物体識別９２８を発生する。画像分析プロセス９２２は、複数の候補物体９０８を詳しく考察し、複数の三次元モデル９３２について識別された物体属性９３４を用いて、一致の確度に基づいて候補物体を選択することができる。
【０１１０】
例示的な一例では、複数の三次元モデル９３２が、狭い、垂直、円筒形、茶色、および粗い表面模様の物体属性９３４を有する場合、画像分析プロセス９２２は、複数の候補物体９０８のうち、複数の候補物体９０８における物体の選択から、共有する属性を最も多く有する候補物体を特定することができる。この例示的な例では、候補物体である柱９３６には、狭い、垂直、円筒形、および茶色の物体属性９０７を関連付けることができ、一方候補物体である樹木の幹９３８には、狭い、垂直、円筒形、茶色、および粗い表面模様の物体属性９０７を関連付けることができる。この例示的な例では、候補物体である樹木の幹９３８が、物体属性９３４および物体属性９０７間において、最も多い数の共有属性を有し、一致の最大確度に基づいて、画像分析プロセス９２２によって物体識別として選択される。
【０１１１】
画像データ９２４は、画像における作業現場の特徴と関連のあるスケーリング情報９４０を含むことができる。例示的な一例では、スケーリング情報９４０は、例えば、画像が自律車両の視覚システムによって撮影された時点における、自律車両に対する物体についての情報とすることができる。別の例示的な例では、スケーリング情報９４０は、例えば、カメラが人間によって操作される場合における、画像撮影時におけるカメラの位置に対する物体についての情報とすることができる。スケーリング情報９４０は、画像における物体の倍率(scale)またはサイズを決定するために用いられる。例えば、スケーリング情報９４０は、画像を撮影したときの自律車両の位置についての情報、自律車両の視覚システムの複数のカメラの有利な地点(vantage point)、自律車両のレーザ・レーダ・センサの走査角度、物体の自律車両からの距離、および／または任意のその他の適した情報を含むことができる。樹木の幹の例示的な例では、画像分析プロセス９２２によって、スケーリング情報９４０を用いて、この樹木の幹の直径を計算すると、例えば、外形形状を求めることができる。
【０１１２】
データ分類プロセス９０４は、作業現場特徴データベース９０２に格納される複数の作業現場地図９１６を作成する。複数の作業現場地図９１６は、標識が付けられた作業現場地図であり、作業現場において自律車両の実世界、物理的動作に影響を及ぼす物体プロパティと関連のある、複数の識別された物体を有する。複数の作業現場地図９１６は、例えば、ナビゲーション・システム３００のようなナビゲーション・システムによる位置確認および経路計画に用いられる。
【０１１３】
オプションとして、データ分類プロセス９０４は、例えば、画像または環境データにおける作業現場の特徴の自動識別の確認のために、ユーザ・インターフェース９０６を通じて複数の物体識別９２８をユーザに送ることができる。ユーザは、自動識別を確認すること、および／または追加のプロパティまたは動作命令を識別することができる。確認された識別は、例えば、複数の確認された物体９１４に格納することができる。
【０１１４】
図９における作業現場特徴識別システム９００の図示は、異なる有利な実施形態を実現することができる態様に対して、物理的または構造的限定を暗示することを意味するのではない。図示したコンポーネントに加えておよび／またはこれらに代わって他のコンポーネントを用いることもできる。有利な実施形態によっては、一部のコンポーネントが不要な場合もある。または、ブロックは一部の機能的コンポーネントを例示するために示されている。異なる有利な実施形態において実現するときには、これらのブロックの１つ以上を組み合わせること、および／または異なるブロックに分割することもできる。
【０１１５】
これより図１０を参照すると、例示的な実施形態による画像のブロック図が示されている。画像１０００は、図８における複数の画像８２４および／または図９における編集画像９３１の一実施態様の例示的な一例である。
【０１１６】
例示的な一例では、画像１０００は、図９における画像シーケンサ９３０のような画像シーケンサによって、例えば、図３における視覚システム３２８のような視覚システムによって撮影された複数の画像を用いて編集することができる。画像シーケンサ９３０は、図９における複数の三次元モデル９３２のような三次元モデルを画像１０００から抽出することができる。この例示的な例では、画像１０００の中心的物体は物体Ａ１００２である。物体Ａ１００２は、図９におけるユーザ・インターフェース９０６を用いて確認のために表示されたときに、画像シーケンサ９３０によって抽出し、画像１０００上において赤で輪郭を示すことができる。画像分析プロセス９２２は、物体Ａ１００２について物体属性を識別する。この例では、物体Ａ１００２についての物体属性は、狭い、垂直、円筒状、茶色、および粗い表面模様であると言うことができる。キー１００１は、抽出された三次元特徴の輪郭を示すために用いられた色の識別を行う。
【０１１７】
画像分析プロセス９２２は、物体Ａ１００２を画像１０００における樹木１００４として識別する、または標識を付ける。この識別は、図９における作業現場特徴データベース９０２のような作業現場データベースを用いて判定することができる。例えば、画像分析プロセス９２２は、複数の候補物体９０８を詳しく考察して、候補物体と物体Ａ１００２との間において最も近い特性の一致を特定することができる。物体Ａ１００２が樹木１００４として識別された場合、樹木と関連のある物体プロパティが、物体Ａ１００２と関連付けられる。画像分析プロセス９２２は、例えば、複数の物体プロパティまたは作業特徴データベース９０２において、関連のあるプロパティを識別することができる。樹木と関連のある物体プロパティは、例えば、非走行可能性、または「ぶつかるな」という動作命令とすることができる。
【０１１８】
画像シーケンサ９３０は、例えば、図９におけるユーザ・インターフェース９０６を用いて確認のために画像１０００が表示されたときに、画像１０００において物体Ｂ１００６を抽出し、黄色で物体Ｂ１００６の輪郭を示すことができる。画像分析プロセス９２２は、図９における作業現場特徴データベース９０２を用いて、物体Ｂ１００６を草地１００８として識別する、または標識を付ける。草地１００８には、例えば、走行可能性のような物体プロパティを関連付けることができる。この例示的な例では、草地１００８という標識が付けられ走行可能性のプロパティと関連付けられた物体Ｂ１００６は、例えば、作業現場内でタスクを実行するときに、自律車両が草地１００８を横断することを規定することによって、この作業現場における自律車両の物理的動作に影響を及ぼす。
【０１１９】
画像シーケンサ９３０は、例えば、図９におけるユーザ・インターフェース９０６を用いて確認のために画像１０００が表示されたときに、画像１０００において物体Ｃ１０１０を抽出し、白で物体Ｃ１０１０の輪郭を示すことができる。また、画像シーケンサ９３０は、画像において同様の三次元特性を有する複数のその他の物体も識別し、白でこれら複数の他の物体の輪郭を示すこともできる。画像分析プロセス９２２は、物体Ｃを壁柱であると識別し、この識別を、同じ特性を有し抽出された複数の他の物体に伝え、例えば、壁柱１０１２の標識を付けることができる。
【０１２０】
図１０における画像１０００の図示は、異なる有利な実施形態を実現することができる態様に対して、物理的または構造的限定を暗示することを意味するのではない。図示したコンポーネントに加えておよび／またはこれらに代わって他のコンポーネントを用いることもできる。有利な実施形態によっては、一部のコンポーネントが不要な場合もある。または、ブロックは一部の機能的コンポーネントを例示するために示されている。異なる有利な実施形態において実現するときには、これらのブロックの１つ以上を組み合わせること、および／または異なるブロックに分割することもできる。
【０１２１】
これより図１１を参照すると、例示的な実施形態にしたがって画像においてランドマークを識別するプロセスのフローチャートが示されている。図１１におけるプロセスは、例えば、図１における作業現場特徴識別システム１０３のようなコンポーネントによって実現することができる。
【０１２２】
このプロセスが開始すると、作業現場の画像を受け取る（ステップ１１０２）。画像は、例えば、図１における環境データ収集システム１１４のような環境データ収集システムによって撮影することができる。この画像は、作業現場の中にあるランドマーク、物体、およびその他の特徴というような、複数の作業現場の特徴を含むことができる。
【０１２３】
本プロセスは、この画像を分析して、画像において示唆された物体の識別を判定する（ステップ１１０４）。本プロセスは、例えば、図９におけるデータ分類プロセス９０４のようなデータ分類プロセスの画像分析プロセスを用いて、画像を分析することができる。次いで、本プロセスは、物体の示唆された識別を通信ユニットを通じて送る（ステップ１１０６）。示唆された識別は、例えば、図９におけるユーザ・インターフェース９０６のようなユーザ・インターフェースを通じてユーザに送ることができる。ユーザは、この示唆された識別を受け取り、例えば、図９におけるユーザ入力９１８を通じて、この示唆された識別を確認または変更することができる。
【０１２４】
次に、本プロセスは、示唆された識別が確認されたか否か判定する（ステップ１１０８）。示唆された識別が確認されたと判定された場合、本プロセスは、確認された識別を、確認された識別と関連のある複数の属性と共にデータベースに格納し（ステップ１１１０）、本プロセスはその後終了する。
【０１２５】
示唆された識別が確認されていないと判定された場合、本プロセスは、示唆された識別の代わりに、既存の識別クラスが選択されたか否か判定する（ステップ１１１２）。既存の識別クラスとは、図９における作業現場特徴識別システム９００のような作業現場特徴識別システム内において格納されているオブジェクト識別および／または以前作成された任意のオブジェクト識別とすることができる。識別クラスとは、例えば、図９における複数の候補物体９０８のような、任意の物体識別を指すことができる。
【０１２６】
既存の識別クラスが選択されていると判定された場合、本プロセスはステップ１１１０に進み、その後本プロセスは終了する。既存の識別クラスが選択されていないと判定された場合、本プロセスは、新たな識別クラスが作成されたか否か判定する（ステップ１１１４）。新たな識別クラスとは、図９における作業現場特徴識別システム９００のような作業現場特徴識別システム内にあり、現在格納および／または認識されていない任意の物体識別とすることができる。新たな識別クラスは、例えば、図９における複数の候補物体９０８のように、作成すること、および／またはデータベースに格納することができる。
【０１２７】
新たな識別クラスが作成されていないと判定された場合、本プロセスは終了する。新たな識別クラスが作成されていると判定された場合、本プロセスはステップ１１１０に進み、その後本プロセスは終了する。
【０１２８】
本プロセスは、図９における複数の確認された物体９１４のように、確認された識別をデータベースに格納することができる。確認された識別は、例えば、作業現場地図において作業現場のランドマークを識別するために用いることができる。
【０１２９】
これより図１２を参照すると、例示的な実施形態にしたがって作業現場の特徴を識別するプロセスを図示するフローチャートが示されている。図１２におけるプロセスは、例えば、図１における作業現場特徴識別システム１０３のようなコンポーネントによって実現することができる。
【０１３０】
本プロセスが開始すると、複数の作業現場画像を入手する（ステップ１２０２）。これら複数の作業現場画像は、例えば、図３における視覚システム３２８のような視覚システムを用いて入手することができる。図９における画像シーケンサ９３０のような画像シーケンサが、複数の作業現場画像を、例えば、作業現場の編集画像または三次元モデルに編集することができる。本プロセスは、複数の作業現場画像のうち少なくとも２つにおいて共通の特徴を識別する（ステップ１２０４）。この共通の特徴は、例えば、複数の作業現場画像から発生した作業現場の三次元モデルから抽出した三次元物体とすることができる。
【０１３１】
次に、本プロセスは、少なくとも２つの画像において識別された共通の特徴の相対的位置を特定する（ステップ１２０６）。相対的位置とは、例えば、作業現場に対する位置とすればよい。相対的位置を決定するには、例えば、立体写真分析のような、複数の作業現場画像の分析に基づくことができる。別の例示的な例では、共通の特徴の相対的位置は、複数の作業現場画像の編集、および複数の作業現場画像から発生した三次元モデルにおける共通の特徴の位置に基づくことができる。
【０１３２】
次に、本プロセスは、複数の作業現場画像において、１つでも共通の特徴が未だ残っているか否か判定する（ステップ１２０８）。複数の作業現場画像において共通の特徴が残っていると判定された場合、プロセスはステップ１２０４に戻る。複数の作業現場画像において共通の特徴が残っていないと判定された場合、本プロセスは、スケーリング情報が入手可能であるか否か判定する（ステップ１２１０）。
【０１３３】
スケーリング情報が入手可能でないと判定された場合、本プロセスは終了する。スケーリング情報が入手可能であると判定された場合、本プロセスは、このスケーリング情報を作業現場地図に適用して、作業現場についての距離情報を提供し、さらに識別された共通の特徴の大きさを示し（ステップ１２１２）、その後本プロセスは終了する。
【０１３４】
異なる有利な実施形態の記載は、例示および説明を目的として提示したのであって、網羅的であることも、実施形態を開示した形態に限定することを意図するのではない。多くの変更および変容も当業者には明白であろう。更に、異なる実施形態は、他の実施形態と比較して、異なる利点を提供することができる。選択された１つまたは複数の実施形態は、本発明の原理、実用的用途を最良に説明するため、そして当業者が、想定される個々の使用に適するような種々の変更を加えた種々の実施形態について、本発明を理解することが可能となるために、選定し説明したのである。
【技術分野】
【０００１】
本発明は、一般には、ナビゲーション・システムおよび方法に関し、更に特定すれば移動ロボット・ナビゲーション・システムおよび方法に関する。更に一層特定すれば、本開示は、ランドマーク識別のための自動標識付け(tagging)に関する。
【従来技術】
【０００２】
肉体的作業を行うためのロボット・デバイスの使用は、近年増加している。移動ロボット・デバイスは、種々の異なる作業を行うために用いることができる。これらの移動デバイスは、半自動モードまたは完全自動モードで動作することもできる。これらの移動デバイスは、種々の異なるタスクを半自動モードまたは完全自動モードで実行するために、統合ナビゲーション・システムを有することもある。移動ロボット・デバイスは、位置確認およびナビゲーションのために、視覚ランドマークおよび物理的周辺(physical perimeter)を拠り所とすることが多い。三角測量において位置確認およびナビゲーションのために用いられる視覚ランドマークは、永続的なランドマークであって、特定および位置確認できなければならない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
これらの永続的ランドマークは、汎地球測位システムまたは手動測定方法によって正確に調査することはできるが、時間がかかりその上法外に費用がかかることもある。また、移動ロボット・デバイスは、視覚ランドマークを調査するためにも用いることができるが、ランドマークの永続性またはランドマークの位置安定性を識別および区別する能力に欠ける。
【課題を解決するための手段】
【０００４】
異なる例示的な実施形態は、画像においてランドマークを識別する方法を提供する。この画像において示唆された作業現場の特徴の識別を判定するために画像を分析する。作業現場の特徴の示唆された識別を、通信ユニットを通じて送る。確認された識別を形成するために、作業現場の特徴の示唆された識別を受け取る。確認された識別、およびこの確認された識別と関連のある複数の属性を、データベースに格納する。
【０００５】
更に、異なる例示的な実施形態は、画像においてランドマークを識別するシステムを提供する。このシステムは、作業現場特徴データベース、ユーザ・インターフェース、およびデータ処理システムを備えている。データ処理システムは、画像を分析するデータ分類プロセスを実行し、前記作業現場特徴データベースを用いて前記画像において示唆された作業現場の特徴の識別を判定し、前記作業現場の特徴の示唆された識別を通信ユニットを通じて送り、確認された識別を形成するために、前記作業現場の特徴の示唆された識別の確認を受け、前記確認された識別および当該確認された識別と関連のある複数の属性を前記作業現場特徴データベースに格納するように構成されている。
【０００６】
特徴、機能、および利点は、本発明の種々の実施形態において独立して達成することができ、または更に別の実施形態において組み合わせることもできる。実施形態における更なる詳細は、以下の説明および図面を参照することによって確認することができる。
【図面の簡単な説明】
【０００７】
例示的な実施形態の新規な特徴であると確信する特性について、添付した特許請求の範囲に明記する。しかしながら、例示的な実施形態、ならびにその好ましい使用様式、更に別の目的および利点は、以下の本発明の例示的な実施形態の詳細な説明を参照し、添付図面と合わせて読むことによって最良に理解されよう。
【図１】図１は、例示的な実施形態を実現することができる作業現場環境のブロック図である。
【図２】図２は、例示的な実施形態によるデータ処理システムのブロック図である。
【図３】図３は、例示的な実施形態によるナビゲーション・システムのブロック図である。
【図４】図４は、例示的な実施形態による可動システムのブロック図である。
【図５】図５は、例示的な実施形態によるセンサ・システムのブロック図である。
【図６】図６は、例示的な実施形態による行動データベースのブロック図である。
【図７】図７は、例示的な実施形態による作業現場データベースのブロック図である。
【図８】図８は、例示的な実施形態による環境センサ・システムのブロック図である。
【図９】図９は、例示的な実施形態による作業現場特徴識別システムのブロック図である。
【図１０】図１０は、例示的な実施形態による画像のブロック図である。
【図１１】図１１は、例示的な実施形態にしたがって、画像においてランドマークを識別するプロセスを示すフローチャートである。
【図１２】図１２は、例示的な実施形態にしたがって、作業現場の特徴を識別するプロセスを示すフローチャートである。
【発明を実施するための形態】
【０００８】
図面を参照し特に図１を参照すると、例示的な実施形態を実現することができる作業現場環境のブロック図が示されている。作業現場環境１００は、自律車両が動作することができる任意のタイプの作業現場環境とすることができる。例示的な一例では、作業現場環境１００は、構造物、建造物、作業現場、エリア、ヤード、ゴルフ・コース、室内環境、野外環境、異なるエリア、ユーザの要望の変化、および／または任意のその他の適した作業現場環境または作業現場環境の組み合わせとすることもできる。
【０００９】
例示的な一例では、ユーザの必要性の変化は、限定ではなく、ユーザが古い場所から新しい場所に移動し、古い場所の構内とは異なる、新しい場所の構内において自律車両を運転することを含むこともできる。別の例示的な一例として、異なるエリアは、限定ではなく、自律車両を屋内環境および野外環境の双方で運転すること、または自律車両を、例えば、前庭および裏庭において運転することを含むことができる。
【００１０】
作業現場環境１００は、本発明の一実施形態ではネットワーク１０１を含む。この例では、バック・オフィス１０２は、１台のコンピュータまたは分散型計算クラウドとすることができる。バック・オフィス１０２は、物理的なデータベースおよび／または外部データベースへの接続をサポートする。これらのデータベースは、異なる例示的な実施形態でも用いることができる。バック・オフィス１０２は、異なる車両へのデータベースをサポートすること、そしてデータベースからの情報へのオンライン・アクセスを提供することもできる。また、バック・オフィス１０２は、例えば、自律車両１０４のような、車両についての経路計画を提供することもできる。
【００１１】
バック・オフィス１０２は、作業現場特徴識別システム１０３を含む。作業現場特徴識別システム１０３は、複数の作業現場１０６において自動車両１０４によって検出された作業現場の特徴を自動的に識別する。
【００１２】
作業現場環境１００は、自律車両１０４、複数の作業現場１０６、ユーザ１０８、および手動制御デバイス１１０を含むことができる。自律車両１０４は、任意のタイプの自律車両とすることができ、限定ではなく、移動ロボット機械、サービス・ロボット、フィールド・ロボット、ロボット芝刈り機、ロボット除雪機、ロボット落ち葉除去機、ロボット芝給水機、ロボット掃除機、および／またはその他の任意の自律車両を含む。自律車両１０４は、ナビゲーション・システム１１２を含む。
【００１３】
ナビゲーション・システム１１２は、自律車両１０４について移動性(mobility)、位置決め、およびナビゲーションを制御するためのシステムを備える。システムの能力には、例えば、限定ではなく、作業現場のランダムなエリア・カバレッジを実行するための基本可動機能、接触スイッチの障害物回避のための基本障害物回避機能、測地機能のための基本推測航法および／または自律車両１０４のための基本機能の任意のその他の組み合わせというような、基本的な行動を含むことができる。ナビゲーション・システム１１２は、複数の作業現場１１６のような作業現場内において環境データを検出するために用いられる環境データ収集システム１１４を含む。
【００１４】
環境データ収集システム１１４によって検出された環境データは、ランドマークの識別及び位置確認において用いるために、ネットワーク１０１を通じて作業現場特徴識別システム１０３に送ることができる。また、ナビゲーション・システム１１２は、例えば、エリア・カバレッジ・タスクを実行するために、複数の作業現場１０６内において自律車両１０４をナビゲートするための経路計画能力を含むこともできる。複数の作業現場１０６は、作業現場環境１００において、自律車両１０４が動作することができる任意のエリアとすることができる。複数の作業現場１０６における各作業現場には、複数のタスクを関連付けることができる。作業現場１１６は、複数の作業現場１０６における１つの作業現場の例示的な一例である。例えば、例示的な実施形態では、作業現場１１６は、ユーザの住居の裏庭であってもよい。作業現場１１６は、複数の環境データ収集位置１１７および複数のタスク１１８を含む。複数の環境データ収集位置１１７は、環境データ収集システム１１４が、例えば、複数の作業現場１０６内部で環境データを検出することができる任意の位置である。例示的な実施形態では、複数のタスク１１８は、ユーザの住居の裏庭の芝刈りを含むことができる。自律車両１０４は、作業現場１１６内部において複数のタスク１１８を実行するように動作することができる。本明細書において用いる場合、数(number)は１つ以上の項目に言及する。例示的な一例では、複数の作業現場１０６は、限定ではなく、主要な庭および二次的な庭を含むことができる。主要な庭は、複数のタスク１１８が関連付けられている作業現場１１６とすることができる。二次的な庭には、例えば、他の１組のタスクを関連付けることができる。
【００１５】
例示的な一例では、環境データ収集システム１１４を自律車両１０４によって、作業現場１１６内にある複数の環境データ収集位置１１７に移動させることができる。別の例示的な例では、環境データ収集システム１１４は、人間、動物、人間制御車両、および／または任意のその他の適した移動体プラットフォームによって、複数の環境データ収集位置１１７に移動させることができる。
【００１６】
複数の作業現場１０６における各作業現場は、複数の作業現場の特徴を含む場合がある。作業現場１１６は、複数の作業現場の特徴１２０を含む。複数の作業現場の特徴１２０は、任意のタイプの作業現場１１６の視覚的特徴とすることができ、限定ではなく、ランドマーク、植物、構造、野生生物、建物、および／または任意のその他の適した視覚的特徴を含む。複数の作業現場の特徴１２０は、複数のランドマーク１２２および複数のその他の特徴１２４を含むことができる。
【００１７】
複数のランドマーク１２２は、自律車両１０４によって検出することができる任意のタイプの特徴(feature)とすることができる。例示的な一例では、複数のランドマーク１２２は、限定ではなく、円筒形ランドマーク、有色ランドマーク、パターンを付けたランドマーク、照明付きランドマーク、垂直ランドマーク、自然ランドマーク、以上の任意の組み合わせ、および／または他の任意の適したランドマークを含むことができる。パターンを付けたランドマークは、例えば、別個の情報を提供するために組み込まれた視覚的パターンを含むことができる。照明付けランドマークは、例えば、夜間のような、光が少ない状況または光のない状況において、視覚的検出に備えることができる。自然ランドマークは、例えば、限定ではなく、樹木の幹を含むことができる。他のタイプのランドマークには、例えば、建造物、建築構造、道路、歩道、曲がり角、壁、および／またはその他の任意の適したランドマークを含むことができる。
【００１８】
複数のその他の特徴１２４は、ランドマークとしては不適切な、任意のタイプの作業現場１１６の視覚的特徴である。例えば、複数のその他の特徴１２４は、限定ではなく、グランド・カバー、植木鉢、および／または任意のその他のタイプの非永続的物体を含むことができる。非永続的物体とは、例えば、限定ではなく、中庭の家具であってもよい。
【００１９】
ユーザ１０８は、限定ではなく、人間の操作者、ロボット・オペレータ、またはその他の何らかの外部システムとすることができる。手動制御デバイス１１０は、ユーザ１０８が自律行動を無効にして自律車両１０４および／または作業現場後口調識別システム１０３を制御することを可能にする、任意のタイプの手動コントローラとすることができる。手動制御デバイス１１０は、ユーザ１０８が、例えば、自動識別の確認のような入力を作業現場特徴識別システム１０３に供給するためのユーザ・インターフェースを設けることもできる。例示的な一例では、ユーザ１０８は、手動制御デバイス１１０を用いて、複数のタスク１１８を実行するためおよび／または複数の作業現場の特徴１２０を識別するために、作業現場１１６内において自律車両１０４の移動を制御することができる。別の例示的な例では、ユーザ１０８は、手動制御デバイス１１０を用いて、作業現場特徴識別システム１０３による複数の作業現場の特徴１２０の自動識別を確認することもできる。
【００２０】
図１における作業現場環境１００の図示は、異なる有利な実施形態を実現することができる態様に対して、物理的または構造的限定を暗示することを意味するのではない。図示したコンポーネントに加えておよび／またはこれらに代わって他のコンポーネントを用いることもできる。有利な実施形態によっては、一部のコンポーネントが不要な場合もある。または、ブロックは一部の機能的コンポーネントを例示するために示されている。異なる有利な実施形態において実現するときには、これらのブロックの１つ以上を組み合わせること、および／または異なるブロックに分割することもできる。
【００２１】
例えば、例示的な一実施形態では、作業現場特徴識別システム１０３を自律車両１０４に配置することもできる。この例示的な例では、作業現場特徴識別システム１０３は、複数の作業現場１０６において自律車両１０４によって検出された作業現場の特徴を動的に識別することができる。
【００２２】
異なる例示的な実施形態は、ロボット・ナビゲーションに現在用いられている方法は、多くの場合、非常に原始的なランダム・ナビゲーション・システムを用いていることを認識し、これを考慮に入れている。このランダム・ナビゲーション・システムは、電気信号を伝達するワイヤによって確立された周辺の内部で動作する。現在用いられている方法におけるロボット機械には、電気信号検出器と、バンパ・スイッチとを当該機械の本体に装備することができる。これらの機械は、周辺ワイヤからの信号を検出するまで、または機械の外部物体との接触によってバンパ・スイッチが閉じるまで、ほぼ直線方向に移動する。これらの２つの状況のいずれかが発生すると、これらの機械は方向を変える。このように、現在の方法は、機械を作業エリアの周辺以内に制約し、外部物体との接触後に移動を維持する。
【００２３】
異なる例示的な実施形態は、更に、現在用いられているロボット・ナビゲーション用視覚ナビゲーション・システムは、作業現場内において永続的ランドマークを識別しその位置を確認しなければならないことも認識し、これを考慮に入れている。これらの永続的ランドマークは、現在では汎地球測位システムまたは手動測定方法によって正確に調査することができるが、これらは時間がかかり法外に費用もかかる。更に、視覚的ランドマークを調査するために用いられる現在の移動ロボット・デバイスは、ランドマークの永続性またはランドマークの位置安定性を識別および区別する能力に欠ける。
【００２４】
このため、異なる例示的な実施形態の１つ以上は、画像においてランドマークを識別する方法を提供する。作業現場の画像を受信する。この画像を分析して、当該画像における作業現場の特徴によって示唆された識別(identity)を判定する。作業現場の特徴の示唆された識別は、通信ユニットを通じて送られる。作業現場の特徴の示唆された識別の確認を受けて、確認された識別を形成する。この確認された識別、および当該確認された識別と関連のある属性をデータベースに格納する。
【００２５】
更に、異なる例示的な実施形態は、画像においてランドマークを識別するシステムを提供する。このシステムは、作業現場特徴データベース、ユーザ・インターフェース、およびデータ処理システムを備えている。データ処理システムは、画像を分析し、作業現場特徴データベースを用いてその画像における作業現場の特徴の示唆された識別を判定し、作業現場の特徴の示唆された識別を通信ユニットを通じて送り、作業現場の特徴の示唆された識別の確認を受けて、確認された識別を形成し、この確認された識別、および当該確認された識別と関連のある複数の属性を作業現場特徴データベースに格納するために、データ分類プロセスを実行するように構成されている。
【００２６】
異なる例示的な実施形態は、自動化されたランドマーク検出および標識付けによって、高精度なランドマーク識別および位置確認を可能にするシステムを提供する。
これより図２を参照すると、例示的な一実施形態によるデータ処理システムのブロック図が示されている。データ処理システム２００は、図１におけるバック・オフィス１０２のような、コンピュータの一例であり、その中に、プロセスを実現するコンピュータ使用可能プログラム・コードまたは命令を、この例示的な実施形態のために配置することができる。
【００２７】
この例示的な例では、データ処理システム２００は、プロセッサ・ユニット２０４との間に通信を設ける通信ファブリック２０２、メモリ２０６、永続的ストレージ２０８、通信ユニット２１０、入力／出力（Ｉ／Ｏ）ユニット２１２、およびディスプレイ２１４を含む。
【００２８】
プロセッサ・ユニット２０４は、メモリ２０６にロードすることができるソフトウェアの命令を実行する機能を果たす。プロセッサ・ユニット２０４は、個々の実施態様に応じて、１組の１つ以上のプロセッサであってもよく、またはマルチプロセッサ・コアであってもよい。更に、プロセッサ・ユニット２０４は、１つ以上の異質なプロセッサ・システムを用いて実現することもできる。この場合、主プロセッサが副プロセッサと共に１つのチップ上に存在する。別の例示的な例として、プロセッサ・ユニット２０４は、同じタイプの複数の(multiple)プロセッサを内蔵する対称マルチプロセッサ・システムであってもよい。
【００２９】
メモリ２０６および永続的ストレージ２０８は、記憶デバイス２１６の例である。記憶デバイスは、例えば限定ではなく、データ、機能的形態のプログラム・コード、および／またはその他の適した情報というような情報を、一時的におよび／または永続的に格納することができる任意のハードウェア部である。メモリ２０６は、この例では、例えば、ランダム・アクセス・メモリあるいはその他の任意の適した揮発性または不揮発性記憶デバイスとすることができる。永続的ストレージ２０８は、個々の実施態様に応じて、種々の形態をなすことができる。例えば、永続的ストレージ２０８は、１つ以上のコンポーネントまたはデバイスを内蔵することができる。例えば、永続的ストレージ２０８は、ハード・ドライブ、フラッシュ・メモリ、再書き込み可能な光ディスク、再書き込み可能な磁気テープ、または以上の何らかの組み合わせとすることができる。また、永続的ストレージ２０８によって用いられる媒体は、リムーバブルであってもよい。例えば、リムーバブル・ハード・ドライブを永続的ストレージ２０８に用いることもできる。
【００３０】
通信ユニット２１０は、これらの例では、他のデータ処理システムまたはデバイスとの通信に備える。これらの例では、通信ユニット２１０はネットワーク・インターフェース・カードである。通信ユニット２１０は、物理的およびワイヤレス通信の一方または双方の使用によって、通信を提供することができる。
【００３１】
入力／出力ユニット２１２は、データ処理システム２００に接続することができるその他のデバイスとのデータの入力および出力を可能にする。例えば、入力／出力ユニット２１２は、キーボード、マウス、および／またはその他の適した何らかの入力デバイスを通じて、ユーザ入力のための接続を設けることができる。更に、入力／出力ユニット２１２は、出力をプリンタに送ることができる。ディスプレイ２１４は情報をユーザに表示するメカニズムを備えている。
【００３２】
オペレーティング・システム、アプリケーション、および／またはプログラムの命令は、記憶デバイス２１６に配置することができる。記憶デバイス２１６は、通信ファブリック２０２を通じてプロセッサ・ユニット２０４と通信状態にある。これらの例示的な例では、命令は、永続的ストレージ２０８において機能的形態となっている。これらの命令をメモリ２０６にロードして、プロセッサ・ユニット２０４によって実行することができる。異なる実施形態のプロセスは、プロセッサ・ユニット２０４によって、コンピュータ実装命令を用いて実行することができる。コンピュータ実装命令は、メモリ２０６のようなメモリに配置することができる。
【００３３】
これらの命令は、プログラム・コード、コンピュータ使用可能プログラム・コード、またはコンピュータ読み取り可能プログラムと呼ばれており、プロセッサ・ユニット２０４におけるプロセッサによって読み取り実行することができる。異なる実施形態におけるプログラム・コードは、メモリ２０６または永続的ストレージ２０８のような、異なる物理的または有形コンピュータ読み取り可能媒体において具体化することができる。
【００３４】
プログラム・コード２１８は、機能的形態で、選択的にリムーバブルであるコンピュータ読み取り可能媒体２２０上に配置されており、データ処理システム２００にロードするまたは転送して、プロセッサ・ユニット２０４によって実行することができる。プログラム・コード２１８およびコンピュータ読み取り可能媒体２２０は、これらの例ではコンピュータ・プログラム製品２２２を形成する。一例では、コンピュータ読み取り可能媒体２２０は、永続的ストレージ２０８の一部であるハード・ドライブのような、記憶デバイスへの転送のために例えば、永続的ストレージ２０８の一部であるドライブまたはその他のデバイスに挿入されるまたはその中に置かれる光ディスクまたは磁気ディスクのように、有形形態であることができる。有形形態では、コンピュータ読み取り可能媒体２２０は、データ処理システム２００に接続されているハード・ドライブ、サム・ドライブ(thumb drive)、またはフラッシュ・メモリというような、永続的ストレージの形態をなすこともできる。また、コンピュータ読み取り可能媒体２２０の有形形態は、コンピュータ記録可能記憶媒体とも呼ばれる。実例の中には、コンピュータ読み取り可能媒体２２０がリムーバブルでなくてもよい場合もある。
【００３５】
あるいは、プログラム・コード２１８は、コンピュータ読み取り可能媒体２２０からデータ処理システム２００に、通信ユニット２１０への通信リンクを通じて、および／または入力／出力ユニット２１２への接続を通じて転送することもできる。通信リンクおよび／または接続は、例示的な例では、物理的またはワイヤレスとすることができる。また、コンピュータ読み取り可能媒体は、通信リンクまたはプログラム・コードを含むワイヤレス送信というような、無形媒体の形態をなすこともできる。
【００３６】
例示的な実施形態によっては、プログラム・コード２１８をネットワークを通じて永続的ストレージ２０８に別のデバイスまたはデータ処理システムからダウンロードし、データ処理システム２００内で用いるようにすることもできる。例えば、サーバ・データ処理システムにおいてコンピュータ読み取り可能記憶媒体に格納されているプログラム・コードを、ネットワークを通じてこのサーバからデータ処理システム２００にダウンロードすることができる。プログラム・コード２１８を供給するデータ処理システムは、サーバ・コンピュータ、クライアント・コンピュータ、またはプログラム・コード２１８を格納および送信することができる他の何らかのデバイスであってもよい。
【００３７】
データ処理システム２００について図示した異なるコンポーネントは、異なる実施形態を実現することができる態様に対して構造的限定を規定することを意味するのではない。異なる例示的な実施形態は、データ処理システム２００について図示したコンポーネントに加えてまたはこれらの代わりにコンポーネントを含むデータ処理システムにおいても実現することができる。図２に示すその他のコンポーネントは、図示する例示的な例から変更することができる。異なる実施形態は、プログラム・コードを実行することができる任意のハードウェア・デバイスまたはシステムを用いて実現することができる。一例として、データ処理システムは、無機コンポーネントと統合された有機コンポーネントを含むことができ、および／または人を除外した有機コンポーネントで全体的に構成することもできる。例えば、記憶デバイスを有機半導体で構成することもできる。
【００３８】
別の例として、データ処理システム２００における記憶デバイスは、データを記憶することができる任意のハードウェア装置である。メモリ２０６、永続的ストレージ２０８、およびコンピュータ読み取り可能媒体２２０は、有形形態とした記憶デバイスの例である。
【００３９】
別の例では、通信ファブリック２０２を実現するためにバス・システムを用いることもでき、このバス・システムは、システム・バスまたは入力／出力バスというような、１系統以上のバスで構成することができる。勿論、バス・システムは、当該バス・システムに取り付けられている異なるコンポーネントまたはデバイス間におけるデータの転送に備えているアーキテクチャのうち任意の適したタイプを用いて実現することができる。加えて、通信ユニットは、モデムまたはネットワーク・アダプタのような、データを送信および受信するために用いられる１つ以上のデバイスを含むことができる。更に、メモリは、例えば、メモリ２０６または通信ファブリック２０２の中に存在することもあるインターフェースおよびメモリ・コントローラ・ハブにおいて見られるようなキャッシュとすることもできる。
【００４０】
本明細書において用いる場合、「少なくとも１つの」という句は、品目のリストと共に用いられる場合、これらの品目の１つ以上の異なる組み合わせを用いることができること、そしてリストにおける各項目のうち１つだけがあればよいことを意味する。例えば、「品目Ａ、品目Ｂ、および品目Ｃのうち少なくとも１つ」は、例えば、限定ではなく、品目Ａ、または品目Ａおよび品目Ｂを含むことができる。また、この例は、品目Ａ、品目Ｂおよび品目Ｃ、または品目Ｂおよび品目Ｃも含むことができる。
【００４１】
これより図３を参照すると、例示的な一実施形態によるナビゲーション・システムのブロック図が示されている。ナビゲーション・システム３００は、図１におけるナビゲーション・システム１１２の一実施態様の一例である。
【００４２】
ナビゲーション・システム３００は、プロセッサ・ユニット３０２、通信ユニット３０４、行動データベース３０６、作業現場データベース３０８、可動システム３１０、センサ・システム３１２、電源３１４、電力レベル・インディケータ３１６、基本システム・インターフェース３１８、および環境データ収集システム３２０を含む。環境データ収集システム３２０は、環境センサ・システム３２２、複数のデータベース３２４、および環境データ発生器３２６を含む。
【００４３】
環境センサ・システム３２２は、図１における複数の作業現場特徴１０６のような作業現場特徴、および図１における複数の作業現場のような作業現場におけるその他の環境データを検出する。他の環境データは、例えば、限定ではなく、風、降水量、温度、季節、および／または任意のその他の適した環境データを含むことができる。環境センサ・システム３２２は、視覚システム３２８を含む。視覚システム３２８は、例えば、限定ではなく、ステレオ視覚システム、非対称視覚システム、スタジアメトリック測距視覚システム(stadiametric ranging vision system)、および／または任意のその他の適した視覚システムとすることができる。視覚システム３２８は、複数のカメラ３３０を含む。複数のカメラ３３０は、例えば、図１における作業現場１１６のような、作業現場または作業現場エリアの画像を撮影するために用いることができる。複数のカメラ３３０によって撮影された画像は、例えば、ランドマーク識別および経路計画に用いるために、基本システム・インターフェース３１８を通じてプロセッサ・ユニット３０２に転送することができる。本明細書において用いる場合、「複数の」は１つ以上の画像に言及するものとする。複数のカメラ３３０は、例えば、限定ではなく、カラー・カメラ、白黒カメラ、赤外線カメラ、および／または任意のその他の適したカメラを含むことができる。
【００４４】
環境データ収集システム３２０の複数のデータベース３２４は、図１における作業現場環境１００のような作業現場環境と関連のある園芸および天候情報を提供する。複数のデータベース３２４は、例えば、限定ではなく、園芸データベース３３２、天候データベース３３４、オンライン・データベース３３６、および／または任意のその他の適したデータベースを含むことができる。
【００４５】
園芸データベース３３２は、限定ではなく、植物種および変種のような情報、ならびに植物種および変種の給水の必要性、成長段階、特性、および成長過程についての情報、自律車両に影響を及ぼすかもしれない作業現場環境の具体的な環境的特徴等を含むことができる。例えば、種々の植物種の特性は、限定ではなく、幹、樹皮、分枝系統、幹のサイズ、葉のパターン、発芽、非発芽(non-budding)、色、成長パターン、好ましい日照、好ましい土壌水分、好ましい土壌ｐＨ等とすることができる。天候データベース３３４は、作業現場環境についての現在の天候、作業現場環境についての天候履歴等を含むことができる。
【００４６】
オンライン・データベース３３６は、通信ユニット３０４を用いてワイヤレスでインターネットにアクセスすることができる。オンライン・データベース３３６は、動的に情報を環境データ収集システム３２０に提供し、これによって、環境データ発生器３２６によって発生されたデータに対する調節が可能になる。例えば、オンライン・データベース３３６は、限定ではなく、作業現場環境の現在の天候状態、作業現場環境に対する現在の制約、作業現場環境についての天気予報、および／または任意のその他の適した情報を含むことができる。現在の制約には、限定ではなく、洪水のような、自律車両には望ましくない地面状態というような、複数の制約を含むことができる。
【００４７】
例の中には、オンライン・データベース３３６がリモート・アクセス・データベースであるともよい場合もある。オンライン・データベース３３６によって提供されるこの天候情報は、作業現場環境について高い精度の環境データを取得するためには、環境センサ・システム３２２のどのセンサを活性化すべきか判定するために、環境データ収集システム３２０によって用いることができる。雨、雪、霧、および霜というような天候のために、ある種のセンサの範囲が狭くなったり、作業現場環境から高い精度の環境データを取得するためには他のセンサの属性の調節を行わなければならない場合もある。入手することができる他のタイプの情報には、限定ではなく、枝葉展開、落ち葉状態、芝水分応力(lawn moisture stress)というような植物の成長過程情報が含まれる。
【００４８】
環境データ発生器３２６は、複数のカメラ３３０によって撮影された画像、環境センサ・システム３２２によって検出されたその他の環境データ、および複数のデータベース３２４からの情報を用いて、図１における作業現場１１６のような、作業現場に関する作業現場データ３２７を発生する。作業現場データ３２７は、例えば、作業現場地図上における作業現場特徴の自動標識付けにおいて用いるために、図１における作業現場特徴識別システム１０３に送ることができる。
【００４９】
プロセッサ・ユニット３０２は、図２におけるデータ処理システム２００の一実施態様の一例とすることができる。プロセッサ・ユニット３０２は、車両制御プロセス３３８を含む。車両制御プロセス３３８は、可動システム３１０と通信しこれを制御するように構成されている。車両制御プロセス３３８は、経路計画モジュール３４０を含む。経路計画モジュール３４０は、行動データベース３０６および作業現場データベース３０８からの情報を、環境データ収集システム３２０から受け取った作業現場データ３２７と共に用いて、経路計画３４２を作成することができる。経路は、任意の長さでよく、例えば、１フィートまたは１０フィートでもよく、自律車両のランドマーク、障害物、周辺、および／または境界線に対する位置が変化するに連れて変化してもよい。
【００５０】
例示的な一例では、車両制御プロセス３３８は、図１における作業現場１１６のような作業現場全域について経路計画３４２を計画するために、作業現場データベース３０８から作業現場地図を引き出すことができる。車両制御プロセス３３８は、経路計画３４２を用いてコマンドおよび／または信号を可動システム３１０に送り、経路計画３４２にしたがって、ナビゲーション・システム３００と関連のある自律車両を移動させることができる。車両制御プロセス３３８は、例えば、作業現場特徴識別において用いるために作業現場を調査し画像を取り込むために、経路計画３４２全域にわたって自律車両を移動させることができる。車両制御プロセス３３８は、例えば、限定ではなく、自立車両上で選択されるボタン、手動制御デバイスからのコマンド、ソフトウェア・ドリブン・イベント、時間ドリブン・イベント、および／または任意のその他の適したトリガというような、トリガに応答して、作業現場の調査を開始することができる。
【００５１】
また、プロセッサ・ユニット３０２は、行動データベース３０６および作業現場データベース３０８と通信しこの中に格納されているデータにアクセスすることができる。データにアクセスするには、行動データベース３０６および／または作業現場データベース３０８の中にデータを格納する、これらからデータを引き出す、および／またはこのデータに対して作用するための任意のプロセスを含むことができる。例えば、データにアクセスするには、限定ではなく、行動データベース３０６および／または作業現場データベース３０８に収容されている参照表を用いること、行動データベース３０６および／または作業現場データベース３０８を用いて照会プロセスを実行すること、および／またはデータベースに格納されているデータにアクセスするための任意のその他の適したプロセスを含むことができる。
【００５２】
プロセッサ・ユニット３０２は、センサ・システム３１２から情報を受け取り、可動システム３１０を制御するときに、センサ情報を、行動データベース３０６からの行動データと共に用いることができる。また、プロセッサ・ユニット３０２は、例えば、図１におけるユーザ１０８によって動作させられる手動制御デバイス１１０のような、外部コントローラからの制御信号を受け取ることもできる。これらの制御信号は、通信ユニット３０４を用いて、プロセッサ・ユニット３０２によって受け取ることができる。
【００５３】
通信ユニット３０４は、情報を受け取るための通信リンクをプロセッサ・ユニット３０２に設けることができる。この情報は、例えば、データ、コマンド、および／または命令を含む。通信ユニット３０４は、種々の形態をなすことができる。例えば、通信ユニット３０４は、セルラ・フォン・システム、Ｗｉ−Ｆｉワイヤレス・システム、または何らかのその他の適したワイヤレス通信システムというような、ワイヤレス通信システムを含むことができる。
【００５４】
また、通信ユニット３０４は、例えば、図１における手動制御デバイス１１０のような、任意の(optional)手動コントローラへの有線接続も含むことができる。更に、通信ユニット３０４は、例えば、ユニバーサル・シリアル・バス・ポート、シリアル・インターフェース、パラレル・ポート・インターフェース、ネットワーク・インターフェース、または物理的な通信リンクを設けるための何らかのその他の適したポートというような、通信ポートも含むことができる。通信ユニット３０４は、例えば、外部制御デバイスまたはユーザと通信するために用いることができる。
【００５５】
例示的な一例では、プロセッサ・ユニット３０２は、図１においてユーザ１０８によって動作させられる手動制御デバイス１１０から制御信号を受け取ることができる。これらの制御信号は車両制御プロセス３３８の自律行動を無効にして、ユーザ１０８に、ナビゲーション・システム３００と関連のある自律車両を停止、始動、操舵、および／またはそれ以外で制御させることができる。
【００５６】
行動データベース３０６は、可動システム３１０を制御するときに車両制御プロセス３３８が利用することができる複数の行動行為(behavioral action)を収容する。行動データベース３０６は、限定ではなく、基本的な車両行動、エリア・カバレッジ行動、周囲行動、障害物回避行動、手動制御行動、給電行動、および／または自律車両のための任意のその他の適した行動を含むことができる。
【００５７】
可動システム３１０は、図１における自律車両１０４のような、自律車両に移動可能性(mobility)を備える。可動システム３１０は、種々の形態をなすことができる。可動システム３１０は、例えば、限定ではなく、推進システム、操舵システム、制動システム、および可動コンポーネントを含むことができる。これらの例では、可動システム３１０は、車両制御プロセス３３８からコマンドを受け取り、これらのコマンドに応答して、関連のある自律車両を移動させることができる。
【００５８】
センサ・システム３１２は、センサ・データを収集しプロセッサ・ユニット３０２に送信するための複数のセンサ・システムを含むことができる。例えば、センサ・システム３１２は、限定ではなく、推測航法システム、障害物検出システム、周辺検出システム、および／または図５に更に詳細に例示的に示すような、何らかのその他の適したタイプのセンサ・システムを含むことができる。センサ・データとは、センサ・システム３１２によって収集された情報のことである。
【００５９】
電源３１４は、ナビゲーション・システム３００、および例えば、図１における自律車両１０４のような、関連のある自律車両のコンポーネントに電力を供給する。電源３１４は、限定ではなく、バッテリ、移動バッテリ再充電器、ウルトラキャパシタ(ultracapacitor)、燃料電池、ガス発電機(gas powered generator)、太陽電池、および／または任意のその他の適した電源を含むことができる。電力レベル・インディケータ３１６は、電源３１４のレベルを監視し、電源レベルをプロセッサ・ユニット３０２に伝達する。例示的な一例では、電力レベル・インディケータ３１６は、電源３１４における電力の低レベルについての情報を送ることができる。プロセッサ・ユニット３０２は、行動データベース３０６にアクセスして、この例示的な例では、低電力レベルの指示に応答して、行動行為を採用することができる。例えば、限定ではなく、行動行為は、低電力レベルの検出に応答して、タスクの処理を中止すること、および再充電ステーションを探すこととしてもよい。
【００６０】
基本システム・インターフェース３１８は、環境データ収集システム３２０とその他のコンポーネントとの間において給電およびデータ通信を行う。例示的な一例では、基本システム・インターフェース３１８を用いて、複数のカメラ３３０によって撮影した画像を環境データ収集システム３２０からプロセッサ・ユニット３０２に転送することができる。
【００６１】
図３におけるナビゲーション・システム３００の図示は、異なる有利な実施形態を実現することができる態様に対して、物理的または構造的限定を暗示することを意味するのではない。図示したコンポーネントに加えておよび／またはこれらに代わって他のコンポーネントを用いることもできる。有利な実施形態によっては、一部のコンポーネントが不要な場合もある。または、ブロックは一部の機能的コンポーネントを例示するために示されている。異なる有利な実施形態において実現するときには、これらのブロックの１つ以上を組み合わせること、および／または異なるブロックに分割することもできる。
【００６２】
例えば、例示的な一実施形態では、環境センサ・システム３３２を、ナビゲーション・システム３００のセンサ・システム３１２と統合することもできる。別の例示的な実施形態では、環境データ収集システム３２０をナビゲーション・システム３００のプロセッサ・ユニット３０２と統合することもできる。
【００６３】
更に別の例示的な実施形態では、視覚システム３２８は、環境センサ・システム３３２とは別個のコンポーネントであってもよく、例えば、基本システム・インターフェース３１８を用いて、プロセッサ・ユニット３０２および／または環境データ収集システム３２０と相互作用することもできる。更に別の例示的な例では、複数のデータベース３２４をナビゲーション・システム３００から離れて配置し、通信システム３０４を用いて環境データ収集システム３２０がアクセスするようにしてもよい。
【００６４】
図４は、例示的な一実施形態による可動システムのブロック図である。可動システム４００は、図３における可動システム３１０の一実施態様の一例である。
可動システム４００は、図３におけるナビゲーション・システム３００のような、ナビゲーション・システムと関連のある自律車両に移動可能性を与える。可動システム４００は、種々の形態をなすことができる。可動システム４００は、例えば、限定ではなく、推進システム４０２、操舵システム４０４、制動システム４０６、および複数の可動コンポーネント４０８を含むことができる。これらの例では、推進システム４０２は、図３におけるナビゲーション・システム３００のようなナビゲーション・システムからのコマンドに応答して、図１における自律車両１０４のような自律車両を推進させるまたは移動させることができる。
【００６５】
推進システム４０２は、ナビゲーション・システムのプロセッサ・ユニットから受け取った命令に応答して、自律車両が移動する速度を維持または上昇させることができる。推進システム４０２は、電気制御推進システムとすることができる。推進システム４０２は、例えば、限定ではなく、内燃エンジン、内燃エンジン／電気混成システム、電気エンジン(electric engine)、または何らかのその他の適した推進システムとすることができる。例示的な一例では、推進システム４０２は車輪駆動モータ４１０を含むことができる。車輪駆動モータ４１０は、車輪のような可動コンポーネントに組み込まれている電気モータとすることができ、可動コンポーネントを直接駆動する。例示的な一実施形態では、車輪駆動モータ４１０を差動的に制御することによって、操舵を行うこともできる。
【００６６】
操舵システム４０４は、ナビゲーション・システムのプロセッサ・ユニットから受け取ったコマンドに応答して、自律車両の方向または操舵を制御する。操舵システム４０４は、例えば、限定ではなく、電気制御油圧操舵システム、電気駆動ラックおよびピニオン操舵システム、差動操舵システム、または何らかのその他の適した操舵システムとすることができる。例示的な一例では、操舵システム４０４は、複数の可動コンポーネント４０８を制御するように構成された専用車輪を含むことができる。
【００６７】
制動システム４０６は、ナビゲーション・システムのプロセッサ・ユニットから受け取ったコマンドに応答して、自律車両を減速および／または停止させることができる。制動システム４０６は、電気制御制動システムとすることができる。この制動システムは、例えば、限定ではなく、油圧制動システム、摩擦制動システム、車輪駆動モータ４１０を用いた再生制動システム、または電気的に制御することができる何らかの他の適した制動システムとすることができる。例示的な一例では、ナビゲーション・システムは、図１における手動制御デバイス１１０のような外部コントローラからコマンドを受け取り、緊急停止装置を活性化させることができる。ナビゲーション・システムは、コマンドを可動システム４００に送り、制動システム４０６を制御して、この例示的な例では、緊急停止を実行することができる。
【００６８】
複数の可動コンポーネント４０８は、ナビゲーション・システムのプロセッサ・ユニットから受け取り、推進システム４０２、操舵システム４０４、および制動システム４０６によって実行する命令に応答して、複数の方向および／または位置に移動する能力を、自律車両に設ける。複数の可動コンポーネント４０８は、例えば、限定ではなく、車輪、トラック(tracks)、フィート(feet)、ロータ、プロペラ、翼、および／またはその他の適したコンポーネントとすることができる。
【００６９】
図４における可動システム４００の図示は、異なる有利な実施形態を実現することができる態様に対して、物理的または構造的限定を暗示することを意味するのではない。図示したコンポーネントに加えておよび／またはこれらに代わって他のコンポーネントを用いることもできる。有利な実施形態によっては、一部のコンポーネントが不要な場合もある。または、ブロックは一部の機能的コンポーネントを例示するために示されている。異なる有利な実施形態において実現するときには、これらのブロックの１つ以上を組み合わせること、および／または異なるブロックに分割することもできる。
【００７０】
図５は、例示的な一実施形態によるセンサ・システムのブロック図である。センサ・システム５００は、図３におけるセンサ・システム３１２の一実施態様の一例である。
センサ・システム５００は、センサ・データを収集し、図３におけるナビゲーション・システム３００のような、ナビゲーション・システムのプロセッサ・ユニットにセンサ・データを送信するために複数のセンサ・システムを含む。センサ・システム５００は、障害物検出システム５０２、周辺検出システム５０４、および推測航法システム５０６を含む。
【００７１】
障害物検出システム５０２は、限定ではなく、複数のコンタクト・スイッチ５０８および超音波変換器５１０を含むことができる。複数のコンタクト・スイッチ５０８は、例えば、図１における作業現場環境１００のような環境における自律車両の外部物体との接触を検出する。複数のコンタクト・スイッチ５０８は、例えば、限定ではなく、バンパ・スイッチを含むことができる。超音波変換器５１０は、高周波音波を発生し、戻ってくるエコーを評価する。超音波変換器５１０は、信号、即ち、高周波音波を送ってからエコーを受信するまでの時間間隔を計算して、物体までの距離を決定する。
【００７２】
周辺検出システム５０４は、図１における作業現場１１６のような作業現場の周辺または境界線を検出し、周辺検出についての情報を、ナビゲーション・システムのプロセッサ・ユニットに送る。周辺検出システム５０４は、限定ではなく、受信機５１２および赤外線検出器５１４を含むことができる。受信機５１２は、例えば、図１における作業現場１１６のような、作業現場の周辺を規定するワイヤによって発することができる電気信号を検出する。赤外線検出器５１４は、例えば、図１における作業現場１１６のような、作業現場の周辺に沿って赤外線光源によって放出することができる赤外線光を検出する。
【００７３】
例示的な一例では、受信機５１２は、周辺ワイヤからの電気信号を検出し、その検出した信号についての情報を、図３におけるナビゲーション・システム３００のような、ナビゲーション・システムのプロセッサ・ユニットに送ることができる。次いで、ナビゲーション・システムは、図４における可動システム４００のような、可動システムにコマンドを送り、この例示的な例では、ナビゲーション・システムと関連のある自律車両の方向または行程を変更することができる。
【００７４】
推測航法システム５０６は、ナビゲーション・システムと関連のある自律車両の現在地を推定する。推測航法システム５０６は、既に決定されている位置、ならびに経過時間および行程において、既知の速度または推定速度についての情報に基づいて、現在地を推定する。推測航法システム５０６は、限定ではなく、オドメータ５１６、コンパス５１８、および加速度計５２０を含むことができる。オドメータ５１６は、図１における自律車両１０４のような機械が走行した距離を示すために用いられる電子または機械的デバイスである。コンパス５１８は、地球の磁極に対する位置または方向を決定するために用いられるデバイスである。加速度計５２０は、自由落下に対してそれが受けた加速度を測定する。
【００７５】
図５におけるセンサ・システム５００の図示は、異なる有利な実施形態を実現することができる態様に対して、物理的または構造的限定を暗示することを意味するのではない。図示したコンポーネントに加えておよび／またはこれらに代わって他のコンポーネントを用いることもできる。有利な実施形態によっては、一部のコンポーネントが不要な場合もある。または、ブロックは一部の機能的コンポーネントを例示するために示されている。異なる有利な実施形態において実現するときには、これらのブロックの１つ以上を組み合わせること、および／または異なるブロックに分割することもできる。
【００７６】
図６は、例示的な一実施形態による行動データベースのブロック図である。行動データベース６００は、図３における行動データベース３０６の一実施態様の一例である。
行動データベース６００は、図３における可動システム３１０を制御するときに、ナビゲーション・システム３００の車両制御プロセス３３８が利用することができる複数の行動行為を含む。行動データベース６００は、限定ではなく、基本的車両行動６０２、エリア・カバレッジ行動６０４、周辺行動６０６、障害物回避行動６０８、手動制御行動６１０、給電行動６１２、および／または自律車両のための任意のその他の適した行動を含むことができる。
【００７７】
基本車両行動６０２は、自律車両が実行することができる複数の基本タスクについて行為を規定する。基本車両行動６０２は、限定ではなく、芝刈り、清掃(vacuuming)、床磨き、落ち葉掃除、除雪、散水、噴霧、セキュリティ、および／または任意のその他の適したタスクを含むことができる。
【００７８】
エリア・カバレッジ行動６０４は、基本車両行動６０２を実行するときにエリア・カバレッジについて行為を規定する。エリア・カバレッジ行動６０４は、限定ではなく、区域分解行動、り耕体(boustrouphadon)エリア・カバレッジ行動、螺旋形エリア・カバレッジ行動、カスタム化経路計画、および／または任意のその他の適したエリア・カバレッジ行動を含むことができる。区域分解行動は、例えば、限定ではなく、円弧追従(follow arc)行動、二点間行動、および／または任意のその他の適した行動を含むことができる。
【００７９】
周辺行動６０６は、図５における周辺検出システム５０４によるというような、周辺検出に応答したナビゲーション・システムについての行為を規定する。例示的な一例では、周辺行動６０６は、限定ではなく、周辺追従、進行方向変更、および／または任意のその他の適した行動を含むことができる。進行方向変更は、例えば、周辺の内部に留まるために、ある角度だけ自律車両の進行方向を変更するように動作することができる。周辺追従は、予め定められた距離だけ自律車両を周辺に平行に移動させるように動作することができる。予め定められた距離は、例えば、自律車両の幅から誤差量を減算した値に等しくすることができる。
【００８０】
障害物回避行動６０８は、ナビゲーション・システムが自律車両周囲の環境における物体との衝突を回避するための行為を規定する。例示的な一例では、障害物回避行動６０８は、限定ではなく、障害物周回、逆方向および進行方向変更、および／または任意のその他の適した行動を含むことができる。障害物周回は、例えば、障害物周囲にある全エリアにおいてタスクを実行するために、自律車両を障害物の回りで誘導して、元の経路に沿ってまたは障害物全体の周囲を進行するように動作することができる。逆方向および進行方向変更は、図５における障害物検出システム５０２のような障害物検出システムによって検出された物体を回避するために、前方に移動する前に自律車両の方向を逆転し、ある角度だけ進行方向を変更するように動作することができる。
【００８１】
手動制御行動６１０は、ナビゲーション・システムが、自律性をディスエーブルし、例えば、図１におけるユーザ１０８のようなユーザからの運動制御を採用するための行為を規定する。給電行為６１２は、ナビゲーション・システムが、図３における電源３１４のような電源において検出した電力レベルに応答して、複数の措置を講ずるための行為を規定する。例示的な一実施形態では、給電行動６１２は、限定ではなく、自律車両のタスク処理を停止し、自律車両のために追加電力または電力再充電を探し出すことを含むことができる。
【００８２】
図６における行動データベース６００の図示は、異なる有利な実施形態を実現することができる態様に対して、物理的または構造的限定を暗示することを意味するのではない。図示したコンポーネントに加えておよび／またはこれらに代わって他のコンポーネントを用いることもできる。有利な実施形態によっては、一部のコンポーネントが不要な場合もある。または、ブロックは一部の機能的コンポーネントを例示するために示されている。異なる有利な実施形態において実現するときには、これらのブロックの１つ以上を組み合わせること、および／または異なるブロックに分割することもできる。
【００８３】
図７は、例示的な一実施形態による作業現場データベースのブロック図である。作業現場データベース７００は、図３における作業現場データベース３０８の一実施態様の一例である。
【００８４】
作業現場データベース７００は、経路を計画するときおよび／または図３における可動システム３１０を制御するときに、ナビゲーション・システム３００のプロセッサ・ユニット３０２が利用することができる複数のデータベースを含む。作業現場データベース７００は、限定ではなく、地図データベース７０２、ランドマーク・データベース７０４、および／または自律車両についての情報の任意のその他の適したデータベースを含むことができる。
【００８５】
地図データベース７０２は、複数の作業現場地図７０６を含む。複数の作業現場地図７０６は、例えば、図１における複数の作業現場１０６に対応することができる。例示的な一実施形態では、複数の作業現場地図７０６は、ネットワーク１０１を用いて図１におけるバック・オフィス１０２のような遠隔地から地図データベース７０２にロードすることができる。別の例示的な実施形態では、複数の作業現場地図７０６は、図１において作業現場特徴識別システム１０３によって更新された後に、地図データベース７０２に格納することもできる。更に別の例示的な実施形態では、例えば、基本システム・インターフェース３１８を通じて図１のユーザ１０８のようなユーザ、および／または図３における通信ユニット３０４によって、複数の作業現場地図７０６を地図データベース７０２にロードすることもできる。
【００８６】
ランドマーク・データベース７０４は、ランドマーク画像および定義７０８、ならびに位置情報７１０を含むことができる。ランドマーク画像および定義７０８は、例えば、図１における作業現場１１６の中にある複数のランドマーク１２２のような作業現場の中にある複数のランドマークを識別することができる。位置情報７１０は、ランドマーク画像において識別された各ランドマーク、および作業現場内における位置に対する定義７０８を識別する。位置情報７１０は、例えば、地図データベース７０２に格納されている複数の作業現場地図７０６と関連付けることもできる。
【００８７】
例示的な一例では、ランドマーク・データベース７０４は、作業現場特徴識別システム１０３によって、図１における環境データ収集システム１１４によって検出された環境データを用いて、自動的に更新することができる。別の例示的な例では、ランドマーク・データベース７０４は、図１における環境データ収集システム１１４から作業現場特徴データを受け取った後に、図１におけるユーザ１０８のようなユーザによって更新することもできる。
【００８８】
図７における作業現場データベース７００の図示は、異なる有利な実施形態を実現することができる態様に対して、物理的限定またはアーキテクチャの限定を暗示することを意味するのではない。図示したコンポーネントに加えておよび／またはこれらに代わって他のコンポーネントを用いることもできる。有利な実施形態によっては、一部のコンポーネントが不要な場合もある。または、ブロックは一部の機能的コンポーネントを例示するために示されている。異なる有利な実施形態において実現するときには、これらのブロックの１つ以上を組み合わせること、および／または異なるブロックに分割することもできる。
【００８９】
これより図８を参照すると、例示的な一実施形態による作業現場地図のブロック図が示されている。作業現場地図８００は、図３における環境データ収集システムの環境センサ・システム３２２の一実施態様の一例とすることができる。
【００９０】
図示のように、環境センサ・システム８００は、例えば、限定ではなく、汎地球測位システム８０２、構造化光センサ８０４、二次元／三次元レーザ・レーダ８０６、推測航法システム８０８、レーダ８１０、超音波ソナー８１２、無線周波数識別リーダ（ＲＦＩＤ）８１４、雨センサ８１６、周囲光センサ８１８、および視覚システム８２０を含むことができる。これらの異なるセンサは、図１における自律車両１０４のような、自律車両周囲の環境を識別するために用いることができる。例えば、これらのセンサｓは、作業現場１１６における複数の作業現場特徴１２０というような、自律車両周囲の作業現場環境において作業現場特徴を検出するために用いることができる。別の例では、これらのセンサは、環境における動的状態を検出するために用いることができる。動的状態とは、例えば、限定ではなく、風速、風向、降雨量、温度、および／または作業現場環境における任意のその他の状態とすることができる。
【００９１】
汎地球測位システム８０２は、作業現場環境における他の物体に対する自律車両の位置を特定することができる。汎地球測位システム８０２は、信号強度および／または飛行時間に基づく、任意のタイプの無線周波数三角測量方式とすることができる。例には、限定ではなく、汎地球測位システム、Ｇｌｏｎａｓｓ、Ｇａｌｉｌｅｏ、およびセル・タワー相対信号強度が含まれる。位置は、通例、誤差を含む、緯度および経度として報告される。誤差は、電離層状態、衛星コンスタレーション、および植物による信号減衰というような要因に左右される。汎地球測位システム８０２によって検出された位置確認情報は、例えば、作業現場環境内にあるランドマークの位置(position)および局在性(localization)を特定するために用いることができる。
【００９２】
構造化光センサ８０４は、１本以上の線というようなパターンで光を放出し、カメラを通した光の反射を読み取り、この反射を解釈して、環境における物体を検出および測定する。二次元／三次元レーザ・レーダ８０６は、散乱光の特性を測定し、離れた目標の距離および／またはその他の情報を発見する光学遠隔検知技術である。二次元／三次元レーザ・レーダ８０６は、レーザ・パルスをビームとして放出し、次いでこのビームを走査して二次元または三次元距離行列(range matrix)を発生する。距離マトリクスは、パルスの送信と反射信号の検出との間の時間遅延を測定することによって、物体または表面までの距離を判定するために用いられる。
【００９３】
推測航法８０８は、既知の位置から開始し、既知の速度、経過時間、および経路に基づいて、次いで数学的にまたは直接その位置から前進する。この速度に基づく前進は、車両オドメータ、または地上速度レーダを用いて、既知の位置から走行した距離を決定することができる。レーダ８１０は、当技術分野では周知であり、物体までの距離を測定するために飛行時間モードで用いることができ、更に物体の速度を計算するためにドプラー・モードでも用いることができる。レーダ８１０は、電磁波を用いて、移動物体および固定物体双方の距離、高度、方向、または速度を特定する。超音波ソナー８１２は、超音波周波数における音の伝搬を用いて、パルスの送信から受信までの時間を測定し、既知の音速を用いてこの測定値を距離に変換することによって、物体までの距離を測定する。超音波ソナー８１２は、当技術分野では周知であり、レーダ８１０と同様に、飛行時間モードまたはドプラー・モードで用いることができる。無線周波数識別リーダ（ＲＦＩＤ）８１４は、格納されているデータを拠り所とし、無線周波数識別（ＲＦＩＤ）タグまたはトランスポンダと呼ばれるデバイスを用いてデータを引き出す。雨センサ８１６は、自動車両の外面上における降雨量を検出する。周囲光センサ８１８は、作業現場環境における周囲光の量を測定する。
【００９４】
視覚システム８２０は、例えば、限定ではなく、ステレオ視覚システム、非対称視覚システム、スタジアメトリック測距視覚システム(stadiametric ranging vision system)、および／または任意のその他の適した視覚システムとすることができる。視覚システム８２０は、複数のカメラ８２２を含む。複数のカメラ８２２は、例えば、赤外線カメラ、可視光カメラ、カラー・カメラ、白黒カメラ、ディジタル・カメラ、および／または任意のその他の適したカメラを含む、任意のタイプのカメラとすることができる。赤外線カメラは、無生物物体に対して生体を示す熱を検出する。また、赤外線カメラは、赤外線放射線を用いて画像を形成することもできる。可視光カメラは、標準的な静止画カメラとすればよく、色情報のために単体で用いたり、あるいは第２カメラと共にステレオ画像または三次元画像を発生するために用いることもできる。可視光カメラを第２カメラと共に用いてステレオ画像を発生する場合、２つ以上のカメラを異なる露出設定値に設定すると、ある範囲の照明条件において、性能向上を実現することができる。また、可視光カメラは、動画を撮影し記録するビデオ・カメラであってもよい。複数のカメラ８２２は、複数の画像８２４を撮影する。複数の画像８２４は、図３における環境データ収集システム３２０が作業現場についての環境データを発生するために用いることができる。また、複数の画像８２４は、図１における作業現場特徴識別システム１０３が、環境センサ・システム８００によって作業現場において検出された作業現場の特徴を自動的に識別するためにも用いることができる。
【００９５】
環境センサ・システム８００は、前述のセンサの１つ以上から環境データを引き出して、環境の異なる観点を得ることができる。例えば、環境センサ・システム８００は、視覚システム８２０から視覚データを得ることができ、二次元／三次元レーザ・レーダ８０６から環境における物体に対する車両の距離についてのデータを得ることができ、更に汎地球測位システム８０２から地図に対する車両の位置データを得ることができる。
【００９６】
図８における環境センサ・システム８００の図示は、異なる有利な実施形態を実現することができる態様に対して、物理的または構造的限定を暗示することを意味するのではない。図示したコンポーネントに加えておよび／またはこれらに代わって他のコンポーネントを用いることもできる。有利な実施形態によっては、一部のコンポーネントが不要な場合もある。または、ブロックは一部の機能的コンポーネントを例示するために示されている。異なる有利な実施形態において実現するときには、これらのブロックの１つ以上を組み合わせること、および／または異なるブロックに分割することもできる。
【００９７】
これより図９を参照すると、例示的な一実施形態による作業現場特徴識別システムのブロック図が示されている。作業現場特徴識別システム９００は、図１における作業現場特徴識別システム１０３の一実施態様の例示的な一例である。
【００９８】
作業現場特徴識別システム９００は、作業現場特徴データベース９０２、データ分類プロセス９０４、およびユーザ・インターフェース９０６を含む。作業現場特徴データベース９０２は、複数の候補物体９０８、物体プロパティ(property)９１０、複数の識別された物体９１２、複数の確認された物体９１４、複数の作業現場地図９１６、および複数の画像９１７を含む。複数の候補物体９０８は、位置的安定性を有する物体および／または、例えば、位置確認およびナビゲーションにおいて用いるためのランドマークとして適している物体のリストとすることができる。複数の候補物体９０８は、例えば、限定ではなく、コンクリート・スラブ、花壇、壁、壁柱、旗棒、樹木の幹、電柱、付属建築物、家、庭園構造、および／または位置的安定性のある任意のその他の適した物体を含むことができる。
【００９９】
また、複数の候補物体９０８は、複数の物体９０８における候補物体の各々と関連のある物体属性９０７も含むことができる。物体属性９０７は、候補物体の特性についての情報であり、限定ではなく、色、表面模様、形状、寸法の比率、および／または任意のその他の適した特性等である。複数の候補物体９０８における各物体には、この例では、物体属性９０７における１つ以上の属性を関連付けることができる。物体属性９０７における色についての情報は、例えば、色相、彩度、ならびに値（ＨＳＶ）色空間または色相、彩度、および明度（ＨＳＬ）色空間というような、ＲＧＢカラー・モードにおいて点を表すための色空間を規定することができる。物体属性９０７における表面模様についての情報は、例えば、粗いから滑らかまでの表面模様の規模(scale)と関連付けられた数値で表すことができる。物体属性９０７における形状についての情報は、例えば、凸状、凹状、平坦、多面カット状(mutifaceted)、および／または任意のその他の適した形状基準というような基準を含むことができる。物体属性９０７における高さの比率についての情報は、例えば、高さ対幅の比率と関連付けられた数値で表すことができる。
【０１００】
物体プロパティ９１０は、複数の候補物体９０８と関連のあるプロパティのリストを含む。物体プロパティ９１０は、例えば、限定ではなく、自律車両による走行可能性(traversability)、自律車両による非走行可能性、季節的変化、物質成分、および／または任意のその他の適した物体プロパティを含むことができる。物体プロパティ９１０は、例えば、図１における自律車両１０４にような自律車両の物理的行動に対して実世界効果を有する複数の候補物体９０８の属性である。例示的な一例では、複数の候補物体９０８は、自律車両による走行可能性の物体プロパティと関連のあるコンクリート・スラブを含むことができ、作業現場内において複数のタスクを実行している間にこのコンクリート・スラブを乗り越える際に、自律車両の物理的行動が生ずる。別の例示的な例では、複数の候補物体９０８は、自律車両による非走行可能性の物体プロパティと関連のある花壇を含むことができ、作業現場において複数のタスクを実行している間にこの花壇を避けるおよび／または迂回する自律車両の物理的行動が生ずる。更に別の例示的な例では、物体プロパティ９１０は、自律車両の動作命令と関連付けることもできる。この例では、複数の候補物体９０８は、非走行可能性の物体プロパティおよび「ぶつかるな」という動作命令と関連のある樹木を含むことができる。
【０１０１】
また、作業現場地図において識別された作業現場特徴と関連のある物体プロパティ９１０は、ナビゲーション・システム３００のようなナビゲーション・システムが、作業現場内において自律車両行動および経路計画を計画する際に用いることもできる。自律車両の実世界行動は、作業現場環境において識別された複数の候補物体９０８と関連のある物体プロパティ９１０による影響を受ける。
【０１０２】
複数の識別された物体９１２は、物体識別と関連のある物体プロパティ、記述、および画像を含むことができる。複数の識別された物体９１２は、データ分類プロセス９０４によって自動的に識別された作業現場の特徴を表す。例示的な一例では、複数の識別された物体９１２は、色が茶色で表面模様が粗いという物体属性、および非走行可能性という物体プロパティを有する、円筒形で、狭い、垂直構造の物体を含むことができる。この例では、この物体は、データ分類プロセス９０４によって「樹木の幹」と識別することができる。
【０１０３】
複数の確認された物体９１４は、例えば、図１におけるユーザ１０８のようなユーザによって既に確認されている物体識別と関連のある物体プロパティ、記述、および／または画像を含むことができる。例示的な一例では、データ分類プロセス９０４は、色が茶色で表面模様が粗いという物体属性、および非走行可能性という物体プロパティを有する、円筒形で、狭い、垂直構造の画像を、自動的に「樹木の幹」と識別することができる。ユーザは、ユーザ入力９１８をユーザ・インターフェース９０６を通じて供給して、この自動識別を確認することができ、データ分類プロセス９０４は、確認された物体識別およびプロパティを、複数の確認された物体９１４に格納することができる。また、複数の確認された物体９１４は、例えば、物体の直径または大きさというような、ユーザ入力９１８を通じてユーザによって追加された追加情報も含むことができる。この追加情報は、データ分類プロセス９０４が、例えば、倍率調整した作業現場地図を作成するために用いることができる。
【０１０４】
複数の作業現場地図９１６は、データ分類プロセス９０４によって作成され、例えば、図３におけるナビゲーション・システム３００のような自律車両のナビゲーション・システムによる経路計画において用いるために、作業現場特徴データベース９０２に格納される。
【０１０５】
複数の画像９１７は、予め発生されている作業現場の画像データ、格納されている作業現場の画像、バック・オフィスからユーザにダウンロードされた作業現場の画像、および／または任意のその他の適した画像とすることができる。複数の画像９１７は、例示的な一例では、画像分析プロセス９２２が画像データ９２４を分析し、作業現場の特徴を識別するために用いることができる。
【０１０６】
データ分類プロセス９０４は、画像分析プロセス９２２を含む。データ分類プロセス９０４は、画像データ９２４および／または環境データ９２６を、図３における環境データ収集システム３２０から受け取ることができる。画像データ９２４は、例えば、図３における視覚システム３２８から直接送信された複数の画像とすることができる。環境データ９２６は、例えば、図３における環境データ発生器３２６によって発生された、作業現場環境についての画像および関連する環境データを含むことができる。
【０１０７】
画像分析プロセス９２２は、画像データ９２４および／または環境データ９２６を分析し、作業現場特徴データベース９０２を用いて、複数の物体識別９２８を発生する。また、画像分析プロセス９２２は、画像データ９２４および／または環境データ９２６を、作業現場特徴データベース９０２における複数の画像９１７と比較して、複数の画像９１７のうち少なくとも２つの画像間における共通の特徴を識別することができる。
【０１０８】
データ分類プロセス９０４は、画像シーケンサ９３０を含む。画像シーケンサ９３０は、画像データ９２４および／または環境データ９２６から受け取った作業現場の複数の画像を分析して、編集画像９３１を発生する。編集画像９３１は、画像において撮影された物体の点群による、作業現場の複数の画像の三次元モデルである。画像シーケンサ９３０は、当技術分野では周知であるパターン認識アルゴリズムを用いて、画像の部分同士を比較して、点を作成する。次いで、画像シーケンサ９３０は、これらの点を比較して、画像をモデルに変換する。画像シーケンサ９３０は、複数の三次元モデル９３２を編集画像９３１から抽出する。複数の三次元モデル９３２は、画像における複数の物体の三次元モデルである。例示的な一例では、画像シーケンサ９３０は、樹木のような、中心的物体の三次元モデルを編集画像９３１から抽出することができる。
【０１０９】
画像分析プロセス９２２は、複数の三次元モデル９３２の物体属性９３４を識別する。物体属性９３４とは、例えば、限定ではなく、色、表面模様、形状、寸法の比率、および／または任意のその他の適した特性というような、物体の物理的特性である。画像分析プロセス９２２は、複数の候補物体９０８における情報を用いて、候補物体と関連のある物体属性９０７のような複数の物体識別９２８を発生する。画像分析プロセス９２２は、複数の候補物体９０８を詳しく考察し、複数の三次元モデル９３２について識別された物体属性９３４を用いて、一致の確度に基づいて候補物体を選択することができる。
【０１１０】
例示的な一例では、複数の三次元モデル９３２が、狭い、垂直、円筒形、茶色、および粗い表面模様の物体属性９３４を有する場合、画像分析プロセス９２２は、複数の候補物体９０８のうち、複数の候補物体９０８における物体の選択から、共有する属性を最も多く有する候補物体を特定することができる。この例示的な例では、候補物体である柱９３６には、狭い、垂直、円筒形、および茶色の物体属性９０７を関連付けることができ、一方候補物体である樹木の幹９３８には、狭い、垂直、円筒形、茶色、および粗い表面模様の物体属性９０７を関連付けることができる。この例示的な例では、候補物体である樹木の幹９３８が、物体属性９３４および物体属性９０７間において、最も多い数の共有属性を有し、一致の最大確度に基づいて、画像分析プロセス９２２によって物体識別として選択される。
【０１１１】
画像データ９２４は、画像における作業現場の特徴と関連のあるスケーリング情報９４０を含むことができる。例示的な一例では、スケーリング情報９４０は、例えば、画像が自律車両の視覚システムによって撮影された時点における、自律車両に対する物体についての情報とすることができる。別の例示的な例では、スケーリング情報９４０は、例えば、カメラが人間によって操作される場合における、画像撮影時におけるカメラの位置に対する物体についての情報とすることができる。スケーリング情報９４０は、画像における物体の倍率(scale)またはサイズを決定するために用いられる。例えば、スケーリング情報９４０は、画像を撮影したときの自律車両の位置についての情報、自律車両の視覚システムの複数のカメラの有利な地点(vantage point)、自律車両のレーザ・レーダ・センサの走査角度、物体の自律車両からの距離、および／または任意のその他の適した情報を含むことができる。樹木の幹の例示的な例では、画像分析プロセス９２２によって、スケーリング情報９４０を用いて、この樹木の幹の直径を計算すると、例えば、外形形状を求めることができる。
【０１１２】
データ分類プロセス９０４は、作業現場特徴データベース９０２に格納される複数の作業現場地図９１６を作成する。複数の作業現場地図９１６は、標識が付けられた作業現場地図であり、作業現場において自律車両の実世界、物理的動作に影響を及ぼす物体プロパティと関連のある、複数の識別された物体を有する。複数の作業現場地図９１６は、例えば、ナビゲーション・システム３００のようなナビゲーション・システムによる位置確認および経路計画に用いられる。
【０１１３】
オプションとして、データ分類プロセス９０４は、例えば、画像または環境データにおける作業現場の特徴の自動識別の確認のために、ユーザ・インターフェース９０６を通じて複数の物体識別９２８をユーザに送ることができる。ユーザは、自動識別を確認すること、および／または追加のプロパティまたは動作命令を識別することができる。確認された識別は、例えば、複数の確認された物体９１４に格納することができる。
【０１１４】
図９における作業現場特徴識別システム９００の図示は、異なる有利な実施形態を実現することができる態様に対して、物理的または構造的限定を暗示することを意味するのではない。図示したコンポーネントに加えておよび／またはこれらに代わって他のコンポーネントを用いることもできる。有利な実施形態によっては、一部のコンポーネントが不要な場合もある。または、ブロックは一部の機能的コンポーネントを例示するために示されている。異なる有利な実施形態において実現するときには、これらのブロックの１つ以上を組み合わせること、および／または異なるブロックに分割することもできる。
【０１１５】
これより図１０を参照すると、例示的な実施形態による画像のブロック図が示されている。画像１０００は、図８における複数の画像８２４および／または図９における編集画像９３１の一実施態様の例示的な一例である。
【０１１６】
例示的な一例では、画像１０００は、図９における画像シーケンサ９３０のような画像シーケンサによって、例えば、図３における視覚システム３２８のような視覚システムによって撮影された複数の画像を用いて編集することができる。画像シーケンサ９３０は、図９における複数の三次元モデル９３２のような三次元モデルを画像１０００から抽出することができる。この例示的な例では、画像１０００の中心的物体は物体Ａ１００２である。物体Ａ１００２は、図９におけるユーザ・インターフェース９０６を用いて確認のために表示されたときに、画像シーケンサ９３０によって抽出し、画像１０００上において赤で輪郭を示すことができる。画像分析プロセス９２２は、物体Ａ１００２について物体属性を識別する。この例では、物体Ａ１００２についての物体属性は、狭い、垂直、円筒状、茶色、および粗い表面模様であると言うことができる。キー１００１は、抽出された三次元特徴の輪郭を示すために用いられた色の識別を行う。
【０１１７】
画像分析プロセス９２２は、物体Ａ１００２を画像１０００における樹木１００４として識別する、または標識を付ける。この識別は、図９における作業現場特徴データベース９０２のような作業現場データベースを用いて判定することができる。例えば、画像分析プロセス９２２は、複数の候補物体９０８を詳しく考察して、候補物体と物体Ａ１００２との間において最も近い特性の一致を特定することができる。物体Ａ１００２が樹木１００４として識別された場合、樹木と関連のある物体プロパティが、物体Ａ１００２と関連付けられる。画像分析プロセス９２２は、例えば、複数の物体プロパティまたは作業特徴データベース９０２において、関連のあるプロパティを識別することができる。樹木と関連のある物体プロパティは、例えば、非走行可能性、または「ぶつかるな」という動作命令とすることができる。
【０１１８】
画像シーケンサ９３０は、例えば、図９におけるユーザ・インターフェース９０６を用いて確認のために画像１０００が表示されたときに、画像１０００において物体Ｂ１００６を抽出し、黄色で物体Ｂ１００６の輪郭を示すことができる。画像分析プロセス９２２は、図９における作業現場特徴データベース９０２を用いて、物体Ｂ１００６を草地１００８として識別する、または標識を付ける。草地１００８には、例えば、走行可能性のような物体プロパティを関連付けることができる。この例示的な例では、草地１００８という標識が付けられ走行可能性のプロパティと関連付けられた物体Ｂ１００６は、例えば、作業現場内でタスクを実行するときに、自律車両が草地１００８を横断することを規定することによって、この作業現場における自律車両の物理的動作に影響を及ぼす。
【０１１９】
画像シーケンサ９３０は、例えば、図９におけるユーザ・インターフェース９０６を用いて確認のために画像１０００が表示されたときに、画像１０００において物体Ｃ１０１０を抽出し、白で物体Ｃ１０１０の輪郭を示すことができる。また、画像シーケンサ９３０は、画像において同様の三次元特性を有する複数のその他の物体も識別し、白でこれら複数の他の物体の輪郭を示すこともできる。画像分析プロセス９２２は、物体Ｃを壁柱であると識別し、この識別を、同じ特性を有し抽出された複数の他の物体に伝え、例えば、壁柱１０１２の標識を付けることができる。
【０１２０】
図１０における画像１０００の図示は、異なる有利な実施形態を実現することができる態様に対して、物理的または構造的限定を暗示することを意味するのではない。図示したコンポーネントに加えておよび／またはこれらに代わって他のコンポーネントを用いることもできる。有利な実施形態によっては、一部のコンポーネントが不要な場合もある。または、ブロックは一部の機能的コンポーネントを例示するために示されている。異なる有利な実施形態において実現するときには、これらのブロックの１つ以上を組み合わせること、および／または異なるブロックに分割することもできる。
【０１２１】
これより図１１を参照すると、例示的な実施形態にしたがって画像においてランドマークを識別するプロセスのフローチャートが示されている。図１１におけるプロセスは、例えば、図１における作業現場特徴識別システム１０３のようなコンポーネントによって実現することができる。
【０１２２】
このプロセスが開始すると、作業現場の画像を受け取る（ステップ１１０２）。画像は、例えば、図１における環境データ収集システム１１４のような環境データ収集システムによって撮影することができる。この画像は、作業現場の中にあるランドマーク、物体、およびその他の特徴というような、複数の作業現場の特徴を含むことができる。
【０１２３】
本プロセスは、この画像を分析して、画像において示唆された物体の識別を判定する（ステップ１１０４）。本プロセスは、例えば、図９におけるデータ分類プロセス９０４のようなデータ分類プロセスの画像分析プロセスを用いて、画像を分析することができる。次いで、本プロセスは、物体の示唆された識別を通信ユニットを通じて送る（ステップ１１０６）。示唆された識別は、例えば、図９におけるユーザ・インターフェース９０６のようなユーザ・インターフェースを通じてユーザに送ることができる。ユーザは、この示唆された識別を受け取り、例えば、図９におけるユーザ入力９１８を通じて、この示唆された識別を確認または変更することができる。
【０１２４】
次に、本プロセスは、示唆された識別が確認されたか否か判定する（ステップ１１０８）。示唆された識別が確認されたと判定された場合、本プロセスは、確認された識別を、確認された識別と関連のある複数の属性と共にデータベースに格納し（ステップ１１１０）、本プロセスはその後終了する。
【０１２５】
示唆された識別が確認されていないと判定された場合、本プロセスは、示唆された識別の代わりに、既存の識別クラスが選択されたか否か判定する（ステップ１１１２）。既存の識別クラスとは、図９における作業現場特徴識別システム９００のような作業現場特徴識別システム内において格納されているオブジェクト識別および／または以前作成された任意のオブジェクト識別とすることができる。識別クラスとは、例えば、図９における複数の候補物体９０８のような、任意の物体識別を指すことができる。
【０１２６】
既存の識別クラスが選択されていると判定された場合、本プロセスはステップ１１１０に進み、その後本プロセスは終了する。既存の識別クラスが選択されていないと判定された場合、本プロセスは、新たな識別クラスが作成されたか否か判定する（ステップ１１１４）。新たな識別クラスとは、図９における作業現場特徴識別システム９００のような作業現場特徴識別システム内にあり、現在格納および／または認識されていない任意の物体識別とすることができる。新たな識別クラスは、例えば、図９における複数の候補物体９０８のように、作成すること、および／またはデータベースに格納することができる。
【０１２７】
新たな識別クラスが作成されていないと判定された場合、本プロセスは終了する。新たな識別クラスが作成されていると判定された場合、本プロセスはステップ１１１０に進み、その後本プロセスは終了する。
【０１２８】
本プロセスは、図９における複数の確認された物体９１４のように、確認された識別をデータベースに格納することができる。確認された識別は、例えば、作業現場地図において作業現場のランドマークを識別するために用いることができる。
【０１２９】
これより図１２を参照すると、例示的な実施形態にしたがって作業現場の特徴を識別するプロセスを図示するフローチャートが示されている。図１２におけるプロセスは、例えば、図１における作業現場特徴識別システム１０３のようなコンポーネントによって実現することができる。
【０１３０】
本プロセスが開始すると、複数の作業現場画像を入手する（ステップ１２０２）。これら複数の作業現場画像は、例えば、図３における視覚システム３２８のような視覚システムを用いて入手することができる。図９における画像シーケンサ９３０のような画像シーケンサが、複数の作業現場画像を、例えば、作業現場の編集画像または三次元モデルに編集することができる。本プロセスは、複数の作業現場画像のうち少なくとも２つにおいて共通の特徴を識別する（ステップ１２０４）。この共通の特徴は、例えば、複数の作業現場画像から発生した作業現場の三次元モデルから抽出した三次元物体とすることができる。
【０１３１】
次に、本プロセスは、少なくとも２つの画像において識別された共通の特徴の相対的位置を特定する（ステップ１２０６）。相対的位置とは、例えば、作業現場に対する位置とすればよい。相対的位置を決定するには、例えば、立体写真分析のような、複数の作業現場画像の分析に基づくことができる。別の例示的な例では、共通の特徴の相対的位置は、複数の作業現場画像の編集、および複数の作業現場画像から発生した三次元モデルにおける共通の特徴の位置に基づくことができる。
【０１３２】
次に、本プロセスは、複数の作業現場画像において、１つでも共通の特徴が未だ残っているか否か判定する（ステップ１２０８）。複数の作業現場画像において共通の特徴が残っていると判定された場合、プロセスはステップ１２０４に戻る。複数の作業現場画像において共通の特徴が残っていないと判定された場合、本プロセスは、スケーリング情報が入手可能であるか否か判定する（ステップ１２１０）。
【０１３３】
スケーリング情報が入手可能でないと判定された場合、本プロセスは終了する。スケーリング情報が入手可能であると判定された場合、本プロセスは、このスケーリング情報を作業現場地図に適用して、作業現場についての距離情報を提供し、さらに識別された共通の特徴の大きさを示し（ステップ１２１２）、その後本プロセスは終了する。
【０１３４】
異なる有利な実施形態の記載は、例示および説明を目的として提示したのであって、網羅的であることも、実施形態を開示した形態に限定することを意図するのではない。多くの変更および変容も当業者には明白であろう。更に、異なる実施形態は、他の実施形態と比較して、異なる利点を提供することができる。選択された１つまたは複数の実施形態は、本発明の原理、実用的用途を最良に説明するため、そして当業者が、想定される個々の使用に適するような種々の変更を加えた種々の実施形態について、本発明を理解することが可能となるために、選定し説明したのである。
【特許請求の範囲】
【請求項１】
画像においてランドマークを識別する方法であって、
作業現場の画像を受け取るステップと、
前記画像において作業現場の特徴の示唆された識別を判定するために、前記画像を分析するステップと、
前記作業現場の特徴の前記示唆された識別を通信ユニットを通じて送るステップと、
確認された識別を形成するために、前記作業現場の特徴の前記示唆された識別の確認を受けるステップと、
前記確認された識別および前記作業現場の特徴と関連のある位置をデータベースに格納するステップと、
を含む、方法。
【請求項２】
請求項１記載の方法において、前記画像は、環境データ収集システムから受け取られ、この環境データ収集システムは、自律車両、人間、動物、または人間制御車両のうち少なくとも１つによって、複数の環境データ収集位置に移動する、方法。
【請求項３】
請求項１記載の方法において、前記作業現場の特徴の前記示唆された識別の確認は、ユーザからユーザ・インターフェースを通じて受けられる、方法。
【請求項４】
請求項１記載の方法において、前記作業現場の特徴は、ランドマーク、植物、構造、野生生物、または建物のうち少なくとも１つである、方法。
【請求項５】
請求項１記載の方法であって、更に、
前記確認された識別および前記作業現場の特徴の複数の属性を、作業現場地図上における前記位置と関連付けるステップを含む、方法。
【請求項６】
請求項１記載の方法において、前記画像において作業現場の特徴の示唆された識別を判定するために前記画像を分析するステップは、更に、
複数の作業現場画像を入手するステップと、
前記複数の作業現場画像のうち少なくとも２つにおいて共通の特徴を識別するステップと、
前記複数の作業現場画像のうち前記少なくとも２つにおいて識別した前記共通の特徴の相対的位置を特定するステップと、
を含む、方法。
【請求項７】
請求項６記載の方法であって、更に、
前記識別された共通の特徴についてスケーリング情報が入手可能か否か判定するステップと、
スケーリング情報が入手可能であるという判定に応答して、前記作業現場における距離情報および前記共通の特徴の大きさを与えるために、前記スケーリング情報を適用するステップと、
を含む、方法。
【請求項８】
画像においてランドマークを識別するシステムであって、
作業現場特徴データベースと、
ユーザ・インターフェースと、
画像を分析するデータ分類プロセスを実行し、前記作業現場特徴データベースを用いて前記画像において作業現場の示唆された特徴の識別を判定し、前記作業現場の特徴の前記示唆された識別を通信ユニットを通じて送り、確認された識別を形成するために、前記作業現場の特徴の前記示唆された識別の確認を受け、前記確認された識別および該確認された識別と関連のある複数の属性を前記作業現場特徴データベースに格納するように構成されたデータ処理システムと、
を含む、システム。
【請求項９】
請求項８記載のシステムにおいて、前記画像は、環境データ収集システムから受け取られ、この環境データ収集システムは、自律車両、人間、動物、または人間制御車両のうち少なくとも１つによって、複数の環境データ収集位置に移動する、システム。
【請求項１０】
請求項８記載のシステムにおいて、前記作業現場の特徴の前記示唆された識別の確認は、ユーザからユーザ・インターフェースを通じて受けられる、システム。
【請求項１１】
請求項８記載のシステムにおいて、前記作業現場の特徴は、ランドマーク、植物、構造、野生生物、または建物のうち少なくとも１つである、システム。
【請求項１２】
請求項８記載のシステムにおいて、前記データ処理システムは、更に、
前記確認された識別および前記作業現場の特徴の複数の属性を、作業現場地図上における位置と関連付けるために、前記データ分類プロセスを実行するように構成された、システム。
【請求項１３】
作業現場の特徴を識別する方法であって、
複数の作業現場画像を入手するステップと、
前記複数の作業現場画像のうち少なくとも２つにおいて共通の特徴を識別するステップと、
前記識別された共通の特徴の相対的位置を特定するステップと、
前記作業現場の距離情報および識別された前記共通の特徴の大きさを与えるために、スケーリング情報を作業現場地図に適用するステップと、
を含む、方法。
【請求項１４】
請求項１３記載の方法であって、更に、
前記複数の作業現場画像においていずれかの共通の特徴が未だ残っているか否か判定するステップと、
共通の特徴が残っているという判定に応答して、前記複数の作業現場画像のうち少なくとも２つにおいて次の共通の特徴を識別するステップと、
を含む、方法。
【請求項１５】
請求項１３記載の方法において、前記作業現場の三次元モデルを発生するために、画像シーケンサによって前記複数の作業現場画像を編集し、前記画像シーケンサは、前記共通の特徴の相対的位置を特定するために、前記三次元モデルから三次元物体を前記共通の特徴として抽出する、方法。
【請求項１６】
請求項１３記載の方法において、前記複数の作業現場画像は、自律車両の視覚システムから得られる、方法。
【請求項１７】
請求項１３記載の方法において、前記複数の作業現場画像は、操作者からユーザ・インターフェースを通じて得られる、方法。
【請求項１】
画像においてランドマークを識別する方法であって、
作業現場の画像を受け取るステップと、
前記画像において作業現場の特徴の示唆された識別を判定するために、前記画像を分析するステップと、
前記作業現場の特徴の前記示唆された識別を通信ユニットを通じて送るステップと、
確認された識別を形成するために、前記作業現場の特徴の前記示唆された識別の確認を受けるステップと、
前記確認された識別および前記作業現場の特徴と関連のある位置をデータベースに格納するステップと、
を含む、方法。
【請求項２】
請求項１記載の方法において、前記画像は、環境データ収集システムから受け取られ、この環境データ収集システムは、自律車両、人間、動物、または人間制御車両のうち少なくとも１つによって、複数の環境データ収集位置に移動する、方法。
【請求項３】
請求項１記載の方法において、前記作業現場の特徴の前記示唆された識別の確認は、ユーザからユーザ・インターフェースを通じて受けられる、方法。
【請求項４】
請求項１記載の方法において、前記作業現場の特徴は、ランドマーク、植物、構造、野生生物、または建物のうち少なくとも１つである、方法。
【請求項５】
請求項１記載の方法であって、更に、
前記確認された識別および前記作業現場の特徴の複数の属性を、作業現場地図上における前記位置と関連付けるステップを含む、方法。
【請求項６】
請求項１記載の方法において、前記画像において作業現場の特徴の示唆された識別を判定するために前記画像を分析するステップは、更に、
複数の作業現場画像を入手するステップと、
前記複数の作業現場画像のうち少なくとも２つにおいて共通の特徴を識別するステップと、
前記複数の作業現場画像のうち前記少なくとも２つにおいて識別した前記共通の特徴の相対的位置を特定するステップと、
を含む、方法。
【請求項７】
請求項６記載の方法であって、更に、
前記識別された共通の特徴についてスケーリング情報が入手可能か否か判定するステップと、
スケーリング情報が入手可能であるという判定に応答して、前記作業現場における距離情報および前記共通の特徴の大きさを与えるために、前記スケーリング情報を適用するステップと、
を含む、方法。
【請求項８】
画像においてランドマークを識別するシステムであって、
作業現場特徴データベースと、
ユーザ・インターフェースと、
画像を分析するデータ分類プロセスを実行し、前記作業現場特徴データベースを用いて前記画像において作業現場の示唆された特徴の識別を判定し、前記作業現場の特徴の前記示唆された識別を通信ユニットを通じて送り、確認された識別を形成するために、前記作業現場の特徴の前記示唆された識別の確認を受け、前記確認された識別および該確認された識別と関連のある複数の属性を前記作業現場特徴データベースに格納するように構成されたデータ処理システムと、
を含む、システム。
【請求項９】
請求項８記載のシステムにおいて、前記画像は、環境データ収集システムから受け取られ、この環境データ収集システムは、自律車両、人間、動物、または人間制御車両のうち少なくとも１つによって、複数の環境データ収集位置に移動する、システム。
【請求項１０】
請求項８記載のシステムにおいて、前記作業現場の特徴の前記示唆された識別の確認は、ユーザからユーザ・インターフェースを通じて受けられる、システム。
【請求項１１】
請求項８記載のシステムにおいて、前記作業現場の特徴は、ランドマーク、植物、構造、野生生物、または建物のうち少なくとも１つである、システム。
【請求項１２】
請求項８記載のシステムにおいて、前記データ処理システムは、更に、
前記確認された識別および前記作業現場の特徴の複数の属性を、作業現場地図上における位置と関連付けるために、前記データ分類プロセスを実行するように構成された、システム。
【請求項１３】
作業現場の特徴を識別する方法であって、
複数の作業現場画像を入手するステップと、
前記複数の作業現場画像のうち少なくとも２つにおいて共通の特徴を識別するステップと、
前記識別された共通の特徴の相対的位置を特定するステップと、
前記作業現場の距離情報および識別された前記共通の特徴の大きさを与えるために、スケーリング情報を作業現場地図に適用するステップと、
を含む、方法。
【請求項１４】
請求項１３記載の方法であって、更に、
前記複数の作業現場画像においていずれかの共通の特徴が未だ残っているか否か判定するステップと、
共通の特徴が残っているという判定に応答して、前記複数の作業現場画像のうち少なくとも２つにおいて次の共通の特徴を識別するステップと、
を含む、方法。
【請求項１５】
請求項１３記載の方法において、前記作業現場の三次元モデルを発生するために、画像シーケンサによって前記複数の作業現場画像を編集し、前記画像シーケンサは、前記共通の特徴の相対的位置を特定するために、前記三次元モデルから三次元物体を前記共通の特徴として抽出する、方法。
【請求項１６】
請求項１３記載の方法において、前記複数の作業現場画像は、自律車両の視覚システムから得られる、方法。
【請求項１７】
請求項１３記載の方法において、前記複数の作業現場画像は、操作者からユーザ・インターフェースを通じて得られる、方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１２９１２６（Ｐ２０１１−１２９１２６Ａ）
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１０−２８１２２７（Ｐ２０１０−２８１２２７）
【出願日】平成２２年１２月１７日（２０１０．１２．１７）
【出願人】（５９１００５１６５）ディーア・アンド・カンパニー (109)
【氏名又は名称原語表記】ＤＥＥＲＥ ＡＮＤ ＣＯＭＰＡＮＹ
【Ｆターム（参考）】
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２０１０−２８１２２７（Ｐ２０１０−２８１２２７）
【出願日】平成２２年１２月１７日（２０１０．１２．１７）
【出願人】（５９１００５１６５）ディーア・アンド・カンパニー (109)
【氏名又は名称原語表記】ＤＥＥＲＥ ＡＮＤ ＣＯＭＰＡＮＹ
【Ｆターム（参考）】
[ Back to top ]