ランドマーク検出装置および方法ならびにプログラム
【課題】ランドマークを精度よく検出する。
【解決手段】光源を有するランドマーク２００と、ランドマーク２００の発光の時間変化を制御する発光パターン制御手段２０１と、ランドマーク２００を含む画像を撮像する撮像手段１００と、撮像手段１００からの画像を処理しランドマーク２００をその発光パターンに着目して検出する画像処理手段１０１と、画像処理手段１０１で単位時間当りに処理できる画像枚数に応じてランドマーク２００の発光パターンを決定する発光パターン決定手段１０２と、発光パターン決定手段１０２で決定された発光パターンを発光パターン制御手段２０１へ伝達する制御信号送信手段１０３からなり、発光パターン制御手段２０１は、制御信号送信手段１０３から伝達された発光パターンに基づいてランドマーク２００の発光パターンを変更する。
【解決手段】光源を有するランドマーク２００と、ランドマーク２００の発光の時間変化を制御する発光パターン制御手段２０１と、ランドマーク２００を含む画像を撮像する撮像手段１００と、撮像手段１００からの画像を処理しランドマーク２００をその発光パターンに着目して検出する画像処理手段１０１と、画像処理手段１０１で単位時間当りに処理できる画像枚数に応じてランドマーク２００の発光パターンを決定する発光パターン決定手段１０２と、発光パターン決定手段１０２で決定された発光パターンを発光パターン制御手段２０１へ伝達する制御信号送信手段１０３からなり、発光パターン制御手段２０１は、制御信号送信手段１０３から伝達された発光パターンに基づいてランドマーク２００の発光パターンを変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ランドマークの検出を行う装置および方法ならびにプログラムに関する。
【背景技術】
【０００２】
ロボットが環境内においてどの場所にいるのかを算出する自己位置同定や物体の位置を認識するなどの目的で、あらかじめ設計したランドマークを空間上に配置しロボットから観測する方式が知られている。このようなランドマークによる位置認識では、ランドマークの空間的な配置と必要に応じてそのランドマークのＩＤを知る必要がある。ランドマーク検出には、様々なセンサーを用いる方法が考えられる。精度良く空間的配置やＩＤを求めるために、広視野かつ高解像度という特性を持つカメラからの画像情報を用いて、画像解析によってランドマークを検出する方式が有効である。
【０００３】
このような場合、ランドマークには色や図形などの視覚パターンを用いるものや光を反射する反射板などを用いるものがある。さらに、環境中からの検出性能を上げるためにランドマーク自らが発光し、あらかじめ決められたパターンで発光の仕方を時間的に変化するものがある。例えば、ランドマークが時間的に点滅するものや色が周期的に変化するものなどがある。あらかじめ決められたパターンの変化を利用することで、画像中からランドマークの検出を精度良く行うことができる。例えば、ランドマーク候補を検出した際に、ランドマークの領域の時間変化を観測し、時間変化がランドマークの変化パターンと一致するかどうかを判定することで対象とするランドマークか否かの検証に用いたり、時間変化そのものを画像中から検出するなどの方法がある。このような技術を適用する例として、特許文献１には、点滅光源をランドマークとして自己位置同定を行うロボットが開示されている。
【０００４】
なお、関連技術として、特許文献２には、カメラのシャッタが閉時間の画像を求め、この画像とシャッタが開時間の画像とを利用して低フレームレート画像を求め、フレーム間での移動物体の追跡の精度が従来よりも上がり、また、より滑らかな動画像を得ることが可能なフレームレート変換方法および装置が開示されている。
【０００５】
【特許文献１】特開２００４−２１６５５２号公報
【特許文献２】特開２００７−１６６１９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
以下の分析は本発明において与えられる。
【０００７】
従来のランドマークの時間変化を利用したランドマーク検出方式では、単位時間当たりに画像処理を実施する回数が変わると、ランドマークの検出ができない虞がある。例えば、画像処理を実施する処理装置（ＣＰＵなど）で他の処理（音声認識、音声合成、他の画像認識など）を並行して動作させた場合に、処理装置の負荷が大きくなり画像処理に要する時間やカメラから処理装置への画像取り込みに要する時間が延びてしまい、結果として単位時間当たりに画像処理できる回数が減少してしまうことがある。人と対話するロボットでは、このように計算負荷が高い処理を同時に実行する必要な場面が多く、このような問題が発生する。
【０００８】
また他の例としては、カメラ側のパラメータ変更によって画像取り込みのフレームレートが変わる例がある。例えば、ランドマークから離れた場所ではカメラに到達する光量が減少するため、露光時間を延ばして観測する場合には、カメラの撮像のフレームレートを下げることなどがある。このような場合でも、近くに存在するランドマークには短い露光時間で十分なため、近くのランドマークをできるだけ高速に検出するためには露光時間を短くするなどの制御を行う必要があり、フレームレート変動の要因となる。
【０００９】
従来のランドマーク検出方式では、このような状況下で画像処理を行いフレームレートが変化すると、ランドマーク側の時間変化パターンを十分な時間解像度で観測できなくなり特定の時間変化パターンを抽出する方式ではランドマーク検出ができなくなる問題があった。例えば、図１３に示すようにランドマークが点滅をしているとする。このとき十分なフレームレートで処理をすることができれば、点滅パターンで明るい部分（○印）と暗い部分（●印）の双方を観察することができ、点滅を観測することが可能である。しかしながら、図１３に示したフレームレートが低い状態では、明るい部分（○印）しか観測できず、点滅パターンを観測することができない。このような場合、従来の点滅パターンを抽出する方式では、ランドマークを検出することができない。
【００１０】
本発明の目的は、発光パターンに応じて発光する光源であるランドマークを精度よく検出するランドマーク検出装置および方法ならびにプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明の１つのアスペクト（側面）に係るランドマーク検出装置は、発光パターンに応じて発光する光源であるランドマークと、ランドマークを含む画像を撮像する撮像手段と、撮像手段で撮像した画像を処理しランドマークの発光パターンに基づいてランドマークを検出する画像処理手段と、画像処理手段および／または撮像手段の処理能力に応じてランドマークの発光パターンを決定する発光パターン決定手段と、決定された発光パターンに基づいてランドマークの発光パターンを制御する発光パターン制御手段と、を備える。
【００１２】
本発明のランドマーク検出装置において、画像処理手段および／または撮像手段の計算負荷を測定する計算負荷測定手段をさらに備え、発光パターン決定手段は、測定された計算負荷に応じて発光パターンを決定するようにしてもよい。
【００１３】
本発明のランドマーク検出装置において、発光パターン決定手段は、画像処理手段における単位時間当りの処理可能な画像枚数に応じてランドマークの発光パターンを決定するようにしてもよい。
【００１４】
本発明のランドマーク検出装置において、ランドマークおよび撮像手段間の距離を推定するランドマーク距離推定手段をさらに備え、発光パターン決定手段は、ランドマーク距離推定手段で推定した距離に応じて発光パターンを決定するようにしてもよい。
【００１５】
本発明のランドマーク検出装置において、ランドマーク距離推定手段は、複数の距離の候補を推定し、発光パターン決定手段は、複数の距離の候補にそれぞれ対応する発光パターンを順次決定し、決定した発光パターンを発光パターン制御手段へ出力し、発光パターン制御手段は、発光パターンを順に変更するようにしてもよい。
【００１６】
本発明のランドマーク検出装置において、ランドマーク距離推定手段は、過去のランドマーク検出結果と撮像手段の移動量の推定結果とから現在のランドマーク位置を推定することで距離を推定するようにしてもよい。
【００１７】
本発明のランドマーク検出装置において、ランドマーク距離推定手段は、複数箇所の距離を測定する距離測定手段を備え、測定された距離ごとに発光パターンを決定し、決定した発光パターンで順次ランドマークの距離の推定を行うようにしてもよい。
【００１８】
本発明のランドマーク検出装置において、発光パターンは、一定の周期を持つ点滅であって、発光パターン決定手段は、点滅の周期を決定するようにしてもよい。
【００１９】
本発明の他のアスペクト（側面）に係るランドマーク検出方法は、撮像手段を備えるランドマーク検出装置が発光パターンに応じて発光する光源であるランドマークを検出する方法であって、撮像手段がランドマークを含む画像を撮像するステップと、撮像した画像を処理しランドマークの発光パターンに基づいてランドマークを検出するステップと、画像の処理および／または撮像の処理における処理能力に応じてランドマークの発光パターンを決定するステップと、決定された発光パターンに基づいてランドマークの発光パターンを制御するステップと、を含む。
【００２０】
本発明のさらに他のアスペクト（側面）に係るプログラムは、撮像手段を備え、発光パターンに応じて発光する光源であるランドマークを検出するランドマーク検出装置を構成するコンピュータに、ランドマークを含む画像を撮像する処理と、撮像した画像を処理しランドマークの発光パターンに基づいてランドマークを検出する処理と、ランドマークを検出する処理および／または撮像する処理における処理能力に応じてランドマークの発光パターンを決定する処理と、決定された発光パターンに基づいてランドマークの発光パターンを制御する処理と、を実行させる。
【発明の効果】
【００２１】
本発明によれば、画像処理手段および／または撮像手段の処理能力に応じてランドマークの発光パターンを決定するので精度よくランドマークの検出をおこなうことができる。
【発明を実施するための最良の形態】
【００２２】
本発明の実施形態に係るランドマーク検出装置は、光源を有するランドマークと、画像を撮像する撮像手段と、撮像手段からの画像を処理しランドマークをその発光パターンに着目して検出する画像処理手段と、画像処理手段で単位時間あたりに処理できる画像枚数に応じて適切なランドマークの発光パターンを決定する発光パターン決定手段からなり、発光パターンに基づいてランドマークの発光パターンを制御する。
【００２３】
本発明のランドマーク検出装置において、さらに画像処理手段や撮像手段の計算負荷を測定する計算負荷測定手段を備え、計算負荷測定手段の出力を利用して発光パターン決定手段で発光パターンを決定するようにしてもよい。
【００２４】
本発明のランドマーク検出装置において、さらにランドマークと撮像手段との距離を推定するランドマーク距離推定手段を備え、ランドマーク距離推定手段で推定したランドマークまでの距離を利用して発光パターン決定手段で発光パターンを決定するようにしてもよい。
【００２５】
本発明のランドマーク検出装置において、さらに、ランドマーク距離推定手段で複数の距離の候補を出力し、発光パターン決定手段で複数の距離の候補に対応する複数の発光パターンを順次決定し、それらの発光パターンを伝達手段を通じて発光パターン制御手段へ送り、順に変更するようにしてもよい。
【００２６】
本発明のランドマーク検出装置において、発光パターンが一定の周期を持つ点滅であり、発光パターン決定手段で点滅の周期を決定するようにしてもよい。
【００２７】
本発明のランドマーク検出装置において、ランドマーク距離推定手段で、過去のランドマーク検出結果と撮像手段の移動量の推定結果から現在のランドマーク位置を推定することでランドマークとの距離を推定するようにしてもよい。
【００２８】
本発明のランドマーク検出装置において、ランドマーク距離推定手段に、さらに複数箇所の距離を測定する測距手段を備え、測定された距離ごとに発光パターンを決定しそれらの発光パターンで順次ランドマーク観測を行うようにしてもよい。
【００２９】
このようなランドマーク検出装置は、画像処理手段で単位時間あたりに処理できる画像枚数に応じてランドマークの発光パターンの周期を調節することで、ランドマークの変化が十分認識できる分の画像列を画像処理手段に供給することができる。このようなランドマーク検出装置によれば、画像処理手段に十分な時間解像度で画像列が供給されない状況であってもランドマーク検出を行うことができる。
【００３０】
また、本発明によれば、光源の時間変化を利用した画像ランドマーク検出において、計算機負荷などによって単位時間あたりに処理できる画像枚数が変化した場合であっても精度よくランドマーク検出をおこなうことができる。すなわち、ランドマーク検出を行う画像処理の単位時間当たりの実行回数に応じてランドマーク変化の周期を変えることで、ランドマークの時間変化に対して十分な時間解像度で観測を行うことができる。したがって、観測されたランドマークの時間変化があらかじめ設定されたパターンと一致するかどうかの判定を精度良く行うことができる。例えば、画像処理の単位時間当たりの実行回数が減少したら、その減少に応じてランドマーク変化の周期を遅くすることで、遅いサンプリングレートでもランドマーク変化を十分観測することができる。ランドマーク変化が点滅の場合の例を図１２に示す。フレームレートが低い場合であっても、○●印のように観測点が設定され、ランドマークの時間変化を十分捉えることができる。
【００３１】
以下、種々の実施形態について図面を参照して詳細に説明する。
【００３２】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係るランドマーク検出装置の構成を示す図である。図１において、ランドマーク検出装置は、光源を有するランドマーク２００と、ランドマーク２００の発光パターンを制御する発光パターン制御手段２０１と、ランドマーク２００を含む画像を撮像する撮像手段１００と、撮像手段１００からの画像を処理しランドマーク２００をその発光パターンに着目して検出する画像処理手段１０１と、画像処理手段１０１で単位時間あたりに処理できる画像枚数に応じて適切なランドマークの発光パターンを決定する発光パターン決定手段１０２と、発光パターン決定手段１０２で決定された発光パターンを発光パターン制御手段２０１へ伝達する制御信号送信手段１０３と、を備える。
【００３３】
ランドマーク２００は、発光する機能を有するもので、ＬＥＤや電球などからなる。また、ランドマーク２００は、点滅や色が周期的に変化するなどといった決められた発光パターンを繰り返す。この場合、可視光だけでなく赤外線や紫外線などを発光するものであっても構わない。
【００３４】
発光パターン制御手段２０１は、制御信号送信手段１０３からの情報に基づいてランドマーク２００の発光パターンを制御するもので、例えば点滅の周期の変更などを行う。
【００３５】
撮像手段１００は、ＣＣＤやＣＭＯＳ等で構成されるカメラからなり、ランドマーク２００を含む撮像した画像を画像処理手段１０１へ渡す。
【００３６】
画像処理手段１０１は、撮像手段１００から得た画像を元にランドマーク２００を検出する画像処理を行う。例えば、ランドマーク２００があらかじめわかっている一定の周期ｃ［Ｈｚ］で点滅をしている場合は、１／２ｃ［秒］に一枚のフレームレートで取得した画像列ｉｍ［ｎ］（ｎ＝０、１、２、・・・）に対し、時間的に隣接する画像間、ｉｍ［ｉ］とｉｍ［ｉ＋１］の差分画像ｄｆ［ｉ］を算出し、ｄｆ［ｉ］、ｄｆ［ｉ＋１］で符号が反対となる小領域をランドマークとして検出する方式などが考えられる。その他にも、差分画像の絶対値が閾値以上である領域の時間変化を数フレームにわたって観測し、フーリエ変換等を用いて領域の輝度値の変化の周期がｃ［Ｈｚ］である領域をランドマーク２００として検出する方式などを用いてもよい。
【００３７】
発光パターン決定手段１０２は、撮像手段１００および画像処理手段１０１から情報を受け取り、取得され処理される画像のフレームレートに応じて発光パターンを決定する。例えば、ＣＰＵで他の処理の負荷が大きくなり撮像手段１００から画像処理手段１０１へ供給される画像のフレームレートがｐ［枚／秒］からｑ［枚／秒］（ｐ＞ｑ）となる場合には、ランドマーク２００の点滅の周期をｐ／２［Ｈｚ］からｑ／２［Ｈｚ］へと変化させる。撮像手段１００から画像処理手段１０１への画像転送以外にも画像処理手段１０１での処理自体が遅くなり、処理できる画像のフレームレートがｐ［枚／秒］からｑ［枚／秒］（ｐ＞ｑ）となる場合も同様である。
【００３８】
制御信号送信手段１０３は、発光パターン決定手段１０２で決定された発光パターンの情報を発光パターン制御手段２０１へ伝達する機能を持ち、例えば電波や赤外線を送信する通信手段などで構成される。通信手段は、電磁波等を用いた無線通信でもよいし、光信号、電気信号等を用いた有線通信であってもよい。
【００３９】
なお、以上のようなランドマーク検出装置は、図示されないＣＰＵを内蔵し、画像処理手段１０１、撮像手段１００の一部、発光パターン決定手段１０２の一部または全ての処理をＣＰＵに実行させるプログラムとして実現するようにしてもよい。
【００４０】
次に、図２に示されたフローチャートを参照しながらランドマーク検出装置の動作手順を説明する。図２において、まず撮像手段１００で撮像した映像から画像処理手段１０１で周期ａ［Ｈｚ］で点滅している点滅領域の位置を検出する（ステップＳ１１）。
【００４１】
また、カメラのフレームレートが変化したかを判断し（ステップＳ１２）、変化していなければ再びランドマーク検出を行う（ステップＳ１１）。変化している場合は、新しいフレームレートに応じて発光パターン決定手段１０２で発光パターンを決定する。例えば、ランドマークが点滅するものであれば、点滅周期ｂ［Ｈｚ］と決定する（ステップＳ１３）。
【００４２】
さらに、画像処理手段１０１で新たな点滅周期ｂ［Ｈｚ］を検出するようにパラメータを変更する（ａ［Ｈｚ］＝ｂ［Ｈｚ］とする）（ステップＳ１４）。
【００４３】
次に、制御信号送信手段１０３から発光パターン制御手段２０１へ新たな点滅周期を送信する（ステップＳ１５）。
【００４４】
そして、発光パターン制御手段２０１で受信した周期にランドマーク２００の点滅を変え（ステップＳ１６）、再度ランドマーク検出を行う（ステップＳ１１）。
【００４５】
ランドマーク検出装置は、以上のように動作することで、計算負荷などの影響で画像処理のフレームレートが変化した場合であってもランドマーク検出を行うことができる。
【００４６】
（第２の実施の形態） ［計算負荷に応じてパターンを変える形態］
図３は、本発明の第２の実施の形態に係るランドマーク検出装置の構成を示す図である。図３において、ランドマーク検出装置は、第１の実施の形態に係るランドマーク検出装置に加え、画像処理手段１０１および／または撮像手段１００の計算負荷を測定する計算負荷測定手段１０４を備える。発光パターン決定手段１０２ａは、計算負荷測定手段１０４の出力を元に発光パターンを決定する。
【００４７】
計算負荷測定手段１０４は、例えばＣＰＵの負荷を計測するものであって、その時点でＣＰＵによって処理されているタスクの数から負荷を計算する方法や、タスクのスケジュールを利用して直後の負荷を予測する方法などがある。例えば、単位時間あたりの処理量が多い処理がスケジュールされたかどうかで直後の負荷を予測することができる。具体的には、例えば対話ロボットにおいて音声認識や顔認識の処理などは負荷が非常に高いことが多いが、このような負荷が高い処理が実行されるときには、計算負荷が高いと判断する方法なども適応できる。タスクのスケジュールを利用することで実際に計算負荷が上がる前にランドマークへの指令を発することができ、発光パターンの切り替えをすばやく行うことができる。
【００４８】
発光パターン決定手段１０２ａは、計算負荷測定手段１０４で得られた計算負荷に応じて発光パターンを変えるもので、例えば、計算負荷が高くフレームレートが低下すると予想される場合は、第１の実施の形態と同様に低下すると予想されるフレームレート値に応じた発光周期を発光パターンとして決定する。
【００４９】
次に、図４に示されたフローチャートを参照しながら本発明の第２の実施の形態に係るランドマーク検出装置の動作手順を説明する。図４において、まず撮像手段１００で撮像した映像から画像処理手段１０１で周期ａ［Ｈｚ］で点滅している点滅領域の位置を検出する（ステップＳ２１）。
【００５０】
計算負荷測定手段１０４で計算負荷が変化したかを判断し（ステップＳ２２）、変化していなければまたランドマーク検出を行う（ステップＳ２１）。変化している場合は、その計算負荷からに応じて発光パターン決定手段１０２ａで発光パターンを決定する。例えばランドマーク２００が点滅するものであれば点滅周期ｂ［Ｈｚ］と決定する（ステップＳ２３）。
【００５１】
さらに、画像処理手段１０１で新たな点滅周期ｂ［Ｈｚ］を検出するようにパラメータを変更する（ａ［Ｈｚ］＝ｂ［Ｈｚ］とする）（ステップＳ２４）。
【００５２】
次に、制御信号送信手段１０３から発光パターン制御手段２０１へ新たな点滅周期を送信する（ステップＳ２５）。
【００５３】
そして、発光パターン制御手段２０１で受信した周期にランドマーク２００の点滅を変え（ステップＳ２６）、再度ランドマーク検出を行う（ステップＳ２１）。
【００５４】
ランドマーク検出装置は、以上のように動作することで、計算負荷などの影響で画像処理のフレームレートが変化した場合であってもランドマーク検出を行うことができる。また、タスクのスケジュールを利用し負荷を推定する方式では、実際に計算負荷が上がる前にランドマークへの指令を発することができ、発光パターンの切り替えをすばやく行うことができるため、ランドマーク検出処理を高速に行うことができる。
【００５５】
（第３の実施の形態）［ランドマークとの距離に応じてパターンを変える形態］
図５は、本発明の第３の実施の形態に係るランドマーク検出装置の構成を示す図である。図５において、ランドマーク検出装置は、第１の実施の形態に加え、ランドマーク２００と撮像手段１００間の距離を推定するランドマーク距離推定手段１０５を備える。発光パターン決定手段１０２ｂは、ランドマーク距離推定手段１０５で推定したランドマークまでの距離を元に発光パターンを決定する。
【００５６】
ランドマーク距離推定手段１０５は、撮像手段１００からランドマーク２００までの距離を推定するものであって、例えば、以前観測したランドマークの距離を元に現在のランドマークの位置を予想することで距離を推定する方法や、レーザーレンジファインダや複数カメラによるステレオ視などの測距手段を用いてランドマークまでの距離を測る方法などで実現される。
【００５７】
発光パターン決定手段１０２ｂは、ランドマーク距離推定手段１０５で推定されたランドマーク２００までの距離に基づいて発光パターンを決める。例えば、距離が大きい場合は変化の周期を長くするとともに撮像手段１００の露光時間を延ばし、その露光時間に応じてフレームレートが変わる場合は画像処理手段１０１で想定しているフレームレートを変化させるなどとする。
【００５８】
次に図６に示されたフローチャートを参照しながら本発明の第３の実施の形態に係るランドマーク検出装置の動作手順を説明する。図６において、まず撮像手段１００で撮像した映像から画像処理手段１０１で周期ａ［Ｈｚ］で点滅している点滅領域の位置を検出する（ステップＳ３１）。
【００５９】
ランドマーク距離推定手段１０５でランドマーク２００との距離を推定する（ステップＳ３２）。
【００６０】
そして、推定距離に応じて発光パターン決定手段１０２ｂで発光パターンを決定する。例えばランドマーク２００が点滅するものであれば点滅周期ｂ［Ｈｚ］と決定する（ステップＳ３３）。
【００６１】
さらに、画像処理手段１０１で新たな点滅周期ｂ［Ｈｚ］を検出するようにパラメータを変更する（ａ［Ｈｚ］＝ｂ［Ｈｚ］とする）（ステップＳ３４）。
【００６２】
次に、制御信号送信手段１０３から発光パターン制御手段２０１へ新たな点滅周期を送信する（ステップＳ３５）。
【００６３】
そして、発光パターン制御手段２０１で受信した周期になるようにランドマーク２００の点滅周期を変え（ステップＳ３６）、再度ランドマーク検出を行う（ステップＳ３１）。
【００６４】
ランドマーク検出装置は、以上のように動作することで、ランドマーク２００が撮像手段１００から遠くに存在する場合であってもランドマーク２００の位置を検出することができる。
【００６５】
（第４の実施の形態）［距離クラスタリングによる形態］
図７は、本発明の第４の実施の形態に係るランドマーク検出装置の構成を示す図である。図７において、ランドマーク検出装置は、図５に示すランドマーク検出装置と同じ構成を有する。さらに、ランドマーク距離推定手段１０５は、対象とされる環境内の距離を測定する距離測定手段１０６と測定された複数地点の距離をクラスタリングする距離クラスタリング手段１０７とを備える。ランドマーク距離推定手段１０５で、複数の距離の候補を出力し、発光パターン決定手段１０２ｂで複数の距離に対応する複数の発光パターンを順次決定し、発光パターンの変更および観測を行う。
【００６６】
ランドマーク距離推定手段１０５は、例えば、以前観測したランドマークの距離を元に現在のランドマークの位置を予想することで距離を推定する。この場合、以前観測した複数のランドマークの距離をそれぞれ距離の候補とするようにしてもよい。
【００６７】
以前観測したランドマークの距離を元に現在のランドマークの位置を予想することで距離を推定する方式において、例えば、以前観測したランドマークの位置にロボットの移動ベクトルを加算することで現在のロボットとランドマークの位置を算出し距離を算出する方式としてもよい。この場合、ロボットの移動ベクトルの不確実性からランドマークがありそうな位置の範囲を推定し、推定した範囲をカバーするような距離を候補としてもよい。このとき、ロボットの移動ベクトルの不確実性の表現方法としては、移動ベクトルが正しいものである確率の確率分布で表現するなどがある。この場合、範囲は確率の値が一定値以上の領域を移動ベクトルが存在しうる候補とし、その候補を以前の観測のランドマークに加算することで候補を求める方法がある。
【００６８】
また、距離測定手段１０６を利用し対象となる環境でのロボットからの距離マップを作成し、作成した距離マップを距離でクラスタリングし、それぞれの距離を候補としてもよい。図８を用いて動作を詳細に説明する。図８（ａ）に示すような状況でカメラ画像を用いてランドマークを検出する。このとき、図８（ｂ）に示したようなカメラ画像となっている。この時点ではランドマークまでの距離はわからないので、適切な露光時間を決定することはできない。そこでカメラの画角内に対応する環境の３次元形状を測定することで、図８（ｃ）に示す距離マップを作成する。３次元形状の測定には、レーザーレンジファインダを用いる方法や複数カメラによるステレオ視を用いる方法などの各種の測距手段を用いることができる。このようにして距離マップを作成し、露光時間が一定となる距離範囲毎にクラスタリングを行い（例えば、図８（ｃ）の右側の図における距離候補領域１、２）、それぞれのクラスタの距離を候補として出力する。
【００６９】
次に、図９に示すフローチャートを参照しながら本発明の第４の実施の形態に係るランドマーク検出装置の動作手順を説明する。図９において、まずランドマーク距離推定手段１０５でランドマーク２００が存在する距離の候補を推定する。このときの候補の数をＮ個とする（ステップＳ４１）。以下、それぞれの候補に対する処理を行う。まずｎ＝１とし（ステップＳ４２）、ｎ番目の候補の距離について、ランドマーク撮像に必要な露光時間を決定し、その露光時間を満たすようなカメラフレームレートｆを算出する（ステップＳ４３）。
【００７０】
次に、カメラのフレームレートをｆに変更する（ステップＳ４４）。
【００７１】
さらに、フレームレートｆに応じて発光パターン決定手段１０２ｂでランドマーク２００の点滅周期ｂ［Ｈｚ］を決定する（ステップＳ４５）。
【００７２】
次に、画像処理手段１０１で新たな点滅周期ｂ［Ｈｚ］を検出するようにパラメータを変更する（ステップＳ４６）。
【００７３】
また、制御信号送信手段１０３から発光パターン制御手段２０１へ新たな点滅周期を送信する（ステップＳ４７）。
【００７４】
次に、発光パターン制御手段２０１で受信した周期に従ってランドマーク２００の点滅を変える（ステップＳ４８）。
【００７５】
さらに、撮像手段１００で撮像した映像から画像処理手段１０１で周期ｂ［Ｈｚ］で点滅している点滅領域の位置を検出する（ステップＳ４９）。このとき距離カテゴリｎに属する領域のみを検出の対象とする。
【００７６】
次に、ｎがＮ（Ｎは１以上の整数）でなければ（ステップＳ５０のＮｏ）、ｎ＝ｎ＋１とし（ステップＳ５１）、ステップＳ４３の処理へ戻る。ｎ＝Ｎであれば（ステップＳ５０のＹｅｓ）、全ての候補を処理したことになり、それぞれの距離候補でのランドマーク検出結果を統合してランドマーク位置を決定する（ステップＳ５２）。統合は、例えばそれぞれの距離候補でランドマーク検出があった場合は、ランドマーク検出の尤度が一番高いものをランドマーク検出結果とするなどの方法がある。
【００７７】
なお、ステップＳ４１で示した距離候補を検出する処理は、図１０に示すように、まず、測距手段で、距離画像を得て（ステップＳ６１）、距離画像をあらかじめ決められた距離範囲（図１１などを例とする）で領域分割し、それぞれを距離候補とする（ステップＳ６２）。
【００７８】
ランドマーク検出装置は、以上のように動作することで、ランドマークが撮像手段から様々な距離に存在するランドマークを検出することができる。これはカメラの露光を変えることで広いダイナミックレンジでランドマークからの光を観測することができるので、近くにランドマークがある場合から遠くにある場合までランドマーク検出が可能となるからである。
【産業上の利用可能性】
【００７９】
本発明は、ランドマークを検出して利用するロボットに適用できる。そのようなものには、例えば、物体にランドマークをつけて物体の位置を検出するロボットや環境中にあらかじめ測定した位置にランドマークを配置することで環境に対するロボットの位置や方位を算出するロボットなどがある。その他にも自動車や飛行機などの移動体・飛翔体などでランドマークを検出することで位置を補正するシステムなどにも適用できる。
【００８０】
なお、前述の特許文献等の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
【図面の簡単な説明】
【００８１】
【図１】本発明の第１の実施の形態に係るランドマーク検出装置の構成を示すブロック図。
【図２】本発明の第１の実施の形態に係るランドマーク検出装置の動作を示す流れ図。
【図３】本発明の第２の実施の形態に係るランドマーク検出装置の構成を示すブロック図。
【図４】本発明の第２の実施の形態に係るランドマーク検出装置の動作を示す流れ図。
【図５】本発明の第３の実施の形態に係るランドマーク検出装置の構成を示すブロック図。
【図６】本発明の第３の実施の形態に係るランドマーク検出装置の動作を示す流れ図。
【図７】本発明の第４の実施の形態に係るランドマーク検出装置の構成を示すブロック図。
【図８】本発明の第４の実施の形態に係るランドマーク検出装置の動作原理を示す図。
【図９】本発明の第４の実施の形態に係るランドマーク検出装置の動作を示す流れ図。
【図１０】ステップＳ４１の詳細を示す流れ図。
【図１１】本発明の第４の実施の形態に係るランドマーク検出装置で利用するパラメータを示す図。
【図１２】本発明の動作原理を示す図。
【図１３】従来技術における問題点を示す図。
【符号の説明】
【００８２】
１００ 撮像手段
１０１ 画像処理手段
１０２、１０２ａ、１０２ｂ 発光パターン決定手段
１０３ 制御信号送信手段
１０４ 計算負荷測定手段
１０５ ランドマーク距離推定手段
１０６ 距離測定手段
１０７ 距離クラスタリング手段
２００ ランドマーク
２０１ 発光パターン制御手段
【技術分野】
【０００１】
本発明は、ランドマークの検出を行う装置および方法ならびにプログラムに関する。
【背景技術】
【０００２】
ロボットが環境内においてどの場所にいるのかを算出する自己位置同定や物体の位置を認識するなどの目的で、あらかじめ設計したランドマークを空間上に配置しロボットから観測する方式が知られている。このようなランドマークによる位置認識では、ランドマークの空間的な配置と必要に応じてそのランドマークのＩＤを知る必要がある。ランドマーク検出には、様々なセンサーを用いる方法が考えられる。精度良く空間的配置やＩＤを求めるために、広視野かつ高解像度という特性を持つカメラからの画像情報を用いて、画像解析によってランドマークを検出する方式が有効である。
【０００３】
このような場合、ランドマークには色や図形などの視覚パターンを用いるものや光を反射する反射板などを用いるものがある。さらに、環境中からの検出性能を上げるためにランドマーク自らが発光し、あらかじめ決められたパターンで発光の仕方を時間的に変化するものがある。例えば、ランドマークが時間的に点滅するものや色が周期的に変化するものなどがある。あらかじめ決められたパターンの変化を利用することで、画像中からランドマークの検出を精度良く行うことができる。例えば、ランドマーク候補を検出した際に、ランドマークの領域の時間変化を観測し、時間変化がランドマークの変化パターンと一致するかどうかを判定することで対象とするランドマークか否かの検証に用いたり、時間変化そのものを画像中から検出するなどの方法がある。このような技術を適用する例として、特許文献１には、点滅光源をランドマークとして自己位置同定を行うロボットが開示されている。
【０００４】
なお、関連技術として、特許文献２には、カメラのシャッタが閉時間の画像を求め、この画像とシャッタが開時間の画像とを利用して低フレームレート画像を求め、フレーム間での移動物体の追跡の精度が従来よりも上がり、また、より滑らかな動画像を得ることが可能なフレームレート変換方法および装置が開示されている。
【０００５】
【特許文献１】特開２００４−２１６５５２号公報
【特許文献２】特開２００７−１６６１９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
以下の分析は本発明において与えられる。
【０００７】
従来のランドマークの時間変化を利用したランドマーク検出方式では、単位時間当たりに画像処理を実施する回数が変わると、ランドマークの検出ができない虞がある。例えば、画像処理を実施する処理装置（ＣＰＵなど）で他の処理（音声認識、音声合成、他の画像認識など）を並行して動作させた場合に、処理装置の負荷が大きくなり画像処理に要する時間やカメラから処理装置への画像取り込みに要する時間が延びてしまい、結果として単位時間当たりに画像処理できる回数が減少してしまうことがある。人と対話するロボットでは、このように計算負荷が高い処理を同時に実行する必要な場面が多く、このような問題が発生する。
【０００８】
また他の例としては、カメラ側のパラメータ変更によって画像取り込みのフレームレートが変わる例がある。例えば、ランドマークから離れた場所ではカメラに到達する光量が減少するため、露光時間を延ばして観測する場合には、カメラの撮像のフレームレートを下げることなどがある。このような場合でも、近くに存在するランドマークには短い露光時間で十分なため、近くのランドマークをできるだけ高速に検出するためには露光時間を短くするなどの制御を行う必要があり、フレームレート変動の要因となる。
【０００９】
従来のランドマーク検出方式では、このような状況下で画像処理を行いフレームレートが変化すると、ランドマーク側の時間変化パターンを十分な時間解像度で観測できなくなり特定の時間変化パターンを抽出する方式ではランドマーク検出ができなくなる問題があった。例えば、図１３に示すようにランドマークが点滅をしているとする。このとき十分なフレームレートで処理をすることができれば、点滅パターンで明るい部分（○印）と暗い部分（●印）の双方を観察することができ、点滅を観測することが可能である。しかしながら、図１３に示したフレームレートが低い状態では、明るい部分（○印）しか観測できず、点滅パターンを観測することができない。このような場合、従来の点滅パターンを抽出する方式では、ランドマークを検出することができない。
【００１０】
本発明の目的は、発光パターンに応じて発光する光源であるランドマークを精度よく検出するランドマーク検出装置および方法ならびにプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明の１つのアスペクト（側面）に係るランドマーク検出装置は、発光パターンに応じて発光する光源であるランドマークと、ランドマークを含む画像を撮像する撮像手段と、撮像手段で撮像した画像を処理しランドマークの発光パターンに基づいてランドマークを検出する画像処理手段と、画像処理手段および／または撮像手段の処理能力に応じてランドマークの発光パターンを決定する発光パターン決定手段と、決定された発光パターンに基づいてランドマークの発光パターンを制御する発光パターン制御手段と、を備える。
【００１２】
本発明のランドマーク検出装置において、画像処理手段および／または撮像手段の計算負荷を測定する計算負荷測定手段をさらに備え、発光パターン決定手段は、測定された計算負荷に応じて発光パターンを決定するようにしてもよい。
【００１３】
本発明のランドマーク検出装置において、発光パターン決定手段は、画像処理手段における単位時間当りの処理可能な画像枚数に応じてランドマークの発光パターンを決定するようにしてもよい。
【００１４】
本発明のランドマーク検出装置において、ランドマークおよび撮像手段間の距離を推定するランドマーク距離推定手段をさらに備え、発光パターン決定手段は、ランドマーク距離推定手段で推定した距離に応じて発光パターンを決定するようにしてもよい。
【００１５】
本発明のランドマーク検出装置において、ランドマーク距離推定手段は、複数の距離の候補を推定し、発光パターン決定手段は、複数の距離の候補にそれぞれ対応する発光パターンを順次決定し、決定した発光パターンを発光パターン制御手段へ出力し、発光パターン制御手段は、発光パターンを順に変更するようにしてもよい。
【００１６】
本発明のランドマーク検出装置において、ランドマーク距離推定手段は、過去のランドマーク検出結果と撮像手段の移動量の推定結果とから現在のランドマーク位置を推定することで距離を推定するようにしてもよい。
【００１７】
本発明のランドマーク検出装置において、ランドマーク距離推定手段は、複数箇所の距離を測定する距離測定手段を備え、測定された距離ごとに発光パターンを決定し、決定した発光パターンで順次ランドマークの距離の推定を行うようにしてもよい。
【００１８】
本発明のランドマーク検出装置において、発光パターンは、一定の周期を持つ点滅であって、発光パターン決定手段は、点滅の周期を決定するようにしてもよい。
【００１９】
本発明の他のアスペクト（側面）に係るランドマーク検出方法は、撮像手段を備えるランドマーク検出装置が発光パターンに応じて発光する光源であるランドマークを検出する方法であって、撮像手段がランドマークを含む画像を撮像するステップと、撮像した画像を処理しランドマークの発光パターンに基づいてランドマークを検出するステップと、画像の処理および／または撮像の処理における処理能力に応じてランドマークの発光パターンを決定するステップと、決定された発光パターンに基づいてランドマークの発光パターンを制御するステップと、を含む。
【００２０】
本発明のさらに他のアスペクト（側面）に係るプログラムは、撮像手段を備え、発光パターンに応じて発光する光源であるランドマークを検出するランドマーク検出装置を構成するコンピュータに、ランドマークを含む画像を撮像する処理と、撮像した画像を処理しランドマークの発光パターンに基づいてランドマークを検出する処理と、ランドマークを検出する処理および／または撮像する処理における処理能力に応じてランドマークの発光パターンを決定する処理と、決定された発光パターンに基づいてランドマークの発光パターンを制御する処理と、を実行させる。
【発明の効果】
【００２１】
本発明によれば、画像処理手段および／または撮像手段の処理能力に応じてランドマークの発光パターンを決定するので精度よくランドマークの検出をおこなうことができる。
【発明を実施するための最良の形態】
【００２２】
本発明の実施形態に係るランドマーク検出装置は、光源を有するランドマークと、画像を撮像する撮像手段と、撮像手段からの画像を処理しランドマークをその発光パターンに着目して検出する画像処理手段と、画像処理手段で単位時間あたりに処理できる画像枚数に応じて適切なランドマークの発光パターンを決定する発光パターン決定手段からなり、発光パターンに基づいてランドマークの発光パターンを制御する。
【００２３】
本発明のランドマーク検出装置において、さらに画像処理手段や撮像手段の計算負荷を測定する計算負荷測定手段を備え、計算負荷測定手段の出力を利用して発光パターン決定手段で発光パターンを決定するようにしてもよい。
【００２４】
本発明のランドマーク検出装置において、さらにランドマークと撮像手段との距離を推定するランドマーク距離推定手段を備え、ランドマーク距離推定手段で推定したランドマークまでの距離を利用して発光パターン決定手段で発光パターンを決定するようにしてもよい。
【００２５】
本発明のランドマーク検出装置において、さらに、ランドマーク距離推定手段で複数の距離の候補を出力し、発光パターン決定手段で複数の距離の候補に対応する複数の発光パターンを順次決定し、それらの発光パターンを伝達手段を通じて発光パターン制御手段へ送り、順に変更するようにしてもよい。
【００２６】
本発明のランドマーク検出装置において、発光パターンが一定の周期を持つ点滅であり、発光パターン決定手段で点滅の周期を決定するようにしてもよい。
【００２７】
本発明のランドマーク検出装置において、ランドマーク距離推定手段で、過去のランドマーク検出結果と撮像手段の移動量の推定結果から現在のランドマーク位置を推定することでランドマークとの距離を推定するようにしてもよい。
【００２８】
本発明のランドマーク検出装置において、ランドマーク距離推定手段に、さらに複数箇所の距離を測定する測距手段を備え、測定された距離ごとに発光パターンを決定しそれらの発光パターンで順次ランドマーク観測を行うようにしてもよい。
【００２９】
このようなランドマーク検出装置は、画像処理手段で単位時間あたりに処理できる画像枚数に応じてランドマークの発光パターンの周期を調節することで、ランドマークの変化が十分認識できる分の画像列を画像処理手段に供給することができる。このようなランドマーク検出装置によれば、画像処理手段に十分な時間解像度で画像列が供給されない状況であってもランドマーク検出を行うことができる。
【００３０】
また、本発明によれば、光源の時間変化を利用した画像ランドマーク検出において、計算機負荷などによって単位時間あたりに処理できる画像枚数が変化した場合であっても精度よくランドマーク検出をおこなうことができる。すなわち、ランドマーク検出を行う画像処理の単位時間当たりの実行回数に応じてランドマーク変化の周期を変えることで、ランドマークの時間変化に対して十分な時間解像度で観測を行うことができる。したがって、観測されたランドマークの時間変化があらかじめ設定されたパターンと一致するかどうかの判定を精度良く行うことができる。例えば、画像処理の単位時間当たりの実行回数が減少したら、その減少に応じてランドマーク変化の周期を遅くすることで、遅いサンプリングレートでもランドマーク変化を十分観測することができる。ランドマーク変化が点滅の場合の例を図１２に示す。フレームレートが低い場合であっても、○●印のように観測点が設定され、ランドマークの時間変化を十分捉えることができる。
【００３１】
以下、種々の実施形態について図面を参照して詳細に説明する。
【００３２】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係るランドマーク検出装置の構成を示す図である。図１において、ランドマーク検出装置は、光源を有するランドマーク２００と、ランドマーク２００の発光パターンを制御する発光パターン制御手段２０１と、ランドマーク２００を含む画像を撮像する撮像手段１００と、撮像手段１００からの画像を処理しランドマーク２００をその発光パターンに着目して検出する画像処理手段１０１と、画像処理手段１０１で単位時間あたりに処理できる画像枚数に応じて適切なランドマークの発光パターンを決定する発光パターン決定手段１０２と、発光パターン決定手段１０２で決定された発光パターンを発光パターン制御手段２０１へ伝達する制御信号送信手段１０３と、を備える。
【００３３】
ランドマーク２００は、発光する機能を有するもので、ＬＥＤや電球などからなる。また、ランドマーク２００は、点滅や色が周期的に変化するなどといった決められた発光パターンを繰り返す。この場合、可視光だけでなく赤外線や紫外線などを発光するものであっても構わない。
【００３４】
発光パターン制御手段２０１は、制御信号送信手段１０３からの情報に基づいてランドマーク２００の発光パターンを制御するもので、例えば点滅の周期の変更などを行う。
【００３５】
撮像手段１００は、ＣＣＤやＣＭＯＳ等で構成されるカメラからなり、ランドマーク２００を含む撮像した画像を画像処理手段１０１へ渡す。
【００３６】
画像処理手段１０１は、撮像手段１００から得た画像を元にランドマーク２００を検出する画像処理を行う。例えば、ランドマーク２００があらかじめわかっている一定の周期ｃ［Ｈｚ］で点滅をしている場合は、１／２ｃ［秒］に一枚のフレームレートで取得した画像列ｉｍ［ｎ］（ｎ＝０、１、２、・・・）に対し、時間的に隣接する画像間、ｉｍ［ｉ］とｉｍ［ｉ＋１］の差分画像ｄｆ［ｉ］を算出し、ｄｆ［ｉ］、ｄｆ［ｉ＋１］で符号が反対となる小領域をランドマークとして検出する方式などが考えられる。その他にも、差分画像の絶対値が閾値以上である領域の時間変化を数フレームにわたって観測し、フーリエ変換等を用いて領域の輝度値の変化の周期がｃ［Ｈｚ］である領域をランドマーク２００として検出する方式などを用いてもよい。
【００３７】
発光パターン決定手段１０２は、撮像手段１００および画像処理手段１０１から情報を受け取り、取得され処理される画像のフレームレートに応じて発光パターンを決定する。例えば、ＣＰＵで他の処理の負荷が大きくなり撮像手段１００から画像処理手段１０１へ供給される画像のフレームレートがｐ［枚／秒］からｑ［枚／秒］（ｐ＞ｑ）となる場合には、ランドマーク２００の点滅の周期をｐ／２［Ｈｚ］からｑ／２［Ｈｚ］へと変化させる。撮像手段１００から画像処理手段１０１への画像転送以外にも画像処理手段１０１での処理自体が遅くなり、処理できる画像のフレームレートがｐ［枚／秒］からｑ［枚／秒］（ｐ＞ｑ）となる場合も同様である。
【００３８】
制御信号送信手段１０３は、発光パターン決定手段１０２で決定された発光パターンの情報を発光パターン制御手段２０１へ伝達する機能を持ち、例えば電波や赤外線を送信する通信手段などで構成される。通信手段は、電磁波等を用いた無線通信でもよいし、光信号、電気信号等を用いた有線通信であってもよい。
【００３９】
なお、以上のようなランドマーク検出装置は、図示されないＣＰＵを内蔵し、画像処理手段１０１、撮像手段１００の一部、発光パターン決定手段１０２の一部または全ての処理をＣＰＵに実行させるプログラムとして実現するようにしてもよい。
【００４０】
次に、図２に示されたフローチャートを参照しながらランドマーク検出装置の動作手順を説明する。図２において、まず撮像手段１００で撮像した映像から画像処理手段１０１で周期ａ［Ｈｚ］で点滅している点滅領域の位置を検出する（ステップＳ１１）。
【００４１】
また、カメラのフレームレートが変化したかを判断し（ステップＳ１２）、変化していなければ再びランドマーク検出を行う（ステップＳ１１）。変化している場合は、新しいフレームレートに応じて発光パターン決定手段１０２で発光パターンを決定する。例えば、ランドマークが点滅するものであれば、点滅周期ｂ［Ｈｚ］と決定する（ステップＳ１３）。
【００４２】
さらに、画像処理手段１０１で新たな点滅周期ｂ［Ｈｚ］を検出するようにパラメータを変更する（ａ［Ｈｚ］＝ｂ［Ｈｚ］とする）（ステップＳ１４）。
【００４３】
次に、制御信号送信手段１０３から発光パターン制御手段２０１へ新たな点滅周期を送信する（ステップＳ１５）。
【００４４】
そして、発光パターン制御手段２０１で受信した周期にランドマーク２００の点滅を変え（ステップＳ１６）、再度ランドマーク検出を行う（ステップＳ１１）。
【００４５】
ランドマーク検出装置は、以上のように動作することで、計算負荷などの影響で画像処理のフレームレートが変化した場合であってもランドマーク検出を行うことができる。
【００４６】
（第２の実施の形態） ［計算負荷に応じてパターンを変える形態］
図３は、本発明の第２の実施の形態に係るランドマーク検出装置の構成を示す図である。図３において、ランドマーク検出装置は、第１の実施の形態に係るランドマーク検出装置に加え、画像処理手段１０１および／または撮像手段１００の計算負荷を測定する計算負荷測定手段１０４を備える。発光パターン決定手段１０２ａは、計算負荷測定手段１０４の出力を元に発光パターンを決定する。
【００４７】
計算負荷測定手段１０４は、例えばＣＰＵの負荷を計測するものであって、その時点でＣＰＵによって処理されているタスクの数から負荷を計算する方法や、タスクのスケジュールを利用して直後の負荷を予測する方法などがある。例えば、単位時間あたりの処理量が多い処理がスケジュールされたかどうかで直後の負荷を予測することができる。具体的には、例えば対話ロボットにおいて音声認識や顔認識の処理などは負荷が非常に高いことが多いが、このような負荷が高い処理が実行されるときには、計算負荷が高いと判断する方法なども適応できる。タスクのスケジュールを利用することで実際に計算負荷が上がる前にランドマークへの指令を発することができ、発光パターンの切り替えをすばやく行うことができる。
【００４８】
発光パターン決定手段１０２ａは、計算負荷測定手段１０４で得られた計算負荷に応じて発光パターンを変えるもので、例えば、計算負荷が高くフレームレートが低下すると予想される場合は、第１の実施の形態と同様に低下すると予想されるフレームレート値に応じた発光周期を発光パターンとして決定する。
【００４９】
次に、図４に示されたフローチャートを参照しながら本発明の第２の実施の形態に係るランドマーク検出装置の動作手順を説明する。図４において、まず撮像手段１００で撮像した映像から画像処理手段１０１で周期ａ［Ｈｚ］で点滅している点滅領域の位置を検出する（ステップＳ２１）。
【００５０】
計算負荷測定手段１０４で計算負荷が変化したかを判断し（ステップＳ２２）、変化していなければまたランドマーク検出を行う（ステップＳ２１）。変化している場合は、その計算負荷からに応じて発光パターン決定手段１０２ａで発光パターンを決定する。例えばランドマーク２００が点滅するものであれば点滅周期ｂ［Ｈｚ］と決定する（ステップＳ２３）。
【００５１】
さらに、画像処理手段１０１で新たな点滅周期ｂ［Ｈｚ］を検出するようにパラメータを変更する（ａ［Ｈｚ］＝ｂ［Ｈｚ］とする）（ステップＳ２４）。
【００５２】
次に、制御信号送信手段１０３から発光パターン制御手段２０１へ新たな点滅周期を送信する（ステップＳ２５）。
【００５３】
そして、発光パターン制御手段２０１で受信した周期にランドマーク２００の点滅を変え（ステップＳ２６）、再度ランドマーク検出を行う（ステップＳ２１）。
【００５４】
ランドマーク検出装置は、以上のように動作することで、計算負荷などの影響で画像処理のフレームレートが変化した場合であってもランドマーク検出を行うことができる。また、タスクのスケジュールを利用し負荷を推定する方式では、実際に計算負荷が上がる前にランドマークへの指令を発することができ、発光パターンの切り替えをすばやく行うことができるため、ランドマーク検出処理を高速に行うことができる。
【００５５】
（第３の実施の形態）［ランドマークとの距離に応じてパターンを変える形態］
図５は、本発明の第３の実施の形態に係るランドマーク検出装置の構成を示す図である。図５において、ランドマーク検出装置は、第１の実施の形態に加え、ランドマーク２００と撮像手段１００間の距離を推定するランドマーク距離推定手段１０５を備える。発光パターン決定手段１０２ｂは、ランドマーク距離推定手段１０５で推定したランドマークまでの距離を元に発光パターンを決定する。
【００５６】
ランドマーク距離推定手段１０５は、撮像手段１００からランドマーク２００までの距離を推定するものであって、例えば、以前観測したランドマークの距離を元に現在のランドマークの位置を予想することで距離を推定する方法や、レーザーレンジファインダや複数カメラによるステレオ視などの測距手段を用いてランドマークまでの距離を測る方法などで実現される。
【００５７】
発光パターン決定手段１０２ｂは、ランドマーク距離推定手段１０５で推定されたランドマーク２００までの距離に基づいて発光パターンを決める。例えば、距離が大きい場合は変化の周期を長くするとともに撮像手段１００の露光時間を延ばし、その露光時間に応じてフレームレートが変わる場合は画像処理手段１０１で想定しているフレームレートを変化させるなどとする。
【００５８】
次に図６に示されたフローチャートを参照しながら本発明の第３の実施の形態に係るランドマーク検出装置の動作手順を説明する。図６において、まず撮像手段１００で撮像した映像から画像処理手段１０１で周期ａ［Ｈｚ］で点滅している点滅領域の位置を検出する（ステップＳ３１）。
【００５９】
ランドマーク距離推定手段１０５でランドマーク２００との距離を推定する（ステップＳ３２）。
【００６０】
そして、推定距離に応じて発光パターン決定手段１０２ｂで発光パターンを決定する。例えばランドマーク２００が点滅するものであれば点滅周期ｂ［Ｈｚ］と決定する（ステップＳ３３）。
【００６１】
さらに、画像処理手段１０１で新たな点滅周期ｂ［Ｈｚ］を検出するようにパラメータを変更する（ａ［Ｈｚ］＝ｂ［Ｈｚ］とする）（ステップＳ３４）。
【００６２】
次に、制御信号送信手段１０３から発光パターン制御手段２０１へ新たな点滅周期を送信する（ステップＳ３５）。
【００６３】
そして、発光パターン制御手段２０１で受信した周期になるようにランドマーク２００の点滅周期を変え（ステップＳ３６）、再度ランドマーク検出を行う（ステップＳ３１）。
【００６４】
ランドマーク検出装置は、以上のように動作することで、ランドマーク２００が撮像手段１００から遠くに存在する場合であってもランドマーク２００の位置を検出することができる。
【００６５】
（第４の実施の形態）［距離クラスタリングによる形態］
図７は、本発明の第４の実施の形態に係るランドマーク検出装置の構成を示す図である。図７において、ランドマーク検出装置は、図５に示すランドマーク検出装置と同じ構成を有する。さらに、ランドマーク距離推定手段１０５は、対象とされる環境内の距離を測定する距離測定手段１０６と測定された複数地点の距離をクラスタリングする距離クラスタリング手段１０７とを備える。ランドマーク距離推定手段１０５で、複数の距離の候補を出力し、発光パターン決定手段１０２ｂで複数の距離に対応する複数の発光パターンを順次決定し、発光パターンの変更および観測を行う。
【００６６】
ランドマーク距離推定手段１０５は、例えば、以前観測したランドマークの距離を元に現在のランドマークの位置を予想することで距離を推定する。この場合、以前観測した複数のランドマークの距離をそれぞれ距離の候補とするようにしてもよい。
【００６７】
以前観測したランドマークの距離を元に現在のランドマークの位置を予想することで距離を推定する方式において、例えば、以前観測したランドマークの位置にロボットの移動ベクトルを加算することで現在のロボットとランドマークの位置を算出し距離を算出する方式としてもよい。この場合、ロボットの移動ベクトルの不確実性からランドマークがありそうな位置の範囲を推定し、推定した範囲をカバーするような距離を候補としてもよい。このとき、ロボットの移動ベクトルの不確実性の表現方法としては、移動ベクトルが正しいものである確率の確率分布で表現するなどがある。この場合、範囲は確率の値が一定値以上の領域を移動ベクトルが存在しうる候補とし、その候補を以前の観測のランドマークに加算することで候補を求める方法がある。
【００６８】
また、距離測定手段１０６を利用し対象となる環境でのロボットからの距離マップを作成し、作成した距離マップを距離でクラスタリングし、それぞれの距離を候補としてもよい。図８を用いて動作を詳細に説明する。図８（ａ）に示すような状況でカメラ画像を用いてランドマークを検出する。このとき、図８（ｂ）に示したようなカメラ画像となっている。この時点ではランドマークまでの距離はわからないので、適切な露光時間を決定することはできない。そこでカメラの画角内に対応する環境の３次元形状を測定することで、図８（ｃ）に示す距離マップを作成する。３次元形状の測定には、レーザーレンジファインダを用いる方法や複数カメラによるステレオ視を用いる方法などの各種の測距手段を用いることができる。このようにして距離マップを作成し、露光時間が一定となる距離範囲毎にクラスタリングを行い（例えば、図８（ｃ）の右側の図における距離候補領域１、２）、それぞれのクラスタの距離を候補として出力する。
【００６９】
次に、図９に示すフローチャートを参照しながら本発明の第４の実施の形態に係るランドマーク検出装置の動作手順を説明する。図９において、まずランドマーク距離推定手段１０５でランドマーク２００が存在する距離の候補を推定する。このときの候補の数をＮ個とする（ステップＳ４１）。以下、それぞれの候補に対する処理を行う。まずｎ＝１とし（ステップＳ４２）、ｎ番目の候補の距離について、ランドマーク撮像に必要な露光時間を決定し、その露光時間を満たすようなカメラフレームレートｆを算出する（ステップＳ４３）。
【００７０】
次に、カメラのフレームレートをｆに変更する（ステップＳ４４）。
【００７１】
さらに、フレームレートｆに応じて発光パターン決定手段１０２ｂでランドマーク２００の点滅周期ｂ［Ｈｚ］を決定する（ステップＳ４５）。
【００７２】
次に、画像処理手段１０１で新たな点滅周期ｂ［Ｈｚ］を検出するようにパラメータを変更する（ステップＳ４６）。
【００７３】
また、制御信号送信手段１０３から発光パターン制御手段２０１へ新たな点滅周期を送信する（ステップＳ４７）。
【００７４】
次に、発光パターン制御手段２０１で受信した周期に従ってランドマーク２００の点滅を変える（ステップＳ４８）。
【００７５】
さらに、撮像手段１００で撮像した映像から画像処理手段１０１で周期ｂ［Ｈｚ］で点滅している点滅領域の位置を検出する（ステップＳ４９）。このとき距離カテゴリｎに属する領域のみを検出の対象とする。
【００７６】
次に、ｎがＮ（Ｎは１以上の整数）でなければ（ステップＳ５０のＮｏ）、ｎ＝ｎ＋１とし（ステップＳ５１）、ステップＳ４３の処理へ戻る。ｎ＝Ｎであれば（ステップＳ５０のＹｅｓ）、全ての候補を処理したことになり、それぞれの距離候補でのランドマーク検出結果を統合してランドマーク位置を決定する（ステップＳ５２）。統合は、例えばそれぞれの距離候補でランドマーク検出があった場合は、ランドマーク検出の尤度が一番高いものをランドマーク検出結果とするなどの方法がある。
【００７７】
なお、ステップＳ４１で示した距離候補を検出する処理は、図１０に示すように、まず、測距手段で、距離画像を得て（ステップＳ６１）、距離画像をあらかじめ決められた距離範囲（図１１などを例とする）で領域分割し、それぞれを距離候補とする（ステップＳ６２）。
【００７８】
ランドマーク検出装置は、以上のように動作することで、ランドマークが撮像手段から様々な距離に存在するランドマークを検出することができる。これはカメラの露光を変えることで広いダイナミックレンジでランドマークからの光を観測することができるので、近くにランドマークがある場合から遠くにある場合までランドマーク検出が可能となるからである。
【産業上の利用可能性】
【００７９】
本発明は、ランドマークを検出して利用するロボットに適用できる。そのようなものには、例えば、物体にランドマークをつけて物体の位置を検出するロボットや環境中にあらかじめ測定した位置にランドマークを配置することで環境に対するロボットの位置や方位を算出するロボットなどがある。その他にも自動車や飛行機などの移動体・飛翔体などでランドマークを検出することで位置を補正するシステムなどにも適用できる。
【００８０】
なお、前述の特許文献等の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
【図面の簡単な説明】
【００８１】
【図１】本発明の第１の実施の形態に係るランドマーク検出装置の構成を示すブロック図。
【図２】本発明の第１の実施の形態に係るランドマーク検出装置の動作を示す流れ図。
【図３】本発明の第２の実施の形態に係るランドマーク検出装置の構成を示すブロック図。
【図４】本発明の第２の実施の形態に係るランドマーク検出装置の動作を示す流れ図。
【図５】本発明の第３の実施の形態に係るランドマーク検出装置の構成を示すブロック図。
【図６】本発明の第３の実施の形態に係るランドマーク検出装置の動作を示す流れ図。
【図７】本発明の第４の実施の形態に係るランドマーク検出装置の構成を示すブロック図。
【図８】本発明の第４の実施の形態に係るランドマーク検出装置の動作原理を示す図。
【図９】本発明の第４の実施の形態に係るランドマーク検出装置の動作を示す流れ図。
【図１０】ステップＳ４１の詳細を示す流れ図。
【図１１】本発明の第４の実施の形態に係るランドマーク検出装置で利用するパラメータを示す図。
【図１２】本発明の動作原理を示す図。
【図１３】従来技術における問題点を示す図。
【符号の説明】
【００８２】
１００ 撮像手段
１０１ 画像処理手段
１０２、１０２ａ、１０２ｂ 発光パターン決定手段
１０３ 制御信号送信手段
１０４ 計算負荷測定手段
１０５ ランドマーク距離推定手段
１０６ 距離測定手段
１０７ 距離クラスタリング手段
２００ ランドマーク
２０１ 発光パターン制御手段
【特許請求の範囲】
【請求項１】
発光パターンに応じて発光する光源であるランドマークと、
前記ランドマークを含む画像を撮像する撮像手段と、
前記撮像手段で撮像した画像を処理し前記ランドマークの発光パターンに基づいて前記ランドマークを検出する画像処理手段と、
前記画像処理手段および／または前記撮像手段の処理能力に応じて前記ランドマークの発光パターンを決定する発光パターン決定手段と、
前記決定された発光パターンに基づいて前記ランドマークの発光パターンを制御する発光パターン制御手段と、
を備えることを特徴とするランドマーク検出装置。
【請求項２】
前記画像処理手段および／または前記撮像手段の計算負荷を測定する計算負荷測定手段をさらに備え、
前記発光パターン決定手段は、前記測定された計算負荷に応じて前記発光パターンを決定することを特徴とする請求項１記載のランドマーク検出装置。
【請求項３】
前記発光パターン決定手段は、前記画像処理手段における単位時間当りの処理可能な画像枚数に応じてランドマークの発光パターンを決定することを特徴とする請求項１または２に記載のランドマーク検出装置。
【請求項４】
前記ランドマークおよび撮像手段間の距離を推定するランドマーク距離推定手段をさらに備え、
前記発光パターン決定手段は、前記ランドマーク距離推定手段で推定した距離に応じて前記発光パターンを決定することを特徴とする請求項１または２に記載のランドマーク検出装置。
【請求項５】
前記ランドマーク距離推定手段は、複数の距離の候補を推定し、
前記発光パターン決定手段は、前記複数の距離の候補にそれぞれ対応する発光パターンを順次決定し、決定した発光パターンを前記発光パターン制御手段へ出力し、
前記発光パターン制御手段は、前記発光パターンを順に変更することを特徴とする請求項４記載のランドマーク検出装置。
【請求項６】
前記ランドマーク距離推定手段は、過去のランドマーク検出結果と前記撮像手段の移動量の推定結果とから現在のランドマーク位置を推定することで前記距離を推定することを特徴とする請求項４または５に記載のランドマーク検出装置。
【請求項７】
前記ランドマーク距離推定手段は、複数箇所の距離を測定する距離測定手段を備え、測定された距離ごとに前記発光パターンを決定し、前記決定した発光パターンで順次ランドマークの距離の推定を行うことを特徴とする請求項４または５に記載のランドマーク検出装置。
【請求項８】
前記発光パターンは、一定の周期を持つ点滅であって、
前記発光パターン決定手段は、前記点滅の周期を決定することを特徴とする請求項１乃至７のいずれか一に記載のランドマーク検出装置。
【請求項９】
撮像手段を備えるランドマーク検出装置が発光パターンに応じて発光する光源であるランドマークを検出する方法であって、
前記撮像手段が前記ランドマークを含む画像を撮像するステップと、
前記撮像した画像を処理し前記ランドマークの発光パターンに基づいて前記ランドマークを検出するステップと、
前記画像の処理および／または前記撮像の処理における処理能力に応じて前記ランドマークの発光パターンを決定するステップと、
前記決定された発光パターンに基づいて前記ランドマークの発光パターンを制御するステップと、
を含むことを特徴とするランドマーク検出方法。
【請求項１０】
前記画像の処理および／または前記撮像の処理における計算負荷を測定するステップをさらに含み、
前記ランドマークの発光パターンを決定するステップにおいて、前記測定された計算負荷に応じて前記発光パターンを決定することを特徴とする請求項９記載のランドマーク検出方法。
【請求項１１】
前記ランドマークの発光パターンを決定するステップにおいて、前記ランドマークを検出するステップにおける単位時間当りの処理可能な画像枚数に応じてランドマークの発光パターンを決定することを特徴とする請求項９または１０に記載のランドマーク検出方法。
【請求項１２】
前記ランドマークおよび撮像手段間の距離を推定するステップをさらに含み、
前記ランドマークの発光パターンを決定するステップにおいて、前記推定した距離に応じて前記発光パターンを決定することを特徴とする請求項９または１０に記載のランドマーク検出方法。
【請求項１３】
前記ランドマークおよび撮像手段間の距離を推定するステップにおいて、複数の距離の候補を推定し、
前記ランドマークの発光パターンを決定するステップにおいて、前記複数の距離の候補にそれぞれ対応する発光パターンを順次決定し、
前記ランドマークの発光パターンを制御するステップにおいて、前記決定した発光パターンに基づいて前記発光パターンを順に変更することを特徴とする請求項１２記載のランドマーク検出方法。
【請求項１４】
前記ランドマークおよび撮像手段間の距離を推定するステップにおいて、過去のランドマーク検出結果と前記撮像手段の移動量の推定結果とから現在のランドマーク位置を推定することで前記距離を推定することを特徴とする請求項１２または１３に記載のランドマーク検出方法。
【請求項１５】
前記ランドマークおよび撮像手段間の距離を推定するステップにおいて、複数箇所の距離を測定し、測定された距離ごとに前記発光パターンを決定し、前記決定した発光パターンで順次ランドマークの距離の推定を行うことを特徴とする請求項１２または１３に記載のランドマーク検出方法。
【請求項１６】
前記発光パターンは、一定の周期を持つ点滅であって、
前記ランドマークの発光パターンを決定するステップにおいて、前記点滅の周期を決定することを特徴とする請求項９乃至１５のいずれか一に記載のランドマーク検出方法。
【請求項１７】
撮像手段を備え、発光パターンに応じて発光する光源であるランドマークを検出するランドマーク検出装置を構成するコンピュータに、
前記ランドマークを含む画像を撮像する処理と、
前記撮像した画像を処理し前記ランドマークの発光パターンに基づいて前記ランドマークを検出する処理と、
前記ランドマークを検出する処理および／または前記撮像する処理における処理能力に応じて前記ランドマークの発光パターンを決定する処理と、
前記決定された発光パターンに基づいて前記ランドマークの発光パターンを制御する処理と、
を実行させるプログラム。
【請求項１８】
前記ランドマークを検出する処理および／または前記撮像する処理における計算負荷を測定する処理をさらに含み、
前記ランドマークの発光パターンを決定する処理において、前記測定された計算負荷に応じて前記発光パターンを決定することを特徴とする請求項１７記載のプログラム。
【請求項１９】
前記ランドマークの発光パターンを決定する処理において、前記ランドマークを検出する処理における単位時間当りの処理可能な画像枚数に応じてランドマークの発光パターンを決定することを特徴とする請求項１７または１８に記載のプログラム。
【請求項２０】
前記ランドマークおよび撮像手段間の距離を推定する処理をさらに含み、
前記ランドマークの発光パターンを決定する処理において、前記推定した距離に応じて前記発光パターンを決定することを特徴とする請求項１７または１８に記載のプログラム。
【請求項２１】
前記ランドマークおよび撮像手段間の距離を推定する処理において、複数の距離の候補を推定し、
前記ランドマークの発光パターンを決定する処理において、前記複数の距離の候補にそれぞれ対応する発光パターンを順次決定し、
前記ランドマークの発光パターンを制御する処理において、前記決定した発光パターンに基づいて前記発光パターンを順に変更することを特徴とする請求項２０記載のプログラム。
【請求項２２】
前記ランドマークおよび撮像手段間の距離を推定する処理において、過去のランドマーク検出結果と前記撮像手段の移動量の推定結果とから現在のランドマーク位置を推定することで前記距離を推定することを特徴とする請求項２０または２１に記載のプログラム。
【請求項２３】
前記ランドマークおよび撮像手段間の距離を推定する処理において、複数箇所の距離を測定し、測定された距離ごとに前記発光パターンを決定し、前記決定した発光パターンで順次ランドマークの距離の推定を行うことを特徴とする請求項２０または２１に記載のプログラム。
【請求項２４】
前記発光パターンは、一定の周期を持つ点滅であって、
前記ランドマークの発光パターンを決定する処理において、前記点滅の周期を決定することを特徴とする請求項１７乃至２３のいずれか一に記載のプログラム。
【請求項１】
発光パターンに応じて発光する光源であるランドマークと、
前記ランドマークを含む画像を撮像する撮像手段と、
前記撮像手段で撮像した画像を処理し前記ランドマークの発光パターンに基づいて前記ランドマークを検出する画像処理手段と、
前記画像処理手段および／または前記撮像手段の処理能力に応じて前記ランドマークの発光パターンを決定する発光パターン決定手段と、
前記決定された発光パターンに基づいて前記ランドマークの発光パターンを制御する発光パターン制御手段と、
を備えることを特徴とするランドマーク検出装置。
【請求項２】
前記画像処理手段および／または前記撮像手段の計算負荷を測定する計算負荷測定手段をさらに備え、
前記発光パターン決定手段は、前記測定された計算負荷に応じて前記発光パターンを決定することを特徴とする請求項１記載のランドマーク検出装置。
【請求項３】
前記発光パターン決定手段は、前記画像処理手段における単位時間当りの処理可能な画像枚数に応じてランドマークの発光パターンを決定することを特徴とする請求項１または２に記載のランドマーク検出装置。
【請求項４】
前記ランドマークおよび撮像手段間の距離を推定するランドマーク距離推定手段をさらに備え、
前記発光パターン決定手段は、前記ランドマーク距離推定手段で推定した距離に応じて前記発光パターンを決定することを特徴とする請求項１または２に記載のランドマーク検出装置。
【請求項５】
前記ランドマーク距離推定手段は、複数の距離の候補を推定し、
前記発光パターン決定手段は、前記複数の距離の候補にそれぞれ対応する発光パターンを順次決定し、決定した発光パターンを前記発光パターン制御手段へ出力し、
前記発光パターン制御手段は、前記発光パターンを順に変更することを特徴とする請求項４記載のランドマーク検出装置。
【請求項６】
前記ランドマーク距離推定手段は、過去のランドマーク検出結果と前記撮像手段の移動量の推定結果とから現在のランドマーク位置を推定することで前記距離を推定することを特徴とする請求項４または５に記載のランドマーク検出装置。
【請求項７】
前記ランドマーク距離推定手段は、複数箇所の距離を測定する距離測定手段を備え、測定された距離ごとに前記発光パターンを決定し、前記決定した発光パターンで順次ランドマークの距離の推定を行うことを特徴とする請求項４または５に記載のランドマーク検出装置。
【請求項８】
前記発光パターンは、一定の周期を持つ点滅であって、
前記発光パターン決定手段は、前記点滅の周期を決定することを特徴とする請求項１乃至７のいずれか一に記載のランドマーク検出装置。
【請求項９】
撮像手段を備えるランドマーク検出装置が発光パターンに応じて発光する光源であるランドマークを検出する方法であって、
前記撮像手段が前記ランドマークを含む画像を撮像するステップと、
前記撮像した画像を処理し前記ランドマークの発光パターンに基づいて前記ランドマークを検出するステップと、
前記画像の処理および／または前記撮像の処理における処理能力に応じて前記ランドマークの発光パターンを決定するステップと、
前記決定された発光パターンに基づいて前記ランドマークの発光パターンを制御するステップと、
を含むことを特徴とするランドマーク検出方法。
【請求項１０】
前記画像の処理および／または前記撮像の処理における計算負荷を測定するステップをさらに含み、
前記ランドマークの発光パターンを決定するステップにおいて、前記測定された計算負荷に応じて前記発光パターンを決定することを特徴とする請求項９記載のランドマーク検出方法。
【請求項１１】
前記ランドマークの発光パターンを決定するステップにおいて、前記ランドマークを検出するステップにおける単位時間当りの処理可能な画像枚数に応じてランドマークの発光パターンを決定することを特徴とする請求項９または１０に記載のランドマーク検出方法。
【請求項１２】
前記ランドマークおよび撮像手段間の距離を推定するステップをさらに含み、
前記ランドマークの発光パターンを決定するステップにおいて、前記推定した距離に応じて前記発光パターンを決定することを特徴とする請求項９または１０に記載のランドマーク検出方法。
【請求項１３】
前記ランドマークおよび撮像手段間の距離を推定するステップにおいて、複数の距離の候補を推定し、
前記ランドマークの発光パターンを決定するステップにおいて、前記複数の距離の候補にそれぞれ対応する発光パターンを順次決定し、
前記ランドマークの発光パターンを制御するステップにおいて、前記決定した発光パターンに基づいて前記発光パターンを順に変更することを特徴とする請求項１２記載のランドマーク検出方法。
【請求項１４】
前記ランドマークおよび撮像手段間の距離を推定するステップにおいて、過去のランドマーク検出結果と前記撮像手段の移動量の推定結果とから現在のランドマーク位置を推定することで前記距離を推定することを特徴とする請求項１２または１３に記載のランドマーク検出方法。
【請求項１５】
前記ランドマークおよび撮像手段間の距離を推定するステップにおいて、複数箇所の距離を測定し、測定された距離ごとに前記発光パターンを決定し、前記決定した発光パターンで順次ランドマークの距離の推定を行うことを特徴とする請求項１２または１３に記載のランドマーク検出方法。
【請求項１６】
前記発光パターンは、一定の周期を持つ点滅であって、
前記ランドマークの発光パターンを決定するステップにおいて、前記点滅の周期を決定することを特徴とする請求項９乃至１５のいずれか一に記載のランドマーク検出方法。
【請求項１７】
撮像手段を備え、発光パターンに応じて発光する光源であるランドマークを検出するランドマーク検出装置を構成するコンピュータに、
前記ランドマークを含む画像を撮像する処理と、
前記撮像した画像を処理し前記ランドマークの発光パターンに基づいて前記ランドマークを検出する処理と、
前記ランドマークを検出する処理および／または前記撮像する処理における処理能力に応じて前記ランドマークの発光パターンを決定する処理と、
前記決定された発光パターンに基づいて前記ランドマークの発光パターンを制御する処理と、
を実行させるプログラム。
【請求項１８】
前記ランドマークを検出する処理および／または前記撮像する処理における計算負荷を測定する処理をさらに含み、
前記ランドマークの発光パターンを決定する処理において、前記測定された計算負荷に応じて前記発光パターンを決定することを特徴とする請求項１７記載のプログラム。
【請求項１９】
前記ランドマークの発光パターンを決定する処理において、前記ランドマークを検出する処理における単位時間当りの処理可能な画像枚数に応じてランドマークの発光パターンを決定することを特徴とする請求項１７または１８に記載のプログラム。
【請求項２０】
前記ランドマークおよび撮像手段間の距離を推定する処理をさらに含み、
前記ランドマークの発光パターンを決定する処理において、前記推定した距離に応じて前記発光パターンを決定することを特徴とする請求項１７または１８に記載のプログラム。
【請求項２１】
前記ランドマークおよび撮像手段間の距離を推定する処理において、複数の距離の候補を推定し、
前記ランドマークの発光パターンを決定する処理において、前記複数の距離の候補にそれぞれ対応する発光パターンを順次決定し、
前記ランドマークの発光パターンを制御する処理において、前記決定した発光パターンに基づいて前記発光パターンを順に変更することを特徴とする請求項２０記載のプログラム。
【請求項２２】
前記ランドマークおよび撮像手段間の距離を推定する処理において、過去のランドマーク検出結果と前記撮像手段の移動量の推定結果とから現在のランドマーク位置を推定することで前記距離を推定することを特徴とする請求項２０または２１に記載のプログラム。
【請求項２３】
前記ランドマークおよび撮像手段間の距離を推定する処理において、複数箇所の距離を測定し、測定された距離ごとに前記発光パターンを決定し、前記決定した発光パターンで順次ランドマークの距離の推定を行うことを特徴とする請求項２０または２１に記載のプログラム。
【請求項２４】
前記発光パターンは、一定の周期を持つ点滅であって、
前記ランドマークの発光パターンを決定する処理において、前記点滅の周期を決定することを特徴とする請求項１７乃至２３のいずれか一に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−１８４０５９（Ｐ２００９−１８４０５９Ａ）
【公開日】平成２１年８月２０日（２００９．８．２０）
【国際特許分類】
【出願番号】特願２００８−２５４４３（Ｐ２００８−２５４４３）
【出願日】平成２０年２月５日（２００８．２．５）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２１年８月２０日（２００９．８．２０）
【国際特許分類】
【出願日】平成２０年２月５日（２００８．２．５）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]