説明

車両用外界認識装置およびそれを用いた車両システム

【課題】自車挙動に応じて撮像タイミングを調整することにより、一定の処理周期の中で自車速に応じて効果的、効率的に物体の動きを観測する車両用外界認識装置を提供する。
【解決手段】車両用外界認識装置1000は、カメラ1010等の撮像装置から画像を取り込む画像取得部1011と、カメラから画像を取り込むタイミングを調整する撮像タイミング手段1031とを有し、撮像タイミング手段で設定された一定周期での画像取り込みと、その周期の間に不定期での画像取り込みを行う。自車挙動取得手段1021で自車速を取得し、取得された自車速に応じて不定期での画像取り込みのタイミングを調整し、取り込まれた画像を用いて前景と背景を分離し、前景から衝突の可能性がある物体を検出する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両用外界認識装置およびそれを用いた車両制御システムに係り、例えば、車載カメラ(撮像装置)からの画像情報に基づいて自車周囲の物体を検知する車両用外界認識装置およびそれを用いた車両システムに関する。
【背景技術】
【0002】
交通事故による死傷者数を低減するため、事故を未然に防ぐ予防安全システムの開発が進められている。予防安全システムは、事故の発生する可能性が高い状況下で作動するシステムであり、例えば、自車前方の障害物と衝突する可能性が生じたときには警報によって運転者に注意を促し、衝突が避けられない状況になったときには自動ブレーキによって乗員の被害を軽減するプリクラッシュ・セーフティ・システム等が実用化されている。
【0003】
自車周囲の障害物を検知する方法として、カメラで撮像した時系列画像を処理して検出する方法が知られている。例えば、特許文献1には、車載カメラで撮像した2枚の画像間の動きから物体を検出する方法が記載されている。
【0004】
車載カメラにおいて時系列の動きを用いて物体を検出する場合、背景の静止物や路面までの距離を仮定し、自車速から推定される動きと異なる動き方をする領域を抽出する方法を用いる。背景の静止物や路面の画像上の位置は自車速に応じて変化し、自車速が高いほど変化は大きく、自車速が低いほど変化は小さい。よって、一定の周期で取り込んだ画像を用いると、背景の静止物や路面の画像上の動きは自車速が高いほど画像間の動きが大きいため動きの探索に処理負荷がかかり、自車速が低い場合は画像間の動きが小さいため物体の検出が難しくなる。これを解決するため、画像を取り込むタイミングを自車速に応じて変えることが考えられる。
【0005】
自車速に応じて撮像タイミングを変化させる技術については、特許文献2に、車両に取り付けた単眼カメラに対して一定時間毎に起動されるカメラ汚れ検知処理において、車速に応じて取得タイミングを変えて取り込まれる画像間の差分からカメラに付着した汚れを検出する技術が記載されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2008−3695号公報
【特許文献2】特開2003−259358号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、車両の警報や制御に関する障害物等の検出においては、一定の処理周期で実行することが重要である。上記方法の組み合わせでは、一定周期で処理を行う場合、画像の取り込み周期と同期しないため、最新のタイミングで撮像したものではない画像を用いて処理することになり物体の検知遅れが生じる。
【0008】
また、非常に短い周期で画像を取り込みメモリ上へ保存しておき、処理時に画像を選択する方法も考えられるが、取り込み周期には限界があるため常に最適なタイミングの画像が取り込まれているとは限らず、また、メモリを大量に使用するため好ましくない。
【0009】
本発明は、このような問題に鑑みてなされたものであって、その目的とするところは、一定の処理周期で物体の動きを観測する際に最適な画像取り込みを行う車両用外界認識装置およびそれを用いた車両システムを提供することである。
【課題を解決するための手段】
【0010】
前記目的を達成すべく、本発明に係る車両用外界認識装置は、画像を取り込み、自車挙動を取得し、取り込まれた前記画像を用いて前景と背景を分離し、前景から衝突の可能性がある物体を検出する装置において、自車挙動に応じて画像を取り込むタイミングを調整し、ある一定周期での画像取り込みと、その周期の間に不定期での画像取り込みがあることを特徴としている。
【発明の効果】
【0011】
本発明によれば、一定の処理周期のタイミングで撮像した画像と、その周期の間に不定期に、自車速に応じて調整された撮像タイミングで撮像した画像とを取り込み、動きを検出することができるため、一定の処理周期で出力する物体情報を、最新の画像の動き情報から検知することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の第1実施の形態における車両用外界認識装置のブロック図。
【図2】本発明の第1実施の形態における撮像タイミング調整部の処理の例を示す模式図。
【図3】本発明の第1実施の形態における前景背景分離部の処理を表すフローチャート。
【図4】本発明の第1実施の形態における物体検出部の処理を表すフローチャート。
【図5】本発明の第1実施の形態における物体検出部の処理の例を示す模式図。
【図6】本発明の第1実施の形態における物体検出部の処理を表すフローチャート。
【図7】本発明の第2実施の形態における車両用外界認識装置のブロック図。
【図8】本発明の第3実施の形態における車両用外界認識装置のブロック図。
【図9】本発明の第3実施の形態における予測画像生成部の処理を表すフローチャート。
【図10】本発明の第3実施の形態における前景背景分離部の処理を表すフローチャート。
【図11】本発明の第4実施の形態における車両用外界認識装置のブロック図。
【図12】本発明の第4実施の形態における撮像タイミング調整部の処理の例を示す模式図。
【図13】本発明の第4実施の形態における予測画像生成部の処理を表すフローチャート。
【図14】本発明の車両用外界認識装置を用いた車両システムの処理を表すフローチャート。
【図15】本発明の車両用外界認識装置を用いた車両システムの危険度の算出の例を示す模式図。
【発明を実施するための形態】
【0013】
<第1実施の形態>
以下、本発明の第1実施の形態について図面を用いて詳細に説明する。図1は、第1実施の形態における車両用外界認識装置1000のブロック図である。この実施形態は請求項1,2,4,5,6,8,9に対応するものである。
【0014】
車両用外界認識装置1000は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ装置のカメラ1010で撮影した画像内から物体を検出するためのものであり、本実施の形態では、自車の前方の障害物、車両や歩行者を検知するように構成されている。
【0015】
車両用外界認識装置1000は、CPUやメモリ、I/O等を有するコンピュータによって構成されており、所定の処理及び手順がプログラミングされて、あらかじめ定められた周期Tで繰り返し処理を実行する。
【0016】
車両用外界認識装置1000は、図1に示すように、画像取得部1011と、自車挙動取得部1021と、撮像タイミング調整部1031と、オプティカルフロー算出部1041と、前景背景分離部1051と、物体検出部1061と、を有する。
【0017】
画像取得部1011は、自車の前方を撮像可能な位置に取り付けられたカメラ1010から、自車前方を撮影した画像データを取り込み、一定周期取得画像IMGSRC[x][y]および不定期取得画像IMGSRC_SUB[x][y]をRAM1020上に記憶する。なお、一定周期取得画像IMGSRC[x][y]および不定期取得画像IMGSRC_SUB[x][y]は2次元配列であり、x、yはそれぞれ画像データの座標を示す。
【0018】
一定周期取得画像IMGSRC[x][y]は、あらかじめ設定された一定周期の取得タイミングで取り込まれる。本実施の形態では、処理周期Tと同じタイミングで取り込まれるものとする。また、不定期取得画像IMGSRC_SUB[x][y]は処理周期Tの間で取得され、取得タイミングは撮像タイミング調整部1031にて決定される。RAM1020上は、画像取得部1011で取得した、一定周期取得画像IMGSRC[x][y]および不定期取得画像IMGSRC_SUB[x][y]を記憶しているものとする。
【0019】
自車挙動取得部1021は、自車に搭載された車速計測機器の検出信号を取得して、自車速VSPを取得する。自車速VSPは、車速計測機器の信号を車両用外界認識装置1000に直接入力することによって取得してもよいし、LAN(Local Area Network)を用いた通信を行うことによって取得してもよい。
【0020】
撮像タイミング調整部1031は、自車挙動取得部1021で取得した自車速VSPを用いて、画像取得部の撮像タイミングを調整する。具体的には、一定周期取得画像および不定期取得画像を取り込む撮像タイミングを設定する機能を有する。処理の詳細は後述する。
【0021】
オプティカルフロー算出部1041は、RAM1020から一定周期取得画像IMGSRC[x][y]、および、不定周期取得画像IMGSRC_SUB[x][y]を取得し、画像間のオプティカルフローを算出する。オプティカルフローは、片方の画像のある座標(x,y)の点がもう片方の画像のどの点に移動したかを表すベクトルであり、1つの画像座標(x,y)に対してX方向の成分とY方向の成分が算出される。算出したオプティカルフローは、RAM1020上に記憶する。記憶するための表現形式はオプティカルフローのベクトルを画像として表現したり、N個の点で計測したオプティカルフローを配列OFX[n]、OFY[n]として表現したり、という方法があるが、本実施の形態では、配列OFX[n]、OFY[n]として記憶する。処理の詳細は後述する。
【0022】
前景背景分離部1051は、オプティカルフローIMGOFX[x][y]、IMGOFY[x][y]を解析して、前景と背景に分離する。本実施の形態では、画像上の前景領域をグルーピングしてFG_SX[g]、FG_SY[g]、FG_EX[g]、FG_EY[g]として表現する。ここでgは複数の前景が抽出された場合のID番号である。処理の詳細は後述する。
【0023】
物体検出部1061は、前景領域FG_SX[g]、FG_SY[g]、FG_EX[g]、FG_EY[g]から物体の特定を行い、距離、横位置を算出する。本実施の形態では、前景から車両を検出する場合と、歩行者を検出する場合について説明する。処理の詳細は後述する。
【0024】
[撮像タイミング調整部]
つぎに、図2を用いて、撮像タイミング調整部1031における処理の内容について説明する。図2は画像取得部1011の撮像タイミングを説明するためのタイミングチャートである。
【0025】
撮像タイミング調整部1031は、次の撮像タイミングT1と、さらに次の撮像タイミングT2を決定する。ここで、撮像タイミングT1で撮像した画像上の物体が、一定周期Tで撮像した画像上に写る際に所定量動くよう、撮像タイミングT2を決定する。たとえば、全ての静止物体がPメートル動くようにT2を決定する場合、T2=P/VSPより決定できる。T1は処理周期Tを用いて、T1=T―T2より求める。
【0026】
また、撮像タイミングはカメラの最大検出距離から算出する方法がある。物体を検出したい最大検知距離をYMAXとすると、画像上では遠方ほど動きが小さくなるため、YMAXの地点から物体が何メートル手前に動くと画像上で十分な動きが得られるかを事前に調査しておくことにより、その距離と、自車速VSPより撮像タイミングT2を決定することができる。
【0027】
なお、VSPが低速でT2>Tとなる場合や、VSPが高速でT2が撮像素子の取り込み速度の限界を超える場合に対応するため、閾値T2Min、T2Maxを設け、T2>T2Maxの場合はT2=T2Max、T2<T2Minの場合はT2=T2Minと設定するような処理が必要である。
【0028】
[オプティカルフロー算出部]
つぎに、オプティカルフロー算出部1041における処理の内容について説明する。
オプティカルフロー算出部1041は、最新の取り込み画像IMGSRC[x][y]上にN個の点(x0,y0)〜(xN−1,yN−1)を設定し、各点が1時点前のタイミングで取り込まれた画像IMGSRC_sub[x][y]上のどの位置にあったかを表すオプティカルフローを算出する。N点は、本実施の形態では、あらかじめ幅Wp、高さHpの間隔で格子状に配置した固定点とするが、例えば公知の文献に記載の特徴点抽出処理により毎フレーム算出された点を用いてもよい。もちろん、画像上の全座標点で算出してもよい。
【0029】
オプティカルフローの算出は、公知の文献に種々紹介されているが、本実施の形態ではブロックマッチ法を用いることとする。ブロックマッチ法については画像処理に関する公知の文献に記載されているため詳細な説明は割愛するが、画像IMGSRC[x][y]上の点(xn,yn)を中心に少領域のテンプレート画像TPを作成し、そのテンプレート画像TPが画像IMGSRC_sub[x][y]内で最もよくマッチする位置(xn’,yn’)を探索し、x方向成分OFX[n]=(x1’―x1)、y方向成分OFY[n]=(yn’―yn)を算出する方法である。
【0030】
以上説明したように、一定の処理周期で動作する動きベクトル検出において、常に処理周期のタイミングで撮像した画像から動きベクトルを検出することができるため情報の遅れが生じず、かつ、処理周期の一定のタイミングで撮像した画像と、その前に不定期に撮像した画像の取得タイミングを自車速に応じて調整するため、あるシーンにおける背景の動きベクトルが自車速によらず一定に検出することができる。
【0031】
[前景背景分離部1051]
つぎに、図3を用いて、前景背景分離部1051における処理の内容について説明する。図3は前景背景分離部1051の処理の流れを示したフローチャートである。まず、ステップS301にてループ制御変数n=0とする。
【0032】
つぎに、ステップS302にて、最新の取り込み画像IMGSRC[x][y]上の点(xn,yn)の位置がT2秒前の画像上でどの位置にあるかを予測し、予測フローを算出する。本実施の形態では、予測フローは以下の手順により求める。まず、消失点とカメラ幾何から、座標(xn,yn)が路面上の点と仮定して世界座標(Xn,Yn,0)を求め、自車速VSP、取り込みタイミングT2から、移動量P=VSP×T2を算出して予測位置(Xn,Yn+P,0)を求め、予測位置(Xn,Yn+P,0)の画像座標位置(xnp,ynp)を算出する。予測フローは、PFX=(xnp−xn)、PFY=(ynp−yn)となる。
【0033】
つぎに、ステップS303にて、予測フローPFX、PFYと、OFX[n]、OFY[n]の誤差eを求める。本実施の形態では、誤差eをフローベクトル間のユークリッド距離とし、誤差eを以下の式により求める。
e=(OFX[n]―PFX)^2+(OFY[n]―PFY)^2
【0034】
つぎに、ステップS304にて、誤差eと閾値thを比較し、誤差eが閾値より大きければステップS305へ移り(xn,yn)を前景と判定し、閾値以下であればステップS306へ移り(xn,yn)を背景と判定する。
【0035】
つぎに、ステップS307にて、ループ制御変数nがNに達するまでステップS302以下を繰り返す。以上の処理により、点(x0,y0)から点(xN−1,yN−1)について前景か背景かという判定が行われたこととなる。
【0036】
つぎに、ステップS308にて、前景と判定された点のグルーピングを行い、前景領域FG_SX[g]、FG_SY[g]、FG_EX[g]、FG_EY[g]を求める。グルーピングは、例えば以下のようにして行う。本実施の形態では、幅W、高さHの間隔でオプティカルフローを算出する点を格子状に配置しているため、まず、前景と判定された点を(xn/W,yn/H)と変換して2次元マップ上にマッピングする。そして、2次元マップ上で隣接している点をグルーピングする。各グループの2次元マップ上での上下左右端をGR_SX[g]、GR_SY[g]、GR_EX[g]、GR_EY[g]とすると、前景領域は以下の式により求められる。
FG_SX[g]=Wp×GR_SX[g]―Wp/2
FG_SY[g]=Hp×GR_SY[g]―Hp/2
FG_EX[g]=Wp×GR_EX[g]―Wp/2
FG_EY[g]=Hp×GR_EY[g]―Hp/2
【0037】
以上の処理により、前景領域FG_SX[g]、FG_SY[g]、FG_EX[g]、FG_EY[g]を得る。
【0038】
[物体検出部1061]
つぎに、物体検出部1061における処理の内容について説明する。本実施の形態では、物体検出部1061として、車両を検出する場合と、歩行者を検出する場合の2パターンを説明する。
【0039】
まず、図4を用いて、物体検出部1061にて車両を検出する処理について説明する。図4は物体検出部1061の処理の流れを示したフローチャートである。まず、ステップS401にて、制御変数g=0とする。
【0040】
つぎに、ステップS402にて、前景領域FG_SX[g]、FG_SY[g]、FG_EX[g]、FG_EY[g]内から車両を検出する。前述したように前景領域FG_SX[g]、FG_SY[g]、FG_EX[g]、FG_EY[g]は幅W、高さHの間隔で並べたオプティカルフローにより求められているため、領域内には車両以外の情報も含まれていることが予想される。よって、特開2005−156199に記載の方式のようにエッジを解析して車両の位置を決定する方法や、領域内で位置・大きさを変えながらパターンマッチを繰り返して車両を検出する方法を用いる。
【0041】
なお、パターンマッチについては公知の技術を用いてよいため、ここでは詳細な説明は割愛するが、例えば以下のように、ニューラルネットワークを用いた方法がある。この方法では、図5に示すように、まず、車両か否かを判定したい画像領域から画像を抜き出し、所定の大きさに縮小して縮小画像501を生成する。本実施の形態では、幅16画素、高さ12画素の画像へ縮小している。そして、縮小した画像の画素をラスタスキャンして、1次元ベクトル502を生成し、それをニューラルネットワーク503への入力とする。
【0042】
ニューラルネットワーク503は人間の脳のネットワークを模倣したものであり、複数のノードで構成される入力層5031、中間層5033、出力層5035が存在し、さらに入力層5031の各ノードと中間層5033の各ノードの間には重み係数5032が、中間層5033の各ノードと出力層5035の各ノードの間にも重み係数5034がそれぞれ存在する。ニューラルネットワークの出力は出力層のノードの1つの値であり、この値は、このノードに接続されているすべての中間層5033のノードの値とその重み係数の積和演算により得られる。さらに、中間層5033の各ノードの値は、各ノードに接続されているすべての入力層のノードの値とその重み係数の積和演算により得られる。
【0043】
いま、車両パターン検出では、1次元ベクトル502をそのまま入力層へ接続しているため、出力層の各ノードの値は、上述の処理により算出することができる。その結果、出力層の所定のノードの値が閾値を超えていれば車両パターンが存在すると判定する。
【0044】
出力層の所定のノードは事前にプログラムを組む際に決定しておく必要があり、入力ノードに車両のパターンが入ってきた場合にはその出力層のノードの出力が閾値以上になり、車両以外のパターンが入ってきた場合には出力が閾値以下となるように、各ノード間の重み係数はあらかじめ調整しておく必要がある。調整の方法は公知技術であるバックプロパゲーション法などを用いればよい。
【0045】
つぎに、ステップS403にて、車両と判定された領域が存在すれば、ステップS404へ移動し物理パラメータを算出する。一方、判定された領域が存在しなければ、ステップS405へ移る。
【0046】
ステップS404では、検出した車両の画像上の位置から、検出車両の物理パラメータを算出する。具体的には、検出した車両の画像上の位置がV_SX[i]、V_SY[i]、V_EX[i]、V_EY[i]であったとすると、その領域の下端とカメラ幾何を用いて距離PYO[i]を算出し、中心位置CX=(V_SX[i]+V_EX[i])/2から横位置PXO[i]を算出する。なお、ここでiは複数の車両が抽出された場合のID番号である。
【0047】
つぎに、ステップS405にて、ループ制御変数gがGに至るまでステップS402以下のステップを繰り返す。以上の処理により車両を検出することができる。
【0048】
つぎに、図6を用いて、物体検出部1061にて歩行者を検出する処理について説明する。図6は物体検出部1061の処理の流れを示したフローチャートである。まず、ステップS601にて、制御変数g=0とする。
【0049】
つぎに、ステップS602にて、前景領域FG_SX[g]、FG_SY[g]、FG_EX[g]、FG_EY[g]内から歩行者を検出する。前述したように前景領域FG_SX[g]、FG_SY[g]、FG_EX[g]、FG_EY[g]は幅W、高さHの間隔で並べたオプティカルフローにより求められているため、領域内には歩行者以外の情報も含まれていることが予想される。よって、領域内で位置・大きさを変えながらパターンマッチを繰り返して歩行者を検出する方法を用いる。なお、パターンマッチについては公知の技術を用いてよいため、ここでは詳細な説明は割愛する。
【0050】
つぎに、ステップS603にて、歩行者と判定された領域が存在すれば、ステップS604へ移動し物理パラメータを算出する。一方、判定された領域が存在しなければ、ステップS605へ移る。
【0051】
ステップS604では、検出した歩行者の画像上の位置から、検出歩行者の物理パラメータを算出する。具体的には、検出した歩行者の画像上の位置がP_SX[i]、P_SY[i]、P_EX[i]、P_EY[i]であったとすると、その領域の下端とカメラ幾何を用いて距離PYO[i]を算出し、中心位置CX=(P_SX[i]+P_EX[i])/2から横位置PXO[i]を算出する。なお、ここでiは複数の歩行者が抽出された場合のID番号である。
【0052】
つぎに、ステップS605にて、ループ制御変数gがGに至るまでステップS602以下のステップを繰り返す。以上の処理により歩行者を検出することができる。
【0053】
以上説明したように、一定周期で取り込んだ画像と、自車速に応じて取り込みタイミングを調整して取り込んだ画像を用いて、オプティカルフローの算出対象となる画像を最適に選択することにより、検知遅れが生じない、自車速が低い場合であっても遠方の物体を検出することができる、等の効果を得ることができる。
【0054】
<第2実施の形態>
つぎに、本発明の車両用外界認識装置の第2実施の形態について、以下に図面を用いて説明する。この実施形態は、請求項3に対応する。
【0055】
図7は、第2実施の形態における車両用外界認識装置2000の構成を示すブロック図である。なお、以下の説明では、上述の第1実施の形態における車両用外界認識装置1000と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。本実施の形態において特徴的なことは、自車挙動取得部2021にてヨーレートを考慮する構成としたことである。
【0056】
車両用外界認識装置2000は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ1010で撮影した画像内から物体を検知するためのものであり、本実施の形態では、自車の前方を撮像した画像内から車両、もしくは、歩行者を検知するように構成されている。
【0057】
車両用外界認識装置2000は、CPUやメモリ、I/O等を有するコンピュータによって構成されており、所定の処理及び手順がプログラミングされて、あらかじめ定められた周期Tで繰り返し処理を実行する。
【0058】
車両用外界認識装置2000は、図7に示すように、画像取得部1011と、自車挙動取得部2021と、撮像タイミング調整部2031と、オプティカルフロー算出部1041と、前景背景分離部2051と、物体検出部1061と、を有する。
【0059】
自車挙動取得部2021は、自車に搭載された車速計測機器の検出信号を取得して、自車速VSPを取得する。さらに、自車に搭載された横滑り防止装置の検出信号を取得して、ヨーレートYRを取得する。もしくは、操舵装置の検出信号を取得して操舵角Strを取得し、ヨーレートYRを算出してもよい。自車速VSP、および、ヨーレートYRは、各信号を車両用外界認識装置1000に直接入力することによって取得してもよいし、LAN(Local Area Network)を用いた通信を行うことによって取得してもよい。
【0060】
撮像タイミング調整部2031は、自車挙動取得部2021で取得した自車速VSPおよびヨーレートYRを用いて、画像取得部の撮像タイミングを調整する。具体的には、一定周期取得画像および不定期取得画像を取り込む撮像タイミングを設定する機能を有する。処理の詳細は後述する。
【0061】
前景背景分離部2051は、オプティカルフローIMGOFX[x][y]、IMGOFY[x][y]を解析して、前景と背景に分離する。本実施の形態では、画像上の前景領域をグルーピングしてFG_SX[g]、FG_SY[g]、FG_EX[g]、FG_EY[g]として表現する。ここでgは複数の前景が抽出された場合のID番号である。処理の詳細は後述する。これら以外の構成はすでに説明した車両用外界認識装置1000と同一である。
【0062】
[撮像タイミング調整部]
つぎに、撮像タイミング調整部2031における処理の内容について説明する。
撮像タイミング調整部2031は、次の撮像タイミングT1と、さらに次の撮像タイミングT2を決定する。ここで、撮像タイミングT1で撮像した画像上の物体が、一定周期Tで撮像した画像上に写る際に所定量動くよう、撮像タイミングT2を決定する。たとえば、全ての静止物体が前後方向にPメートル動くようにT2を決定する場合、ヨーレートを考慮すると、例えばVY=VSPcos(YR)を用いて、T2=P/VYより得られる。T1は処理周期Tを用いて、T1=T―T2より求める。なお、VSPが低速でT2>Tとなる場合や、VSPが高速でT2が撮像素子の取り込み速度の限界を超える場合に対応するため、閾値T2Min、T2Maxを設け、T2>T2Maxの場合はT2=T2Max、T2<T2Minの場合はT2=T2Minと設定するような処理が必要である。
【0063】
[前景背景分離部2051]
つぎに、前景背景分離部2051における処理の内容について説明する。処理フローのうち、前景背景分離部1051と異なる部分はステップS302のみであるため、ここではステップS302の説明のみ行い、残りは割愛する。
【0064】
ステップS302にて、最新の取り込み画像IMGSRC[x][y]上の点(xn,yn)の位置がT2秒前の画像上でどの位置にあるかを予測し、予測フローを算出する。本実施の形態では、予測フローは以下の手順により求める。まず、消失点とカメラ幾何から、座標(xn,yn)が路面上の点と仮定して世界座標(Xn,Yn,0)を求め、自車速VSP、取り込みタイミングT2から、移動量PY=VSPcos(YR)×T2、PX=VSPsin(YR)を算出して予測位置(Xn+PX,Yn+PY,0)を求め、その画像座標位置(xnp,ynp)を算出する。予測フローは、PFX=(xnp−xn)、PFY=(ynp−yn)となる。以上説明したように、ヨーレートを考慮することにより、旋回時も対応することが可能となる。
【0065】
<第3実施の形態>
つぎに、本発明の車両用外界認識装置の第3実施の形態について、以下に図面を用いて説明する。この実施形態は請求項7,8,9に対応する。
【0066】
図8は、第3実施の形態における車両用外界認識装置3000の構成を示すブロック図である。なお、以下の説明では、上述の第1実施の形態における車両用外界認識装置1000、および、2000と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。
【0067】
本実施の形態において特徴的なことは、オプティカルフロー生成に変わり消失点取得部3041および予測画像生成部3042が入り、予測画像生成部3042の結果を用いて前景背景分離部3051にて前景と背景を分離していることである。
【0068】
車両用外界認識装置3000は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ1010で撮影した画像内から物体を検知するためのものであり、本実施の形態では、車両、もしくは、歩行者を検知するように構成されている。
【0069】
車両用外界認識装置3000は、CPUやメモリ、I/O等を有するコンピュータによって構成されており、所定の処理及び手順がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。
【0070】
車両用外界認識装置3000は、図8に示すように、画像取得部1011と、自車挙動取得部1021と、撮像タイミング調整部1031と、消失点取得部3041と、予測画像生成部3042と、前景背景分離部3051と、物体検出部1061と、を有する。
【0071】
消失点取得部3041は、カメラ1010の消失点(VX,VY)を取得する手段であり、あらかじめ設定された初期値、もしくは、カメラ内でレーン認識を同時に動作させ、その結果から得られる値を参照する。レーン認識に関しては、本発明の本筋からそれるため説明は割愛する。
【0072】
予測画像生成部3042は、不定期取得画像IMGSRC_sub[x][y]を、消失点(VX,VY)、自車速VSP、カメラ幾何を用いて、一定周期取得画像IMGSRC[x][y]で得られた画像になるように変換し、変換画像IMGSRC’[x][y]を生成する。ここでヨーレートYRを用いてもよい。詳細な説明は後述する。
【0073】
前景背景分離部3051は、一定周期取得画像IMGSRC[x][y]と変換画像IMGSRC’[x][y]を比較し、前景と背景に分離する。本実施の形態では、画像上の前景領域をグルーピングしてFG_SX[g]、FG_SY[g]、FG_EX[g]、FG_EY[g]として表現する。ここでgは複数の前景が抽出された場合のID番号である。処理の詳細は後述する。
【0074】
[予測画像生成部3042]
つぎに、図9を用いて、予測画像生成部3042における処理の内容について説明する。図9は予測画像生成部3042の処理の流れを示したフローチャートである。まず、ステップS901にて、予測画像IMGSRC’[x][y]へアクセスするための制御変数の初期化x=0、y=0を行う。
【0075】
つぎに、ステップS902にて、予測画像IMGSRC’[x][y]の点(x,y)が不定期取得画像IMGSRC_subのどの位置から来たか予測する。予測は、不定期取り込み画像IMGSRC_sub[x][y]上の点がすべて路面上に存在すると仮定したり、すべて所定の距離の路面に垂直な平面上に存在すると仮定したりして行う。例えば、すべて路面上に存在すると仮定し、予測画像IMGSRC’[x][y]の点(x,y)を消失点(VX,VY)とカメラ幾何を用いて世界座標(X,Y,0)へ変換し、取り込み周期T2と自車速VSPから予測位置P=VSP×T2を求め、世界座標(X,Y―P,0)を画像座標(x’,y’)へ戻すことで推測できる。
【0076】
なお、ステップS902にてヨーレートYRを使用してもよい。この場合、予測画像IMGSRC’[x][y]の点(x,y)を消失点(VX,VY)とカメラ幾何を用いて世界座標(X,Y,0)へ変換し、取り込み周期T2、自車速VSPとヨーレートYRから予測位置PY=T2×VSPcos(YR)、PX=T2×VSPsin(YR)を求め、世界座標(X―PX,Y―PY,0)を画像座標(x’,y’)へ戻すことで推測できる。
【0077】
つぎに、ステップS903にて、不定期取り込み画像IMGSRC_subの座標(x’,y’)点、IMGSRC_sub[x’][y’]の情報をIMGSRC’[x][y]へ代入する。座標(x’,y’)が整数でない場合は、最近傍値を用いてもよいし、バイリニア等で補間してもよい。つぎに、ステップS904にて必要な画素アクセスが完了したか否かを判定し、完了していなければステップS902以下の処理を繰り返し、完了していれば処理を終了する。
【0078】
[前景背景分離部3051]
つぎに、図10を用いて、前景背景分離部3051における処理の内容について説明する。図10は前景背景分離部3051の処理の流れを示したフローチャートである。まず、ステップS1001にて一定周期取得画像IMGSRCと予測画像IMGSRC’の差分画像IMGSUBを生成する。本実施の形態では画素値ごとの差分を絶対値化したものを画像化する。
【0079】
つぎに、ステップS1002にて差分画像IMGSUBの画素アクセスのための制御変数を初期化(x=0,y=0)する。
【0080】
つぎに、ステップS1003にて、差分画像上の点IMGSUB[x][y]が、閾値より大きければステップS1004にて前景であると判定し、閾値以下であればステップS1005にて背景と判定する。
【0081】
つぎに、ステップS1006にて、画素アクセスがすべて完了したかを判定し、完了していなければステップS1003以下を繰り返す。
【0082】
つぎに、ステップS1007にて、判定した前景領域のグルーピングを行い、前景領域FG_SX[g]、FG_SY[g]、FG_EX[g]、FG_EY[g]を求める。グルーピングは、例えば以下のようにして行う。まず、前景と判定された点を1、それ以外を0とした2値画像を生成する。つぎに、2次元マップ上で隣接している点をグルーピングする。各グループの2次元マップ上での上下左右端をGR_SX[g]、GR_SY[g]、GR_EX[g]、GR_EY[g]とすると、前景領域は以下の式により求められる。
FG_SX[g]=GR_SX[g]
FG_SY[g]=GR_SY[g]
FG_EX[g]=GR_EX[g]
FG_EY[g]=GR_EY[g]
【0083】
以上の処理により、前景領域FG_SX[g]、FG_SY[g]、FG_EX[g]、FG_EY[g]を得る。
【0084】
以上説明したように、不定期取得画像IMGSRC_sub[x][y]を変換した画像IMGSRC’[x][y]と一定周期取得画像IMGSRC[x][y]の差分から前景を抽出することができる。
【0085】
<第4実施の形態>
つぎに、本発明の車両用外界認識装置の第4実施の形態について、以下に図面を用いて説明する。この実施形態は、請求項10に対応する。
【0086】
図11は、第4実施の形態における車両用外界認識装置4000の構成を示すブロック図である。なお、以下の説明では、上述の車両用外界認識装置1000、2000、および3000と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。本実施の形態において特徴的なことは、不定周期画像を複数取り込み、予測画像生成部3042にて複数の画像から予測画像を生成していることである。
【0087】
車両用外界認識装置4000は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ1010で撮影した画像内から物体を検知するためのものであり、本実施の形態では、車両、もしくは、歩行者を検知するように構成されている。
【0088】
車両用外界認識装置4000は、CPUやメモリ、I/O等を有するコンピュータによって構成されており、所定の処理及び手順がプログラミングされて、あらかじめ定められた周期Tで繰り返し処理を実行する。
【0089】
車両用外界認識装置4000は、図8に示すように、画像取得部4011と、自車挙動取得部1021と、撮像タイミング調整部4031と、消失点取得部3041と、予測画像生成部4042と、前景背景分離部3051と、物体検出部1061と、を有する。
画像取得部4011は、自車の前方を撮像可能な位置に取り付けられたカメラ1010から、自車前方を撮影した画像データを取り込み、一定周期取得画像IMGSRC[x][y]および不定期取得画像IMGSRC_sub1[x][y]、IMGSRC_sub2[x][y]をRAM1020上に記憶する。
【0090】
撮像タイミング調整部4031は、自車挙動取得部1021で取得した自車速VSPを用いて、画像取得部の撮像タイミングを調整する。具体的には、一定周期取得画像および不定期取得画像を取り込む撮像タイミングを設定する機能を有する。処理の詳細は後述する。
【0091】
予測画像生成部4042は、不定期取得画像IMGSRC_sub[x][y]を、消失点(VX,VY)、自車速VSP、カメラ幾何を用いて、一定周期取得画像IMGSRC[x][y]で得られた画像になるように変換し、変換画像IMGSRC’[x][y]を生成する。ここでヨーレートYRを用いてもよい。
【0092】
[撮像タイミング調整部]
つぎに、図12を用いて、撮像タイミング調整部4031における処理の内容について説明する。図12は画像取得部4011の撮像タイミングを説明するためのタイミングチャートである。
【0093】
撮像タイミング調整部4031は、次の撮像タイミングT1と、次の2回分の撮像タイミングT21、T22を決定する。ここで、撮像タイミングT1で撮像した画像上の物体が、一定周期Tで撮像した画像上に写る際に所定量動くよう、撮像タイミングT21、T22を決定する。たとえば、全ての静止物体がP1メートル動くようにT21を決定する場合、T21=P1/VSPより決定できる。同様に、静止物体がP2メートル動くようにT22=P2/VSPを決定する。
【0094】
T1は処理周期Tを用いて、T1=T―(T22)より求める。なお、VSPが低速でT22>Tとなる場合や、VSPが高速でT1が撮像素子の取り込み速度の限界を超える場合に対応するため、閾値T2Min、T2Maxを設け、T22>T2Maxの場合はT22=T2Max、T21<T2Minの場合はT21=T2Minと設定するような処理が必要である。
【0095】
[予測画像生成部4042]
つぎに、図13を用いて、予測画像生成部4042における処理の内容について説明する。図13は予測画像生成部4042の処理の流れを示したフローチャートである。まず、ステップS1301にて、予測画像IMGSRC’[x][y]へアクセスするための制御変数の初期化x=0、y=0を行う。
【0096】
つぎに、ステップS1302にて、予測画像IMGSRC’[x][y]の値を持ってくる画像を決定する。これは、消失点付近は動きが小さいため、長い周期T22で取り込んだ画像IMGSRC_sub2を用い、画像下端近くの自車近傍は短い周期T21で取り込んだ画像IMGSRC_sub1を用いる。具体的には、座標(x,y)を世界座標へ変換して世界座標上の位置で決定したり、画像座標上であらかじめマップを持っておき、マップにしたがってどちらの画像を用いるかを決定したりする。本実施の形態では、すべて路面上に存在すると仮定し、点(x,y)を消失点(VX,VY)とカメラ幾何を用いて世界座標(X,Y,0)へ変換し、変換した世界座標Yが所定値以上であれば画像IMGSRC_sub2を用い、所定値未満であれば画像IMGSRC_sub1を用いることとする。
【0097】
つぎに、ステップS1303にて、予測座標(x’,y’)を算出する。ステップS1302にて画像IMGSRC_sub1を選んだ場合は、ステップS1302にて求めた世界座標(X,Y,0)に対し、取り込み周期T21と自車速VSPから予測位置P1=VSP×T21を求め、世界座標(X,Y―P1,0)を画像座標(x’,y’)へ戻すことで推測できる。同様に、画像IMGSRC_sub2を選んだ場合は、世界座標(X,Y,0)に対し、取り込み周期T22と自車速VSPから予測位置P2=VSP×T22を求め、世界座標(X,Y―P2,0)を画像座標(x’,y’)へ戻すことで推測できる。
【0098】
なお、ステップS1303にてヨーレートYRを使用してもよい。この場合、取り込み周期T21の場合は自車速VSPとヨーレートYRから予測位置PY1=T21×VSPcos(YR)、PX1=T21×VSPsin(YR)を求め、世界座標(X―PX1,Y―PY1,0)を画像座標(x’,y’)へ戻すことで推測できる。取り込み周期T22の場合も同様である。
【0099】
つぎに、ステップS1304にて、予測画像を生成する。ステップS1302にて画像IMGSRC_sub1を選んだ場合は、不定期取り込み画像IMGSRC_sub1の座標(x’,y’)点、IMGSRC_sub[x’][y’]の情報をIMGSRC’[x][y]へ代入する。同様に、IMGSRC_sub2を選んだ場合は、不定期取り込み画像IMGSRC_sub2の座標(x’,y’)点、IMGSRC_sub[x’][y’]の情報をIMGSRC’[x][y]へ代入する。座標(x’,y’)が整数でない場合は、最近傍値を用いてもよいし、バイリニア等で補間してもよい。
【0100】
つぎに、ステップS1305にて必要な画素アクセスが完了したか否かを判定し、完了していなければステップS1302以下の処理を繰り返し、完了していれば処理を終了する。
【0101】
以上説明したように、遠方は取り込み周期が長い画像から予測し、近傍は取り込み周期が短い画像から予測することで、遠方の物体を検出することが可能となる。
【0102】
以下、図14,15を用いて、前述の実施の形態より判定した先行車に応じて警報を出力する、あるいは自動的にブレーキを制御するといったシステムの動作方法について説明する。この説明は、請求項11,12,13に対応する。
【0103】
図14は、プリクラッシュ・セーフティ・システムの動作方法を示すフローチャートである。最初に、ステップS141において、障害物情報(PYO[i]、PXO[i])を読み込む。
【0104】
つぎに、ステップS142において、検知された各物体の衝突予測時間TTC[i]を式(1)を用いて演算する。ここで、相対速度VY1[i]は、物体の相対距離PY1[i]を擬似微分することによって求める。
TTC[i]=PY1[i]÷VY1[i]・・・(1)
さらに、ステップS143において、各障害物に対する危険度DRECI[i]を演算する。
【0105】
以下、上述のいずれかの車両用外界認識装置で検知された物体X[i]に対する危険度DRECI[i]の演算方法の例を、図15を用いて説明する。
【0106】
まず、予測進路の推定方法について説明する。図15に示すように、自車位置を原点Oとすると、予測進路は原点Oを通る旋回半径Rの円弧で近似できる。ここで、旋回半径Rは、自車の操舵角α、速度Vsp、スタビリティファクタA、ホイールベースLおよびステアリングギア比Gsを用いて式(2)で表される。
R=(1+AVsp)×(L・Gs/α)・・・(2)
【0107】
スタビリティファクタとは、その正負が、車両のステア特性を支配するものであり、車両の定常円旋回の速度に依存する変化の大きさを示す指数となる重要な値である。式(2)からわかるように、旋回半径Rは、スタビリティファクタAを係数として、自車の速度Vspの2乗に比例して変化する。また、旋回半径Rは車速Vspおよびヨーレートγを用いて式(3)で表すことができる。
R=Vsp/γ・・・(3)
【0108】
つぎに、物体X[i]から、旋回半径Rの円弧で近似した予測進路の中心へ垂線を引き、距離L[i]を求める。さらに、自車幅Hから距離L[i]を引き、これが負値の場合には危険度DRECI[i]=0とし、正値の場合には以下の式(4)によって危険度DRECI[i]を演算する。
DRECI[i]=(H−L[i])/H・・・(4)
なお、ステップS141〜S143の処理は、検知した物体数に応じてループ処理を行う構成としている。
【0109】
ステップS144において、ステップS143で演算した危険度DRECI[i]に応じて式(5)の条件が成立している物体を選択し、選択された物体の中で衝突予測時間TTC[i]が最小となる物体iMinを選択する。
DRECI[i]≧cDRECI#・・・(5)
ここで、所定値cDRECI#は、自車に衝突するか否かを判定するための閾値である。
【0110】
つぎに、ステップS145において、選択された物体kの衝突予測時間TTC[iMin]に応じて自動的にブレーキを制御する範囲であるか否かの判定を行う。式(6)が成立している場合にはステップS146に進み、ブレーキ制御を実行して処理を終了する。
また、式(6)が非成立の場合にはステップS147に進む。
TTC[iMin]≦cTTCBRK#・・・(6)
【0111】
ステップS147において、選択された物体iMinの衝突予測時間TTC[iMin]に応じて警報を出力する範囲であるか否かの判定を行う。式(7)が成立している場合にはステップS148に進み、警報を出力して処理を終了する。また、式(7)が非成立の場合には、ブレーキ制御、警報ともに実行せずに処理を終了する。
TTC[iMin]≦cTTCALM#・・・(7)
【0112】
以上説明したように、本発明である上述のいずれかの車両用外界認識装置において先行車と判定された物体に対して、その危険度に応じて上記警報やブレーキ制御を発動させることができる。
【0113】
本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
【符号の説明】
【0114】
1000 車両用外界認識装置
1010 カメラ(撮像装置)
1020 RAM
1011 画像取得部
1021 自車挙動取得部
1031 撮像タイミング調整部
1041 オプティカルフロー算出部
1051 前景背景分離部
1061 物体検出部
2000 車両用外界認識装置
2021 自車挙動取得部
2031 撮像タイミング調整部
2051 前景背景分離部
3000 車両用外界認識装置
3041 消失点取得部
3042 予測画像生成部
3051 前景背景分離部
4000 車両用外界認識装置
4011 画像取得部
4031 撮像タイミング調整部
4042 予測画像生成部
VSP 自車速
YR ヨーレート

【特許請求の範囲】
【請求項1】
カメラ等の撮像装置から画像を取り込む画像取り込み手段と、
前記撮像装置から画像を取り込むタイミングを調整する撮像タイミング調整手段と、を有し、
前記画像取り込み手段は、前記撮像タイミング調整手段によって設定された一定周期で画像を取り込むと共に、該一定周期の間に不定期で画像を取り込むことを特徴とする、車両用外界認識装置。
【請求項2】
自車速を取得する自車挙動取得手段を有し、
前記撮像タイミング調整手段は自車の速度に応じて不定期での画像取り込みのタイミングを調整することを特徴とする請求項1に記載の車両用外界認識装置。
【請求項3】
自車速とヨーレートを取得する自車挙動取得手段を有し、
前記撮像タイミング調整手段は自車の速度とヨーレートに応じて不定期での画像取り込みのタイミングを調整することを特徴とする請求項1に記載の車両用外界認識装置。
【請求項4】
前記撮像タイミング調整手段はさらに物体の最大検出距離に応じて画像取り込みのタイミングを調整することを特徴とする請求項2又は3に記載の車両用外界認識装置。
【請求項5】
取り込まれた前記画像を用いて前景と背景を分離する前景背景分離手段と、
前記前景背景分離手段で分離された前景から衝突の可能性がある物体を検出する物体検出手段と、を有することを特徴とする請求項2から4のいずれか一項に記載の車両用外界認識装置。
【請求項6】
画像間のオプティカルフローを算出するオプティカルフロー算出手段を有し、
前記前景背景分離手段はオプティカルフローに基づいて前景と背景を分離することを特徴とする請求項5に記載の車両用外界認識装置。
【請求項7】
消失点を取得する消失点取得手段と、
前記消失点を用いて、前記自車挙動取得手段で不定期に取り込まれた画像を変換し変換画像を生成する予測画像生成手段と、を有し、
前記前景背景分離手段は、前記変換画像と一定周期で取り込まれた画像との差分により前景と背景を分離することを特徴とする請求項5に記載の車両用外界認識装置。
【請求項8】
前記物体検出手段は、前景が車両であるか否かを判定することを特徴とする請求項5から7のいずれか一項に記載の車両用外界認識装置。
【請求項9】
前記物体検出手段は、前景が歩行者であるか否かを判定することを特徴とする請求項5から7のいずれか一項に記載の車両用外界認識装置。
【請求項10】
消失点を取得する消失点取得手段と、
前記消失点を用いて、前記自車挙動取得手段で不定期に取り込まれた複数の画像を変換し複数の変換画像を生成する予測画像生成手段と、を有し、
前記前景背景分離手段は、前記変換画像と一定周期で取り込まれた画像との差分により前景と背景を分離することを特徴とする請求項5に記載の車両用外界認識装置。
【請求項11】
請求項5から10のいずれか一項に記載の車両用外界認識装置を備えた車両システムであって、
前記物体検出手段により検出した物体の位置に応じて前記自車が衝突する危険度を算出する衝突危険度算出手段と、
該衝突危険度算出手段により算出した衝突危険度に応じて自車の衝突を回避する制御を行う制御手段と、
を有することを特徴とする車両システム。
【請求項12】
前記制御手段は、前記物体の位置に基づいて、前記自車が前記物体と衝突する衝突予想時間を算出し、該算出した衝突予測時間と予め設定された制動用閾値とを比較して、前記衝突予測時間が前記制動用閾値以下であるときは、前記自車に対する制動制御を行うことを特徴とする請求項11に記載の車両システム。
【請求項13】
前記制御手段は、前記物体の位置に基づいて、前記自車が前記物体と衝突する衝突予想時間を算出し、該算出した衝突予測時間と予め設定された警報用閾値とを比較して、前記衝突予測時間が前記警報用閾値以下であるときは、前記自車の運転者に対する警報制御を行うことを特徴とする請求項11に記載の車両システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2013−105432(P2013−105432A)
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2011−250772(P2011−250772)
【出願日】平成23年11月16日(2011.11.16)
【出願人】(000001487)クラリオン株式会社 (1,722)
【Fターム(参考)】