車両周辺画像処理装置
【課題】強い色かぶり影響を及ぼすような光源下にあっても、できるだけ高精度で車両周辺に存在する予め設定した認識対象物の認識が容易となる色補正を簡単な構成で実現する。
【解決手段】車両周辺画像処理装置は、車載撮影ユニットから出力されたホワイトバランス調整信号から光源としての光源種を推定する光源推定部５１と、撮影画像における特定色が光源種によって受ける影響を低減するような特性を持つように光源種毎に作成されたカラープロファイルを格納するカラープロファイル格納部５２と、入力された撮影画像が前記光源種の光源下における撮影画像の場合、当該光源種に対応するカラープロファイルをカラープロファイル格納部５２から読み出し、当該カラープロファイルを用いて前記撮影画像を色補正する色変換部５４とを備えている。
【解決手段】車両周辺画像処理装置は、車載撮影ユニットから出力されたホワイトバランス調整信号から光源としての光源種を推定する光源推定部５１と、撮影画像における特定色が光源種によって受ける影響を低減するような特性を持つように光源種毎に作成されたカラープロファイルを格納するカラープロファイル格納部５２と、入力された撮影画像が前記光源種の光源下における撮影画像の場合、当該光源種に対応するカラープロファイルをカラープロファイル格納部５２から読み出し、当該カラープロファイルを用いて前記撮影画像を色補正する色変換部５４とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺に存在する特定の対象物を撮影画像を通じて認識する車両周辺画像処理装置に関する。
【背景技術】
【０００２】
車両に搭載されたカメラにて自車前方を撮影し、その撮影画像の中から特定の対象物（停止位置確認のターゲットや道路標識など）を画像認識によって認識する場合、そのような対象物は様々な種類の光源によって照明される可能性があり、特に色差による対象物の輪郭検出などが困難となる。一般的には、光源による色かぶりの問題を解消するためにはホワイトバランス調整という技術が知られている。このホワイトバランス調整は、人間が撮像対象物を直接目視した場合に認識される表示色がその撮影画像においても正確に再現されるように撮影画像を調整する画像処理技術のひとつである。
【０００３】
例えば、そのようなホワイトバランス調整技術を採用した車載用画像認識装置として、車両における所定の位置に配置された無彩色部材の撮影画像から推定される色温度に基づき、車外における支配的な光源（主光源）の色温度を推定して当該撮影画像における光源による影響を低減させる技術が知られている（例えば、特許文献１参照）。つまり、車両に搭載された撮像手段により撮像された撮像画像に基づいて車外の光源の色温度を推定するために、車両における所定の位置に無彩色部材を設け、撮像手段により、無彩色部材及び上空を含むように車両の周辺の画像を撮像する。撮像した撮像画像中の無彩色部材の画像領域についてその画像領域の色温度を推定するとともに、撮像した撮像画像中の上空の画像領域についてその画像領域に存在する一又は複数の光源の色温度を推定する。そして、各推定結果に基づき、上空の画像領域に存在する光源の色温度のうち、無彩色部材の画像領域の色温度を含む所定の色温度判定範囲内にあるものを、最終的な色温度の推定結果とする。この技術では、車両における所定の位置に無彩色部材を配置することが必要となるだけでなく、このカラーリファレンスとなる無彩色部材が汚染されたり、局地的な光源種にさらされたりした場合には、正確な色温度の推定が不可能となる。
【０００４】
車体に取り付けられる無彩色部材を必要とせずに、光源によらず良好な色再現補正を行うためのホワイトバランス調整技術を採用した映像信号（撮影画像）処理装置が知られている（例えば、特許文献２参照）。この装置では、映像信号（撮影画像）のホワイトバランスを調整するホワイトバランス調整手段と、前記映像信号に対して、色再現補正特性に従って色再現補正を行う色再現補正手段と、前記ホワイトバランス調整における調整状態に応じて光源特性を推定する光源特性推定手段と、前記光源特性推定手段の推定結果に応じて、前記色再現補正手段における色再現補正特性を可変制御する色再現補正特性制御手段と、異なる光源特性にそれぞれ対応する複数の色再現補正特性を記憶する色再現補正特性記憶手段と、前記色再現補正特性制御手段が、前記色再現補正特性記憶手段に記憶された複数の色再現補正特性の中から、前記光源特性推定手段により推定された光源特性に対応する色再現補正特性を選択するものがある。この構成により、予め用意された複数の色再現補正特性から、推定された光源特性に対応する色再現特性を選択するので、光源によらず、撮影画像全体の色再現が向上する。しかしながら、この装置では推定された光源特性に基づいて撮影画像全体の色再現を意図しているために、例えばナトリウムランプ光源などの極めて特異な光源による強い色かぶりが発生している場合には、十分な効果が得られない。その結果、補正された撮影画像を人が見る場合には大まかな被写体を確認することができても、停止位置確認のターゲットや道路標識などを画像認識によって認識する際に必要な色差による対象物の輪郭検出の精度を上げることが困難である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９‐２７１１２２号公報（段落番号〔０００９−００２１〕、図１）
【特許文献２】特開２００９‐２３９３２３号公報（段落番号〔００２３−００４６〕、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、上記従来技術の実情に鑑み、ナトリウムランプ光源などのように強い色かぶり影響を及ぼすような光源下にあっても、できるだけ高精度で車両周辺に存在する予め設定した認識対象物の認識が容易となる色補正を簡単な構成で実現できる車両周辺画像処理装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明による車両周辺画像処理装置は、撮像素子とホワイトバランス調整部とを備え、光源下における車両周辺の撮影画像及び当該撮影画像に対するホワイトバランス調整信号を出力する車載撮影ユニットと、前記ホワイトバランス調整信号から前記光源の種類を示す光源種を推定する光源推定部と、前記撮影画像における特定色が前記光源種によって受ける影響を低減するような特性を持つように前記光源種毎に作成されたカラープロファイルを格納するカラープロファイル格納部と、入力された撮影画像が前記光源種で示される光源下における撮影画像の場合、当該光源種に対応するカラープロファイルを前記カラープロファイル格納部から読み出し、当該カラープロファイルを用いて前記撮影画像を色補正する色変換部とを備えている。
【０００８】
この構成によれば、処理対象となる車両周辺画像に含まれる特定色が光源によって受ける色影響は、撮影ユニットから取り出すことができるホワイトバランス調整信号を用いて推定された光源種に対応するカラープロファイルを設定した色変換部による撮影画像の補正によって低減させることができる。例えば、車両周辺画像における重要な被写体がナトリウムランプ光源下での赤ランプであるとする。この場合、この赤ランプの赤をできるだけ元の赤に近いように色補正する必要がある。この問題を解決するためには、まず、ナトリウムランプ光源下での赤色の変色をもできるだけ元の色の戻すようなカラープロファイルを作成して格納しておく。そして、ホワイトバランス調整信号から光源種としてナトリウムランプ光源を推定し、ナトリウムランプ光源下で変色影響を受けた赤色をできるだけ元の色に戻す上記カラープロファイルを読み出し、このカラープロファイルを用いて車両周辺画像を色補正すればよい。
【０００９】
元の撮影画像における、道路標識や停止マーカなどの特定の認識対象物における特定色が光源によって受ける色影響（色に関する影響）が色補正によって低減されるとすれば、そのような色補正後の撮影画像を用いることでそのような認識対象物の画像認識精度が向上する。従って、本発明による車両周辺画像処理装置に、前記色変換部から出力された撮像画像中において予め設定した認識対象物を認識する画像認識モジュールを備えると好都合である。
【００１０】
道路標識や停止マーカなどを画像認識する場合、その輪郭検出や位置検出などは二値化画像で行われることは少なくない。従って、色かぶり除去などの色補正を行う際には、元の撮影画像の輝度レベルを下げてそのダイナミックレンジを下げることは好ましいことではない。このことから、本発明の好適な実施形態の１つでは、前記光源種のカラープロファイルは認識対象物に影響を与える特定色を低減するとともに前記特定色の補色を増加させることで輝度レベルを保持する特性を有するように作成されている。
【００１１】
光源による色かぶりなどの色影響は、当該光源によって照明される色によって左右されるので、認識対象物を特徴付ける特徴色が複数ある場合には、その特徴色毎にカラープロファイルが必要となる。このことから、本発明による好適な実施形態の１つでは、前記色変換部は、前記光源種と前記認識対象物を特徴付ける特徴色とに対応するカラープロファイルを前記カラープロファイル格納部から読み出し、当該カラープロファイルを用いて前記撮影画像を色補正するように構成されている。
【００１２】
本発明によって、効果的に認識される対象物は、車載カメラなどの取付精度の検査や駐車位置の目標設定のために用いられる、異なる色（例えば２色）の組み合わせ、例えばからなるマーカであり、色補正される色（近似色を含む）が限定されているので、効果的な色影響の除去が可能となる。また、車両周辺の認識対象物を照明する光源のうち、特に色かぶりが激しいものとしてナトリウムランプが挙げられる。このことから、最低限ナトリウムランプを光源種とするカラープロファイルを備えていることが好ましい。
【図面の簡単な説明】
【００１３】
【図１】本発明による車両周辺画像処理装置で採用されている光源による色影響を補正する色補正原理の前半の説明図である。
【図２】本発明による車両周辺画像処理装置で採用されている光源による色影響を補正する色補正原理の後半の説明図である。
【図３】本発明による車両周辺画像処理装置を採用した駐車支援装置の機能ブロック図を示す。
【図４】駐車支援に用いられる駐車区画線と駐車マーカを含む撮影画像を説明する模式図である。
【図５】駐車支援の制御の流れを示すフローチャートである。
【図６】色補正モジュールによる色補正の流れを示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態を図面に基づいて説明する。まず、本発明による車両周辺画像認識装置で採用されている、光源による色影響（色に関する影響）を補正する色補正技術の原理を図１と図２の説明図を用いて説明する。
【００１５】
ここでは、認識対象物２として、説明を簡単にするために２つの異なる色によって特徴付けられる対象物とする。図１の（ａ）に示すように、２つの色（近似色を含む元色）のうちの一方は第１色と名づけてＣ1(Ｒ1,Ｇ1,Ｂ1)（ＲＧＢ表色系）で表している。２つの色のうちの他方は第２色と名づけてＣ2(Ｒ2,Ｇ2,Ｂ2)で表している。なお、元色という語句は、理想的な太陽光の下での本来の色を表すものであるが、さらにここではそのような色を狭く限定するのではなくその元色の近似色も含む所定の色範囲を有している語句として用いられている。さらに、ここでは、認識対象物２を特徴付けている特徴色は、第１色と第２色であり、この第１色と第２色の境界線の検出を通じて正確な位置検出が可能となる。この認識対象物２が、タングステンランプやナトリウムランプなどの光源によって照明されることで、第１色と第２色はそれぞれ異なった色（近似色を含む変化色）に変化する。第１色が変化した色を第３色と名づけてＣ3(Ｒ3,Ｇ3,Ｂ3)で表している。第２色が変化した色を第４色と名づけてＣ4(Ｒ4,Ｇ4,Ｂ4)で表している。この色の変化(移行)をマトリックス表現した関係式を用いてそれぞれの色変化を示すと次のように示すことができる。
Ｃ1(Ｒ1,Ｇ1,Ｂ1)・Ｍ1 ＝＞ Ｃ3(Ｒ3,Ｇ3,Ｂ3) （１）
Ｃ2(Ｒ2,Ｇ2,Ｂ2)・Ｍ2 ＝＞ Ｃ4(Ｒ4,Ｇ4,Ｂ4) （２）
このような色の変化を表色系上で視覚化した模式図が図１の（ｂ）に示されている。つまり、光源による照明により元色の座標位置が変化色の座標位置に移動するが、その移動の方向と距離が変換行列：Ｍ1、Ｍ2で表されている。
次に、光源による色影響を受けた認識対象物２を撮影画像上で、元通りの色になるように色補正することを考える。この補正は、変換行列：Ｍ1、Ｍ2の逆行列：Ｍ1-1、Ｍ2-1を求めることで実現することができる。つまり、光源による色影響により表色系上での第１色から第３色への移動、及び第２色から第４色への移動はその移動を逆にたどって戻すことで元色となる。このことは次のように示すことができる。
Ｃ3(Ｒ3,Ｇ3,Ｂ3)・Ｍ1-1 ＝＞ Ｃ1(Ｒ1,Ｇ1,Ｂ1) （３）
Ｃ4(Ｒ4,Ｇ4,Ｂ4)・Ｍ2-1 ＝＞ Ｃ2(Ｒ2,Ｇ2,Ｂ2) （４）
このような色補正を表色系上で視覚化した模式図が図１の（ｃ）に示されている。
このような色補正を表色系上で視覚化した模式図が図１の（ｃ）に示されている。
一般的に正確な逆行列を求めることは困難なので、近似的または実験的あるいはその両方で求めるとよい。このようにして求められたＭ1-1やＭ2-1に対応するように作成されたカラープロファイル（カラーマトリックス）は、カラーターゲット２が特定の光源によって受ける色影響を少なくとも低減するような特性を持つことになる。
また、色毎（第１色と第２色）に個別に作成された複数の変換行列を好ましくは最適近似させた共通変換行列を作成し、その共通変換行列の逆行列から両方の色（第１色と第２色）に適合するカラープロファイルを作成してもよい。また実質的には同じであるが、個別に作成された複数の逆行列を好ましくは最適に１つの逆行列に融合させ、この融合させた逆行列から両方の色（第１色と第２色）に適合するカラープロファイルを作成してもよい。
【００１６】
強い色かぶりなどの色影響を与える光源は複数考慮しなければならない場合、その光源毎に上述したようなカラープロファイルを作成し、選択使用可能に格納する必要がある。さらに、処理対象となる撮影画像からどの種の光源によって照明されたものであるかという光源推定を行わなければならない。この光源推定を、処理対象となっている撮影画像の種々の画像特徴量、輝度ヒストグラムや色成分別ヒストグラムなどの統計的な演算値などから行うことは知られているが、多種の画像特徴量を求める演算はかなりの負担を伴う。このため、本発明では、デジタルカメラを構成要素とする撮影ユニットに付属しているホワイトバランス調整機能を利用し、撮影ユニットからのホワイトバランス調整信号を入力信号として、光源種を推定する演算（推定）手法を採用している。つまり、図２に模式的に示すように、処理すべき撮影画像の撮影時に実行されたホワイトバランス調整の調整信号が数値化され、必要に応じて予備的な演算を施して、光源推定アルゴリズムに対する入力データとして与えられる。入力データとして代表的なものは、対象となっている撮影画像の輝度平均値、Ｒ(赤):平均値、Ｇ（緑）:平均値、Ｂ（青）:平均値などである。ホワイトバランス調整信号に基づくこのような入力データが与えられると、光源推定のアルゴリズム演算が起動し、光源種が演算(推定)され、出力される。この演算アルゴリズムとしては、ルールベースのような仕組み（たとえば、入力データを予め定められたしきい値と比較するなどの演算）を採用してもよいが、予め学習させることにより重み係数を設定して、推論演算部を作製するニューラルネットワークのような仕組みが好都合である。
いずれにしても、そのような推論演算部が構築されると、そこにホワイトバランス調整信号、ないしはホワイトバランス調整信号に基づくデータを入力するだけで、光源種が出力される。次に、出力された光源種に適応するカラープロファイル（逆行列）がカラープロファイル格納部から選択出力され、この出力されたカラープロファイルを用いて撮影画像を色補正することで、認識対象物２を特徴付けている特徴色の識別認識が容易となる撮影画像が得られる。
【００１７】
次に、上述した、光源による色影響を補正する色補正技術の原理を採用した、本発明による車両周辺画像処理装置の１つの実施形態を図面に基づいて説明する。この実施形態では、車両周辺画像処理装置は、駐車支援システムにおける画像処理装置として組み込まれている。図３は、そのような駐車支援システムの構成を模式的に示す機能ブロック図である。駐車支援システムは、車両周辺画像処理装置３、駐車支援ＥＣＵ７、マン・マシンインターフェースユニット８を備え、車両周辺画像処理装置３は、撮影ユニット４と色補正モジュール５と画像認識モジュール６を含む。マン・マシンインターフェースユニット８には、モニタやタッチパネルやスピーカ、さらには各種センサが接続されている。
【００１８】
撮影ユニット４は、撮影レンズ４１によって結像された被写体の像を光電変換して画像信号を出力する撮像素子３と、撮像素子３から出力される画像信号をＲ・Ｇ・Ｂの３原色にまたは色差信号に分離する色分離部４３と、色分離された信号に対してホワイトバランス調整するホワイトバランス調整部４４とを備えている。色分離部４３から出力されたＲＧＢ信号には光源の分光特性により白色やグレー色に色味がついているため、ホワイトバランス調整部４４によりホワイトバランスを調整する。ホワイトバランス調整はよく知られているのでここでは詳しい説明は省略するが、例えば、Ｒ・Ｇ・Ｂ毎の撮影画像全体の平均値、この平均値から所定演算式によって得られる演算値などからワイトバランス調整値が求められ、ホワイトバランス調整値を用いて撮影画像の画素値を補正する。
【００１９】
色補正モジュール５は、認識特徴色設定部５０と、光源推定部５１と、カラープロファイル格納部５２と、カラープロファイル選択部５３と、色変換部５４とを含んでいる。認識特徴色設定部５０は、処理対象となっている撮影画像における認識対象物を特徴付ける特徴色を設定する。この色補正モジュール５は、ここで設定された特徴色が優先的に良好に色補正されるような補正を行い、そのような特徴色が設定されない場合には、平均的な色補正を行う。光源推定部５１は、上記のホワイトバランス調整部５４から送られてくるホワイトバランス調整信号に基づくデータを入力することにより、重み演算やルール演算などの演算を通じて、推定された光源種を出力する。ここでの重み演算とは、例えばニューラルネットワークで用いられているような、各入力パラメータに重み係数を付与し、繰り返し学習によってこの重み係数の修正を行って、出力結果の誤差を最小にした演算式を用いた演算の総称である。また、ルール演算とは、ifthen文のような所定のルールに基づいて、結果を導く演算の総称である。ルール自体の内容としては、例えば、「Ｂ色成分値が所定値より高くＲとＧの成分値が所定値より低いならば、オレンジランプの可能性が所定％以上」などが挙げられる。
なお、光源種（光源の種類）として、タングステンランプ、ナトリウムランプ、蛍光ランプ、ＬＥＤランプなどが挙げられるが、太陽光に含めて、互い同士の組み合わせもここで推定される光源種としてもよい。また、その各ランプの強度、色影響の大きさ別に同一光源種を区分けしてもよい。
【００２０】
カラープロファイル格納部５２は、図１を用いて説明した色補正に用いられるカラープロファイルを格納している。このカラープロファイルは、撮影画像における認識対象物を特徴付けている特徴色に対して色かぶり等の色影響をできるだけ低減するための補正テーブルである。この実施形態では、各カラープロファイルは、特定の光源種と認識対象物の特定の色構成との組み合わせ毎に作成されている。さらに、そのカラープロファイルで、光源種と認識対象物の特徴色とを検索キーワードとして検索抽出できるようにデータベース化されている。カラープロファイル選択部５３は、光源推定部５１によって推定された光源種と、予め設定されている認識対象物の特徴色とから適合するカラープロファイルを選択し、色変換部５４に与える。色変換部５４は、カラープロファイル選択部４３によって選択されたカラープロファイルを用いて撮影画像の色補正を行う。
【００２１】
画像認識モジュール６は、色補正モジュールから出力された色補正済みの撮像画像中において予め設定した認識対象物を認識する機能を有する。この実施形態では、認識対象物は、図４で例示するような、駐車領域を境界付けている一般的には白色（特徴色）の駐車区画線Ｌ１とＬ２と、特定の二色（特徴色）によって特徴付けられた駐車マーカＰＭである。このため、この画像認識モジュール６は、駐車区画線Ｌ１とＬ２を検出する駐車区画線認識部６１と、駐車マーカＰＭを検出する駐車マーカ認識部６２とを含んでいる。撮影画像から上記のような認識対象物を認識する画像認識アルゴリズムはよく知られているのでここでの説明は省略するが、駐車区画線Ｌ１とＬ２を特徴付ける白色や駐車マーカＰＭを特徴付ける二色（例えば赤と青）は、上記認識特徴色設定部５０で認識特徴色として設定される。
【００２２】
駐車支援ＥＣＵ７は、それ自体はよく知られているように、目標駐車位置設定部７１と、車両位置演算部７２と、駐車経路演算部７３と、誘導部７４とを備えている。目標駐車位置設定部７１は、画像認識モジュール６によって認識された駐車区画線Ｌ１とＬ２や駐車マーカＰＭに関する認識情報に基づいて目標駐車位置を設定する。車両位置演算部７２は、上記認識情報に加えて、距離センサ、速度センサ、操舵角センサなどによるセンサ情報に基づいて、車両の位置を検出する。駐車経路演算部７３は、目標駐車位置と車両の位置とに基づいて目標駐車位置までの駐車経路を演算する。誘導部７４は、駐車経路に従って、アクセルＥＣＵ、ステアリングＥＣＵ、制動ＥＣＵなどを制御して車両を目標駐車位置まで誘導する。
【００２３】
上記のように構成された駐車支援システムを搭載した車両１０が、図４で示されたような駐車区画Ｅに駐車する際の駐車支援装置の動作を図５のフローチャートを用いて説明する。
【００２４】
この状態で、運転者が駐車区画Ｅに駐車するべく車両を停止させたところを駐車開始位置とする（♯０１）。所定位置に停車した車両の撮影ユニット４によって撮影画像（ここでは車両後方周辺画像）が取得される。（＃０２）。駐車開始位置が図４に示す位置の場合、同図に例示するような撮影画像となる。この撮影画像は、車室内に設けられたモニタにも表示される。この撮影画像の左上方には、駐車区画線Ｌ１と駐車区画線Ｌ２とによって区画された駐車区画Ｅ及び駐車マーカＰＭが含まれている。取得された撮影画像に対しては、図６に示す色補正処理が施される（＃０３）。
【００２５】
色補正処理では、色補正モジュール５に入力された撮影画像（ＲＧＢカラー画像データ）は、レンズ特性を起因とする画像歪の補正などの基本的な画像処理が施される（＃３１）。次に、撮影画像がどのような光源下で撮影されたものであるかを推定するために、撮影ユニット４のホワイトバランス調整部４４から送られてきたホワイトバランス調整信号に基づいて、今入力した撮影画像における光源を推定するための入力データを作成する（＃３２）。作成された入力データを入力値として光源種推定演算を行って光源種を出力する（＃３３）。処理対象となっている認識対象物のカラー構成を読み出す（＃３４）。例えば、認識対象物が駐車区画Ｅの場合その特徴色はコンクリート地面の灰色と白線の白色なので、そのカラー構成は灰色と白色である。また、認識対象物が駐車マーカＰＭの場合その特徴色は赤色と青色なので、そのカラー構成は赤色と青色である。出力された光源種と読み出されたカラー構成とを検索キーワードとして、適合するカラープロファイルを選択する（＃３５）。選択されたカラープロファイルを用いて、撮影画像に対する色補正を実行する（＃３６）。色補正された撮影画像は、ワーキングメモリに展開され、以下の画像認識・駐車支援処理に用いられる。
【００２６】
画像認識・駐車支援処理では、まず、駐車区画線Ｌ１とＬ２との検出が行われる（＃０４）。ここでは、駐車区画線の検出は以下の手順で行われる。
（１）撮影画像をワールド座標からイメージ座標に変換して視点変換処理を行う。
（２）視点変換処理した画像について、例えば３×３の空間フィルタを走査し、各空間フィルタに対して微分処理をして輝度差情報を取得する。取得した輝度差情報に基づき、空間フィルタごとに閾値を越えた輝度差から駐車区画線候補を抽出する。
（３）駐車区画線候補が抽出されると、Ｈｏｕｇｈ変換などを用いて駐車区画線候補から駐車区画線を検出する。駐車区画線が抽出されると、検出された駐車区画線に基づいて駐車区画線Ｌ１，Ｌ２の端部の座標値などを取得する。
【００２７】
駐車区画線検出処理が終了すると、目標駐車位置を設定する（♯０５）。目標駐車位置は、例えば駐車区画線Ｌ１、Ｓ２に関するデータに基づいて、車両が駐車区画の中央に駐車されるように設定される。目標駐車位置が設定されると、現在の車両の位置に関する情報と目標駐車位置に関する情報とに基づいて駐車する際の駐車経路が演算され（♯０６）、車両１０の目標駐車位置への誘導が実行される（♯０７）。誘導が始まると、新たな撮影画像を入力して（♯０８）、色補正処理が行われ（♯０９）、色補正された撮影画像からここでは駐車停止マーカとして機能する駐車マーカＰＭの位置検出が行われる（♯１０）。この駐車マーカＰＭの位置検出も駐車区画線と類似する方法で行うことができる。駐車マーカＰＭの位置検出が終了すると、この位置と車両との位置関係に基づいて、車両が駐車停止位置に達したかどうかチェックされる（♯１１）。車両が駐車停止位置に達していない場合は（♯１１No分岐）、ステップ♯０７に戻って誘導が続行される。車両が駐車停止位置に達した場合は（♯１１Yes分岐）、車両を停止し、この駐車支援を終了させる（♯１２）。
【００２８】
車載カメラである撮影ユニット４によって取得された車両周辺の撮影画像を用いて認識すべき認識対象物は様々であるが、本発明による色補正を用いることにより、その精度が向上する。特に、正確に認識することを要求される認識対象物として走行車線や追越車線などのレーンマークがある。このレーンマークが描かれている道路は、その種類によって、例えば、高速道路、トンネル道路、一般道路等によって様々の光源にさらされるので、本発明の適用が効果的である。レーンマークを認識対象物とした場合でも、取得した撮影画像に対して上述したような色補正処理を施すことにより、レーンマークを照らしている光源種に大きく影響されずに色別のレーンマークを認識することができる。そのような実施形態の場合、色補正モジュール５の構成は実質的に同じであり、画像認識モジュール６に、例えば、黄色レーンマーク認識機能と白色レーンマーク認識機能が含まれる。画像認識モジュール６は、色補正モジュール５から送られてくる色補正されたＲＧＢ画像を、まず、ＣＩＥＬａｂやＨＳＶなどの色比較が容易な表色系の画像データに変換する。ここではＨＳＶ表色系が採用されているとする。変換された画像データから、黄色線（追い越し車線）の存在範囲を認識するためには、道路領域と黄色線領域を分割する黄色の彩度値の閾値を算出し、この閾値を用いて黄色線の抽出処理を行い、黄色線の２値画像を生成する。生成された黄色線の２値画像から、上述したような輪郭線検出処理を通じて追い越し車線の位置を認識する。白色線（走行車線）の存在範囲を認識するためには、道路領域と白色線領域を分割する白色の輝度値の閾値を算出し、この閾値を用いて白色線の抽出処理を行い、白色線の２値画像を生成する。生成された白色線の２値画像から、上述したような輪郭線検出処理を通じて走行車線の位置を認識する。
【００２９】
上述したように、取得した撮影画像を用いて画像認識するにあたって、その前工程として当該撮影画像に影響を与えている光源種を推定し、その推定された光源種による色影響を、特に認識対象物を特徴づける色に関して低減する色補正が実行される。これにより、車両の動きに伴って光源による影響か変動するような状況下でも、適正な色補正が可能となり、その画像認識の精度を向上させることができる。
【００３０】
〔別実施形態〕
（１） 上述した車両用画像処理装置、特に色補正モジュール５における各機能部は、機能としての分担を示すものであり、必ずしも独立して設けられる必要はなく、それらの任意のものを組み合わせて１つの機能部としてもよいし、上述した各機能部をさらに分割しても良い。
（２） 上述した実施形態では、この画像認識モジュール６の認識対象物は、駐車場における駐車区画線Ｌ１，Ｌ２及び駐車マーカＰＭ、さらには道路上に描かれている白線や黄線であった。しかしながら、本発明で取り扱われる認識対象物は、それ以外に、バッテリ充電ステーションでの停止目標用ターゲットや、その他の道路標識、あるいは車両走行に関係する目標物などでもよい。その際、認識しようとする認識対象物によって、その認識対象物を特徴付ける特徴色を認識特徴色設定部５０に自動的にまたはマニュアルで設定するとよい。
（３）撮影画像における色かぶりの影響が最も強く出る光源種としてナトリウムランプ光源があり、トンネルや駐車場等の照明によく用いられている。従って、ナトリウムランプ光源に限定したカラープロファイルと、その他の一般的なホワイトバランス調整用カラープロファイルとを作成し、プロファイル構成を簡略化してもよい。
（４）強い色かぶりを引き起こすような光源は特定の色成分に偏った色特性をもっているので、そのような光源種のカラープロファイルの作成時に、その特定色を低減するとともにその特定色の補色を増加させることで輝度レベルを保持するようにすると、その後の二値化画像処理においても好都合である。
【産業上の利用可能性】
【００３１】
本発明は、異なる色の組み合わせを特徴とする被写体に及ぼされた、光源による色影響を低減する画像処理技術に広く利用することができる。
【符号の説明】
【００３２】
２：認識対象物
４：撮影ユニット
４２：撮影素子
４３：色分解部
４４：ホワイトバランス調整部
５：色補正モジュール
５０：認識特徴色設定部
５１：光源推定部
５２：カラープロファイル格納部
５３：カラープロファイル選択部
５４：色変換部
６：画像認識モジュール
６１：駐車区画線認識部
６２：駐車マーカ認識部
７：駐車支援ＥＣＵ
８：マン・マシンインターフェースユニット
Ｌ１，Ｌ２：駐車区画線
ＰＭ：駐車マーカ
【技術分野】
【０００１】
本発明は、車両周辺に存在する特定の対象物を撮影画像を通じて認識する車両周辺画像処理装置に関する。
【背景技術】
【０００２】
車両に搭載されたカメラにて自車前方を撮影し、その撮影画像の中から特定の対象物（停止位置確認のターゲットや道路標識など）を画像認識によって認識する場合、そのような対象物は様々な種類の光源によって照明される可能性があり、特に色差による対象物の輪郭検出などが困難となる。一般的には、光源による色かぶりの問題を解消するためにはホワイトバランス調整という技術が知られている。このホワイトバランス調整は、人間が撮像対象物を直接目視した場合に認識される表示色がその撮影画像においても正確に再現されるように撮影画像を調整する画像処理技術のひとつである。
【０００３】
例えば、そのようなホワイトバランス調整技術を採用した車載用画像認識装置として、車両における所定の位置に配置された無彩色部材の撮影画像から推定される色温度に基づき、車外における支配的な光源（主光源）の色温度を推定して当該撮影画像における光源による影響を低減させる技術が知られている（例えば、特許文献１参照）。つまり、車両に搭載された撮像手段により撮像された撮像画像に基づいて車外の光源の色温度を推定するために、車両における所定の位置に無彩色部材を設け、撮像手段により、無彩色部材及び上空を含むように車両の周辺の画像を撮像する。撮像した撮像画像中の無彩色部材の画像領域についてその画像領域の色温度を推定するとともに、撮像した撮像画像中の上空の画像領域についてその画像領域に存在する一又は複数の光源の色温度を推定する。そして、各推定結果に基づき、上空の画像領域に存在する光源の色温度のうち、無彩色部材の画像領域の色温度を含む所定の色温度判定範囲内にあるものを、最終的な色温度の推定結果とする。この技術では、車両における所定の位置に無彩色部材を配置することが必要となるだけでなく、このカラーリファレンスとなる無彩色部材が汚染されたり、局地的な光源種にさらされたりした場合には、正確な色温度の推定が不可能となる。
【０００４】
車体に取り付けられる無彩色部材を必要とせずに、光源によらず良好な色再現補正を行うためのホワイトバランス調整技術を採用した映像信号（撮影画像）処理装置が知られている（例えば、特許文献２参照）。この装置では、映像信号（撮影画像）のホワイトバランスを調整するホワイトバランス調整手段と、前記映像信号に対して、色再現補正特性に従って色再現補正を行う色再現補正手段と、前記ホワイトバランス調整における調整状態に応じて光源特性を推定する光源特性推定手段と、前記光源特性推定手段の推定結果に応じて、前記色再現補正手段における色再現補正特性を可変制御する色再現補正特性制御手段と、異なる光源特性にそれぞれ対応する複数の色再現補正特性を記憶する色再現補正特性記憶手段と、前記色再現補正特性制御手段が、前記色再現補正特性記憶手段に記憶された複数の色再現補正特性の中から、前記光源特性推定手段により推定された光源特性に対応する色再現補正特性を選択するものがある。この構成により、予め用意された複数の色再現補正特性から、推定された光源特性に対応する色再現特性を選択するので、光源によらず、撮影画像全体の色再現が向上する。しかしながら、この装置では推定された光源特性に基づいて撮影画像全体の色再現を意図しているために、例えばナトリウムランプ光源などの極めて特異な光源による強い色かぶりが発生している場合には、十分な効果が得られない。その結果、補正された撮影画像を人が見る場合には大まかな被写体を確認することができても、停止位置確認のターゲットや道路標識などを画像認識によって認識する際に必要な色差による対象物の輪郭検出の精度を上げることが困難である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９‐２７１１２２号公報（段落番号〔０００９−００２１〕、図１）
【特許文献２】特開２００９‐２３９３２３号公報（段落番号〔００２３−００４６〕、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、上記従来技術の実情に鑑み、ナトリウムランプ光源などのように強い色かぶり影響を及ぼすような光源下にあっても、できるだけ高精度で車両周辺に存在する予め設定した認識対象物の認識が容易となる色補正を簡単な構成で実現できる車両周辺画像処理装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明による車両周辺画像処理装置は、撮像素子とホワイトバランス調整部とを備え、光源下における車両周辺の撮影画像及び当該撮影画像に対するホワイトバランス調整信号を出力する車載撮影ユニットと、前記ホワイトバランス調整信号から前記光源の種類を示す光源種を推定する光源推定部と、前記撮影画像における特定色が前記光源種によって受ける影響を低減するような特性を持つように前記光源種毎に作成されたカラープロファイルを格納するカラープロファイル格納部と、入力された撮影画像が前記光源種で示される光源下における撮影画像の場合、当該光源種に対応するカラープロファイルを前記カラープロファイル格納部から読み出し、当該カラープロファイルを用いて前記撮影画像を色補正する色変換部とを備えている。
【０００８】
この構成によれば、処理対象となる車両周辺画像に含まれる特定色が光源によって受ける色影響は、撮影ユニットから取り出すことができるホワイトバランス調整信号を用いて推定された光源種に対応するカラープロファイルを設定した色変換部による撮影画像の補正によって低減させることができる。例えば、車両周辺画像における重要な被写体がナトリウムランプ光源下での赤ランプであるとする。この場合、この赤ランプの赤をできるだけ元の赤に近いように色補正する必要がある。この問題を解決するためには、まず、ナトリウムランプ光源下での赤色の変色をもできるだけ元の色の戻すようなカラープロファイルを作成して格納しておく。そして、ホワイトバランス調整信号から光源種としてナトリウムランプ光源を推定し、ナトリウムランプ光源下で変色影響を受けた赤色をできるだけ元の色に戻す上記カラープロファイルを読み出し、このカラープロファイルを用いて車両周辺画像を色補正すればよい。
【０００９】
元の撮影画像における、道路標識や停止マーカなどの特定の認識対象物における特定色が光源によって受ける色影響（色に関する影響）が色補正によって低減されるとすれば、そのような色補正後の撮影画像を用いることでそのような認識対象物の画像認識精度が向上する。従って、本発明による車両周辺画像処理装置に、前記色変換部から出力された撮像画像中において予め設定した認識対象物を認識する画像認識モジュールを備えると好都合である。
【００１０】
道路標識や停止マーカなどを画像認識する場合、その輪郭検出や位置検出などは二値化画像で行われることは少なくない。従って、色かぶり除去などの色補正を行う際には、元の撮影画像の輝度レベルを下げてそのダイナミックレンジを下げることは好ましいことではない。このことから、本発明の好適な実施形態の１つでは、前記光源種のカラープロファイルは認識対象物に影響を与える特定色を低減するとともに前記特定色の補色を増加させることで輝度レベルを保持する特性を有するように作成されている。
【００１１】
光源による色かぶりなどの色影響は、当該光源によって照明される色によって左右されるので、認識対象物を特徴付ける特徴色が複数ある場合には、その特徴色毎にカラープロファイルが必要となる。このことから、本発明による好適な実施形態の１つでは、前記色変換部は、前記光源種と前記認識対象物を特徴付ける特徴色とに対応するカラープロファイルを前記カラープロファイル格納部から読み出し、当該カラープロファイルを用いて前記撮影画像を色補正するように構成されている。
【００１２】
本発明によって、効果的に認識される対象物は、車載カメラなどの取付精度の検査や駐車位置の目標設定のために用いられる、異なる色（例えば２色）の組み合わせ、例えばからなるマーカであり、色補正される色（近似色を含む）が限定されているので、効果的な色影響の除去が可能となる。また、車両周辺の認識対象物を照明する光源のうち、特に色かぶりが激しいものとしてナトリウムランプが挙げられる。このことから、最低限ナトリウムランプを光源種とするカラープロファイルを備えていることが好ましい。
【図面の簡単な説明】
【００１３】
【図１】本発明による車両周辺画像処理装置で採用されている光源による色影響を補正する色補正原理の前半の説明図である。
【図２】本発明による車両周辺画像処理装置で採用されている光源による色影響を補正する色補正原理の後半の説明図である。
【図３】本発明による車両周辺画像処理装置を採用した駐車支援装置の機能ブロック図を示す。
【図４】駐車支援に用いられる駐車区画線と駐車マーカを含む撮影画像を説明する模式図である。
【図５】駐車支援の制御の流れを示すフローチャートである。
【図６】色補正モジュールによる色補正の流れを示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態を図面に基づいて説明する。まず、本発明による車両周辺画像認識装置で採用されている、光源による色影響（色に関する影響）を補正する色補正技術の原理を図１と図２の説明図を用いて説明する。
【００１５】
ここでは、認識対象物２として、説明を簡単にするために２つの異なる色によって特徴付けられる対象物とする。図１の（ａ）に示すように、２つの色（近似色を含む元色）のうちの一方は第１色と名づけてＣ1(Ｒ1,Ｇ1,Ｂ1)（ＲＧＢ表色系）で表している。２つの色のうちの他方は第２色と名づけてＣ2(Ｒ2,Ｇ2,Ｂ2)で表している。なお、元色という語句は、理想的な太陽光の下での本来の色を表すものであるが、さらにここではそのような色を狭く限定するのではなくその元色の近似色も含む所定の色範囲を有している語句として用いられている。さらに、ここでは、認識対象物２を特徴付けている特徴色は、第１色と第２色であり、この第１色と第２色の境界線の検出を通じて正確な位置検出が可能となる。この認識対象物２が、タングステンランプやナトリウムランプなどの光源によって照明されることで、第１色と第２色はそれぞれ異なった色（近似色を含む変化色）に変化する。第１色が変化した色を第３色と名づけてＣ3(Ｒ3,Ｇ3,Ｂ3)で表している。第２色が変化した色を第４色と名づけてＣ4(Ｒ4,Ｇ4,Ｂ4)で表している。この色の変化(移行)をマトリックス表現した関係式を用いてそれぞれの色変化を示すと次のように示すことができる。
Ｃ1(Ｒ1,Ｇ1,Ｂ1)・Ｍ1 ＝＞ Ｃ3(Ｒ3,Ｇ3,Ｂ3) （１）
Ｃ2(Ｒ2,Ｇ2,Ｂ2)・Ｍ2 ＝＞ Ｃ4(Ｒ4,Ｇ4,Ｂ4) （２）
このような色の変化を表色系上で視覚化した模式図が図１の（ｂ）に示されている。つまり、光源による照明により元色の座標位置が変化色の座標位置に移動するが、その移動の方向と距離が変換行列：Ｍ1、Ｍ2で表されている。
次に、光源による色影響を受けた認識対象物２を撮影画像上で、元通りの色になるように色補正することを考える。この補正は、変換行列：Ｍ1、Ｍ2の逆行列：Ｍ1-1、Ｍ2-1を求めることで実現することができる。つまり、光源による色影響により表色系上での第１色から第３色への移動、及び第２色から第４色への移動はその移動を逆にたどって戻すことで元色となる。このことは次のように示すことができる。
Ｃ3(Ｒ3,Ｇ3,Ｂ3)・Ｍ1-1 ＝＞ Ｃ1(Ｒ1,Ｇ1,Ｂ1) （３）
Ｃ4(Ｒ4,Ｇ4,Ｂ4)・Ｍ2-1 ＝＞ Ｃ2(Ｒ2,Ｇ2,Ｂ2) （４）
このような色補正を表色系上で視覚化した模式図が図１の（ｃ）に示されている。
このような色補正を表色系上で視覚化した模式図が図１の（ｃ）に示されている。
一般的に正確な逆行列を求めることは困難なので、近似的または実験的あるいはその両方で求めるとよい。このようにして求められたＭ1-1やＭ2-1に対応するように作成されたカラープロファイル（カラーマトリックス）は、カラーターゲット２が特定の光源によって受ける色影響を少なくとも低減するような特性を持つことになる。
また、色毎（第１色と第２色）に個別に作成された複数の変換行列を好ましくは最適近似させた共通変換行列を作成し、その共通変換行列の逆行列から両方の色（第１色と第２色）に適合するカラープロファイルを作成してもよい。また実質的には同じであるが、個別に作成された複数の逆行列を好ましくは最適に１つの逆行列に融合させ、この融合させた逆行列から両方の色（第１色と第２色）に適合するカラープロファイルを作成してもよい。
【００１６】
強い色かぶりなどの色影響を与える光源は複数考慮しなければならない場合、その光源毎に上述したようなカラープロファイルを作成し、選択使用可能に格納する必要がある。さらに、処理対象となる撮影画像からどの種の光源によって照明されたものであるかという光源推定を行わなければならない。この光源推定を、処理対象となっている撮影画像の種々の画像特徴量、輝度ヒストグラムや色成分別ヒストグラムなどの統計的な演算値などから行うことは知られているが、多種の画像特徴量を求める演算はかなりの負担を伴う。このため、本発明では、デジタルカメラを構成要素とする撮影ユニットに付属しているホワイトバランス調整機能を利用し、撮影ユニットからのホワイトバランス調整信号を入力信号として、光源種を推定する演算（推定）手法を採用している。つまり、図２に模式的に示すように、処理すべき撮影画像の撮影時に実行されたホワイトバランス調整の調整信号が数値化され、必要に応じて予備的な演算を施して、光源推定アルゴリズムに対する入力データとして与えられる。入力データとして代表的なものは、対象となっている撮影画像の輝度平均値、Ｒ(赤):平均値、Ｇ（緑）:平均値、Ｂ（青）:平均値などである。ホワイトバランス調整信号に基づくこのような入力データが与えられると、光源推定のアルゴリズム演算が起動し、光源種が演算(推定)され、出力される。この演算アルゴリズムとしては、ルールベースのような仕組み（たとえば、入力データを予め定められたしきい値と比較するなどの演算）を採用してもよいが、予め学習させることにより重み係数を設定して、推論演算部を作製するニューラルネットワークのような仕組みが好都合である。
いずれにしても、そのような推論演算部が構築されると、そこにホワイトバランス調整信号、ないしはホワイトバランス調整信号に基づくデータを入力するだけで、光源種が出力される。次に、出力された光源種に適応するカラープロファイル（逆行列）がカラープロファイル格納部から選択出力され、この出力されたカラープロファイルを用いて撮影画像を色補正することで、認識対象物２を特徴付けている特徴色の識別認識が容易となる撮影画像が得られる。
【００１７】
次に、上述した、光源による色影響を補正する色補正技術の原理を採用した、本発明による車両周辺画像処理装置の１つの実施形態を図面に基づいて説明する。この実施形態では、車両周辺画像処理装置は、駐車支援システムにおける画像処理装置として組み込まれている。図３は、そのような駐車支援システムの構成を模式的に示す機能ブロック図である。駐車支援システムは、車両周辺画像処理装置３、駐車支援ＥＣＵ７、マン・マシンインターフェースユニット８を備え、車両周辺画像処理装置３は、撮影ユニット４と色補正モジュール５と画像認識モジュール６を含む。マン・マシンインターフェースユニット８には、モニタやタッチパネルやスピーカ、さらには各種センサが接続されている。
【００１８】
撮影ユニット４は、撮影レンズ４１によって結像された被写体の像を光電変換して画像信号を出力する撮像素子３と、撮像素子３から出力される画像信号をＲ・Ｇ・Ｂの３原色にまたは色差信号に分離する色分離部４３と、色分離された信号に対してホワイトバランス調整するホワイトバランス調整部４４とを備えている。色分離部４３から出力されたＲＧＢ信号には光源の分光特性により白色やグレー色に色味がついているため、ホワイトバランス調整部４４によりホワイトバランスを調整する。ホワイトバランス調整はよく知られているのでここでは詳しい説明は省略するが、例えば、Ｒ・Ｇ・Ｂ毎の撮影画像全体の平均値、この平均値から所定演算式によって得られる演算値などからワイトバランス調整値が求められ、ホワイトバランス調整値を用いて撮影画像の画素値を補正する。
【００１９】
色補正モジュール５は、認識特徴色設定部５０と、光源推定部５１と、カラープロファイル格納部５２と、カラープロファイル選択部５３と、色変換部５４とを含んでいる。認識特徴色設定部５０は、処理対象となっている撮影画像における認識対象物を特徴付ける特徴色を設定する。この色補正モジュール５は、ここで設定された特徴色が優先的に良好に色補正されるような補正を行い、そのような特徴色が設定されない場合には、平均的な色補正を行う。光源推定部５１は、上記のホワイトバランス調整部５４から送られてくるホワイトバランス調整信号に基づくデータを入力することにより、重み演算やルール演算などの演算を通じて、推定された光源種を出力する。ここでの重み演算とは、例えばニューラルネットワークで用いられているような、各入力パラメータに重み係数を付与し、繰り返し学習によってこの重み係数の修正を行って、出力結果の誤差を最小にした演算式を用いた演算の総称である。また、ルール演算とは、ifthen文のような所定のルールに基づいて、結果を導く演算の総称である。ルール自体の内容としては、例えば、「Ｂ色成分値が所定値より高くＲとＧの成分値が所定値より低いならば、オレンジランプの可能性が所定％以上」などが挙げられる。
なお、光源種（光源の種類）として、タングステンランプ、ナトリウムランプ、蛍光ランプ、ＬＥＤランプなどが挙げられるが、太陽光に含めて、互い同士の組み合わせもここで推定される光源種としてもよい。また、その各ランプの強度、色影響の大きさ別に同一光源種を区分けしてもよい。
【００２０】
カラープロファイル格納部５２は、図１を用いて説明した色補正に用いられるカラープロファイルを格納している。このカラープロファイルは、撮影画像における認識対象物を特徴付けている特徴色に対して色かぶり等の色影響をできるだけ低減するための補正テーブルである。この実施形態では、各カラープロファイルは、特定の光源種と認識対象物の特定の色構成との組み合わせ毎に作成されている。さらに、そのカラープロファイルで、光源種と認識対象物の特徴色とを検索キーワードとして検索抽出できるようにデータベース化されている。カラープロファイル選択部５３は、光源推定部５１によって推定された光源種と、予め設定されている認識対象物の特徴色とから適合するカラープロファイルを選択し、色変換部５４に与える。色変換部５４は、カラープロファイル選択部４３によって選択されたカラープロファイルを用いて撮影画像の色補正を行う。
【００２１】
画像認識モジュール６は、色補正モジュールから出力された色補正済みの撮像画像中において予め設定した認識対象物を認識する機能を有する。この実施形態では、認識対象物は、図４で例示するような、駐車領域を境界付けている一般的には白色（特徴色）の駐車区画線Ｌ１とＬ２と、特定の二色（特徴色）によって特徴付けられた駐車マーカＰＭである。このため、この画像認識モジュール６は、駐車区画線Ｌ１とＬ２を検出する駐車区画線認識部６１と、駐車マーカＰＭを検出する駐車マーカ認識部６２とを含んでいる。撮影画像から上記のような認識対象物を認識する画像認識アルゴリズムはよく知られているのでここでの説明は省略するが、駐車区画線Ｌ１とＬ２を特徴付ける白色や駐車マーカＰＭを特徴付ける二色（例えば赤と青）は、上記認識特徴色設定部５０で認識特徴色として設定される。
【００２２】
駐車支援ＥＣＵ７は、それ自体はよく知られているように、目標駐車位置設定部７１と、車両位置演算部７２と、駐車経路演算部７３と、誘導部７４とを備えている。目標駐車位置設定部７１は、画像認識モジュール６によって認識された駐車区画線Ｌ１とＬ２や駐車マーカＰＭに関する認識情報に基づいて目標駐車位置を設定する。車両位置演算部７２は、上記認識情報に加えて、距離センサ、速度センサ、操舵角センサなどによるセンサ情報に基づいて、車両の位置を検出する。駐車経路演算部７３は、目標駐車位置と車両の位置とに基づいて目標駐車位置までの駐車経路を演算する。誘導部７４は、駐車経路に従って、アクセルＥＣＵ、ステアリングＥＣＵ、制動ＥＣＵなどを制御して車両を目標駐車位置まで誘導する。
【００２３】
上記のように構成された駐車支援システムを搭載した車両１０が、図４で示されたような駐車区画Ｅに駐車する際の駐車支援装置の動作を図５のフローチャートを用いて説明する。
【００２４】
この状態で、運転者が駐車区画Ｅに駐車するべく車両を停止させたところを駐車開始位置とする（♯０１）。所定位置に停車した車両の撮影ユニット４によって撮影画像（ここでは車両後方周辺画像）が取得される。（＃０２）。駐車開始位置が図４に示す位置の場合、同図に例示するような撮影画像となる。この撮影画像は、車室内に設けられたモニタにも表示される。この撮影画像の左上方には、駐車区画線Ｌ１と駐車区画線Ｌ２とによって区画された駐車区画Ｅ及び駐車マーカＰＭが含まれている。取得された撮影画像に対しては、図６に示す色補正処理が施される（＃０３）。
【００２５】
色補正処理では、色補正モジュール５に入力された撮影画像（ＲＧＢカラー画像データ）は、レンズ特性を起因とする画像歪の補正などの基本的な画像処理が施される（＃３１）。次に、撮影画像がどのような光源下で撮影されたものであるかを推定するために、撮影ユニット４のホワイトバランス調整部４４から送られてきたホワイトバランス調整信号に基づいて、今入力した撮影画像における光源を推定するための入力データを作成する（＃３２）。作成された入力データを入力値として光源種推定演算を行って光源種を出力する（＃３３）。処理対象となっている認識対象物のカラー構成を読み出す（＃３４）。例えば、認識対象物が駐車区画Ｅの場合その特徴色はコンクリート地面の灰色と白線の白色なので、そのカラー構成は灰色と白色である。また、認識対象物が駐車マーカＰＭの場合その特徴色は赤色と青色なので、そのカラー構成は赤色と青色である。出力された光源種と読み出されたカラー構成とを検索キーワードとして、適合するカラープロファイルを選択する（＃３５）。選択されたカラープロファイルを用いて、撮影画像に対する色補正を実行する（＃３６）。色補正された撮影画像は、ワーキングメモリに展開され、以下の画像認識・駐車支援処理に用いられる。
【００２６】
画像認識・駐車支援処理では、まず、駐車区画線Ｌ１とＬ２との検出が行われる（＃０４）。ここでは、駐車区画線の検出は以下の手順で行われる。
（１）撮影画像をワールド座標からイメージ座標に変換して視点変換処理を行う。
（２）視点変換処理した画像について、例えば３×３の空間フィルタを走査し、各空間フィルタに対して微分処理をして輝度差情報を取得する。取得した輝度差情報に基づき、空間フィルタごとに閾値を越えた輝度差から駐車区画線候補を抽出する。
（３）駐車区画線候補が抽出されると、Ｈｏｕｇｈ変換などを用いて駐車区画線候補から駐車区画線を検出する。駐車区画線が抽出されると、検出された駐車区画線に基づいて駐車区画線Ｌ１，Ｌ２の端部の座標値などを取得する。
【００２７】
駐車区画線検出処理が終了すると、目標駐車位置を設定する（♯０５）。目標駐車位置は、例えば駐車区画線Ｌ１、Ｓ２に関するデータに基づいて、車両が駐車区画の中央に駐車されるように設定される。目標駐車位置が設定されると、現在の車両の位置に関する情報と目標駐車位置に関する情報とに基づいて駐車する際の駐車経路が演算され（♯０６）、車両１０の目標駐車位置への誘導が実行される（♯０７）。誘導が始まると、新たな撮影画像を入力して（♯０８）、色補正処理が行われ（♯０９）、色補正された撮影画像からここでは駐車停止マーカとして機能する駐車マーカＰＭの位置検出が行われる（♯１０）。この駐車マーカＰＭの位置検出も駐車区画線と類似する方法で行うことができる。駐車マーカＰＭの位置検出が終了すると、この位置と車両との位置関係に基づいて、車両が駐車停止位置に達したかどうかチェックされる（♯１１）。車両が駐車停止位置に達していない場合は（♯１１No分岐）、ステップ♯０７に戻って誘導が続行される。車両が駐車停止位置に達した場合は（♯１１Yes分岐）、車両を停止し、この駐車支援を終了させる（♯１２）。
【００２８】
車載カメラである撮影ユニット４によって取得された車両周辺の撮影画像を用いて認識すべき認識対象物は様々であるが、本発明による色補正を用いることにより、その精度が向上する。特に、正確に認識することを要求される認識対象物として走行車線や追越車線などのレーンマークがある。このレーンマークが描かれている道路は、その種類によって、例えば、高速道路、トンネル道路、一般道路等によって様々の光源にさらされるので、本発明の適用が効果的である。レーンマークを認識対象物とした場合でも、取得した撮影画像に対して上述したような色補正処理を施すことにより、レーンマークを照らしている光源種に大きく影響されずに色別のレーンマークを認識することができる。そのような実施形態の場合、色補正モジュール５の構成は実質的に同じであり、画像認識モジュール６に、例えば、黄色レーンマーク認識機能と白色レーンマーク認識機能が含まれる。画像認識モジュール６は、色補正モジュール５から送られてくる色補正されたＲＧＢ画像を、まず、ＣＩＥＬａｂやＨＳＶなどの色比較が容易な表色系の画像データに変換する。ここではＨＳＶ表色系が採用されているとする。変換された画像データから、黄色線（追い越し車線）の存在範囲を認識するためには、道路領域と黄色線領域を分割する黄色の彩度値の閾値を算出し、この閾値を用いて黄色線の抽出処理を行い、黄色線の２値画像を生成する。生成された黄色線の２値画像から、上述したような輪郭線検出処理を通じて追い越し車線の位置を認識する。白色線（走行車線）の存在範囲を認識するためには、道路領域と白色線領域を分割する白色の輝度値の閾値を算出し、この閾値を用いて白色線の抽出処理を行い、白色線の２値画像を生成する。生成された白色線の２値画像から、上述したような輪郭線検出処理を通じて走行車線の位置を認識する。
【００２９】
上述したように、取得した撮影画像を用いて画像認識するにあたって、その前工程として当該撮影画像に影響を与えている光源種を推定し、その推定された光源種による色影響を、特に認識対象物を特徴づける色に関して低減する色補正が実行される。これにより、車両の動きに伴って光源による影響か変動するような状況下でも、適正な色補正が可能となり、その画像認識の精度を向上させることができる。
【００３０】
〔別実施形態〕
（１） 上述した車両用画像処理装置、特に色補正モジュール５における各機能部は、機能としての分担を示すものであり、必ずしも独立して設けられる必要はなく、それらの任意のものを組み合わせて１つの機能部としてもよいし、上述した各機能部をさらに分割しても良い。
（２） 上述した実施形態では、この画像認識モジュール６の認識対象物は、駐車場における駐車区画線Ｌ１，Ｌ２及び駐車マーカＰＭ、さらには道路上に描かれている白線や黄線であった。しかしながら、本発明で取り扱われる認識対象物は、それ以外に、バッテリ充電ステーションでの停止目標用ターゲットや、その他の道路標識、あるいは車両走行に関係する目標物などでもよい。その際、認識しようとする認識対象物によって、その認識対象物を特徴付ける特徴色を認識特徴色設定部５０に自動的にまたはマニュアルで設定するとよい。
（３）撮影画像における色かぶりの影響が最も強く出る光源種としてナトリウムランプ光源があり、トンネルや駐車場等の照明によく用いられている。従って、ナトリウムランプ光源に限定したカラープロファイルと、その他の一般的なホワイトバランス調整用カラープロファイルとを作成し、プロファイル構成を簡略化してもよい。
（４）強い色かぶりを引き起こすような光源は特定の色成分に偏った色特性をもっているので、そのような光源種のカラープロファイルの作成時に、その特定色を低減するとともにその特定色の補色を増加させることで輝度レベルを保持するようにすると、その後の二値化画像処理においても好都合である。
【産業上の利用可能性】
【００３１】
本発明は、異なる色の組み合わせを特徴とする被写体に及ぼされた、光源による色影響を低減する画像処理技術に広く利用することができる。
【符号の説明】
【００３２】
２：認識対象物
４：撮影ユニット
４２：撮影素子
４３：色分解部
４４：ホワイトバランス調整部
５：色補正モジュール
５０：認識特徴色設定部
５１：光源推定部
５２：カラープロファイル格納部
５３：カラープロファイル選択部
５４：色変換部
６：画像認識モジュール
６１：駐車区画線認識部
６２：駐車マーカ認識部
７：駐車支援ＥＣＵ
８：マン・マシンインターフェースユニット
Ｌ１，Ｌ２：駐車区画線
ＰＭ：駐車マーカ
【特許請求の範囲】
【請求項１】
撮像素子とホワイトバランス調整部とを備え、光源下における車両周辺の撮影画像及び当該撮影画像に対するホワイトバランス調整信号を出力する車載撮影ユニットと、
前記ホワイトバランス調整信号から前記光源の種類を示す光源種を推定する光源推定部と、
前記撮影画像における特定色が前記光源種の光源によって受ける影響を低減するような特性を持つように前記光源種毎に作成されたカラープロファイルを格納するカラープロファイル格納部と、
入力された撮影画像が前記光源種の光源下における撮影画像の場合、当該光源種に対応するカラープロファイルを前記カラープロファイル格納部から読み出し、当該カラープロファイルを用いて前記撮影画像を色補正する色変換部と、
を備えた車両周辺画像処理装置。
【請求項２】
前記色変換部から出力された撮像画像中において予め設定した認識対象物を認識する画像認識モジュールを備えた請求項１に記載の車両周辺画像処理装置。
【請求項３】
前記光源種のカラープロファイルは認識対象物に影響を与える特定色を低減するとともに前記特定色の補色を増加させることで輝度レベルを保持する特性を有する請求項２に記載の車両周辺画像処理装置。
【請求項４】
前記色変換部は、前記光源種と前記認識対象物を特徴付ける特徴色とに対応するカラープロファイルを前記カラープロファイル格納部から読み出し、当該カラープロファイルを用いて前記撮影画像を色補正する請求項２または３に記載の車両周辺画像処理装置。
【請求項５】
前記認識対象物が異なる色の組み合わせからなるマーカであり、前記画像認識モジュールは前記マーカの異なる色領域を識別判定して前記マーカの前記撮影画像における位置を決定する請求項２から４のいずれか一項に記載の車両周辺画像処理装置。
【請求項６】
前記光源種がナトリウムランプ光源である請求項１から５のいずれか一項に記載の車両周辺画像処理装置。
【請求項１】
撮像素子とホワイトバランス調整部とを備え、光源下における車両周辺の撮影画像及び当該撮影画像に対するホワイトバランス調整信号を出力する車載撮影ユニットと、
前記ホワイトバランス調整信号から前記光源の種類を示す光源種を推定する光源推定部と、
前記撮影画像における特定色が前記光源種の光源によって受ける影響を低減するような特性を持つように前記光源種毎に作成されたカラープロファイルを格納するカラープロファイル格納部と、
入力された撮影画像が前記光源種の光源下における撮影画像の場合、当該光源種に対応するカラープロファイルを前記カラープロファイル格納部から読み出し、当該カラープロファイルを用いて前記撮影画像を色補正する色変換部と、
を備えた車両周辺画像処理装置。
【請求項２】
前記色変換部から出力された撮像画像中において予め設定した認識対象物を認識する画像認識モジュールを備えた請求項１に記載の車両周辺画像処理装置。
【請求項３】
前記光源種のカラープロファイルは認識対象物に影響を与える特定色を低減するとともに前記特定色の補色を増加させることで輝度レベルを保持する特性を有する請求項２に記載の車両周辺画像処理装置。
【請求項４】
前記色変換部は、前記光源種と前記認識対象物を特徴付ける特徴色とに対応するカラープロファイルを前記カラープロファイル格納部から読み出し、当該カラープロファイルを用いて前記撮影画像を色補正する請求項２または３に記載の車両周辺画像処理装置。
【請求項５】
前記認識対象物が異なる色の組み合わせからなるマーカであり、前記画像認識モジュールは前記マーカの異なる色領域を識別判定して前記マーカの前記撮影画像における位置を決定する請求項２から４のいずれか一項に記載の車両周辺画像処理装置。
【請求項６】
前記光源種がナトリウムランプ光源である請求項１から５のいずれか一項に記載の車両周辺画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−２５４３１１（Ｐ２０１１−２５４３１１Ａ）
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願番号】特願２０１０−１２７０１６（Ｐ２０１０−１２７０１６）
【出願日】平成２２年６月２日（２０１０．６．２）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願日】平成２２年６月２日（２０１０．６．２）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]