説明

車載カメラシステム及びその較正方法、及びその較正プログラム

【課題】撮像部の 内部パラメータと外部パラメータを容易に較正できる車載カメラシステムの較正方法を得ること。
【解決手段】車載カメラシステム1の較正方法は、撮像部307〜310により撮像された画像から予め設定された直線部分を有する認識対象物を認識し、画像から認識対象物の特徴点を抽出し、その特徴点を仮想球面に投影して仮想球面601に形成された特徴点列の形状に基づいて撮像部307〜310の内部パラメータを推定し、推定した内部パラメータを較正するとともに、特徴点に基づいて画像の俯瞰視点を算出し、その算出した俯瞰視点に基づいて撮像部307〜310の外部パラメータを推定し、その推定した外部パラメータを較正することを特徴としている。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両周囲の環境を画像認識する車載カメラシステム及びその較正方法、及びその較正プログラムに関する。
【背景技術】
【0002】
撮像部と画像処理装置を備えた車載カメラシステムは、車両の利便性向上、安全走行およびカーナビゲーションの高度な位置補正などを目的として、その役割は益々重要なものとなってきている。画像処理技術の発展に伴い、路面、あるいは路上の表示や物体を認識する技術は、多種多様なものが開発されてきている。これらに付随して、車両周囲の環境を画像認識し、車線逸脱防止や、衝突回避、オートクルーズなどの車両制御を行う技術も開発され、実用化が進められている。車両制御を伴う場合、車両に対する認識対象物の相対位置を測定するための計測技術が必要となる。これをカメラで実施する場合、カメラの位置や姿勢を表すカメラの外部パラメータと、光軸位置や焦点距離、レンズ歪みなどを表す内部パラメータを用いて、画像中の画素と実空間上の位置の対応をとる必要がある。外部パラメータや内部パラメータは設計値に基づいて製造されているが、実際には誤差が必ず含まれるため、画素と実空間が真の対応関係を表すように、ズレを補正するキャリブレーションが必要となる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004−200819号公報
【特許文献2】特開2008−011174号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1には、基準マーカを用いてカメラの光軸補正を行う技術が記載されている。光軸補正の実施には、基準マーカを準備する必要がある。基準マーカはカメラとの相対関係が定められた位置に設置されなければならない。車載カメラの場合、カメラを設置した状態でカメラの位置を決める必要がある。すなわち、車両位置決めをする設備が必要となる。位置決め設備にはコストがかかるため、位置決めをすることなくカメラのキャリブレーションが可能となる仕組みがあることが望ましい。
【0005】
特許文献2は、車両が走行中であっても、道路上で高い頻度で得られる道路標示の情報から、車載カメラの光軸補正、およびカメラ高さを補正する方法である。キャリブレーション用の設備投資が不要であり、コストの面で優れているといえる。しかしながら、この手法により補正できるのは、車載カメラの光軸、および道路標示の情報のみであり、レンズ歪みや光軸中心などの内部パラメータや、カメラの高さを除く設置位置などの外部パラメータに関しては補正することができない。特に、魚眼カメラにおいてはレンズ歪みの影響が大きいため、あわせて補正できることが望ましい。
【0006】
本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、撮像部の 内部パラメータと外部パラメータを容易に較正できる車載カメラシステム及びその較正方法及びその較正プログラムを提供する。
【課題を解決するための手段】
【0007】
上記課題を解決する本発明の車載カメラシステムの較正方法とは、車両周囲を撮像し、撮像された画像から予め設定された直線部分を有する認識対象物を認識し、画像から認識対象物の特徴点を抽出し、抽出された特徴点を仮想球面に投影し、仮想球面に形成された特徴点列の形状に基づいて撮像部の内部パラメータを推定し、推定した内部パラメータを較正し、抽出された特徴点に基づいて画像の俯瞰視点を算出し、算出した俯瞰視点に基づいて撮像部の外部パラメータを推定し、推定した外部パラメータを較正する構成としている。
【0008】
また、上記課題を解決する本発明の車載カメラシステムとは、車両周囲を撮像する撮像部と、撮像部により撮像された画像から予め設定された直線部分を有する認識対象物を認識し、画像から認識対象物の特徴点を抽出する特徴点抽出部と、特徴点抽出部により抽出された特徴点を仮想球面に投影し、仮想球面に形成された特徴点列の形状に基づいて撮像部の内部パラメータを推定し、推定した内部パラメータを較正する内部パラメータ較正部と、特徴点抽出部により抽出された特徴点に基づいて画像の俯瞰視点を算出し、算出した俯瞰視点に基づいて撮像部の外部パラメータを推定し、推定した外部パラメータを較正する外部パラメータ較正部と、を有する構成としている。
【0009】
また、上記課題を解決する本発明の画像処理装置によって実行される車載カメラシステムの較正プログラムとは、車載カメラシステムの撮像部により撮像された車両周囲の画像から予め設定された直線部分を有する認識対象物を認識して画像から認識対象物の特徴点を抽出し、抽出された特徴点を仮想球面に投影して仮想球面に形成された特徴点列の形状に基づいて撮像部の内部パラメータを推定し、推定した内部パラメータを較正し、前記抽出された特徴点に基づいて画像の俯瞰視点を算出し、算出した俯瞰視点に基づいて撮像部の外部パラメータを推定し、推定した外部パラメータを較正する構成としている。
【発明の効果】
【0010】
本発明によれば、撮像部の内部パラメータと外部パラメータを簡単に較正することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0011】
【図1】本実施形態に係る車載カメラシステムを搭載した車両の道路走行状態を示すモデル図。
【図2】画像の歪みを示す図。
【図3】歪みについて説明する図。
【図4】本実施形態に係る車載カメラシステムの構成例を示す図。
【図5】本実施形態に係る車載カメラシステムの他の構成例を示す図。
【図6】球面投影による内部パラメータの較正方法を説明する図。
【図7】曲線と直線に関する球面投影の差を示した図。
【図8】カメラ回転の定義を示した図である。
【図9】外部パラメータ(ピッチ,ヨー,カメラ高さ)の較正方法を説明する図。
【図10】外部パラメータ(ロール,並進)の較正方法を説明する図。
【発明を実施するための形態】
【0012】
以下、本実施形態について、図面を参照しながら詳細に説明する。
図1は、本実施形態に係る車載カメラシステムを搭載した車両の道路走行状態を示すモデル図である。
【0013】
車載カメラシステムは、例えば図1に示すように、撮像部307,308,309,310、画像処理装置105から構成される。撮像部307,308,309,310、および画像処理装置105は、路面表示、道路標識などからの画像情報により、車両の利便性の向上や安全走行のための監視目的で実用化されており、本発明の実施形態にも利用可能である。
【0014】
本実施形態においては、撮像部307,308,309,310として車両周囲を監視する4つのカメラが取り付けられているが、取り付け個数は1つ以上であれば幾つでも良い。
【0015】
また、路面が撮像可能な状態で取り付けられていれば、取り付け位置や姿勢は自由に決めてよい。また、カメラには、赤外線カメラを用いても良いし、カメラの視野角や、撮像素子の種類、レンズの特性などには制限が無く、種々のカメラを利用することができる。以降の記述で、撮像部307,308,309,310と述べているところ全てに関して、特段の説明が無い限り、同様に制限を設けていない。
【0016】
画像処理装置105は、例えば車載カメラシステムのECU内に構成されており、予めインストールされている較正プログラムが実行されることによって、後述する特徴点抽出部301、内部パラメータ較正部303、外部パラメータ較正部304等の各内部機能を実現する。
【0017】
画像処理装置105は、撮像部307,308,309,310で撮像された画像から白線や路面表示などの予め設定された直線部分を有する認識対象物を認識し、画像から所定の特徴点、または特徴線の抽出を行う。そして、抽出された情報から、歪みを含むカメラパラメータ(光軸中心,歪み,画素の縦横比,焦点距離,カメラ設置の三次元位置,設置姿勢)を推定する。
【0018】
ここで、歪みを定義する。歪みとは、例えば図2に示すような光軸位置を中心として放射状に画像が湾曲した状況のことを指す。図2は、画像の歪みを示す図であり、平面上に描かれた正方形の升目を撮像した画像である。歪みには、たる型歪みや糸巻き型歪み、魚眼カメラで設計されている歪みのことを指す。これらの歪みは、下記の式(1)、
【0019】
【数1】

という多項式で近似することができる。ここで、θは光のレンズへの入射角度を示す。k1,k2,k3…は歪み係数を表し、歪みの形状を決める。rは入射角θ、歪み係数k1,k2,k3…の場合の光軸中心からの結像位置の距離を表す。これらの関係を図3に示す。
【0020】
図3は、カメラパラメータを説明する図である。
【0021】
図3において、X,Y,Zはカメラ座標軸、Pは実空間中の撮像対象の点、fは焦点距離、cは光軸位置、p'iは歪みがない場合におけるPの投影画素位置、piは歪みの影響を受けた投影位置、x,yはそれぞれ撮像平面の水平軸、垂直軸である。zは光軸、φは、piを撮像平面上において極座標で表した場合の偏角を表す。光軸画像中心歪みの補正はk1,k2,k3…を推定することで実現する。
【0022】
魚眼カメラに関しては、広域を撮像するために故意に歪みをつけるようになっている。魚眼モデルである正射影方式、立体射影方式、等立体角射影方式では、sinやtanの関数で記述できるため、歪みモデル式における奇数次の項のみを推定すれば良い。
【0023】
次に、車載カメラシステムの詳細を図4に基づいて説明する。
図4、5は、本実施の形態に係る車載カメラシステムの構成を説明する図である。
図4に示すように、車載カメラシステムは、撮像部307,308,309,310、および画像処理装置105により構成される。撮像部307,308,309,310で撮影された画像は、画像処理装置105に送られる。
【0024】
画像処理装置105では、まず特徴点抽出部301にて入力された画像を処理し、較正(キャリブレーション)に必要な特徴点を抽出する。本実施例においては、特徴点として、実空間中での直線的物体(白線,横断歩道,停止線,横断歩道ありの表示,速度表示,建物の壁面,標識など)のエッジ上の点列を抽出する。実空間中で直線的であれば、その対象は問わない。横断歩道など、認識する対象を決定し、それが認識できたときにそのエッジ点列を特徴点とするような処理を実施することで実現可能である。
【0025】
また、画像処理装置105は、図5に示すように、撮像部307,308,309,310で撮影された画像に対して、エッジ抽出を施し、その後、エッジ点列を特徴点選別部302に対して入力する形式にしてもよい。特徴点選別部302では、特徴点抽出部301で抽出された特徴点に対して、処理を実施する。実施する処理は、較正に不要な特徴点を除外することである。例えば、白線のエッジ点列を抽出する場合に、カーブなどの実空間上での曲線的な構造をエッジ点列として取得する場合もあるために、特徴点を除外する必要がでてくる場合がある。このような場合に実施する。
【0026】
内部パラメータ較正部303では、特徴点抽出部301、あるいは特徴点抽出部301と特徴点選別部302によって抽出された特徴点を利用して内部パラメータの較正を実施する。
【0027】
歪みパラメータの補正方法の一例について説明する。歪みパラメータの推定は、実空間では直線であるはずだが、レンズ歪みによって曲線状に撮像されている線を用いて、曲線が直線になるように歪みパラメータを調整することにより実現する。曲線上の点列を特徴点として、その特徴点を用いて実施する。その一つの実現方法として、球面に投影した特徴点が示す性質を利用して較正する方法がある。
【0028】
図6、図7を用いてこの較正方法を説明する。
図6は、球面投影による内部パラメータの較正方法を説明する図である。図6に示すような仮想球面601を考える。仮想球面601は、撮像部610の光軸と同軸上に仮想球面601の球中心Oが配置されるように設定される。具体的には、仮想球面601の光軸と撮像部610の光軸が一致するように設定される。仮想球面601の光軸は、原点を通過する直線であれば任意に設定できる。
【0029】
撮像部610で横断歩道等の予め設定された直線部分を有する認識対象物602を撮影すると、撮影画像611が得られる。撮像画像611には、認識対象物602の直線部分621,622に対応する直線612,613が表示される。仮想球面601上に撮影画像611の直線612,613を投影した場合、直線612,613は仮想球面上601における大円603,604の一部となる。大円603,604は、仮想球面601の球中心Oを含む断面外周円である。
【0030】
図7は、曲線と直線に関する球面投影の差を示した図である。図7(a)に示すように、撮像画像710に示される撮像線711が直線ではなく曲がっている場合は、仮想球面上に投影しても投影点702が大円701から外れて、大円701の一部とはならない。一方、撮像線712が直線の場合には、投影点704が大円703の一部となる。この性質を利用して、歪みを較正する。すなわち、図7(c)のように、直線712の特徴点列705が大円703の一部706となるように、歪みパラメータを調整する。
【0031】
歪みパラメータの調整は、歪みパラメータを含む目的関数を、特徴点列が大円の一部となったときに最小化されるように設計し、目的関数を最小化する歪みパラメータを最適化手法によって推定することで実現する。目的関数は、例えば下記の式(2)となる。
【0032】
【数2】

ここで、nは、画像中に撮像されているl本目の曲線上の特徴点を球面上に投影した点群中のp個目の点plpから推定した法線ベクトルである。この目的関数は、特徴点列を用いて推定した大円の法線ベクトルと、実際の特徴点を表現するベクトルは、特徴点が大円上にのっている場合は、直交するはずであるということを意味する目的関数である。ここで、

である。φは特徴点plpを画像平面に写像し、座標を極座標で表現したときの偏角である。また、この目的関数は、実空間と画像座標とを関係付ける式を用いて、光軸中心、単位撮像素子の縦横比、焦点距離、接線方向ひずみなどに関するパラメータを含むことで、歪みパラメータのみではなく、種々の内部パラメータの補正が可能である。これはあくまで実現の一例であり、その他の内部パラメータ推定方式によってパラメータを推定しても良い。
【0033】
次に外部パラメータの推定方式に関して説明する。
外部パラメータは、実空間上における撮像部のカメラ位置とカメラ姿勢である。カメラ位置は世界座標系(x,y,z)における撮像部のレンズ中心(xc,yc,zc)である(図8(d))。撮像部801の姿勢は図8に示すとおり、カメラ座標系のZ軸を回転軸とするロール(図8(a))、X軸を回転軸とするピッチ(図8(b))、Y軸を回転軸とするヨー(図8(c))、の三つの回転で表現する。1つのカメラごとにこの6つのパラメータを推定する。
【0034】
外部パラメータ較正部304では、撮像部307,308,309,310から入力された画像、および、内部パラメータ較正部に303おいて推定された歪みパラメータおよび内部パラメータを利用して較正を実施する。
【0035】
以下で、外部パラメータの較正方法の一例に関して図9を用いて説明する。
図9は、外部パラメータ(ピッチ,ヨー,カメラ高さ)の較正方法を説明する図であり、図9(a)は、撮像部で認識対象物を撮像した実際の画像、図9(b)は、俯瞰画像である。
【0036】
最初に、ピッチの求め方について説明する。X軸を回転軸とするピッチは、歪み補正後の特徴点の性質に基づいて推定する。
【0037】
例えば、実際の画像901に示される認識対象物911は、路面表示であって、横方向に沿って延在する白線912と、白線912に直交して車両進行方向に沿って延在しかつ横方向に所定間隔をおいて互いに平行に配置された複数の平行白線913、913…を有している。
【0038】
この認識対象物911を真上から見下ろした俯瞰画像902を撮影した場合、認識対象物911の平行白線913を構成するエッジ点列923は、俯瞰画像902中でも平行になるはずである。逆に考えれば、認識対象物911の平行成分を構成するエッジ点列923が平行になるような視点は、認識対象物911を真上から見下ろした視点(俯瞰視点)であるということを意味する。
【0039】
したがって、現在の視点から、ピッチをどの位だけ変化させれば、俯瞰視点になるかを計算し、設計値どおりにカメラが設置されている場合の、俯瞰視点になるまでのピッチ変化量も同様に計算し、これら二つのピッチ変化量の差分をとることで、設計値からのピッチ方向の光軸ずれ量を推定できる。そして、この光軸ずれ量に基づいて、外部パラメータとしてピッチのパラメータを較正できる。
【0040】
現在の視点から、ピッチをどれだけ変化させれば、俯瞰視点になるか、そのピッチ変化量は、目的関数を設計し、それをピッチに関して最適化することで算出可能である。目的関数は、

とすればよい。ここで、ν、νは内部パラメータを補正した画像中において、エッジ点列を近似する直線を表すベクトルである。Cは画像中の直線の全組み合わせを表す。これは、画像中の平行成分を構成するエッジ点列の近似直線が平行になる場合に、最小の値をとる関数である。
【0041】
視点変換した場合のエッジ点の座標(u’、ν’)は、ピッチに関する回転行列

を用いて、

で表すことができる。

【0042】
ただし、この際、車両の状態についても考慮しておく必要がある。例えば、ピッチ角は、ブレーキングや操舵による荷重変化に伴う車両姿勢変化の影響も受ける。定常状態におけるずれ量を正しく求めるためには、このような荷重変化がかかっていない場合の撮像データを用いて実施する必要がある。例えば、CANからブレーキングや操舵量の情報を取得し、ブレーキングや操舵といった荷重変化に伴う姿勢変化に関するアクションが起きているか否かを判断するといった仕組みを用いる。
【0043】
このような仕組みがあれば、逆に、姿勢変化量を知ることも可能である。これは、荷重変化がおきている場合と定常状態それぞれについて俯瞰視点を得るためのピッチ角度を求め、その差分を計算することで実現できる。前記ピッチ角度のずれ量の計算法は、あくまで一例であり、他の手段を用いて求めても良い。
【0044】
次に、ヨーの求め方について説明する。ヨーは、直線の直交性931をもとに推定する。ヨーに関しても、ピッチの場合と同様にヨーをどれだけ変化させれば、理想的な俯瞰視点になるかを計算する。ヨーが変化すると、図9(a)に示す画像901の水平方向の白線912が傾き、垂直方向の平行白線913との直交性が変化する。理想的な俯瞰視点から撮影した場合、図9(b)の俯瞰画像902に示されるように、これらの直線912、913は直交931の関係をなす。そこで、これらの直線912、913が互いに直交するようなヨーを最適化手法などにより求める。
【0045】
すなわち、現在の視点から、ヨーをどれだけ変化させれば、俯瞰視点になるかを計算し、設計値どおりにカメラが設置されている場合の、俯瞰視点になるまでのヨー変化量も同様に計算し、これら二つのヨー変化量の差分をとることで、設計値からのヨー方向の光軸ずれ量を推定できる。そして、この光軸ずれ量に基づいて、外部パラメータとしてヨーのパラメータを較正できる。
【0046】
次に、カメラ高さの求め方について説明する。カメラ高さは、互いに平行な直線の間隔をもとに推定する。例えば、図9に示す認識対象物911の場合、各平行白線913、913の間隔920が一定の範囲になるよう定められている。俯瞰変換時のカメラ高さを調整することで、各平行白線913、913の間隔が一定の値になる画像を生成できる。
【0047】
従って、例えば、カメラ高さを変数として、各直線の間隔が定められた値になった場合に最小となる目的関数を設定し、目的関数を最小化するカメラ高さを最適化手法により求めることで、理想的な俯瞰図を生成するカメラ高さを推定することができる。
【0048】
目的関数は、例えば、

とする。ここで、νおよびνは、ピッチ補正後の直線を表現するベクトルを想定している。bは、ピッチ補正後の各直線の第二主成分平均値であり、ν・bは、νの第二主成分平均ベクトル方向成分を表す。dpqは直線pとqのqを基準とする第二主成分軸上の差分である。N、Nは、それぞれ直線p上の特徴点数、直線q上の特徴点数を表す。
【0049】
したがって、推定したカメラ高さと、設計値どおりにカメラが設置されている場合のカメラ高さとの差分をとることで、設計値からのカメラ高さのずれ量を推定できる。そして、このカメラ高さのずれ量に基づいて、外部パラメータとしてカメラ高さのパラメータを較正できる。
【0050】
次に、ロール角度と並進成分の求め方について図10を用いて説明する。
図10は、外部パラメータ(ロール,並進)の較正方法を説明する図であり、図10(a)は、前カメラの画像を俯瞰視点に変換した俯瞰画像を示し、図10(b)は、右カメラの画像を俯瞰視点に変換した俯瞰画像を示している。ロール角度と並進成分の較正には、前述の処理で得られたパラメータを用いて生成した俯瞰図を用いる。
【0051】
車両1003は、撮像部として前後左右に4つのカメラを搭載しており、そのうちの前カメラと右カメラ間でロールと並進成分を較正する場合について説明する。他カメラの補正方法も同様である。
【0052】
最後に、カメラのロールと位置(xc,yc,zc)を推定する。カメラのロールと位置推定は、カメラ間の画像位置合わせによって実施する。前述の手続きによって求めた前カメラのパラメータを用いて、俯瞰視点に変換した俯瞰画像1001を作成する。俯瞰画像は、前カメラの画像を俯瞰視点に存在すると仮定した俯瞰カメラの画像に変換することで生成する。俯瞰カメラのカメラパラメータは表示したい映像にあわせて望みのものに設定してよい。同様に右カメラも同一の俯瞰カメラからみた俯瞰視点画像に変換し、俯瞰画像1002を取得する。すなわち、俯瞰画像1001、および1002は同一視点から見た画像である。
【0053】
キャリブレーションできていれば、1001、および1002の画像にズレはない。しかしながら、実際には前後左右カメラはロールと設置位置の設計値からの誤差に由来するズレが存在する。そこで、俯瞰画像1001、および俯瞰画像1002の画像にズレがなくなるように、ロールとカメラ位置(xc,yc,zc)を推定する。画像のズレを判定するために、俯瞰カメラ画像に画像領域1003を設定する。この画像領域1003には、前、右カメラの重複する撮像領域中の、共通する撮像対象がうつっている領域とするこの領域のカメラ映像が一致するように、ロールとカメラ位置(xc,yc,zc)を補正する。
【0054】
補正方法はいろいろと考えられるが、例えば、前カメラの俯瞰映像を基準として、右カメラの俯瞰映像が前カメラ俯瞰映像と一致するようにロールとカメラ位置(xc,yc,zc)を補正する。この補正方法だと前カメラの俯瞰映像が著しくズレている場合は他のカメラのロールとカメラ位置(xc,yc,zc)にもズレが生じるので他の補正方法を採用してもよい。例えば、カメラの設置位置のズレが小さいとわかっている場合には、それらのパラメータの誤差による俯瞰図のズレも小さいため、ロールのみで画像がなるべく一致するように先に補正し、最後にカメラ位置(xc,yc,zc)を微修正してもよい。画像の位置合わせには、Lucas-Kanade法のような画像の最適化法を利用する。あるいは、この画像から抽出された特徴点やエッジ直線の方程式などの特徴情報を利用して位置合わせを実施してもよい。
【0055】
2カメラ間の補正方法は上記のとおりである。同様に2カメラ間の補正を繰り返していくことで、4カメラの補正を実施する。例えば、前カメラと右カメラ、前カメラと左カメラ、左右カメラと後カメラという順序で実施する。順序は他でもよい。また、繰り返し実施するなどの工夫をしてもよい。
【0056】
画像の位置合わせは、各カメラの画像輝度、あるいは、画像のエッジ強度などの特徴量が一致するように実施する。各カメラの並進成分および回転パラメータを微小変化させると、俯瞰画像の見え方が変化する。これらのパラメータを俯瞰画像が一致するまで変化させることで、画像を位置合わせする。2カメラ間(前カメラと右カメラ)の見え方が一致する並進および回転パラメータが最適化により求めるパラメータとなる。
【0057】
各カメラの画像輝度、あるいは、画像のエッジ強度が一致する場合に最小となる目的関数を設計し、目的関数を最小化することで、俯瞰画像が一致するパラメータ推定、すなわちキャリブレーションを実施する。あるいは、画像そのものの位置合わせを実施するのではなく、対応する直線の方程式が一致するように補正してもよい。
【0058】
また、画像そのものの位置合わせを実施するのではなく、対応する直線の方程式が一致するように補正してもよい。具体的には、画像中の白線の方程式を算出し、各画像間で対応する白線の方程式が一致するように、画像の位置合わせを実施する。各画像間で対応する白線とは、三次元空間中での同一の白線を意味する。各カメラの並進および回転パラメータを微小変化させ、俯瞰画像が一致するまで変化させることで、白線方程式を一致させる。対応する白線方程式が一致する場合に最小となる目的関数を設計し、最小化する並進/回転パラメータを推定することで、キャリブレーションを実施する。
【0059】
上記構成を有する車載カメラシステム1によれば、平行性、直線性、間隔が既知であればその性質を利用してカメラの内部パラメータと外部パラメータの両方を較正することができる。例えば、線幅の幅にある範囲で変動はあるものの、横断歩道などは較正に用いるターゲットとできる。すなわち、特別な基準マーカや車両用設備を準備せずとも、道路標示のみでキャリブレーションできる。高さの調整は白線の幅の誤差分変動するが、厳密な位置表示が要求されない場合などは効果が期待できる。
【0060】
しかしながら、横断歩道のみでしかキャリブレーションできないということになれば、キャリブレーションできるチャンスが少ない。単純なレーン表示用の白線や、走行シーンにおける直線的構造物だけでもキャリブレーションできることが望ましい。しかしながら、本方式では白線一本だけではキャリブレーションすることができない。したがって、走行中になるべく多くのキャリブレーションの機会を設けるためには走行しながら情報を集約し、キャリブレーションに必要なターゲットの情報をつくりだすことが必要となる。
【0061】
そこで、走行中にキャリブレーションできるシーンを増やすための、上記キャリブレーションに必要となる特徴情報の取得方法を示す。対象としては、レーン表示の白線など、道路中に多く登場し、かつ直線性と平行性を有する物体が望ましい。間隔に関しては、構造的にある程度規定することができ、その間隔情報を利用できる。ただし、白線を1回撮影しただけの場合、1セットの平行白線が得られるのみである。キャリブレーションするには複数の直線が必要となるため、情報が不足している。白線は1カ所だけでなく、別の位置で撮影された白線とその白線同士の距離情報が必要となる。
【0062】
別の位置に撮影された白線は、例えば車線変更のときなどに撮影することができる。車線変更の際には、白線との車両との相対位置が大きく変動するので、種々の相対位置関係にあるときに、これらの複数の白線の座標位置を保存しておけば、同時に複数の白線を撮影した状況を作り出すことができる。別方向の白線に関しては、例えば停止線のエッジ情報を走行しながら保存しておけばよい。白線間の平行性は保つことができないが、1白線の立ち上がり、立ち下がりエッジの平行性は確保できており、それが画像の複数個所で
同時に成立することを満たす必要があるため、拘束条件として成立する。白線間の間隔情報については、例えば、自車両の速度や舵角などから特徴点の移動方向と移動量を算出することで求めることができる。
【0063】
上記によって、走行しながらキャリブレーションに必要となる情報を集約しターゲットをつくりだすことによって走行中に内部パラメータと外部パラメータを補正することができる。すなわち、同一白線を別の時刻に撮影し、白線間の距離を求める処理を繰り返すことで、一本の白線から複数の平行直線とそれらの間隔の情報を取得することができる。これを例えばレーン表示用の白線と停止線に関して実施することで、キャリブレーション
ターゲットを構成することができる。したがって、横断歩道など、較正に都合の良い認識対象物がない場合でも、白線などの直線的な構造物があれば、較正に必要な特徴情報を生成することができる。
【0064】
以下で具体的な処理について説明する。
まず、走行中に画像を取得する。この場合を時刻tとする。次に、その画像中の白線を認識する。認識した白線の立ち上がり、立ち下がりエッジをともに特徴点として抽出する。続いて、抽出した特徴点情報をメモリに記憶しておく。次に、次時刻t+1に撮影された画像を取得する。この時刻間隔については任意に設定してよい。次時刻t+1に撮影された画像に対しても白線を認識し、立ち上がり、立ち下がりエッジを特徴点として抽出する。この際、時刻t+1の特徴点の相対位置が時刻tの特徴点位置と比較して、こちらが定めた一定量以上変化していれば、特徴点をメモリに記憶する。一定量以上の変化は、自車両の速度や舵角から車両の移動量を算出し、その量が一定以上であれば移動したと判定する。また同時に車両の移動量と移動方向についても記録しておく。判定は、画像認識された特徴点座標をもとに実施してもよい。車両の移動量は、キャリブレーションに必要となる白線間の距離を計算するために利用する。
【0065】
ここで特徴点間の間隔の測定の仕方について説明する。ある時刻t に撮像した特徴点をpt とする。時刻t+1 に撮像された同一の特徴点をpt+1 とする。通常、カメラに撮影されたこれらの二点の三次元的な距離(実空間における距離)は、カメラの設置情報など必要な情報がなければ判断できない。しかしながら、車両の速度と舵角の情報があれば、pt と pt+1 の三次元的な距離を求めることができる。なぜなら、pt とpt+1 は別の場所から撮影した同一の点であるから、カメラから見たこれら二点の三次元的な距離は、車両の移動量そのものとなる。したがって、車両の速度と舵角の情報から、車両が移動した方向やその大きさを計算することで、pt と pt+1 の三次元的な距離を求めることができる。車両の速度や舵角などから車両の移動量を推定する技術は、デッドレコニングと呼ばれる一般に用いられている技術である。
【0066】
上記の処理をt+2,t+3,と繰り返していく。これによってキャリブレーションに必要な情報を収集する。すなわち、時刻t の特徴点座標、t+1 の特徴点座標、t+2 の特徴点座標、t+3 の特徴点座標、・・・と各時刻で撮影した特徴点座標をメモリに保持しておき、情報を蓄積することで、ターゲットに必要となる情報を構成する。この際、時刻tと時刻t+1に撮影された白線は同一の白線でなくてもよい。
【0067】
ターゲットの構成は、各カメラ画像において、少なくとも垂直方向に2本の白線とその間隔情報、水平方向に2本の白線と間隔情報が記録されるまで実施する。例えば停止線と走行レーンの白線をそれぞれ別の相対位置で撮影したものなどが利用できる。この特徴点情報は、歪みの大きい画面端のものや、歪みの小さい画面中央部分など、画像の左端から右端、上端から下端に至る広域に分布しているほうが、較正精度の向上に寄与するので、できるだけ広域の特徴点情報を集めることが望ましい。
【0068】
また、走行レーン表示の白線は、破線,実線,二重線など線種を問わない。直線状の構造物からエッジを抽出できればよい。また横断歩道の存在を示す道路表示など、直線成分を有する道路標示を利用してもよい。
【0069】
以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。さらに、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【0070】
1 車載カメラシステム
105 画像処理装置
301 特徴点抽出部
303 内部パラメータ較正部
304 外部パラメータ較正部
307〜310 撮像部

【特許請求の範囲】
【請求項1】
車両周囲の環境を画像認識する車載カメラシステムの較正方法であって、
車両周囲を撮像し、
撮像された画像から予め設定された直線部分を有する認識対象物を認識し、前記画像から前記認識対象物の特徴点を抽出し、
抽出された特徴点を仮想球面に投影し、該仮想球面に形成された特徴点列の形状に基づいて撮像部の内部パラメータを推定し、該推定した内部パラメータを較正し、
抽出された特徴点に基づいて前記画像の俯瞰視点を算出し、該算出した俯瞰視点に基づいて撮像部の外部パラメータを推定し、該推定した外部パラメータを較正することを特徴とする較正方法。
【請求項2】
前記特徴点として、前記画像から前記直線部分に沿ったエッジ点列を抽出し、
内部パラメータを調整して、前記仮想球面の中心を含む断面により形成される外周円に沿って前記エッジ点列を延在させることにより、前記内部パラメータを較正することを特徴とする請求項1に記載の較正方法。
【請求項3】
外部パラメータを調整して、前記画像の視点から前記俯瞰視点までの角度を予め設定された基準角度に一致させることにより、前記外部パラメータを較正することを特徴とする請求項1又は2に記載の較正方法。
【請求項4】
複数の撮像部にて、同一の認識対象物を互いに異なる位置から撮像し、
第1の撮像部で撮像した画像の視点を前記俯瞰視点に変換した第1の画像と、第2の撮像部で撮像した画像の視点を前記俯瞰視点に変換した第2の画像を用いて、前記外部パラメータを較正することを特徴とする請求項3に記載の較正方法。
【請求項5】
前記撮像部のレンズ歪みと、光軸中心、単位撮像素子の縦横比、焦点距離の少なくとも一つを含むことを特徴とする請求項1から請求項4のいずれか一項に記載の較正方法。
【請求項6】
前記撮像部の三次元位置と姿勢状態を含むことを特徴とする請求項1から請求項5のいずれか一項に記載の較正方法。
【請求項7】
前記特徴点の中から、前記構成に不要な特徴点を選別して除外することを特徴とする請求項1から請求項6のいずれか一項に記載の較正方法。
【請求項8】
前記車両の挙動情報を取得し、
前記車両の挙動情報に基づいて前記特徴点の間隔を推定することで前記特徴点を抽出することを特徴とする請求項1から請求項7のいずれか一項に記載の較正方法。
【請求項9】
カーナビゲーションシステムから取得した情報を用いて前記特徴点を抽出することを特徴とする請求項1に記載の較正方法。
【請求項10】
車両周囲の環境を画像認識する車載カメラシステムであって、
車両周囲を撮像する撮像部と、
該撮像部により撮像された画像から予め設定された直線部分を有する認識対象物を認識し、前記画像から前記認識対象物の特徴点を抽出する特徴点抽出部と、
該特徴点抽出部により抽出された特徴点を仮想球面に投影し、該仮想球面に形成された特徴点列の形状に基づいて前記撮像部の内部パラメータを推定し、該推定した内部パラメータを較正する内部パラメータ較正部と、
前記特徴点抽出部により抽出された特徴点に基づいて前記画像の俯瞰視点を算出し、該算出した俯瞰視点に基づいて前記撮像部の外部パラメータを推定し、該推定した外部パラメータを較正する外部パラメータ較正部と、
を有することを特徴とする車載カメラシステム。
【請求項11】
前記特徴点抽出部は、前記特徴点として、前記画像から前記直線部分に沿ったエッジ点列を抽出し、
前記内部パラメータ較正部は、内部パラメータを調整して、前記仮想球面の中心を含む断面により形成される外周円に沿って前記エッジ点列を延在させることにより、前記内部パラメータを較正することを特徴とする請求項10に記載の車載カメラシステム。
【請求項12】
前記外部パラメータ較正部は、外部パラメータを調整して、前記画像の視点から前記俯瞰視点までの角度を予め設定された基準角度に一致させることにより、前記外部パラメータを較正することを特徴とする請求項10又は11に記載の車載カメラシステム。
【請求項13】
同一の認識対象物を互いに異なる位置から撮像可能な複数の撮像部を有し、
前記外部パラメータ較正部は、
第1の撮像部で撮像した画像の視点を前記俯瞰視点に変換した第1の画像と、
第2の撮像部で撮像した画像の視点を前記俯瞰視点に変換した第2の画像を用いて、前記外部パラメータを較正することを特徴とする請求項12に記載の車載カメラシステム。
【請求項14】
前記内部パラメータは、前記撮像部のレンズ歪みと、光軸中心、単位撮像素子の縦横比、焦点距離の少なくとも一つを含むことを特徴とする請求項10から請求項13のいずれか一項に記載の車載カメラシステム。
【請求項15】
前記外部パラメータは、前記撮像部の三次元位置と姿勢状態を含むことを特徴とする請求項10から請求項14のいずれか一項に記載の車載カメラシステム。
【請求項16】
前記特徴点抽出部は、前記特徴点の中から、前記構成に不要な特徴点を選別して除外する特徴点選別部を有することを特徴とする請求項10から請求項15のいずれか一項に記載の車載カメラシステム。
【請求項17】
前記車両の挙動情報を取得する車両挙動情報取得部を有し、
前記特徴点抽出部は、前記車両の挙動情報に基づいて前記特徴点の間隔を推定することで前記特徴点を抽出することを特徴とする請求項10から請求項16のいずれか一項に記載の車載カメラシステム。
【請求項18】
前記特徴点抽出部は、カーナビゲーションシステムから取得した情報を用いて前記特徴点を抽出することを特徴とする請求項10に記載の車載カメラシステム。
【請求項19】
画像処理装置によって実行される車載カメラシステムの較正プログラムであって、
前記車載カメラシステムの撮像部により撮像された車両周囲の画像から予め設定された直線部分を有する認識対象物を認識して前記画像から前記認識対象物の特徴点を抽出し、
該抽出された特徴点を仮想球面に投影して該仮想球面に形成された特徴点列の形状に基づいて前記撮像部の内部パラメータを推定し、該推定した内部パラメータを較正し、
前記抽出された特徴点に基づいて前記画像の俯瞰視点を算出し、該算出した俯瞰視点に基づいて前記撮像部の外部パラメータを推定し、該推定した外部パラメータを較正することを特徴とする車載カメラシステムの較正プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2013−115540(P2013−115540A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−258663(P2011−258663)
【出願日】平成23年11月28日(2011.11.28)
【出願人】(000001487)クラリオン株式会社 (1,722)
【Fターム(参考)】