カメラ校正装置
【課題】周囲の景色によらずカメラの撮像方向を校正することができるカメラ校正装置を提供する。
【解決手段】イメージセンサ１４０を有するカメラ１２０と、イメージセンサ１４０と既知の位置関係にある加速度センサ１５０と、イメージセンサ１４０が静止しているときに加速度センサ１５０によって検知された傾きとイメージセンサ１４０が移動しているときに加速度センサ１５０によって検知された傾きとに基づいて、カメラ１２０の撮像方向を算出するカメラ校正部１６０とを備える。
【解決手段】イメージセンサ１４０を有するカメラ１２０と、イメージセンサ１４０と既知の位置関係にある加速度センサ１５０と、イメージセンサ１４０が静止しているときに加速度センサ１５０によって検知された傾きとイメージセンサ１４０が移動しているときに加速度センサ１５０によって検知された傾きとに基づいて、カメラ１２０の撮像方向を算出するカメラ校正部１６０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ校正装置に関し、特に、カメラの撮像方向を校正するカメラ校正装置に関する。
【背景技術】
【０００２】
近年、車載カメラ分野において、カメラによる監視や物体検出を行うため、カメラから見た撮像対象物の方向を求めることによってカメラの撮像方向を校正するカメラ校正装置が開発されている。
【０００３】
例えば、カメラを車両に搭載して、車両走行のガイドラインを撮像画像上に描画するとき、路面とカメラとの位置関係を正確に求めるために、カメラの撮像方向を校正するカメラ校正が必要となる。
【０００４】
このようなカメラ校正は、車両メーカの工場内でカメラを設置する場合には、工場内で行うことが可能であるが、ユーザが車両にカメラを設置する場合には、カメラ設置後に、ユーザが行う必要がある。
【０００５】
このようなカメラ校正に対し、カメラの撮像方向を路面上の平行線から消失線を算出することによって、カメラ校正を行う技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−３２９４１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述したような従来の技術においては、平行線が撮像できないとカメラ校正を行うことができないため、周囲の景色によってはカメラの撮像方向を校正することができないといった課題があった。
【０００８】
本発明は、従来の課題を解決するためになされたもので、周囲の景色によらずカメラの撮像方向を校正することができるカメラ校正装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明のカメラ校正装置は、イメージセンサを有するカメラと、前記イメージセンサと既知の位置関係にある加速度センサと、前記イメージセンサが静止しているときに前記加速度センサによって検知された傾きと前記イメージセンサが移動しているときに前記加速度センサによって検知された傾きとに基づいて、前記カメラの撮像方向を算出するカメラ校正部とを備えた構成を有している。
【００１０】
この構成により、本発明のカメラ校正装置は、イメージセンサが静止しているときに加速度センサによって検知された傾きとイメージセンサが移動しているときに加速度センサによって検知された傾きとに基づいて、カメラの撮像方向を算出するため、周囲の景色によらずカメラの撮像方向を校正することができる。
【００１１】
具体的には、前記カメラ校正部は、前記カメラの光学系中心点を原点とし、光軸をＺ軸とし、走査方向をＸ軸とし、副走査方向をＹ軸としたカメラ座標系から、前記Ｚ軸を鉛直方向に回転させた鉛直カメラ座標系に変換するための変換式のパラメータを算出することにより、前記カメラの撮像方向を算出する。
【００１２】
また、前記カメラ校正部は、前記イメージセンサが静止しているときに、前記加速度センサを用いて前記鉛直方向を検出する。
【発明の効果】
【００１３】
本発明は、周囲の景色によらずカメラの撮像方向を校正することができるといった効果を有するカメラ校正装置を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施の形態に係るカメラ校正装置を構成するカメラの構成図
【図２】本発明の一実施の形態に係るカメラ校正装置を構成するカメラの実装図
【図３】本発明の一実施の形態に係るカメラ校正装置と、カメラ校正装置を実装した車両と、世界座標系との関係を示す概念図
【図４】本発明の一実施の形態に係る鉛直カメラ座標系、直進時加速度ベクトルおよび静止時加速度ベクトルの関係を示す概念図
【図５】本発明の一実施の形態に係るカメラ座標系と鉛直カメラ座標系との関係を示す概念図
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１６】
図１に示すように、本発明の一実施の形態としてのカメラ校正装置は、カメラ１２０によって構成されている。カメラ１２０は、レンズ１３０と、イメージセンサ１４０と、加速度センサ１５０と、カメラ校正部１６０とを備えている。
【００１７】
図１において、加速度センサ１５０は、３次元の加速度を計測できる３次元加速度センサによって構成され、イメージセンサ１４０に対して３次元的に既知な位置関係でカメラ１２０に収納されている。
【００１８】
カメラ校正部１６０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を有するマイクロコンピュータによって構成されている。
【００１９】
ＲＯＭには、当該マイクロコンピュータをカメラ校正部１６０として機能させるためのプログラムが記憶されている。すなわち、ＣＰＵがＲＡＭを作業領域としてＲＯＭに記憶されたプログラムを実行することにより、当該マイクロコンピュータは、カメラ校正部１６０として機能する。
【００２０】
カメラ校正部１６０は、車両１００が静止しているときに加速度センサ１５０によって検知された傾きと、車両１００が直進しながら加減速しているときに加速度センサ１５０によって検知された傾きとに基づいて、カメラ１２０の撮像方向を算出するようになっている。
【００２１】
ここで、カメラ校正部１６０は、カメラ１２０の外部、例えば、車両１００本体に設けられた蛇角センサおよび車速センサに検知結果に基づいて、車両１００が静止しているか否か、および、車両１００が直進しながら加減速しているか否かを判断するようになっている。
【００２２】
なお、カメラ校正部１６０は、車両１００が移動しているときに、車両１００の走行方向のなかで直進走行の割合が最も高いと仮定して、最も高い割合の方向を直進方向と判断するようにしてもよい。
【００２３】
また、図１において、カメラ校正部１６０は、カメラ１２０の内部に設けられているように示されているが、カメラ１２０の外部に設けられていてもよい。
【００２４】
図２に示すように、カメラ１２０は、車両１００の後方を撮像するように車両１００に設けられている。図３に示すように、カメラ１２０の直下の路面を世界座標系１８０の原点とする。世界座標系１８０は、車両１００の長さ方向、すなわち、車両１００の直進方向をＹ軸としてＷｙと表され、車両１００の幅方向をＸ軸としてＷｘと表され、車両１００の鉛直方向をＺ軸としてＷｚと表されている。
【００２５】
図４に示すように、カメラ座標系１７０は、カメラ１２０の光学系中心点としてのレンズ１３０の中心を原点とし、光軸方向をＺ軸、走査方向をＸ軸、副走査方向をＹ軸とし、各Ｘ軸、Ｙ軸、Ｚ軸がＣｘ、Ｃｙ、Ｃｚとして示されている。
【００２６】
また、車両１００が静止しているときに加速度センサ１５０によって検知される傾きを静止時加速度ベクトル２７０とし、車両１００が直進しながら加減速しているときに加速度センサ１５０によって検知される傾きを直進時加速度ベクトル２８０とする。
【００２７】
以下、カメラ校正部１６０について図４および図５を用いてその動作を説明する。
【００２８】
図５に示すように、鉛直カメラ座標系２３０は、カメラ座標系１７０のＺ軸Ｃｚを重力方向に一致させるように回転させた座標系である。鉛直カメラ座標系２３０は、各Ｘ軸、Ｙ軸、Ｚ軸がＶｘ、Ｖｙ、Ｖｚとして示されている。
【００２９】
カメラ座標系１７０、静止時加速度ベクトル２７０および直進時加速度ベクトル２８０の関係は、図４に示した通りであり、車両１００が静止しているときの加速度センサ１５０は、重力加速度を検知している。すなわち、カメラ校正部１６０は、車両１００が静止しているときの加速度センサ１５０の検出結果によって重力の方向を検出することができる。
【００３０】
ここで、車両１００が静止しているときの加速度センサ１５０の３軸の値を単位ベクトルに正規化したベクトルを静止時加速度ベクトル２７０とし、鉛直カメラ座標系２３０に対するＺ軸射影ベクトルを［数１］に示すベクトルで表す。
【００３１】
【数１】
【００３２】
また、Ｚ軸射影ベクトルと直進時加速度ベクトル２８０との外積をとり、単位ベクトルとしたものを鉛直カメラ座標系２３０に対するＸ軸射影ベクトルとして［数２］に示すベクトルで表す。
【００３３】
【数２】
【００３４】
また、Ｚ軸射影ベクトルとＸ軸射影ベクトルの外積をとったものを鉛直カメラ座標系２３０に対するＹ軸射影ベクトルとして［数３］に示すベクトルで表す。
【００３５】
【数３】
【００３６】
このような射影ベクトルをまとめると、カメラ座標系１７０から鉛直カメラ座標系２３０に変換する変換式は、［数４］に示すように表すことができる。
【００３７】
【数４】
【００３８】
このように、カメラ校正部１６０は、カメラ座標系１７０を鉛直カメラ座標系２３０に変換することができ、カメラ１２０の撮像方向を校正することができる。
【００３９】
以上説明したように、本発明の一実施の形態としてのカメラ校正装置を構成するカメラ１２０は、イメージセンサ１４０が静止しているときに加速度センサ１５０によって検知された傾きとイメージセンサ１４０が移動しているときに加速度センサ１５０によって検知された傾きとに基づいて、カメラ１２０の撮像方向を算出するため、周囲の景色によらずカメラ１２０の撮像方向を校正することができる。
【産業上の利用可能性】
【００４０】
以上のように、本発明にかかるカメラ校正装置は、周囲の景色によらずカメラの撮像方向を校正することができるという効果を有し、例えば、車載カメラの撮像方向を校正するカメラ校正装置等として有用である。
【符号の説明】
【００４１】
１００ 車両
１２０ カメラ
１３０ レンズ
１４０ イメージセンサ
１５０ 加速度センサ
１６０ カメラ校正部
【技術分野】
【０００１】
本発明は、カメラ校正装置に関し、特に、カメラの撮像方向を校正するカメラ校正装置に関する。
【背景技術】
【０００２】
近年、車載カメラ分野において、カメラによる監視や物体検出を行うため、カメラから見た撮像対象物の方向を求めることによってカメラの撮像方向を校正するカメラ校正装置が開発されている。
【０００３】
例えば、カメラを車両に搭載して、車両走行のガイドラインを撮像画像上に描画するとき、路面とカメラとの位置関係を正確に求めるために、カメラの撮像方向を校正するカメラ校正が必要となる。
【０００４】
このようなカメラ校正は、車両メーカの工場内でカメラを設置する場合には、工場内で行うことが可能であるが、ユーザが車両にカメラを設置する場合には、カメラ設置後に、ユーザが行う必要がある。
【０００５】
このようなカメラ校正に対し、カメラの撮像方向を路面上の平行線から消失線を算出することによって、カメラ校正を行う技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−３２９４１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述したような従来の技術においては、平行線が撮像できないとカメラ校正を行うことができないため、周囲の景色によってはカメラの撮像方向を校正することができないといった課題があった。
【０００８】
本発明は、従来の課題を解決するためになされたもので、周囲の景色によらずカメラの撮像方向を校正することができるカメラ校正装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明のカメラ校正装置は、イメージセンサを有するカメラと、前記イメージセンサと既知の位置関係にある加速度センサと、前記イメージセンサが静止しているときに前記加速度センサによって検知された傾きと前記イメージセンサが移動しているときに前記加速度センサによって検知された傾きとに基づいて、前記カメラの撮像方向を算出するカメラ校正部とを備えた構成を有している。
【００１０】
この構成により、本発明のカメラ校正装置は、イメージセンサが静止しているときに加速度センサによって検知された傾きとイメージセンサが移動しているときに加速度センサによって検知された傾きとに基づいて、カメラの撮像方向を算出するため、周囲の景色によらずカメラの撮像方向を校正することができる。
【００１１】
具体的には、前記カメラ校正部は、前記カメラの光学系中心点を原点とし、光軸をＺ軸とし、走査方向をＸ軸とし、副走査方向をＹ軸としたカメラ座標系から、前記Ｚ軸を鉛直方向に回転させた鉛直カメラ座標系に変換するための変換式のパラメータを算出することにより、前記カメラの撮像方向を算出する。
【００１２】
また、前記カメラ校正部は、前記イメージセンサが静止しているときに、前記加速度センサを用いて前記鉛直方向を検出する。
【発明の効果】
【００１３】
本発明は、周囲の景色によらずカメラの撮像方向を校正することができるといった効果を有するカメラ校正装置を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施の形態に係るカメラ校正装置を構成するカメラの構成図
【図２】本発明の一実施の形態に係るカメラ校正装置を構成するカメラの実装図
【図３】本発明の一実施の形態に係るカメラ校正装置と、カメラ校正装置を実装した車両と、世界座標系との関係を示す概念図
【図４】本発明の一実施の形態に係る鉛直カメラ座標系、直進時加速度ベクトルおよび静止時加速度ベクトルの関係を示す概念図
【図５】本発明の一実施の形態に係るカメラ座標系と鉛直カメラ座標系との関係を示す概念図
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１６】
図１に示すように、本発明の一実施の形態としてのカメラ校正装置は、カメラ１２０によって構成されている。カメラ１２０は、レンズ１３０と、イメージセンサ１４０と、加速度センサ１５０と、カメラ校正部１６０とを備えている。
【００１７】
図１において、加速度センサ１５０は、３次元の加速度を計測できる３次元加速度センサによって構成され、イメージセンサ１４０に対して３次元的に既知な位置関係でカメラ１２０に収納されている。
【００１８】
カメラ校正部１６０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を有するマイクロコンピュータによって構成されている。
【００１９】
ＲＯＭには、当該マイクロコンピュータをカメラ校正部１６０として機能させるためのプログラムが記憶されている。すなわち、ＣＰＵがＲＡＭを作業領域としてＲＯＭに記憶されたプログラムを実行することにより、当該マイクロコンピュータは、カメラ校正部１６０として機能する。
【００２０】
カメラ校正部１６０は、車両１００が静止しているときに加速度センサ１５０によって検知された傾きと、車両１００が直進しながら加減速しているときに加速度センサ１５０によって検知された傾きとに基づいて、カメラ１２０の撮像方向を算出するようになっている。
【００２１】
ここで、カメラ校正部１６０は、カメラ１２０の外部、例えば、車両１００本体に設けられた蛇角センサおよび車速センサに検知結果に基づいて、車両１００が静止しているか否か、および、車両１００が直進しながら加減速しているか否かを判断するようになっている。
【００２２】
なお、カメラ校正部１６０は、車両１００が移動しているときに、車両１００の走行方向のなかで直進走行の割合が最も高いと仮定して、最も高い割合の方向を直進方向と判断するようにしてもよい。
【００２３】
また、図１において、カメラ校正部１６０は、カメラ１２０の内部に設けられているように示されているが、カメラ１２０の外部に設けられていてもよい。
【００２４】
図２に示すように、カメラ１２０は、車両１００の後方を撮像するように車両１００に設けられている。図３に示すように、カメラ１２０の直下の路面を世界座標系１８０の原点とする。世界座標系１８０は、車両１００の長さ方向、すなわち、車両１００の直進方向をＹ軸としてＷｙと表され、車両１００の幅方向をＸ軸としてＷｘと表され、車両１００の鉛直方向をＺ軸としてＷｚと表されている。
【００２５】
図４に示すように、カメラ座標系１７０は、カメラ１２０の光学系中心点としてのレンズ１３０の中心を原点とし、光軸方向をＺ軸、走査方向をＸ軸、副走査方向をＹ軸とし、各Ｘ軸、Ｙ軸、Ｚ軸がＣｘ、Ｃｙ、Ｃｚとして示されている。
【００２６】
また、車両１００が静止しているときに加速度センサ１５０によって検知される傾きを静止時加速度ベクトル２７０とし、車両１００が直進しながら加減速しているときに加速度センサ１５０によって検知される傾きを直進時加速度ベクトル２８０とする。
【００２７】
以下、カメラ校正部１６０について図４および図５を用いてその動作を説明する。
【００２８】
図５に示すように、鉛直カメラ座標系２３０は、カメラ座標系１７０のＺ軸Ｃｚを重力方向に一致させるように回転させた座標系である。鉛直カメラ座標系２３０は、各Ｘ軸、Ｙ軸、Ｚ軸がＶｘ、Ｖｙ、Ｖｚとして示されている。
【００２９】
カメラ座標系１７０、静止時加速度ベクトル２７０および直進時加速度ベクトル２８０の関係は、図４に示した通りであり、車両１００が静止しているときの加速度センサ１５０は、重力加速度を検知している。すなわち、カメラ校正部１６０は、車両１００が静止しているときの加速度センサ１５０の検出結果によって重力の方向を検出することができる。
【００３０】
ここで、車両１００が静止しているときの加速度センサ１５０の３軸の値を単位ベクトルに正規化したベクトルを静止時加速度ベクトル２７０とし、鉛直カメラ座標系２３０に対するＺ軸射影ベクトルを［数１］に示すベクトルで表す。
【００３１】
【数１】
【００３２】
また、Ｚ軸射影ベクトルと直進時加速度ベクトル２８０との外積をとり、単位ベクトルとしたものを鉛直カメラ座標系２３０に対するＸ軸射影ベクトルとして［数２］に示すベクトルで表す。
【００３３】
【数２】
【００３４】
また、Ｚ軸射影ベクトルとＸ軸射影ベクトルの外積をとったものを鉛直カメラ座標系２３０に対するＹ軸射影ベクトルとして［数３］に示すベクトルで表す。
【００３５】
【数３】
【００３６】
このような射影ベクトルをまとめると、カメラ座標系１７０から鉛直カメラ座標系２３０に変換する変換式は、［数４］に示すように表すことができる。
【００３７】
【数４】
【００３８】
このように、カメラ校正部１６０は、カメラ座標系１７０を鉛直カメラ座標系２３０に変換することができ、カメラ１２０の撮像方向を校正することができる。
【００３９】
以上説明したように、本発明の一実施の形態としてのカメラ校正装置を構成するカメラ１２０は、イメージセンサ１４０が静止しているときに加速度センサ１５０によって検知された傾きとイメージセンサ１４０が移動しているときに加速度センサ１５０によって検知された傾きとに基づいて、カメラ１２０の撮像方向を算出するため、周囲の景色によらずカメラ１２０の撮像方向を校正することができる。
【産業上の利用可能性】
【００４０】
以上のように、本発明にかかるカメラ校正装置は、周囲の景色によらずカメラの撮像方向を校正することができるという効果を有し、例えば、車載カメラの撮像方向を校正するカメラ校正装置等として有用である。
【符号の説明】
【００４１】
１００ 車両
１２０ カメラ
１３０ レンズ
１４０ イメージセンサ
１５０ 加速度センサ
１６０ カメラ校正部
【特許請求の範囲】
【請求項１】
イメージセンサを有するカメラと、
前記イメージセンサと既知の位置関係にある加速度センサと、
前記イメージセンサが静止しているときに前記加速度センサによって検知された傾きと前記イメージセンサが移動しているときに前記加速度センサによって検知された傾きとに基づいて、前記カメラの撮像方向を算出するカメラ校正部とを備えたカメラ校正装置。
【請求項２】
前記カメラ校正部は、前記カメラの光学系中心点を原点とし、光軸をＺ軸とし、走査方向をＸ軸とし、副走査方向をＹ軸としたカメラ座標系から、前記Ｚ軸を鉛直方向に回転させた鉛直カメラ座標系に変換するための変換式のパラメータを算出することにより、前記カメラの撮像方向を算出することを特徴とする請求項１に記載のカメラ校正装置。
【請求項３】
前記カメラ校正部は、前記イメージセンサが静止しているときに、前記加速度センサを用いて前記鉛直方向を検出することを特徴とする請求項２に記載のカメラ校正装置。
【請求項１】
イメージセンサを有するカメラと、
前記イメージセンサと既知の位置関係にある加速度センサと、
前記イメージセンサが静止しているときに前記加速度センサによって検知された傾きと前記イメージセンサが移動しているときに前記加速度センサによって検知された傾きとに基づいて、前記カメラの撮像方向を算出するカメラ校正部とを備えたカメラ校正装置。
【請求項２】
前記カメラ校正部は、前記カメラの光学系中心点を原点とし、光軸をＺ軸とし、走査方向をＸ軸とし、副走査方向をＹ軸としたカメラ座標系から、前記Ｚ軸を鉛直方向に回転させた鉛直カメラ座標系に変換するための変換式のパラメータを算出することにより、前記カメラの撮像方向を算出することを特徴とする請求項１に記載のカメラ校正装置。
【請求項３】
前記カメラ校正部は、前記イメージセンサが静止しているときに、前記加速度センサを用いて前記鉛直方向を検出することを特徴とする請求項２に記載のカメラ校正装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−２２０８５０（Ｐ２０１１−２２０８５０Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−９０６２６（Ｐ２０１０−９０６２６）
【出願日】平成２２年４月９日（２０１０．４．９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月９日（２０１０．４．９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]