物体検出装置
【課題】 撮像された映像における物体の検出精度を向上させることができる物体検出装置を提供する。
【解決手段】 画像入力部１が出力する映像を基に時間軸上で連続する画像で構成される画像フレーム群を生成し、個々の画像を複数領域に分割して分割した領域毎に領域内の輝度変化を状態変化量として算出する時間変化抽出部２と、生成した個々の画像フレーム群において、算出した状態変化量の連続する画像間の差分を移動領域として算出し、算出された移動領域の重心を連続する画像フレーム群の間で比較してその移動量を特徴量として算出する動きベクトル抽出部３と、算出した個々の領域の特徴量を用いて映像内の物体の存在をアダブーストによるカスケード型の識別器により判断する検出部３とを備えて撮像映像における物体の存在を判断する。
【解決手段】 画像入力部１が出力する映像を基に時間軸上で連続する画像で構成される画像フレーム群を生成し、個々の画像を複数領域に分割して分割した領域毎に領域内の輝度変化を状態変化量として算出する時間変化抽出部２と、生成した個々の画像フレーム群において、算出した状態変化量の連続する画像間の差分を移動領域として算出し、算出された移動領域の重心を連続する画像フレーム群の間で比較してその移動量を特徴量として算出する動きベクトル抽出部３と、算出した個々の領域の特徴量を用いて映像内の物体の存在をアダブーストによるカスケード型の識別器により判断する検出部３とを備えて撮像映像における物体の存在を判断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラの撮像映像から移動する物体を検出する物体検出装置に関する。
に関する。
【背景技術】
【０００２】
近年、映像から人や車などの移動する物体を検出する技術が発達しており、局所領域内の画素の輝度変化をヒストグラム化した特徴量を基に識別を行う手法として、輝度の勾配方向ヒストグラム化した特徴ベクトルであるＨＯＧを用いた非特許文献１に開示された手法や、複数画像フレームにおける時間軸上の輝度変化に基づいてピクセル状態分析（ＰＳＡ）を行って特徴量として用いた特許文献１に開示された手法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−３０１１０４号公報
【非特許文献】
【０００４】
【非特許文献１】N.Dalal and B.Triggs, “Histograms of Oriented Gradients for Human Detection”, IEEE Computer Vision and Pattern Recognitio, pp. 886-893, 2005年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ＨＯＧを用いた手法は、人物を検出したい場合は人物に類似するような形状の柱や植栽などを人物として判断する誤検出が発生した。また、ＰＳＡに用いられるような時空間特徴は、木々の揺れや急激な照明変化に対して誤検出が発生するという問題があった。
【０００６】
そこで、本発明はこのような問題点に鑑み、撮像された映像における物体の検出精度を向上させることができる物体検出装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決する為に、請求項１の発明に係る物体検出装置は、カメラの撮像映像を基に時間軸上で連続する画像で構成される画像フレーム群を生成する画像フレーム群生成手段と、個々の画像を複数領域に分割して、分割した領域毎の画素の輝度情報から領域内の変化を状態変化量として算出する状態変化量算出手段と、生成した個々の画像フレーム群において、算出した状態変化量の連続する画像間の差分を移動領域として算出する移動領域算出手段と、算出された移動領域の重心を算出する重心算出手段と、連続する画像フレーム群の間で重心位置を比較して重心の移動量を特徴量として算出する特徴量算出手段と、予め撮像したサンプル画像から算出された特徴量を記憶するサンプル記憶部と、カメラの撮像映像から算出した特徴量とサンプル特徴量とから映像内の物体の存在を判断する物体判断手段とを有し、物体判断手段がアダブーストによるカスケード型の強識別器によって構成され、カメラの撮像映像から算出した特徴量がサンプル記憶部に記憶された特徴量と比較されて撮像映像における物体の存在が判断されることを特徴とする。
この構成によれば、サンプル画像を人物を撮像した画像とすれば人物の存在を判断できるし、車の画像とすれば車の存在を判断できる。そして、時間軸上で連続する複数の画像間で輝度が変化する部位を抽出して物体の存在を判断することで、柱や植栽等を人物や車等の物体と判断することが無くなるし、明るさの急激な変化も物体と判断することを防止でき、物体の検出精度を向上できる。
【発明の効果】
【０００８】
本発明によれば、時間軸上で連続する複数の画像間で輝度が変化する部位を抽出して物体を判断する。よって、柱や植栽等を人物や車等の物体と判断することが無くなるし、明るさの急激な変化も物体と判断することを防止でき、物体の検出精度を向上できる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る物体検出装置の一例を示す構成図である。
【図２】画像と画像フレーム群の時系列関係を示す説明図である。
【図３】物体を抽出する流れを示す概念説明図である。
【発明を実施するための形態】
【００１０】
以下、本発明を具体化した実施の形態を図面を参照して詳細に説明する。図１は本発明に係る物体検出装置の構成図を示し、画像入力部１、時間変化抽出部２、動きベクトル抽出部３、検出部４、結果出力部５を備えている。尚、時間変化抽出部２、動きベクトル抽出部３、検出部４は所定のプログラムをインストールしたＣＰＵ或いはＤＳＰで一体に構成される。
【００１１】
画像入力部１は、人物や車等の検出対象の移動物体を撮像するカメラを備え、デジタル映像信号を出力する。この映像信号は、例えば２５６階調のカラー映像である。
【００１２】
時間変化抽出部２は、画像入力部１が出力する映像信号から一定の時間間隔で画像（画像フレーム）を順次取り出し、所定数の画像でグループ分けして画像フレーム群を生成する。図２は取り出した画像と画像フレーム群の時系列関係を示し、３フレームの画像で１つの画像フレーム群が構成された場合を示している。
また時間変化抽出部２は、個々の画像を複数の領域に分割し、分割した個々の領域毎の画素の輝度情報から領域内の輝度変化を状態変化量として算出する。
【００１３】
動きベクトル抽出部３は、時間軸上で隣接する画像の同一領域同士で状態変化量を比較し、差分を演算する。そして、画像フレーム群毎に求めた差分の重心位置を求め、隣接する画像フレーム群間の重心の移動量を特徴量として算出する。
【００１４】
検出部４は、例えば検出対象物体が人物である場合は、人物と背景によってクラス分けされた学習サンプルと動きベクトル抽出部３で抽出した特徴量を用いて、強識別器によって構成される周知のアダブーストによるカスケード型識別器を用いて物体の検出を行う。４ａは学習サンプルの特徴量を記憶するサンプル記憶部を示している。
【００１５】
結果出力部５は、報音するためのスピーカ或いはブザー等の音響出力部、映像を表示する表示部を備え、検出部４が検出対象の物体を検出したらそれを報音通知し、撮像映像を表示する。
【００１６】
このように構成した物体検出装置の動作を、以下具体的に説明する。図３は物体を抽出する流れを示す概念説明図であり、この図３を参照しながら説明する。
画像入力部１のカメラ撮像映像から、まず時間変化抽出部２が例えば１００ｍｓ間隔の連続する画像（画像フレーム）Ｐ１，Ｐ２・・Ｐｎが取り出され、図２に示すように所定の個数でグループ分けした画像フレーム群が生成される。尚、前後する画像フレーム群同士は共通する画像を有しても良い。
【００１７】
時間変化抽出部２において、更に個々の画像が予め設定した複数の領域に分割され、分割された個々の領域毎に、画素の輝度情報から領域内の状態変化量が算出される。図３（ａ）は個々の画像を複数領域に分割した様子を示し、１画像を１２の領域に分割した状態を示している。そして、図３（ｂ）は状態変化量の説明図であり、ここでは１例として図３（ａ）のＥで示す分割された領域の変化を示している。
尚、ここでは説明の都合上２フレームの画像で個々の画像フレーム群が構成された場合を示している。また、Ｆは画像入力部１のカメラの撮像範囲に入り込んだ人物を示している。
【００１８】
次に、動きベクトル抽出部３において、時間軸上で隣接する画像の同一領域同士で状態変化量の差分が移動領域として算出され、画像フレーム群毎に個々の分割領域の移動領域の重心が求められる。図３（ｃ）は、こうして画像フレーム群毎に求めた領域Ｅの重心Ｇを示している。
更に、隣接する画像フレーム群間の重心の位置が比較され、その移動量が特徴量として算出される。図３（ｄ）は算出された特徴量を示し、特徴量はベクトルＶとして算出される。
【００１９】
個々の領域の特徴量が算出されたら、検出部４は求めた特徴量とサンプル記憶部４ａに記憶している学習サンプルの特徴量と比較して、強識別器によって構成される周知のアダブーストによるカスケード型識別器を用いて物体の検出が行われる。
例えば検出対象物体が人物である場合、学習サンプルは先ず様々な姿勢あるいは動きの人を例えば数百枚撮影され、その画像から結果として人の傾向を示す特徴量が算出されて、その確率密度関数が生成される。また、人以外を撮影した例えば数百枚撮影画像から、結果として人以外の傾向を示す特徴量を算出しその確率密度関数が生成される。
こうして生成した確立密度関数を学習サンプルとして、画像入力部１から入力された画像から算出した特徴量を学習サンプルと比較して人物の検出が行われる。
【００２０】
検出部４が検出対象の物体を検出したら、結果出力部５は警報音を発してカメラの撮像映像を表示する。
【００２１】
このように、サンプル画像を人物を撮像した画像とすれば人物の存在を判断できるし、車の画像とすれば車の存在を判断できる。そして、時間軸上で連続する複数の画像間で輝度が変化する部位を抽出して物体の存在を判断することで、柱や植栽等を人物や車等の物体と判断することが無くなるし、明るさの急激な変化も物体と判断することを防止でき、物体の検出精度を向上できる。
【００２２】
尚、上記実施形態において、算出する輝度の変化量（状態変化量）は、色の変化、テクスチャーの変化、エッジの変化を含む。
【符号の説明】
【００２３】
１・・画像入力部、２・・時間変化抽出部（画像フレーム群生成手段、状態変化量算出手段）、３・・動きベクトル抽出部（移動領域算出手段、重心算出手段、特徴量算出手段）、４・・検出部（物体判断手段）、４ａ・・サンプル記憶部、５・・結果出力部。
【技術分野】
【０００１】
本発明は、カメラの撮像映像から移動する物体を検出する物体検出装置に関する。
に関する。
【背景技術】
【０００２】
近年、映像から人や車などの移動する物体を検出する技術が発達しており、局所領域内の画素の輝度変化をヒストグラム化した特徴量を基に識別を行う手法として、輝度の勾配方向ヒストグラム化した特徴ベクトルであるＨＯＧを用いた非特許文献１に開示された手法や、複数画像フレームにおける時間軸上の輝度変化に基づいてピクセル状態分析（ＰＳＡ）を行って特徴量として用いた特許文献１に開示された手法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−３０１１０４号公報
【非特許文献】
【０００４】
【非特許文献１】N.Dalal and B.Triggs, “Histograms of Oriented Gradients for Human Detection”, IEEE Computer Vision and Pattern Recognitio, pp. 886-893, 2005年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ＨＯＧを用いた手法は、人物を検出したい場合は人物に類似するような形状の柱や植栽などを人物として判断する誤検出が発生した。また、ＰＳＡに用いられるような時空間特徴は、木々の揺れや急激な照明変化に対して誤検出が発生するという問題があった。
【０００６】
そこで、本発明はこのような問題点に鑑み、撮像された映像における物体の検出精度を向上させることができる物体検出装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決する為に、請求項１の発明に係る物体検出装置は、カメラの撮像映像を基に時間軸上で連続する画像で構成される画像フレーム群を生成する画像フレーム群生成手段と、個々の画像を複数領域に分割して、分割した領域毎の画素の輝度情報から領域内の変化を状態変化量として算出する状態変化量算出手段と、生成した個々の画像フレーム群において、算出した状態変化量の連続する画像間の差分を移動領域として算出する移動領域算出手段と、算出された移動領域の重心を算出する重心算出手段と、連続する画像フレーム群の間で重心位置を比較して重心の移動量を特徴量として算出する特徴量算出手段と、予め撮像したサンプル画像から算出された特徴量を記憶するサンプル記憶部と、カメラの撮像映像から算出した特徴量とサンプル特徴量とから映像内の物体の存在を判断する物体判断手段とを有し、物体判断手段がアダブーストによるカスケード型の強識別器によって構成され、カメラの撮像映像から算出した特徴量がサンプル記憶部に記憶された特徴量と比較されて撮像映像における物体の存在が判断されることを特徴とする。
この構成によれば、サンプル画像を人物を撮像した画像とすれば人物の存在を判断できるし、車の画像とすれば車の存在を判断できる。そして、時間軸上で連続する複数の画像間で輝度が変化する部位を抽出して物体の存在を判断することで、柱や植栽等を人物や車等の物体と判断することが無くなるし、明るさの急激な変化も物体と判断することを防止でき、物体の検出精度を向上できる。
【発明の効果】
【０００８】
本発明によれば、時間軸上で連続する複数の画像間で輝度が変化する部位を抽出して物体を判断する。よって、柱や植栽等を人物や車等の物体と判断することが無くなるし、明るさの急激な変化も物体と判断することを防止でき、物体の検出精度を向上できる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る物体検出装置の一例を示す構成図である。
【図２】画像と画像フレーム群の時系列関係を示す説明図である。
【図３】物体を抽出する流れを示す概念説明図である。
【発明を実施するための形態】
【００１０】
以下、本発明を具体化した実施の形態を図面を参照して詳細に説明する。図１は本発明に係る物体検出装置の構成図を示し、画像入力部１、時間変化抽出部２、動きベクトル抽出部３、検出部４、結果出力部５を備えている。尚、時間変化抽出部２、動きベクトル抽出部３、検出部４は所定のプログラムをインストールしたＣＰＵ或いはＤＳＰで一体に構成される。
【００１１】
画像入力部１は、人物や車等の検出対象の移動物体を撮像するカメラを備え、デジタル映像信号を出力する。この映像信号は、例えば２５６階調のカラー映像である。
【００１２】
時間変化抽出部２は、画像入力部１が出力する映像信号から一定の時間間隔で画像（画像フレーム）を順次取り出し、所定数の画像でグループ分けして画像フレーム群を生成する。図２は取り出した画像と画像フレーム群の時系列関係を示し、３フレームの画像で１つの画像フレーム群が構成された場合を示している。
また時間変化抽出部２は、個々の画像を複数の領域に分割し、分割した個々の領域毎の画素の輝度情報から領域内の輝度変化を状態変化量として算出する。
【００１３】
動きベクトル抽出部３は、時間軸上で隣接する画像の同一領域同士で状態変化量を比較し、差分を演算する。そして、画像フレーム群毎に求めた差分の重心位置を求め、隣接する画像フレーム群間の重心の移動量を特徴量として算出する。
【００１４】
検出部４は、例えば検出対象物体が人物である場合は、人物と背景によってクラス分けされた学習サンプルと動きベクトル抽出部３で抽出した特徴量を用いて、強識別器によって構成される周知のアダブーストによるカスケード型識別器を用いて物体の検出を行う。４ａは学習サンプルの特徴量を記憶するサンプル記憶部を示している。
【００１５】
結果出力部５は、報音するためのスピーカ或いはブザー等の音響出力部、映像を表示する表示部を備え、検出部４が検出対象の物体を検出したらそれを報音通知し、撮像映像を表示する。
【００１６】
このように構成した物体検出装置の動作を、以下具体的に説明する。図３は物体を抽出する流れを示す概念説明図であり、この図３を参照しながら説明する。
画像入力部１のカメラ撮像映像から、まず時間変化抽出部２が例えば１００ｍｓ間隔の連続する画像（画像フレーム）Ｐ１，Ｐ２・・Ｐｎが取り出され、図２に示すように所定の個数でグループ分けした画像フレーム群が生成される。尚、前後する画像フレーム群同士は共通する画像を有しても良い。
【００１７】
時間変化抽出部２において、更に個々の画像が予め設定した複数の領域に分割され、分割された個々の領域毎に、画素の輝度情報から領域内の状態変化量が算出される。図３（ａ）は個々の画像を複数領域に分割した様子を示し、１画像を１２の領域に分割した状態を示している。そして、図３（ｂ）は状態変化量の説明図であり、ここでは１例として図３（ａ）のＥで示す分割された領域の変化を示している。
尚、ここでは説明の都合上２フレームの画像で個々の画像フレーム群が構成された場合を示している。また、Ｆは画像入力部１のカメラの撮像範囲に入り込んだ人物を示している。
【００１８】
次に、動きベクトル抽出部３において、時間軸上で隣接する画像の同一領域同士で状態変化量の差分が移動領域として算出され、画像フレーム群毎に個々の分割領域の移動領域の重心が求められる。図３（ｃ）は、こうして画像フレーム群毎に求めた領域Ｅの重心Ｇを示している。
更に、隣接する画像フレーム群間の重心の位置が比較され、その移動量が特徴量として算出される。図３（ｄ）は算出された特徴量を示し、特徴量はベクトルＶとして算出される。
【００１９】
個々の領域の特徴量が算出されたら、検出部４は求めた特徴量とサンプル記憶部４ａに記憶している学習サンプルの特徴量と比較して、強識別器によって構成される周知のアダブーストによるカスケード型識別器を用いて物体の検出が行われる。
例えば検出対象物体が人物である場合、学習サンプルは先ず様々な姿勢あるいは動きの人を例えば数百枚撮影され、その画像から結果として人の傾向を示す特徴量が算出されて、その確率密度関数が生成される。また、人以外を撮影した例えば数百枚撮影画像から、結果として人以外の傾向を示す特徴量を算出しその確率密度関数が生成される。
こうして生成した確立密度関数を学習サンプルとして、画像入力部１から入力された画像から算出した特徴量を学習サンプルと比較して人物の検出が行われる。
【００２０】
検出部４が検出対象の物体を検出したら、結果出力部５は警報音を発してカメラの撮像映像を表示する。
【００２１】
このように、サンプル画像を人物を撮像した画像とすれば人物の存在を判断できるし、車の画像とすれば車の存在を判断できる。そして、時間軸上で連続する複数の画像間で輝度が変化する部位を抽出して物体の存在を判断することで、柱や植栽等を人物や車等の物体と判断することが無くなるし、明るさの急激な変化も物体と判断することを防止でき、物体の検出精度を向上できる。
【００２２】
尚、上記実施形態において、算出する輝度の変化量（状態変化量）は、色の変化、テクスチャーの変化、エッジの変化を含む。
【符号の説明】
【００２３】
１・・画像入力部、２・・時間変化抽出部（画像フレーム群生成手段、状態変化量算出手段）、３・・動きベクトル抽出部（移動領域算出手段、重心算出手段、特徴量算出手段）、４・・検出部（物体判断手段）、４ａ・・サンプル記憶部、５・・結果出力部。
【特許請求の範囲】
【請求項１】
カメラの撮像映像を基に時間軸上で連続する画像で構成される画像フレーム群を生成する画像フレーム群生成手段と、
個々の画像を複数領域に分割して、分割した領域毎の画素の輝度情報から領域内の変化を状態変化量として算出する状態変化量算出手段と、
生成した個々の前記画像フレーム群において、算出した前記状態変化量の連続する画像間の差分を移動領域として算出する移動領域算出手段と、
算出された移動領域の重心を算出する重心算出手段と、
連続する画像フレーム群の間で前記重心位置を比較して重心の移動量を特徴量として算出する特徴量算出手段と、
予め撮像したサンプル画像から算出された前記特徴量を記憶するサンプル記憶部と、
前記カメラの撮像映像から算出した特徴量と前記サンプル特徴量とから映像内の物体の存在を判断する物体判断手段とを有し、
前記物体判断手段がアダブーストによるカスケード型の強識別器によって構成され、前記カメラの撮像映像から算出した特徴量が前記サンプル記憶部に記憶された特徴量と比較されて前記撮像映像における物体の存在が判断されることを特徴とする物体検出装置。
【請求項１】
カメラの撮像映像を基に時間軸上で連続する画像で構成される画像フレーム群を生成する画像フレーム群生成手段と、
個々の画像を複数領域に分割して、分割した領域毎の画素の輝度情報から領域内の変化を状態変化量として算出する状態変化量算出手段と、
生成した個々の前記画像フレーム群において、算出した前記状態変化量の連続する画像間の差分を移動領域として算出する移動領域算出手段と、
算出された移動領域の重心を算出する重心算出手段と、
連続する画像フレーム群の間で前記重心位置を比較して重心の移動量を特徴量として算出する特徴量算出手段と、
予め撮像したサンプル画像から算出された前記特徴量を記憶するサンプル記憶部と、
前記カメラの撮像映像から算出した特徴量と前記サンプル特徴量とから映像内の物体の存在を判断する物体判断手段とを有し、
前記物体判断手段がアダブーストによるカスケード型の強識別器によって構成され、前記カメラの撮像映像から算出した特徴量が前記サンプル記憶部に記憶された特徴量と比較されて前記撮像映像における物体の存在が判断されることを特徴とする物体検出装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１３−１１４５８２（Ｐ２０１３−１１４５８２Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６２３７９（Ｐ２０１１−２６２３７９）
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００１００９０８）アイホン株式会社 (777)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（０００１００９０８）アイホン株式会社 (777)
【Ｆターム（参考）】
[ Back to top ]