距離画像カメラを用いた人体識別方法および人体識別装置
【課題】共連れを極力的確に検知できる距離画像カメラを用いた人体識別方法および人体識別装置を提供する。
【解決手段】
距離画像カメラで監視対象領域の距離画像を取得する撮像工程と、取得された距離画像から算出した各部の法線ベクトルの角度を画素値とする法線ベクトル画像を算出する法線ベクトル画像算出工程と、人体の少なくとも頭部が含まれるように撮像した距離画像から法線ベクトル画像をテンプレートとして準備するテンプレート準備工程と、画素値である距離情報に基づいて、各テンプレートのサイズを変倍するテンプレート変倍工程と、その各テンプレートと前記監視対象領域法線ベクトル画像との適合度が所定閾値以下であるか否かに基づいて、人体に対応する１つ以上の領域を推定する人体対応領域推定工程と、この人体対応領域推定工程で人体に対応すると推定された各領域の論理和に基づいて人体の数を判定する人数判定工程とを含む。
【解決手段】
距離画像カメラで監視対象領域の距離画像を取得する撮像工程と、取得された距離画像から算出した各部の法線ベクトルの角度を画素値とする法線ベクトル画像を算出する法線ベクトル画像算出工程と、人体の少なくとも頭部が含まれるように撮像した距離画像から法線ベクトル画像をテンプレートとして準備するテンプレート準備工程と、画素値である距離情報に基づいて、各テンプレートのサイズを変倍するテンプレート変倍工程と、その各テンプレートと前記監視対象領域法線ベクトル画像との適合度が所定閾値以下であるか否かに基づいて、人体に対応する１つ以上の領域を推定する人体対応領域推定工程と、この人体対応領域推定工程で人体に対応すると推定された各領域の論理和に基づいて人体の数を判定する人数判定工程とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、防犯用装置、カメラシステムおよび自動ドアセンサなどに好適な距離画像カメラを用いた人体識別方法および人体識別装置に関し、特に、いわゆる共連れを的確に検知する（anti-tailgating）ことを可能にした距離画像カメラを用いた人体識別方法および人体識別装置に関する。
【背景技術】
【０００２】
従来、画像内における人体などの物体を識別する技術として、例えば、デジタルデータに変換された２次元画像中の物体像を周囲の背景像との濃度差を利用して前記物体像の輪郭部の法線ベクトルを求め、この求めた法線ベクトルに基づいて物体像を識別する方法が提案されている（例えば、特許文献１参照）。
【０００３】
この物体像識別方法は、画像内の物体像を、背景像との濃度差を利用して識別する物体像識別方法であって、カメラにより映された画面内を複数のブロックに分割し、前記各ブロックにおいて背景像が映された画像上のブロック内での任意の１点を配置点としてその配置点を基準に当該ブロックに対応した標準物体像を前記画面内に配置した挿入画像とし、この挿入画像において標準物体像と背景像との濃度差より前記標準物体像の輪郭部における標準法線ベクトル群を求め、前記標準物体像の配置点からその標準物体像における前記標準法線ベクトル群の各法線ベクトルまでの位置情報および各法線ベクトルの角度情報からなる、関連付けられたベクトルデータを求め、前記ベクトルデータを前記標準物体像に対する標準データとして前記標準法線ベクトル群の個々の法線ベクトルが検出された位置でのブロックに記憶し、以上の標準物体像の配置から標準データの記憶を前記分割した全ブロックに対して実行し、次いで、前記カメラより認識すべき物体が映されている画面内の入力画像に対して物体像と背景像との濃度差より物体像の輪郭部における法線ベクトル群を求め、これら法線ベクトル群の個々の法線ベクトルが出現した位置での前記ブロックに記憶した前記標準データに基づいてこれら法線ベクトル群から前記各標準物体像の配置点に相当する正解点群を求め、前記正解点群により形成された焦点領域の評価を行うことを特徴とするものである。
【０００４】
このような技術において用いている２次元画像は、対象空間の明暗を反映した濃淡画像であって、外光の光量変化の影響を受けやすいため、光量にほとんど変化の生じない環境でしか使用できないという問題がある。
【０００５】
そこで、対象空間に光量変化を生じる場合であっても対象物の位置を再現性よく求めることができる画像処理装置も提案されている（例えば、特許文献２参照）。
【０００６】
この画像処理装置は、対象空間に光を照射する発光源と、対象空間を撮像する光検出素子と、発光源から対象空間に照射され対象空間内の対象物で反射された反射光に対応する光検出素子の出力により対象物までの距離を求め画素値が距離値である距離画像を生成する画像生成部と、対象空間に設定した基準平面に対する各画素の勾配方向を表す勾配方向値を距離画像の距離値から求め勾配方向値を画素値とした勾配方向画像を生成する微分処理部と、テンプレートとする対象物の距離画像から生成した勾配方向画像をテンプレート画像としテンプレート画像に設定した基準点とテンプレート画像に含まれる各画素との距離および基準点と当該画素とを結ぶ方向がテンプレート画像の基準方向に対してなす角度および当該画素の勾配方向値とを対応付けて記憶するテンプレート記憶部と、検出する対象物を含む距離画像から生成した勾配方向画像を検出対象画像とし検出対象画像の各画素について勾配方向値をテンプレート記憶部に照合して求めた距離および角度を当該画素の座標位置に適用することにより検出対象画像においてテンプレート画像における基準点に対応した座標位置の候補を算出する基準点候補算出部と、各画素について基準点候補算出部で求めた座標位置の候補の度数分布を求める統計処理部と、統計処理部で求めた度数分布において度数が極大になる座標位置のうち規定の条件を満たす座標位置をテンプレート画像における基準点に対応する座標位置と判断する判定処理部とを備えることを特徴とするものである。
【０００７】
また、これに類似する技術として、距離画像から得た勾配方向値を画素値とする勾配方向画像を生成する代わりに、距離画像から距離微分値を画素値とする距離微分画像を生成するようにして対象物を検出するようにした画像処理装置も提案されている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３３９０４２６号公報
【特許文献２】特開２００６−１４５３５２号公報
【特許文献３】特開２００６−０５３７９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述したような従来技術では、いわゆる共連れを必ずしも的確には検知できず、例えば、大きい人間や荷物を持った人間を２人として誤検出してしまうことや，子供のような小さい人間２人を１人として失報してしまうことなどの問題があった。
【００１０】
従来技術のこのような課題に鑑み、本発明の目的は、共連れを極力的確に検知できるようにして、例えば、荷物を持っていても１人であればそのまま通過を認めるとともに、２人が極めて接近した状態で通過しようとするのを認識して阻止することも可能にした、距離画像カメラを用いた人体識別方法および人体識別装置を提供することである。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の距離画像カメラを用いた人体識別方法は、距離画像カメラを用いた人体識別方法であって、監視対象領域の上方または周囲に設置された前記距離画像カメラで前記監視対象領域の距離画像である監視対象領域距離画像を取得する監視対象領域撮像工程と、この監視対象領域撮像工程で取得された前記監視対象領域距離画像から各部の法線ベクトルを算出し、その法線ベクトルの方向を画素値とする法線ベクトル画像である監視対象領域法線ベクトル画像を算出する法線ベクトル画像算出工程と、人体の少なくとも頭部が含まれるように撮像した１つ以上の距離画像または３次元人体モデルの少なくとも頭部が含まれるような状況に基づく演算によって得られた１つ以上の距離画像それぞれから各部の法線ベクトルを算出し、その法線ベクトルの方向を画素値とする法線ベクトル画像である人体法線ベクトル画像をそれぞれテンプレートとして準備するテンプレート準備工程と、前記監視対象領域距離画像の画素値である距離情報に基づいて、前記テンプレート準備工程で準備された各テンプレートのサイズを前記監視対象領域法線ベクトル画像に対して相対的に変倍するテンプレート変倍工程と、前記テンプレート変倍工程で変倍された各テンプレートと前記監視対象領域法線ベクトル画像との適合度と所定閾値との比較結果に基づいて、前記監視対象領域法線ベクトル画像において人体に対応する１つ以上の領域を推定する人体対応領域推定工程と、この人体対応領域推定工程で人体に対応すると推定された各領域の論理和に基づいて人体の数を判定する人数判定工程とを含むことを特徴とする。
【００１２】
このような構成の距離画像カメラを用いた人体識別方法によれば、共連れを極力的確に検知できるようになるから、例えば、荷物を持っていても１人であればそのまま通過を認めるとともに２人が極めて接近した状態で通過しようとするのを認識して阻止することなども可能となり、人体識別の信頼性を高めることができる。
【００１３】
また、本発明の距離画像カメラを用いた人体識別方法において、前記監視対象領域距離画像の画素値である距離情報および画素の位置情報に基づいて、前記テンプレート準備工程で準備された各テンプレートの形状を変形させるテンプレート変形工程をさらに含むようにしてもよい。さらに、前記監視対象領域距離画像の画素値である距離情報に基づいて、前記人体対応領域推定工程で用いられる前記所定閾値を変化させてもよい。
【００１４】
このような構成の距離画像カメラを用いた人体識別方法によれば、距離画像カメラまでの距離や画像内の位置によって検知すべき人体などの像の大きさや形状が変わったとしても、その影響を受けて人体を的確に検知できなくなるような事態を極力回避できる。これにより、人体識別の信頼性をより高めることができる。
【００１５】
また、本発明の距離画像カメラを用いた人体識別方法において、前記テンプレート準備工程でテンプレートを準備する際の人体の撮像では、少なくとも頭部および肩部が含まれるようにしてもよい。
【００１６】
このような構成の距離画像カメラを用いた人体識別方法によれば、専ら人体の頭部だけを用いる場合と比較してより正確な人体検知が可能となる。これにより、人体識別の信頼性を一層高めることができる。
【００１７】
また、本発明の距離画像カメラを用いた人体識別方法において、外部入力された前記距離画像カメラの設置高さ情報に基づいて前記人体対応領域推定工程で適用するテンプレートを決定するようにしてもよい。あるいは、前記監視対象領域撮像工程で取得された前記監視対象領域距離画像から床面または地面に相当する平面を認識するとともに前記距離画像カメラの設置高さを算出し、これらの情報に基づいて前記人体対応領域推定工程で適用するテンプレートを決定するようにしてもよい。
【００１８】
このような構成の距離画像カメラを用いた人体識別方法によれば、前記距離画像カメラの設置高さ情報と前記監視対象領域距離画像の画素値である距離情報とに基づいて、人体の身長を把握することが可能となり、より適切なテンプレート選択が可能となる。これにより、人体識別の信頼性がさらに向上する。
【００１９】
あるいは、上記目的を達成するため、本発明の人体識別装置は、画素値に距離情報を取得して距離画像を生成可能な撮像素子と、この距離画像における画像処理を行う画像処理ユニットとを備え、前記画像処理ユニットにおける前記画像処理で、上述したいずれかの距離画像カメラを用いた人体識別方法が実行されることを特徴とする。
【００２０】
このような構成の人体識別装置によれば、共連れを極力的確に検知できるようになるから、例えば、荷物を持っていても１人であればそのまま通過を認めるとともに２人が極めて接近した状態で通過しようとするのを認識して阻止することなども可能となり、人体識別の信頼性を高めることができる。
【発明の効果】
【００２１】
本発明の距離画像カメラを用いた人体識別方法および人体識別装置によれば、共連れを極力的確に検知できるようになるから、例えば、荷物を持っていても１人であればそのまま通過を認めるとともに２人が極めて接近した状態で通過しようとするのを認識して阻止することなども可能となり、人体識別の信頼性を高めることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。
【図２】図２（ａ）は２名の人物Ｈ１、Ｈ２がいわゆる共連れとなっている場合の説明図であり、図２（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。
【図３】図３（ａ）は２名の人物Ｈ１、Ｈ３のうちで人物Ｈ３の身長の方が低い場合の説明図であり、図３（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。
【図４】図４（ａ）は２名の人物Ｈ１、Ｈ２が図２（ａ）とは異なってやや離れている場合の説明図であり、図４（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。
【図５】図５（ａ）は１名の長身の人物Ｈ４だけがいる場合の説明図であり、図５（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。
【図６】図６（ａ）はテンプレートマッチングに用いるための法線ベクトル画像算出の説明図であり、図６（ｂ）は図６（ａ）の場合の距離画像中の人物ｈなどに対応するものを実際の空間で示した模式図である。
【図７】法線ベクトル画像算出方法の具体例の概略説明図である。
【図８】法線ベクトル画像算出方法の別の具体例の概略説明図である。
【図９】法線ベクトル画像算出方法のさらに別の具体例の概略説明図である。
【図１０】図１０（ａ）は距離画像カメラ１０の設置位置の高さＨの説明図であり、図１０（ｂ）は距離画像カメラ１０で撮像された画像と床面の対応の説明図である。
【図１１】テンプレートのマッチングの説明図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態を、図面を参照して説明する。
【００２４】
＜ 距離画像カメラ１０の概略構成など ＞
図１は、本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。なお、この距離画像カメラ１０は、監視対象領域を通過する人体の数を正確にカウントする人体識別装置としても機能する。
【００２５】
この図１に示すように、距離画像カメラ１０は、対象空間へ投射した光が反射されて戻ってくるまでの時間に基づいて画素値に距離データを取得して距離画像を生成することが可能なイメージセンサ１１（例えば、ＴＯＦセンサなど）と、距離画像に基づいて人体を識別する（詳細は後述）画像処理ユニット１２と、距離画像カメラ１０全体の制御などを行う制御ユニット１３（例えば、ＣＰＵ）を備えている。
【００２６】
イメージセンサ１１は、より具体的には、正方格子状に配置された画素毎に距離情報を取得する。ここで、水平方向をＸ、垂直方向をＹとすると、被写体を含む撮像画角内を２次元配列上（Ｘ，Ｙ）に、距離画像カメラ１０の位置若しくは任意に設定された原点を基準とする３次元データＰXY＝（ｘXY，ｙXY、ｚXY）として格納する。
【００２７】
この距離画像カメラ１０は、例えば、機密情報などを扱う室内や区域への出入口や自動ドアの前などの監視対象領域の上方に設置されるとともに、そこからほぼ真下に向けてこの監視対象領域を撮像して距離画像を取得する。
【００２８】
＜様々な状況において撮像される画像の例＞
図２（ａ）は２名の人物Ｈ１、Ｈ２がいわゆる共連れとなっている場合の説明図であり、図２（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。
【００２９】
図２（ａ）に示すように、距離画像カメラ１０の真正面方向を挟むようにして２名の人物Ｈ１、Ｈ２が狭い間隔で立っている。距離画像カメラ１０で撮像される画像としては、例えば、図２（ｂ）に示すように、中心よりやや上寄りに人物Ｈ１に対応する人体像ｈ１が存在し、中心よりやや下寄りには人物Ｈ２に対応する人体像ｈ２が存在すると考えられる。このとき、人体像ｈ１および人体像ｈ２の大きさはほぼ同じであり、それぞれに対応する距離画像カメラ１０からの奥行き方向の距離もほぼ同じである。
【００３０】
図３（ａ）は２名の人物Ｈ１、Ｈ３のうちで人物Ｈ３の身長の方が低い場合の説明図であり、図３（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。
【００３１】
図３（ａ）に示すように、距離画像カメラ１０の真正面方向を挟むようにして２名の人物Ｈ１、Ｈ３が狭い間隔で立っている。これらの人物Ｈ１、Ｈ３が立っている位置は、図２（ａ）で人物Ｈ１、Ｈ２が立っている位置とそれぞれほぼ同じである。しかし、人物Ｈ３の身長が低いため、距離画像カメラ１０で撮像される画像としては、例えば、図３（ｂ）に示すように、中心よりやや上寄りに人物Ｈ１に対応する人体像ｈ１が存在するのは図２（ｂ）と同様であるが、中心よりやや下寄りには人物Ｈ３に対応する人体像ｈ３が存在するもののその大きさは図２（ｂ）の人体像ｈ２よりは小さくなるはずである。人体像ｈ３に対応する距離画像カメラ１０からの奥行き方向の距離は、人体像ｈ１に対応する距離画像カメラ１０からの奥行き方向の距離よりも長く（遠く）なる。
【００３２】
図４（ａ）は２名の人物Ｈ１、Ｈ２が図２（ａ）とは異なってやや離れている場合の説明図であり、図４（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。
【００３３】
図４（ａ）に示すように、距離画像カメラ１０の真正面方向を挟むようにして２名の人物Ｈ１、Ｈ２が図２（ａ）よりは広い間隔で立っている。距離画像カメラ１０で撮像される画像としては、例えば、図４（ｂ）に示すように、中心よりかなり上寄りに人物Ｈ１に対応する人体像ｈ１が存在し、中心よりかなり下寄りには人物Ｈ２に対応する人体像ｈ２が存在すると考えられる。このとき、人体像ｈ１および人体像ｈ２の大きさはほぼ同じであり、それぞれに対応する距離画像カメラ１０からの奥行き方向の距離もほぼ同じである。
【００３４】
図５（ａ）は１名の長身の人物Ｈ４だけがいる場合の説明図であり、図５（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。
【００３５】
図５（ａ）に示すように、距離画像カメラ１０の真正面方向（ほぼ真下）に１名の長身の人物Ｈ４が立っている場合、この人物Ｈ４と距離画像カメラ１０との距離がかなり短くなる。そのため、距離画像カメラ１０で撮像される画像としては、例えば、図５（ｂ）に示すように、人物Ｈ４に対応する人体像ｈ４のみが存在するが、図２（ｂ）の人体像ｈ１よりも全体として大きく、特にその頭部は大きさが顕著になるとともに歪みなども併せて存在することになる。
【００３６】
＜距離画像からの法線ベクトル画像の算出＞
図６（ａ）はテンプレートマッチングに用いるための法線ベクトル画像算出の説明図であり、図６（ｂ）は図６（ａ）の場合の距離画像中の人物ｈなどに対応するものを実際の空間で示した模式図である。
【００３７】
図６（ａ）に示すように、例えば、距離画像カメラ１０で撮像された画像中に人体像ｈが存在する場合、距離画像の各画素の距離データに基づいて各部の法線ベクトルを求めるとともに、その方向および大きさを算出する。この画像中の人体像ｈと法線ベクトルを求めるための３画素からなる三角形ｔとに実際の空間でそれぞれ対応する人物Ｈと三角形Ｔとを模式的に示すと、図６（ｂ）のようになる。
【００３８】
図７は、法線ベクトル画像算出方法の具体例の概略説明図である。
【００３９】
図７に示すように、例えば、距離画像中の画素Ｇ１に着目したとき、この画素Ｇ１を囲む小三角形Ｔ１の頂点に対応する３画素の各距離データを用いて、この小三角形Ｔ１を含む平面の方程式を算出する。その平面の法線ベクトルの大きさを正規化した後、画素Ｇ１に対応する法線ベクトル画像データ（３次元）として格納する。
【００４０】
次に、距離画像中で画素Ｇ１の右隣の画素Ｇ２に着目し、この画素Ｇ２を囲む小三角形Ｔ２（小三角形Ｔ１とは上下逆形状）の頂点に対応する３画素の各距離データを用いて、この小三角形Ｔ２を含む平面の方程式を算出する。その平面の法線ベクトルの大きさを正規化した後、画素Ｇ２に対応する法線ベクトル画像データとして格納する。
【００４１】
さらに、距離画像中で画素Ｇ２の右隣の画素Ｇ３に着目してから同様の処理を行い、その後も残りの画素について同様の処理を繰り返す。
【００４２】
図８は、法線ベクトル画像算出方法の別の具体例の概略説明図である。
【００４３】
図８に示すように、例えば、距離画像中の画素Ｇ１に着目したとき、この画素Ｇ１を囲む大三角形Ｔ１ａの頂点に対応する３画素の各距離データを用いて平面の方程式を算出するようにしてもよい。ここで、この大三角形Ｔ１ａの面積は、図７の小三角形Ｔ１の面積の４倍である。
【００４４】
このように、法線ベクトルを求める際に、着目した画素を囲む三角形の大きさを変えることで、後述する人体識別方法での画像の拡大・縮小の工程を省略することができる。
【００４５】
図９は、法線ベクトル画像算出方法のさらに別の具体例の概略説明図である。
【００４６】
図９に示すように、例えば、距離画像中の画素Ｇ１に着目したとき、この画素Ｇ１を囲む大三角形Ｔ１ａの頂点に対応する３画素の各距離データを用いて平面の方程式を算出してから、その平面の法線ベクトルを求める。さらに、同じく画素Ｇ１を囲みつつ大三角形Ｔ１ａとは上下逆形状の大三角形Ｔ１ｂの頂点に対応する３画素の各距離データを用いて平面の方程式を算出してから、その平面の法線ベクトルも求める。
【００４７】
これら２つの法線ベクトルの違いが少なければ（例えば、これらの法線ベクトルの内積が所定閾値以上か否かで判別可）、画像中でも信頼性が高いものであるから、そのような画素に対応する部分のみを後述する人体識別方法でのマッチングに用いるようにしてもよい。
【００４８】
このような法線ベクトルを求める際、従来技術ではアークタンジェント関数が用いられていた（例えば、特許文献２の明細書の段落００６２の数式を参照）。この関数の演算はかなり複雑であるため、距離画像カメラ１０に内蔵される制御ユニット１３に実装するにはやや難があった。これに対して、上述したようにイメージセンサ１１で取得される３次元データを使用することにより、三角形を構成する２本のベクトルの外積を計算するといった簡便な演算によって法線ベクトルを求めることができるようになる。また、人体などの実際の形状に則した法線ベクトルを求めることができるので、従来技術では必要とされていた非線形性に対する修正（例えば、特許文献２の明細書の段落００６３を参照）なども不要である。
【００４９】
＜人体識別方法＞
本実施形態では以下のようにして人体を正確に識別して人数をカウントするが、それに先立って様々な人体の頭部を撮像した距離画像から算出された法線ベクトル画像をテンプレートとして事前に準備しておく必要がある。ただし、テンプレートは実際に人体の頭部を撮像した距離画像に限るものではない。例えば、三次元ＣＡＤなどを用いてモデリングした３次元の人体モデルなどを使用し、その頭部が含まれるような状況に基づく演算によって得られた距離画像からテンプレートを準備してもかまわない。
【００５０】
（１）距離画像カメラ１０による撮像
監視対象領域の上方に設置されている距離画像カメラ１０によって、ほぼ真下に向けてこの監視対象領域を撮像して距離画像を取得する。
【００５１】
（２）監視対象領域の距離画像から法線ベクトル画像を算出
上記（１）で取得した距離画像から、上述した方法によって法線ベクトル画像を算出する。
【００５２】
（３）テンプレートの相対的変倍など
まず、上記（１）で取得した距離画像中に何らかの物体が捉えられていれば、その物体に対応する画素の距離データに基づいて、事前に準備されている各テンプレートの変倍処理を行うが、これは次の理由による。
【００５３】
図２（ａ）〜図５（ｂ）を参照して上述したように、人体の頭部と距離画像カメラ１０との間の距離によって、画像中の頭部の大きさも変わる。そのような場合に、事前に準備されたそのままのテンプレートとマッチングを行っても、十分に適合しない結果になり得るからである。
【００５４】
テンプレートを変倍する代わりに画像側のサイズ変更を行ってもよいし、テンプレートの変倍と画像側サイズ変更を併用してもよい。すなわち、画像側サイズに対するテンプレートのサイズを相対的に変倍させればよい。
【００５５】
距離画像中に複数の物体が捉えられている場合は、それぞれの物体に対応する画素の距離データに基づいて、複数通りのテンプレートの変倍処理を行うことになる。
【００５６】
さらに、図５（ａ）および図５（ｂ）を参照して上述したように、人体の頭部までの距離が近い場合には頭部の像の形状に歪みが生じることを考慮し、テンプレートの形状も対応して変形させてもよい。また、画像の中央部と周辺部では像の形状の歪みの程度も異なることから、画像中における位置によってテンプレートの形状の変形の程度を変えるようにしてもよい。
【００５７】
なお、図１０（ａ）に示すような距離画像カメラ１０の設置高さＨについては、例えば、距離画像カメラ１０の設置時などに外部操作で入力・設定できるようにしておいてもよい。距離画像カメラ１０は監視対象領域の上方に設置され、ほぼ真下に向けられているので、距離画像中で捉えられた人体に対応する画素の距離データの最小値と設置高さＨとの差がその人物の身長にほぼ相当することになる。これらの情報に基づいて、上述したテンプレートのうちのいずれを適用するかを決定するようにしてもよいし、そのテンプレートの大きさや形状を変化させる範囲を決定してもよい。
【００５８】
また、図１０（ｂ）に示すように、距離画像カメラ１０で撮像された画像において、例えば周辺部の適当な３点Ｐ１、Ｐ２、Ｐ３に対応する画素の距離データに基づいてこれらの３点で定まる平面を床面であると推定すれば、距離画像カメラ１０の設置高さＨを算出することもできる。この場合にも、これらの情報に基づいて、上述したテンプレートのうちのいずれを適用するかを決定するようにしてもよいし、そのテンプレートの大きさや形状を変化させる範囲を決定してもよい。
【００５９】
（４）テンプレートのマッチング
図１１に示すように、上記（３）で変倍された各テンプレートと上記（２）で算出した法線ベクトル画像とのマッチングを行う。これらの適合度を把握するため、例えば、テンプレートと法線ベクトル画像とのベクトルの角度差が所定閾値以下である領域を法線ベクトル画像中で見つけ、その領域が人体の頭部に対応しているものと推定する。さらに、必要に応じてこの処理を繰り返す。
【００６０】
なお、角度差の算出には各ベクトルの正規化する前の大きさを重みとして使用してもよい。ベクトルの大きさを重みとして使用することにより，髪型や服のしわといった，被写体の検出したい本質とは異なる情報を除去することができる。また、所定閾値については、近距離になるほど大きめの値としてもよい。これは、近距離では頭部の像が歪む場合があったり、人物の髪型や姿勢などの影響も受けやすくなったりして、それにより差分が大きくなり得るから、そのことも考慮してマッチングを行えるようにするためである。
【００６１】
（５）人体の数の判定
上記（４）で人体の頭部に対応しているものと推定された領域が複数存在すれば、それらの論理和を取った後に存在している領域数をかぞえる。この領域数が人体の数ということになる。
【００６２】
＜変形例など＞
テンプレートとして準備するのは人体の頭部だけに限る必要はない。例えば、頭部だけでなく肩部も加えてテンプレートを準備した上で、監視対象領域の法線ベクトル画像とのマッチングを行うようにすれば、人体識別の精度をより向上させることができる。
【００６３】
また、検知対象は人体に限られない。検知対象に会わせて適切なテンプレートを準備すれば、他の目的や用途にも適用可能である。
【００６４】
なお、本発明は、その主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【符号の説明】
【００６５】
１０ 距離画像カメラ
１１ イメージセンサ
１２ 画像処理ユニット
１３ 制御ユニット
Ｈ，Ｈ１、Ｈ２、Ｈ３、Ｈ４ 人体
ｈ、ｈ１、ｈ２、ｈ３、ｈ４ 人体像
【技術分野】
【０００１】
本発明は、防犯用装置、カメラシステムおよび自動ドアセンサなどに好適な距離画像カメラを用いた人体識別方法および人体識別装置に関し、特に、いわゆる共連れを的確に検知する（anti-tailgating）ことを可能にした距離画像カメラを用いた人体識別方法および人体識別装置に関する。
【背景技術】
【０００２】
従来、画像内における人体などの物体を識別する技術として、例えば、デジタルデータに変換された２次元画像中の物体像を周囲の背景像との濃度差を利用して前記物体像の輪郭部の法線ベクトルを求め、この求めた法線ベクトルに基づいて物体像を識別する方法が提案されている（例えば、特許文献１参照）。
【０００３】
この物体像識別方法は、画像内の物体像を、背景像との濃度差を利用して識別する物体像識別方法であって、カメラにより映された画面内を複数のブロックに分割し、前記各ブロックにおいて背景像が映された画像上のブロック内での任意の１点を配置点としてその配置点を基準に当該ブロックに対応した標準物体像を前記画面内に配置した挿入画像とし、この挿入画像において標準物体像と背景像との濃度差より前記標準物体像の輪郭部における標準法線ベクトル群を求め、前記標準物体像の配置点からその標準物体像における前記標準法線ベクトル群の各法線ベクトルまでの位置情報および各法線ベクトルの角度情報からなる、関連付けられたベクトルデータを求め、前記ベクトルデータを前記標準物体像に対する標準データとして前記標準法線ベクトル群の個々の法線ベクトルが検出された位置でのブロックに記憶し、以上の標準物体像の配置から標準データの記憶を前記分割した全ブロックに対して実行し、次いで、前記カメラより認識すべき物体が映されている画面内の入力画像に対して物体像と背景像との濃度差より物体像の輪郭部における法線ベクトル群を求め、これら法線ベクトル群の個々の法線ベクトルが出現した位置での前記ブロックに記憶した前記標準データに基づいてこれら法線ベクトル群から前記各標準物体像の配置点に相当する正解点群を求め、前記正解点群により形成された焦点領域の評価を行うことを特徴とするものである。
【０００４】
このような技術において用いている２次元画像は、対象空間の明暗を反映した濃淡画像であって、外光の光量変化の影響を受けやすいため、光量にほとんど変化の生じない環境でしか使用できないという問題がある。
【０００５】
そこで、対象空間に光量変化を生じる場合であっても対象物の位置を再現性よく求めることができる画像処理装置も提案されている（例えば、特許文献２参照）。
【０００６】
この画像処理装置は、対象空間に光を照射する発光源と、対象空間を撮像する光検出素子と、発光源から対象空間に照射され対象空間内の対象物で反射された反射光に対応する光検出素子の出力により対象物までの距離を求め画素値が距離値である距離画像を生成する画像生成部と、対象空間に設定した基準平面に対する各画素の勾配方向を表す勾配方向値を距離画像の距離値から求め勾配方向値を画素値とした勾配方向画像を生成する微分処理部と、テンプレートとする対象物の距離画像から生成した勾配方向画像をテンプレート画像としテンプレート画像に設定した基準点とテンプレート画像に含まれる各画素との距離および基準点と当該画素とを結ぶ方向がテンプレート画像の基準方向に対してなす角度および当該画素の勾配方向値とを対応付けて記憶するテンプレート記憶部と、検出する対象物を含む距離画像から生成した勾配方向画像を検出対象画像とし検出対象画像の各画素について勾配方向値をテンプレート記憶部に照合して求めた距離および角度を当該画素の座標位置に適用することにより検出対象画像においてテンプレート画像における基準点に対応した座標位置の候補を算出する基準点候補算出部と、各画素について基準点候補算出部で求めた座標位置の候補の度数分布を求める統計処理部と、統計処理部で求めた度数分布において度数が極大になる座標位置のうち規定の条件を満たす座標位置をテンプレート画像における基準点に対応する座標位置と判断する判定処理部とを備えることを特徴とするものである。
【０００７】
また、これに類似する技術として、距離画像から得た勾配方向値を画素値とする勾配方向画像を生成する代わりに、距離画像から距離微分値を画素値とする距離微分画像を生成するようにして対象物を検出するようにした画像処理装置も提案されている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３３９０４２６号公報
【特許文献２】特開２００６−１４５３５２号公報
【特許文献３】特開２００６−０５３７９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述したような従来技術では、いわゆる共連れを必ずしも的確には検知できず、例えば、大きい人間や荷物を持った人間を２人として誤検出してしまうことや，子供のような小さい人間２人を１人として失報してしまうことなどの問題があった。
【００１０】
従来技術のこのような課題に鑑み、本発明の目的は、共連れを極力的確に検知できるようにして、例えば、荷物を持っていても１人であればそのまま通過を認めるとともに、２人が極めて接近した状態で通過しようとするのを認識して阻止することも可能にした、距離画像カメラを用いた人体識別方法および人体識別装置を提供することである。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の距離画像カメラを用いた人体識別方法は、距離画像カメラを用いた人体識別方法であって、監視対象領域の上方または周囲に設置された前記距離画像カメラで前記監視対象領域の距離画像である監視対象領域距離画像を取得する監視対象領域撮像工程と、この監視対象領域撮像工程で取得された前記監視対象領域距離画像から各部の法線ベクトルを算出し、その法線ベクトルの方向を画素値とする法線ベクトル画像である監視対象領域法線ベクトル画像を算出する法線ベクトル画像算出工程と、人体の少なくとも頭部が含まれるように撮像した１つ以上の距離画像または３次元人体モデルの少なくとも頭部が含まれるような状況に基づく演算によって得られた１つ以上の距離画像それぞれから各部の法線ベクトルを算出し、その法線ベクトルの方向を画素値とする法線ベクトル画像である人体法線ベクトル画像をそれぞれテンプレートとして準備するテンプレート準備工程と、前記監視対象領域距離画像の画素値である距離情報に基づいて、前記テンプレート準備工程で準備された各テンプレートのサイズを前記監視対象領域法線ベクトル画像に対して相対的に変倍するテンプレート変倍工程と、前記テンプレート変倍工程で変倍された各テンプレートと前記監視対象領域法線ベクトル画像との適合度と所定閾値との比較結果に基づいて、前記監視対象領域法線ベクトル画像において人体に対応する１つ以上の領域を推定する人体対応領域推定工程と、この人体対応領域推定工程で人体に対応すると推定された各領域の論理和に基づいて人体の数を判定する人数判定工程とを含むことを特徴とする。
【００１２】
このような構成の距離画像カメラを用いた人体識別方法によれば、共連れを極力的確に検知できるようになるから、例えば、荷物を持っていても１人であればそのまま通過を認めるとともに２人が極めて接近した状態で通過しようとするのを認識して阻止することなども可能となり、人体識別の信頼性を高めることができる。
【００１３】
また、本発明の距離画像カメラを用いた人体識別方法において、前記監視対象領域距離画像の画素値である距離情報および画素の位置情報に基づいて、前記テンプレート準備工程で準備された各テンプレートの形状を変形させるテンプレート変形工程をさらに含むようにしてもよい。さらに、前記監視対象領域距離画像の画素値である距離情報に基づいて、前記人体対応領域推定工程で用いられる前記所定閾値を変化させてもよい。
【００１４】
このような構成の距離画像カメラを用いた人体識別方法によれば、距離画像カメラまでの距離や画像内の位置によって検知すべき人体などの像の大きさや形状が変わったとしても、その影響を受けて人体を的確に検知できなくなるような事態を極力回避できる。これにより、人体識別の信頼性をより高めることができる。
【００１５】
また、本発明の距離画像カメラを用いた人体識別方法において、前記テンプレート準備工程でテンプレートを準備する際の人体の撮像では、少なくとも頭部および肩部が含まれるようにしてもよい。
【００１６】
このような構成の距離画像カメラを用いた人体識別方法によれば、専ら人体の頭部だけを用いる場合と比較してより正確な人体検知が可能となる。これにより、人体識別の信頼性を一層高めることができる。
【００１７】
また、本発明の距離画像カメラを用いた人体識別方法において、外部入力された前記距離画像カメラの設置高さ情報に基づいて前記人体対応領域推定工程で適用するテンプレートを決定するようにしてもよい。あるいは、前記監視対象領域撮像工程で取得された前記監視対象領域距離画像から床面または地面に相当する平面を認識するとともに前記距離画像カメラの設置高さを算出し、これらの情報に基づいて前記人体対応領域推定工程で適用するテンプレートを決定するようにしてもよい。
【００１８】
このような構成の距離画像カメラを用いた人体識別方法によれば、前記距離画像カメラの設置高さ情報と前記監視対象領域距離画像の画素値である距離情報とに基づいて、人体の身長を把握することが可能となり、より適切なテンプレート選択が可能となる。これにより、人体識別の信頼性がさらに向上する。
【００１９】
あるいは、上記目的を達成するため、本発明の人体識別装置は、画素値に距離情報を取得して距離画像を生成可能な撮像素子と、この距離画像における画像処理を行う画像処理ユニットとを備え、前記画像処理ユニットにおける前記画像処理で、上述したいずれかの距離画像カメラを用いた人体識別方法が実行されることを特徴とする。
【００２０】
このような構成の人体識別装置によれば、共連れを極力的確に検知できるようになるから、例えば、荷物を持っていても１人であればそのまま通過を認めるとともに２人が極めて接近した状態で通過しようとするのを認識して阻止することなども可能となり、人体識別の信頼性を高めることができる。
【発明の効果】
【００２１】
本発明の距離画像カメラを用いた人体識別方法および人体識別装置によれば、共連れを極力的確に検知できるようになるから、例えば、荷物を持っていても１人であればそのまま通過を認めるとともに２人が極めて接近した状態で通過しようとするのを認識して阻止することなども可能となり、人体識別の信頼性を高めることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。
【図２】図２（ａ）は２名の人物Ｈ１、Ｈ２がいわゆる共連れとなっている場合の説明図であり、図２（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。
【図３】図３（ａ）は２名の人物Ｈ１、Ｈ３のうちで人物Ｈ３の身長の方が低い場合の説明図であり、図３（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。
【図４】図４（ａ）は２名の人物Ｈ１、Ｈ２が図２（ａ）とは異なってやや離れている場合の説明図であり、図４（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。
【図５】図５（ａ）は１名の長身の人物Ｈ４だけがいる場合の説明図であり、図５（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。
【図６】図６（ａ）はテンプレートマッチングに用いるための法線ベクトル画像算出の説明図であり、図６（ｂ）は図６（ａ）の場合の距離画像中の人物ｈなどに対応するものを実際の空間で示した模式図である。
【図７】法線ベクトル画像算出方法の具体例の概略説明図である。
【図８】法線ベクトル画像算出方法の別の具体例の概略説明図である。
【図９】法線ベクトル画像算出方法のさらに別の具体例の概略説明図である。
【図１０】図１０（ａ）は距離画像カメラ１０の設置位置の高さＨの説明図であり、図１０（ｂ）は距離画像カメラ１０で撮像された画像と床面の対応の説明図である。
【図１１】テンプレートのマッチングの説明図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態を、図面を参照して説明する。
【００２４】
＜ 距離画像カメラ１０の概略構成など ＞
図１は、本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。なお、この距離画像カメラ１０は、監視対象領域を通過する人体の数を正確にカウントする人体識別装置としても機能する。
【００２５】
この図１に示すように、距離画像カメラ１０は、対象空間へ投射した光が反射されて戻ってくるまでの時間に基づいて画素値に距離データを取得して距離画像を生成することが可能なイメージセンサ１１（例えば、ＴＯＦセンサなど）と、距離画像に基づいて人体を識別する（詳細は後述）画像処理ユニット１２と、距離画像カメラ１０全体の制御などを行う制御ユニット１３（例えば、ＣＰＵ）を備えている。
【００２６】
イメージセンサ１１は、より具体的には、正方格子状に配置された画素毎に距離情報を取得する。ここで、水平方向をＸ、垂直方向をＹとすると、被写体を含む撮像画角内を２次元配列上（Ｘ，Ｙ）に、距離画像カメラ１０の位置若しくは任意に設定された原点を基準とする３次元データＰXY＝（ｘXY，ｙXY、ｚXY）として格納する。
【００２７】
この距離画像カメラ１０は、例えば、機密情報などを扱う室内や区域への出入口や自動ドアの前などの監視対象領域の上方に設置されるとともに、そこからほぼ真下に向けてこの監視対象領域を撮像して距離画像を取得する。
【００２８】
＜様々な状況において撮像される画像の例＞
図２（ａ）は２名の人物Ｈ１、Ｈ２がいわゆる共連れとなっている場合の説明図であり、図２（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。
【００２９】
図２（ａ）に示すように、距離画像カメラ１０の真正面方向を挟むようにして２名の人物Ｈ１、Ｈ２が狭い間隔で立っている。距離画像カメラ１０で撮像される画像としては、例えば、図２（ｂ）に示すように、中心よりやや上寄りに人物Ｈ１に対応する人体像ｈ１が存在し、中心よりやや下寄りには人物Ｈ２に対応する人体像ｈ２が存在すると考えられる。このとき、人体像ｈ１および人体像ｈ２の大きさはほぼ同じであり、それぞれに対応する距離画像カメラ１０からの奥行き方向の距離もほぼ同じである。
【００３０】
図３（ａ）は２名の人物Ｈ１、Ｈ３のうちで人物Ｈ３の身長の方が低い場合の説明図であり、図３（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。
【００３１】
図３（ａ）に示すように、距離画像カメラ１０の真正面方向を挟むようにして２名の人物Ｈ１、Ｈ３が狭い間隔で立っている。これらの人物Ｈ１、Ｈ３が立っている位置は、図２（ａ）で人物Ｈ１、Ｈ２が立っている位置とそれぞれほぼ同じである。しかし、人物Ｈ３の身長が低いため、距離画像カメラ１０で撮像される画像としては、例えば、図３（ｂ）に示すように、中心よりやや上寄りに人物Ｈ１に対応する人体像ｈ１が存在するのは図２（ｂ）と同様であるが、中心よりやや下寄りには人物Ｈ３に対応する人体像ｈ３が存在するもののその大きさは図２（ｂ）の人体像ｈ２よりは小さくなるはずである。人体像ｈ３に対応する距離画像カメラ１０からの奥行き方向の距離は、人体像ｈ１に対応する距離画像カメラ１０からの奥行き方向の距離よりも長く（遠く）なる。
【００３２】
図４（ａ）は２名の人物Ｈ１、Ｈ２が図２（ａ）とは異なってやや離れている場合の説明図であり、図４（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。
【００３３】
図４（ａ）に示すように、距離画像カメラ１０の真正面方向を挟むようにして２名の人物Ｈ１、Ｈ２が図２（ａ）よりは広い間隔で立っている。距離画像カメラ１０で撮像される画像としては、例えば、図４（ｂ）に示すように、中心よりかなり上寄りに人物Ｈ１に対応する人体像ｈ１が存在し、中心よりかなり下寄りには人物Ｈ２に対応する人体像ｈ２が存在すると考えられる。このとき、人体像ｈ１および人体像ｈ２の大きさはほぼ同じであり、それぞれに対応する距離画像カメラ１０からの奥行き方向の距離もほぼ同じである。
【００３４】
図５（ａ）は１名の長身の人物Ｈ４だけがいる場合の説明図であり、図５（ｂ）はそのときに距離画像カメラ１０で撮像される画像の一例である。
【００３５】
図５（ａ）に示すように、距離画像カメラ１０の真正面方向（ほぼ真下）に１名の長身の人物Ｈ４が立っている場合、この人物Ｈ４と距離画像カメラ１０との距離がかなり短くなる。そのため、距離画像カメラ１０で撮像される画像としては、例えば、図５（ｂ）に示すように、人物Ｈ４に対応する人体像ｈ４のみが存在するが、図２（ｂ）の人体像ｈ１よりも全体として大きく、特にその頭部は大きさが顕著になるとともに歪みなども併せて存在することになる。
【００３６】
＜距離画像からの法線ベクトル画像の算出＞
図６（ａ）はテンプレートマッチングに用いるための法線ベクトル画像算出の説明図であり、図６（ｂ）は図６（ａ）の場合の距離画像中の人物ｈなどに対応するものを実際の空間で示した模式図である。
【００３７】
図６（ａ）に示すように、例えば、距離画像カメラ１０で撮像された画像中に人体像ｈが存在する場合、距離画像の各画素の距離データに基づいて各部の法線ベクトルを求めるとともに、その方向および大きさを算出する。この画像中の人体像ｈと法線ベクトルを求めるための３画素からなる三角形ｔとに実際の空間でそれぞれ対応する人物Ｈと三角形Ｔとを模式的に示すと、図６（ｂ）のようになる。
【００３８】
図７は、法線ベクトル画像算出方法の具体例の概略説明図である。
【００３９】
図７に示すように、例えば、距離画像中の画素Ｇ１に着目したとき、この画素Ｇ１を囲む小三角形Ｔ１の頂点に対応する３画素の各距離データを用いて、この小三角形Ｔ１を含む平面の方程式を算出する。その平面の法線ベクトルの大きさを正規化した後、画素Ｇ１に対応する法線ベクトル画像データ（３次元）として格納する。
【００４０】
次に、距離画像中で画素Ｇ１の右隣の画素Ｇ２に着目し、この画素Ｇ２を囲む小三角形Ｔ２（小三角形Ｔ１とは上下逆形状）の頂点に対応する３画素の各距離データを用いて、この小三角形Ｔ２を含む平面の方程式を算出する。その平面の法線ベクトルの大きさを正規化した後、画素Ｇ２に対応する法線ベクトル画像データとして格納する。
【００４１】
さらに、距離画像中で画素Ｇ２の右隣の画素Ｇ３に着目してから同様の処理を行い、その後も残りの画素について同様の処理を繰り返す。
【００４２】
図８は、法線ベクトル画像算出方法の別の具体例の概略説明図である。
【００４３】
図８に示すように、例えば、距離画像中の画素Ｇ１に着目したとき、この画素Ｇ１を囲む大三角形Ｔ１ａの頂点に対応する３画素の各距離データを用いて平面の方程式を算出するようにしてもよい。ここで、この大三角形Ｔ１ａの面積は、図７の小三角形Ｔ１の面積の４倍である。
【００４４】
このように、法線ベクトルを求める際に、着目した画素を囲む三角形の大きさを変えることで、後述する人体識別方法での画像の拡大・縮小の工程を省略することができる。
【００４５】
図９は、法線ベクトル画像算出方法のさらに別の具体例の概略説明図である。
【００４６】
図９に示すように、例えば、距離画像中の画素Ｇ１に着目したとき、この画素Ｇ１を囲む大三角形Ｔ１ａの頂点に対応する３画素の各距離データを用いて平面の方程式を算出してから、その平面の法線ベクトルを求める。さらに、同じく画素Ｇ１を囲みつつ大三角形Ｔ１ａとは上下逆形状の大三角形Ｔ１ｂの頂点に対応する３画素の各距離データを用いて平面の方程式を算出してから、その平面の法線ベクトルも求める。
【００４７】
これら２つの法線ベクトルの違いが少なければ（例えば、これらの法線ベクトルの内積が所定閾値以上か否かで判別可）、画像中でも信頼性が高いものであるから、そのような画素に対応する部分のみを後述する人体識別方法でのマッチングに用いるようにしてもよい。
【００４８】
このような法線ベクトルを求める際、従来技術ではアークタンジェント関数が用いられていた（例えば、特許文献２の明細書の段落００６２の数式を参照）。この関数の演算はかなり複雑であるため、距離画像カメラ１０に内蔵される制御ユニット１３に実装するにはやや難があった。これに対して、上述したようにイメージセンサ１１で取得される３次元データを使用することにより、三角形を構成する２本のベクトルの外積を計算するといった簡便な演算によって法線ベクトルを求めることができるようになる。また、人体などの実際の形状に則した法線ベクトルを求めることができるので、従来技術では必要とされていた非線形性に対する修正（例えば、特許文献２の明細書の段落００６３を参照）なども不要である。
【００４９】
＜人体識別方法＞
本実施形態では以下のようにして人体を正確に識別して人数をカウントするが、それに先立って様々な人体の頭部を撮像した距離画像から算出された法線ベクトル画像をテンプレートとして事前に準備しておく必要がある。ただし、テンプレートは実際に人体の頭部を撮像した距離画像に限るものではない。例えば、三次元ＣＡＤなどを用いてモデリングした３次元の人体モデルなどを使用し、その頭部が含まれるような状況に基づく演算によって得られた距離画像からテンプレートを準備してもかまわない。
【００５０】
（１）距離画像カメラ１０による撮像
監視対象領域の上方に設置されている距離画像カメラ１０によって、ほぼ真下に向けてこの監視対象領域を撮像して距離画像を取得する。
【００５１】
（２）監視対象領域の距離画像から法線ベクトル画像を算出
上記（１）で取得した距離画像から、上述した方法によって法線ベクトル画像を算出する。
【００５２】
（３）テンプレートの相対的変倍など
まず、上記（１）で取得した距離画像中に何らかの物体が捉えられていれば、その物体に対応する画素の距離データに基づいて、事前に準備されている各テンプレートの変倍処理を行うが、これは次の理由による。
【００５３】
図２（ａ）〜図５（ｂ）を参照して上述したように、人体の頭部と距離画像カメラ１０との間の距離によって、画像中の頭部の大きさも変わる。そのような場合に、事前に準備されたそのままのテンプレートとマッチングを行っても、十分に適合しない結果になり得るからである。
【００５４】
テンプレートを変倍する代わりに画像側のサイズ変更を行ってもよいし、テンプレートの変倍と画像側サイズ変更を併用してもよい。すなわち、画像側サイズに対するテンプレートのサイズを相対的に変倍させればよい。
【００５５】
距離画像中に複数の物体が捉えられている場合は、それぞれの物体に対応する画素の距離データに基づいて、複数通りのテンプレートの変倍処理を行うことになる。
【００５６】
さらに、図５（ａ）および図５（ｂ）を参照して上述したように、人体の頭部までの距離が近い場合には頭部の像の形状に歪みが生じることを考慮し、テンプレートの形状も対応して変形させてもよい。また、画像の中央部と周辺部では像の形状の歪みの程度も異なることから、画像中における位置によってテンプレートの形状の変形の程度を変えるようにしてもよい。
【００５７】
なお、図１０（ａ）に示すような距離画像カメラ１０の設置高さＨについては、例えば、距離画像カメラ１０の設置時などに外部操作で入力・設定できるようにしておいてもよい。距離画像カメラ１０は監視対象領域の上方に設置され、ほぼ真下に向けられているので、距離画像中で捉えられた人体に対応する画素の距離データの最小値と設置高さＨとの差がその人物の身長にほぼ相当することになる。これらの情報に基づいて、上述したテンプレートのうちのいずれを適用するかを決定するようにしてもよいし、そのテンプレートの大きさや形状を変化させる範囲を決定してもよい。
【００５８】
また、図１０（ｂ）に示すように、距離画像カメラ１０で撮像された画像において、例えば周辺部の適当な３点Ｐ１、Ｐ２、Ｐ３に対応する画素の距離データに基づいてこれらの３点で定まる平面を床面であると推定すれば、距離画像カメラ１０の設置高さＨを算出することもできる。この場合にも、これらの情報に基づいて、上述したテンプレートのうちのいずれを適用するかを決定するようにしてもよいし、そのテンプレートの大きさや形状を変化させる範囲を決定してもよい。
【００５９】
（４）テンプレートのマッチング
図１１に示すように、上記（３）で変倍された各テンプレートと上記（２）で算出した法線ベクトル画像とのマッチングを行う。これらの適合度を把握するため、例えば、テンプレートと法線ベクトル画像とのベクトルの角度差が所定閾値以下である領域を法線ベクトル画像中で見つけ、その領域が人体の頭部に対応しているものと推定する。さらに、必要に応じてこの処理を繰り返す。
【００６０】
なお、角度差の算出には各ベクトルの正規化する前の大きさを重みとして使用してもよい。ベクトルの大きさを重みとして使用することにより，髪型や服のしわといった，被写体の検出したい本質とは異なる情報を除去することができる。また、所定閾値については、近距離になるほど大きめの値としてもよい。これは、近距離では頭部の像が歪む場合があったり、人物の髪型や姿勢などの影響も受けやすくなったりして、それにより差分が大きくなり得るから、そのことも考慮してマッチングを行えるようにするためである。
【００６１】
（５）人体の数の判定
上記（４）で人体の頭部に対応しているものと推定された領域が複数存在すれば、それらの論理和を取った後に存在している領域数をかぞえる。この領域数が人体の数ということになる。
【００６２】
＜変形例など＞
テンプレートとして準備するのは人体の頭部だけに限る必要はない。例えば、頭部だけでなく肩部も加えてテンプレートを準備した上で、監視対象領域の法線ベクトル画像とのマッチングを行うようにすれば、人体識別の精度をより向上させることができる。
【００６３】
また、検知対象は人体に限られない。検知対象に会わせて適切なテンプレートを準備すれば、他の目的や用途にも適用可能である。
【００６４】
なお、本発明は、その主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【符号の説明】
【００６５】
１０ 距離画像カメラ
１１ イメージセンサ
１２ 画像処理ユニット
１３ 制御ユニット
Ｈ，Ｈ１、Ｈ２、Ｈ３、Ｈ４ 人体
ｈ、ｈ１、ｈ２、ｈ３、ｈ４ 人体像
【特許請求の範囲】
【請求項１】
距離画像カメラを用いた人体識別方法であって、
監視対象領域の上方または周囲に設置された前記距離画像カメラで前記監視対象領域の距離画像である監視対象領域距離画像を取得する監視対象領域撮像工程と、
この監視対象領域撮像工程で取得された前記監視対象領域距離画像から各部の法線ベクトルを算出し、その法線ベクトルの方向を画素値とする法線ベクトル画像である監視対象領域法線ベクトル画像を算出する法線ベクトル画像算出工程と、
人体の少なくとも頭部が含まれるように撮像した１つ以上の距離画像または３次元人体モデルの少なくとも頭部が含まれるような状況に基づく演算によって得られた１つ以上の距離画像それぞれから各部の法線ベクトルを算出し、その法線ベクトルの方向を画素値とする法線ベクトル画像である人体法線ベクトル画像をそれぞれテンプレートとして準備するテンプレート準備工程と、
前記監視対象領域距離画像の画素値である距離情報に基づいて、前記テンプレート準備工程で準備された各テンプレートのサイズを前記監視対象領域法線ベクトル画像に対して相対的に変倍するテンプレート変倍工程と、
前記テンプレート変倍工程で変倍された各テンプレートと前記監視対象領域法線ベクトル画像との適合度と所定閾値との比較結果に基づいて、前記監視対象領域法線ベクトル画像において人体に対応する１つ以上の領域を推定する人体対応領域推定工程と、
この人体対応領域推定工程で人体に対応すると推定された各領域の論理和に基づいて人体の数を判定する人数判定工程と
を含むことを特徴とする人体識別方法。
【請求項２】
請求項１に記載の距離画像カメラを用いた人体識別方法において、
前記監視対象領域距離画像の画素値である距離情報および画素の位置情報に基づいて、前記テンプレート準備工程で準備された各テンプレートの形状を変形させるテンプレート変形工程をさらに含むことを特徴とする人体識別方法。
【請求項３】
請求項１または２に記載の距離画像カメラを用いた人体識別方法において、
前記監視対象領域距離画像の画素値である距離情報に基づいて、前記人体対応領域推定工程で用いられる前記所定閾値を変化させることを特徴とする人体識別方法。
【請求項４】
請求項１〜３のいずれか１項に記載の距離画像カメラを用いた人体識別方法において、
前記テンプレート準備工程でテンプレートを準備する際の人体の撮像では、少なくとも頭部および肩部が含まれるようにすることを特徴とする人体識別方法。
【請求項５】
請求項１〜４のいずれか１項に記載の距離画像カメラを用いた人体識別方法において、 外部入力された前記距離画像カメラの設置高さ情報に基づいて前記人体対応領域推定工程で適用するテンプレートを決定することを特徴とする人体識別方法。
【請求項６】
請求項１〜４のいずれか１項に記載の距離画像カメラを用いた人体識別方法において、 前記監視対象領域撮像工程で取得された前記監視対象領域距離画像から床面または地面に相当する平面を認識するとともに前記距離画像カメラの設置高さを算出し、これらの情報に基づいて前記人体対応領域推定工程で適用するテンプレートを決定することを特徴とする人体識別方法。
【請求項７】
画素値に距離情報を取得して距離画像を生成可能な撮像素子と、
この距離画像における画像処理を行う画像処理ユニットと
を備え、
前記画像処理ユニットにおける前記画像処理で、請求項１〜６のいずれか１項に記載の人体識別方法が実行されることを特徴とする人体識別装置。
【請求項１】
距離画像カメラを用いた人体識別方法であって、
監視対象領域の上方または周囲に設置された前記距離画像カメラで前記監視対象領域の距離画像である監視対象領域距離画像を取得する監視対象領域撮像工程と、
この監視対象領域撮像工程で取得された前記監視対象領域距離画像から各部の法線ベクトルを算出し、その法線ベクトルの方向を画素値とする法線ベクトル画像である監視対象領域法線ベクトル画像を算出する法線ベクトル画像算出工程と、
人体の少なくとも頭部が含まれるように撮像した１つ以上の距離画像または３次元人体モデルの少なくとも頭部が含まれるような状況に基づく演算によって得られた１つ以上の距離画像それぞれから各部の法線ベクトルを算出し、その法線ベクトルの方向を画素値とする法線ベクトル画像である人体法線ベクトル画像をそれぞれテンプレートとして準備するテンプレート準備工程と、
前記監視対象領域距離画像の画素値である距離情報に基づいて、前記テンプレート準備工程で準備された各テンプレートのサイズを前記監視対象領域法線ベクトル画像に対して相対的に変倍するテンプレート変倍工程と、
前記テンプレート変倍工程で変倍された各テンプレートと前記監視対象領域法線ベクトル画像との適合度と所定閾値との比較結果に基づいて、前記監視対象領域法線ベクトル画像において人体に対応する１つ以上の領域を推定する人体対応領域推定工程と、
この人体対応領域推定工程で人体に対応すると推定された各領域の論理和に基づいて人体の数を判定する人数判定工程と
を含むことを特徴とする人体識別方法。
【請求項２】
請求項１に記載の距離画像カメラを用いた人体識別方法において、
前記監視対象領域距離画像の画素値である距離情報および画素の位置情報に基づいて、前記テンプレート準備工程で準備された各テンプレートの形状を変形させるテンプレート変形工程をさらに含むことを特徴とする人体識別方法。
【請求項３】
請求項１または２に記載の距離画像カメラを用いた人体識別方法において、
前記監視対象領域距離画像の画素値である距離情報に基づいて、前記人体対応領域推定工程で用いられる前記所定閾値を変化させることを特徴とする人体識別方法。
【請求項４】
請求項１〜３のいずれか１項に記載の距離画像カメラを用いた人体識別方法において、
前記テンプレート準備工程でテンプレートを準備する際の人体の撮像では、少なくとも頭部および肩部が含まれるようにすることを特徴とする人体識別方法。
【請求項５】
請求項１〜４のいずれか１項に記載の距離画像カメラを用いた人体識別方法において、 外部入力された前記距離画像カメラの設置高さ情報に基づいて前記人体対応領域推定工程で適用するテンプレートを決定することを特徴とする人体識別方法。
【請求項６】
請求項１〜４のいずれか１項に記載の距離画像カメラを用いた人体識別方法において、 前記監視対象領域撮像工程で取得された前記監視対象領域距離画像から床面または地面に相当する平面を認識するとともに前記距離画像カメラの設置高さを算出し、これらの情報に基づいて前記人体対応領域推定工程で適用するテンプレートを決定することを特徴とする人体識別方法。
【請求項７】
画素値に距離情報を取得して距離画像を生成可能な撮像素子と、
この距離画像における画像処理を行う画像処理ユニットと
を備え、
前記画像処理ユニットにおける前記画像処理で、請求項１〜６のいずれか１項に記載の人体識別方法が実行されることを特徴とする人体識別装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−５９０３０（Ｐ２０１２−５９０３０Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−２０１８５１（Ｐ２０１０−２０１８５１）
【出願日】平成２２年９月９日（２０１０．９．９）
【出願人】（０００１０３７３６）オプテックス株式会社 (116)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月９日（２０１０．９．９）
【出願人】（０００１０３７３６）オプテックス株式会社 (116)
【Ｆターム（参考）】
[ Back to top ]