顔認証データベース構築方法、顔認証装置及び顔認証プログラム
【課題】撮像装置で撮像された画像データ内に複数の利用者の顔画像データが存在する場合に、認証対象者となる利用者の顔画像データを正確かつ効率的に顔認証データベースに自動登録することを課題とする。
【解決手段】カメラ３により撮像された利用者の顔画像データを検出する顔画像検出部１２と、カメラ３により撮像された画像データ内の利用者のカメラ３からの位置を算出し、該算出結果をもとに操作器２から利用者までの距離を算出する距離算出部１３と、操作器２の操作が行われ、操作器２から利用者までの距離が所定距離Ｄｔｈ以下である場合に、最小距離の利用者の顔画像と利用者ＩＤとを関連付けて顔認証データベース５に登録する登録処理部１４とを備える。
【解決手段】カメラ３により撮像された利用者の顔画像データを検出する顔画像検出部１２と、カメラ３により撮像された画像データ内の利用者のカメラ３からの位置を算出し、該算出結果をもとに操作器２から利用者までの距離を算出する距離算出部１３と、操作器２の操作が行われ、操作器２から利用者までの距離が所定距離Ｄｔｈ以下である場合に、最小距離の利用者の顔画像と利用者ＩＤとを関連付けて顔認証データベース５に登録する登録処理部１４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラ等の撮像装置で撮像された画像データ内に、複数の利用者の顔部分を含む部分画像データ（以下、「顔画像データ」と言う）が存在する場合に、認証対象者となる利用者の顔画像データを正確かつ効率的に顔認証データベースに自動登録することができる顔認証データベース構築方法、顔認証装置及び顔認証プログラムに関する。
【背景技術】
【０００２】
従来、認証対象者となる利用者に対して会員証や社員証などのＩＤカード（Identity Card）を発行しておき、各利用者の入退出時にＩＤカードに記録した利用者識別情報（以下、「利用者ＩＤ」と言う）をリーダライタで読み取って個人認証を行う個人認証システムが知られている。また、かかるＩＤカードの偽造等の不正に対応するために、利用者の指紋を用いた個人認証を行う個人認証システムも知られている。
【０００３】
ところが、上記指紋認証技術等を用いる場合には、利用者を認証する度に該利用者を静止させて指紋を採取しなければならず、利用者の利便性等の観点から見て好ましくない。このため、最近では、歩行する利用者を静止させなくとも個人認証を行うことができる顔認証技術が注目されている。例えば、特許文献１には、あらかじめ利用者の顔画像データの特徴量を辞書情報として登録しておき、歩行中の利用者がカメラに近づく際に、該カメラで利用者の顔部分を撮像して顔画像データを取得し、取得した利用者の顔画像データの特徴量と辞書情報の内容とを照合して利用者の顔認証を行う技術が開示されている。
【０００４】
しかし、この特許文献１に代表される従来の顔認証システムによれば、あらかじめ利用者の顔画像データを顔認証データベースに登録しなければならないため、利用者自身及び顔認証データベースの作業者に負担を強いる結果となる。顔部分を撮影した顔画像データを顔認証データベースに登録する時間が利用者及び作業者に必要であり、また作業者が該顔画像データを手動で編集する必要が生ずるからである。特に、人の顔は経年変化する性質があるため、定期的に上記負担が生ずる。
【０００５】
このため、特許文献２では、出入口の近くにカードリーダ及びカメラを設置しておき、利用者ＩＤが付与されたＩＤカードがカードリーダで読み込まれた際に、該カメラに映っている人物の顔画像データを利用者ＩＤに関連付けて顔認証データベースに自動登録するよう構成した入退室管理装置が開示されている。この特許文献２を用いると、初回のみ利用者の顔画像データを利用者ＩＤに関連付けて登録しておけば、２回目以降はＩＤカードの読取操作を行わなくとも出入口を通過することができる。また、利用者の顔画像データが自動取得され、自動取得された顔画像データが利用者ＩＤに関連付けて顔認証データベースに自動登録されるため、利用者及び作業者の負担を軽減することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１０４５９９号公報
【特許文献２】特開２００５−１４６７０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献２を用いたとしても、複数の利用者が連れだって歩行し、カメラで撮像された画像データ内に複数の利用者の顔部分が映ってしまうと、各利用者の顔画像データのいずれを利用者ＩＤと関連付けるべきかが不明確になってしまう。その結果、一人の利用者のみをカメラで撮影できる位置（例えば、リーダライタの手前）まで利用者を誘導しないと、利用者ＩＤに対応する顔画像データが正しく登録できなくなるという問題が生ずる。
【０００８】
これらのことから、カメラで撮像された画像データ内に複数の利用者の顔画像データが存在する場合に、認証対象者となる利用者の顔画像データをいかにして正確かつ効率的に顔認証データベースに自動登録するかが重要な課題となっている。なお、かかる課題は、カメラで利用者の静止画を撮像するだけではなく、ビデオカメラで動画を撮影して静止画を切り出す場合にも同様に生ずる課題である。
【０００９】
本発明は、上述した従来技術の課題を解消するためになされたものであって、撮像装置で撮像された画像データ内に、複数の利用者の顔画像データが存在する場合に、認証対象者となる利用者の顔画像データを正確かつ効率的に顔認証データベースに自動登録することができる顔認証データベース構築方法、顔認証装置及び顔認証プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するため、本発明は、利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器の近傍に配設された撮像装置によって撮像された利用者の顔画像データを前記操作器により取得された利用者識別情報と関連付けて顔認証データベースに登録する顔認証データベース構築方法であって、前記操作器が操作されたか否かを検出する操作検出工程と、前記撮像装置により撮像された画像データ内の利用者の顔部分を含む顔画像データを検出する顔画像データ検出工程と、前記顔画像データが検出された利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出工程と、前記操作器の操作が検出され、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理工程とを含んだことを特徴とする。
【００１１】
また、本発明は、利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器の近傍に配設された撮像装置によって撮像された利用者の顔画像データを前記操作器により取得された利用者識別情報と関連付けて顔認証データベースに登録する顔認証データベース構築方法であって、前記操作器が操作されたか否かを検出する操作検出工程と、前記撮像装置により撮像された画像データ内の利用者の顔部分を含む顔画像データを検出しつつ該利用者を追跡し、該追跡された利用者の一連の顔画像データを関連付けて保持する追跡処理工程と、追跡されている利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出工程と、前記操作器の操作が検出され、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データをもつ前記一連の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理工程とを含んだことを特徴とする。
【００１２】
また、本発明は、上記発明において、前記登録処理工程は、前記最小距離の利用者の顔画像データと同一の利用者識別情報が関連付けられた前記顔認証データベースの登録済みの顔画像データと、前記一連の顔画像データとの類似度を算出し、該一連の顔画像データのうちの所定の類似度以上を有した顔画像データを前記顔認証データベースに登録することを特徴とする。
【００１３】
また、本発明は、上記発明において、前記登録処理工程は、前記最小距離の利用者の顔画像データと該最小距離の利用者の顔画像データ以外の一連の顔画像データとの類似度を算出し、前記一連の顔画像データのうちの所定の類似度以上を有した顔画像データを、前記最小距離の利用者の顔画像データとともに登録することを特徴とする。
【００１４】
また、本発明は、上記発明において、前記撮像装置により撮像された画像データ内の複数の利用者のうちの一人の利用者が前記登録処理工程によって登録された場合に、該登録された利用者からの距離が所定範囲内の利用者であって前記登録処理工程によって登録されない利用者が存在すると判定されたならば、該利用者を不審者として警報出力する警報出力工程をさらに含んだことを特徴とする。
【００１５】
また、本発明は、利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器と、該操作器の近傍に配設された利用者を撮像する撮像装置と、該撮像装置により撮像された利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて登録する顔認証データベースとを有し、該顔認証データベースを用いて利用者の顔認証を行う顔認証装置であって、前記撮像装置により撮像された利用者の顔画像データを検出する顔画像検出部と、前記撮像装置により撮像された画像データ内の利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出部と、前記操作器に対する操作が行われ、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理部とを備えたことを特徴とする。
【００１６】
また、本発明は、利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器と、該操作器の近傍に配設された利用者を撮像する撮像装置と、該撮像装置により撮像された利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて登録する顔認証データベースとを有し、該顔認証データベースを用いて利用者の顔認証を行う顔認証装置であって、前記撮像装置により撮像された画像データ内の利用者の顔画像データを検出しつつ該利用者を追跡し、該追跡された利用者の一連の顔画像データを関連付けて保持する追跡処理部と、追跡されている利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出部と、前記操作器の操作が行われ、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データが関連付けられた前記一連の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理部とを備えたことを特徴とする。
【００１７】
また、本発明は、利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器と、該操作器の近傍に配設された利用者を撮像する撮像装置と、該撮像装置により撮像された利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて登録する顔認証データベースとを有し、該顔認証データベースを用いて利用者の顔認証を行う顔認証装置の顔認証プログラムであって、前記撮像装置により撮像された利用者の顔画像データを検出する顔画像検出手順と、前記撮像装置により撮像された画像データ内の利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出手順と、前記操作器に対する操作が行われ、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理手順とをコンピュータに実行させることを特徴とする。
【００１８】
また、本発明は、利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器と、該操作器の近傍に配設された利用者を撮像する撮像装置と、該撮像装置により撮像された利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて登録する顔認証データベースとを有し、該顔認証データベースを用いて利用者の顔認証を行う顔認証装置の顔認証プログラムであって、前記撮像装置により撮像された画像データ内の利用者の顔画像データを検出しつつ該利用者を追跡し、該追跡された利用者の一連の顔画像データを関連付けて保持する追跡処理手順と、追跡されている利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出手順と、前記操作器の操作が行われ、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データが関連付けられた前記一連の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理手順とをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、操作器の操作が検出され、操作器から利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像と利用者識別情報とを関連付けて顔認証データベースに登録するよう構成したので、撮像装置で撮像された画像データ内に、複数の利用者の顔画像データが存在する場合に、認証対象者となる利用者の顔画像データを正確かつ効率的に顔認証データベースに自動登録することができる。
【００２０】
本発明によれば、撮像装置により撮像された画像データ内の利用者の顔画像データを検出しつつ該利用者を追跡し、該追跡された利用者の一連の顔画像データを関連付けて保持し、操作器の操作が検出され、操作器から利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データを含む一連の顔画像データと利用者識別情報とを関連付けて顔認証データベースに登録するよう構成したので、実環境に近い様々な顔画像データを登録することができ、利用者識別情報と利用者の顔画像との関連付けを一層精度高く自動登録することができる。
【図面の簡単な説明】
【００２１】
【図１】図１は、本実施例１に係る入退室管理装置の構成を示す模式図である。
【図２】図２は、顔画像検出部によって取得される顔画像の一例を示す図である。
【図３】図３は、画角が一定の場合におけるカメラと基準画像と利用者の顔画像との距離関係を説明する説明図である。
【図４】図４は、画角が異なる場合におけるカメラと利用者の顔画像との距離関係を説明する説明図である。
【図５】図５は、顔が撮像方向に傾いた状態を示す説明図である。
【図６】図６は、カメラからの距離とカメラに対する角度とを用いて利用者の顔画像の位置を算出する説明図である。
【図７】図７は、操作器と利用者の顔画像との間の距離を示す説明図である。
【図８】図８は、図１に示した入退室管理装置による顔認識データベースへの顔画像登録処理手順を示すフローチャートである。
【図９】図９は、本実施例２に係る入退室管理装置の構成を示す模式図である。
【図１０】図１０は、図９に示した追跡処理部による一連の顔画像データを生成する追跡処理手順を示すフローチャートである。
【図１１】図１１は、追跡処理によって取得される一連の顔画像データの一例を示す図である。
【図１２】図１２は、図９に示した入退室管理装置による顔認識データベースへの顔画像登録処理手順を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下に、添付図面を参照して、本発明に係る顔認証データベース構築方法、顔認証装置及び顔認証プログラムの好適な実施例を詳細に説明する。以下に示す実施例１及び２では、本発明に係る顔認証データベース構築方法、顔認証装置及び顔認証プログラムを入退室管理装置に適用した場合について説明する。
【実施例１】
【００２３】
まず、本実施例１に係る入退室管理装置１の特徴及び構成について説明する。図１は、本実施例１に係る入退室管理装置１の構成を示す図である。図１に示す入退室管理装置１は、顔認証を利用して利用者の入退室管理を行う装置であり、従来技術と同様に予め各利用者に対して該利用者を一意に識別する利用者ＩＤが記録されたＩＤカード２ａを発行する。ただし、かかるＩＤカード２ａを発行する時点では、該利用者の顔画像データについては登録しない。なお、ＩＤカード２ａを発行する時点で利用者の氏名や所属等の個人情報を登録することもできるが、ここではその説明を省略する。
【００２４】
そして、利用者が、初回の入室を行うためにＩＤカード２ａを操作器２に読み取らせたならば、カメラ３によって撮像した画像データから利用者の顔部分を含む顔画像データを切り出し、これをＩＤカード２ａの利用者ＩＤに関連付けて顔認証データベース５に登録する。このように、この入退室管理装置１では、事前に良好な環境で利用者の顔画像データを取得するのではなく、ＩＤカード２ａのみを先に発行しておき、利用者の顔画像データは実環境で取得することとしている。実環境で撮像した利用者の顔画像データを顔認証データベース５に登録することで、より一層顔認証の精度が向上するからである。
【００２５】
ここで、本実施例１に係る入退室管理装置１は、初回登録時にカメラ３で撮像された画像データ内に複数の利用者の顔部分が映っている場合であっても、各利用者の顔画像データの中から最も適切な顔画像データを抽出し、抽出した顔画像データを利用者ＩＤに関連付けて顔認証データベース５に登録するよう構成した点に特徴がある。
【００２６】
具体的には、予め操作器２を基準位置とした距離のしきい値Ｄｔｈを設定しておき、このしきい値Ｄｔｈ内に所在する利用者の顔画像データを利用者ＩＤに関連付けて顔認証データベース５に登録する。例えば、図１に示すカメラ３で撮像した画像データ内に利用者Ｍ１及びＭ２の顔画像データが含まれている場合に、操作器２から利用者Ｍ１の顔部分までの距離ＤＸ１及び操作器２から利用者Ｍ２の顔部分までの距離ＤＸ２を算定し、しきい値Ｄｔｈ内の距離ＤＸ１となる利用者Ｍ１の顔画像データを顔認証データベース５に登録する。これにより、本実施例１に係る入退室管理装置１によれば、カメラ３により撮像された画像データ内に複数の利用者の顔部分が映っている場合であっても、正確な顔画像データを効率良く顔認証データベース５に登録することが可能となる。
【００２７】
なお、利用者に対する初回の顔画像データの登録が完了し、該利用者が２回目以降の入退出を行う場合には、その時点での新たな顔画像データを取得して顔認証データベース５に登録される。利用者の顔部分は経年変化に伴い変動しやすい性質を有するためである。
【００２８】
図１に示すように、本実施例１に係る入退室管理装置１は、操作器２と、カメラ３と、制御部４と、顔認証データベース５と、ゲート１０とを有する。また、制御部４は、操作検出部１１と、顔画像検出部１２と、距離算出部１３と、登録処理部１４と、類似度算出部１５と、顔認証処理部１６と、警報出力部１７とを有する。なお、図１では入退室管理装置１のうちの入室側の構成を図示したが、顔認証データベース５を退室側にも共通使用することができる。
【００２９】
操作器２は、利用者Ｍ１及びＭ２が保有するＩＤカード２ａの利用者ＩＤを取得するカードリーダである。具体的には、ＩＤカード２ａが非接触式のカードである場合にはＩＤカード２ａに記録した利用者ＩＤを近距離無線通信により受信し、ＩＤカード２ａが磁気記録式のカードである場合にはＩＤカード２ａに磁気記録した利用者ＩＤを読み取る。なお、かかる操作器２は、利用者自身が手入力で利用者ＩＤを入力するテンキー等であっても良く、利用者ＩＤを取得できればよい。
【００３０】
カメラ３は、利用者を撮像して画像データを出力するＣＣＤ（Charge Coupled Device）素子などからなる撮像装置である。このカメラ３は、操作器２を操作する利用者の顔部分並びに利用者が操作器２に至る途中での該利用者の顔部分を撮像できる画角にあらかじめ設定されている。
【００３１】
制御部４は、入退室管理装置１を全体制御するコンピュータであり、操作器２、カメラ３、ゲート１０及び顔認証データベース５と接続されている。この制御部４は、少なくとも、操作器２を操作した利用者の顔画像データを利用者ＩＤに関連付けて顔認証データベース５に自動登録する処理を行う。また、この制御部４は、顔認証データベース５に登録された顔画像データを用いて利用者の顔認証処理を行い、この認証結果に基づいて利用者の入退室管理を行う。具体的には、制御部４は、利用者を認証できた場合にはゲート１０を開き、利用者を認証できない場合にはゲート１０の閉鎖状態を維持する制御を行う。なお、ゲート１０の開閉制御は周知の技術を用いることができるため、ここではその詳細な説明を省略する。
【００３２】
顔認証データベース５は、利用者ＩＤと１又は複数の顔画像データとを関連付けて格納するデータベースである。この顔認証データベース５は、利用者にＩＤカード２ａを付与する時点では該利用者の顔画像データが登録されておらず、ＩＤカード２ａの初回利用時に利用者の顔画像データが登録される。このため、利用者の初回利用時にはＩＤカード２ａを発行した作業員が立ち会うことが望ましい。なお、上記制御部４は、顔認証データベース５のデータベース管理装置（ＤＢＭＳ）の役割を果たす。
【００３３】
操作検出部１１は、利用者により操作器２が操作されたか否かを検出する処理部である。例えば、ＩＤカード２ａが非接触式のカードである場合には、利用者がＩＤカード２ａを操作器２に翳し操作したことを検出して、該ＩＤカード２ａから利用者ＩＤを受信する。また、ＩＤカード２ａが磁気記録式のカードである場合には、利用者がＩＤカード２ａを操作器２に接触させたことを検出して、該ＩＤカード２ａから利用者ＩＤを読み取る。
【００３４】
顔画像検出部１２は、カメラ３によって撮像された画像データ内に存在する人の顔部分を含む矩形の顔画像データを切り出す処理部である。図２は、顔画像検出部１２によって検出される顔画像データの一例を示す図である。同図に示すように、ここではカメラ３で撮像された画像データ２０内に利用者Ｍ１及び利用者Ｍ２が含まれており、この利用者Ｍ１の顔画像データ２１と利用者Ｍ２の顔画像データ２２を切り出す状況を示している。ここで、利用者の顔画像データを切り出す際には、人の一般的な顔の輪郭を示すテンプレートを準備し、このテンプレートを画像データ２０にずらしマッチングすることで、画像データ内に存在する顔画像データ２１及び２２を検出することができる。なお、かかるテンプレートマッチングだけではなく、公知の各種顔検出アルゴリズム（画像処理技術）を用いることができる。
【００３５】
距離算出部１３は、カメラ３により撮像された２次元の画像データ上の利用者の位置を算出し、算出した位置から操作器２の位置までの距離を算出する処理部である。この距離算出部１３により、図１に示す操作器２から利用者Ｍ１までの距離ＤＸ１及び操作器２から利用者Ｍ２までの距離ＤＸ２が算出される。この画像データ上の利用者の位置は、カメラ３からの距離とカメラ３の光軸からの角度とによってベクトル的に求められる。なお、この距離算出部１３による距離算出の詳細な説明については後述する。
【００３６】
登録処理部１４は、利用者の顔画像データを利用者ＩＤに関連付けて顔認証データベース５に登録する処理部である。すでに説明したように、本実施例１では、利用者にＩＤカード２ａを発行する時点で別環境にて利用者の顔部分を撮像するのではなく、利用者が実環境で最初にＩＤカード２ａを利用して入室する時点で利用者の顔部分をカメラ３で撮像して顔認証データベース５に登録する。また、利用者が２回目以降の入退室を行う際に、新たな顔画像データを利用者ＩＤに関連付けて顔認証データベース５に追加登録する。具体的には、操作器２により利用者のＩＤカード２ａを用いた操作が検出され、操作器２から利用者までの距離が算定されると、この距離がしきい値Ｄｔｈ以下である場合に、最小距離の利用者の顔画像データと操作器２により取得した利用者ＩＤとを関連付けて顔認証データベース５に登録処理する。
【００３７】
類似度算出部１５は、顔画像データ相互間の類似度を算出する処理部である。例えば、ある顔画像データと他の顔画像データの相互相関係数を算定し、算定した相互相関係数を類似度とすることができる。かかる相互相関係数を類似度として用いると、両顔画像データに同一人物の顔部分が含まれる場合に類似度が高くなり、両顔画像データに異なる人物の顔部分が含まれる場合に類似度が低くなる。なお、この類似度算出部１５では、相互相関係数以外の公知の類似度算出技術を用いることもできる。
【００３８】
顔認証処理部１６は、上記類似度算出部１５により算出された類似度を用いて、利用者が顔認証データベース５に登録された登録済みの利用者であるか否かを認証する処理部である。具体的には、顔画像検出部１２により検出された利用者の顔画像データと顔認証データベース５に登録された顔画像データとの類似度を算出するよう類似度算出部１５に指示し、この類似度算出部１５により算出された類似度に基づいて、該利用者が顔認証データベース５に登録された登録済みの利用者であるか否かを認証する。顔認証データベース５に登録済みの利用者については、ＩＤカード２ａの操作がなされなくともゲート１０を開制御する必要があるためである。
【００３９】
なお、顔認証データベース５に登録された顔画像データが一つのみである場合には、上記顔画像データ間の類似度が所定の閾値以上である場合に、利用者が顔認証データベース５に登録済みであると判定し、顔認証データベース５に登録された顔画像データが複数存在する場合には、顔画像検出部１２により検出された利用者の顔画像データと顔認証データベース５に登録された複数の顔画像データの各類似度のうちの例えば上位３つの類似度を抽出し、抽出した上位３つの類似度のうちの平均値が所定の閾値以上である場合に、利用者が顔認証データベース５に登録済みであると判定することができる。なお、かかる判定処理としては、既存の周知技術を用いることができる。
【００４０】
警報出力部１７は、顔認証処理部１６により利用者が顔認証データベース５に登録済みでないと判定された場合に、警報を出力する処理部である。かかる警報出力としては、実際に音声出力するほか、所定の警備員の携帯端末に「異常発生」を報知するものでも良い。なお、かかる警報を出力している間は、ゲート１０の閉鎖状態が維持される。
【００４１】
次に、上記距離算出部１３による距離算出の概念について図３〜図７を用いて詳細に説明する。図３に示すように、カメラ３から利用者の位置までの距離Ｌは、顔画像データ上の顔部分の幅を形成する画素数をＦとし、予め設定された基準となる距離をＬｓとし、この距離Ｌｓに対応して設定された基準となる顔部分の幅の画素数をＦｓとすると、
Ｌ＝（Ｌｓ×Ｆｓ）／Ｆ
の算定式を用いて算定することができる。かかる算定式は、カメラ３によって撮像された画像データ中の顔部分の大きさが操作器２から利用者までの距離に応じて変化し、利用者の位置が操作器２に近いほど大きくなり、利用者の位置が操作器２から離れるほど小さくなることを利用したものである。なお、ここでは顔部分の幅の画素数を用いる場合を示しているが、顔の頭の先から顎までの幅の画素数、眉から口元までの幅の画素数又は目から顎までの幅の画素数等の所定幅を用いることもできる。
【００４２】
また、図３では基準となる画像データと距離算出対象となる画像データの画角αｓが一定である場合を示したが、基準となる画像データの画角αｓと異なる画角αで距離算出対象となる画像データを撮像した場合には、かかる画角の変化を補正する必要がある。図４は、画角が異なる場合のカメラ３と画像データまでの距離の関係を説明するための説明図である。図４に示したカメラ３から利用者までの距離Ｌは、
Ｌ＝（Ｌｓ×tan（αｓ／２）×Ｆｓ）／（tan（α／２）×Ｆ）
の算定式を用いて算定することができる。
【００４３】
また、図５に示すように、顔の向きが上下あるいは左右に傾いた場合には、かかる傾きの誤差を補正する必要がある。正面を向いた顔画像の顔部分の幅がＦ画素である場合に、傾いた顔部分の幅は、カメラ３の撮像方向への傾きをβとすると、Ｆ×cosβとなる。したがって、距離Ｌは、
Ｌ＝（Ｌｓ×tan（αｓ／２）×Ｆｓ）／（tan（α／２）×Ｆ×cosβ）
の算定式を用いて算定することができる。
【００４４】
一方、図６に示すように、カメラ３の光軸から利用者への角度θは、カメラ３の水平方向の画角をαｈとし、カメラ３の水平方向の全画素数をＮとし、利用者の水平方向の座標をＸとした場合に、
θ＝tan-1（（２×Ｘ／Ｎ）−１）×tan（αｈ／２））
の算定式を用いて算定することができる。
【００４５】
したがって、図６に示した距離Ｌ及び角度θを算出することにより、カメラ３に対する利用者の位置（座標）Ｐを算出することができる。そして、このようにして利用者の位置Ｐが算定できると、たとえば、図７に示すように、カメラ３の位置Ｐ１０に対する利用者Ｍ１の位置Ｐ１、カメラ３の位置Ｐ１０に対する利用者Ｍ２の位置Ｐ２を算出することができる。一方、カメラ３の位置Ｐ１０に対する操作器２の位置Ｐ０は既知であるので、操作器２と利用者Ｍ１との間の距離ＤＸ１並びに操作器２と利用者Ｍ２との間の距離ＤＸ２を算出することができる。
【００４６】
次に、図１に示した登録処理部１４による顔認証データベース５への顔画像データの登録処理手順について説明する。図８は、図１に示した登録処理部１４による顔認証データベース５への顔画像データの登録処理手順を示すフローチャートである。ここでは、利用者がＩＤカード２ａを用いて顔画像データを初回登録する場合を示している。
【００４７】
同図に示すように、登録処理部１４は、まず、カメラ３に対する操作器２の位置Ｐ０及びしきい値Ｄｔｈを取得する（ステップＳ１０１）。その後、カメラ３により撮像された画像データを取得するとともに（ステップＳ１０２）、利用者によって操作器２が操作されたか否かを判定する（ステップＳ１０３）。
【００４８】
ここで、利用者によって操作器２が操作された場合には（ステップＳ１０３，Ｙｅｓ）、取得された画像データ内で顔部分が検出されたか否かを判定する（ステップＳ１０４）。これに対して、利用者によって操作器２が操作されない場合には（ステップＳ１０３，Ｎｏ）、ステップＳ１０２に移行して、次の画像データが取得される。なお、画像データ内で顔部分が検出されない場合にも（ステップＳ１０４，Ｎｏ）、ステップＳ１０２に移行して、次の画像データを取得する。
【００４９】
そして、画像データ内で顔部分が検出された場合には（ステップＳ１０４，Ｙｅｓ）、距離算出部１３に全ての顔画像データを送信して、利用者と操作器２との距離ＤＸを算出させる（ステップＳ１０５）。その後、算出された距離ＤＸがしきい値Ｄｔｈ以下であり、かつ、距離ＤＸが取得された距離ＤＸのなかで最小距離であるか否かを判定する（ステップＳ１０６）。距離ＤＸがしきい値Ｄｔｈ以下で、最小距離である条件を満足しない場合には（ステップＳ１０６，Ｎｏ）、ステップＳ１０２に移行して、次の画像データを取得する。
【００５０】
これに対して、距離ＤＸがしきい値Ｄｔｈ以下であり、かつ、最小距離である場合には（ステップＳ１０６，Ｙｅｓ）、操作器２から取得した利用者ＩＤと、この顔画像データとを関連付けて、顔認証データベース５に登録する（ステップＳ１０７）。その後、ステップＳ１０２に移行して次の画像データを取得する。
【００５１】
上述してきたように、本実施例１では、利用者による操作器２の操作が検出され、操作器２から利用者までの距離ＤＸがしきい値Ｄｔｈ以下である場合に、最小距離の利用者の顔画像データと操作器２により取得された利用者ＩＤとを関連付けて顔認証データベース５に自動登録するように構成したので、カメラ３により撮像された画像データ内に複数の顔部分が映っている場合であっても、利用者ＩＤに対応する利用者の顔画像データを正確かつ効率的に顔認証データベース５に自動登録することができる。このように、利用者の顔画像データを自動登録することで、利用者並びに顔認証データベース５を構築する作業者にかかる負担が軽減される。また、精度の高い顔認証データベースが構築されるため、顔認証処理自体の精度が向上する。
【実施例２】
【００５２】
ところで、上記実施例１では、操作器２の前に移動した利用者の顔画像データのみを顔認証データベース５に登録するよう構成したため、利用者が操作器２を操作する時点の顔画像データのみが顔認証データベース５に登録される。その結果、仮に利用者が操作器２を操作する時点で利用者の適正な正面顔の画像データが撮像されていない場合には、認証処理結果が低下するという問題がある。特に、インターホンのようにカメラ３と操作器２とが常に一体であるとは限らず、施工上の問題で操作器２の向きとカメラ３の向きとが異なる場合があるため、例えば操作器２がカメラ３に対して横を向いている場合には、利用者が操作器２を操作する時点で該利用者が横を向いてしまい、利用者が操作器２を操作する瞬間の正面顔をカメラ３で取得することが困難となる。加えて、顔認証処理を行う際には、複数枚の顔画像データを登録して認証精度を上げることが望ましいため、たとえ利用者が操作器２を操作する時点の正面顔の顔画像データを取得できた場合であっても、それ以外の顔画像データを含めて一括登録することが望ましい。
【００５３】
そこで、本実施例２に係る入退室管理装置１０１は、図９に示すように、カメラ３が撮像した画像データ内の利用者の顔部分を検出しつつ該利用者を追跡し、追跡した利用者の顔部分を含む一連の顔画像データを関連付けて保持する追跡処理部１８をさらに設けている。なお、距離算出部１３は、追跡されている利用者のカメラ３からの位置を算出し、該算出結果をもとに操作器２から利用者までの距離を算出する。登録処理部１４は、利用者による操作器２の操作が行われ、操作器２から利用者までの距離ＤＸがしきい値Ｄｔｈ以下となった場合に、最小距離の利用者の顔画像データを含む一連の顔画像データを操作器２により読み取られた利用者ＩＤに関連付けて顔認証データベース５に登録する。その結果、顔認証データベース５には、様々な向きや大きさなどの顔画像や実環境の照明に適した一連の顔画像データが自動登録され、顔認証精度が向上する。
【００５４】
まず、図１０に示したフローチャートを参照して、追跡処理部１８による利用者の追跡処理手順について説明する。追跡処理部１８は、まずカメラ３により撮像された画像データを取得する（ステップＳ２０１）。その後、この画像データ内で顔部分が検出されたか否かを判断する（ステップＳ２０２）。顔部分が検出されない場合には（ステップＳ２０２，Ｎｏ）、ステップＳ２０１に移行して新たな画像データを取得する。
【００５５】
一方、顔部分が検出された場合には（ステップＳ２０２，Ｙｅｓ）、この顔画像データを保持する（ステップＳ２０３）。その後、追跡条件を満足するか否かを判断する（ステップＳ２０４）。この追跡条件とは、各画像データの取得時間間隔内で、利用者が画像データ上で移動可能な範囲内となることである。たとえば、利用者の平均移動速度が秒速１０ｍであり、カメラ３が１フレームを処理する時間が毎秒３０枚であるとすると、利用者の１フレームあたりの移動範囲は、１０（ｍ／秒）÷３０（枚／秒）＝０．３３ｍとなる。この０．３３ｍ以内の範囲が移動可能な範囲となる。
【００５６】
そして、追跡条件、すなわち、次の画像データ内の利用者が移動可能な範囲内である場合には（ステップＳ２０４，Ｙｅｓ）、この追跡条件を満たす顔画像データを前回の顔画像データを含む現在追跡中のこれまでの顔画像データに関連付けて保持し（ステップＳ２０５）、その後ステップＳ２０４に移行し、次の顔画像データを検出した位置で追跡条件を満足するか否かの判定を繰り返して一連の顔画像データを保持する。一方、追跡条件を満足しない場合には（ステップＳ２０４，Ｎｏ）、追跡中の全顔画像データを削除して（ステップＳ２０６）、処理を終了する。
【００５７】
したがって、上記追跡処理では、追跡条件を満足する限り、顔部分の状態に関わらず同一利用者の顔部分を含む複数の顔画像データが関連する一連の顔画像データとして保持されることになる。たとえば、図１１に示すように、追跡条件を満足する顔画像データ３１〜３４は、顔部分の状態に関わらず、一連の顔画像データ３０として保持されることになる。
【００５８】
そして、登録処理部１４では、図１２のフローチャートに示した顔画像登録処理手順によって、実施例１と同様に、検出された顔画像データの利用者Ｍ１と操作器２との間の距離ＤＸがしきい値Ｄｔｈ以下で、最小距離であるか否かを判定する（ステップＳ３０６）。なお、ステップＳ３０１〜Ｓ３０６までの処理は、上記ステップＳ１０１〜Ｓ１０６と同じである。そして、距離ＤＸがしきい値Ｄｔｈ以下で、最小距離である場合には（ステップＳ３０６，Ｙｅｓ）、操作器２により読み取られた利用者ＩＤと、このステップＳ３０６の判定条件を満足した顔画像データを含む一連の顔画像データとを関連付けて顔認証データベース５に登録する（ステップＳ３０７）。その後、ステップＳ３０２に移行して上記一連の処理を繰り返す。
【００５９】
なお、利用者Ｍ１のすぐ後ろを人物Ａが歩いているような場合には、利用者Ｍ１の追跡結果のなかに人物Ａの顔画像が混ざり込む可能性がある。この場合、利用者Ｍ１が操作器２を操作すると、利用者Ｍ１の利用者ＩＤに人物Ａの顔画像データが誤って関連付けられてしまい、誤認証や識別性能低下の原因となる。そこで、追跡結果のなかに誤って混ざり込んだ顔画像データを顔認証データベース５に登録しないように対策を講ずる必要がある。
【００６０】
その第１の対策としては、追跡結果のなかの顔画像データと、顔認証データベース５内に格納された利用者Ｍ１のすべての顔画像データとの類似度を算出し、この類似度から利用者Ｍ１と判定される顔画像データだけを、利用者Ｍ１の利用者ＩＤに関連付けて顔認証データベース５に登録するようにするとよい。
【００６１】
その第２の対策としては、逆に、追跡結果のなかの顔画像データと、顔認証データベース５内に格納された利用者Ｍ１のすべての顔画像データとの類似度を算出し、この類似度から利用者Ｍ１以外の人物と判定される顔画像データに対して顔認証データベース５への登録処理を行わず、その他の顔画像データを利用者Ｍ１の利用者ＩＤに関連付けて顔認証データベース５に登録するようにするとよい。
【００６２】
その第３の対策としては、まず、実施例１のように、追跡結果のなかの全顔画像データのうち、操作器２に最も近い距離に位置する顔画像データを利用者Ｍ１と判定する。さらに、追跡結果のなかの他の顔画像データのうち、利用者Ｍ１と判定された顔画像データと類似する顔画像データを利用者Ｍ１と判定する。このような２段階の処理を行うことにより、利用者Ｍ１と判定された顔画像データを、利用者Ｍ１の利用者ＩＤに関連付けて顔認証データベース５に登録するようにするとよい。
【００６３】
上述してきたように、本実施例２では、操作器２の操作が行われ、操作器２から利用者までの距離ＤＸがしきい値Ｄｔｈ以下である場合、最小距離の利用者の顔画像データをもつ、追跡された一連の顔画像データと操作器２が読み込んだ利用者ＩＤとを関連付けて顔認証データベース５に登録するようにしているので、上述したように、歩行時の様々な向きや大きさの顔画像データを一括して顔認証データベース５に登録できることなる。この結果、運用する実環境の照明や動線に適した顔画像データを効率的に自動登録することができる。換言すれば、従来のシステムによる、顔の大きさの正規化や照明変動の推測、顔向きの推測によって構築されたデータベースよりも、実環境に対応した顔認証データベースを自動構築することができ、利用者および構築作業員の負担を軽減するとともに、顔認証精度の向上も実現することができる。
【００６４】
なお、上記実施例１及び２では、本発明を入退室管理システムに適用した場合を示したが、本発明はこれに限定されるものではなく、勤怠管理システムなど各種システムに適用することができる。また、操作器２としてカードリーダを用いることで、従来、社員証等のＩＣカードの利用のみで実現していた入退室管理や勤怠管理に、顔認証を導入することができる。そして、顔認証用の顔画像データが自動登録されるため、利用者は、わざわざＩＤカードをかざさなくても、電気錠の開錠やタイムカードの打刻が可能になる。さらに、開錠時（打刻時）の映像と利用者ＩＤとを関連付けて登録することができる。この結果、管理者によるチェックを一層厳密に行うことができるとともに、不正防止を図ることができる。なお、ＩＣカードの利用と顔認証処理との二重照合も可能であり、この二重照合を行うことによって、通常よりもセキュリティの高いシステムを実現することができる。
【００６５】
また、上記実施例１及び２では、操作器２をカードリーダとする場合を示したが、本発明はこれに限定されるものではない。操作器２は、ＩＤ情報のやり取りができればよく、社員証などのＩＣカードでなくても適用可能である。例えば、パーソナルコンピュータ（ＰＣ）のディスプレイにウェブカメラを取り付け、ログインする際のユーザ名とパスワードと顔画像データとを関連付けるようにして顔画像データを登録することができる。また、マンションのエントランスに設置されているオートロックなどに対しても、顔画像データと開錠用のパスワードとを関連付けて顔画像データを登録することもできる。
【００６６】
さらに、上記実施例１では、距離算出部１３が画像データを利用した位置算出処理を行って、操作器２の直近の利用者だけを顔認証データベース５に登録することとしたが、複数の利用者の位置と認証結果とを用いることにより、複数人の共連れを検出することも可能である。例えば、登録されている利用者の後方から認証されていない人物が接近している場合、不審者の共連れとして利用者Ｍ１に通知し、出入口の開錠を行わないなどの共連れ防止を行うこともできる。この場合には、警報出力部１７はかかる不審者の存在を警報出力することになる。
【産業上の利用可能性】
【００６７】
本発明に係る顔認証データベース構築方法、顔認証装置及び顔認証プログラムは、入退室監視システムや勤怠管理システムなどに適しており、特に、複数の利用者の顔画像データが存在する画像データから認証対象者となる利用者の顔画像データを正確かつ効率的に抽出して顔認証データベースに自動登録する場合に適している。
【符号の説明】
【００６８】
１，１０１ 入退室管理装置
２ 操作器
２ａ ＩＤカード
３ カメラ
４ 制御部
５ 顔認証データベース
１０ ゲート
１１ 操作検出部
１２ 顔画像検出部
１３ 距離算出部
１４ 登録処理部
１５ 類似度算出部
１６ 顔認証処理部
１７ 警報出力部
１８ 追跡処理部
２０ 画像データ
２１，２２ 顔画像データ
Ｍ１，Ｍ２ 利用者
Ｄｔｈ しきい値
ＤＸ１，ＤＸ２ 距離
【技術分野】
【０００１】
この発明は、カメラ等の撮像装置で撮像された画像データ内に、複数の利用者の顔部分を含む部分画像データ（以下、「顔画像データ」と言う）が存在する場合に、認証対象者となる利用者の顔画像データを正確かつ効率的に顔認証データベースに自動登録することができる顔認証データベース構築方法、顔認証装置及び顔認証プログラムに関する。
【背景技術】
【０００２】
従来、認証対象者となる利用者に対して会員証や社員証などのＩＤカード（Identity Card）を発行しておき、各利用者の入退出時にＩＤカードに記録した利用者識別情報（以下、「利用者ＩＤ」と言う）をリーダライタで読み取って個人認証を行う個人認証システムが知られている。また、かかるＩＤカードの偽造等の不正に対応するために、利用者の指紋を用いた個人認証を行う個人認証システムも知られている。
【０００３】
ところが、上記指紋認証技術等を用いる場合には、利用者を認証する度に該利用者を静止させて指紋を採取しなければならず、利用者の利便性等の観点から見て好ましくない。このため、最近では、歩行する利用者を静止させなくとも個人認証を行うことができる顔認証技術が注目されている。例えば、特許文献１には、あらかじめ利用者の顔画像データの特徴量を辞書情報として登録しておき、歩行中の利用者がカメラに近づく際に、該カメラで利用者の顔部分を撮像して顔画像データを取得し、取得した利用者の顔画像データの特徴量と辞書情報の内容とを照合して利用者の顔認証を行う技術が開示されている。
【０００４】
しかし、この特許文献１に代表される従来の顔認証システムによれば、あらかじめ利用者の顔画像データを顔認証データベースに登録しなければならないため、利用者自身及び顔認証データベースの作業者に負担を強いる結果となる。顔部分を撮影した顔画像データを顔認証データベースに登録する時間が利用者及び作業者に必要であり、また作業者が該顔画像データを手動で編集する必要が生ずるからである。特に、人の顔は経年変化する性質があるため、定期的に上記負担が生ずる。
【０００５】
このため、特許文献２では、出入口の近くにカードリーダ及びカメラを設置しておき、利用者ＩＤが付与されたＩＤカードがカードリーダで読み込まれた際に、該カメラに映っている人物の顔画像データを利用者ＩＤに関連付けて顔認証データベースに自動登録するよう構成した入退室管理装置が開示されている。この特許文献２を用いると、初回のみ利用者の顔画像データを利用者ＩＤに関連付けて登録しておけば、２回目以降はＩＤカードの読取操作を行わなくとも出入口を通過することができる。また、利用者の顔画像データが自動取得され、自動取得された顔画像データが利用者ＩＤに関連付けて顔認証データベースに自動登録されるため、利用者及び作業者の負担を軽減することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１０４５９９号公報
【特許文献２】特開２００５−１４６７０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献２を用いたとしても、複数の利用者が連れだって歩行し、カメラで撮像された画像データ内に複数の利用者の顔部分が映ってしまうと、各利用者の顔画像データのいずれを利用者ＩＤと関連付けるべきかが不明確になってしまう。その結果、一人の利用者のみをカメラで撮影できる位置（例えば、リーダライタの手前）まで利用者を誘導しないと、利用者ＩＤに対応する顔画像データが正しく登録できなくなるという問題が生ずる。
【０００８】
これらのことから、カメラで撮像された画像データ内に複数の利用者の顔画像データが存在する場合に、認証対象者となる利用者の顔画像データをいかにして正確かつ効率的に顔認証データベースに自動登録するかが重要な課題となっている。なお、かかる課題は、カメラで利用者の静止画を撮像するだけではなく、ビデオカメラで動画を撮影して静止画を切り出す場合にも同様に生ずる課題である。
【０００９】
本発明は、上述した従来技術の課題を解消するためになされたものであって、撮像装置で撮像された画像データ内に、複数の利用者の顔画像データが存在する場合に、認証対象者となる利用者の顔画像データを正確かつ効率的に顔認証データベースに自動登録することができる顔認証データベース構築方法、顔認証装置及び顔認証プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するため、本発明は、利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器の近傍に配設された撮像装置によって撮像された利用者の顔画像データを前記操作器により取得された利用者識別情報と関連付けて顔認証データベースに登録する顔認証データベース構築方法であって、前記操作器が操作されたか否かを検出する操作検出工程と、前記撮像装置により撮像された画像データ内の利用者の顔部分を含む顔画像データを検出する顔画像データ検出工程と、前記顔画像データが検出された利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出工程と、前記操作器の操作が検出され、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理工程とを含んだことを特徴とする。
【００１１】
また、本発明は、利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器の近傍に配設された撮像装置によって撮像された利用者の顔画像データを前記操作器により取得された利用者識別情報と関連付けて顔認証データベースに登録する顔認証データベース構築方法であって、前記操作器が操作されたか否かを検出する操作検出工程と、前記撮像装置により撮像された画像データ内の利用者の顔部分を含む顔画像データを検出しつつ該利用者を追跡し、該追跡された利用者の一連の顔画像データを関連付けて保持する追跡処理工程と、追跡されている利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出工程と、前記操作器の操作が検出され、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データをもつ前記一連の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理工程とを含んだことを特徴とする。
【００１２】
また、本発明は、上記発明において、前記登録処理工程は、前記最小距離の利用者の顔画像データと同一の利用者識別情報が関連付けられた前記顔認証データベースの登録済みの顔画像データと、前記一連の顔画像データとの類似度を算出し、該一連の顔画像データのうちの所定の類似度以上を有した顔画像データを前記顔認証データベースに登録することを特徴とする。
【００１３】
また、本発明は、上記発明において、前記登録処理工程は、前記最小距離の利用者の顔画像データと該最小距離の利用者の顔画像データ以外の一連の顔画像データとの類似度を算出し、前記一連の顔画像データのうちの所定の類似度以上を有した顔画像データを、前記最小距離の利用者の顔画像データとともに登録することを特徴とする。
【００１４】
また、本発明は、上記発明において、前記撮像装置により撮像された画像データ内の複数の利用者のうちの一人の利用者が前記登録処理工程によって登録された場合に、該登録された利用者からの距離が所定範囲内の利用者であって前記登録処理工程によって登録されない利用者が存在すると判定されたならば、該利用者を不審者として警報出力する警報出力工程をさらに含んだことを特徴とする。
【００１５】
また、本発明は、利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器と、該操作器の近傍に配設された利用者を撮像する撮像装置と、該撮像装置により撮像された利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて登録する顔認証データベースとを有し、該顔認証データベースを用いて利用者の顔認証を行う顔認証装置であって、前記撮像装置により撮像された利用者の顔画像データを検出する顔画像検出部と、前記撮像装置により撮像された画像データ内の利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出部と、前記操作器に対する操作が行われ、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理部とを備えたことを特徴とする。
【００１６】
また、本発明は、利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器と、該操作器の近傍に配設された利用者を撮像する撮像装置と、該撮像装置により撮像された利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて登録する顔認証データベースとを有し、該顔認証データベースを用いて利用者の顔認証を行う顔認証装置であって、前記撮像装置により撮像された画像データ内の利用者の顔画像データを検出しつつ該利用者を追跡し、該追跡された利用者の一連の顔画像データを関連付けて保持する追跡処理部と、追跡されている利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出部と、前記操作器の操作が行われ、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データが関連付けられた前記一連の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理部とを備えたことを特徴とする。
【００１７】
また、本発明は、利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器と、該操作器の近傍に配設された利用者を撮像する撮像装置と、該撮像装置により撮像された利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて登録する顔認証データベースとを有し、該顔認証データベースを用いて利用者の顔認証を行う顔認証装置の顔認証プログラムであって、前記撮像装置により撮像された利用者の顔画像データを検出する顔画像検出手順と、前記撮像装置により撮像された画像データ内の利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出手順と、前記操作器に対する操作が行われ、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理手順とをコンピュータに実行させることを特徴とする。
【００１８】
また、本発明は、利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器と、該操作器の近傍に配設された利用者を撮像する撮像装置と、該撮像装置により撮像された利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて登録する顔認証データベースとを有し、該顔認証データベースを用いて利用者の顔認証を行う顔認証装置の顔認証プログラムであって、前記撮像装置により撮像された画像データ内の利用者の顔画像データを検出しつつ該利用者を追跡し、該追跡された利用者の一連の顔画像データを関連付けて保持する追跡処理手順と、追跡されている利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出手順と、前記操作器の操作が行われ、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データが関連付けられた前記一連の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理手順とをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、操作器の操作が検出され、操作器から利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像と利用者識別情報とを関連付けて顔認証データベースに登録するよう構成したので、撮像装置で撮像された画像データ内に、複数の利用者の顔画像データが存在する場合に、認証対象者となる利用者の顔画像データを正確かつ効率的に顔認証データベースに自動登録することができる。
【００２０】
本発明によれば、撮像装置により撮像された画像データ内の利用者の顔画像データを検出しつつ該利用者を追跡し、該追跡された利用者の一連の顔画像データを関連付けて保持し、操作器の操作が検出され、操作器から利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データを含む一連の顔画像データと利用者識別情報とを関連付けて顔認証データベースに登録するよう構成したので、実環境に近い様々な顔画像データを登録することができ、利用者識別情報と利用者の顔画像との関連付けを一層精度高く自動登録することができる。
【図面の簡単な説明】
【００２１】
【図１】図１は、本実施例１に係る入退室管理装置の構成を示す模式図である。
【図２】図２は、顔画像検出部によって取得される顔画像の一例を示す図である。
【図３】図３は、画角が一定の場合におけるカメラと基準画像と利用者の顔画像との距離関係を説明する説明図である。
【図４】図４は、画角が異なる場合におけるカメラと利用者の顔画像との距離関係を説明する説明図である。
【図５】図５は、顔が撮像方向に傾いた状態を示す説明図である。
【図６】図６は、カメラからの距離とカメラに対する角度とを用いて利用者の顔画像の位置を算出する説明図である。
【図７】図７は、操作器と利用者の顔画像との間の距離を示す説明図である。
【図８】図８は、図１に示した入退室管理装置による顔認識データベースへの顔画像登録処理手順を示すフローチャートである。
【図９】図９は、本実施例２に係る入退室管理装置の構成を示す模式図である。
【図１０】図１０は、図９に示した追跡処理部による一連の顔画像データを生成する追跡処理手順を示すフローチャートである。
【図１１】図１１は、追跡処理によって取得される一連の顔画像データの一例を示す図である。
【図１２】図１２は、図９に示した入退室管理装置による顔認識データベースへの顔画像登録処理手順を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下に、添付図面を参照して、本発明に係る顔認証データベース構築方法、顔認証装置及び顔認証プログラムの好適な実施例を詳細に説明する。以下に示す実施例１及び２では、本発明に係る顔認証データベース構築方法、顔認証装置及び顔認証プログラムを入退室管理装置に適用した場合について説明する。
【実施例１】
【００２３】
まず、本実施例１に係る入退室管理装置１の特徴及び構成について説明する。図１は、本実施例１に係る入退室管理装置１の構成を示す図である。図１に示す入退室管理装置１は、顔認証を利用して利用者の入退室管理を行う装置であり、従来技術と同様に予め各利用者に対して該利用者を一意に識別する利用者ＩＤが記録されたＩＤカード２ａを発行する。ただし、かかるＩＤカード２ａを発行する時点では、該利用者の顔画像データについては登録しない。なお、ＩＤカード２ａを発行する時点で利用者の氏名や所属等の個人情報を登録することもできるが、ここではその説明を省略する。
【００２４】
そして、利用者が、初回の入室を行うためにＩＤカード２ａを操作器２に読み取らせたならば、カメラ３によって撮像した画像データから利用者の顔部分を含む顔画像データを切り出し、これをＩＤカード２ａの利用者ＩＤに関連付けて顔認証データベース５に登録する。このように、この入退室管理装置１では、事前に良好な環境で利用者の顔画像データを取得するのではなく、ＩＤカード２ａのみを先に発行しておき、利用者の顔画像データは実環境で取得することとしている。実環境で撮像した利用者の顔画像データを顔認証データベース５に登録することで、より一層顔認証の精度が向上するからである。
【００２５】
ここで、本実施例１に係る入退室管理装置１は、初回登録時にカメラ３で撮像された画像データ内に複数の利用者の顔部分が映っている場合であっても、各利用者の顔画像データの中から最も適切な顔画像データを抽出し、抽出した顔画像データを利用者ＩＤに関連付けて顔認証データベース５に登録するよう構成した点に特徴がある。
【００２６】
具体的には、予め操作器２を基準位置とした距離のしきい値Ｄｔｈを設定しておき、このしきい値Ｄｔｈ内に所在する利用者の顔画像データを利用者ＩＤに関連付けて顔認証データベース５に登録する。例えば、図１に示すカメラ３で撮像した画像データ内に利用者Ｍ１及びＭ２の顔画像データが含まれている場合に、操作器２から利用者Ｍ１の顔部分までの距離ＤＸ１及び操作器２から利用者Ｍ２の顔部分までの距離ＤＸ２を算定し、しきい値Ｄｔｈ内の距離ＤＸ１となる利用者Ｍ１の顔画像データを顔認証データベース５に登録する。これにより、本実施例１に係る入退室管理装置１によれば、カメラ３により撮像された画像データ内に複数の利用者の顔部分が映っている場合であっても、正確な顔画像データを効率良く顔認証データベース５に登録することが可能となる。
【００２７】
なお、利用者に対する初回の顔画像データの登録が完了し、該利用者が２回目以降の入退出を行う場合には、その時点での新たな顔画像データを取得して顔認証データベース５に登録される。利用者の顔部分は経年変化に伴い変動しやすい性質を有するためである。
【００２８】
図１に示すように、本実施例１に係る入退室管理装置１は、操作器２と、カメラ３と、制御部４と、顔認証データベース５と、ゲート１０とを有する。また、制御部４は、操作検出部１１と、顔画像検出部１２と、距離算出部１３と、登録処理部１４と、類似度算出部１５と、顔認証処理部１６と、警報出力部１７とを有する。なお、図１では入退室管理装置１のうちの入室側の構成を図示したが、顔認証データベース５を退室側にも共通使用することができる。
【００２９】
操作器２は、利用者Ｍ１及びＭ２が保有するＩＤカード２ａの利用者ＩＤを取得するカードリーダである。具体的には、ＩＤカード２ａが非接触式のカードである場合にはＩＤカード２ａに記録した利用者ＩＤを近距離無線通信により受信し、ＩＤカード２ａが磁気記録式のカードである場合にはＩＤカード２ａに磁気記録した利用者ＩＤを読み取る。なお、かかる操作器２は、利用者自身が手入力で利用者ＩＤを入力するテンキー等であっても良く、利用者ＩＤを取得できればよい。
【００３０】
カメラ３は、利用者を撮像して画像データを出力するＣＣＤ（Charge Coupled Device）素子などからなる撮像装置である。このカメラ３は、操作器２を操作する利用者の顔部分並びに利用者が操作器２に至る途中での該利用者の顔部分を撮像できる画角にあらかじめ設定されている。
【００３１】
制御部４は、入退室管理装置１を全体制御するコンピュータであり、操作器２、カメラ３、ゲート１０及び顔認証データベース５と接続されている。この制御部４は、少なくとも、操作器２を操作した利用者の顔画像データを利用者ＩＤに関連付けて顔認証データベース５に自動登録する処理を行う。また、この制御部４は、顔認証データベース５に登録された顔画像データを用いて利用者の顔認証処理を行い、この認証結果に基づいて利用者の入退室管理を行う。具体的には、制御部４は、利用者を認証できた場合にはゲート１０を開き、利用者を認証できない場合にはゲート１０の閉鎖状態を維持する制御を行う。なお、ゲート１０の開閉制御は周知の技術を用いることができるため、ここではその詳細な説明を省略する。
【００３２】
顔認証データベース５は、利用者ＩＤと１又は複数の顔画像データとを関連付けて格納するデータベースである。この顔認証データベース５は、利用者にＩＤカード２ａを付与する時点では該利用者の顔画像データが登録されておらず、ＩＤカード２ａの初回利用時に利用者の顔画像データが登録される。このため、利用者の初回利用時にはＩＤカード２ａを発行した作業員が立ち会うことが望ましい。なお、上記制御部４は、顔認証データベース５のデータベース管理装置（ＤＢＭＳ）の役割を果たす。
【００３３】
操作検出部１１は、利用者により操作器２が操作されたか否かを検出する処理部である。例えば、ＩＤカード２ａが非接触式のカードである場合には、利用者がＩＤカード２ａを操作器２に翳し操作したことを検出して、該ＩＤカード２ａから利用者ＩＤを受信する。また、ＩＤカード２ａが磁気記録式のカードである場合には、利用者がＩＤカード２ａを操作器２に接触させたことを検出して、該ＩＤカード２ａから利用者ＩＤを読み取る。
【００３４】
顔画像検出部１２は、カメラ３によって撮像された画像データ内に存在する人の顔部分を含む矩形の顔画像データを切り出す処理部である。図２は、顔画像検出部１２によって検出される顔画像データの一例を示す図である。同図に示すように、ここではカメラ３で撮像された画像データ２０内に利用者Ｍ１及び利用者Ｍ２が含まれており、この利用者Ｍ１の顔画像データ２１と利用者Ｍ２の顔画像データ２２を切り出す状況を示している。ここで、利用者の顔画像データを切り出す際には、人の一般的な顔の輪郭を示すテンプレートを準備し、このテンプレートを画像データ２０にずらしマッチングすることで、画像データ内に存在する顔画像データ２１及び２２を検出することができる。なお、かかるテンプレートマッチングだけではなく、公知の各種顔検出アルゴリズム（画像処理技術）を用いることができる。
【００３５】
距離算出部１３は、カメラ３により撮像された２次元の画像データ上の利用者の位置を算出し、算出した位置から操作器２の位置までの距離を算出する処理部である。この距離算出部１３により、図１に示す操作器２から利用者Ｍ１までの距離ＤＸ１及び操作器２から利用者Ｍ２までの距離ＤＸ２が算出される。この画像データ上の利用者の位置は、カメラ３からの距離とカメラ３の光軸からの角度とによってベクトル的に求められる。なお、この距離算出部１３による距離算出の詳細な説明については後述する。
【００３６】
登録処理部１４は、利用者の顔画像データを利用者ＩＤに関連付けて顔認証データベース５に登録する処理部である。すでに説明したように、本実施例１では、利用者にＩＤカード２ａを発行する時点で別環境にて利用者の顔部分を撮像するのではなく、利用者が実環境で最初にＩＤカード２ａを利用して入室する時点で利用者の顔部分をカメラ３で撮像して顔認証データベース５に登録する。また、利用者が２回目以降の入退室を行う際に、新たな顔画像データを利用者ＩＤに関連付けて顔認証データベース５に追加登録する。具体的には、操作器２により利用者のＩＤカード２ａを用いた操作が検出され、操作器２から利用者までの距離が算定されると、この距離がしきい値Ｄｔｈ以下である場合に、最小距離の利用者の顔画像データと操作器２により取得した利用者ＩＤとを関連付けて顔認証データベース５に登録処理する。
【００３７】
類似度算出部１５は、顔画像データ相互間の類似度を算出する処理部である。例えば、ある顔画像データと他の顔画像データの相互相関係数を算定し、算定した相互相関係数を類似度とすることができる。かかる相互相関係数を類似度として用いると、両顔画像データに同一人物の顔部分が含まれる場合に類似度が高くなり、両顔画像データに異なる人物の顔部分が含まれる場合に類似度が低くなる。なお、この類似度算出部１５では、相互相関係数以外の公知の類似度算出技術を用いることもできる。
【００３８】
顔認証処理部１６は、上記類似度算出部１５により算出された類似度を用いて、利用者が顔認証データベース５に登録された登録済みの利用者であるか否かを認証する処理部である。具体的には、顔画像検出部１２により検出された利用者の顔画像データと顔認証データベース５に登録された顔画像データとの類似度を算出するよう類似度算出部１５に指示し、この類似度算出部１５により算出された類似度に基づいて、該利用者が顔認証データベース５に登録された登録済みの利用者であるか否かを認証する。顔認証データベース５に登録済みの利用者については、ＩＤカード２ａの操作がなされなくともゲート１０を開制御する必要があるためである。
【００３９】
なお、顔認証データベース５に登録された顔画像データが一つのみである場合には、上記顔画像データ間の類似度が所定の閾値以上である場合に、利用者が顔認証データベース５に登録済みであると判定し、顔認証データベース５に登録された顔画像データが複数存在する場合には、顔画像検出部１２により検出された利用者の顔画像データと顔認証データベース５に登録された複数の顔画像データの各類似度のうちの例えば上位３つの類似度を抽出し、抽出した上位３つの類似度のうちの平均値が所定の閾値以上である場合に、利用者が顔認証データベース５に登録済みであると判定することができる。なお、かかる判定処理としては、既存の周知技術を用いることができる。
【００４０】
警報出力部１７は、顔認証処理部１６により利用者が顔認証データベース５に登録済みでないと判定された場合に、警報を出力する処理部である。かかる警報出力としては、実際に音声出力するほか、所定の警備員の携帯端末に「異常発生」を報知するものでも良い。なお、かかる警報を出力している間は、ゲート１０の閉鎖状態が維持される。
【００４１】
次に、上記距離算出部１３による距離算出の概念について図３〜図７を用いて詳細に説明する。図３に示すように、カメラ３から利用者の位置までの距離Ｌは、顔画像データ上の顔部分の幅を形成する画素数をＦとし、予め設定された基準となる距離をＬｓとし、この距離Ｌｓに対応して設定された基準となる顔部分の幅の画素数をＦｓとすると、
Ｌ＝（Ｌｓ×Ｆｓ）／Ｆ
の算定式を用いて算定することができる。かかる算定式は、カメラ３によって撮像された画像データ中の顔部分の大きさが操作器２から利用者までの距離に応じて変化し、利用者の位置が操作器２に近いほど大きくなり、利用者の位置が操作器２から離れるほど小さくなることを利用したものである。なお、ここでは顔部分の幅の画素数を用いる場合を示しているが、顔の頭の先から顎までの幅の画素数、眉から口元までの幅の画素数又は目から顎までの幅の画素数等の所定幅を用いることもできる。
【００４２】
また、図３では基準となる画像データと距離算出対象となる画像データの画角αｓが一定である場合を示したが、基準となる画像データの画角αｓと異なる画角αで距離算出対象となる画像データを撮像した場合には、かかる画角の変化を補正する必要がある。図４は、画角が異なる場合のカメラ３と画像データまでの距離の関係を説明するための説明図である。図４に示したカメラ３から利用者までの距離Ｌは、
Ｌ＝（Ｌｓ×tan（αｓ／２）×Ｆｓ）／（tan（α／２）×Ｆ）
の算定式を用いて算定することができる。
【００４３】
また、図５に示すように、顔の向きが上下あるいは左右に傾いた場合には、かかる傾きの誤差を補正する必要がある。正面を向いた顔画像の顔部分の幅がＦ画素である場合に、傾いた顔部分の幅は、カメラ３の撮像方向への傾きをβとすると、Ｆ×cosβとなる。したがって、距離Ｌは、
Ｌ＝（Ｌｓ×tan（αｓ／２）×Ｆｓ）／（tan（α／２）×Ｆ×cosβ）
の算定式を用いて算定することができる。
【００４４】
一方、図６に示すように、カメラ３の光軸から利用者への角度θは、カメラ３の水平方向の画角をαｈとし、カメラ３の水平方向の全画素数をＮとし、利用者の水平方向の座標をＸとした場合に、
θ＝tan-1（（２×Ｘ／Ｎ）−１）×tan（αｈ／２））
の算定式を用いて算定することができる。
【００４５】
したがって、図６に示した距離Ｌ及び角度θを算出することにより、カメラ３に対する利用者の位置（座標）Ｐを算出することができる。そして、このようにして利用者の位置Ｐが算定できると、たとえば、図７に示すように、カメラ３の位置Ｐ１０に対する利用者Ｍ１の位置Ｐ１、カメラ３の位置Ｐ１０に対する利用者Ｍ２の位置Ｐ２を算出することができる。一方、カメラ３の位置Ｐ１０に対する操作器２の位置Ｐ０は既知であるので、操作器２と利用者Ｍ１との間の距離ＤＸ１並びに操作器２と利用者Ｍ２との間の距離ＤＸ２を算出することができる。
【００４６】
次に、図１に示した登録処理部１４による顔認証データベース５への顔画像データの登録処理手順について説明する。図８は、図１に示した登録処理部１４による顔認証データベース５への顔画像データの登録処理手順を示すフローチャートである。ここでは、利用者がＩＤカード２ａを用いて顔画像データを初回登録する場合を示している。
【００４７】
同図に示すように、登録処理部１４は、まず、カメラ３に対する操作器２の位置Ｐ０及びしきい値Ｄｔｈを取得する（ステップＳ１０１）。その後、カメラ３により撮像された画像データを取得するとともに（ステップＳ１０２）、利用者によって操作器２が操作されたか否かを判定する（ステップＳ１０３）。
【００４８】
ここで、利用者によって操作器２が操作された場合には（ステップＳ１０３，Ｙｅｓ）、取得された画像データ内で顔部分が検出されたか否かを判定する（ステップＳ１０４）。これに対して、利用者によって操作器２が操作されない場合には（ステップＳ１０３，Ｎｏ）、ステップＳ１０２に移行して、次の画像データが取得される。なお、画像データ内で顔部分が検出されない場合にも（ステップＳ１０４，Ｎｏ）、ステップＳ１０２に移行して、次の画像データを取得する。
【００４９】
そして、画像データ内で顔部分が検出された場合には（ステップＳ１０４，Ｙｅｓ）、距離算出部１３に全ての顔画像データを送信して、利用者と操作器２との距離ＤＸを算出させる（ステップＳ１０５）。その後、算出された距離ＤＸがしきい値Ｄｔｈ以下であり、かつ、距離ＤＸが取得された距離ＤＸのなかで最小距離であるか否かを判定する（ステップＳ１０６）。距離ＤＸがしきい値Ｄｔｈ以下で、最小距離である条件を満足しない場合には（ステップＳ１０６，Ｎｏ）、ステップＳ１０２に移行して、次の画像データを取得する。
【００５０】
これに対して、距離ＤＸがしきい値Ｄｔｈ以下であり、かつ、最小距離である場合には（ステップＳ１０６，Ｙｅｓ）、操作器２から取得した利用者ＩＤと、この顔画像データとを関連付けて、顔認証データベース５に登録する（ステップＳ１０７）。その後、ステップＳ１０２に移行して次の画像データを取得する。
【００５１】
上述してきたように、本実施例１では、利用者による操作器２の操作が検出され、操作器２から利用者までの距離ＤＸがしきい値Ｄｔｈ以下である場合に、最小距離の利用者の顔画像データと操作器２により取得された利用者ＩＤとを関連付けて顔認証データベース５に自動登録するように構成したので、カメラ３により撮像された画像データ内に複数の顔部分が映っている場合であっても、利用者ＩＤに対応する利用者の顔画像データを正確かつ効率的に顔認証データベース５に自動登録することができる。このように、利用者の顔画像データを自動登録することで、利用者並びに顔認証データベース５を構築する作業者にかかる負担が軽減される。また、精度の高い顔認証データベースが構築されるため、顔認証処理自体の精度が向上する。
【実施例２】
【００５２】
ところで、上記実施例１では、操作器２の前に移動した利用者の顔画像データのみを顔認証データベース５に登録するよう構成したため、利用者が操作器２を操作する時点の顔画像データのみが顔認証データベース５に登録される。その結果、仮に利用者が操作器２を操作する時点で利用者の適正な正面顔の画像データが撮像されていない場合には、認証処理結果が低下するという問題がある。特に、インターホンのようにカメラ３と操作器２とが常に一体であるとは限らず、施工上の問題で操作器２の向きとカメラ３の向きとが異なる場合があるため、例えば操作器２がカメラ３に対して横を向いている場合には、利用者が操作器２を操作する時点で該利用者が横を向いてしまい、利用者が操作器２を操作する瞬間の正面顔をカメラ３で取得することが困難となる。加えて、顔認証処理を行う際には、複数枚の顔画像データを登録して認証精度を上げることが望ましいため、たとえ利用者が操作器２を操作する時点の正面顔の顔画像データを取得できた場合であっても、それ以外の顔画像データを含めて一括登録することが望ましい。
【００５３】
そこで、本実施例２に係る入退室管理装置１０１は、図９に示すように、カメラ３が撮像した画像データ内の利用者の顔部分を検出しつつ該利用者を追跡し、追跡した利用者の顔部分を含む一連の顔画像データを関連付けて保持する追跡処理部１８をさらに設けている。なお、距離算出部１３は、追跡されている利用者のカメラ３からの位置を算出し、該算出結果をもとに操作器２から利用者までの距離を算出する。登録処理部１４は、利用者による操作器２の操作が行われ、操作器２から利用者までの距離ＤＸがしきい値Ｄｔｈ以下となった場合に、最小距離の利用者の顔画像データを含む一連の顔画像データを操作器２により読み取られた利用者ＩＤに関連付けて顔認証データベース５に登録する。その結果、顔認証データベース５には、様々な向きや大きさなどの顔画像や実環境の照明に適した一連の顔画像データが自動登録され、顔認証精度が向上する。
【００５４】
まず、図１０に示したフローチャートを参照して、追跡処理部１８による利用者の追跡処理手順について説明する。追跡処理部１８は、まずカメラ３により撮像された画像データを取得する（ステップＳ２０１）。その後、この画像データ内で顔部分が検出されたか否かを判断する（ステップＳ２０２）。顔部分が検出されない場合には（ステップＳ２０２，Ｎｏ）、ステップＳ２０１に移行して新たな画像データを取得する。
【００５５】
一方、顔部分が検出された場合には（ステップＳ２０２，Ｙｅｓ）、この顔画像データを保持する（ステップＳ２０３）。その後、追跡条件を満足するか否かを判断する（ステップＳ２０４）。この追跡条件とは、各画像データの取得時間間隔内で、利用者が画像データ上で移動可能な範囲内となることである。たとえば、利用者の平均移動速度が秒速１０ｍであり、カメラ３が１フレームを処理する時間が毎秒３０枚であるとすると、利用者の１フレームあたりの移動範囲は、１０（ｍ／秒）÷３０（枚／秒）＝０．３３ｍとなる。この０．３３ｍ以内の範囲が移動可能な範囲となる。
【００５６】
そして、追跡条件、すなわち、次の画像データ内の利用者が移動可能な範囲内である場合には（ステップＳ２０４，Ｙｅｓ）、この追跡条件を満たす顔画像データを前回の顔画像データを含む現在追跡中のこれまでの顔画像データに関連付けて保持し（ステップＳ２０５）、その後ステップＳ２０４に移行し、次の顔画像データを検出した位置で追跡条件を満足するか否かの判定を繰り返して一連の顔画像データを保持する。一方、追跡条件を満足しない場合には（ステップＳ２０４，Ｎｏ）、追跡中の全顔画像データを削除して（ステップＳ２０６）、処理を終了する。
【００５７】
したがって、上記追跡処理では、追跡条件を満足する限り、顔部分の状態に関わらず同一利用者の顔部分を含む複数の顔画像データが関連する一連の顔画像データとして保持されることになる。たとえば、図１１に示すように、追跡条件を満足する顔画像データ３１〜３４は、顔部分の状態に関わらず、一連の顔画像データ３０として保持されることになる。
【００５８】
そして、登録処理部１４では、図１２のフローチャートに示した顔画像登録処理手順によって、実施例１と同様に、検出された顔画像データの利用者Ｍ１と操作器２との間の距離ＤＸがしきい値Ｄｔｈ以下で、最小距離であるか否かを判定する（ステップＳ３０６）。なお、ステップＳ３０１〜Ｓ３０６までの処理は、上記ステップＳ１０１〜Ｓ１０６と同じである。そして、距離ＤＸがしきい値Ｄｔｈ以下で、最小距離である場合には（ステップＳ３０６，Ｙｅｓ）、操作器２により読み取られた利用者ＩＤと、このステップＳ３０６の判定条件を満足した顔画像データを含む一連の顔画像データとを関連付けて顔認証データベース５に登録する（ステップＳ３０７）。その後、ステップＳ３０２に移行して上記一連の処理を繰り返す。
【００５９】
なお、利用者Ｍ１のすぐ後ろを人物Ａが歩いているような場合には、利用者Ｍ１の追跡結果のなかに人物Ａの顔画像が混ざり込む可能性がある。この場合、利用者Ｍ１が操作器２を操作すると、利用者Ｍ１の利用者ＩＤに人物Ａの顔画像データが誤って関連付けられてしまい、誤認証や識別性能低下の原因となる。そこで、追跡結果のなかに誤って混ざり込んだ顔画像データを顔認証データベース５に登録しないように対策を講ずる必要がある。
【００６０】
その第１の対策としては、追跡結果のなかの顔画像データと、顔認証データベース５内に格納された利用者Ｍ１のすべての顔画像データとの類似度を算出し、この類似度から利用者Ｍ１と判定される顔画像データだけを、利用者Ｍ１の利用者ＩＤに関連付けて顔認証データベース５に登録するようにするとよい。
【００６１】
その第２の対策としては、逆に、追跡結果のなかの顔画像データと、顔認証データベース５内に格納された利用者Ｍ１のすべての顔画像データとの類似度を算出し、この類似度から利用者Ｍ１以外の人物と判定される顔画像データに対して顔認証データベース５への登録処理を行わず、その他の顔画像データを利用者Ｍ１の利用者ＩＤに関連付けて顔認証データベース５に登録するようにするとよい。
【００６２】
その第３の対策としては、まず、実施例１のように、追跡結果のなかの全顔画像データのうち、操作器２に最も近い距離に位置する顔画像データを利用者Ｍ１と判定する。さらに、追跡結果のなかの他の顔画像データのうち、利用者Ｍ１と判定された顔画像データと類似する顔画像データを利用者Ｍ１と判定する。このような２段階の処理を行うことにより、利用者Ｍ１と判定された顔画像データを、利用者Ｍ１の利用者ＩＤに関連付けて顔認証データベース５に登録するようにするとよい。
【００６３】
上述してきたように、本実施例２では、操作器２の操作が行われ、操作器２から利用者までの距離ＤＸがしきい値Ｄｔｈ以下である場合、最小距離の利用者の顔画像データをもつ、追跡された一連の顔画像データと操作器２が読み込んだ利用者ＩＤとを関連付けて顔認証データベース５に登録するようにしているので、上述したように、歩行時の様々な向きや大きさの顔画像データを一括して顔認証データベース５に登録できることなる。この結果、運用する実環境の照明や動線に適した顔画像データを効率的に自動登録することができる。換言すれば、従来のシステムによる、顔の大きさの正規化や照明変動の推測、顔向きの推測によって構築されたデータベースよりも、実環境に対応した顔認証データベースを自動構築することができ、利用者および構築作業員の負担を軽減するとともに、顔認証精度の向上も実現することができる。
【００６４】
なお、上記実施例１及び２では、本発明を入退室管理システムに適用した場合を示したが、本発明はこれに限定されるものではなく、勤怠管理システムなど各種システムに適用することができる。また、操作器２としてカードリーダを用いることで、従来、社員証等のＩＣカードの利用のみで実現していた入退室管理や勤怠管理に、顔認証を導入することができる。そして、顔認証用の顔画像データが自動登録されるため、利用者は、わざわざＩＤカードをかざさなくても、電気錠の開錠やタイムカードの打刻が可能になる。さらに、開錠時（打刻時）の映像と利用者ＩＤとを関連付けて登録することができる。この結果、管理者によるチェックを一層厳密に行うことができるとともに、不正防止を図ることができる。なお、ＩＣカードの利用と顔認証処理との二重照合も可能であり、この二重照合を行うことによって、通常よりもセキュリティの高いシステムを実現することができる。
【００６５】
また、上記実施例１及び２では、操作器２をカードリーダとする場合を示したが、本発明はこれに限定されるものではない。操作器２は、ＩＤ情報のやり取りができればよく、社員証などのＩＣカードでなくても適用可能である。例えば、パーソナルコンピュータ（ＰＣ）のディスプレイにウェブカメラを取り付け、ログインする際のユーザ名とパスワードと顔画像データとを関連付けるようにして顔画像データを登録することができる。また、マンションのエントランスに設置されているオートロックなどに対しても、顔画像データと開錠用のパスワードとを関連付けて顔画像データを登録することもできる。
【００６６】
さらに、上記実施例１では、距離算出部１３が画像データを利用した位置算出処理を行って、操作器２の直近の利用者だけを顔認証データベース５に登録することとしたが、複数の利用者の位置と認証結果とを用いることにより、複数人の共連れを検出することも可能である。例えば、登録されている利用者の後方から認証されていない人物が接近している場合、不審者の共連れとして利用者Ｍ１に通知し、出入口の開錠を行わないなどの共連れ防止を行うこともできる。この場合には、警報出力部１７はかかる不審者の存在を警報出力することになる。
【産業上の利用可能性】
【００６７】
本発明に係る顔認証データベース構築方法、顔認証装置及び顔認証プログラムは、入退室監視システムや勤怠管理システムなどに適しており、特に、複数の利用者の顔画像データが存在する画像データから認証対象者となる利用者の顔画像データを正確かつ効率的に抽出して顔認証データベースに自動登録する場合に適している。
【符号の説明】
【００６８】
１，１０１ 入退室管理装置
２ 操作器
２ａ ＩＤカード
３ カメラ
４ 制御部
５ 顔認証データベース
１０ ゲート
１１ 操作検出部
１２ 顔画像検出部
１３ 距離算出部
１４ 登録処理部
１５ 類似度算出部
１６ 顔認証処理部
１７ 警報出力部
１８ 追跡処理部
２０ 画像データ
２１，２２ 顔画像データ
Ｍ１，Ｍ２ 利用者
Ｄｔｈ しきい値
ＤＸ１，ＤＸ２ 距離
【特許請求の範囲】
【請求項１】
利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器の近傍に配設された撮像装置によって撮像された利用者の顔画像データを前記操作器により取得された利用者識別情報と関連付けて顔認証データベースに登録する顔認証データベース構築方法であって、
前記操作器が操作されたか否かを検出する操作検出工程と、
前記撮像装置により撮像された画像データ内の利用者の顔部分を含む顔画像データを検出する顔画像データ検出工程と、
前記顔画像データが検出された利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出工程と、
前記操作器の操作が検出され、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理工程と
を含んだことを特徴とする顔認証データベース構築方法。
【請求項２】
利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器の近傍に配設された撮像装置によって撮像された利用者の顔画像データを前記操作器により取得された利用者識別情報と関連付けて顔認証データベースに登録する顔認証データベース構築方法であって、
前記操作器が操作されたか否かを検出する操作検出工程と、
前記撮像装置により撮像された画像データ内の利用者の顔部分を含む顔画像データを検出しつつ該利用者を追跡し、該追跡された利用者の一連の顔画像データを関連付けて保持する追跡処理工程と、
追跡されている利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出工程と、
前記操作器の操作が検出され、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データをもつ前記一連の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理工程と
を含んだことを特徴とする顔認証データベース構築方法。
【請求項３】
前記登録処理工程は、前記最小距離の利用者の顔画像データと同一の利用者識別情報が関連付けられた前記顔認証データベースの登録済みの顔画像データと、前記一連の顔画像データとの類似度を算出し、該一連の顔画像データのうちの所定の類似度以上を有した顔画像データを前記顔認証データベースに登録することを特徴とする請求項２に記載の顔認証データベース構築方法。
【請求項４】
前記登録処理工程は、前記最小距離の利用者の顔画像データと該最小距離の利用者の顔画像データ以外の一連の顔画像データとの類似度を算出し、前記一連の顔画像データのうちの所定の類似度以上を有した顔画像データを、前記最小距離の利用者の顔画像データとともに登録することを特徴とする請求項２に記載の顔認証データベース構築方法。
【請求項５】
前記撮像装置により撮像された画像データ内の複数の利用者のうちの一人の利用者が前記登録処理工程によって登録された場合に、該登録された利用者からの距離が所定範囲内の利用者であって前記登録処理工程によって登録されない利用者が存在すると判定されたならば、該利用者を不審者として警報出力する警報出力工程をさらに含んだことを特徴とする請求項１〜４のいずれか一つに記載の顔認証データベース構築方法。
【請求項６】
利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器と、該操作器の近傍に配設された利用者を撮像する撮像装置と、該撮像装置により撮像された利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて登録する顔認証データベースとを有し、該顔認証データベースを用いて利用者の顔認証を行う顔認証装置であって、
前記撮像装置により撮像された利用者の顔画像データを検出する顔画像検出部と、
前記撮像装置により撮像された画像データ内の利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出部と、
前記操作器に対する操作が行われ、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理部と
を備えたことを特徴とする顔認証装置。
【請求項７】
利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器と、該操作器の近傍に配設された利用者を撮像する撮像装置と、該撮像装置により撮像された利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて登録する顔認証データベースとを有し、該顔認証データベースを用いて利用者の顔認証を行う顔認証装置であって、
前記撮像装置により撮像された画像データ内の利用者の顔画像データを検出しつつ該利用者を追跡し、該追跡された利用者の一連の顔画像データを関連付けて保持する追跡処理部と、
追跡されている利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出部と、
前記操作器の操作が行われ、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データが関連付けられた前記一連の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理部と
を備えたことを特徴とする顔認証装置。
【請求項８】
利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器と、該操作器の近傍に配設された利用者を撮像する撮像装置と、該撮像装置により撮像された利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて登録する顔認証データベースとを有し、該顔認証データベースを用いて利用者の顔認証を行う顔認証装置の顔認証プログラムであって、
前記撮像装置により撮像された利用者の顔画像データを検出する顔画像検出手順と、
前記撮像装置により撮像された画像データ内の利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出手順と、
前記操作器に対する操作が行われ、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理手順と
をコンピュータに実行させることを特徴とする顔認証プログラム。
【請求項９】
利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器と、該操作器の近傍に配設された利用者を撮像する撮像装置と、該撮像装置により撮像された利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて登録する顔認証データベースとを有し、該顔認証データベースを用いて利用者の顔認証を行う顔認証装置の顔認証プログラムであって、
前記撮像装置により撮像された画像データ内の利用者の顔画像データを検出しつつ該利用者を追跡し、該追跡された利用者の一連の顔画像データを関連付けて保持する追跡処理手順と、
追跡されている利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出手順と、
前記操作器の操作が行われ、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データが関連付けられた前記一連の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理手順と
をコンピュータに実行させることを特徴とする顔認証プログラム。
【請求項１】
利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器の近傍に配設された撮像装置によって撮像された利用者の顔画像データを前記操作器により取得された利用者識別情報と関連付けて顔認証データベースに登録する顔認証データベース構築方法であって、
前記操作器が操作されたか否かを検出する操作検出工程と、
前記撮像装置により撮像された画像データ内の利用者の顔部分を含む顔画像データを検出する顔画像データ検出工程と、
前記顔画像データが検出された利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出工程と、
前記操作器の操作が検出され、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理工程と
を含んだことを特徴とする顔認証データベース構築方法。
【請求項２】
利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器の近傍に配設された撮像装置によって撮像された利用者の顔画像データを前記操作器により取得された利用者識別情報と関連付けて顔認証データベースに登録する顔認証データベース構築方法であって、
前記操作器が操作されたか否かを検出する操作検出工程と、
前記撮像装置により撮像された画像データ内の利用者の顔部分を含む顔画像データを検出しつつ該利用者を追跡し、該追跡された利用者の一連の顔画像データを関連付けて保持する追跡処理工程と、
追跡されている利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出工程と、
前記操作器の操作が検出され、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データをもつ前記一連の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理工程と
を含んだことを特徴とする顔認証データベース構築方法。
【請求項３】
前記登録処理工程は、前記最小距離の利用者の顔画像データと同一の利用者識別情報が関連付けられた前記顔認証データベースの登録済みの顔画像データと、前記一連の顔画像データとの類似度を算出し、該一連の顔画像データのうちの所定の類似度以上を有した顔画像データを前記顔認証データベースに登録することを特徴とする請求項２に記載の顔認証データベース構築方法。
【請求項４】
前記登録処理工程は、前記最小距離の利用者の顔画像データと該最小距離の利用者の顔画像データ以外の一連の顔画像データとの類似度を算出し、前記一連の顔画像データのうちの所定の類似度以上を有した顔画像データを、前記最小距離の利用者の顔画像データとともに登録することを特徴とする請求項２に記載の顔認証データベース構築方法。
【請求項５】
前記撮像装置により撮像された画像データ内の複数の利用者のうちの一人の利用者が前記登録処理工程によって登録された場合に、該登録された利用者からの距離が所定範囲内の利用者であって前記登録処理工程によって登録されない利用者が存在すると判定されたならば、該利用者を不審者として警報出力する警報出力工程をさらに含んだことを特徴とする請求項１〜４のいずれか一つに記載の顔認証データベース構築方法。
【請求項６】
利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器と、該操作器の近傍に配設された利用者を撮像する撮像装置と、該撮像装置により撮像された利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて登録する顔認証データベースとを有し、該顔認証データベースを用いて利用者の顔認証を行う顔認証装置であって、
前記撮像装置により撮像された利用者の顔画像データを検出する顔画像検出部と、
前記撮像装置により撮像された画像データ内の利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出部と、
前記操作器に対する操作が行われ、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理部と
を備えたことを特徴とする顔認証装置。
【請求項７】
利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器と、該操作器の近傍に配設された利用者を撮像する撮像装置と、該撮像装置により撮像された利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて登録する顔認証データベースとを有し、該顔認証データベースを用いて利用者の顔認証を行う顔認証装置であって、
前記撮像装置により撮像された画像データ内の利用者の顔画像データを検出しつつ該利用者を追跡し、該追跡された利用者の一連の顔画像データを関連付けて保持する追跡処理部と、
追跡されている利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出部と、
前記操作器の操作が行われ、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データが関連付けられた前記一連の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理部と
を備えたことを特徴とする顔認証装置。
【請求項８】
利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器と、該操作器の近傍に配設された利用者を撮像する撮像装置と、該撮像装置により撮像された利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて登録する顔認証データベースとを有し、該顔認証データベースを用いて利用者の顔認証を行う顔認証装置の顔認証プログラムであって、
前記撮像装置により撮像された利用者の顔画像データを検出する顔画像検出手順と、
前記撮像装置により撮像された画像データ内の利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出手順と、
前記操作器に対する操作が行われ、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理手順と
をコンピュータに実行させることを特徴とする顔認証プログラム。
【請求項９】
利用者の操作に応答して該利用者を一意に識別する利用者識別情報を取得する操作器と、該操作器の近傍に配設された利用者を撮像する撮像装置と、該撮像装置により撮像された利用者の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて登録する顔認証データベースとを有し、該顔認証データベースを用いて利用者の顔認証を行う顔認証装置の顔認証プログラムであって、
前記撮像装置により撮像された画像データ内の利用者の顔画像データを検出しつつ該利用者を追跡し、該追跡された利用者の一連の顔画像データを関連付けて保持する追跡処理手順と、
追跡されている利用者の前記撮像装置からの位置を算出し、該算出結果をもとに前記操作器から前記利用者までの距離を算出する距離算出手順と、
前記操作器の操作が行われ、前記操作器から前記利用者までの距離が所定距離以下である場合に、最小距離の利用者の顔画像データが関連付けられた前記一連の顔画像データと前記操作器により取得された利用者識別情報とを関連付けて前記顔認証データベースに登録する登録処理手順と
をコンピュータに実行させることを特徴とする顔認証プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−６９１５５（Ｐ２０１３−６９１５５Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０７８０６（Ｐ２０１１−２０７８０６）
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（０００２０２３６１）綜合警備保障株式会社 (266)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（０００２０２３６１）綜合警備保障株式会社 (266)
【Ｆターム（参考）】
[ Back to top ]