情報処理装置、情報処理装置の制御方法、プログラム
【課題】 被写体の向き、位置にロバストな画像中から所定のオブジェクトの特定を行う。
【解決手段】 第一の画像表示装置と第二の画像表示装置からなるシステムであって、前記第一の画像表示装置は識別子を取得して、識別子に関連付けられた第一の特徴情報から画像中のオブジェクトを特定して、特定したオブジェクトをもとに第二の特徴情報を生成し、
前記第二の画像表示装置は、前記第一のオブジェクト特定手段でオブジェクトが特定できなかった場合に、前記第一の画像表示装置が生成した第二の特徴情報に基づいてオブジェクトを特定し、その近傍に前記識別子と関連付けられている属性情報を合成して表示する。
【解決手段】 第一の画像表示装置と第二の画像表示装置からなるシステムであって、前記第一の画像表示装置は識別子を取得して、識別子に関連付けられた第一の特徴情報から画像中のオブジェクトを特定して、特定したオブジェクトをもとに第二の特徴情報を生成し、
前記第二の画像表示装置は、前記第一のオブジェクト特定手段でオブジェクトが特定できなかった場合に、前記第一の画像表示装置が生成した第二の特徴情報に基づいてオブジェクトを特定し、その近傍に前記識別子と関連付けられている属性情報を合成して表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像画像中のオブジェクトを特定する情報処理装置に関する。
【背景技術】
【0002】
近年、カメラ等で撮影した撮像画像に、撮像画像中の物体の属性情報を合成して表示するAR(Augmented Reality:拡張現実)技術がある。例えば、GPS(Global Positioning System)による位置情報に基づいて、撮像画像中の物体の属性情報を合成して表示する技術がある(非特許文献1)。
このようなARシステムにおいて被写体の近傍に被写体に関連した情報を表示することが望まれている。すなわち、撮影画像中に様々な被写体が含まれている場合、被写体に関連するそれぞれの情報が、どの被写体の情報であるのかユーザがわかるような形で表示することが望ましい。
特許文献1では、撮像装置が携帯情報機器等から取得した顔情報を用いて撮影画像の顔認識処理を行い、特定した人物に関する情報を撮像画像と合成して表示する。特許文献2では、撮像処理から得られた画像の特徴量だけでなく、撮像位置/方向に基づいて、撮像範囲と思われる被写体の情報を取得して、撮影画像中に表示する。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】http://sekaicamera.com
【特許文献】
【0004】
【特許文献1】特開2002−305717
【特許文献2】特開2010−118019
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術では、撮像画像中の被写体の近傍に該被写体に関連した情報を表示することが必ずしも出来る訳ではないという問題がある。特許文献1では、予め登録してある顔画像情報などの特徴情報から撮影画像中の被写体を特定しようとしているため、登録してある画像と被写体の向きまたは位置が異なっていた場合には撮影画像中から被写体を特定することが難しい。即ち、リファレンス顔画像と撮像時の顔画像とでは、経時変化や撮像環境により特徴情報が大きく変動してしまい、登録してある画像を認識処理に用いるのみでは必ずしも高度な認識ができることが保障されているわけではない。特に、リファレンス画像と撮像時の顔画像の顔の向きが違う場合も特徴情報は多きく変動してしまう。また、非特許文献1及び特許文献2は、撮像位置/方向に基づいて、撮像範囲と思われる被写体の情報を撮像画像中に表示するので必ずしも撮像画像中の被写体に関する情報が表示される訳では無い。また、撮像画像中の被写体に関する情報が表示されているとしても、正確な被写体の撮像画像中の領域を特定するわけでは無いので、被写体に関連する情報が、どの被写体の情報であるのかユーザがわかるような形で表示されるとは限らない。
本発明は上述の課題を鑑みてなされた発明であり、撮像画像から所定のオブジェクトの認識率を向上し、特定したオブジェクトと所定の情報とを関連付けて表示させることを目的とする。
【課題を解決するための手段】
【0006】
上述の課題を解決する手段として、撮像画像において所定のオブジェクトを特定するための第1の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第1の特定手段と、第1の他の装置が前記第1の特徴情報を用いて前記所定のオブジェクトの特定に成功した画像から生成された前記所定のオブジェクトを特定するための第2の特徴情報を取得する第2の特徴情報取得手段と、前記第1の特定手段が前記所定のオブジェクトを特定できなかった場合に、前記第2の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第2の特定手段と、前記第1の特定手段または第2の特定手段により特定された前記所定のオブジェクトと当該所定のオブジェクトに関する情報とを関連付けて表示部に表示させる表示制御手段と、を有することを特徴とする情報処理装置を提供する。
【発明の効果】
【0007】
本発明によれば、複数の特徴情報を用いて撮像画像から所定のオブジェクトの特定を行うので、所定のオブジェクトの認識率を上げることができる。したがって、所定のオブジェクトと所定の情報とを関連付けて表示する際の精度を高めることができる。
【図面の簡単な説明】
【0008】
【図1】実施例1乃至2におけるシステムの構成を示す図である。
【図2】実施例1におけるサーバのデータベース概念図である。
【図3】実施例1乃至2におけるデジタルカメラの構成を示す図である。
【図4】実施例1乃至2における携帯電話の構成を示す図である。
【図5】実施例1におけるデジタルカメラ101の撮影処理を示すシーケンス図である。
【図6】実施例1乃至2におけるデジタルカメラ101による撮影直後の画像データの一例を示す図である。
【図7】実施例1乃至2におけるデジタルカメラ101による画像合成後の画像データの一例を示す図である。
【図8】実施例1におけるデジタルカメラ102の撮影処理を示すシーケンス図である。
【図9】実施例1乃至2におけるデジタルカメラ102による撮影直後の画像データ一例を示す図である。
【図10】実施例1乃至2におけるデジタルカメラ102による画像合成後の画像データ一例を示す図である。
【図11】実施例2におけるデジタルカメラ101の撮影処理を示すシーケンス図である。
【図12】実施例2におけるサーバのデータベース概念図である。
【図13】実施例2におけるデジタルカメラ102の撮影処理を示すシーケンス図である。
【図14】実施例1乃至2におけるデジタルカメラ101、102の動作を示すフローチャートである。
【発明を実施するための形態】
【0009】
[実施例1]
以下は、添付図面に従って本発明に係る各実施例を説明する。図1は本実施例におけるシステムの構成を示す。本実施例では、デジタルカメラ101およびデジタルカメラ102が人物105、人物106を撮影する場合について述べる。また、人物105は携帯電話103の所有者である。
【0010】
サーバ104は、デジタルカメラ101、102から端末装置の識別情報を含んだ問い合わせを受信すると、データベースに保持する受信した識別情報に対応付けられた属性情報をデジタルカメラ101、102に送信する。また、サーバ104は、受信した識別情報に対応付けられたオブジェクトを撮像画像から検出して、特定するための特徴情報をデータベースにから取得し、デジタルカメラ101、102に送信する。
【0011】
サーバ104が管理するデータベースに保持される情報の一例を図2に示す。データベースには、端末装置を一意に識別するための識別子として識別情報201、端末装置に対応する属性情報として所有者の名前202、端末装置に対応する人物を特定するために用いる特徴情報203とを夫々関連付けているテーブルデータが保持されている。識別情報201は、端末装置を一意に識別可能な識別子として、例えば、MACアドレスや端末装置の所有者のユーザIDとする。名前202は、識別情報に関連付けられた属性情報の一例であり、デジタルカメラ101において撮像された画像と重畳して表示される情報である。なお、属性情報としては名前に限られず、URLなどで外部のサイトへのリンクでもよいし、趣味や生年月日など複数の項目を有していてもよい。特徴情報203は、識別情報に対応付けられたオブジェクトを撮像画像から検出して、特定するための情報である。本実施例においては、画像処理によるオブジェクト特定処理を行うためのリファレンス画像を特徴情報とする。なお、特徴情報としては、画像データに限られず、オブジェクト特定処理に用いるに任意の特徴情報であってよい。
【0012】
デジタルカメラ101、デジタルカメラ102は、他の端末装置から受信した該端末装置の識別情報に関連付けられた属性情報をサーバ104から取得し、取得した属性情報と撮像画像とを合成して表示部に表示させる情報処理装置である。また、デジタルカメラ101、102は、取得した属性情報と撮像した画像上のオブジェクトとを関連付けて表示部に合成して表示させる。したがって、デジタルカメラ101、102の表示画面に重畳して例えば端末装置の所有者に関する情報を表示するので、ユーザは容易に撮像画像中のオブジェクトに関する情報を取得することが可能となる。また、撮像画像中のオブジェクトに関連付けて情報を表示するので、どのオブジェクトがどのような情報を発しているかを容易に識別することが可能となる。また、デジタルカメラ101、102は、IEEE802.11シリーズに則った無線通信機能を有する。
【0013】
携帯電話103は、定期的あるいは他の装置の要求に応じて、自装置を一意に識別可能な識別子を識別情報として発信する端末装置である。本実施例において、携帯電話103は、IEEE802.11シリーズに則った無線通機能を有する。携帯電話103が発信する識別情報は、端末装置を一意に決定するための識別子であり、各装置にそれぞれ固有に設定される情報である。なお、識別情報として、端末装置のユーザを一意に識別するための情報であってもよい。識別情報はIEEE802.11シリーズに則ったビーコン・フレームのInformation Elementの一要素として付与され、送信されるものとする。携帯電話103の所有者は人物105であるとする。
【0014】
続いて、情報処理装置であるデジタルカメラ101、102の構成を図3を用いて説明する。なお、デジタルカメラ101、102は、CPU(Central Processing Unit)を有する。後述する処理は、CPUが制御プログラムを実行し、情報の演算や加工、各ハードウェアの制御を行うことで実現される。無線通信制御部301は、外部装置との間で無線信号の送受信により通信を行うためにアンテナや回路を制御する。なお、無線通信制御部301はIEEE802.11シリーズに則った通信処理を制御するものとする。シャッターボタン302は撮影を開始するためのボタンで、ユーザのシャッターボタン302の押下を検出し、撮像部303において撮影処理の開始を制御する。撮像部303はレンズ、撮像素子、A/D変換により構成され、レンズを介して取得した被写体光を撮像し、撮像した被写体光を画像データとして生成する。表示部304は、ディスプレイに撮像画像や各種情報を表示させる表示制御を行う。識別情報取得部305は、無線通信制御部301により受信した通信可能な範囲に存在する端末装置の識別情報を取得する。第1の特徴情報取得部306は、識別情報取得部305により取得した識別情報をもとにしてサーバ104に問い合わせを行い、識別情報に関連付けられ、予め登録されている特徴情報(第1の特徴情報)をサーバ104から取得する。属性情報取得部307は、識別情報取得部305が取得した識別情報をもとにしてサーバ104に問い合わせを行い、識別情報に関連付けられた属性情報をサーバ104から取得する。
【0015】
第1の特定部308は、取得した特徴情報をもとに撮像部303により撮像された画像データ上から、所定のオブジェクトを特定するためのハードウェア乃至はプログラムである。なお、本実施例においては、第1の特定部308は公知のオブジェクト認識処理を行い、取得した特徴情報に対応するオブジェクトを検出する。合成部309は、画像データ上の第1の特定部308または第2の特定部312により特定されたオブジェクトの近傍または任意の場所に、対応する属性情報とオブジェクトとを関連付けて合成し、合成画像データを作成する。特徴情報生成部310は、第1の特定部308または後述する第2の特定部312により特定したオブジェクトに関する新たな特徴情報を、特定に用いた撮像画像に基づいて生成する。生成された特徴情報は記憶部313に保存される。
【0016】
第2の特徴情報取得部311は無線制御部301を制御して、識別情報取得部305により取得した識別情報をもとにして他の装置に問い合わせを行い、識別情報に関連付けられ、他の装置により生成された特徴情報を取得する。第2の特定部312は、第2の特徴情報取得部311により取得された特徴情報をもとに撮像部303から得られた画像データから被写体を特定するためのプログラムまたはハードウェアである。記憶部313は、特徴情報生成部310で生成された特徴情報や各種情報を格納するためのメモリである。
【0017】
続いて、携帯電話103の構成を図4を用いて説明する。携帯電話103は、IEEE802.11シリーズに準拠した無線通信機能を有する。携帯電話103は自装置を一意に識別可能な識別情報を保持している。また、携帯電話103はCPUを有し、後述する各処理は、CPUが制御プログラムを実行し、情報の演算や加工、各ハードウェアの制御を行うことで実現される。図4に示すRF部401は無線LANで他の無線装置との間で無線信号の送受信を行うためのアンテナや回路を制御する。識別情報発信部402はRF401を制御することで、保持する識別情報を定期的、もしくは他の装置からの要求に応じて報知する。識別情報発信部402は、識別情報(識別子)をIEEE802.11シリーズに則ったビーコン・フレームのInformation Elementの一要素として付与し、送信する。携帯電話制御部403は、携帯電話として動作するためのアンテナや回路を制御することで携帯電話通信網と接続し、他の装置と通信を行う。
【0018】
以上説明を行った構成を有するシステムの動作を説明する。ここでは、デジタルカメラ101とデジタルカメラ102が撮影する際の処理の説明を行う。デジタルカメラ101、102が図1に示すように人物105と人物106を撮影する場合を例に述べる。デジタルカメラ101の撮像部303は人物105と人物106の正面に向いており、顔の検出、特定が可能である。一方、デジタルカメラ102の撮像部303は人物105と人物106の背面に向いており、正面から顔の撮像ができないものとする。
【0019】
まず、デジタルカメラ101が撮影する場合を図5のシーケンス図を用いて説明する。まず、デジタルカメラ101は、シャッターボタン302の操作の検出により、撮影処理を開始する(S501)。撮影された画像を図6に示す。画像601が撮影された画像であり、画像601には、人物105と人物106が撮影されている。被写体画像602は人物105に対応する被写体画像(画像601中の領域)であり、被写体画像603は人物106に対応する被写体画像(画像601中の領域)である。次に、デジタルカメラ101の識別情報取得部305は通信可能な範囲に存在する端末装置に対して識別情報を要求する。具体的には、識別情報取得部305は無線通信制御部301を制御し、IEEE802.11シリーズに則ったプローブ・リクエスト・フレームをブロードキャストで送信する(S502)。プローブ・リクエスト・フレームを受信した携帯電話103は、自装置の識別情報を付与したプローブ・レスポンス・フレームで応答する(S503)。デジタルカメラ101はプローブ・レスポンス・フレームを受信すると、識別情報取得部305は携帯電話103の識別情報を得ることができる。しかし、デジタルカメラ101はこの時点では、得られた識別情報が撮像画像中のどのオブジェクトに対応するものであるか、即ちどの人物が所有する装置から発信されかを認識することができない。
【0020】
続いて、デジタルカメラ101は識別情報取得部305によって取得した識別情報を得ると、第1の特徴情報取得部306と属性情報取得部307を用いて、取得した識別情報に対応する特徴情報および属性情報を取得するためサーバ104に問い合わせる。(S504)。すなわち、デジタルカメラ101は携帯電話103から取得した識別情報に基づいて、該識別情報に対応するオブジェクトの特徴情報および属性情報をサーバ104に要求する。サーバ104はデジタルカメラ101からの問い合わせを受信すると、問い合わせに含まれる識別情報をもとにデータベースから該識別情報に関連付けられた属性情報と特徴情報とを検索する(S505)。サーバ104は受信した識別情報に関連付けられた属性情報と顔の特徴情報が取得できると、これらの情報をデジタルカメラ101に送信する(S506)。デジタルカメラ101は、サーバ104から属性情報と特徴情報(第1の特徴情報)を受信すると、第1の特定部308は、取得した特徴情報をもとに、画像601から該当するオブジェクトの特定を試みる(S507)。第1の特定部308は、得られた特徴情報と画像601から取得した顔画像の特徴とを比較し、画像601(人物105)が対応するオブジェクトであると特定する。デジタルカメラ101は、第1の特徴情報を用いて撮像画像からオブジェクトの特定に成功した場合、特徴情報生成部310により画像601から人物105に関する新たな特徴情報を生成する(S508)。本実施例においては、特徴情報生成部310は、特定できた人物の衣服(服装)に該当する領域の特徴情報を生成する。服装に関する特徴情報は、色彩に関する情報であるとする。なお、生成する特徴情報としては色彩に関する情報でなくとも、服装を特定するために用いる任意の情報を特徴情報として構わない。生成した服装の特徴情報は、他の端末装置からの要求が発生したときのために記憶部に保存される(S509)。
【0021】
デジタルカメラ101の合成部309は、特定できた被写体画像602の近傍にS506で得られた属性情報を合成部309で合成し、表示部304は該合成画像を表示するよう表示制御を行う。(S510)。このときの表示部304に表示される画像のイメージを図7に示す。画像701は、撮像画像601と属性情報とを合成して生成され、表示部304により表示される画像の全体である。被写体画像702と被写体画像703はそれぞれ画像合成後の被写体画像602と被写体画像603に相当する。属性情報画像704はS506で得られた属性情報を画像として表示しているものであり、特定されたオブジェクトである被写体画像702に関連付けられて、その近傍(所定の距離内)に表示される。デジタルカメラ101のユーザは、これにより人物105に関する情報を視覚的に見ることができる。
【0022】
次に、デジタルカメラ102が撮影する場合を図8のシーケンス図を用いて説明する。まず、デジタルカメラ102は、シャッターボタン302の操作の検出により、撮影処理を開始する(S501)。撮影された画像を図9に示す。画像901が撮影された画像であり、画像901には、人物105と人物106が撮影されている。被写体画像902は人物105に対応する被写体画像であり、被写体画像903は人物106に対応する被写体画像である。人物105と人物106ともに背面からの画像である。
【0023】
S802からS806の処理は、S502からS506と同様であるので説明を省略する。S807はS507と同様に、サーバ104から取得した第1の特徴情報をもとに第1の特定部によって、画像901から該当するオブジェクトの特定を試みる。デジタルカメラ102から人物105は背面にあるため、取得した人物105の顔画像の特徴情報は、画像901上に存在しないため、特定処理に失敗する。デジタルカメラ102は、第1の特徴情報に基づいたオブジェクトの特定に失敗すると、別の特徴情報を用いての人物特定を試みる。そこで、デジタルカメラ102は第2の特徴情報取得部311により、特定処理に成功した周囲の装置から、特定処理に用いた撮像画像から生成した特徴情報(第2の特徴情報)の取得を試みる。具体的には、第2の特徴情報取得部311は、第2の特徴情報の要求を無線制御部301を介して通信可能な範囲に存在する周囲の端末装置に対してブロードキャストする(S808)。このときに、第2の特徴情報取得部は、特定処理の失敗したオブジェクトに対応する識別情報を付与することで、どのオブジェクトの特徴情報要求を行っているのか判別できるようにする。
【0024】
デジタルカメラ101は、デジタルカメラ102から特徴情報要求を受信すると、要求に含まれる識別情報に対応するオブジェクトの特定に成功しているかを判定する。デジタルカメラ101は、上述したS507により、携帯電話103の識別情報に対応するオブジェクトの特定に成功している。したがって、S508において生成した被写体画像602(被写体画像702)から生成した特徴情報を記憶部313から取得して、該特徴情報をデジタルカメラ102に送信する(S809)。これにより、デジタルカメラ102は、取得した識別情報に対応する第1の特徴情報を用いて特定処理に失敗した場合でも、他の装置により生成された他の特徴情報(第2の特徴情報)を得ることができる。
【0025】
デジタルカメラ102はデジタルカメラ101から第2の特徴情報を取得すると、それをもとに第2の特定部312によって、画像901から該当するオブジェクトの特定を試みる(S810)。第2の特定部312は、取得した第2の特徴情報と画像901から生成した画像特徴量を比較する。第2の特定部312は、取得した第2の特徴情報と被写体画像902の画像特徴量との相関が高く、所定の閾値を超えている場合は、被写体画像902を該当するオブジェクトと特定する。ここで、第2の特徴情報は、人物105の服装の色彩に関する特徴情報である、したがって、顔のように向きに関する特徴情報の変動が少ないため、向きに対してロバストに特定処理を行うことができる。特定処理に成功すると、デジタルカメラ102は特定できた被写体画像902の近傍にS806で得られた属性情報を合成部309で合成し、生成した画像を表示部304に表示する(S811)。
【0026】
このときの表示部304に表示される画像のイメージを図10に示す。画像1001は表示部304に表示される画像の全体である。被写体画像1002と被写体画像1003はそれぞれ画像合成後の被写体画像902と被写体画像903に相当する。属性情報画像904はS806で得られた属性情報を画像として表示しているものであり、属性情報と特定したオブジェクトである被写体画像1003とを関連付けて表示する。
【0027】
以上説明したように、本実施例では、デジタルカメラ102は、取得した携帯電話103の識別子に対応するオブジェクトを特定するための第1の特徴情報を用いて撮像画像からオブジェクト検出、特定を試みる。また、第1の特徴情報を用いてオブジェクトの特定に成功した装置に対して、第1の特徴情報を用いてオブジェクトの特定に成功した撮像画像から生成した新たな特徴情報(第2の特徴情報)を取得する。デジタルカメラ102は、第1の特徴情報を用いて特定に失敗した場合は、第2の特徴情報を用いて再度オブジェクトの特定を試みることができる。このように、予め登録されている第1の特徴情報から画像中からオブジェクトを特定できなかった場合においても、別の装置が新たに生成した特徴情報によりオブジェクトを特定できる。
【0028】
また、通信可能な周囲の装置に対してブロードキャストで第2の特徴情報の要求を行うため、被写体の近くに存在し、直近に該当するオブジェクトの特定に成功している可能性が高い装置に該要求が受信される。そのため、経時変化が少ない特徴情報を用いて再度特定処理を行うので認識率を向上することができる。また、第2の特徴情報として向きにロバストな特徴情報を用いることで認識率を向上することができる。
【0029】
したがって、認識率が向上することにより、オブジェクトとオブジェクトに関する属性情報を関連付けて表示することができるので、どの情報がどのオブジェクトに関するものかユーザが容易にわかるような形で表示を行うことができる。
【0030】
[実施例2]
本実施例と実施例1との差異は、第2の特徴情報の格納の方法と、第2の特徴情報の取得方法である。具体的には、実施例1においては、第2の特徴情報をデジタルカメラ102は第2の特徴情報を生成したデジタルカメラ101から取得した。即ち、第2の特徴情報を生成した装置と取得先の装置が同一である例を示した。本実施例では、第2の特徴情報を生成した装置と取得先の装置が同一でない例を示す。システムの構成、およびデジタルカメラ101、102、および携帯電話103は、実施例1と同様に図1と図3と図4で示される。実施例1と同様である点に関しては、ここでは説明を省略する。
【0031】
図11はデジタルカメラ101が、人物105、106を正面から撮影する際の処理のシーケンス図である。S1101からS1108は、実施例1のS501からS508と同じであるので説明は省略する。デジタルカメラ101は特定処理に成功した撮像画像から新たに特徴情報を生成すると、生成した特徴情報と携帯電話103の識別情報とを関連付けてサーバ104に送信する(S1109)。サーバ104は受信した識別情報をもとに、送信された特徴情報をデータベースに登録する(S1110)。
【0032】
サーバ104のデータベースの概念図を図12に示す。各人物に対して、識別情報、属性情報(名前)、第1の特徴情報、第2の特徴情報が夫々関連付けられている。また、第2の特徴情報は、必ずしも登録されているとは限らない。
【0033】
デジタルカメラ101は生成した特徴情報を送信した後に、被写体の近傍に属性情報を表示する(S1111)。得られる画像データは実施例1と同様に図7で示される。S1111は、実施例1におけるS510と同様の処理であるので詳細な説明は省略する。
【0034】
図13はデジタルカメラ102が、後ろ姿の人物105、106を撮影する際の処理のフローチャートである。S1301からS1307までの処理はS801からS807と同じであるので説明は省略する。デジタルカメラ102はS1307で第1の特徴情報に基づいた特定処理に失敗すると、サーバ104に第2の特徴情報を要求する(S1308)。このとき、携帯電話103の識別情報をクエリに問い合わせを行う。
【0035】
サーバ104は携帯電話103の識別情報に対応する第2の特徴情報の要求を受信すると、データベースから該識別情報に関連付けられた第2の特徴情報を検索する(S1309)。ここで検索結果としてデジタルカメラ101がS1109で送信した第2の特徴情報を得ることができる。サーバ104は検索した第2の特徴情報をデジタルカメラ102に応答として返す(S1310)。これにより、デジタルカメラ102は第2の特徴情報を得ることができる。S1311、S1312の処理はS810、S811と同じ処理であるので説明は省略する。これらの撮影処理を実施することで、図10のような画像データを得ることができ、人物105の後ろ姿からでも人物105を特定することができ、その属性情報を視覚的に見ることができる。
【0036】
実施例2では、人物を特定できたデジタルカメラがサーバに生成した特徴情報を送信し、サーバが登録する。そのため、撮影時に周囲に人物を特定できたデジタルカメラが存在しない場合でも、サーバに問い合わせることで、生成された特徴情報を用いて画像データ中から特定することができる。
【0037】
以上説明を行った実施例1および実施例2のデジタルカメラ101、102の動作を図14に示すフローチャートを用いてまとめる。まず、デジタルカメラ101、102のシャッターボタン302を操作することで撮影処理が開始される(S1401)。なお、ここでシャッターボタン302の操作とは、シャッターボタン302の半押し等の所定の操作により開始される自動焦点制御の指示も含む。続いて、撮影処理が開始されると、デジタルカメラ101は通信可能な範囲に存在する端末装置から識別情報(識別子)を取得する(S1402)。識別子が取得できなければ、属性情報を表示しないことを決定して(S1413)、処理を処終了する。
【0038】
デジタルカメラ101、102は、通信可能な範囲に存在する端末装置の識別情報を取得すると、取得した識別情報を含む要求を行い、サーバ104から識別情報に関連付けられた属性情報および特徴情報を取得する(S1403)。デジタルカメラ101、102の第1の特定部308は、取得した特徴情報を用いて撮像画像上に特徴情報に対応するオブジェクトの検出を試みる(S1404)。続いて、デジタルカメラ101、102はS1404による特定処理が成功したかを判断する(S1405)。S1405の結果、特定処理が成功した場合は、S1411に処理を進める。
【0039】
一方、S1405の結果、特定処理が失敗した場合は、第2の特徴情報取得部311は、S1403で取得した識別子を含めて、他の装置に第2の特定情報を要求する(S1407)。ここで、他の装置とは実施例1では周囲に存在するデジタルカメラであり、実施例2ではサーバ104である。続いて、デジタルカメラ101、102はS1406による要求の他の装置からの応答があるかどうかを判定する(S1407)。S1407の結果、応答がある場合は、S1408に処理を進め、ない場合は属性情報を表示しないことを決定して(S1413)、処理を終了する。
【0040】
デジタルカメラ101、102の第2特徴情報取得部311は、他の装置からの応答に含まれる第2の特徴情報を取得する(S1408)。続いて、第2の特定部312は、取得し第2の特徴情報を用いて撮像画像上に特徴情報に対応するオブジェクトの検出を試みる(S1409)。デジタルカメラ101、102はS1409による特定処理が成功したかを判断する(S1410)。S1410の結果、特定処理が成功した場合は、S1411に処理を進める。一方、S1410の結果、特定処理が失敗した場合は属性情報を表示しないことを決定して(S1413)、処理を処終了する。
【0041】
S1411では、特徴情報生成部310は特定処理に成功した撮像画像から特定したオブジェクトに関する特徴情報を新たに生成する。生成された特徴情報は、実施例1では他の装置から要求があれば送信するために記憶部313に保持する。実施例2では、生成された特徴情報は、サーバ104に送信される。S1412では、撮像画像から識別情報に対応するオブジェトを検出し、特定されると、合成部309は、検出されたオブジェクトと関連付けてその近傍に属性情報を合成する。そして、表示部304は該合成画像を表示する(S1412)。このように、予め登録されている第1の特徴情報から画像中からオブジェクトを特定できなかった場合においても、別の装置が新たに生成した特徴情報によりオブジェクトを特定できる。そして、デジタルカメラ101のユーザは、属性情報がオブジェクトに関連付けられて表示される合成画像を見ることにより、撮像画像中のオブジェクトに関連する情報を得ることができる。また、ユーザは、表示された情報がどのオブジェクトに関連付けられた情報であることが容易に知ることができる。
【0042】
(その他の実施形態)
その他の構成として、本発明は静止画によらず動画像において人物を特定し、属性情報を表示してもよい。その場合、動画像の各フレームを静止画として連続して処理することで実現してもよい。識別情報の発信や取得などに関わる通信は、IEEE802.11シリーズに則った無線LANの通信に限らず、Bluetooth(登録商標)やパッシブ/アクティブ型のRFIDなどでよい。また、無線LANとパッシブ型RFIDなど複数の無線通信インタフェースで同時に、識別情報に関する通信を行ってもよい。また、デジタルカメラ101、102に識別情報発信部を備え付けて、デジタルカメラにおいても識別情報を発信してもよい。
【0043】
また、実施例1、2では、第一の特徴情報として顔の特徴情報、第二の特徴情報として服装の特徴情報を用いたが、本発明はどの特徴情報を用いるかどうかは規定しない。第一の特徴情報として服装の特徴情報を用いて、第二の特徴情報として顔の特徴情報を用いてもよい。また、第一の特徴情報として、顔の特徴情報と服装の特徴情報といった複数の特徴情報を組み合わせてもよい。ただし第一の特徴情報は、顔のようにあまり中期的に変化しない特徴情報であることが好ましい。一方で、第二の特徴情報は、その都度、新しく生成される特徴情報であるので、服装のように変化がある特徴情報であってもよい。
【0044】
ただし、変化が激しい特徴情報を用いた場合には、記憶部313は服装の特徴情報を記憶した後に、一定時間経過後は該服装の特徴情報をクリアすることが望ましい。あるいは、日付が変わる等、ある特定の時間帯のタイミングでクリアしてもよい。
【0045】
その他の特徴情報としては、髪型や帽子や装飾品などから特徴情報を用いてもよい。また、第一の特徴情報で顔の特徴情報を用いて、第二の特徴情報として、特定した人物の顔の下にある色や形に基づいて特徴情報を生成してもよい。また顔と体の割合に基づいて特徴情報を生成してもよい。周りの物体との大きさの比率などから特徴情報を算出してもよい。
【0046】
また、本発明は、以下の処理を実行することによっても実現される。上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは情報処理装置に供給し、そのシステム或いは情報処理装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【符号の説明】
【0047】
101、102 デジタルカメラ
103 携帯電話
104 サーバ
105、106 人物
【技術分野】
【0001】
本発明は、撮像画像中のオブジェクトを特定する情報処理装置に関する。
【背景技術】
【0002】
近年、カメラ等で撮影した撮像画像に、撮像画像中の物体の属性情報を合成して表示するAR(Augmented Reality:拡張現実)技術がある。例えば、GPS(Global Positioning System)による位置情報に基づいて、撮像画像中の物体の属性情報を合成して表示する技術がある(非特許文献1)。
このようなARシステムにおいて被写体の近傍に被写体に関連した情報を表示することが望まれている。すなわち、撮影画像中に様々な被写体が含まれている場合、被写体に関連するそれぞれの情報が、どの被写体の情報であるのかユーザがわかるような形で表示することが望ましい。
特許文献1では、撮像装置が携帯情報機器等から取得した顔情報を用いて撮影画像の顔認識処理を行い、特定した人物に関する情報を撮像画像と合成して表示する。特許文献2では、撮像処理から得られた画像の特徴量だけでなく、撮像位置/方向に基づいて、撮像範囲と思われる被写体の情報を取得して、撮影画像中に表示する。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】http://sekaicamera.com
【特許文献】
【0004】
【特許文献1】特開2002−305717
【特許文献2】特開2010−118019
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術では、撮像画像中の被写体の近傍に該被写体に関連した情報を表示することが必ずしも出来る訳ではないという問題がある。特許文献1では、予め登録してある顔画像情報などの特徴情報から撮影画像中の被写体を特定しようとしているため、登録してある画像と被写体の向きまたは位置が異なっていた場合には撮影画像中から被写体を特定することが難しい。即ち、リファレンス顔画像と撮像時の顔画像とでは、経時変化や撮像環境により特徴情報が大きく変動してしまい、登録してある画像を認識処理に用いるのみでは必ずしも高度な認識ができることが保障されているわけではない。特に、リファレンス画像と撮像時の顔画像の顔の向きが違う場合も特徴情報は多きく変動してしまう。また、非特許文献1及び特許文献2は、撮像位置/方向に基づいて、撮像範囲と思われる被写体の情報を撮像画像中に表示するので必ずしも撮像画像中の被写体に関する情報が表示される訳では無い。また、撮像画像中の被写体に関する情報が表示されているとしても、正確な被写体の撮像画像中の領域を特定するわけでは無いので、被写体に関連する情報が、どの被写体の情報であるのかユーザがわかるような形で表示されるとは限らない。
本発明は上述の課題を鑑みてなされた発明であり、撮像画像から所定のオブジェクトの認識率を向上し、特定したオブジェクトと所定の情報とを関連付けて表示させることを目的とする。
【課題を解決するための手段】
【0006】
上述の課題を解決する手段として、撮像画像において所定のオブジェクトを特定するための第1の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第1の特定手段と、第1の他の装置が前記第1の特徴情報を用いて前記所定のオブジェクトの特定に成功した画像から生成された前記所定のオブジェクトを特定するための第2の特徴情報を取得する第2の特徴情報取得手段と、前記第1の特定手段が前記所定のオブジェクトを特定できなかった場合に、前記第2の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第2の特定手段と、前記第1の特定手段または第2の特定手段により特定された前記所定のオブジェクトと当該所定のオブジェクトに関する情報とを関連付けて表示部に表示させる表示制御手段と、を有することを特徴とする情報処理装置を提供する。
【発明の効果】
【0007】
本発明によれば、複数の特徴情報を用いて撮像画像から所定のオブジェクトの特定を行うので、所定のオブジェクトの認識率を上げることができる。したがって、所定のオブジェクトと所定の情報とを関連付けて表示する際の精度を高めることができる。
【図面の簡単な説明】
【0008】
【図1】実施例1乃至2におけるシステムの構成を示す図である。
【図2】実施例1におけるサーバのデータベース概念図である。
【図3】実施例1乃至2におけるデジタルカメラの構成を示す図である。
【図4】実施例1乃至2における携帯電話の構成を示す図である。
【図5】実施例1におけるデジタルカメラ101の撮影処理を示すシーケンス図である。
【図6】実施例1乃至2におけるデジタルカメラ101による撮影直後の画像データの一例を示す図である。
【図7】実施例1乃至2におけるデジタルカメラ101による画像合成後の画像データの一例を示す図である。
【図8】実施例1におけるデジタルカメラ102の撮影処理を示すシーケンス図である。
【図9】実施例1乃至2におけるデジタルカメラ102による撮影直後の画像データ一例を示す図である。
【図10】実施例1乃至2におけるデジタルカメラ102による画像合成後の画像データ一例を示す図である。
【図11】実施例2におけるデジタルカメラ101の撮影処理を示すシーケンス図である。
【図12】実施例2におけるサーバのデータベース概念図である。
【図13】実施例2におけるデジタルカメラ102の撮影処理を示すシーケンス図である。
【図14】実施例1乃至2におけるデジタルカメラ101、102の動作を示すフローチャートである。
【発明を実施するための形態】
【0009】
[実施例1]
以下は、添付図面に従って本発明に係る各実施例を説明する。図1は本実施例におけるシステムの構成を示す。本実施例では、デジタルカメラ101およびデジタルカメラ102が人物105、人物106を撮影する場合について述べる。また、人物105は携帯電話103の所有者である。
【0010】
サーバ104は、デジタルカメラ101、102から端末装置の識別情報を含んだ問い合わせを受信すると、データベースに保持する受信した識別情報に対応付けられた属性情報をデジタルカメラ101、102に送信する。また、サーバ104は、受信した識別情報に対応付けられたオブジェクトを撮像画像から検出して、特定するための特徴情報をデータベースにから取得し、デジタルカメラ101、102に送信する。
【0011】
サーバ104が管理するデータベースに保持される情報の一例を図2に示す。データベースには、端末装置を一意に識別するための識別子として識別情報201、端末装置に対応する属性情報として所有者の名前202、端末装置に対応する人物を特定するために用いる特徴情報203とを夫々関連付けているテーブルデータが保持されている。識別情報201は、端末装置を一意に識別可能な識別子として、例えば、MACアドレスや端末装置の所有者のユーザIDとする。名前202は、識別情報に関連付けられた属性情報の一例であり、デジタルカメラ101において撮像された画像と重畳して表示される情報である。なお、属性情報としては名前に限られず、URLなどで外部のサイトへのリンクでもよいし、趣味や生年月日など複数の項目を有していてもよい。特徴情報203は、識別情報に対応付けられたオブジェクトを撮像画像から検出して、特定するための情報である。本実施例においては、画像処理によるオブジェクト特定処理を行うためのリファレンス画像を特徴情報とする。なお、特徴情報としては、画像データに限られず、オブジェクト特定処理に用いるに任意の特徴情報であってよい。
【0012】
デジタルカメラ101、デジタルカメラ102は、他の端末装置から受信した該端末装置の識別情報に関連付けられた属性情報をサーバ104から取得し、取得した属性情報と撮像画像とを合成して表示部に表示させる情報処理装置である。また、デジタルカメラ101、102は、取得した属性情報と撮像した画像上のオブジェクトとを関連付けて表示部に合成して表示させる。したがって、デジタルカメラ101、102の表示画面に重畳して例えば端末装置の所有者に関する情報を表示するので、ユーザは容易に撮像画像中のオブジェクトに関する情報を取得することが可能となる。また、撮像画像中のオブジェクトに関連付けて情報を表示するので、どのオブジェクトがどのような情報を発しているかを容易に識別することが可能となる。また、デジタルカメラ101、102は、IEEE802.11シリーズに則った無線通信機能を有する。
【0013】
携帯電話103は、定期的あるいは他の装置の要求に応じて、自装置を一意に識別可能な識別子を識別情報として発信する端末装置である。本実施例において、携帯電話103は、IEEE802.11シリーズに則った無線通機能を有する。携帯電話103が発信する識別情報は、端末装置を一意に決定するための識別子であり、各装置にそれぞれ固有に設定される情報である。なお、識別情報として、端末装置のユーザを一意に識別するための情報であってもよい。識別情報はIEEE802.11シリーズに則ったビーコン・フレームのInformation Elementの一要素として付与され、送信されるものとする。携帯電話103の所有者は人物105であるとする。
【0014】
続いて、情報処理装置であるデジタルカメラ101、102の構成を図3を用いて説明する。なお、デジタルカメラ101、102は、CPU(Central Processing Unit)を有する。後述する処理は、CPUが制御プログラムを実行し、情報の演算や加工、各ハードウェアの制御を行うことで実現される。無線通信制御部301は、外部装置との間で無線信号の送受信により通信を行うためにアンテナや回路を制御する。なお、無線通信制御部301はIEEE802.11シリーズに則った通信処理を制御するものとする。シャッターボタン302は撮影を開始するためのボタンで、ユーザのシャッターボタン302の押下を検出し、撮像部303において撮影処理の開始を制御する。撮像部303はレンズ、撮像素子、A/D変換により構成され、レンズを介して取得した被写体光を撮像し、撮像した被写体光を画像データとして生成する。表示部304は、ディスプレイに撮像画像や各種情報を表示させる表示制御を行う。識別情報取得部305は、無線通信制御部301により受信した通信可能な範囲に存在する端末装置の識別情報を取得する。第1の特徴情報取得部306は、識別情報取得部305により取得した識別情報をもとにしてサーバ104に問い合わせを行い、識別情報に関連付けられ、予め登録されている特徴情報(第1の特徴情報)をサーバ104から取得する。属性情報取得部307は、識別情報取得部305が取得した識別情報をもとにしてサーバ104に問い合わせを行い、識別情報に関連付けられた属性情報をサーバ104から取得する。
【0015】
第1の特定部308は、取得した特徴情報をもとに撮像部303により撮像された画像データ上から、所定のオブジェクトを特定するためのハードウェア乃至はプログラムである。なお、本実施例においては、第1の特定部308は公知のオブジェクト認識処理を行い、取得した特徴情報に対応するオブジェクトを検出する。合成部309は、画像データ上の第1の特定部308または第2の特定部312により特定されたオブジェクトの近傍または任意の場所に、対応する属性情報とオブジェクトとを関連付けて合成し、合成画像データを作成する。特徴情報生成部310は、第1の特定部308または後述する第2の特定部312により特定したオブジェクトに関する新たな特徴情報を、特定に用いた撮像画像に基づいて生成する。生成された特徴情報は記憶部313に保存される。
【0016】
第2の特徴情報取得部311は無線制御部301を制御して、識別情報取得部305により取得した識別情報をもとにして他の装置に問い合わせを行い、識別情報に関連付けられ、他の装置により生成された特徴情報を取得する。第2の特定部312は、第2の特徴情報取得部311により取得された特徴情報をもとに撮像部303から得られた画像データから被写体を特定するためのプログラムまたはハードウェアである。記憶部313は、特徴情報生成部310で生成された特徴情報や各種情報を格納するためのメモリである。
【0017】
続いて、携帯電話103の構成を図4を用いて説明する。携帯電話103は、IEEE802.11シリーズに準拠した無線通信機能を有する。携帯電話103は自装置を一意に識別可能な識別情報を保持している。また、携帯電話103はCPUを有し、後述する各処理は、CPUが制御プログラムを実行し、情報の演算や加工、各ハードウェアの制御を行うことで実現される。図4に示すRF部401は無線LANで他の無線装置との間で無線信号の送受信を行うためのアンテナや回路を制御する。識別情報発信部402はRF401を制御することで、保持する識別情報を定期的、もしくは他の装置からの要求に応じて報知する。識別情報発信部402は、識別情報(識別子)をIEEE802.11シリーズに則ったビーコン・フレームのInformation Elementの一要素として付与し、送信する。携帯電話制御部403は、携帯電話として動作するためのアンテナや回路を制御することで携帯電話通信網と接続し、他の装置と通信を行う。
【0018】
以上説明を行った構成を有するシステムの動作を説明する。ここでは、デジタルカメラ101とデジタルカメラ102が撮影する際の処理の説明を行う。デジタルカメラ101、102が図1に示すように人物105と人物106を撮影する場合を例に述べる。デジタルカメラ101の撮像部303は人物105と人物106の正面に向いており、顔の検出、特定が可能である。一方、デジタルカメラ102の撮像部303は人物105と人物106の背面に向いており、正面から顔の撮像ができないものとする。
【0019】
まず、デジタルカメラ101が撮影する場合を図5のシーケンス図を用いて説明する。まず、デジタルカメラ101は、シャッターボタン302の操作の検出により、撮影処理を開始する(S501)。撮影された画像を図6に示す。画像601が撮影された画像であり、画像601には、人物105と人物106が撮影されている。被写体画像602は人物105に対応する被写体画像(画像601中の領域)であり、被写体画像603は人物106に対応する被写体画像(画像601中の領域)である。次に、デジタルカメラ101の識別情報取得部305は通信可能な範囲に存在する端末装置に対して識別情報を要求する。具体的には、識別情報取得部305は無線通信制御部301を制御し、IEEE802.11シリーズに則ったプローブ・リクエスト・フレームをブロードキャストで送信する(S502)。プローブ・リクエスト・フレームを受信した携帯電話103は、自装置の識別情報を付与したプローブ・レスポンス・フレームで応答する(S503)。デジタルカメラ101はプローブ・レスポンス・フレームを受信すると、識別情報取得部305は携帯電話103の識別情報を得ることができる。しかし、デジタルカメラ101はこの時点では、得られた識別情報が撮像画像中のどのオブジェクトに対応するものであるか、即ちどの人物が所有する装置から発信されかを認識することができない。
【0020】
続いて、デジタルカメラ101は識別情報取得部305によって取得した識別情報を得ると、第1の特徴情報取得部306と属性情報取得部307を用いて、取得した識別情報に対応する特徴情報および属性情報を取得するためサーバ104に問い合わせる。(S504)。すなわち、デジタルカメラ101は携帯電話103から取得した識別情報に基づいて、該識別情報に対応するオブジェクトの特徴情報および属性情報をサーバ104に要求する。サーバ104はデジタルカメラ101からの問い合わせを受信すると、問い合わせに含まれる識別情報をもとにデータベースから該識別情報に関連付けられた属性情報と特徴情報とを検索する(S505)。サーバ104は受信した識別情報に関連付けられた属性情報と顔の特徴情報が取得できると、これらの情報をデジタルカメラ101に送信する(S506)。デジタルカメラ101は、サーバ104から属性情報と特徴情報(第1の特徴情報)を受信すると、第1の特定部308は、取得した特徴情報をもとに、画像601から該当するオブジェクトの特定を試みる(S507)。第1の特定部308は、得られた特徴情報と画像601から取得した顔画像の特徴とを比較し、画像601(人物105)が対応するオブジェクトであると特定する。デジタルカメラ101は、第1の特徴情報を用いて撮像画像からオブジェクトの特定に成功した場合、特徴情報生成部310により画像601から人物105に関する新たな特徴情報を生成する(S508)。本実施例においては、特徴情報生成部310は、特定できた人物の衣服(服装)に該当する領域の特徴情報を生成する。服装に関する特徴情報は、色彩に関する情報であるとする。なお、生成する特徴情報としては色彩に関する情報でなくとも、服装を特定するために用いる任意の情報を特徴情報として構わない。生成した服装の特徴情報は、他の端末装置からの要求が発生したときのために記憶部に保存される(S509)。
【0021】
デジタルカメラ101の合成部309は、特定できた被写体画像602の近傍にS506で得られた属性情報を合成部309で合成し、表示部304は該合成画像を表示するよう表示制御を行う。(S510)。このときの表示部304に表示される画像のイメージを図7に示す。画像701は、撮像画像601と属性情報とを合成して生成され、表示部304により表示される画像の全体である。被写体画像702と被写体画像703はそれぞれ画像合成後の被写体画像602と被写体画像603に相当する。属性情報画像704はS506で得られた属性情報を画像として表示しているものであり、特定されたオブジェクトである被写体画像702に関連付けられて、その近傍(所定の距離内)に表示される。デジタルカメラ101のユーザは、これにより人物105に関する情報を視覚的に見ることができる。
【0022】
次に、デジタルカメラ102が撮影する場合を図8のシーケンス図を用いて説明する。まず、デジタルカメラ102は、シャッターボタン302の操作の検出により、撮影処理を開始する(S501)。撮影された画像を図9に示す。画像901が撮影された画像であり、画像901には、人物105と人物106が撮影されている。被写体画像902は人物105に対応する被写体画像であり、被写体画像903は人物106に対応する被写体画像である。人物105と人物106ともに背面からの画像である。
【0023】
S802からS806の処理は、S502からS506と同様であるので説明を省略する。S807はS507と同様に、サーバ104から取得した第1の特徴情報をもとに第1の特定部によって、画像901から該当するオブジェクトの特定を試みる。デジタルカメラ102から人物105は背面にあるため、取得した人物105の顔画像の特徴情報は、画像901上に存在しないため、特定処理に失敗する。デジタルカメラ102は、第1の特徴情報に基づいたオブジェクトの特定に失敗すると、別の特徴情報を用いての人物特定を試みる。そこで、デジタルカメラ102は第2の特徴情報取得部311により、特定処理に成功した周囲の装置から、特定処理に用いた撮像画像から生成した特徴情報(第2の特徴情報)の取得を試みる。具体的には、第2の特徴情報取得部311は、第2の特徴情報の要求を無線制御部301を介して通信可能な範囲に存在する周囲の端末装置に対してブロードキャストする(S808)。このときに、第2の特徴情報取得部は、特定処理の失敗したオブジェクトに対応する識別情報を付与することで、どのオブジェクトの特徴情報要求を行っているのか判別できるようにする。
【0024】
デジタルカメラ101は、デジタルカメラ102から特徴情報要求を受信すると、要求に含まれる識別情報に対応するオブジェクトの特定に成功しているかを判定する。デジタルカメラ101は、上述したS507により、携帯電話103の識別情報に対応するオブジェクトの特定に成功している。したがって、S508において生成した被写体画像602(被写体画像702)から生成した特徴情報を記憶部313から取得して、該特徴情報をデジタルカメラ102に送信する(S809)。これにより、デジタルカメラ102は、取得した識別情報に対応する第1の特徴情報を用いて特定処理に失敗した場合でも、他の装置により生成された他の特徴情報(第2の特徴情報)を得ることができる。
【0025】
デジタルカメラ102はデジタルカメラ101から第2の特徴情報を取得すると、それをもとに第2の特定部312によって、画像901から該当するオブジェクトの特定を試みる(S810)。第2の特定部312は、取得した第2の特徴情報と画像901から生成した画像特徴量を比較する。第2の特定部312は、取得した第2の特徴情報と被写体画像902の画像特徴量との相関が高く、所定の閾値を超えている場合は、被写体画像902を該当するオブジェクトと特定する。ここで、第2の特徴情報は、人物105の服装の色彩に関する特徴情報である、したがって、顔のように向きに関する特徴情報の変動が少ないため、向きに対してロバストに特定処理を行うことができる。特定処理に成功すると、デジタルカメラ102は特定できた被写体画像902の近傍にS806で得られた属性情報を合成部309で合成し、生成した画像を表示部304に表示する(S811)。
【0026】
このときの表示部304に表示される画像のイメージを図10に示す。画像1001は表示部304に表示される画像の全体である。被写体画像1002と被写体画像1003はそれぞれ画像合成後の被写体画像902と被写体画像903に相当する。属性情報画像904はS806で得られた属性情報を画像として表示しているものであり、属性情報と特定したオブジェクトである被写体画像1003とを関連付けて表示する。
【0027】
以上説明したように、本実施例では、デジタルカメラ102は、取得した携帯電話103の識別子に対応するオブジェクトを特定するための第1の特徴情報を用いて撮像画像からオブジェクト検出、特定を試みる。また、第1の特徴情報を用いてオブジェクトの特定に成功した装置に対して、第1の特徴情報を用いてオブジェクトの特定に成功した撮像画像から生成した新たな特徴情報(第2の特徴情報)を取得する。デジタルカメラ102は、第1の特徴情報を用いて特定に失敗した場合は、第2の特徴情報を用いて再度オブジェクトの特定を試みることができる。このように、予め登録されている第1の特徴情報から画像中からオブジェクトを特定できなかった場合においても、別の装置が新たに生成した特徴情報によりオブジェクトを特定できる。
【0028】
また、通信可能な周囲の装置に対してブロードキャストで第2の特徴情報の要求を行うため、被写体の近くに存在し、直近に該当するオブジェクトの特定に成功している可能性が高い装置に該要求が受信される。そのため、経時変化が少ない特徴情報を用いて再度特定処理を行うので認識率を向上することができる。また、第2の特徴情報として向きにロバストな特徴情報を用いることで認識率を向上することができる。
【0029】
したがって、認識率が向上することにより、オブジェクトとオブジェクトに関する属性情報を関連付けて表示することができるので、どの情報がどのオブジェクトに関するものかユーザが容易にわかるような形で表示を行うことができる。
【0030】
[実施例2]
本実施例と実施例1との差異は、第2の特徴情報の格納の方法と、第2の特徴情報の取得方法である。具体的には、実施例1においては、第2の特徴情報をデジタルカメラ102は第2の特徴情報を生成したデジタルカメラ101から取得した。即ち、第2の特徴情報を生成した装置と取得先の装置が同一である例を示した。本実施例では、第2の特徴情報を生成した装置と取得先の装置が同一でない例を示す。システムの構成、およびデジタルカメラ101、102、および携帯電話103は、実施例1と同様に図1と図3と図4で示される。実施例1と同様である点に関しては、ここでは説明を省略する。
【0031】
図11はデジタルカメラ101が、人物105、106を正面から撮影する際の処理のシーケンス図である。S1101からS1108は、実施例1のS501からS508と同じであるので説明は省略する。デジタルカメラ101は特定処理に成功した撮像画像から新たに特徴情報を生成すると、生成した特徴情報と携帯電話103の識別情報とを関連付けてサーバ104に送信する(S1109)。サーバ104は受信した識別情報をもとに、送信された特徴情報をデータベースに登録する(S1110)。
【0032】
サーバ104のデータベースの概念図を図12に示す。各人物に対して、識別情報、属性情報(名前)、第1の特徴情報、第2の特徴情報が夫々関連付けられている。また、第2の特徴情報は、必ずしも登録されているとは限らない。
【0033】
デジタルカメラ101は生成した特徴情報を送信した後に、被写体の近傍に属性情報を表示する(S1111)。得られる画像データは実施例1と同様に図7で示される。S1111は、実施例1におけるS510と同様の処理であるので詳細な説明は省略する。
【0034】
図13はデジタルカメラ102が、後ろ姿の人物105、106を撮影する際の処理のフローチャートである。S1301からS1307までの処理はS801からS807と同じであるので説明は省略する。デジタルカメラ102はS1307で第1の特徴情報に基づいた特定処理に失敗すると、サーバ104に第2の特徴情報を要求する(S1308)。このとき、携帯電話103の識別情報をクエリに問い合わせを行う。
【0035】
サーバ104は携帯電話103の識別情報に対応する第2の特徴情報の要求を受信すると、データベースから該識別情報に関連付けられた第2の特徴情報を検索する(S1309)。ここで検索結果としてデジタルカメラ101がS1109で送信した第2の特徴情報を得ることができる。サーバ104は検索した第2の特徴情報をデジタルカメラ102に応答として返す(S1310)。これにより、デジタルカメラ102は第2の特徴情報を得ることができる。S1311、S1312の処理はS810、S811と同じ処理であるので説明は省略する。これらの撮影処理を実施することで、図10のような画像データを得ることができ、人物105の後ろ姿からでも人物105を特定することができ、その属性情報を視覚的に見ることができる。
【0036】
実施例2では、人物を特定できたデジタルカメラがサーバに生成した特徴情報を送信し、サーバが登録する。そのため、撮影時に周囲に人物を特定できたデジタルカメラが存在しない場合でも、サーバに問い合わせることで、生成された特徴情報を用いて画像データ中から特定することができる。
【0037】
以上説明を行った実施例1および実施例2のデジタルカメラ101、102の動作を図14に示すフローチャートを用いてまとめる。まず、デジタルカメラ101、102のシャッターボタン302を操作することで撮影処理が開始される(S1401)。なお、ここでシャッターボタン302の操作とは、シャッターボタン302の半押し等の所定の操作により開始される自動焦点制御の指示も含む。続いて、撮影処理が開始されると、デジタルカメラ101は通信可能な範囲に存在する端末装置から識別情報(識別子)を取得する(S1402)。識別子が取得できなければ、属性情報を表示しないことを決定して(S1413)、処理を処終了する。
【0038】
デジタルカメラ101、102は、通信可能な範囲に存在する端末装置の識別情報を取得すると、取得した識別情報を含む要求を行い、サーバ104から識別情報に関連付けられた属性情報および特徴情報を取得する(S1403)。デジタルカメラ101、102の第1の特定部308は、取得した特徴情報を用いて撮像画像上に特徴情報に対応するオブジェクトの検出を試みる(S1404)。続いて、デジタルカメラ101、102はS1404による特定処理が成功したかを判断する(S1405)。S1405の結果、特定処理が成功した場合は、S1411に処理を進める。
【0039】
一方、S1405の結果、特定処理が失敗した場合は、第2の特徴情報取得部311は、S1403で取得した識別子を含めて、他の装置に第2の特定情報を要求する(S1407)。ここで、他の装置とは実施例1では周囲に存在するデジタルカメラであり、実施例2ではサーバ104である。続いて、デジタルカメラ101、102はS1406による要求の他の装置からの応答があるかどうかを判定する(S1407)。S1407の結果、応答がある場合は、S1408に処理を進め、ない場合は属性情報を表示しないことを決定して(S1413)、処理を終了する。
【0040】
デジタルカメラ101、102の第2特徴情報取得部311は、他の装置からの応答に含まれる第2の特徴情報を取得する(S1408)。続いて、第2の特定部312は、取得し第2の特徴情報を用いて撮像画像上に特徴情報に対応するオブジェクトの検出を試みる(S1409)。デジタルカメラ101、102はS1409による特定処理が成功したかを判断する(S1410)。S1410の結果、特定処理が成功した場合は、S1411に処理を進める。一方、S1410の結果、特定処理が失敗した場合は属性情報を表示しないことを決定して(S1413)、処理を処終了する。
【0041】
S1411では、特徴情報生成部310は特定処理に成功した撮像画像から特定したオブジェクトに関する特徴情報を新たに生成する。生成された特徴情報は、実施例1では他の装置から要求があれば送信するために記憶部313に保持する。実施例2では、生成された特徴情報は、サーバ104に送信される。S1412では、撮像画像から識別情報に対応するオブジェトを検出し、特定されると、合成部309は、検出されたオブジェクトと関連付けてその近傍に属性情報を合成する。そして、表示部304は該合成画像を表示する(S1412)。このように、予め登録されている第1の特徴情報から画像中からオブジェクトを特定できなかった場合においても、別の装置が新たに生成した特徴情報によりオブジェクトを特定できる。そして、デジタルカメラ101のユーザは、属性情報がオブジェクトに関連付けられて表示される合成画像を見ることにより、撮像画像中のオブジェクトに関連する情報を得ることができる。また、ユーザは、表示された情報がどのオブジェクトに関連付けられた情報であることが容易に知ることができる。
【0042】
(その他の実施形態)
その他の構成として、本発明は静止画によらず動画像において人物を特定し、属性情報を表示してもよい。その場合、動画像の各フレームを静止画として連続して処理することで実現してもよい。識別情報の発信や取得などに関わる通信は、IEEE802.11シリーズに則った無線LANの通信に限らず、Bluetooth(登録商標)やパッシブ/アクティブ型のRFIDなどでよい。また、無線LANとパッシブ型RFIDなど複数の無線通信インタフェースで同時に、識別情報に関する通信を行ってもよい。また、デジタルカメラ101、102に識別情報発信部を備え付けて、デジタルカメラにおいても識別情報を発信してもよい。
【0043】
また、実施例1、2では、第一の特徴情報として顔の特徴情報、第二の特徴情報として服装の特徴情報を用いたが、本発明はどの特徴情報を用いるかどうかは規定しない。第一の特徴情報として服装の特徴情報を用いて、第二の特徴情報として顔の特徴情報を用いてもよい。また、第一の特徴情報として、顔の特徴情報と服装の特徴情報といった複数の特徴情報を組み合わせてもよい。ただし第一の特徴情報は、顔のようにあまり中期的に変化しない特徴情報であることが好ましい。一方で、第二の特徴情報は、その都度、新しく生成される特徴情報であるので、服装のように変化がある特徴情報であってもよい。
【0044】
ただし、変化が激しい特徴情報を用いた場合には、記憶部313は服装の特徴情報を記憶した後に、一定時間経過後は該服装の特徴情報をクリアすることが望ましい。あるいは、日付が変わる等、ある特定の時間帯のタイミングでクリアしてもよい。
【0045】
その他の特徴情報としては、髪型や帽子や装飾品などから特徴情報を用いてもよい。また、第一の特徴情報で顔の特徴情報を用いて、第二の特徴情報として、特定した人物の顔の下にある色や形に基づいて特徴情報を生成してもよい。また顔と体の割合に基づいて特徴情報を生成してもよい。周りの物体との大きさの比率などから特徴情報を算出してもよい。
【0046】
また、本発明は、以下の処理を実行することによっても実現される。上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは情報処理装置に供給し、そのシステム或いは情報処理装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【符号の説明】
【0047】
101、102 デジタルカメラ
103 携帯電話
104 サーバ
105、106 人物
【特許請求の範囲】
【請求項1】
情報処理装置であって、
撮像画像において所定のオブジェクトを特定するための第1の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第1の特定手段と、
第1の他の装置が前記第1の特徴情報を用いて前記所定のオブジェクトの特定に成功した画像から生成された前記所定のオブジェクトを特定するための第2の特徴情報を取得する第2の特徴情報取得手段と、
前記第1の特定手段が前記所定のオブジェクトを特定できなかった場合に、前記第2の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第2の特定手段と、
前記第1の特定手段または第2の特定手段により特定された前記所定のオブジェクトと当該所定のオブジェクトに関する情報とを関連付けて表示部に表示させる表示制御手段と、
を有することを特徴とする情報処理装置。
【請求項2】
第2の他の装置の識別子を取得する識別情報取得手段と、
前記識別情報取得手段により取得した識別子に関連付けられた情報を取得する情報取得手段とを更に有し、
前記所定のオブジェクトに関する情報は、前記情報取得手段により取得された情報であることを特徴とする
を更に有することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記第1の特定手段または前記第2の特定手段により前記撮像画像から前記所定のオブジェクトの特定に成功した場合、当該撮像画像から前記所定のオブジェクトに関する第3の特徴情報を生成する生成手段とを更に有することを特徴とする請求項1または2に記載の情報処理装置。
【請求項4】
前記生成手段が生成した前記第3の特徴情報を第3の他の装置に送信する送信手段を有することを特徴とする請求項3に記載の情報処理装置。
【請求項5】
前記識別情報取得手段が取得した前記識別子を含めて、当該識別子に関連付けられた前記所定のオブジェクトを前記撮像画像から特定するための前記第2の特徴情報を送信するように第4の他の装置に要求する要求手段を更に有し、
前記第2の特徴情報取得手段は、前記要求手段の要求に対する前記第4の他の装置の応答から前記第2の特徴情報を取得することを特徴とする請求項2に記載の情報処理装置。
【請求項6】
前記第1の他の装置と前記第4の他の装置とが同一の装置であることを特徴とする請求項5に記載の情報処理装置。
【請求項7】
前記所定のオブジェクトは、前記識別情報取得手段により取得した識別子に関連付けられていることを特徴とする請求項2、5、6の何れか1項に記載の情報処理装置
【請求項8】
前記第1の特徴情報を外部装置から取得する第1の特徴情報取得手段を更に有することを特徴とする請求項1乃至7何れか1項に記載の情報処理装置。
【請求項9】
前記第1の特徴情報と前記第2の特徴情報は、異なる外部装置から夫々取得されることを特徴とする請求項1乃至8何れか1項に記載の情報処理装置。
【請求項10】
情報処理装置の制御方法であって、
撮像画像において所定のオブジェクトを特定するための第1の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第1の特定工程と、
第1の他の装置が前記第1の特徴情報を用いて前記所定のオブジェクトの特定に成功した画像から生成された前記所定のオブジェクトを特定するための第2の特徴情報を取得する第2の特徴情報取得工程と、
前記第1の特定手段が前記所定のオブジェクトを特定できなかった場合に、前記第2の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第2の特定工程と、
前記第1の特定工程または第2の特定工程において特定された前記所定のオブジェクトと当該所定のオブジェクトに関する情報とを関連付けて表示部に表示させる表示制御工程と、
を有することを特徴とする情報処理装置の制御方法。
【請求項11】
情報処理装置に請求項9記載の制御方法を実行させるためのプログラム。
【請求項1】
情報処理装置であって、
撮像画像において所定のオブジェクトを特定するための第1の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第1の特定手段と、
第1の他の装置が前記第1の特徴情報を用いて前記所定のオブジェクトの特定に成功した画像から生成された前記所定のオブジェクトを特定するための第2の特徴情報を取得する第2の特徴情報取得手段と、
前記第1の特定手段が前記所定のオブジェクトを特定できなかった場合に、前記第2の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第2の特定手段と、
前記第1の特定手段または第2の特定手段により特定された前記所定のオブジェクトと当該所定のオブジェクトに関する情報とを関連付けて表示部に表示させる表示制御手段と、
を有することを特徴とする情報処理装置。
【請求項2】
第2の他の装置の識別子を取得する識別情報取得手段と、
前記識別情報取得手段により取得した識別子に関連付けられた情報を取得する情報取得手段とを更に有し、
前記所定のオブジェクトに関する情報は、前記情報取得手段により取得された情報であることを特徴とする
を更に有することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記第1の特定手段または前記第2の特定手段により前記撮像画像から前記所定のオブジェクトの特定に成功した場合、当該撮像画像から前記所定のオブジェクトに関する第3の特徴情報を生成する生成手段とを更に有することを特徴とする請求項1または2に記載の情報処理装置。
【請求項4】
前記生成手段が生成した前記第3の特徴情報を第3の他の装置に送信する送信手段を有することを特徴とする請求項3に記載の情報処理装置。
【請求項5】
前記識別情報取得手段が取得した前記識別子を含めて、当該識別子に関連付けられた前記所定のオブジェクトを前記撮像画像から特定するための前記第2の特徴情報を送信するように第4の他の装置に要求する要求手段を更に有し、
前記第2の特徴情報取得手段は、前記要求手段の要求に対する前記第4の他の装置の応答から前記第2の特徴情報を取得することを特徴とする請求項2に記載の情報処理装置。
【請求項6】
前記第1の他の装置と前記第4の他の装置とが同一の装置であることを特徴とする請求項5に記載の情報処理装置。
【請求項7】
前記所定のオブジェクトは、前記識別情報取得手段により取得した識別子に関連付けられていることを特徴とする請求項2、5、6の何れか1項に記載の情報処理装置
【請求項8】
前記第1の特徴情報を外部装置から取得する第1の特徴情報取得手段を更に有することを特徴とする請求項1乃至7何れか1項に記載の情報処理装置。
【請求項9】
前記第1の特徴情報と前記第2の特徴情報は、異なる外部装置から夫々取得されることを特徴とする請求項1乃至8何れか1項に記載の情報処理装置。
【請求項10】
情報処理装置の制御方法であって、
撮像画像において所定のオブジェクトを特定するための第1の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第1の特定工程と、
第1の他の装置が前記第1の特徴情報を用いて前記所定のオブジェクトの特定に成功した画像から生成された前記所定のオブジェクトを特定するための第2の特徴情報を取得する第2の特徴情報取得工程と、
前記第1の特定手段が前記所定のオブジェクトを特定できなかった場合に、前記第2の特徴情報を用いて、前記撮像画像から前記所定のオブジェクトを特定する第2の特定工程と、
前記第1の特定工程または第2の特定工程において特定された前記所定のオブジェクトと当該所定のオブジェクトに関する情報とを関連付けて表示部に表示させる表示制御工程と、
を有することを特徴とする情報処理装置の制御方法。
【請求項11】
情報処理装置に請求項9記載の制御方法を実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2013−114653(P2013−114653A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−263419(P2011−263419)
【出願日】平成23年12月1日(2011.12.1)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願日】平成23年12月1日(2011.12.1)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]