画像処理装置、画像処理方法、及びプログラム
【課題】画像処理装置の近傍に多量のオブジェクトが存在する場合、そのオブジェクトに対する情報を取得するために多大な処理負荷が生じていた。
【解決手段】画像処理装置は、設定した画角の画像を取得し、画像処理装置の周囲に存在するオブジェクトから、無線通信を介してそのオブジェクトを識別する識別子を検出し、識別子に対応するオブジェクトが画像に含まれているかを、画角と識別子を検出した位置とに基づいて判定し、識別子に対応するオブジェクトが画像に含まれていると判定された場合、識別子に基づいてオブジェクトの情報を取得し、オブジェクトの情報を、取得した画像に合成して出力する。
【解決手段】画像処理装置は、設定した画角の画像を取得し、画像処理装置の周囲に存在するオブジェクトから、無線通信を介してそのオブジェクトを識別する識別子を検出し、識別子に対応するオブジェクトが画像に含まれているかを、画角と識別子を検出した位置とに基づいて判定し、識別子に対応するオブジェクトが画像に含まれていると判定された場合、識別子に基づいてオブジェクトの情報を取得し、オブジェクトの情報を、取得した画像に合成して出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の情報を撮影した画像と合成して撮影装置に表示する画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、カメラ等で撮影した現実環境の画像に、その現実環境中の物体の属性情報や、ＣＧを用いたバーチャルな物体を付加し、合成する拡張現実（ＡＲ、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が実現されている。例えば、空間へカメラをかざすと、ＧＰＳによる位置情報に基づいて、画像に含まれる現実環境に関連するタグ情報を画像合成により重ね合わせて表示する、携帯電話用の拡張現実ソフトウェアなどがある（非特許文献１）。
【０００３】
このような拡張現実システムにおいて、被写体に関連した情報を、画像中においてその被写体の近傍に表示することが望まれている。すなわち、撮影画像中に様々な被写体が含まれている場合、それらの被写体に関連するそれぞれの情報が、どの被写体の情報であるのかユーザがわかるような形で表示することが望ましい。
【０００４】
特許文献１には、撮影した画像に対し、画像中の被写体の人物に関連した情報を合成して表示するカメラに関する技術が記載されている。これは、被写体の人物が所持する携帯情報機器等から、その被写体の顔情報等を取得して、取得した情報に基づいて画像処理を行うことで撮影画像中の被写体を特定する。被写体を撮影画像中において特定することにより、その近傍にその被写体に関連した情報を表示することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３０５７１７号公報
【非特許文献】
【０００６】
【非特許文献１】ｈｔｔｐ：／／ｓｅｋａｉｃａｍｅｒａ．ｃｏｍ
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１では、カメラの近傍に、被写体の人物が大量にいる場合、その被写体の人物のそれぞれが所持する携帯情報機器から顔情報等を取得しなければならなかった。そのため、近傍に被写体が多く存在した場合、近傍に存在する被写体の情報を全て取得することによる、処理負荷およびネットワーク負荷が大きくなるという課題があった。
【０００８】
本発明は上記課題に鑑みてなされたものであり、取得した画像に関して適切な情報を選択して取得し、合成して出力する画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明による画像処理装置は、設定した画角の画像を取得する画像取得手段と、前記画像処理装置の周囲に存在するオブジェクトから、無線通信を介して当該オブジェクトを識別する識別子を検出する検出手段と、前記識別子に対応するオブジェクトが前記画像に含まれているかを、前記画角と前記識別子を検出した位置とに基づいて判定する判定手段と、前記識別子に対応するオブジェクトが前記画像に含まれていると判定された場合、前記識別子に基づいて前記オブジェクトの情報を取得する情報取得手段と、前記オブジェクトの情報を、前記画像に合成して出力する出力手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、画像に含まれるオブジェクトに関する情報を適切に選択して取得し、合成して出力する画像処理技術を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】画像処理システムの構成例を示す図。
【図２】画像表示装置の機能構成例を示すブロック図。
【図３】画像処理サーバの機能構成例を示すブロック図。
【図４】無線タグの機能構成例を示すブロック図。
【図５】画像表示装置における画像表示時の処理を示すフローチャート。
【図６】画角に応じた識別子の検索する範囲を示す図。
【図７】識別子の検索範囲の選択方法の例を示す図。
【図８】画像における識別子の検出位置および画像領域を示す図。
【図９】画像解析サーバにおける処理を示すフローチャート。
【図１０】識別子とその関連する特徴情報および属性情報を表すテーブルの図。
【図１１】画像表示装置と画像解析サーバとの間の処理シーケンス図。
【図１２】識別子の位置と優先度との関係を示す図。
【図１３】情報を取得する領域を選択する状態を示す図。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。
【００１３】
＜＜実施形態１＞＞
（画像処理システムの構成）
図１は、本実施形態に係る画像処理システムの構成例を示す図である。画像処理システムは、ネットワーク１００、画像表示装置１０１、画像解析サーバ１０２、及び無線タグ１０３を含む。本実施形態では、画像表示装置１０１、画像解析サーバ１０２および無線タグ１０３が協働して画像処理を実行する。
【００１４】
本実施形態では、ネットワーク１００は、例えば、インターネット、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であり、またはこれらの組み合わせである。画像表示装置１０１は、画像を取得するとともに、周囲の所定の範囲に無線タグ１０３ａ〜１０３ｃが存在するかをセンシングする。そして、画像表示装置１０１は、無線タグ１０３の識別子に基づく属性情報を画像解析サーバ１０２から取得し、画像にその属性情報を合成して表示する。画像解析サーバ１０２は、無線タグ１０３ａ〜１０３ｃの識別子に応じた被写体画像の特徴情報と被写体の属性情報とを保持する。画像解析サーバ１０２は、画像表示装置１０１が要求する処理の指示を受け付け、被写体画像の特徴情報を用いて画像の解析を行い、処理結果を画像表示装置１０１に提供する。
【００１５】
無線タグ１０３ａ〜１０３ｃは、被写体（人や建物などのオブジェクト）が保持し、又は被写体に付属しているものとする。無線タグ１０３ａ〜１０３ｃのそれぞれには、別々の識別子が付与されている。すなわち、無線タグ１０３の識別子は、オブジェクトを識別する識別子である。無線タグ１０３ａ〜１０３ｃは、既知の無線通信技術（無線ＬＡＮ、ミリ波帯通信技術、ＲＦＩＤなど）を用いて、画像表示装置１０１から識別子の要求を受信し、それに応じて自らに付与された識別子を送信する。また、無線タグ１０３ａ〜１０３ｃは、上述のように画像表示装置１０１からの識別子の要求に応答して識別子を送信するパッシブタグであってもよく、また、識別子の要求によらず定期的に識別子を送信するアクティブタグであってもよい。
【００１６】
（画像表示装置の構成）
図２は、画像表示装置１０１の機能構成の例を示すブロック図である。２００は、各機能ブロック（モジュール）を接続するバスである。２０１は、光学ズームやデジタルズームを用いて画角の調整及び設定を行い、画像を取得する画像取得部である。２０２は、液晶パネルなどに画像を表示して出力する表示部である。２０３は、無線タグ１０３ａ〜１０３ｃから識別子の情報を検出する識別子検出部である。２０４は、画像取得部２０１で取得した画像上において、無線タグ１０３が存在する画像領域の位置を判定する位置判定部である。２０５は、画像解析サーバ１０２から無線タグ１０３の識別子に応じた画像の特徴情報を取得する特徴情報取得部である。２０６は、画像解析サーバ１０２から無線タグ１０３の識別子に応じた被写体の属性情報を取得する属性情報取得部である。２０７は、画像解析サーバ１０２とのメッセージの送受信を行うメッセージ送受信部である。２０８は、画像解析サーバ１０２から取得した属性情報を画像を合成する画像合成部である。２０９は、通信プロトコルの処理を行うＴＣＰ／ＩＰ処理部である。２１０は、無線通信技術（無線ＬＡＮ、ミリ波帯通信技術、ＲＦＩＤなど）で無線タグとの間で無線信号の送受信を行うためのアンテナや回路の制御を行うＲＦ部である。
【００１７】
（画像解析サーバの構成）
図３は、画像解析サーバ１０２の機能構成の例を示すブロック図である。３００は、各モジュールを接続するバスである。３０１は、被写体が有する無線タグ１０３の識別子と被写体画像の特徴情報とを関連付けて保持する特徴情報保持部である。３０２は、被写体が有する無線タグ１０３の識別子と被写体の属性情報とを関連付けて保持する属性情報保持部である。３０３は、画像表示装置１０１から取得した画像領域に対して、特徴情報保持部に保存された特徴情報を用いて、被写体（オブジェクト）の特定を行うオブジェクト特定部である。３０４は、画像表示装置１０１とのメッセージの送受信を行うメッセージ送受信部である。３０５は、通信プロトコル処理を行うＴＣＰ／ＩＰ制御部である。
【００１８】
（無線タグの構成）
図４は、無線タグ１０３の機能構成の例を示すブロック図である。４０１は、既知の無線通信技術（無線ＬＡＮ、ミリ波帯通信技術、ＲＦＩＤなど）で画像表示装置１０１との間で無線信号の送受信を行うために、アンテナ４０３や回路の制御を行うＲＦ部である。４０２は、ＲＦ部４０１を制御することで、識別情報を送信する識別情報発信部である。識別情報は、たとえば、ＩＥＥＥ８０２．１１に則ったビーコン・フレームのＩｎｆｏｒｍａｔｉｏｎ Ｅｌｅｍｅｎｔの一要素として付与され、送信される。
【００１９】
なお、無線タグ１０３は無線信号により識別情報を送信できる装置であればどのようなものであってもよく、タグに限られない。なお、識別情報発信部４０２は、画像表示装置１０１から識別子の送信リクエストを受けて識別情報を送信してもよいし、一定の時間間隔で識別情報を送信し続けてもよい。
【００２０】
（画像表示装置の動作）
図５は、画像表示装置１０１における画像表示時の処理を示すフローチャートである。処理が開始されると、画像取得部２０１は、光学ズームやデジタルズームを用いて画角の調整及び設定を行い、画像を撮影する（Ｓ５０１）。続いて、識別子検出部２０３は、ＲＦ部２１０を介して、周囲に無線タグ１０３が存在するかを検出するため周辺環境をセンシングする（Ｓ５０２）。そして、識別子検出部２０３は、センシングによりいずれかの無線タグ１０３から識別子を検出できたか否かの判定を行う（Ｓ５０３）。ここで、無線タグ１０３から識別子を検出できなかったと識別子検出部２０３が判定した場合（Ｓ５０３でＮｏ）、画像表示装置１０１は画像表示処理を終了する。
【００２１】
一方、無線タグ１０３から識別子を検出できたと識別子検出部２０３が判定した場合（Ｓ５０３でＹｅｓ）、位置判定部２０４は、検出された無線タグ１０３の識別子が画像取得部２０１で設定された画角内にあるか否かの判定を行う（Ｓ５０４）。例えば、位置判定部２０４は、図６のような例の場合、無線タグ１０３ａと無線タグ１０３ｂの識別子は画角の範囲内にあり、無線タグ１０３ｃの識別子は画角の範囲外であるものと判定する。このように、位置判定部２０４は、画角と識別子を検出した位置とから、画角の範囲内で識別子が発見されたかを判定する。なお、例えばＲＦ部２１０が指向性アンテナを用いてセンシングを行うことにより無線タグ１０３がそれぞれどの位置で検出されたかを特定し、その特定された位置の情報を用いてＳ５０４の判定を実行してもよい。これにより、容易に無線タグ１０３の位置を特定でき、容易に画角内にその無線タグ１０３が存在するかを判定することができる。また、無線タグ１０３が送信する情報に無線タグ１０３の位置情報を含め、その位置情報と、画像表示装置１０１の位置及び姿勢とから、無線タグ１０３が画像取得部２０１の画角内に存在するか否かを特定してもよい。
【００２２】
なお、Ｓ５０２においては、ＲＦ部２１０は、予めユーザの操作に応じて画角内の所定の範囲を指定しておき、その範囲内において無線タグ１０３をセンシングしてもよい。ここで、図７（ａ）を用いて、ユーザの操作に応じて画角内の指定した範囲にある識別子を検索する方法について説明する。１１０１は、ユーザの指である。１１０２は、タッチパネルによる入力によって設定された範囲である。ユーザの指１１０１は、画像表示装置１０１の画面にタッチし、例えば、範囲１１０２の左上と右下の位置を決定することにより範囲１１０２を定める。そして、この場合、識別子検出部２０３は、画角内の範囲１１０２のみを対象にＲＦ部２１０を介して無線タグ１０３の検出動作を行う。具体的には、例えば無線タグ１０３がパッシブタグである場合、ＲＦ部２１０は、範囲１１０２に対して送信アンテナのビームを向けて識別子の要求信号を送出する。そして、同様に、ＲＦ部２１０は、受信アンテナのビームを範囲１１０２の方向へ向けて識別子を受信するようにする。また、例えば無線タグがアクティブタグである場合は、ＲＦ部２１０は、受信アンテナのビームを範囲１１０２の方向へ向けて、所定期間受信動作を行い、識別子を検出する。これにより、ユーザの操作に基づいて、ユーザがオブジェクトに関する情報を知りたい範囲でのみ識別子を検出することにより、十分に低い処理量でユーザの要求を満足することが可能となる。
【００２３】
また、Ｓ５０４の判定において、図７（ａ）のように範囲を指定して、その範囲内で無線タグ１０３の識別子が発見されたか否かを判定するようにしてもよい。その場合、画像表示装置１０１は、センシングにより検出された無線タグ１０３のうち、指定された範囲で検出された無線タグ１０３の識別子のみが発見されたものとして、以後の処理を実行する。これにより、ユーザがオブジェクトに関する情報を知りたい範囲でのみ情報を取得することにより、十分に低い処理量でユーザの要求を満足することが可能となる。
【００２４】
画像取得部２０１において設定された画角内で無線タグ１０３の識別子が発見されなかった場合（Ｓ５０４でＮｏ）、画像表示装置１０１は画像表示処理を終了する。一方、画像取得部２０１により決定された画角内で無線タグ１０３の識別子が発見された場合（Ｓ５０４でＹｅｓ）、位置判定部２０４は、識別子が検出された位置に対応する画像における位置を特定する。そして、位置判定部２０４は、その位置を含む画像の一部である画像領域を抽出する（Ｓ５０５）。
【００２５】
図８は、取得した画像における識別子の検出位置および画像領域を示す図である。図８（ａ）は、画角内の画像における識別子の検出位置を示す。１００１は、無線タグ１０３ａの検出位置である。１００２は、無線タグ１０３ｂの検出位置である。なお、無線タグ１０３が存在する位置は、例えば識別子を含む信号が最も強く受信される方向に基づいて、画面上の一点で表現することができる。しかしながら、本実施形態では、アンテナの指向方向の分解能や誤差などを考慮して、無線タグ１０３の位置を１００１や１００２などのような所定の範囲によって表現するようにしている。また、オブジェクトはその大きさによって画像上で所定の範囲を占めることとなる。このため、所定の範囲によって、オブジェクトが含まれ得る範囲を特定するようにしてもよい。図８（ｂ）は、識別子に対応した画角内の画像領域を示す。本実施形態では、画像をブロックごとに分割し、識別子の検出位置を含む範囲を画像領域として抽出している。なお、ここでは、識別子の検出範囲の楕円を含む最小の範囲を画像領域として抽出しているが、識別子の検出位置を含む所定の範囲を画像領域として抽出してもよい。１００３は、無線タグ１０３ａに対応した画角内の画像領域である。１００４は、無線タグ１０３ｂに対応した画角内の画像領域である。
【００２６】
なお、図８（ｂ）の例では、識別子に対応する画像領域を矩形状の領域としているがこれに限られず、検出範囲１００１および検出範囲１００２をそのまま識別子に対応する画像領域として用いてもよい。Ｓ５０５においては、位置判定部２０４は、無線タグ１０３ａおよび無線タグ１０３ｂの識別子に対応する画像領域１００３および１００４を取得する。なお、Ｓ５０２でユーザの操作により識別子を検索する範囲を図７（ａ）のように指定した場合、無線タグ１０３ｂは検出されなくなるため、図７（ｂ）のように、範囲１１０２に含まれる無線タグ１０３ａに対応する画像領域１１０３のみが検出される。
【００２７】
無線タグ１０３に対応する画像領域を取得後、特徴情報取得部２０５は、無線タグ１０３ａ及び無線タグ１０３ｂの識別子と画像領域１００３及び１００４とをそれぞれ関連付け、それを画像解析サーバ１０２に送信して処理を依頼する（Ｓ５０６）。すなわち、画像取得部２０１で取得した画像の一部である画像領域１００３および１００４と、無線タグ１０３ａおよび無線タグ１０３ｂの識別子とを関連付けて画像解析サーバに送信する。また同時に、属性情報取得部２０６は、無線タグ１０３ａおよび無線タグ１０３ｂの識別子に関連付けられた属性情報を画像解析サーバ１０２に要求する。この際、メッセージ送受信部２０７が作成したメッセージをＴＣＰ／ＩＰ処理部２０９、ＲＦ部２１０を介して画像解析サーバ１０２へ送信し、その後、画像解析サーバ１０２からＲＦ部２１０とＴＣＰ／ＩＰ処理部２０９を介してメッセージを受信する。
【００２８】
特徴情報取得部２０５は、画像解析サーバ１０２から受信したメッセージから、オブジェクトを特定できたかの結果を取得する（Ｓ５０７）。そして、オブジェクトを特定できなかったと判定した場合（Ｓ５０７でＮｏ）、画像表示装置１０１は画像表示処理を終了する。一方、オブジェクトを特定できたと判定した場合（Ｓ５０７でＹｅｓ）、画像合成部２０８は画像中の解析対象のオブジェクトの近傍に属性情報を合成する（Ｓ５０８）。そして、表示部２０２は、属性情報が合成された画像を画像表示装置１０１の画面に表示し（Ｓ５０９）、画像表示装置１０１は画像表示処理を終了する。
【００２９】
なお、上述の説明では、無線タグ１０３をセンシングした結果、無線タグ１０３の識別子を得られなかった場合（Ｓ５０３でＮｏ）、画像表示装置１０１は画像表示処理を終了する、と説明したがこれに限られない。例えば、識別子が検出されなかった場合は、Ｓ５０９へ処理を進め、属性情報の合成等を行わず、撮像したままの画像を表示してもよい。同様に、画角内で無線タグ１０３の識別子が発見されなかった場合（Ｓ５０４でＮｏ）や、オブジェクトを特定できなかった場合（Ｓ５０７でＮｏ）にも、処理をＳ５０９へ進めて撮像したままの画像を表示してもよい。
【００３０】
（画像解析サーバの動作）
図９は、画像解析サーバ１０２において、画像表示装置１０１から要求を受け付けた時の処理を示すフローチャートである。処理が開始されると、メッセージ送受信部３０４は、ＴＣＰ／ＩＰ制御部３０５を介して、画像表示装置１０１からの依頼のメッセージを受信する（Ｓ６０１）。このとき、メッセージ中には、画像表示装置１０１が取得した無線タグ１０３の識別子と、その無線タグ１０３の識別子に対応する画像領域が含まれているため、これを取得する。
【００３１】
続いて、特徴情報保持部３０１は、記憶されている識別子とそれに対応する特徴情報とから、受信した識別子を鍵として、特徴情報を取得する（Ｓ６０２）。ここで、特徴情報の取得について、図１０を用いて説明する。図１０は、識別子に関連付けられた特徴情報および属性情報のテーブルである。特徴情報保持部３０１は、無線タグ１０３ａの識別子（００：００：８５：００：００：０１）を鍵として、１０３ａの特徴情報（城）を取得する。同様に、特徴情報保持部３０１は、無線タグ１０３ｂの識別子（００：００：８５：００：００：０２）の鍵として、１０３ｂの特徴情報（人）を取得する。
【００３２】
その後、オブジェクト特定部３０３は、無線タグ１０３ａの識別子に関連付けられた画像領域１００３に対して、無線タグ１０３ａの識別子に対応する特徴情報を用いて解析を行い、オブジェクトを特定する（Ｓ６０３）。具体的には、例えば、無線タグ１０３ａの特徴情報に基づいて、画像領域１００３に対する画像認識技術を用いて、画像領域１００３が無線タグ１０３ａを有するオブジェクトの特徴を含んでいるかを判定する。そして、オブジェクト特定部３０３は、そのオブジェクトの特徴を含んでいる場合は、画像領域１００３に無線タグ１０３ａに対応するオブジェクトが存在するものと判定する。さらに、オブジェクトの特徴を含んでいる場合は、そのオブジェクトが画像領域のどの位置にあるかを判定してもよい。画像領域内での位置を特定して画像表示装置１０１へ通知することにより、画像内でオブジェクトが存在する正確な位置において、そのオブジェクトに関連する情報を表示することが可能となる。
【００３３】
続いて、オブジェクト特定部３０３は、オブジェクトを特定できたかどうかの判定を行う（Ｓ６０４）。オブジェクト特定部３０３は、オブジェクトが特定できたと判定すると（Ｓ６０４でＹｅｓ）、処理をＳ６０５に進める。一方、オブジェクト特定部３０３は、オブジェクトが特定できなかったと判定すると（Ｓ６０４でＮｏ）、処理をＳ６０７に進める。なお、Ｓ６０４の処理は識別子と画像領域とのペアごとに行ってもよく、オブジェクトを特定できた画像領域についてはＳ６０５へ処理を進め、オブジェクトを特定できなかった画像領域についてはＳ６０７へ処理を進めてもよい。
【００３４】
Ｓ６０５では、属性情報保存部３０２が、無線タグ１０３の識別子を鍵として、それぞれの属性情報を取得する（Ｓ６０５）。ここで、属性情報の取得について、図１０を用いて説明する。属性情報保存部３０２は、無線タグ１０３ａについては、その識別子（００：００：８５：００：００：０１）を鍵として、１０３ａの属性情報（名前、大きさ、築年数）を取得する。同様に、属性情報保存部３０２は、無線タグ１０３ｂについては、その識別子（００：００：８５：００：００：０２）を鍵として、１０３ｂの属性情報（名前、趣味、所属）を取得する。属性情報を取得すると、メッセージ送受信部３０４は、オブジェクトを特定できたことと、無線タグ１０３の識別子に関連する属性情報とを画像表示装置１０１に通知し（Ｓ６０６）、画像解析サーバ１０２は処理を終了する。
【００３５】
画像領域内でオブジェクトを特定できなかった場合は（Ｓ６０４でＮｏ）、メッセージ送受信部３０４は、オブジェクトを特定できなかったことを画像表示装置１０１に通知する（Ｓ６０７）。その後、画像解析サーバ１０２は処理を終了する。なお、本実施形態では、画像表示装置１０１が取得した画像の一部である画像領域内にオブジェクトが存在するかを判定しているが、取得した画像そのものに対してオブジェクトが存在するかを判定してもよい。その場合、画像表示装置１０１は、画像解析サーバ１０２へ画像と画角内で検出された無線タグ１０３の識別子とを送信する。そして、画像解析サーバ１０２は、その識別子に応じて特徴情報を取得し、画像全体において、オブジェクトの特徴を有する部分が存在するかを判定する。これにより、画像表示装置１０１での処理を簡略化することが可能となる。また、オブジェクトが大きい場合などで、画像領域を限定することによりオブジェクトの特定が困難となる場合には、画像の全体を判定に用いるのが有効となる。一方、画像領域を特定することにより、画像解析サーバ１０２の処理を簡略化し、全体の処理を高速化することができる。
【００３６】
（処理シーケンス）
図１１は、実施形態１に係る画像表示装置１０１と画像解析サーバ１０２との間の処理を示すシーケンス図である。まず、画像表示装置１０１は、画像を撮影して取得する（Ｍ７０１）。続いて、画像表示装置１０１は、無線タグ１０３のセンシングを行う（Ｍ７０２）。なお、センシングの範囲は撮影画像の画角と合致させてもよい。無線タグ１０３のセンシングにおいて、画像表示装置１０１は、無線タグ１０３ａ〜１０３ｃへ識別子の取得のリクエストのメッセージを送信する（Ｍ７０３〜Ｍ７０５）。なお、ＲＦ部２１０においてビーム幅の狭い指向性アンテナを用いて撮影画像の画角に合致させてセンシングする場合、例えばＭ７０５の取得メッセージは無線タグ１０３ｃへ届かないこととなる。この場合、無線タグ１０３ｃの識別子を検出することができない。一方、無指向性アンテナやビーム幅が十分に広いアンテナを用いて全方位でセンシングしている場合は、無線タグ１０３ｃの識別子を検出することができる。ここでは、無線タグ１０３ｃの識別子を検出できないものとして説明する。
【００３７】
無線タグ１０３ａおよび無線タグ１０３ｂは、画像表示装置１０１からの識別子の取得のリクエストのメッセージを受信すると、それぞれ固有の識別子を画像表示装置１０１へ送信する（Ｍ７０６、Ｍ７０７）。画像表示装置１０１の位置判定部２０４は、検出した無線タグ１０３のうち、撮影した画像の画角内にある無線タグ１０３を選択する（Ｍ７０８）。なお、本シーケンスでは、撮影画像の画角に合致させてセンシングしているため、検出した全ての無線タグ１０３ａと１０３ｂを選択することとなる。なお、ユーザの操作により画角内の所定の範囲を指定して選択する場合は、この限りではなく、いずれか片方の無線タグ１０３のみが選択される場合や、何も選択されない場合がある。さらに、画像表示装置１０１は、撮影した画像から、検出した無線タグ１０３に対応する画像領域を取得する（Ｍ７０８）。そして、画像表示装置１０１は、選択された無線タグ１０３の識別子と、その識別子に対応する画像領域とを含む画像領域の解析の要求のメッセージを画像解析サーバ１０２へ送信する（Ｍ７０９）。
【００３８】
画像解析サーバ１０２は、受信したメッセージに含まれる識別子から特徴情報を取得し、同様にメッセージに含まれる画像領域の解析を行い、当該画像領域に含まれるオブジェクトを特定する（Ｍ７１０）。そして、画像解析サーバ１０２は、オブジェクトが画像領域に含まれている場合に、識別子に基づいて属性情報を取得する（Ｍ７１１）。画像解析サーバ１０２は、属性情報を取得すると、オブジェクトの特定結果と取得した属性情報とを含むメッセージを画像表示装置１０１へ送信する（Ｍ７１２）。
【００３９】
画像表示装置１０１は、受信したメッセージから属性情報を取得し、取得した属性情報をＭ７０１で撮影した画像に合成する（Ｍ７１３）。そして、画像表示装置１０１は、属性情報を合成した画像を画面に表示する（Ｍ７１４）。
【００４０】
本実施形態では、画像表示装置１０１と画像解析サーバ１０２で分散して画像処理を行ったが、処理の一部または全部を画像表示装置１０１で行ってもよい。また、画像表示装置１０１の機能の一部を画像解析サーバ１０２で行ってもよい。本実施形態によれば、画角外に多量な無線タグ１０３を発見した場合でも、無線タグ１０３に対応する情報を画角に合わせて選択的に検索することで、撮影した画像に含まれるオブジェクトに対する属性情報を短時間で表示することができる。
【００４１】
＜＜実施形態２＞＞
続いて、本発明の第２の実施形態について、実施形態１との差異を中心に図面を参照して説明する。図１２は、識別子の位置と優先度との関係を示す図である。本実施形態では、全方位にセンシングを行うものとする。８０１の領域は、画角と同一の範囲であって、焦点距離までの範囲を示す領域である。領域８０１は、焦点距離に応じて範囲が可変する。そして、領域８０１は、特徴情報取得部２０５および属性情報取得部２０６において、最も高い優先順位でオブジェクトの特定および属性情報の取得の依頼が行われる領域である。なお、図ではこの最も高い優先順位の領域を「優先度１」として表している。なお、図では、優先順位の高い領域から、優先度１、優先度２、と表し、最も優先順位の低い領域を優先度４と表している。
【００４２】
８０２は、画角と同一の範囲であって、焦点距離よりも遠い範囲である。領域８０２は、優先度２であり、特徴情報取得部２０５および属性情報取得部２０６において、２番目に優先してオブジェクトの特定および属性情報の取得の取得の依頼が行われる。８０３は、画角外の範囲であって、優先度３である。８０４は、画像表示装置１０１の画像取得部２０１の反対側の範囲であって、優先度４である。本実施形態では、図１２に示すように、画像表示装置１０１からの相対的な方位と距離とによって、優先順位を設定している。
【００４３】
本実施形態では、全範囲でセンシングを行った後、画像解析サーバ１０２に対するオブジェクトの特定および属性情報の取得（Ｓ５０６、および、Ｍ７０８）の制限を行う。すなわち、優先順位の高い領域で検出された無線タグ１０３に対応する識別子とそれに対応する画像領域を優先して画像解析サーバ１０２へ送信し、優先順位の低いものは後で送信するか、又は送信しない。なお、オブジェクトの特定及び属性情報の取得ではなく、無線タグ１０３のセンシングを行う順番を図１２に記載する優先順位にしたがって決定してもよい。センシングの範囲は、ＲＦ部２１０において指向性アンテナを用いることで限定することが可能となる。
【００４４】
なお、画像表示装置１０１からの距離は、無線タグ１０３から受信する信号の強度や、識別子の要求信号の送信から、識別子を含む信号の受信までにかかるラウンド・トリップ・タイムなどにより判定することが可能である。例えば、センシングにおいて焦点距離より近い領域について無線タグ１０３を検出する場合は、焦点距離に基づいて、識別子の要求信号の送信時から焦点距離に存在する無線タグ１０３からの信号が返ってくるまでの時間を算出する。そして、その時間より前に到来した無線タグ１０３からの信号のみを検出することにより、焦点距離より近い位置にある無線タグ１０３からのみ識別子を取得することが可能となる。
【００４５】
本実施形態によれば、画像表示装置１０１が首振りやズームアウトした場合、動く可能性の高い領域の情報を優先的に取得しておくことで属性情報を短時間で表示できる。また、本実施形態によれば、撮影した画像に含まれる蓋然性の高いオブジェクトについての処理のみを優先して迅速に実行することにより、画像を出力するまでの処理時間を短縮することが可能となる。
【００４６】
＜＜実施形態３＞＞
以下、本発明の第３の実施形態について、実施形態１との差異を中心に図面を参照して説明する。図１３（ａ）は、画角内で無線タグ１０３の識別子を検出したとき（図５のＳ５０４でＹｅｓ）の様子を示した図である。図の例では、画面上に識別子が表示されているが、無線タグ１０３がオブジェクトの名前などを識別子と共に送信し、画像表示装置１０１は識別子以外の名前などを表示してもよい。
【００４７】
図１３（ｂ）は、検出された識別子をユーザインターフェースを用いてユーザの操作により選択し、画像領域を決定する様子を示した図である。本実施形態では、無線タグ１０３ａに対応する識別子をユーザの指１２０４で選択することで画像領域を決定する。なお、画像領域の領域計算自体は、図８（ｂ）と同様に行ってもよく、識別子１２０１が表示されている領域をタッチすることで、計算された領域が自動的に選択されるようにしてもよい。また、識別子１２０１を含む矩形の例えば左上と右下を指定することで領域をユーザが定めてもよい。また、本実施形態では、タッチパネルを用いたが、ペン型のユーザインターフェースや、座標コマンドの入力、識別子の指定などを用いてもよい。画像表示装置１０１は、選択された画像領域とそれに対応する識別子とを画像解析サーバへ送信し、その画像領域についてのみオブジェクトの解析および識別子に対応する属性情報の受信を行う。
【００４８】
本発明によれば、ユーザが選択した情報のみについてオブジェクトの特定と属性情報の受信を行うようになるため、不必要な情報を取得しなくなり、検索や画像合成にかかる処理量を低減することができる。
【００４９】
＜＜その他の実施形態＞＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、被写体の情報を撮影した画像と合成して撮影装置に表示する画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、カメラ等で撮影した現実環境の画像に、その現実環境中の物体の属性情報や、ＣＧを用いたバーチャルな物体を付加し、合成する拡張現実（ＡＲ、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が実現されている。例えば、空間へカメラをかざすと、ＧＰＳによる位置情報に基づいて、画像に含まれる現実環境に関連するタグ情報を画像合成により重ね合わせて表示する、携帯電話用の拡張現実ソフトウェアなどがある（非特許文献１）。
【０００３】
このような拡張現実システムにおいて、被写体に関連した情報を、画像中においてその被写体の近傍に表示することが望まれている。すなわち、撮影画像中に様々な被写体が含まれている場合、それらの被写体に関連するそれぞれの情報が、どの被写体の情報であるのかユーザがわかるような形で表示することが望ましい。
【０００４】
特許文献１には、撮影した画像に対し、画像中の被写体の人物に関連した情報を合成して表示するカメラに関する技術が記載されている。これは、被写体の人物が所持する携帯情報機器等から、その被写体の顔情報等を取得して、取得した情報に基づいて画像処理を行うことで撮影画像中の被写体を特定する。被写体を撮影画像中において特定することにより、その近傍にその被写体に関連した情報を表示することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３０５７１７号公報
【非特許文献】
【０００６】
【非特許文献１】ｈｔｔｐ：／／ｓｅｋａｉｃａｍｅｒａ．ｃｏｍ
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１では、カメラの近傍に、被写体の人物が大量にいる場合、その被写体の人物のそれぞれが所持する携帯情報機器から顔情報等を取得しなければならなかった。そのため、近傍に被写体が多く存在した場合、近傍に存在する被写体の情報を全て取得することによる、処理負荷およびネットワーク負荷が大きくなるという課題があった。
【０００８】
本発明は上記課題に鑑みてなされたものであり、取得した画像に関して適切な情報を選択して取得し、合成して出力する画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明による画像処理装置は、設定した画角の画像を取得する画像取得手段と、前記画像処理装置の周囲に存在するオブジェクトから、無線通信を介して当該オブジェクトを識別する識別子を検出する検出手段と、前記識別子に対応するオブジェクトが前記画像に含まれているかを、前記画角と前記識別子を検出した位置とに基づいて判定する判定手段と、前記識別子に対応するオブジェクトが前記画像に含まれていると判定された場合、前記識別子に基づいて前記オブジェクトの情報を取得する情報取得手段と、前記オブジェクトの情報を、前記画像に合成して出力する出力手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、画像に含まれるオブジェクトに関する情報を適切に選択して取得し、合成して出力する画像処理技術を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】画像処理システムの構成例を示す図。
【図２】画像表示装置の機能構成例を示すブロック図。
【図３】画像処理サーバの機能構成例を示すブロック図。
【図４】無線タグの機能構成例を示すブロック図。
【図５】画像表示装置における画像表示時の処理を示すフローチャート。
【図６】画角に応じた識別子の検索する範囲を示す図。
【図７】識別子の検索範囲の選択方法の例を示す図。
【図８】画像における識別子の検出位置および画像領域を示す図。
【図９】画像解析サーバにおける処理を示すフローチャート。
【図１０】識別子とその関連する特徴情報および属性情報を表すテーブルの図。
【図１１】画像表示装置と画像解析サーバとの間の処理シーケンス図。
【図１２】識別子の位置と優先度との関係を示す図。
【図１３】情報を取得する領域を選択する状態を示す図。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。
【００１３】
＜＜実施形態１＞＞
（画像処理システムの構成）
図１は、本実施形態に係る画像処理システムの構成例を示す図である。画像処理システムは、ネットワーク１００、画像表示装置１０１、画像解析サーバ１０２、及び無線タグ１０３を含む。本実施形態では、画像表示装置１０１、画像解析サーバ１０２および無線タグ１０３が協働して画像処理を実行する。
【００１４】
本実施形態では、ネットワーク１００は、例えば、インターネット、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であり、またはこれらの組み合わせである。画像表示装置１０１は、画像を取得するとともに、周囲の所定の範囲に無線タグ１０３ａ〜１０３ｃが存在するかをセンシングする。そして、画像表示装置１０１は、無線タグ１０３の識別子に基づく属性情報を画像解析サーバ１０２から取得し、画像にその属性情報を合成して表示する。画像解析サーバ１０２は、無線タグ１０３ａ〜１０３ｃの識別子に応じた被写体画像の特徴情報と被写体の属性情報とを保持する。画像解析サーバ１０２は、画像表示装置１０１が要求する処理の指示を受け付け、被写体画像の特徴情報を用いて画像の解析を行い、処理結果を画像表示装置１０１に提供する。
【００１５】
無線タグ１０３ａ〜１０３ｃは、被写体（人や建物などのオブジェクト）が保持し、又は被写体に付属しているものとする。無線タグ１０３ａ〜１０３ｃのそれぞれには、別々の識別子が付与されている。すなわち、無線タグ１０３の識別子は、オブジェクトを識別する識別子である。無線タグ１０３ａ〜１０３ｃは、既知の無線通信技術（無線ＬＡＮ、ミリ波帯通信技術、ＲＦＩＤなど）を用いて、画像表示装置１０１から識別子の要求を受信し、それに応じて自らに付与された識別子を送信する。また、無線タグ１０３ａ〜１０３ｃは、上述のように画像表示装置１０１からの識別子の要求に応答して識別子を送信するパッシブタグであってもよく、また、識別子の要求によらず定期的に識別子を送信するアクティブタグであってもよい。
【００１６】
（画像表示装置の構成）
図２は、画像表示装置１０１の機能構成の例を示すブロック図である。２００は、各機能ブロック（モジュール）を接続するバスである。２０１は、光学ズームやデジタルズームを用いて画角の調整及び設定を行い、画像を取得する画像取得部である。２０２は、液晶パネルなどに画像を表示して出力する表示部である。２０３は、無線タグ１０３ａ〜１０３ｃから識別子の情報を検出する識別子検出部である。２０４は、画像取得部２０１で取得した画像上において、無線タグ１０３が存在する画像領域の位置を判定する位置判定部である。２０５は、画像解析サーバ１０２から無線タグ１０３の識別子に応じた画像の特徴情報を取得する特徴情報取得部である。２０６は、画像解析サーバ１０２から無線タグ１０３の識別子に応じた被写体の属性情報を取得する属性情報取得部である。２０７は、画像解析サーバ１０２とのメッセージの送受信を行うメッセージ送受信部である。２０８は、画像解析サーバ１０２から取得した属性情報を画像を合成する画像合成部である。２０９は、通信プロトコルの処理を行うＴＣＰ／ＩＰ処理部である。２１０は、無線通信技術（無線ＬＡＮ、ミリ波帯通信技術、ＲＦＩＤなど）で無線タグとの間で無線信号の送受信を行うためのアンテナや回路の制御を行うＲＦ部である。
【００１７】
（画像解析サーバの構成）
図３は、画像解析サーバ１０２の機能構成の例を示すブロック図である。３００は、各モジュールを接続するバスである。３０１は、被写体が有する無線タグ１０３の識別子と被写体画像の特徴情報とを関連付けて保持する特徴情報保持部である。３０２は、被写体が有する無線タグ１０３の識別子と被写体の属性情報とを関連付けて保持する属性情報保持部である。３０３は、画像表示装置１０１から取得した画像領域に対して、特徴情報保持部に保存された特徴情報を用いて、被写体（オブジェクト）の特定を行うオブジェクト特定部である。３０４は、画像表示装置１０１とのメッセージの送受信を行うメッセージ送受信部である。３０５は、通信プロトコル処理を行うＴＣＰ／ＩＰ制御部である。
【００１８】
（無線タグの構成）
図４は、無線タグ１０３の機能構成の例を示すブロック図である。４０１は、既知の無線通信技術（無線ＬＡＮ、ミリ波帯通信技術、ＲＦＩＤなど）で画像表示装置１０１との間で無線信号の送受信を行うために、アンテナ４０３や回路の制御を行うＲＦ部である。４０２は、ＲＦ部４０１を制御することで、識別情報を送信する識別情報発信部である。識別情報は、たとえば、ＩＥＥＥ８０２．１１に則ったビーコン・フレームのＩｎｆｏｒｍａｔｉｏｎ Ｅｌｅｍｅｎｔの一要素として付与され、送信される。
【００１９】
なお、無線タグ１０３は無線信号により識別情報を送信できる装置であればどのようなものであってもよく、タグに限られない。なお、識別情報発信部４０２は、画像表示装置１０１から識別子の送信リクエストを受けて識別情報を送信してもよいし、一定の時間間隔で識別情報を送信し続けてもよい。
【００２０】
（画像表示装置の動作）
図５は、画像表示装置１０１における画像表示時の処理を示すフローチャートである。処理が開始されると、画像取得部２０１は、光学ズームやデジタルズームを用いて画角の調整及び設定を行い、画像を撮影する（Ｓ５０１）。続いて、識別子検出部２０３は、ＲＦ部２１０を介して、周囲に無線タグ１０３が存在するかを検出するため周辺環境をセンシングする（Ｓ５０２）。そして、識別子検出部２０３は、センシングによりいずれかの無線タグ１０３から識別子を検出できたか否かの判定を行う（Ｓ５０３）。ここで、無線タグ１０３から識別子を検出できなかったと識別子検出部２０３が判定した場合（Ｓ５０３でＮｏ）、画像表示装置１０１は画像表示処理を終了する。
【００２１】
一方、無線タグ１０３から識別子を検出できたと識別子検出部２０３が判定した場合（Ｓ５０３でＹｅｓ）、位置判定部２０４は、検出された無線タグ１０３の識別子が画像取得部２０１で設定された画角内にあるか否かの判定を行う（Ｓ５０４）。例えば、位置判定部２０４は、図６のような例の場合、無線タグ１０３ａと無線タグ１０３ｂの識別子は画角の範囲内にあり、無線タグ１０３ｃの識別子は画角の範囲外であるものと判定する。このように、位置判定部２０４は、画角と識別子を検出した位置とから、画角の範囲内で識別子が発見されたかを判定する。なお、例えばＲＦ部２１０が指向性アンテナを用いてセンシングを行うことにより無線タグ１０３がそれぞれどの位置で検出されたかを特定し、その特定された位置の情報を用いてＳ５０４の判定を実行してもよい。これにより、容易に無線タグ１０３の位置を特定でき、容易に画角内にその無線タグ１０３が存在するかを判定することができる。また、無線タグ１０３が送信する情報に無線タグ１０３の位置情報を含め、その位置情報と、画像表示装置１０１の位置及び姿勢とから、無線タグ１０３が画像取得部２０１の画角内に存在するか否かを特定してもよい。
【００２２】
なお、Ｓ５０２においては、ＲＦ部２１０は、予めユーザの操作に応じて画角内の所定の範囲を指定しておき、その範囲内において無線タグ１０３をセンシングしてもよい。ここで、図７（ａ）を用いて、ユーザの操作に応じて画角内の指定した範囲にある識別子を検索する方法について説明する。１１０１は、ユーザの指である。１１０２は、タッチパネルによる入力によって設定された範囲である。ユーザの指１１０１は、画像表示装置１０１の画面にタッチし、例えば、範囲１１０２の左上と右下の位置を決定することにより範囲１１０２を定める。そして、この場合、識別子検出部２０３は、画角内の範囲１１０２のみを対象にＲＦ部２１０を介して無線タグ１０３の検出動作を行う。具体的には、例えば無線タグ１０３がパッシブタグである場合、ＲＦ部２１０は、範囲１１０２に対して送信アンテナのビームを向けて識別子の要求信号を送出する。そして、同様に、ＲＦ部２１０は、受信アンテナのビームを範囲１１０２の方向へ向けて識別子を受信するようにする。また、例えば無線タグがアクティブタグである場合は、ＲＦ部２１０は、受信アンテナのビームを範囲１１０２の方向へ向けて、所定期間受信動作を行い、識別子を検出する。これにより、ユーザの操作に基づいて、ユーザがオブジェクトに関する情報を知りたい範囲でのみ識別子を検出することにより、十分に低い処理量でユーザの要求を満足することが可能となる。
【００２３】
また、Ｓ５０４の判定において、図７（ａ）のように範囲を指定して、その範囲内で無線タグ１０３の識別子が発見されたか否かを判定するようにしてもよい。その場合、画像表示装置１０１は、センシングにより検出された無線タグ１０３のうち、指定された範囲で検出された無線タグ１０３の識別子のみが発見されたものとして、以後の処理を実行する。これにより、ユーザがオブジェクトに関する情報を知りたい範囲でのみ情報を取得することにより、十分に低い処理量でユーザの要求を満足することが可能となる。
【００２４】
画像取得部２０１において設定された画角内で無線タグ１０３の識別子が発見されなかった場合（Ｓ５０４でＮｏ）、画像表示装置１０１は画像表示処理を終了する。一方、画像取得部２０１により決定された画角内で無線タグ１０３の識別子が発見された場合（Ｓ５０４でＹｅｓ）、位置判定部２０４は、識別子が検出された位置に対応する画像における位置を特定する。そして、位置判定部２０４は、その位置を含む画像の一部である画像領域を抽出する（Ｓ５０５）。
【００２５】
図８は、取得した画像における識別子の検出位置および画像領域を示す図である。図８（ａ）は、画角内の画像における識別子の検出位置を示す。１００１は、無線タグ１０３ａの検出位置である。１００２は、無線タグ１０３ｂの検出位置である。なお、無線タグ１０３が存在する位置は、例えば識別子を含む信号が最も強く受信される方向に基づいて、画面上の一点で表現することができる。しかしながら、本実施形態では、アンテナの指向方向の分解能や誤差などを考慮して、無線タグ１０３の位置を１００１や１００２などのような所定の範囲によって表現するようにしている。また、オブジェクトはその大きさによって画像上で所定の範囲を占めることとなる。このため、所定の範囲によって、オブジェクトが含まれ得る範囲を特定するようにしてもよい。図８（ｂ）は、識別子に対応した画角内の画像領域を示す。本実施形態では、画像をブロックごとに分割し、識別子の検出位置を含む範囲を画像領域として抽出している。なお、ここでは、識別子の検出範囲の楕円を含む最小の範囲を画像領域として抽出しているが、識別子の検出位置を含む所定の範囲を画像領域として抽出してもよい。１００３は、無線タグ１０３ａに対応した画角内の画像領域である。１００４は、無線タグ１０３ｂに対応した画角内の画像領域である。
【００２６】
なお、図８（ｂ）の例では、識別子に対応する画像領域を矩形状の領域としているがこれに限られず、検出範囲１００１および検出範囲１００２をそのまま識別子に対応する画像領域として用いてもよい。Ｓ５０５においては、位置判定部２０４は、無線タグ１０３ａおよび無線タグ１０３ｂの識別子に対応する画像領域１００３および１００４を取得する。なお、Ｓ５０２でユーザの操作により識別子を検索する範囲を図７（ａ）のように指定した場合、無線タグ１０３ｂは検出されなくなるため、図７（ｂ）のように、範囲１１０２に含まれる無線タグ１０３ａに対応する画像領域１１０３のみが検出される。
【００２７】
無線タグ１０３に対応する画像領域を取得後、特徴情報取得部２０５は、無線タグ１０３ａ及び無線タグ１０３ｂの識別子と画像領域１００３及び１００４とをそれぞれ関連付け、それを画像解析サーバ１０２に送信して処理を依頼する（Ｓ５０６）。すなわち、画像取得部２０１で取得した画像の一部である画像領域１００３および１００４と、無線タグ１０３ａおよび無線タグ１０３ｂの識別子とを関連付けて画像解析サーバに送信する。また同時に、属性情報取得部２０６は、無線タグ１０３ａおよび無線タグ１０３ｂの識別子に関連付けられた属性情報を画像解析サーバ１０２に要求する。この際、メッセージ送受信部２０７が作成したメッセージをＴＣＰ／ＩＰ処理部２０９、ＲＦ部２１０を介して画像解析サーバ１０２へ送信し、その後、画像解析サーバ１０２からＲＦ部２１０とＴＣＰ／ＩＰ処理部２０９を介してメッセージを受信する。
【００２８】
特徴情報取得部２０５は、画像解析サーバ１０２から受信したメッセージから、オブジェクトを特定できたかの結果を取得する（Ｓ５０７）。そして、オブジェクトを特定できなかったと判定した場合（Ｓ５０７でＮｏ）、画像表示装置１０１は画像表示処理を終了する。一方、オブジェクトを特定できたと判定した場合（Ｓ５０７でＹｅｓ）、画像合成部２０８は画像中の解析対象のオブジェクトの近傍に属性情報を合成する（Ｓ５０８）。そして、表示部２０２は、属性情報が合成された画像を画像表示装置１０１の画面に表示し（Ｓ５０９）、画像表示装置１０１は画像表示処理を終了する。
【００２９】
なお、上述の説明では、無線タグ１０３をセンシングした結果、無線タグ１０３の識別子を得られなかった場合（Ｓ５０３でＮｏ）、画像表示装置１０１は画像表示処理を終了する、と説明したがこれに限られない。例えば、識別子が検出されなかった場合は、Ｓ５０９へ処理を進め、属性情報の合成等を行わず、撮像したままの画像を表示してもよい。同様に、画角内で無線タグ１０３の識別子が発見されなかった場合（Ｓ５０４でＮｏ）や、オブジェクトを特定できなかった場合（Ｓ５０７でＮｏ）にも、処理をＳ５０９へ進めて撮像したままの画像を表示してもよい。
【００３０】
（画像解析サーバの動作）
図９は、画像解析サーバ１０２において、画像表示装置１０１から要求を受け付けた時の処理を示すフローチャートである。処理が開始されると、メッセージ送受信部３０４は、ＴＣＰ／ＩＰ制御部３０５を介して、画像表示装置１０１からの依頼のメッセージを受信する（Ｓ６０１）。このとき、メッセージ中には、画像表示装置１０１が取得した無線タグ１０３の識別子と、その無線タグ１０３の識別子に対応する画像領域が含まれているため、これを取得する。
【００３１】
続いて、特徴情報保持部３０１は、記憶されている識別子とそれに対応する特徴情報とから、受信した識別子を鍵として、特徴情報を取得する（Ｓ６０２）。ここで、特徴情報の取得について、図１０を用いて説明する。図１０は、識別子に関連付けられた特徴情報および属性情報のテーブルである。特徴情報保持部３０１は、無線タグ１０３ａの識別子（００：００：８５：００：００：０１）を鍵として、１０３ａの特徴情報（城）を取得する。同様に、特徴情報保持部３０１は、無線タグ１０３ｂの識別子（００：００：８５：００：００：０２）の鍵として、１０３ｂの特徴情報（人）を取得する。
【００３２】
その後、オブジェクト特定部３０３は、無線タグ１０３ａの識別子に関連付けられた画像領域１００３に対して、無線タグ１０３ａの識別子に対応する特徴情報を用いて解析を行い、オブジェクトを特定する（Ｓ６０３）。具体的には、例えば、無線タグ１０３ａの特徴情報に基づいて、画像領域１００３に対する画像認識技術を用いて、画像領域１００３が無線タグ１０３ａを有するオブジェクトの特徴を含んでいるかを判定する。そして、オブジェクト特定部３０３は、そのオブジェクトの特徴を含んでいる場合は、画像領域１００３に無線タグ１０３ａに対応するオブジェクトが存在するものと判定する。さらに、オブジェクトの特徴を含んでいる場合は、そのオブジェクトが画像領域のどの位置にあるかを判定してもよい。画像領域内での位置を特定して画像表示装置１０１へ通知することにより、画像内でオブジェクトが存在する正確な位置において、そのオブジェクトに関連する情報を表示することが可能となる。
【００３３】
続いて、オブジェクト特定部３０３は、オブジェクトを特定できたかどうかの判定を行う（Ｓ６０４）。オブジェクト特定部３０３は、オブジェクトが特定できたと判定すると（Ｓ６０４でＹｅｓ）、処理をＳ６０５に進める。一方、オブジェクト特定部３０３は、オブジェクトが特定できなかったと判定すると（Ｓ６０４でＮｏ）、処理をＳ６０７に進める。なお、Ｓ６０４の処理は識別子と画像領域とのペアごとに行ってもよく、オブジェクトを特定できた画像領域についてはＳ６０５へ処理を進め、オブジェクトを特定できなかった画像領域についてはＳ６０７へ処理を進めてもよい。
【００３４】
Ｓ６０５では、属性情報保存部３０２が、無線タグ１０３の識別子を鍵として、それぞれの属性情報を取得する（Ｓ６０５）。ここで、属性情報の取得について、図１０を用いて説明する。属性情報保存部３０２は、無線タグ１０３ａについては、その識別子（００：００：８５：００：００：０１）を鍵として、１０３ａの属性情報（名前、大きさ、築年数）を取得する。同様に、属性情報保存部３０２は、無線タグ１０３ｂについては、その識別子（００：００：８５：００：００：０２）を鍵として、１０３ｂの属性情報（名前、趣味、所属）を取得する。属性情報を取得すると、メッセージ送受信部３０４は、オブジェクトを特定できたことと、無線タグ１０３の識別子に関連する属性情報とを画像表示装置１０１に通知し（Ｓ６０６）、画像解析サーバ１０２は処理を終了する。
【００３５】
画像領域内でオブジェクトを特定できなかった場合は（Ｓ６０４でＮｏ）、メッセージ送受信部３０４は、オブジェクトを特定できなかったことを画像表示装置１０１に通知する（Ｓ６０７）。その後、画像解析サーバ１０２は処理を終了する。なお、本実施形態では、画像表示装置１０１が取得した画像の一部である画像領域内にオブジェクトが存在するかを判定しているが、取得した画像そのものに対してオブジェクトが存在するかを判定してもよい。その場合、画像表示装置１０１は、画像解析サーバ１０２へ画像と画角内で検出された無線タグ１０３の識別子とを送信する。そして、画像解析サーバ１０２は、その識別子に応じて特徴情報を取得し、画像全体において、オブジェクトの特徴を有する部分が存在するかを判定する。これにより、画像表示装置１０１での処理を簡略化することが可能となる。また、オブジェクトが大きい場合などで、画像領域を限定することによりオブジェクトの特定が困難となる場合には、画像の全体を判定に用いるのが有効となる。一方、画像領域を特定することにより、画像解析サーバ１０２の処理を簡略化し、全体の処理を高速化することができる。
【００３６】
（処理シーケンス）
図１１は、実施形態１に係る画像表示装置１０１と画像解析サーバ１０２との間の処理を示すシーケンス図である。まず、画像表示装置１０１は、画像を撮影して取得する（Ｍ７０１）。続いて、画像表示装置１０１は、無線タグ１０３のセンシングを行う（Ｍ７０２）。なお、センシングの範囲は撮影画像の画角と合致させてもよい。無線タグ１０３のセンシングにおいて、画像表示装置１０１は、無線タグ１０３ａ〜１０３ｃへ識別子の取得のリクエストのメッセージを送信する（Ｍ７０３〜Ｍ７０５）。なお、ＲＦ部２１０においてビーム幅の狭い指向性アンテナを用いて撮影画像の画角に合致させてセンシングする場合、例えばＭ７０５の取得メッセージは無線タグ１０３ｃへ届かないこととなる。この場合、無線タグ１０３ｃの識別子を検出することができない。一方、無指向性アンテナやビーム幅が十分に広いアンテナを用いて全方位でセンシングしている場合は、無線タグ１０３ｃの識別子を検出することができる。ここでは、無線タグ１０３ｃの識別子を検出できないものとして説明する。
【００３７】
無線タグ１０３ａおよび無線タグ１０３ｂは、画像表示装置１０１からの識別子の取得のリクエストのメッセージを受信すると、それぞれ固有の識別子を画像表示装置１０１へ送信する（Ｍ７０６、Ｍ７０７）。画像表示装置１０１の位置判定部２０４は、検出した無線タグ１０３のうち、撮影した画像の画角内にある無線タグ１０３を選択する（Ｍ７０８）。なお、本シーケンスでは、撮影画像の画角に合致させてセンシングしているため、検出した全ての無線タグ１０３ａと１０３ｂを選択することとなる。なお、ユーザの操作により画角内の所定の範囲を指定して選択する場合は、この限りではなく、いずれか片方の無線タグ１０３のみが選択される場合や、何も選択されない場合がある。さらに、画像表示装置１０１は、撮影した画像から、検出した無線タグ１０３に対応する画像領域を取得する（Ｍ７０８）。そして、画像表示装置１０１は、選択された無線タグ１０３の識別子と、その識別子に対応する画像領域とを含む画像領域の解析の要求のメッセージを画像解析サーバ１０２へ送信する（Ｍ７０９）。
【００３８】
画像解析サーバ１０２は、受信したメッセージに含まれる識別子から特徴情報を取得し、同様にメッセージに含まれる画像領域の解析を行い、当該画像領域に含まれるオブジェクトを特定する（Ｍ７１０）。そして、画像解析サーバ１０２は、オブジェクトが画像領域に含まれている場合に、識別子に基づいて属性情報を取得する（Ｍ７１１）。画像解析サーバ１０２は、属性情報を取得すると、オブジェクトの特定結果と取得した属性情報とを含むメッセージを画像表示装置１０１へ送信する（Ｍ７１２）。
【００３９】
画像表示装置１０１は、受信したメッセージから属性情報を取得し、取得した属性情報をＭ７０１で撮影した画像に合成する（Ｍ７１３）。そして、画像表示装置１０１は、属性情報を合成した画像を画面に表示する（Ｍ７１４）。
【００４０】
本実施形態では、画像表示装置１０１と画像解析サーバ１０２で分散して画像処理を行ったが、処理の一部または全部を画像表示装置１０１で行ってもよい。また、画像表示装置１０１の機能の一部を画像解析サーバ１０２で行ってもよい。本実施形態によれば、画角外に多量な無線タグ１０３を発見した場合でも、無線タグ１０３に対応する情報を画角に合わせて選択的に検索することで、撮影した画像に含まれるオブジェクトに対する属性情報を短時間で表示することができる。
【００４１】
＜＜実施形態２＞＞
続いて、本発明の第２の実施形態について、実施形態１との差異を中心に図面を参照して説明する。図１２は、識別子の位置と優先度との関係を示す図である。本実施形態では、全方位にセンシングを行うものとする。８０１の領域は、画角と同一の範囲であって、焦点距離までの範囲を示す領域である。領域８０１は、焦点距離に応じて範囲が可変する。そして、領域８０１は、特徴情報取得部２０５および属性情報取得部２０６において、最も高い優先順位でオブジェクトの特定および属性情報の取得の依頼が行われる領域である。なお、図ではこの最も高い優先順位の領域を「優先度１」として表している。なお、図では、優先順位の高い領域から、優先度１、優先度２、と表し、最も優先順位の低い領域を優先度４と表している。
【００４２】
８０２は、画角と同一の範囲であって、焦点距離よりも遠い範囲である。領域８０２は、優先度２であり、特徴情報取得部２０５および属性情報取得部２０６において、２番目に優先してオブジェクトの特定および属性情報の取得の取得の依頼が行われる。８０３は、画角外の範囲であって、優先度３である。８０４は、画像表示装置１０１の画像取得部２０１の反対側の範囲であって、優先度４である。本実施形態では、図１２に示すように、画像表示装置１０１からの相対的な方位と距離とによって、優先順位を設定している。
【００４３】
本実施形態では、全範囲でセンシングを行った後、画像解析サーバ１０２に対するオブジェクトの特定および属性情報の取得（Ｓ５０６、および、Ｍ７０８）の制限を行う。すなわち、優先順位の高い領域で検出された無線タグ１０３に対応する識別子とそれに対応する画像領域を優先して画像解析サーバ１０２へ送信し、優先順位の低いものは後で送信するか、又は送信しない。なお、オブジェクトの特定及び属性情報の取得ではなく、無線タグ１０３のセンシングを行う順番を図１２に記載する優先順位にしたがって決定してもよい。センシングの範囲は、ＲＦ部２１０において指向性アンテナを用いることで限定することが可能となる。
【００４４】
なお、画像表示装置１０１からの距離は、無線タグ１０３から受信する信号の強度や、識別子の要求信号の送信から、識別子を含む信号の受信までにかかるラウンド・トリップ・タイムなどにより判定することが可能である。例えば、センシングにおいて焦点距離より近い領域について無線タグ１０３を検出する場合は、焦点距離に基づいて、識別子の要求信号の送信時から焦点距離に存在する無線タグ１０３からの信号が返ってくるまでの時間を算出する。そして、その時間より前に到来した無線タグ１０３からの信号のみを検出することにより、焦点距離より近い位置にある無線タグ１０３からのみ識別子を取得することが可能となる。
【００４５】
本実施形態によれば、画像表示装置１０１が首振りやズームアウトした場合、動く可能性の高い領域の情報を優先的に取得しておくことで属性情報を短時間で表示できる。また、本実施形態によれば、撮影した画像に含まれる蓋然性の高いオブジェクトについての処理のみを優先して迅速に実行することにより、画像を出力するまでの処理時間を短縮することが可能となる。
【００４６】
＜＜実施形態３＞＞
以下、本発明の第３の実施形態について、実施形態１との差異を中心に図面を参照して説明する。図１３（ａ）は、画角内で無線タグ１０３の識別子を検出したとき（図５のＳ５０４でＹｅｓ）の様子を示した図である。図の例では、画面上に識別子が表示されているが、無線タグ１０３がオブジェクトの名前などを識別子と共に送信し、画像表示装置１０１は識別子以外の名前などを表示してもよい。
【００４７】
図１３（ｂ）は、検出された識別子をユーザインターフェースを用いてユーザの操作により選択し、画像領域を決定する様子を示した図である。本実施形態では、無線タグ１０３ａに対応する識別子をユーザの指１２０４で選択することで画像領域を決定する。なお、画像領域の領域計算自体は、図８（ｂ）と同様に行ってもよく、識別子１２０１が表示されている領域をタッチすることで、計算された領域が自動的に選択されるようにしてもよい。また、識別子１２０１を含む矩形の例えば左上と右下を指定することで領域をユーザが定めてもよい。また、本実施形態では、タッチパネルを用いたが、ペン型のユーザインターフェースや、座標コマンドの入力、識別子の指定などを用いてもよい。画像表示装置１０１は、選択された画像領域とそれに対応する識別子とを画像解析サーバへ送信し、その画像領域についてのみオブジェクトの解析および識別子に対応する属性情報の受信を行う。
【００４８】
本発明によれば、ユーザが選択した情報のみについてオブジェクトの特定と属性情報の受信を行うようになるため、不必要な情報を取得しなくなり、検索や画像合成にかかる処理量を低減することができる。
【００４９】
＜＜その他の実施形態＞＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
画像処理装置であって、
設定した画角の画像を取得する画像取得手段と、
前記画像処理装置の周囲に存在するオブジェクトから、無線通信を介して当該オブジェクトを識別する識別子を検出する検出手段と、
前記識別子に対応するオブジェクトが前記画像に含まれているかを、前記画角と前記識別子を検出した位置とに基づいて判定する判定手段と、
前記識別子に対応するオブジェクトが前記画像に含まれていると判定された場合、前記識別子に基づいて前記オブジェクトの情報を取得する情報取得手段と、
前記オブジェクトの情報を、前記画像に合成して出力する出力手段と、
を有する画像処理装置。
【請求項２】
前記情報取得手段は、識別子とその識別子に対応するオブジェクトの情報とを関連付けて記憶する記憶手段から、前記オブジェクトの情報を取得する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記記憶手段は、さらに、前記オブジェクトを特定するための特徴情報を、当該オブジェクトに対応する前記識別子と関連付けて記憶し、
前記判定手段は、前記画角の範囲において検出された識別子に基づいて、その識別子に対応する前記特徴情報を前記記憶手段から取得し、検出された前記識別子に対応するオブジェクトが前記画像に含まれているかをその特徴情報に基づいて判定する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記判定手段は、前記識別子を検出した位置に対応する前記画像における位置を特定し、その位置を含む前記画像の一部である領域を抽出し、前記識別子に対応するオブジェクトがその抽出された領域に含まれているかを前記特徴情報に基づいて判定する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記判定手段は、前記識別子に対応する前記オブジェクトが前記画像に含まれている場合、さらに前記オブジェクトの前記画像における位置を前記特徴情報に基づいて判定し、
前記出力手段は、前記画像における前記オブジェクトの前記位置に応じて、前記情報を合成する当該画像における位置を制御する、
ことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記情報取得手段は、検出した前記識別子に対応する前記オブジェクトが前記画像に含まれていない場合、前記画像に含まれる前記オブジェクトの情報を取得した後に、前記画像に含まれていない前記オブジェクトの情報を取得する、
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像取得手段は、さらに焦点距離を設定して画像を取得し、
前記情報取得手段は、前記画像に含まれる前記オブジェクトについて、前記焦点距離より前記画像処理装置に近い距離にある前記オブジェクトの情報を、前記焦点距離より前記画像処理装置から遠い距離にある前記オブジェクトの情報より優先して取得する、
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記検出手段は、指向性アンテナを用いて、前記識別子が検出される位置に関する情報を取得する、
ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記検出手段は、前記指向性アンテナにより、ユーザにより指定された範囲における前記オブジェクトの前記識別子を検出する、
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記検出手段は、指向性アンテナを用いて、前記画角の範囲に含まれる前記識別子を、前記画角の範囲に含まれない前記識別子に優先して検出する、
ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１１】
前記画像取得手段は、さらに焦点距離を設定して画像を取得し、
前記検出手段は、前記画角の範囲に含まれる前記識別子について、前記焦点距離より前記画像処理装置に近い距離にある前記識別子を、前記焦点距離より前記画像処理装置から遠い距離にある前記識別子より優先して検出する、
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記オブジェクトが含まれているかを判定する前記画像の範囲をユーザの操作により特定する特定手段をさらに備える、
ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記画角は光学ズームとデジタルズームによって決定される、
ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記情報取得手段は、前記画角の範囲において検出された前記識別子について、ユーザの指定により選択された前記識別子に対応するオブジェクトの情報を取得する、
ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１５】
画像処理装置における画像処理方法であって、
設定した画角の画像を取得する画像取得工程と、
前記画像処理装置の周囲に存在するオブジェクトから、無線通信を介して当該オブジェクトを識別する識別子を検出する検出工程と、
前記識別子に対応するオブジェクトが前記画像に含まれているかを、前記画角と前記識別子を検出した位置とに基づいて判定する判定工程と、
前記識別子に対応するオブジェクトが前記画像に含まれていると判定された場合、前記識別子に基づいて前記オブジェクトの情報を取得する情報取得工程と、
前記オブジェクトの情報を、取得した前記画像に合成して出力する出力工程と、
を有する画像処理方法。
【請求項１６】
コンピュータを請求項１から１４のいずれか１項に記載の画像処理装置が備える各手段として機能させるためのプログラム。
【請求項１】
画像処理装置であって、
設定した画角の画像を取得する画像取得手段と、
前記画像処理装置の周囲に存在するオブジェクトから、無線通信を介して当該オブジェクトを識別する識別子を検出する検出手段と、
前記識別子に対応するオブジェクトが前記画像に含まれているかを、前記画角と前記識別子を検出した位置とに基づいて判定する判定手段と、
前記識別子に対応するオブジェクトが前記画像に含まれていると判定された場合、前記識別子に基づいて前記オブジェクトの情報を取得する情報取得手段と、
前記オブジェクトの情報を、前記画像に合成して出力する出力手段と、
を有する画像処理装置。
【請求項２】
前記情報取得手段は、識別子とその識別子に対応するオブジェクトの情報とを関連付けて記憶する記憶手段から、前記オブジェクトの情報を取得する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記記憶手段は、さらに、前記オブジェクトを特定するための特徴情報を、当該オブジェクトに対応する前記識別子と関連付けて記憶し、
前記判定手段は、前記画角の範囲において検出された識別子に基づいて、その識別子に対応する前記特徴情報を前記記憶手段から取得し、検出された前記識別子に対応するオブジェクトが前記画像に含まれているかをその特徴情報に基づいて判定する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記判定手段は、前記識別子を検出した位置に対応する前記画像における位置を特定し、その位置を含む前記画像の一部である領域を抽出し、前記識別子に対応するオブジェクトがその抽出された領域に含まれているかを前記特徴情報に基づいて判定する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記判定手段は、前記識別子に対応する前記オブジェクトが前記画像に含まれている場合、さらに前記オブジェクトの前記画像における位置を前記特徴情報に基づいて判定し、
前記出力手段は、前記画像における前記オブジェクトの前記位置に応じて、前記情報を合成する当該画像における位置を制御する、
ことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記情報取得手段は、検出した前記識別子に対応する前記オブジェクトが前記画像に含まれていない場合、前記画像に含まれる前記オブジェクトの情報を取得した後に、前記画像に含まれていない前記オブジェクトの情報を取得する、
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像取得手段は、さらに焦点距離を設定して画像を取得し、
前記情報取得手段は、前記画像に含まれる前記オブジェクトについて、前記焦点距離より前記画像処理装置に近い距離にある前記オブジェクトの情報を、前記焦点距離より前記画像処理装置から遠い距離にある前記オブジェクトの情報より優先して取得する、
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記検出手段は、指向性アンテナを用いて、前記識別子が検出される位置に関する情報を取得する、
ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記検出手段は、前記指向性アンテナにより、ユーザにより指定された範囲における前記オブジェクトの前記識別子を検出する、
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記検出手段は、指向性アンテナを用いて、前記画角の範囲に含まれる前記識別子を、前記画角の範囲に含まれない前記識別子に優先して検出する、
ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１１】
前記画像取得手段は、さらに焦点距離を設定して画像を取得し、
前記検出手段は、前記画角の範囲に含まれる前記識別子について、前記焦点距離より前記画像処理装置に近い距離にある前記識別子を、前記焦点距離より前記画像処理装置から遠い距離にある前記識別子より優先して検出する、
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記オブジェクトが含まれているかを判定する前記画像の範囲をユーザの操作により特定する特定手段をさらに備える、
ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記画角は光学ズームとデジタルズームによって決定される、
ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記情報取得手段は、前記画角の範囲において検出された前記識別子について、ユーザの指定により選択された前記識別子に対応するオブジェクトの情報を取得する、
ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１５】
画像処理装置における画像処理方法であって、
設定した画角の画像を取得する画像取得工程と、
前記画像処理装置の周囲に存在するオブジェクトから、無線通信を介して当該オブジェクトを識別する識別子を検出する検出工程と、
前記識別子に対応するオブジェクトが前記画像に含まれているかを、前記画角と前記識別子を検出した位置とに基づいて判定する判定工程と、
前記識別子に対応するオブジェクトが前記画像に含まれていると判定された場合、前記識別子に基づいて前記オブジェクトの情報を取得する情報取得工程と、
前記オブジェクトの情報を、取得した前記画像に合成して出力する出力工程と、
を有する画像処理方法。
【請求項１６】
コンピュータを請求項１から１４のいずれか１項に記載の画像処理装置が備える各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−８５２００（Ｐ２０１３−８５２００Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２５２９８（Ｐ２０１１−２２５２９８）
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]