撮影装置、制御方法および仮想情報表示プログラム
【課題】画像に付加された複数の情報を容易に選択すること。
【解決手段】携帯電話端末（撮影装置）１は、撮影部４０と、撮影部によって取得された画像を表示する表示部２と、撮影部４０によって取得された画像に関連するオブジェクトを画像に重ねて表示部２に表示させる制御部２２とを備える。制御部２２は、オブジェクトのうち、画像に含まれる所定の物体の表示領域と重なるオブジェクトを選択処理する。
【解決手段】携帯電話端末（撮影装置）１は、撮影部４０と、撮影部によって取得された画像を表示する表示部２と、撮影部４０によって取得された画像に関連するオブジェクトを画像に重ねて表示部２に表示させる制御部２２とを備える。制御部２２は、オブジェクトのうち、画像に含まれる所定の物体の表示領域と重なるオブジェクトを選択処理する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置、制御方法および仮想情報表示プログラムに関する。
【背景技術】
【０００２】
近年、現実空間の画像をコンピュータで処理して更なる情報を付加する拡張現実（ＡＲ：Augmented reality）技術が注目されている（例えば、特許文献１参照）。また、現実空間の画像に付加された情報を選択してより詳細な情報を表示させる技術も知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−０２７３４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来は、現実空間の画像に付加された複数の情報をまとめて選択可能な操作方式が提供されていなかった。このため、利用者は、現実空間の画像に付加されている複数の情報のうちどれが所望の情報であるか分からない場合には、情報を１つずつ選択して関連づけられた詳細情報を確認していかなければならなかった。
【０００５】
本発明は、画像に付加された複数の情報を容易に選択することができる撮影装置、制御方法および仮想情報表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る撮影装置は、撮影部と、前記撮影部によって取得された画像を表示する表示部と、前記撮影部によって取得された前記画像に関連するオブジェクトを前記画像に重ねて前記表示部に表示させる制御部とを備え、前記制御部は、前記オブジェクトのうち、前記画像に含まれる所定の物体の表示領域と重なるオブジェクトを選択処理する。
【０００７】
ここで、前記制御部は、前記所定の物体の表示態様が変化したことを契機として前記選択処理を行うことが好ましい。なお、前記所定の物体の表示態様の変化は、前記所定の物体に含まれる突部が消滅したことを含むこととしてもよい。
【０００８】
また、前記制御部は、前記選択処理によって選択した前記オブジェクトを前記表示部に一覧表示することが好ましい。なお、前記制御部は、前記選択されたオブジェクトの一覧表示を自装置からの距離に応じて前記選択されたオブジェクトを並べ替えて表示してもよい。また、前記制御部は、前記選択処理によって選択した前記オブジェクトをカテゴリごとに分類して表示してもよい。
【０００９】
また、前記所定の物体の前記表示領域は、前記所定の物体を構成する複数の突部における端が互いに結ばれた領域の内側を含むことが好ましい。
【００１０】
また、前記制御部は、前記所定の物体の表示態様が変化するまでに前記所定の物体の表示領域が移動した場合、当該移動の軌跡上に表示されているオブジェクトをさらに選択処理することが好ましい。
【００１１】
また、上述した課題を解決し、目的を達成するために、本発明に係る制御方法は、撮影部によって取得された画像を表示するステップと、前記撮影部によって取得された前記画像に関連するオブジェクトを前記画像に重ねて前記表示部に表示させるステップと、前記オブジェクトのうち、前記画像に含まれる所定の物体の表示領域と重なるオブジェクトを選択処理するステップとを含む。
【００１２】
また、上述した課題を解決し、目的を達成するために、本発明に係る仮想情報表示プログラムは、情報処理装置に、撮影部によって取得された画像を表示するステップと、前記撮影部によって取得された前記画像に関連するオブジェクトを前記画像に重ねて前記表示部に表示させるステップと、前記オブジェクトのうち、前記画像に含まれる所定の物体の表示領域と重なるオブジェクトを選択処理するステップとを実行させる。
【発明の効果】
【００１３】
本発明は、画像に付加された複数の情報を容易に選択することができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】図１は、本実施例に係る携帯電話端末の外観を示す正面図である。
【図２】図２は、本実施例に係る携帯電話端末の機能的な構成を示すブロック図である。
【図３】図３は、仮想情報の一例を示す図である。
【図４】図４は、ＡＲタグの選択の一例を示す図である。
【図５】図５は、選択領域について説明するための図である。
【図６】図６は、ＡＲタグの選択の他の例を示す図である。
【図７】図７は、携帯電話端末によるＡＲタグ選択処理の処理手順を示す図である。
【図８】図８は、ＡＲタグをカテゴリ別に表示する例を示す図である。
【図９】図９は、手がＡＲタグと初めて重なった場面の一例を示す図である。
【図１０】図１０は、基準距離と換算係数について説明するための図である。
【図１１】図１１は、ＡＲタグを選択するための閾値の一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、撮影装置の一例として携帯電話端末について説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、例えば、ＰＨＳ（Personal Handyphone System）、ＰＤＡ、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等の各種情報処理装置に対しても本発明は適用できる。
【実施例】
【００１６】
まず、図１を参照しながら、本実施例に係る携帯電話端末１の外観について説明する。図１は、携帯電話端末１の外観を示す正面図である。図１に示すように、携帯電話端末１の筐体１Ｃは、ヒンジ機構８によって開閉可能に連結された第１筐体１ＣＡと第２筐体１ＣＢとを備える。すなわち、携帯電話端末１は、折り畳み式の筐体を有する。
【００１７】
なお、携帯電話端末１の筐体は、このような構造に限定されるものではない。例えば、携帯電話端末１の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、２軸ヒンジを介して２つの筐体を連結したものでもよい。また、携帯電話端末１の筐体は、１つの筐体からなるいわゆるストレート式（スレート式）の筐体でもよい。
【００１８】
第１筐体１ＣＡは、表示部２と、レシーバ１６と、撮影部４０とを有する。表示部２は、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬ（Organic Electro−Luminescence）パネル等の表示装置を備え、文字、図形、画像等の各種情報を表示する。表示部２は、撮影部４０によって取得された画像を表示することもできる。レシーバ１６は、通話時に通話相手の音声を出力する。
【００１９】
撮影部４０は、撮像センサ等の撮影手段によって画像を撮影する。撮影部４０の撮影手段に外部の光を導く撮影窓は、第１筐体１ＣＡの表示部２が設けられている面と反対側の面に設けられている。すなわち、第１筐体１ＣＡは、利用者が表示部２を正面から見ると、撮影部４０によって取得された第１筐体１ＣＡとは反対側の画像が表示部２に表示されるように構成されている。
【００２０】
第２筐体１ＣＢは、テンキーや機能キー等からなる操作キー１３Ａと、メニューの選択および決定や画面のスクロール等を実行するための方向および決定キー１３Ｂと、通話時に音声を取得する音声取得手段であるマイク１５とを有する。操作キー１３Ａと、方向および決定キー１３Ｂとは、携帯電話端末１の操作部１３を構成する。なお、操作部１３は、操作キー１３Ａ等に代えて、または、操作キー１３Ａ等に加えて、表示部２に重畳されたタッチセンサを備えていてもよい。
【００２１】
次に、図２を参照しながら、携帯電話端末１の機能的な構成について説明する。図２は、携帯電話端末１の機能的な構成を示すブロック図である。図２に示すように、携帯電話端末１は、通信部２６と、操作部１３と、音声処理部３０と、表示部２と、撮影部４０と、位置・姿勢検出部３６と、制御部２２と、記憶部２４とを備える。
【００２２】
通信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介し、基地局との間でＣＤＭＡ（Code Division Multiple Access）方式などによる無線信号回線を確立し、基地局を通じて他の装置との間で電話通信および情報通信を行う。操作部１３は、操作キー１３Ａ、または、方向および決定キー１３Ｂがユーザによって操作されると、その操作内容に対応する信号を制御部２２へ出力する。
【００２３】
音声処理部３０は、マイク１５から入力される音声をデジタル信号化して制御部２２へ出力する。また、音声処理部３０は、制御部２２から出力されるデジタル信号を復号してレシーバ１６へ出力する。表示部２は、制御部２２から入力される制御信号に従って各種情報を表示する。撮影部４０は、取得した画像をデジタル信号に変換して制御部２２へ出力する。
【００２４】
位置・姿勢検出部３６は、携帯電話端末１の位置と姿勢を検出し、検出結果を制御部２２へ出力する。位置・姿勢検出部３６は、携帯電話端末１の位置を、例えば、ＧＰＳ（Global Positioning System）受信機や通信部２６が無線信号回線を確立している基地局に基づいて検出する。また、位置・姿勢検出部３６は、携帯電話端末１の姿勢を、例えば、３軸加速度センサ、方位センサ、ジャイロセンサに基づいて検出する。
【００２５】
制御部２２は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部２２は、記憶部２４に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をＣＰＵに実行させる。そして、制御部２２は、ＣＰＵによる命令の実行結果に応じて、メモリおよび記憶部２４に対してデータの読み書きを行ったり、通信部２６や表示部２等の動作を制御したりする。ＣＰＵが命令を実行するに際しては、メモリに展開されているデータや位置・姿勢検出部３６等から入力される信号がパラメータとして利用される。
【００２６】
記憶部２４は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部２４に記憶されるプログラムおよびデータには、仮想情報表示プログラム２４ａと、１ないし複数の仮想情報２４ｂと、形状情報２４ｃとが含まれる。なお、記憶部２４は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、記憶部２４に記憶されていることとしたプログラムおよびデータは、可搬の記憶媒体に記憶される。また、記憶部２４に記憶されていることとしたプログラムおよびデータは、通信部２６による無線通信によってサーバ装置等の他の装置から取得されることとしてもよい。
【００２７】
仮想情報表示プログラム２４ａは、拡張現実（ＡＲ：Augmented reality）技術に基づいて、撮影部４０によって取得された画像に現実の施設や物品に対応した仮想的な情報を重ねて表示部２に表示する機能を提供する。具体的には、仮想情報表示プログラム２４ａは、位置・姿勢検出部３６によって検出される位置と姿勢等に基づいて撮影部４０の撮影範囲にある施設や物品に対応する仮想情報２４ｂを制御部２２に取得させる。そして、仮想情報表示プログラム２４ａは、取得した仮想情報２４ｂに対応するＡＲタグと呼ばれるオブジェクトを画像に重ねて表示させる。
【００２８】
また、仮想情報表示プログラム２４ａは、利用者に任意のＡＲタグを選択させる機能と、選択されたＡＲタグに関連づけられた動作を実行する機能を提供する。仮想情報表示プログラム２４ａは、複数のＡＲタグが重なっている場合でも、任意のＡＲタグを利用者が選択することを可能にする。
【００２９】
仮想情報２４ｂは、撮影部４０によって取得された画像に重ねて表示されるＡＲタグに関する情報を保持する。図３は、仮想情報２４ｂの一例を示す図である。図３に示すように、仮想情報２４ｂは、緯度、経度、高さ、画像、コメント、ＵＲＬ（Uniform Resource Locator）等の分類項目の情報を有する。緯度、経度、高さは、仮想情報２４ｂに対応する現実の施設や物品の位置を示す。画像は、ＡＲタグとして表示されるオブジェクトの実体を示す。コメントは、仮想情報２４ｂに対応する現実の施設や物品に関する説明文である。ＵＲＬは、ＡＲタグに関連づけられた情報を示す。なお、仮想情報２４ｂが有する分類項目は、上記分類項目に限らず、高さやコメントはなくてもよい。
【００３０】
なお、表示対象の仮想情報２４ｂの全てを予め記憶部２４に記憶させるのではなく、携帯電話端末１の位置と姿勢とに基づいて、撮影部４０の撮影範囲およびその周辺に存在する施設や物品に対応する仮想情報２４ｂをサーバ装置から随時取得してもよい。この場合、所定量または所定件数の仮想情報２４ｂを記憶部２４にキャッシュするようにしてもよい。なお、ここでいうサーバ装置とは、例えば、ＡＲサービスを提供する業者によって運営される装置である。
【００３１】
形状情報２４ｃは、撮影部４０によって取得された画像の中から、ＡＲタグを選択するために用いられる所定の物体を検出するための情報を保持する。本実施例においては、ＡＲタグを選択するために用いられる所定の物体は、人間の手であるものとする。そして、形状情報２４ｃには人間の手の形状が登録されているものとする。なお、ここでいう人間の手の形状とは、例えば、所定数以上の突部を有する形状とする。また、形状情報２４ｃに登録された手の形状として、撮影された若しくは予め登録されている手の画像、又は手の形状の特徴情報等、いずれにも限られない。
【００３２】
次に、図４から図６を参照しながら、仮想情報表示プログラム２４ａが提供する機能に基づいて制御部２２によって実行されるＡＲタグの選択処理について説明する。図４は、ＡＲタグの選択の一例を示す図である。図５は、選択領域について説明するための図である。図６は、ＡＲタグの選択の他の例を示す図である。
【００３３】
図４に示すように、撮影部４０が画像Ｐを取得すると、制御部２２は、画像Ｐを表示部２に表示させるとともに、画像Ｐを形状情報２４ｃと照合して手の形状の検出を試みる。手の形状が検出されると、制御部２２は、二値化等によって手の輪郭を抽出する。なお、手の形状の検出は、例えば、特開２００３−３４６１６２号公報にて開示されている技術等を用いて実現してもよい。また、手の認識方法としては、上記の方法に限らず、例えば、予め記憶された手の画像と画像Ｐとをマッチング処理して同一の手の形状を検出してもよい。また、同様の方法で、予め手の開かれた状態（開状態）および閉じられた状態（閉状態）の２パターンの画像を記憶しておき、当該２パターンの画像と画像Ｐに含まれる手の形状を対比することによって、画像Ｐに含まれる手の形状の検出を行ってもよい。
【００３４】
また、制御部２２は、位置・姿勢検出部３６によって検出された携帯電話端末１の位置と姿勢とに基づいて、撮影部４０の撮影範囲にある施設や物品に対応する仮想情報２４ｂを取得し、取得した仮想情報２４ｂに対応するＡＲタグを画像Ｐに重ねて表示部２に表示させる。
【００３５】
具体的には、制御部２２は、取得した仮想情報２４ｂの示す位置が、撮影部４０によって取得される画像Ｐのどの位置に対応するかを算出し、算出した位置に仮想情報２４ｂに対応するＡＲタグを表示させる。仮想情報２４ｂの示す位置が画像Ｐのどこに対応するかは、位置・姿勢検出部３６によって検出された携帯電話端末１の位置と姿勢、仮想情報２４ｂに含まれる位置情報、撮影部４０の撮像面のサイズおよび画角等に基づいて算出される。
【００３６】
また、画像Ｐにおいて、一部でも他のＡＲタグが重なる領域があるＡＲタグは、対応する仮想情報２４ｂの示す位置が携帯電話端末１に近いほど前面に位置するように重ねて表示される。
【００３７】
図４に示すステップＳ１１では、画像Ｐには手Ｈが写っているので、画像Ｐを形状情報２４ｃと照合することによって、画像Ｐに含まれる手Ｈの形状が検出される。また、ステップＳ１１では、撮影部４０の撮影範囲にある施設や物品に対応するＡＲタグＡ１〜ＡＲタグＡ４の４つのＡＲタグが画像Ｐに重ねて表示されている。ＡＲタグＡ２〜Ａ４は、それぞれ、対応する仮想情報２４ｂの示す位置が撮影部４０の焦点からみて互いに近いために重なり合って表示される。
【００３８】
この場面では、手Ｈは、閉状態であり、手Ｈの表示領域は、いずれのＡＲタグの表示位置とも重なっていない。このように検出された手Ｈが閉状態であり、いずれのＡＲタグの表示位置とも表示領域が重なっていない場合、どのＡＲタグも選択されず、未選択状態を維持する。
【００３９】
続いて、ステップＳ１２では、手Ｈが、ＡＲタグＡ２〜Ａ４の表示位置を含む表示領域に対応する位置へ実際に移動した後に、開状態へ移行している。そして、ステップＳ１３では、手Ｈが、表示領域を維持した状態で閉状態へ移行している。このように、手Ｈが開状態から閉状態へ移行すると、制御部２２は、開いていたときの手Ｈの表示領域を選択領域に設定し、表示位置が選択領域に含まれるＡＲタグを選択状態にする。この例では、ステップＳ１３において、ＡＲタグＡ２〜Ａ４の３つのＡＲタグが選択状態となる。
【００４０】
このように、手Ｈを開いて閉じる動作が検出された場合に開いていたときの手Ｈの表示領域に表示位置が含まれるＡＲタグを選択状態とすることにより、利用者は、複数のＡＲタグを容易に選択することができる。また、手Ｈを開いて閉じる動作は、欲しいものを掴む動作と同一であるため、このような動作によってＡＲタグを選択する方式は、利用者にとって非常に直感的で分かりやすい。
【００４１】
なお、選択領域は、実際の手Ｈの形状に沿った領域であってもよいし、図５に示す領域Ｒ１のように指の先端（突端）を結んだ内側の領域であってもよいし、図５に示す領域Ｒ２のように手Ｈの形状を含む最小矩形であってもよい。領域Ｒ１を選択領域とすることにより、指の間に表示されていたＡＲタグも選択されることとなり、利用者の意図に合った選択範囲を設定することができる。領域Ｒ２を選択領域とすることにより、領域を算出するための演算量を少なくすることができる。
【００４２】
また、手Ｈの表示領域にＡＲタグの表示位置が含まれる場合、ステップＳ１２およびステップＳ１３に示すように、手Ｈの形状をＡＲタグよりも前面に表示することが好ましい。このように制御することにより、手Ｈの位置が明確になり、どのＡＲタグが選択されるかを利用者が把握しやすくなる。また、表意位置の一部分のみが選択領域に含まれるＡＲタグについては、選択状態にしてもよいし、選択状態にしなくてもよい。
【００４３】
こうしてＡＲタグが選択されると、制御部２２は、選択されたＡＲタグをメニューＭ１として表示部２に一覧表示する。図４に示すステップＳ１４では、選択状態となったＡＲタグが、対応する仮想情報２４ｂに含まれるコメントと対応付けて一覧表示されている。このように、ＡＲタグを一覧表示することにより、重なり合っていたＡＲタグを所定の間隔で配列して表示させることができる。ＡＲタグを所定の間隔で配列して表示させることにより、利用者は、個々のＡＲタグをはっきりと識別することができるとともに、それらのＡＲタグの１つを容易に選択することができるようになる。
【００４４】
なお、選択状態となったＡＲタグを配列する順序は、例えば、対応する仮想情報が示す位置が携帯電話端末１に近い順であってもよいし、対応する仮想情報の更新日時が新しい順であってもよい。対応する仮想情報が示す位置が携帯電話端末１に近い順にＡＲタグを配列することにより、ＡＲタグの配列順序が、対応する施設や物品が見える順序と一致するため、利用者が、ＡＲタグと施設や物品との対応を把握し易くなる。
【００４５】
続いて、ステップＳ１５に示すように、利用者がメニューＭ１上のＡＲタグの１つを選択すると、制御部２２は、ステップＳ１６に示すように、選択されたＡＲタグに対応する動作を実行する。図４に示す例では、制御部２２は、選択されたＡＲタグＡ２に対応する動作として、ＡＲタグＡ２に対応する仮想情報２４ｂに含まれるＵＲＬにアクセスしてＷＥＢページＷ１を表示部２に表示させる動作を実行している。
【００４６】
なお、利用者は、操作部１３を操作することによってメニューＭ１上のＡＲタグの選択を実行してもよいし、撮影部４０によって取得される画像中で所定の動作を行うことによってメニューＭ１上のＡＲタグの選択を実行してもよい。ここでいう所定の動作とは、例えば、タップするようにＡＲタグの表示領域内で指を上下させる動作や、ＡＲタグをはじくように指を動かす動作や、ＡＲタグの表示領域内で指を一定時間以上静止させる動作である。なお、指の認識方法については、手の形状の検出方法と同様の検出方法によって実現されてもよい。
【００４７】
また、メニューＭ１を表示するに際しては、ＡＲタグを選択する手の位置を利用者が確認しやすいように、メニューＭ１を手の形状の背面に表示することが好ましい。あるいは、メニューＭ１を半透明に表示して、背後の手の位置を利用者が確認できるようにしてもよい。
【００４８】
図４では、開状態の手を表示領域を維持したままで閉状態へ移行してＡＲタグを選択する例を示したが、利用者は、開状態の手を移動させることによって、より広範囲のＡＲタグを選択することができる。例えば、図６に示すように、ステップＳ１３において開状態へ移行した手Ｈが、ステップＳ１７において、表示領域にＡＲタグＡ１の表示位置が含まれる位置まで左下方向へ移動し、その後に閉状態へ移行したものとする。この場合、制御部２２は、ＡＲタグＡ２〜Ａ４に加えて、ＡＲタグＡ１も選択状態にする。そして、制御部２２は、ステップＳ１８に示すように、選択されたＡＲタグＡ１〜Ａ４をメニューＭ２として表示部２に一覧表示する。
【００４９】
このように、制御部２２は、開状態の手Ｈが移動した場合、移動の軌跡を監視し、移動前の選択開始領域Ｒ３から移動後の選択完了領域Ｒ４への軌跡上に表示位置が含まれる全てのＡＲタグを選択状態にする。このように制御することにより、利用者は、離れた位置に表示されている複数のＡＲタグを一度に選択することができる。なお、ここでいう開状態の手Ｈが移動した場合には、手Ｈが開状態から閉状態へ移行しながら移動した場合も含まれる。
【００５０】
次に、図７を参照しながら、携帯電話端末１の動作について説明する。図７は、携帯電話端末１によるＡＲタグ選択処理の処理手順を示す図である。図７に示す処理手順は、仮想情報表示プログラム２４ａが起動された後、利用者が所定の終了操作を行うまで繰り返して実行される。なお、ＡＲタグ選択処理は、制御部２２が仮想情報表示プログラム２４ａを実行することによって実現される。
【００５１】
図７に示すように、制御部２２は、まず、ステップＳ１０１として、メモリに設けられた監視フラグをオフに設定する。監視フラグは、開状態に変化した手の移動を監視すべき場合にオンに設定されるフラグである。続いて、制御部２２は、ステップＳ１０２として、撮影部４０で取得された画像Ｐを表示部２に表示させる。そして、制御部２２は、ステップＳ１０３として、位置・姿勢検出部３６に自装置の位置と姿勢を取得させる。
【００５２】
続いて、制御部２２は、ステップＳ１０４として、自装置の位置と姿勢等に基づいて、撮影部４０の撮影範囲に対応する仮想情報２４ｂを取得する。そして、制御部２２は、ステップＳ１０５として、取得した仮想情報２４ｂに対応するＡＲタグを画像Ｐに重ねて表示部２に表示させる。
【００５３】
続いて、制御部２２は、ステップＳ１０６として、画像Ｐに含まれる手を検出する。手が検出されない場合（ステップＳ１０７，Ｎｏ）、制御部２２は、ステップＳ１０８として、監視フラグをオフに設定し、ステップＳ１０２以降を再実行する。一方、画像Ｐに含まれる手が検出された場合（ステップＳ１０７，Ｙｅｓ）、制御部２２は、ステップＳ１０９として、監視フラグがオンであるかを判定する。監視フラグがオンでない場合（ステップＳ１０９，Ｎｏ）、制御部２２は、ステップＳ１１０として、手が開状態であるかを判定する。手が開状態であることは、例えば、指に相当する形状が含まれることに基づいて判定される。
【００５４】
手が開状態である場合（ステップＳ１１０，Ｙｅｓ）、制御部２２は、ステップＳ１１１として、監視フラグをオンに設定する。そして制御部２２は、ステップＳ１１２として、その時点での手の領域に基づいて選択開始領域を設定し、ステップＳ１０２以降を再実行する。一方、手が開いた形状になっていない場合（ステップＳ１１０，Ｎｏ）、制御部２２は、監視フラグを変更することなく、ステップＳ１０２以降を再実行する。
【００５５】
ステップＳ１０９で監視フラグがオンであった場合、すなわち、手が開いた形状に変化していた場合（ステップＳ１０９，Ｙｅｓ）、制御部２２は、ステップＳ１１３として、手が閉じた形状になっているかを判定する。手が閉じた形状になっていることは、例えば、指に相当する突部が形状に含まれなくなったことに基づいて判定される。手が閉じた形状に変化していない場合（ステップＳ１１３，Ｎｏ）、制御部２２は、ステップＳ１０２以降を再実行する。
【００５６】
手が閉じた形状に変化していた場合（ステップＳ１１３，Ｙｅｓ）、制御部２２は、ステップＳ１１４として、その時点での手の領域に基づいて選択完了領域を設定する。なお、選択完了領域は、閉じた形状の手の領域に基づいて設定してもよいし、閉じた手が開いているときの形状を仮定し、仮定した手の領域に基づいて設定してもよい。
【００５７】
続いて、制御部２２は、ステップＳ１１５として、選択開始領域から選択完了領域への軌跡上に位置する全てのＡＲタグを選択する。なお、ここでいう軌跡とは、選択開始領域から選択完了領域へ直線的に移動した場合の軌跡であってもよいし、実際に手が通った経路に沿って設定された軌跡であってもよい。そして、制御部２２は、ステップＳ１１６として、選択したＡＲタグに対応する仮想情報２４ｂを一覧表示する。
【００５８】
続いて、制御部２２は、ステップＳ１１７として、一覧表示した仮想情報２４ｂに対する利用者の選択動作が検出されたかを判定する。選択動作が検出されない場合（ステップＳ１１７，Ｎｏ）、制御部２２は、ステップＳ１１７の判定を再実行する。選択動作が検出された場合（ステップＳ１１７，Ｙｅｓ）、制御部２２は、ステップＳ１１８として、選択動作が行われた仮想情報２４ｂに対応する動作を実行する。仮想情報２４ｂに対応する動作とは、例えば、仮想情報２４ｂに含まれるＵＲＬにアクセスしてＷＥＢページを表示する動作である。
【００５９】
上述してきたように、本実施例では、手で掴むような動作が検出された位置に表示されているＡＲタグをまとめて選択可能にしたので、画像に付加された複数のＡＲタグを容易に選択することができる。
【００６０】
なお、上記の実施例で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。例えば、上記の実施例では、ＡＲタグの選択に関する処理を携帯電話端末１が実行することとしたが、この処理を携帯電話端末１と通信可能なサーバ装置が実行することとしてもよい。この場合、携帯電話端末１は、撮影部４０によって取得された画像Ｐと、位置・姿勢検出部３６によって検出された携帯電話端末１の位置および姿勢とをサーバ装置に送信し、サーバ装置から応答された処理済みの画像を表示部２に表示する。
【００６１】
また、上記の実施例では、手を閉じる動作の検出にともなって選択されたＡＲタグを一覧表示することとしたが、手を閉じる動作の検出にともなって選択されたＡＲタグの表示の仕方は、個々のＡＲタグを容易に選択可能な方式であればよい。例えば、図８に示すメニューＭ３のように、選択されたＡＲタグをカテゴリ分けし、カテゴリごとにタブＣ１〜Ｃ３等のタブを設けて、ＡＲタグがカテゴリごとに表示されるようにしてもよい。
【００６２】
また、手を閉じる動作の検出にともなってＡＲタグを選択する際に、自装置とＡＲタグの奥行き方向の距離を考慮することとしてもよい。図９から図１１を参照しながら、自装置との奥行き方向の距離を考慮してＡＲタグを選択する例について説明する。図９は、手がＡＲタグと初めて重なった場面の一例を示す図である。図１０は、基準距離と換算係数について説明するための図である。図１１は、ＡＲタグを選択するための閾値の一例を示す図である。
【００６３】
図４に示したステップＳ１１の場面で手が上方に移動すると、図９に示すように、手の一部がＡＲタグＡ３の端部と重なった状態となる。このように、手がいずれかのＡＲタグに初めて重なると、制御部２２は、その時点での携帯電話端末１と手との距離を測定し、測定された距離を基準距離としてメモリに記憶させる。携帯電話端末１と手との距離の測定は、撮影部４０が焦点を対象物に合わせるために用いる合焦機能によって実現される。なお、携帯電話端末１と手との距離は、例えば、赤外線や音波等を用いて距離を測定する測距センサを用いて測定してもよいし、予め所定の距離と対応付けて形状情報２４ｃに保持されている手の大きさと画像Ｐ中の手の大きさの比率に基づいて算出してもよい。
【００６４】
続いて、制御部２２は、位置・姿勢検出部３６によって検出された携帯電話端末１の位置とＡＲタグＡ３に対応する仮想情報２４ｂが示す位置との距離を算出する。そして、制御部２２は、求めた２つの距離に基づいて、ＡＲタグＡ３に対応する仮想情報２４ｂが示す位置と他の仮想情報２４ｂが示す位置との奥行き方向の距離を手の移動距離に換算するための換算係数を算出する。
【００６５】
図１０に示すように、基準距離がＤＳであり、ＡＲタグＡ３に対応する仮想情報２４ｂが示す位置Ｐ３と携帯電話端末１との距離がＤ３であるとすると、換算係数はＤＳ／Ｄ３となる。この換算係数を用いることにより、ＡＲタグＡ３を基準とした各ＡＲタグの奥行き方向の相対位置を手の位置と対応させることができる。
【００６６】
例えば、ＤＳが１０［ｃｍ］、すなわち、０．１［ｍ］であり、Ｄ３が１００［ｍ］であるとすると、換算係数は、０．００１となる。この場合、ＡＲタグＡ２に対応する仮想情報２４ｂが示す位置Ｐ２が位置Ｐ３から５０［ｍ］手前にあるとすると、５０×０．００１［ｍ］、すなわち、手を５ｃｍ手前に移動させた位置がＡＲタグＡ２の奥行き方向の位置となる。
【００６７】
同様に、ＡＲタグＡ１に対応する仮想情報２４ｂが示す位置Ｐ１が位置Ｐ３から１０［ｍ］手前にあるとすると、１０×０．００１［ｍ］、すなわち、手を１ｃｍ手前に移動させた位置がＡＲタグＡ１の奥行き方向の位置となる。また、ＡＲタグＡ４に対応する仮想情報２４ｂが示す位置Ｐ４が位置Ｐ３から１０［ｍ］奥にあるとすると、１０×０．００１［ｍ］、すなわち、手を１ｃｍ奥に移動させた位置がＡＲタグＡ４の奥行き方向の位置となる。
【００６８】
このように、ＡＲタグの奥行き方向の相対位置を手の位置と対応させることにより、手を閉じる動作の検出にともなってＡＲタグを選択する際に、自装置とＡＲタグの奥行き方向の距離を考慮することが可能になる。すなわち、手を閉じる動作が検出された場合に、開いた手の領域に含まれるＡＲタグであっても、手でつかめる範囲外に位置するＡＲタグについては選択しないという制御を行うことが可能なる。
【００６９】
手でつかめる範囲内であるかについては、例えば、図１１に示すように、閾値を設定して判定してもよい。図１１に示す例では、手を開く動作が検出された位置ＰＳおよび手を閉じる動作が検出された位置ＰＥから奥行き方向に閾値ＤＴ離れた位置までの範囲Ｓが手でつかめる範囲と判定される。図１１に示す例では、範囲Ｓの外に位置するＡＲタグＡ２は、開いた手の範囲に重なっていたとしても選択されない。
【符号の説明】
【００７０】
１ 携帯電話端末
２ 表示部
１３ 操作部
２２ 制御部
２４ 記憶部
２４ａ 仮想情報表示プログラム
２４ｂ 仮想情報
２４ｃ 形状情報
２６ 通信部
３０ 音声処理部
３６ 位置・姿勢検出部
４０ 撮影部
【技術分野】
【０００１】
本発明は、撮影装置、制御方法および仮想情報表示プログラムに関する。
【背景技術】
【０００２】
近年、現実空間の画像をコンピュータで処理して更なる情報を付加する拡張現実（ＡＲ：Augmented reality）技術が注目されている（例えば、特許文献１参照）。また、現実空間の画像に付加された情報を選択してより詳細な情報を表示させる技術も知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−０２７３４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来は、現実空間の画像に付加された複数の情報をまとめて選択可能な操作方式が提供されていなかった。このため、利用者は、現実空間の画像に付加されている複数の情報のうちどれが所望の情報であるか分からない場合には、情報を１つずつ選択して関連づけられた詳細情報を確認していかなければならなかった。
【０００５】
本発明は、画像に付加された複数の情報を容易に選択することができる撮影装置、制御方法および仮想情報表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る撮影装置は、撮影部と、前記撮影部によって取得された画像を表示する表示部と、前記撮影部によって取得された前記画像に関連するオブジェクトを前記画像に重ねて前記表示部に表示させる制御部とを備え、前記制御部は、前記オブジェクトのうち、前記画像に含まれる所定の物体の表示領域と重なるオブジェクトを選択処理する。
【０００７】
ここで、前記制御部は、前記所定の物体の表示態様が変化したことを契機として前記選択処理を行うことが好ましい。なお、前記所定の物体の表示態様の変化は、前記所定の物体に含まれる突部が消滅したことを含むこととしてもよい。
【０００８】
また、前記制御部は、前記選択処理によって選択した前記オブジェクトを前記表示部に一覧表示することが好ましい。なお、前記制御部は、前記選択されたオブジェクトの一覧表示を自装置からの距離に応じて前記選択されたオブジェクトを並べ替えて表示してもよい。また、前記制御部は、前記選択処理によって選択した前記オブジェクトをカテゴリごとに分類して表示してもよい。
【０００９】
また、前記所定の物体の前記表示領域は、前記所定の物体を構成する複数の突部における端が互いに結ばれた領域の内側を含むことが好ましい。
【００１０】
また、前記制御部は、前記所定の物体の表示態様が変化するまでに前記所定の物体の表示領域が移動した場合、当該移動の軌跡上に表示されているオブジェクトをさらに選択処理することが好ましい。
【００１１】
また、上述した課題を解決し、目的を達成するために、本発明に係る制御方法は、撮影部によって取得された画像を表示するステップと、前記撮影部によって取得された前記画像に関連するオブジェクトを前記画像に重ねて前記表示部に表示させるステップと、前記オブジェクトのうち、前記画像に含まれる所定の物体の表示領域と重なるオブジェクトを選択処理するステップとを含む。
【００１２】
また、上述した課題を解決し、目的を達成するために、本発明に係る仮想情報表示プログラムは、情報処理装置に、撮影部によって取得された画像を表示するステップと、前記撮影部によって取得された前記画像に関連するオブジェクトを前記画像に重ねて前記表示部に表示させるステップと、前記オブジェクトのうち、前記画像に含まれる所定の物体の表示領域と重なるオブジェクトを選択処理するステップとを実行させる。
【発明の効果】
【００１３】
本発明は、画像に付加された複数の情報を容易に選択することができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】図１は、本実施例に係る携帯電話端末の外観を示す正面図である。
【図２】図２は、本実施例に係る携帯電話端末の機能的な構成を示すブロック図である。
【図３】図３は、仮想情報の一例を示す図である。
【図４】図４は、ＡＲタグの選択の一例を示す図である。
【図５】図５は、選択領域について説明するための図である。
【図６】図６は、ＡＲタグの選択の他の例を示す図である。
【図７】図７は、携帯電話端末によるＡＲタグ選択処理の処理手順を示す図である。
【図８】図８は、ＡＲタグをカテゴリ別に表示する例を示す図である。
【図９】図９は、手がＡＲタグと初めて重なった場面の一例を示す図である。
【図１０】図１０は、基準距離と換算係数について説明するための図である。
【図１１】図１１は、ＡＲタグを選択するための閾値の一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、撮影装置の一例として携帯電話端末について説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、例えば、ＰＨＳ（Personal Handyphone System）、ＰＤＡ、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等の各種情報処理装置に対しても本発明は適用できる。
【実施例】
【００１６】
まず、図１を参照しながら、本実施例に係る携帯電話端末１の外観について説明する。図１は、携帯電話端末１の外観を示す正面図である。図１に示すように、携帯電話端末１の筐体１Ｃは、ヒンジ機構８によって開閉可能に連結された第１筐体１ＣＡと第２筐体１ＣＢとを備える。すなわち、携帯電話端末１は、折り畳み式の筐体を有する。
【００１７】
なお、携帯電話端末１の筐体は、このような構造に限定されるものではない。例えば、携帯電話端末１の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、２軸ヒンジを介して２つの筐体を連結したものでもよい。また、携帯電話端末１の筐体は、１つの筐体からなるいわゆるストレート式（スレート式）の筐体でもよい。
【００１８】
第１筐体１ＣＡは、表示部２と、レシーバ１６と、撮影部４０とを有する。表示部２は、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬ（Organic Electro−Luminescence）パネル等の表示装置を備え、文字、図形、画像等の各種情報を表示する。表示部２は、撮影部４０によって取得された画像を表示することもできる。レシーバ１６は、通話時に通話相手の音声を出力する。
【００１９】
撮影部４０は、撮像センサ等の撮影手段によって画像を撮影する。撮影部４０の撮影手段に外部の光を導く撮影窓は、第１筐体１ＣＡの表示部２が設けられている面と反対側の面に設けられている。すなわち、第１筐体１ＣＡは、利用者が表示部２を正面から見ると、撮影部４０によって取得された第１筐体１ＣＡとは反対側の画像が表示部２に表示されるように構成されている。
【００２０】
第２筐体１ＣＢは、テンキーや機能キー等からなる操作キー１３Ａと、メニューの選択および決定や画面のスクロール等を実行するための方向および決定キー１３Ｂと、通話時に音声を取得する音声取得手段であるマイク１５とを有する。操作キー１３Ａと、方向および決定キー１３Ｂとは、携帯電話端末１の操作部１３を構成する。なお、操作部１３は、操作キー１３Ａ等に代えて、または、操作キー１３Ａ等に加えて、表示部２に重畳されたタッチセンサを備えていてもよい。
【００２１】
次に、図２を参照しながら、携帯電話端末１の機能的な構成について説明する。図２は、携帯電話端末１の機能的な構成を示すブロック図である。図２に示すように、携帯電話端末１は、通信部２６と、操作部１３と、音声処理部３０と、表示部２と、撮影部４０と、位置・姿勢検出部３６と、制御部２２と、記憶部２４とを備える。
【００２２】
通信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介し、基地局との間でＣＤＭＡ（Code Division Multiple Access）方式などによる無線信号回線を確立し、基地局を通じて他の装置との間で電話通信および情報通信を行う。操作部１３は、操作キー１３Ａ、または、方向および決定キー１３Ｂがユーザによって操作されると、その操作内容に対応する信号を制御部２２へ出力する。
【００２３】
音声処理部３０は、マイク１５から入力される音声をデジタル信号化して制御部２２へ出力する。また、音声処理部３０は、制御部２２から出力されるデジタル信号を復号してレシーバ１６へ出力する。表示部２は、制御部２２から入力される制御信号に従って各種情報を表示する。撮影部４０は、取得した画像をデジタル信号に変換して制御部２２へ出力する。
【００２４】
位置・姿勢検出部３６は、携帯電話端末１の位置と姿勢を検出し、検出結果を制御部２２へ出力する。位置・姿勢検出部３６は、携帯電話端末１の位置を、例えば、ＧＰＳ（Global Positioning System）受信機や通信部２６が無線信号回線を確立している基地局に基づいて検出する。また、位置・姿勢検出部３６は、携帯電話端末１の姿勢を、例えば、３軸加速度センサ、方位センサ、ジャイロセンサに基づいて検出する。
【００２５】
制御部２２は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部２２は、記憶部２４に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をＣＰＵに実行させる。そして、制御部２２は、ＣＰＵによる命令の実行結果に応じて、メモリおよび記憶部２４に対してデータの読み書きを行ったり、通信部２６や表示部２等の動作を制御したりする。ＣＰＵが命令を実行するに際しては、メモリに展開されているデータや位置・姿勢検出部３６等から入力される信号がパラメータとして利用される。
【００２６】
記憶部２４は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部２４に記憶されるプログラムおよびデータには、仮想情報表示プログラム２４ａと、１ないし複数の仮想情報２４ｂと、形状情報２４ｃとが含まれる。なお、記憶部２４は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、記憶部２４に記憶されていることとしたプログラムおよびデータは、可搬の記憶媒体に記憶される。また、記憶部２４に記憶されていることとしたプログラムおよびデータは、通信部２６による無線通信によってサーバ装置等の他の装置から取得されることとしてもよい。
【００２７】
仮想情報表示プログラム２４ａは、拡張現実（ＡＲ：Augmented reality）技術に基づいて、撮影部４０によって取得された画像に現実の施設や物品に対応した仮想的な情報を重ねて表示部２に表示する機能を提供する。具体的には、仮想情報表示プログラム２４ａは、位置・姿勢検出部３６によって検出される位置と姿勢等に基づいて撮影部４０の撮影範囲にある施設や物品に対応する仮想情報２４ｂを制御部２２に取得させる。そして、仮想情報表示プログラム２４ａは、取得した仮想情報２４ｂに対応するＡＲタグと呼ばれるオブジェクトを画像に重ねて表示させる。
【００２８】
また、仮想情報表示プログラム２４ａは、利用者に任意のＡＲタグを選択させる機能と、選択されたＡＲタグに関連づけられた動作を実行する機能を提供する。仮想情報表示プログラム２４ａは、複数のＡＲタグが重なっている場合でも、任意のＡＲタグを利用者が選択することを可能にする。
【００２９】
仮想情報２４ｂは、撮影部４０によって取得された画像に重ねて表示されるＡＲタグに関する情報を保持する。図３は、仮想情報２４ｂの一例を示す図である。図３に示すように、仮想情報２４ｂは、緯度、経度、高さ、画像、コメント、ＵＲＬ（Uniform Resource Locator）等の分類項目の情報を有する。緯度、経度、高さは、仮想情報２４ｂに対応する現実の施設や物品の位置を示す。画像は、ＡＲタグとして表示されるオブジェクトの実体を示す。コメントは、仮想情報２４ｂに対応する現実の施設や物品に関する説明文である。ＵＲＬは、ＡＲタグに関連づけられた情報を示す。なお、仮想情報２４ｂが有する分類項目は、上記分類項目に限らず、高さやコメントはなくてもよい。
【００３０】
なお、表示対象の仮想情報２４ｂの全てを予め記憶部２４に記憶させるのではなく、携帯電話端末１の位置と姿勢とに基づいて、撮影部４０の撮影範囲およびその周辺に存在する施設や物品に対応する仮想情報２４ｂをサーバ装置から随時取得してもよい。この場合、所定量または所定件数の仮想情報２４ｂを記憶部２４にキャッシュするようにしてもよい。なお、ここでいうサーバ装置とは、例えば、ＡＲサービスを提供する業者によって運営される装置である。
【００３１】
形状情報２４ｃは、撮影部４０によって取得された画像の中から、ＡＲタグを選択するために用いられる所定の物体を検出するための情報を保持する。本実施例においては、ＡＲタグを選択するために用いられる所定の物体は、人間の手であるものとする。そして、形状情報２４ｃには人間の手の形状が登録されているものとする。なお、ここでいう人間の手の形状とは、例えば、所定数以上の突部を有する形状とする。また、形状情報２４ｃに登録された手の形状として、撮影された若しくは予め登録されている手の画像、又は手の形状の特徴情報等、いずれにも限られない。
【００３２】
次に、図４から図６を参照しながら、仮想情報表示プログラム２４ａが提供する機能に基づいて制御部２２によって実行されるＡＲタグの選択処理について説明する。図４は、ＡＲタグの選択の一例を示す図である。図５は、選択領域について説明するための図である。図６は、ＡＲタグの選択の他の例を示す図である。
【００３３】
図４に示すように、撮影部４０が画像Ｐを取得すると、制御部２２は、画像Ｐを表示部２に表示させるとともに、画像Ｐを形状情報２４ｃと照合して手の形状の検出を試みる。手の形状が検出されると、制御部２２は、二値化等によって手の輪郭を抽出する。なお、手の形状の検出は、例えば、特開２００３−３４６１６２号公報にて開示されている技術等を用いて実現してもよい。また、手の認識方法としては、上記の方法に限らず、例えば、予め記憶された手の画像と画像Ｐとをマッチング処理して同一の手の形状を検出してもよい。また、同様の方法で、予め手の開かれた状態（開状態）および閉じられた状態（閉状態）の２パターンの画像を記憶しておき、当該２パターンの画像と画像Ｐに含まれる手の形状を対比することによって、画像Ｐに含まれる手の形状の検出を行ってもよい。
【００３４】
また、制御部２２は、位置・姿勢検出部３６によって検出された携帯電話端末１の位置と姿勢とに基づいて、撮影部４０の撮影範囲にある施設や物品に対応する仮想情報２４ｂを取得し、取得した仮想情報２４ｂに対応するＡＲタグを画像Ｐに重ねて表示部２に表示させる。
【００３５】
具体的には、制御部２２は、取得した仮想情報２４ｂの示す位置が、撮影部４０によって取得される画像Ｐのどの位置に対応するかを算出し、算出した位置に仮想情報２４ｂに対応するＡＲタグを表示させる。仮想情報２４ｂの示す位置が画像Ｐのどこに対応するかは、位置・姿勢検出部３６によって検出された携帯電話端末１の位置と姿勢、仮想情報２４ｂに含まれる位置情報、撮影部４０の撮像面のサイズおよび画角等に基づいて算出される。
【００３６】
また、画像Ｐにおいて、一部でも他のＡＲタグが重なる領域があるＡＲタグは、対応する仮想情報２４ｂの示す位置が携帯電話端末１に近いほど前面に位置するように重ねて表示される。
【００３７】
図４に示すステップＳ１１では、画像Ｐには手Ｈが写っているので、画像Ｐを形状情報２４ｃと照合することによって、画像Ｐに含まれる手Ｈの形状が検出される。また、ステップＳ１１では、撮影部４０の撮影範囲にある施設や物品に対応するＡＲタグＡ１〜ＡＲタグＡ４の４つのＡＲタグが画像Ｐに重ねて表示されている。ＡＲタグＡ２〜Ａ４は、それぞれ、対応する仮想情報２４ｂの示す位置が撮影部４０の焦点からみて互いに近いために重なり合って表示される。
【００３８】
この場面では、手Ｈは、閉状態であり、手Ｈの表示領域は、いずれのＡＲタグの表示位置とも重なっていない。このように検出された手Ｈが閉状態であり、いずれのＡＲタグの表示位置とも表示領域が重なっていない場合、どのＡＲタグも選択されず、未選択状態を維持する。
【００３９】
続いて、ステップＳ１２では、手Ｈが、ＡＲタグＡ２〜Ａ４の表示位置を含む表示領域に対応する位置へ実際に移動した後に、開状態へ移行している。そして、ステップＳ１３では、手Ｈが、表示領域を維持した状態で閉状態へ移行している。このように、手Ｈが開状態から閉状態へ移行すると、制御部２２は、開いていたときの手Ｈの表示領域を選択領域に設定し、表示位置が選択領域に含まれるＡＲタグを選択状態にする。この例では、ステップＳ１３において、ＡＲタグＡ２〜Ａ４の３つのＡＲタグが選択状態となる。
【００４０】
このように、手Ｈを開いて閉じる動作が検出された場合に開いていたときの手Ｈの表示領域に表示位置が含まれるＡＲタグを選択状態とすることにより、利用者は、複数のＡＲタグを容易に選択することができる。また、手Ｈを開いて閉じる動作は、欲しいものを掴む動作と同一であるため、このような動作によってＡＲタグを選択する方式は、利用者にとって非常に直感的で分かりやすい。
【００４１】
なお、選択領域は、実際の手Ｈの形状に沿った領域であってもよいし、図５に示す領域Ｒ１のように指の先端（突端）を結んだ内側の領域であってもよいし、図５に示す領域Ｒ２のように手Ｈの形状を含む最小矩形であってもよい。領域Ｒ１を選択領域とすることにより、指の間に表示されていたＡＲタグも選択されることとなり、利用者の意図に合った選択範囲を設定することができる。領域Ｒ２を選択領域とすることにより、領域を算出するための演算量を少なくすることができる。
【００４２】
また、手Ｈの表示領域にＡＲタグの表示位置が含まれる場合、ステップＳ１２およびステップＳ１３に示すように、手Ｈの形状をＡＲタグよりも前面に表示することが好ましい。このように制御することにより、手Ｈの位置が明確になり、どのＡＲタグが選択されるかを利用者が把握しやすくなる。また、表意位置の一部分のみが選択領域に含まれるＡＲタグについては、選択状態にしてもよいし、選択状態にしなくてもよい。
【００４３】
こうしてＡＲタグが選択されると、制御部２２は、選択されたＡＲタグをメニューＭ１として表示部２に一覧表示する。図４に示すステップＳ１４では、選択状態となったＡＲタグが、対応する仮想情報２４ｂに含まれるコメントと対応付けて一覧表示されている。このように、ＡＲタグを一覧表示することにより、重なり合っていたＡＲタグを所定の間隔で配列して表示させることができる。ＡＲタグを所定の間隔で配列して表示させることにより、利用者は、個々のＡＲタグをはっきりと識別することができるとともに、それらのＡＲタグの１つを容易に選択することができるようになる。
【００４４】
なお、選択状態となったＡＲタグを配列する順序は、例えば、対応する仮想情報が示す位置が携帯電話端末１に近い順であってもよいし、対応する仮想情報の更新日時が新しい順であってもよい。対応する仮想情報が示す位置が携帯電話端末１に近い順にＡＲタグを配列することにより、ＡＲタグの配列順序が、対応する施設や物品が見える順序と一致するため、利用者が、ＡＲタグと施設や物品との対応を把握し易くなる。
【００４５】
続いて、ステップＳ１５に示すように、利用者がメニューＭ１上のＡＲタグの１つを選択すると、制御部２２は、ステップＳ１６に示すように、選択されたＡＲタグに対応する動作を実行する。図４に示す例では、制御部２２は、選択されたＡＲタグＡ２に対応する動作として、ＡＲタグＡ２に対応する仮想情報２４ｂに含まれるＵＲＬにアクセスしてＷＥＢページＷ１を表示部２に表示させる動作を実行している。
【００４６】
なお、利用者は、操作部１３を操作することによってメニューＭ１上のＡＲタグの選択を実行してもよいし、撮影部４０によって取得される画像中で所定の動作を行うことによってメニューＭ１上のＡＲタグの選択を実行してもよい。ここでいう所定の動作とは、例えば、タップするようにＡＲタグの表示領域内で指を上下させる動作や、ＡＲタグをはじくように指を動かす動作や、ＡＲタグの表示領域内で指を一定時間以上静止させる動作である。なお、指の認識方法については、手の形状の検出方法と同様の検出方法によって実現されてもよい。
【００４７】
また、メニューＭ１を表示するに際しては、ＡＲタグを選択する手の位置を利用者が確認しやすいように、メニューＭ１を手の形状の背面に表示することが好ましい。あるいは、メニューＭ１を半透明に表示して、背後の手の位置を利用者が確認できるようにしてもよい。
【００４８】
図４では、開状態の手を表示領域を維持したままで閉状態へ移行してＡＲタグを選択する例を示したが、利用者は、開状態の手を移動させることによって、より広範囲のＡＲタグを選択することができる。例えば、図６に示すように、ステップＳ１３において開状態へ移行した手Ｈが、ステップＳ１７において、表示領域にＡＲタグＡ１の表示位置が含まれる位置まで左下方向へ移動し、その後に閉状態へ移行したものとする。この場合、制御部２２は、ＡＲタグＡ２〜Ａ４に加えて、ＡＲタグＡ１も選択状態にする。そして、制御部２２は、ステップＳ１８に示すように、選択されたＡＲタグＡ１〜Ａ４をメニューＭ２として表示部２に一覧表示する。
【００４９】
このように、制御部２２は、開状態の手Ｈが移動した場合、移動の軌跡を監視し、移動前の選択開始領域Ｒ３から移動後の選択完了領域Ｒ４への軌跡上に表示位置が含まれる全てのＡＲタグを選択状態にする。このように制御することにより、利用者は、離れた位置に表示されている複数のＡＲタグを一度に選択することができる。なお、ここでいう開状態の手Ｈが移動した場合には、手Ｈが開状態から閉状態へ移行しながら移動した場合も含まれる。
【００５０】
次に、図７を参照しながら、携帯電話端末１の動作について説明する。図７は、携帯電話端末１によるＡＲタグ選択処理の処理手順を示す図である。図７に示す処理手順は、仮想情報表示プログラム２４ａが起動された後、利用者が所定の終了操作を行うまで繰り返して実行される。なお、ＡＲタグ選択処理は、制御部２２が仮想情報表示プログラム２４ａを実行することによって実現される。
【００５１】
図７に示すように、制御部２２は、まず、ステップＳ１０１として、メモリに設けられた監視フラグをオフに設定する。監視フラグは、開状態に変化した手の移動を監視すべき場合にオンに設定されるフラグである。続いて、制御部２２は、ステップＳ１０２として、撮影部４０で取得された画像Ｐを表示部２に表示させる。そして、制御部２２は、ステップＳ１０３として、位置・姿勢検出部３６に自装置の位置と姿勢を取得させる。
【００５２】
続いて、制御部２２は、ステップＳ１０４として、自装置の位置と姿勢等に基づいて、撮影部４０の撮影範囲に対応する仮想情報２４ｂを取得する。そして、制御部２２は、ステップＳ１０５として、取得した仮想情報２４ｂに対応するＡＲタグを画像Ｐに重ねて表示部２に表示させる。
【００５３】
続いて、制御部２２は、ステップＳ１０６として、画像Ｐに含まれる手を検出する。手が検出されない場合（ステップＳ１０７，Ｎｏ）、制御部２２は、ステップＳ１０８として、監視フラグをオフに設定し、ステップＳ１０２以降を再実行する。一方、画像Ｐに含まれる手が検出された場合（ステップＳ１０７，Ｙｅｓ）、制御部２２は、ステップＳ１０９として、監視フラグがオンであるかを判定する。監視フラグがオンでない場合（ステップＳ１０９，Ｎｏ）、制御部２２は、ステップＳ１１０として、手が開状態であるかを判定する。手が開状態であることは、例えば、指に相当する形状が含まれることに基づいて判定される。
【００５４】
手が開状態である場合（ステップＳ１１０，Ｙｅｓ）、制御部２２は、ステップＳ１１１として、監視フラグをオンに設定する。そして制御部２２は、ステップＳ１１２として、その時点での手の領域に基づいて選択開始領域を設定し、ステップＳ１０２以降を再実行する。一方、手が開いた形状になっていない場合（ステップＳ１１０，Ｎｏ）、制御部２２は、監視フラグを変更することなく、ステップＳ１０２以降を再実行する。
【００５５】
ステップＳ１０９で監視フラグがオンであった場合、すなわち、手が開いた形状に変化していた場合（ステップＳ１０９，Ｙｅｓ）、制御部２２は、ステップＳ１１３として、手が閉じた形状になっているかを判定する。手が閉じた形状になっていることは、例えば、指に相当する突部が形状に含まれなくなったことに基づいて判定される。手が閉じた形状に変化していない場合（ステップＳ１１３，Ｎｏ）、制御部２２は、ステップＳ１０２以降を再実行する。
【００５６】
手が閉じた形状に変化していた場合（ステップＳ１１３，Ｙｅｓ）、制御部２２は、ステップＳ１１４として、その時点での手の領域に基づいて選択完了領域を設定する。なお、選択完了領域は、閉じた形状の手の領域に基づいて設定してもよいし、閉じた手が開いているときの形状を仮定し、仮定した手の領域に基づいて設定してもよい。
【００５７】
続いて、制御部２２は、ステップＳ１１５として、選択開始領域から選択完了領域への軌跡上に位置する全てのＡＲタグを選択する。なお、ここでいう軌跡とは、選択開始領域から選択完了領域へ直線的に移動した場合の軌跡であってもよいし、実際に手が通った経路に沿って設定された軌跡であってもよい。そして、制御部２２は、ステップＳ１１６として、選択したＡＲタグに対応する仮想情報２４ｂを一覧表示する。
【００５８】
続いて、制御部２２は、ステップＳ１１７として、一覧表示した仮想情報２４ｂに対する利用者の選択動作が検出されたかを判定する。選択動作が検出されない場合（ステップＳ１１７，Ｎｏ）、制御部２２は、ステップＳ１１７の判定を再実行する。選択動作が検出された場合（ステップＳ１１７，Ｙｅｓ）、制御部２２は、ステップＳ１１８として、選択動作が行われた仮想情報２４ｂに対応する動作を実行する。仮想情報２４ｂに対応する動作とは、例えば、仮想情報２４ｂに含まれるＵＲＬにアクセスしてＷＥＢページを表示する動作である。
【００５９】
上述してきたように、本実施例では、手で掴むような動作が検出された位置に表示されているＡＲタグをまとめて選択可能にしたので、画像に付加された複数のＡＲタグを容易に選択することができる。
【００６０】
なお、上記の実施例で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。例えば、上記の実施例では、ＡＲタグの選択に関する処理を携帯電話端末１が実行することとしたが、この処理を携帯電話端末１と通信可能なサーバ装置が実行することとしてもよい。この場合、携帯電話端末１は、撮影部４０によって取得された画像Ｐと、位置・姿勢検出部３６によって検出された携帯電話端末１の位置および姿勢とをサーバ装置に送信し、サーバ装置から応答された処理済みの画像を表示部２に表示する。
【００６１】
また、上記の実施例では、手を閉じる動作の検出にともなって選択されたＡＲタグを一覧表示することとしたが、手を閉じる動作の検出にともなって選択されたＡＲタグの表示の仕方は、個々のＡＲタグを容易に選択可能な方式であればよい。例えば、図８に示すメニューＭ３のように、選択されたＡＲタグをカテゴリ分けし、カテゴリごとにタブＣ１〜Ｃ３等のタブを設けて、ＡＲタグがカテゴリごとに表示されるようにしてもよい。
【００６２】
また、手を閉じる動作の検出にともなってＡＲタグを選択する際に、自装置とＡＲタグの奥行き方向の距離を考慮することとしてもよい。図９から図１１を参照しながら、自装置との奥行き方向の距離を考慮してＡＲタグを選択する例について説明する。図９は、手がＡＲタグと初めて重なった場面の一例を示す図である。図１０は、基準距離と換算係数について説明するための図である。図１１は、ＡＲタグを選択するための閾値の一例を示す図である。
【００６３】
図４に示したステップＳ１１の場面で手が上方に移動すると、図９に示すように、手の一部がＡＲタグＡ３の端部と重なった状態となる。このように、手がいずれかのＡＲタグに初めて重なると、制御部２２は、その時点での携帯電話端末１と手との距離を測定し、測定された距離を基準距離としてメモリに記憶させる。携帯電話端末１と手との距離の測定は、撮影部４０が焦点を対象物に合わせるために用いる合焦機能によって実現される。なお、携帯電話端末１と手との距離は、例えば、赤外線や音波等を用いて距離を測定する測距センサを用いて測定してもよいし、予め所定の距離と対応付けて形状情報２４ｃに保持されている手の大きさと画像Ｐ中の手の大きさの比率に基づいて算出してもよい。
【００６４】
続いて、制御部２２は、位置・姿勢検出部３６によって検出された携帯電話端末１の位置とＡＲタグＡ３に対応する仮想情報２４ｂが示す位置との距離を算出する。そして、制御部２２は、求めた２つの距離に基づいて、ＡＲタグＡ３に対応する仮想情報２４ｂが示す位置と他の仮想情報２４ｂが示す位置との奥行き方向の距離を手の移動距離に換算するための換算係数を算出する。
【００６５】
図１０に示すように、基準距離がＤＳであり、ＡＲタグＡ３に対応する仮想情報２４ｂが示す位置Ｐ３と携帯電話端末１との距離がＤ３であるとすると、換算係数はＤＳ／Ｄ３となる。この換算係数を用いることにより、ＡＲタグＡ３を基準とした各ＡＲタグの奥行き方向の相対位置を手の位置と対応させることができる。
【００６６】
例えば、ＤＳが１０［ｃｍ］、すなわち、０．１［ｍ］であり、Ｄ３が１００［ｍ］であるとすると、換算係数は、０．００１となる。この場合、ＡＲタグＡ２に対応する仮想情報２４ｂが示す位置Ｐ２が位置Ｐ３から５０［ｍ］手前にあるとすると、５０×０．００１［ｍ］、すなわち、手を５ｃｍ手前に移動させた位置がＡＲタグＡ２の奥行き方向の位置となる。
【００６７】
同様に、ＡＲタグＡ１に対応する仮想情報２４ｂが示す位置Ｐ１が位置Ｐ３から１０［ｍ］手前にあるとすると、１０×０．００１［ｍ］、すなわち、手を１ｃｍ手前に移動させた位置がＡＲタグＡ１の奥行き方向の位置となる。また、ＡＲタグＡ４に対応する仮想情報２４ｂが示す位置Ｐ４が位置Ｐ３から１０［ｍ］奥にあるとすると、１０×０．００１［ｍ］、すなわち、手を１ｃｍ奥に移動させた位置がＡＲタグＡ４の奥行き方向の位置となる。
【００６８】
このように、ＡＲタグの奥行き方向の相対位置を手の位置と対応させることにより、手を閉じる動作の検出にともなってＡＲタグを選択する際に、自装置とＡＲタグの奥行き方向の距離を考慮することが可能になる。すなわち、手を閉じる動作が検出された場合に、開いた手の領域に含まれるＡＲタグであっても、手でつかめる範囲外に位置するＡＲタグについては選択しないという制御を行うことが可能なる。
【００６９】
手でつかめる範囲内であるかについては、例えば、図１１に示すように、閾値を設定して判定してもよい。図１１に示す例では、手を開く動作が検出された位置ＰＳおよび手を閉じる動作が検出された位置ＰＥから奥行き方向に閾値ＤＴ離れた位置までの範囲Ｓが手でつかめる範囲と判定される。図１１に示す例では、範囲Ｓの外に位置するＡＲタグＡ２は、開いた手の範囲に重なっていたとしても選択されない。
【符号の説明】
【００７０】
１ 携帯電話端末
２ 表示部
１３ 操作部
２２ 制御部
２４ 記憶部
２４ａ 仮想情報表示プログラム
２４ｂ 仮想情報
２４ｃ 形状情報
２６ 通信部
３０ 音声処理部
３６ 位置・姿勢検出部
４０ 撮影部
【特許請求の範囲】
【請求項１】
撮影部と、
前記撮影部によって取得された画像を表示する表示部と、
前記撮影部によって取得された前記画像に関連するオブジェクトを前記画像に重ねて前記表示部に表示させる制御部とを備え、
前記制御部は、前記オブジェクトのうち、前記画像に含まれる所定の物体の表示領域と重なるオブジェクトを選択処理することを特徴とする撮影装置。
【請求項２】
前記制御部は、前記所定の物体の表示態様が変化したことを契機として前記選択処理を行うことを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記所定の物体の表示態様の変化は、前記所定の物体に含まれる突部が消滅したことを含むことを特徴とする請求項２に記載の撮影装置。
【請求項４】
前記制御部は、前記選択処理によって選択した前記オブジェクトを前記表示部に一覧表示することを特徴とする請求項１から３のいずれか１項に記載の撮影装置。
【請求項５】
前記制御部は、前記選択されたオブジェクトの一覧表示を、自装置からの距離に応じて前記選択されたオブジェクトを並べ替えて表示することを特徴とする請求項４に記載の撮影装置。
【請求項６】
前記制御部は、前記選択処理によって選択した前記オブジェクトをカテゴリごとに分類して表示することを特徴とする請求項４または５に記載の撮影装置。
【請求項７】
前記所定の物体の前記表示領域は、前記所定の物体を構成する複数の突部における端が互いに結ばれた領域の内側を含むことを特徴とする請求項１から６のいずれか１項に記載の撮影装置。
【請求項８】
前記制御部は、前記所定の物体の表示態様が変化するまでに前記所定の物体の表示領域が移動した場合、当該移動の軌跡上に表示されているオブジェクトをさらに選択処理することを特徴とする請求項１から７のいずれか１項に記載の撮影装置。
【請求項９】
撮影部によって取得された画像を表示するステップと、
前記撮影部によって取得された前記画像に関連するオブジェクトを前記画像に重ねて前記表示部に表示させるステップと、
前記オブジェクトのうち、前記画像に含まれる所定の物体の表示領域と重なるオブジェクトを選択処理するステップと
を含むことを特徴とする制御方法。
【請求項１０】
情報処理装置に、
撮影部によって取得された画像を表示するステップと、
前記撮影部によって取得された前記画像に関連するオブジェクトを前記画像に重ねて前記表示部に表示させるステップと、
前記オブジェクトのうち、前記画像に含まれる所定の物体の表示領域と重なるオブジェクトを選択処理するステップと
を実行させることを特徴とする仮想情報表示プログラム。
【請求項１】
撮影部と、
前記撮影部によって取得された画像を表示する表示部と、
前記撮影部によって取得された前記画像に関連するオブジェクトを前記画像に重ねて前記表示部に表示させる制御部とを備え、
前記制御部は、前記オブジェクトのうち、前記画像に含まれる所定の物体の表示領域と重なるオブジェクトを選択処理することを特徴とする撮影装置。
【請求項２】
前記制御部は、前記所定の物体の表示態様が変化したことを契機として前記選択処理を行うことを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記所定の物体の表示態様の変化は、前記所定の物体に含まれる突部が消滅したことを含むことを特徴とする請求項２に記載の撮影装置。
【請求項４】
前記制御部は、前記選択処理によって選択した前記オブジェクトを前記表示部に一覧表示することを特徴とする請求項１から３のいずれか１項に記載の撮影装置。
【請求項５】
前記制御部は、前記選択されたオブジェクトの一覧表示を、自装置からの距離に応じて前記選択されたオブジェクトを並べ替えて表示することを特徴とする請求項４に記載の撮影装置。
【請求項６】
前記制御部は、前記選択処理によって選択した前記オブジェクトをカテゴリごとに分類して表示することを特徴とする請求項４または５に記載の撮影装置。
【請求項７】
前記所定の物体の前記表示領域は、前記所定の物体を構成する複数の突部における端が互いに結ばれた領域の内側を含むことを特徴とする請求項１から６のいずれか１項に記載の撮影装置。
【請求項８】
前記制御部は、前記所定の物体の表示態様が変化するまでに前記所定の物体の表示領域が移動した場合、当該移動の軌跡上に表示されているオブジェクトをさらに選択処理することを特徴とする請求項１から７のいずれか１項に記載の撮影装置。
【請求項９】
撮影部によって取得された画像を表示するステップと、
前記撮影部によって取得された前記画像に関連するオブジェクトを前記画像に重ねて前記表示部に表示させるステップと、
前記オブジェクトのうち、前記画像に含まれる所定の物体の表示領域と重なるオブジェクトを選択処理するステップと
を含むことを特徴とする制御方法。
【請求項１０】
情報処理装置に、
撮影部によって取得された画像を表示するステップと、
前記撮影部によって取得された前記画像に関連するオブジェクトを前記画像に重ねて前記表示部に表示させるステップと、
前記オブジェクトのうち、前記画像に含まれる所定の物体の表示領域と重なるオブジェクトを選択処理するステップと
を実行させることを特徴とする仮想情報表示プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２０５１５３（Ｐ２０１２−２０５１５３Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６８９６９（Ｐ２０１１−６８９６９）
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
[ Back to top ]