端末の動きまたは姿勢に基づいてビジュアルサーチを行うための方法、端末およびコンピュータ読取可能な記録媒体
端末の動きまたは姿勢に基づいてビジュアルサーチを行うための方法、端末およびコンピュータ読取可能な記録媒体が開示される。本発明の一実施形態によれば、端末の動きまたは姿勢に基づいてビジュアルサーチ（ｖｉｓｕａｌ ｓｅａｒｃｈ）を行うための方法であって、（ａ）少なくとも１つのセンサー手段を用いて端末の動きまたは姿勢を検知するステップと、（ｂ）検知された端末の動きまたは姿勢のうちの少なくとも１つを参照して、トリガリングイベント（ｔｒｉｇｇｅｒｉｎｇ ｅｖｅｎｔ）の発生の有無を判断するステップと、（ｃ）トリガリングイベントが発生すると、トリガリングイベントが発生した時点に、端末にディスプレイされる出力映像に含まれる少なくとも１つのオブジェクトに対するビジュアルサーチが行われるようにするステップとを含む方法が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末の動きまたは姿勢に基づいてビジュアルサーチを行うための方法、端末およびコンピュータ読取可能な記録媒体に関し、より詳細には、ユーザの操作する端末が所定のパターンに従って動く際、端末にディスプレイされる拡張現実上の映像に含まれるオブジェクトに対するビジュアルサーチを実行できるようにする方法、端末およびコンピュータ読取可能な記録媒体に関する。
【背景技術】
【０００２】
最近、移動通信技術の急激な発展に後押しされ、ほとんどの人が携帯電話、ＰＤＡ、モバイルテレビなどのような移動式端末を利用しており、これに対する生活依存度がますます高くなる傾向にある。
【０００３】
これにより、このような移動式端末を介して多様な情報を得ようとする現代人のニーズもますます増加する傾向にあり、移動式端末を介してコンテンツを提供する側では、多様な形態の情報をユーザに提供して興味を誘発させることにより、ユーザの利用度を高めようとしている。
【０００４】
しかし、既存の移動式端末を用いる場合には、通話またはショートメッセージ通信を除けば、特定または不特定のユーザとの交流が皆無で、情報の共有または意見交換などのためのコミュニティ作りがほとんど不可能な水準であった。
【０００５】
最近では、従来の移動式端末を用いて音声通話またはショートメッセージの送受信などの単純な機能を果たすことを超えて、移動式端末を用いてインターネット接続、情報検索、画像通話などの多様な情報通信機能を提供する技術が開発されているが、このような機能を果たすためには、端末を用いるユーザのやや複雑な操作が要求されるという問題があった。
【０００６】
そこで、最近では、このような環境を改善するために、端末の動きまたは姿勢に応じて端末の動作が比較的簡単に制御される技術が着実に開発されている。
しかしながら、端末の動きまたは姿勢に応じて映像に表示される特定の物体またはカーソルの移動が制御される技術についてのみ開発が行われているのが実情であり、このような技術によりユーザに多様な情報またはインタフェースを提供しようとする認識はなされていない状況である。
【０００７】
したがって、本出願人は、端末の動きまたは姿勢に基づいて端末上にディスプレイされているイメージ（仮に、拡張現実上でのイメージ）に含まれている所定のオブジェクトに対するビジュアルサーチが行われるようにすることにより、ユーザに多様な情報を提供して共有できるようにすると同時に、ユーザが端末の各種動作を直観的に制御できるようにするインタフェースをともに提供することができる技術を開発するに至った。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上述した従来技術の問題をすべて解決することを目的とする。
また、本発明の他の目的は、端末の動きまたは姿勢を参照して、ビジュアルサーチのためのトリガリングイベント（ｔｒｉｇｇｅｒｉｎｇ ｅｖｅｎｔ）の発生の有無を判断し、トリガリングイベントが発生すると、トリガリングイベントが発生した時点に、端末にディスプレイされる入力映像に含まれる少なくとも１つのオブジェクトに対してビジュアルサーチを行うことにより、ユーザにとって端末に対して直観的で簡単な操作を加えるだけで端末上にディスプレイされているオブジェクトに関する多様な情報に接することができるようにすることである。
【０００９】
また、本発明のさらに他の目的は、トリガリングイベントが発生した時点に、端末にディスプレイされる拡張現実上の映像に含まれる少なくとも１つのオブジェクトに対してビジュアルサーチを行うことにより、拡張現実上の映像に含まれている数多くのオブジェクトに関する情報を取得し、多くのユーザの間にこのような情報を共有できるようにすることである。
【課題を解決するための手段】
【００１０】
上記の目的を達成するための本発明の代表的な構成は、次のとおりである。
本発明の一実施形態によれば、端末の動きまたは姿勢に基づいてビジュアルサーチ（ｖｉｓｕａｌ ｓｅａｒｃｈ）を行うための方法であって、（ａ）少なくとも１つのセンサー手段を用いて端末の動きまたは姿勢を検知するステップと、（ｂ）前記検知された端末の動きまたは姿勢のうちの少なくとも１つを参照して、トリガリングイベント（ｔｒｉｇｇｅｒｉｎｇ ｅｖｅｎｔ）の発生の有無を判断するステップと、（ｃ）前記トリガリングイベントが発生すると、前記トリガリングイベントが発生した時点に、前記端末にディスプレイされる出力映像に含まれる少なくとも１つのオブジェクトに対するビジュアルサーチが行われるようにするステップとを含む方法が提供される。
【００１１】
本発明の他の実施形態によれば、端末の動きまたは姿勢に基づいてビジュアルサーチ（ｖｉｓｕａｌ ｓｅａｒｃｈ）を行うための端末であって、少なくとも１つのセンサー手段を用いて端末の動きまたは姿勢を検知する動き・姿勢検知部と、前記検知された端末の動きまたは姿勢のうちの少なくとも１つを参照して、トリガリングイベント（ｔｒｉｇｇｅｒｉｎｇ ｅｖｅｎｔ）の発生の有無を判断するトリガリングイベント判断部と、前記トリガリングイベントが発生すると、前記トリガリングイベントが発生した時点に、前記端末にディスプレイされる出力映像に含まれる少なくとも１つのオブジェクトに対するビジュアルサーチが行われるようにするビジュアルサーチ部とを含む端末が提供される。
【００１２】
この他にも、本発明を実現するための他の方法、システムおよび前記方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取可能な記録媒体がさらに提供される。
【発明の効果】
【００１３】
本発明によれば、ユーザが端末を動かすか固定させるなどの直観的で簡単な操作を行うだけで端末上にディスプレイされているオブジェクトに関する多様な情報を得ることができるため、端末上にリアルタイムに表示される映像情報に対するビジュアルサーチを行うにあたり、ユーザの便宜性を増大させ、ユーザの興味を誘発させることができる。
【００１４】
本発明によれば、トリガリングイベントが発生した時点に、端末にディスプレイされる拡張現実上の映像に含まれる少なくとも１つのオブジェクトに対してビジュアルサーチを行うことにより、拡張現実上の映像に含まれているオブジェクトに関する情報をタグ形式で拡張現実上に付加することにより、多くのユーザの間にこのような情報を共有できるようにするという効果がある。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る端末の概略的な構成を示す図である。
【図２】本発明の一実施形態に係る動き・姿勢検知部１１０の構成を例示的に示す図である。
【図３】本発明の一実施形態に係る制御部１３０の構成を例示的に示す図である。
【図４】本発明の一実施形態に係る端末１００にディスプレイされる出力映像を例示的に示す図である。
【発明を実施するための形態】
【００１６】
後述する本発明に関する詳細な説明は、本発明が実施できる特定の実施形態を例示として示す添付図面を参照する。これらの実施形態は、当業者が本発明を実施できるように十分に詳細に説明される。本発明の多様な実施形態は、互いに異なるが、相互排他的である必要はないことが理解されなければならない。例えば、ここに記載されている特定の形状、構造および特性は一実施形態に関連し、本発明の精神および範囲を逸脱しない範囲内で他の実施形態で実現可能である。また、各々の開示された実施形態における個別構成要素の位置または配置は、本発明の精神および範囲を逸脱しない範囲内で変更可能であることが理解されなければならない。したがって、後述する詳細な説明は限定的な意味として受け止めるものではなく、本発明の範囲は、適切に説明された場合、それら請求項が主張するのと均等のすべての範囲とともに添付した請求項によってのみ限定される。図面において、類似の参照符号は、様々な側面にわたって同一または類似の機能を指し示す。
【００１７】
以下、本発明の属する技術分野における通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好ましい実施形態について、添付した図面を参照して詳細に説明する。
【００１８】
［本発明の好ましい実施形態］
参照として、本明細書において、「端末の角度」に対する変化は、１つの軸を中心に同一平面上で生じる変化のみならず、固定されていない軸を中心に他の平面を行き来しながら生じる変化をも含む概念というべきである。
【００１９】
端末の構成
図１は、本発明の一実施形態に係る端末の概略的な構成を示す図である。
図１に示すように、本発明の端末１００は、端末１００の動きの有無、距離、速度、加速度、方向などの動き情報および／または端末１００が所定の回転軸に対して傾いた角度などの姿勢情報を検知する動き・姿勢検知部１１０と、ビジュアルサーチの対象となる映像を取得する入力映像取得部１２０と、動き・姿勢検知部１１０により検知された動きまたは姿勢情報に基づいて所定のトリガリングイベント（ｔｒｉｇｇｅｒｉｎｇ ｅｖｅｎｔ）が発生する場合、入力映像に含まれているオブジェクトに対するビジュアルサーチを行う（または、行うように指示する）制御部１３０と、制御部１３０により取得された情報を端末上に表示してユーザに提供する表示部１４０および通信部１５０とを含んで構成されることができる。
【００２０】
本発明の一実施形態によれば、動き・姿勢検知部１１０、入力映像取得部１２０、制御部１３０、表示部１４０および通信部１５０は、端末１００内に備えられるプログラムモジュールであり得る。このようなプログラムモジュールは、運営システム、応用プログラムモジュール、およびその他プログラムモジュールの形態で端末１００に含まれてもよく、物理的には、様々な公知の記憶装置上に格納可能である。また、このようなプログラムモジュールは、端末１００と通信可能な遠隔記憶装置に格納されてもよい。一方、このようなプログラムモジュールは、本発明にかかり、後述する特定の業務を行うか特定の抽象データ類型を実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これらに限らない。
【００２１】
以下では、図２を参照して、本発明の一実施形態に係る動き・姿勢検知部１１０の構成およびその機能について詳細に説明する。
図２に示すように、本発明の動き・姿勢検知部１１０は、少なくとも１つの加速度センサー１１１と、少なくとも１つのジャイロスコープ１１２と、センサー補償および情報変換部１１３とを含んで構成されることができる。
【００２２】
動き・姿勢検知部１１０は、それに含まれる各種センサーを介して測定した加速度に基づいて、端末１００の線形動き、回転動き、揺れ情報などを求める機能を果たす。加速度センサー１１１は、移動する端末１００の動きを検知してその加速度を求め、端末１００の動きの有無、距離、速度、加速度、方向などに関する情報を検知するセンサーである。また、ジャイロスコープ１１２は、端末１００の回転を検知してその動きの程度を求める機能を果たす。加速度センサー１１１は、検知した加速度を３つの軸（Ｘ軸、Ｙ軸、Ｚ軸）に対するベクトル値で表現することができ、ジャイロスコープ１１２は、検知した回転を３つの軸に対する回転ベクトル値（ロール（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）、ヨー（ｙａｗ））で表現することができる。このような加速度センサー１１１とジャイロスコープ１１２とを備えることにより、動き・姿勢検知部１１０は、端末の速度と位置、位置変化を把握することができる。動き・姿勢検知部１１０は、通常の慣性航法システム（ＩＮＳ：Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）であり得、ジャイロスコープ１１２は、光学式、機械式、圧電型などのジャイロスコープであり得る。
【００２３】
センサー補償および情報変換部１１３は、加速度センサー１１１およびジャイロスコープ１１２から出力されるアナログ信号をアナログ／デジタル信号に変換する機能を果たす。また、これとともに、変換された信号を積分した後、軌跡を追跡して、動き情報、角度情報、揺れ情報に変換する機能を果たすことができる。
【００２４】
以上では、本発明の一実施形態に係る端末１００の動き情報および姿勢情報を取得するために、動き・姿勢検知部１１０を一例として言及したが、必ずしもこれに限定されるものではなく、本発明の目的を達成できる範囲内で任意のセンサーを用いて端末の動き情報および／または姿勢情報を取得することもできる。
【００２５】
動き・姿勢検知部１１０から出力される端末１００の動き情報および／または姿勢情報は、一定周期またはリアルタイムに更新されて制御部１３０に伝達できるようになる。
一方、本発明の一実施形態に係る入力映像取得部１２０は、後述する表示部１４０を介して端末１００上に提供される映像情報を取得する機能を果たす。本発明の一実施形態によれば、入力映像取得部１２０は、ＣＣＤカメラなどの光学装置を含むことができ、端末１００を携帯しているユーザ周辺の風景の様子を、仮に、プレビュー状態でリアルタイムに受信し、これを端末１００上に表示できるようにする。このとき、リアルタイムに撮影される周辺の風景の様子に関連付加情報をともに提供することにより、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）のような形態で端末１００上に表示できるようにしてもよい。このような拡張現実に基づいた場合には、後述するように、ビジュアルサーチの対象となったオブジェクトに関する情報が拡張現実上にタグのような形式で追加可能なため、数多くのユーザにおびただしい量の有用な情報を体系的に提供可能な破壊力を有することができる。
【００２６】
以下では、図３を参照して、動き・姿勢検知部１１０からの動き情報または姿勢情報を処理してトリガリングイベントの発生の有無を判断し、これにより、ビジュアルサーチを行って出力映像を生成する制御部１３０について説明する。
【００２７】
図３に示すように、制御部１３０は、動き・姿勢情報処理部１３１と、トリガリングイベント判断部１３２と、ビジュアルサーチ部１３３と、出力映像生成部１３４とを含んで構成されることができる。
【００２８】
まず、本発明の一実施形態に係る動き・姿勢情報処理部１３１は、動き・姿勢検知部１１０により取得された端末１００の動きまたは姿勢情報を処理する機能を果たす。
具体的には、本発明の一実施形態に係る動き・姿勢情報処理部１３１は、動き・姿勢検知部１１０の加速度センサー１１１およびジャイロスコープ１１２により検知された動き情報（動きの有無、距離、速度、加速度および方向などに関する情報）および姿勢情報（所定の回転軸に対して傾いた角度などに関する情報）に基づいてユーザの入力動作を把握する機能を果たす。すなわち、後述するように、ユーザは、端末１００を振るか、回転させるか、一定時間の間端末１００の動きをなくすかなどをすることにより、端末１００の動作（例えば、ビジュアルサーチなど）を制御する命令を入力することができるが、このために、動き・姿勢情報処理部１３１は、端末１００の動きの有無、動いた距離、動き速度、動き加速度および動き方向などの動き情報および／または所定の回転軸に対して端末１００が傾いた角度などの姿勢情報を処理することができるのである。
【００２９】
次に、本発明の一実施形態に係るトリガリングイベント判断部１３２は、動き・姿勢情報処理部１３１により把握された端末１００の動きまたは姿勢パターンを分析し、端末１００の動きまたは姿勢が端末１００の所定の動作を誘発させるトリガリングイベント（ｔｒｉｇｇｅｒｉｎｇ ｅｖｅｎｔ）に該当するか否かを判断する機能を果たす。より具体的には、トリガリングイベント判断部１３２は、端末１００の動きの有無、距離、速度、加速度、方向などの動き情報および／または端末１００が所定の回転軸に対する傾斜角度などの姿勢情報のうちの少なくとも１つを参照して、端末１００の特定の動きおよび／または特定の姿勢が当該端末１００上に表示された入力映像に含まれているオブジェクトに対するビジュアルサーチを行おうとするユーザの意志が反映されたイベントに該当するか否かを判断する機能を果たすことができる。
【００３０】
ここで、本発明の一実施形態に係るトリガリングイベントは、ビジュアルサーチを行おうとするユーザの意志を直観的に示すイベントであって、揺れ、回転、不動（一定時間の間動きがない状態）、傾きなどの端末１００の多様な類型の動きまたは姿勢に予め設定されることができる。例えば、トリガリングイベントは、端末１００が少なくとも１つの回転軸（すなわち、ロール（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）、ヨー（ｙａｗ））を中心として所定の角度または速度以上に回転する場合、端末１００が少なくとも１つの回転軸（すなわち、ロール（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）、ヨー（ｙａｗ））に沿って所定の距離または速度以上に移動する場合、端末１００が所定時間の間動かない場合、端末１００が少なくとも１つの回転軸（すなわち、ロール（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）、ヨー（ｙａｗ））に対して所定の角度範囲内に傾いた状態の場合（すなわち、端末１００が所定の姿勢を取っている場合）などを含むことができる。
【００３１】
また、本発明の一実施形態に係るトリガリングイベントは、端末１００が多様な動きまたは姿勢を取っている間に所定の入力キーが入力されるものとして多様に予め設定可能である。例えば、端末１００が横方向に横たえられた姿勢を維持している間に所定の入力ボタンが押されるイベントは、端末が位置する地点の周辺に関する情報を検索する動作を誘発させるトリガリングイベントとして予め設定されることができ、端末１００が縦方向に立てられた姿勢を維持している間に所定の入力ボタンが押されるイベントは、端末によって撮影されているオブジェクトに関する情報を検索する動作を誘発させるトリガリングイベントとして予め設定されることができる。
【００３２】
ただし、本発明に係るトリガリングイベントは、必ずしも前記列挙されたものに限定されるものではなく、本発明の目的を達成できる範囲内で適切に変更可能である。
次に、本発明の一実施形態に係るビジュアルサーチ部１３３は、トリガリングイベントが発生した場合、トリガリングイベントが発生した時点に、端末１００の表示部１４０上に表示される入力映像に含まれている所定のオブジェクトに対してビジュアルサーチを行う機能を果たす。上述したように、本発明の一実施形態に係るビジュアルサーチ部１３３は、ビジュアルサーチに伴うイメージマッチング、情報検索など、多くの演算量が要求される機能を円滑に行うために、端末１００と遠隔通信を行うことができるサーバ（図示せず）に搭載されてもよい。
【００３３】
また、本発明の一実施形態に係るビジュアルサーチ部１３３は、トリガリングイベントが発生した時点に、端末１００の表示部１４０上に表示される入力映像に含まれている複数のオブジェクトのうち、入力映像の中心部から近い所に位置する上位ｎ個のオブジェクトに対するビジュアルサーチを行うことができ、これにより、ユーザの意思により符合するビジュアルサーチ結果を提供することができる。
【００３４】
一方、上述したように、入力映像で多様な角度および距離を置いて含まれる特定のオブジェクトを認識するためには、所定のオブジェクト認識技術が要求されるが、本発明の一実施形態によれば、このようなオブジェクト認識技術として、Ｋ．ＭＩＫＯＬＡＪＣＺＹＫ外７人が共同で著述し、２００５年１１月「Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ」に記載された「Ａ Ｃｏｍｐａｒｉｓｏｎ ｏｆ Ａｆｆｉｎｅ Ｒｅｇｉｏｎ Ｄｅｔｅｃｔｏｒｓ」という論文などを参照することができる（前記論文の内容はその全体として本明細書に援用されていることが考慮されなければならない）。前記論文には、多様な角度で撮影された同一のオブジェクトを正確に認識するために、アフィン不変量（ａｆｆｉｎｅ ｉｎｖａｒｉａｎｔ）領域を検出する方法について記載されている。もちろん、本発明に適用可能なオブジェクト認識技術は、前記論文に記載された方法にのみ限定されるものではなく、多様な変形例を適用して本発明を実現することができる。
【００３５】
一方、本発明の一実施形態によれば、出力映像生成部１３４は、ビジュアルサーチの対象となる入力映像と前記入力映像に関連する多様な情報とを組合せて拡張現実の形態の出力映像を生成する機能を果たすことができる。より具体的には、本発明の一実施形態に係る出力映像生成部１３４は、出力映像を拡張現実の形態で構成するにあたり、特定のオブジェクトに関する情報が特定のオブジェクトに関連づけられていることを暗示する視覚的「タグ」の形態で当該オブジェクトに付着されて表示されることができる。また、ビジュアルサーチを行った結果得られる所定のオブジェクトに関する情報を、拡張現実上に所定のオブジェクトに対するタグの形態で付着することができ、このような新たにタギングされた情報も、さらに他のユーザのために提供可能である。
【００３６】
また、本発明の一実施形態に係る出力映像生成部１３４は、端末１００の特定の揺れまたは姿勢をトリガリングイベントとして検知し、端末１００上にディスプレイされる出力映像に含まれる情報の表示方式および／または情報の種類を制御する機能を追加的に果たすことができる。
【００３７】
例えば、基本的に、リアルタイムに撮影される周辺の風景の様子に関連付加情報を重ねて表示する拡張現実のような類型の映像が端末１００上に表示されてもよく、第１トリガリングイベントとして振る動作が１回行われると、前記関連付加情報に関連している複数のサムネイル（ｔｈｕｍｂｎａｉｌ）イメージが現在の端末１００の位置に最も近い順に整列されて表示されてもよく、第２トリガリングイベントとして振る動作が２回行われると、複数のサムネイルイメージが人気度の高い順に整列されて表示されてもよく、第３トリガリングイベントとして振る動作が３回行われると、複数のサムネイルイメージが消えて再びリアルタイムに撮影される周辺の風景の様子に関連付加情報を重ねて表示する拡張現実に戻るようにしてもよい。
【００３８】
他の例として、リアルタイムに撮影される周辺の風景の様子に関連付加情報を重ねて表示する拡張現実のような類型の映像が端末１００上に表示されるにあたり、トリガリングイベントとして振る動作が行われることを基準として関連付加情報をすべてディスプレイするモードと、関連付加情報のうち、ユーザによって任意に生成された情報（アイコン、掲示物、書き込みなど）のみがディスプレイされるモードとが相互切り替えられるように制御することもできる。
【００３９】
ただし、トリガリングイベントにより情報の表示方式または情報の種類が制御される実施形態は、前記列挙されたものに限定されるものではなく、これ以外にも、多様な変形例を想定することができる。
【００４０】
一方、本発明の一実施形態に係る表示部１４０は、入力映像取得部１２０により取得された入力映像および出力映像生成部１３４により生成される出力映像を視覚的に表示する機能を果たす。例えば、表示部１４０は、通常の液晶表示装置（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）などの平板表示装置であり得る。
【００４１】
本発明の一実施形態に係る通信部１５０は、サーバ（図示せず）へ／から各種情報およびコンテンツを送受信する機能を果たすことができる。すなわち、全体的に、通信部１５０は、端末１００からの／へのデータの送受信を可能にする機能を果たす。
【００４２】
以下では、本発明の一実施形態に係る端末１００の動作を、具体的な実施形態を参照して説明する。
具体的な実施形態
上述したように、本発明の一実施形態に係る端末１００は、端末１００の動きまたは姿勢を参照して、ビジュアルサーチに関するトリガリングイベントの発生の有無を判断し、トリガリングイベントが発生すると、トリガリングイベントが発生した時点に、端末１００にディスプレイされる入力映像に含まれている少なくとも１つのオブジェクトに対してビジュアルサーチが行われるようにすることができる。
【００４３】
図４は、本発明の一実施形態に係る端末１００にディスプレイされる出力映像を例示的に示す図である。
図４を参照すれば、端末１００に備えられたカメラなどの入力映像取得部１１０により取得された入力映像がプレビュー（ｐｒｅｖｉｅｗ）映像の形態で端末１００の表示部１４０上に表示されることができる。ここで、入力映像は、前記端末１００のユーザが位置する地点（仮に、特定の街頭）で前記端末１００をプレビュー（ｐｒｅｖｉｅｗ）モードに設定した状態で、端末１００のレンズなどを介して入力される前記特定の街頭に関する映像であり得る。図４は、このような入力映像に前記入力映像と関連性のある付加情報（仮に、アイコンのような形態で表示されてもよい）を組合せて端末１００の表示部１４０上にディスプレイしている出力映像の状態を例示的に示している。この状態で、ビジュアルサーチの実行を命令する揺れ、回転、傾き、不動などのトリガリングイベントが発生する場合、本発明の一実施形態に係る端末１００は、入力映像の中央部に位置しているバス４１０（または、その裏側に位置する建物など）に対してビジュアルサーチを行うことができる。
【００４４】
続いて、図４を参照すれば、入力映像の中央部に位置していたバス４１０または裏側に位置する建物に対してビジュアルサーチを行った結果得られた詳細情報が入力映像と組合されて端末１００の表示部１４０上に表示されることにより、より新しい情報に満ちた拡張現実を実現することができ、このアップデートされた拡張現実は、他の端末のユーザにも提供されて共有されることができる。言い換えれば、端末１００の表示部１４０上に表示される出力映像は、入力映像および入力映像に含まれる特定のオブジェクトに関する詳細情報が組合されて拡張現実の形態で構成されることができ、より具体的には、バス４１０または裏側に位置する建物に関する詳細情報は、当該位置で視覚的なタグ４２０として表現可能である。
【００４５】
これにより、本発明の一実施形態に係る端末１００は、端末１００にリアルタイムにディスプレイされているオブジェクトに対してより詳細な情報を得ることを希望するユーザのニーズを、数多くのユーザによって毎度速い速度でアップデートされる拡張現実を介して即刻的で直観的に満足させることができる。
【００４６】
上述した本発明に係る実施形態は、多様なコンピュータ構成要素を介して実行可能なプログラム命令語の形態で実現され、コンピュータ読取可能な記録媒体に記録されることができる。前記コンピュータ読取可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独または組合せて含むことができる。前記コンピュータ読取可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知で使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラにより作われるような機械語コードのみならず、インタプリタなどを用いてコンピュータにより実行可能な高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を行うために、１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。
【００４７】
以上、本発明が具体的な構成要素などのような特定の事項と限定された実施形態および図面により説明されたが、これは、本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明が上記の実施形態に限定されるものではなく、本発明の属する技術分野における通常の知識を有する者であれば、このような記載から多様な修正および変形を図ることができる。
【００４８】
したがって、本発明の思想は、上述した実施形態に限って定められてはならず、後述する特許請求の範囲のみならず、この特許請求の範囲と均等または等価的に変形されたすべてのものなどは本発明の思想の範疇に属するとするというべきである。
【符号の説明】
【００４９】
１１０：動き・姿勢検知部
１１１：加速度センサー
１１２：ジャイロスコープ
１１３：センサー補償および情報変換部
１２０：入力映像取得部
１３０：制御部
１３１：動き・姿勢情報処理部
１３２：トリガリングイベント判断部
１３３：ビジュアルサーチ部
１３４：出力映像生成部
１４０：表示部
１５０：通信部
【技術分野】
【０００１】
本発明は、端末の動きまたは姿勢に基づいてビジュアルサーチを行うための方法、端末およびコンピュータ読取可能な記録媒体に関し、より詳細には、ユーザの操作する端末が所定のパターンに従って動く際、端末にディスプレイされる拡張現実上の映像に含まれるオブジェクトに対するビジュアルサーチを実行できるようにする方法、端末およびコンピュータ読取可能な記録媒体に関する。
【背景技術】
【０００２】
最近、移動通信技術の急激な発展に後押しされ、ほとんどの人が携帯電話、ＰＤＡ、モバイルテレビなどのような移動式端末を利用しており、これに対する生活依存度がますます高くなる傾向にある。
【０００３】
これにより、このような移動式端末を介して多様な情報を得ようとする現代人のニーズもますます増加する傾向にあり、移動式端末を介してコンテンツを提供する側では、多様な形態の情報をユーザに提供して興味を誘発させることにより、ユーザの利用度を高めようとしている。
【０００４】
しかし、既存の移動式端末を用いる場合には、通話またはショートメッセージ通信を除けば、特定または不特定のユーザとの交流が皆無で、情報の共有または意見交換などのためのコミュニティ作りがほとんど不可能な水準であった。
【０００５】
最近では、従来の移動式端末を用いて音声通話またはショートメッセージの送受信などの単純な機能を果たすことを超えて、移動式端末を用いてインターネット接続、情報検索、画像通話などの多様な情報通信機能を提供する技術が開発されているが、このような機能を果たすためには、端末を用いるユーザのやや複雑な操作が要求されるという問題があった。
【０００６】
そこで、最近では、このような環境を改善するために、端末の動きまたは姿勢に応じて端末の動作が比較的簡単に制御される技術が着実に開発されている。
しかしながら、端末の動きまたは姿勢に応じて映像に表示される特定の物体またはカーソルの移動が制御される技術についてのみ開発が行われているのが実情であり、このような技術によりユーザに多様な情報またはインタフェースを提供しようとする認識はなされていない状況である。
【０００７】
したがって、本出願人は、端末の動きまたは姿勢に基づいて端末上にディスプレイされているイメージ（仮に、拡張現実上でのイメージ）に含まれている所定のオブジェクトに対するビジュアルサーチが行われるようにすることにより、ユーザに多様な情報を提供して共有できるようにすると同時に、ユーザが端末の各種動作を直観的に制御できるようにするインタフェースをともに提供することができる技術を開発するに至った。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上述した従来技術の問題をすべて解決することを目的とする。
また、本発明の他の目的は、端末の動きまたは姿勢を参照して、ビジュアルサーチのためのトリガリングイベント（ｔｒｉｇｇｅｒｉｎｇ ｅｖｅｎｔ）の発生の有無を判断し、トリガリングイベントが発生すると、トリガリングイベントが発生した時点に、端末にディスプレイされる入力映像に含まれる少なくとも１つのオブジェクトに対してビジュアルサーチを行うことにより、ユーザにとって端末に対して直観的で簡単な操作を加えるだけで端末上にディスプレイされているオブジェクトに関する多様な情報に接することができるようにすることである。
【０００９】
また、本発明のさらに他の目的は、トリガリングイベントが発生した時点に、端末にディスプレイされる拡張現実上の映像に含まれる少なくとも１つのオブジェクトに対してビジュアルサーチを行うことにより、拡張現実上の映像に含まれている数多くのオブジェクトに関する情報を取得し、多くのユーザの間にこのような情報を共有できるようにすることである。
【課題を解決するための手段】
【００１０】
上記の目的を達成するための本発明の代表的な構成は、次のとおりである。
本発明の一実施形態によれば、端末の動きまたは姿勢に基づいてビジュアルサーチ（ｖｉｓｕａｌ ｓｅａｒｃｈ）を行うための方法であって、（ａ）少なくとも１つのセンサー手段を用いて端末の動きまたは姿勢を検知するステップと、（ｂ）前記検知された端末の動きまたは姿勢のうちの少なくとも１つを参照して、トリガリングイベント（ｔｒｉｇｇｅｒｉｎｇ ｅｖｅｎｔ）の発生の有無を判断するステップと、（ｃ）前記トリガリングイベントが発生すると、前記トリガリングイベントが発生した時点に、前記端末にディスプレイされる出力映像に含まれる少なくとも１つのオブジェクトに対するビジュアルサーチが行われるようにするステップとを含む方法が提供される。
【００１１】
本発明の他の実施形態によれば、端末の動きまたは姿勢に基づいてビジュアルサーチ（ｖｉｓｕａｌ ｓｅａｒｃｈ）を行うための端末であって、少なくとも１つのセンサー手段を用いて端末の動きまたは姿勢を検知する動き・姿勢検知部と、前記検知された端末の動きまたは姿勢のうちの少なくとも１つを参照して、トリガリングイベント（ｔｒｉｇｇｅｒｉｎｇ ｅｖｅｎｔ）の発生の有無を判断するトリガリングイベント判断部と、前記トリガリングイベントが発生すると、前記トリガリングイベントが発生した時点に、前記端末にディスプレイされる出力映像に含まれる少なくとも１つのオブジェクトに対するビジュアルサーチが行われるようにするビジュアルサーチ部とを含む端末が提供される。
【００１２】
この他にも、本発明を実現するための他の方法、システムおよび前記方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取可能な記録媒体がさらに提供される。
【発明の効果】
【００１３】
本発明によれば、ユーザが端末を動かすか固定させるなどの直観的で簡単な操作を行うだけで端末上にディスプレイされているオブジェクトに関する多様な情報を得ることができるため、端末上にリアルタイムに表示される映像情報に対するビジュアルサーチを行うにあたり、ユーザの便宜性を増大させ、ユーザの興味を誘発させることができる。
【００１４】
本発明によれば、トリガリングイベントが発生した時点に、端末にディスプレイされる拡張現実上の映像に含まれる少なくとも１つのオブジェクトに対してビジュアルサーチを行うことにより、拡張現実上の映像に含まれているオブジェクトに関する情報をタグ形式で拡張現実上に付加することにより、多くのユーザの間にこのような情報を共有できるようにするという効果がある。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る端末の概略的な構成を示す図である。
【図２】本発明の一実施形態に係る動き・姿勢検知部１１０の構成を例示的に示す図である。
【図３】本発明の一実施形態に係る制御部１３０の構成を例示的に示す図である。
【図４】本発明の一実施形態に係る端末１００にディスプレイされる出力映像を例示的に示す図である。
【発明を実施するための形態】
【００１６】
後述する本発明に関する詳細な説明は、本発明が実施できる特定の実施形態を例示として示す添付図面を参照する。これらの実施形態は、当業者が本発明を実施できるように十分に詳細に説明される。本発明の多様な実施形態は、互いに異なるが、相互排他的である必要はないことが理解されなければならない。例えば、ここに記載されている特定の形状、構造および特性は一実施形態に関連し、本発明の精神および範囲を逸脱しない範囲内で他の実施形態で実現可能である。また、各々の開示された実施形態における個別構成要素の位置または配置は、本発明の精神および範囲を逸脱しない範囲内で変更可能であることが理解されなければならない。したがって、後述する詳細な説明は限定的な意味として受け止めるものではなく、本発明の範囲は、適切に説明された場合、それら請求項が主張するのと均等のすべての範囲とともに添付した請求項によってのみ限定される。図面において、類似の参照符号は、様々な側面にわたって同一または類似の機能を指し示す。
【００１７】
以下、本発明の属する技術分野における通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好ましい実施形態について、添付した図面を参照して詳細に説明する。
【００１８】
［本発明の好ましい実施形態］
参照として、本明細書において、「端末の角度」に対する変化は、１つの軸を中心に同一平面上で生じる変化のみならず、固定されていない軸を中心に他の平面を行き来しながら生じる変化をも含む概念というべきである。
【００１９】
端末の構成
図１は、本発明の一実施形態に係る端末の概略的な構成を示す図である。
図１に示すように、本発明の端末１００は、端末１００の動きの有無、距離、速度、加速度、方向などの動き情報および／または端末１００が所定の回転軸に対して傾いた角度などの姿勢情報を検知する動き・姿勢検知部１１０と、ビジュアルサーチの対象となる映像を取得する入力映像取得部１２０と、動き・姿勢検知部１１０により検知された動きまたは姿勢情報に基づいて所定のトリガリングイベント（ｔｒｉｇｇｅｒｉｎｇ ｅｖｅｎｔ）が発生する場合、入力映像に含まれているオブジェクトに対するビジュアルサーチを行う（または、行うように指示する）制御部１３０と、制御部１３０により取得された情報を端末上に表示してユーザに提供する表示部１４０および通信部１５０とを含んで構成されることができる。
【００２０】
本発明の一実施形態によれば、動き・姿勢検知部１１０、入力映像取得部１２０、制御部１３０、表示部１４０および通信部１５０は、端末１００内に備えられるプログラムモジュールであり得る。このようなプログラムモジュールは、運営システム、応用プログラムモジュール、およびその他プログラムモジュールの形態で端末１００に含まれてもよく、物理的には、様々な公知の記憶装置上に格納可能である。また、このようなプログラムモジュールは、端末１００と通信可能な遠隔記憶装置に格納されてもよい。一方、このようなプログラムモジュールは、本発明にかかり、後述する特定の業務を行うか特定の抽象データ類型を実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これらに限らない。
【００２１】
以下では、図２を参照して、本発明の一実施形態に係る動き・姿勢検知部１１０の構成およびその機能について詳細に説明する。
図２に示すように、本発明の動き・姿勢検知部１１０は、少なくとも１つの加速度センサー１１１と、少なくとも１つのジャイロスコープ１１２と、センサー補償および情報変換部１１３とを含んで構成されることができる。
【００２２】
動き・姿勢検知部１１０は、それに含まれる各種センサーを介して測定した加速度に基づいて、端末１００の線形動き、回転動き、揺れ情報などを求める機能を果たす。加速度センサー１１１は、移動する端末１００の動きを検知してその加速度を求め、端末１００の動きの有無、距離、速度、加速度、方向などに関する情報を検知するセンサーである。また、ジャイロスコープ１１２は、端末１００の回転を検知してその動きの程度を求める機能を果たす。加速度センサー１１１は、検知した加速度を３つの軸（Ｘ軸、Ｙ軸、Ｚ軸）に対するベクトル値で表現することができ、ジャイロスコープ１１２は、検知した回転を３つの軸に対する回転ベクトル値（ロール（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）、ヨー（ｙａｗ））で表現することができる。このような加速度センサー１１１とジャイロスコープ１１２とを備えることにより、動き・姿勢検知部１１０は、端末の速度と位置、位置変化を把握することができる。動き・姿勢検知部１１０は、通常の慣性航法システム（ＩＮＳ：Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）であり得、ジャイロスコープ１１２は、光学式、機械式、圧電型などのジャイロスコープであり得る。
【００２３】
センサー補償および情報変換部１１３は、加速度センサー１１１およびジャイロスコープ１１２から出力されるアナログ信号をアナログ／デジタル信号に変換する機能を果たす。また、これとともに、変換された信号を積分した後、軌跡を追跡して、動き情報、角度情報、揺れ情報に変換する機能を果たすことができる。
【００２４】
以上では、本発明の一実施形態に係る端末１００の動き情報および姿勢情報を取得するために、動き・姿勢検知部１１０を一例として言及したが、必ずしもこれに限定されるものではなく、本発明の目的を達成できる範囲内で任意のセンサーを用いて端末の動き情報および／または姿勢情報を取得することもできる。
【００２５】
動き・姿勢検知部１１０から出力される端末１００の動き情報および／または姿勢情報は、一定周期またはリアルタイムに更新されて制御部１３０に伝達できるようになる。
一方、本発明の一実施形態に係る入力映像取得部１２０は、後述する表示部１４０を介して端末１００上に提供される映像情報を取得する機能を果たす。本発明の一実施形態によれば、入力映像取得部１２０は、ＣＣＤカメラなどの光学装置を含むことができ、端末１００を携帯しているユーザ周辺の風景の様子を、仮に、プレビュー状態でリアルタイムに受信し、これを端末１００上に表示できるようにする。このとき、リアルタイムに撮影される周辺の風景の様子に関連付加情報をともに提供することにより、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）のような形態で端末１００上に表示できるようにしてもよい。このような拡張現実に基づいた場合には、後述するように、ビジュアルサーチの対象となったオブジェクトに関する情報が拡張現実上にタグのような形式で追加可能なため、数多くのユーザにおびただしい量の有用な情報を体系的に提供可能な破壊力を有することができる。
【００２６】
以下では、図３を参照して、動き・姿勢検知部１１０からの動き情報または姿勢情報を処理してトリガリングイベントの発生の有無を判断し、これにより、ビジュアルサーチを行って出力映像を生成する制御部１３０について説明する。
【００２７】
図３に示すように、制御部１３０は、動き・姿勢情報処理部１３１と、トリガリングイベント判断部１３２と、ビジュアルサーチ部１３３と、出力映像生成部１３４とを含んで構成されることができる。
【００２８】
まず、本発明の一実施形態に係る動き・姿勢情報処理部１３１は、動き・姿勢検知部１１０により取得された端末１００の動きまたは姿勢情報を処理する機能を果たす。
具体的には、本発明の一実施形態に係る動き・姿勢情報処理部１３１は、動き・姿勢検知部１１０の加速度センサー１１１およびジャイロスコープ１１２により検知された動き情報（動きの有無、距離、速度、加速度および方向などに関する情報）および姿勢情報（所定の回転軸に対して傾いた角度などに関する情報）に基づいてユーザの入力動作を把握する機能を果たす。すなわち、後述するように、ユーザは、端末１００を振るか、回転させるか、一定時間の間端末１００の動きをなくすかなどをすることにより、端末１００の動作（例えば、ビジュアルサーチなど）を制御する命令を入力することができるが、このために、動き・姿勢情報処理部１３１は、端末１００の動きの有無、動いた距離、動き速度、動き加速度および動き方向などの動き情報および／または所定の回転軸に対して端末１００が傾いた角度などの姿勢情報を処理することができるのである。
【００２９】
次に、本発明の一実施形態に係るトリガリングイベント判断部１３２は、動き・姿勢情報処理部１３１により把握された端末１００の動きまたは姿勢パターンを分析し、端末１００の動きまたは姿勢が端末１００の所定の動作を誘発させるトリガリングイベント（ｔｒｉｇｇｅｒｉｎｇ ｅｖｅｎｔ）に該当するか否かを判断する機能を果たす。より具体的には、トリガリングイベント判断部１３２は、端末１００の動きの有無、距離、速度、加速度、方向などの動き情報および／または端末１００が所定の回転軸に対する傾斜角度などの姿勢情報のうちの少なくとも１つを参照して、端末１００の特定の動きおよび／または特定の姿勢が当該端末１００上に表示された入力映像に含まれているオブジェクトに対するビジュアルサーチを行おうとするユーザの意志が反映されたイベントに該当するか否かを判断する機能を果たすことができる。
【００３０】
ここで、本発明の一実施形態に係るトリガリングイベントは、ビジュアルサーチを行おうとするユーザの意志を直観的に示すイベントであって、揺れ、回転、不動（一定時間の間動きがない状態）、傾きなどの端末１００の多様な類型の動きまたは姿勢に予め設定されることができる。例えば、トリガリングイベントは、端末１００が少なくとも１つの回転軸（すなわち、ロール（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）、ヨー（ｙａｗ））を中心として所定の角度または速度以上に回転する場合、端末１００が少なくとも１つの回転軸（すなわち、ロール（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）、ヨー（ｙａｗ））に沿って所定の距離または速度以上に移動する場合、端末１００が所定時間の間動かない場合、端末１００が少なくとも１つの回転軸（すなわち、ロール（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）、ヨー（ｙａｗ））に対して所定の角度範囲内に傾いた状態の場合（すなわち、端末１００が所定の姿勢を取っている場合）などを含むことができる。
【００３１】
また、本発明の一実施形態に係るトリガリングイベントは、端末１００が多様な動きまたは姿勢を取っている間に所定の入力キーが入力されるものとして多様に予め設定可能である。例えば、端末１００が横方向に横たえられた姿勢を維持している間に所定の入力ボタンが押されるイベントは、端末が位置する地点の周辺に関する情報を検索する動作を誘発させるトリガリングイベントとして予め設定されることができ、端末１００が縦方向に立てられた姿勢を維持している間に所定の入力ボタンが押されるイベントは、端末によって撮影されているオブジェクトに関する情報を検索する動作を誘発させるトリガリングイベントとして予め設定されることができる。
【００３２】
ただし、本発明に係るトリガリングイベントは、必ずしも前記列挙されたものに限定されるものではなく、本発明の目的を達成できる範囲内で適切に変更可能である。
次に、本発明の一実施形態に係るビジュアルサーチ部１３３は、トリガリングイベントが発生した場合、トリガリングイベントが発生した時点に、端末１００の表示部１４０上に表示される入力映像に含まれている所定のオブジェクトに対してビジュアルサーチを行う機能を果たす。上述したように、本発明の一実施形態に係るビジュアルサーチ部１３３は、ビジュアルサーチに伴うイメージマッチング、情報検索など、多くの演算量が要求される機能を円滑に行うために、端末１００と遠隔通信を行うことができるサーバ（図示せず）に搭載されてもよい。
【００３３】
また、本発明の一実施形態に係るビジュアルサーチ部１３３は、トリガリングイベントが発生した時点に、端末１００の表示部１４０上に表示される入力映像に含まれている複数のオブジェクトのうち、入力映像の中心部から近い所に位置する上位ｎ個のオブジェクトに対するビジュアルサーチを行うことができ、これにより、ユーザの意思により符合するビジュアルサーチ結果を提供することができる。
【００３４】
一方、上述したように、入力映像で多様な角度および距離を置いて含まれる特定のオブジェクトを認識するためには、所定のオブジェクト認識技術が要求されるが、本発明の一実施形態によれば、このようなオブジェクト認識技術として、Ｋ．ＭＩＫＯＬＡＪＣＺＹＫ外７人が共同で著述し、２００５年１１月「Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ」に記載された「Ａ Ｃｏｍｐａｒｉｓｏｎ ｏｆ Ａｆｆｉｎｅ Ｒｅｇｉｏｎ Ｄｅｔｅｃｔｏｒｓ」という論文などを参照することができる（前記論文の内容はその全体として本明細書に援用されていることが考慮されなければならない）。前記論文には、多様な角度で撮影された同一のオブジェクトを正確に認識するために、アフィン不変量（ａｆｆｉｎｅ ｉｎｖａｒｉａｎｔ）領域を検出する方法について記載されている。もちろん、本発明に適用可能なオブジェクト認識技術は、前記論文に記載された方法にのみ限定されるものではなく、多様な変形例を適用して本発明を実現することができる。
【００３５】
一方、本発明の一実施形態によれば、出力映像生成部１３４は、ビジュアルサーチの対象となる入力映像と前記入力映像に関連する多様な情報とを組合せて拡張現実の形態の出力映像を生成する機能を果たすことができる。より具体的には、本発明の一実施形態に係る出力映像生成部１３４は、出力映像を拡張現実の形態で構成するにあたり、特定のオブジェクトに関する情報が特定のオブジェクトに関連づけられていることを暗示する視覚的「タグ」の形態で当該オブジェクトに付着されて表示されることができる。また、ビジュアルサーチを行った結果得られる所定のオブジェクトに関する情報を、拡張現実上に所定のオブジェクトに対するタグの形態で付着することができ、このような新たにタギングされた情報も、さらに他のユーザのために提供可能である。
【００３６】
また、本発明の一実施形態に係る出力映像生成部１３４は、端末１００の特定の揺れまたは姿勢をトリガリングイベントとして検知し、端末１００上にディスプレイされる出力映像に含まれる情報の表示方式および／または情報の種類を制御する機能を追加的に果たすことができる。
【００３７】
例えば、基本的に、リアルタイムに撮影される周辺の風景の様子に関連付加情報を重ねて表示する拡張現実のような類型の映像が端末１００上に表示されてもよく、第１トリガリングイベントとして振る動作が１回行われると、前記関連付加情報に関連している複数のサムネイル（ｔｈｕｍｂｎａｉｌ）イメージが現在の端末１００の位置に最も近い順に整列されて表示されてもよく、第２トリガリングイベントとして振る動作が２回行われると、複数のサムネイルイメージが人気度の高い順に整列されて表示されてもよく、第３トリガリングイベントとして振る動作が３回行われると、複数のサムネイルイメージが消えて再びリアルタイムに撮影される周辺の風景の様子に関連付加情報を重ねて表示する拡張現実に戻るようにしてもよい。
【００３８】
他の例として、リアルタイムに撮影される周辺の風景の様子に関連付加情報を重ねて表示する拡張現実のような類型の映像が端末１００上に表示されるにあたり、トリガリングイベントとして振る動作が行われることを基準として関連付加情報をすべてディスプレイするモードと、関連付加情報のうち、ユーザによって任意に生成された情報（アイコン、掲示物、書き込みなど）のみがディスプレイされるモードとが相互切り替えられるように制御することもできる。
【００３９】
ただし、トリガリングイベントにより情報の表示方式または情報の種類が制御される実施形態は、前記列挙されたものに限定されるものではなく、これ以外にも、多様な変形例を想定することができる。
【００４０】
一方、本発明の一実施形態に係る表示部１４０は、入力映像取得部１２０により取得された入力映像および出力映像生成部１３４により生成される出力映像を視覚的に表示する機能を果たす。例えば、表示部１４０は、通常の液晶表示装置（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）などの平板表示装置であり得る。
【００４１】
本発明の一実施形態に係る通信部１５０は、サーバ（図示せず）へ／から各種情報およびコンテンツを送受信する機能を果たすことができる。すなわち、全体的に、通信部１５０は、端末１００からの／へのデータの送受信を可能にする機能を果たす。
【００４２】
以下では、本発明の一実施形態に係る端末１００の動作を、具体的な実施形態を参照して説明する。
具体的な実施形態
上述したように、本発明の一実施形態に係る端末１００は、端末１００の動きまたは姿勢を参照して、ビジュアルサーチに関するトリガリングイベントの発生の有無を判断し、トリガリングイベントが発生すると、トリガリングイベントが発生した時点に、端末１００にディスプレイされる入力映像に含まれている少なくとも１つのオブジェクトに対してビジュアルサーチが行われるようにすることができる。
【００４３】
図４は、本発明の一実施形態に係る端末１００にディスプレイされる出力映像を例示的に示す図である。
図４を参照すれば、端末１００に備えられたカメラなどの入力映像取得部１１０により取得された入力映像がプレビュー（ｐｒｅｖｉｅｗ）映像の形態で端末１００の表示部１４０上に表示されることができる。ここで、入力映像は、前記端末１００のユーザが位置する地点（仮に、特定の街頭）で前記端末１００をプレビュー（ｐｒｅｖｉｅｗ）モードに設定した状態で、端末１００のレンズなどを介して入力される前記特定の街頭に関する映像であり得る。図４は、このような入力映像に前記入力映像と関連性のある付加情報（仮に、アイコンのような形態で表示されてもよい）を組合せて端末１００の表示部１４０上にディスプレイしている出力映像の状態を例示的に示している。この状態で、ビジュアルサーチの実行を命令する揺れ、回転、傾き、不動などのトリガリングイベントが発生する場合、本発明の一実施形態に係る端末１００は、入力映像の中央部に位置しているバス４１０（または、その裏側に位置する建物など）に対してビジュアルサーチを行うことができる。
【００４４】
続いて、図４を参照すれば、入力映像の中央部に位置していたバス４１０または裏側に位置する建物に対してビジュアルサーチを行った結果得られた詳細情報が入力映像と組合されて端末１００の表示部１４０上に表示されることにより、より新しい情報に満ちた拡張現実を実現することができ、このアップデートされた拡張現実は、他の端末のユーザにも提供されて共有されることができる。言い換えれば、端末１００の表示部１４０上に表示される出力映像は、入力映像および入力映像に含まれる特定のオブジェクトに関する詳細情報が組合されて拡張現実の形態で構成されることができ、より具体的には、バス４１０または裏側に位置する建物に関する詳細情報は、当該位置で視覚的なタグ４２０として表現可能である。
【００４５】
これにより、本発明の一実施形態に係る端末１００は、端末１００にリアルタイムにディスプレイされているオブジェクトに対してより詳細な情報を得ることを希望するユーザのニーズを、数多くのユーザによって毎度速い速度でアップデートされる拡張現実を介して即刻的で直観的に満足させることができる。
【００４６】
上述した本発明に係る実施形態は、多様なコンピュータ構成要素を介して実行可能なプログラム命令語の形態で実現され、コンピュータ読取可能な記録媒体に記録されることができる。前記コンピュータ読取可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独または組合せて含むことができる。前記コンピュータ読取可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知で使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラにより作われるような機械語コードのみならず、インタプリタなどを用いてコンピュータにより実行可能な高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を行うために、１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。
【００４７】
以上、本発明が具体的な構成要素などのような特定の事項と限定された実施形態および図面により説明されたが、これは、本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明が上記の実施形態に限定されるものではなく、本発明の属する技術分野における通常の知識を有する者であれば、このような記載から多様な修正および変形を図ることができる。
【００４８】
したがって、本発明の思想は、上述した実施形態に限って定められてはならず、後述する特許請求の範囲のみならず、この特許請求の範囲と均等または等価的に変形されたすべてのものなどは本発明の思想の範疇に属するとするというべきである。
【符号の説明】
【００４９】
１１０：動き・姿勢検知部
１１１：加速度センサー
１１２：ジャイロスコープ
１１３：センサー補償および情報変換部
１２０：入力映像取得部
１３０：制御部
１３１：動き・姿勢情報処理部
１３２：トリガリングイベント判断部
１３３：ビジュアルサーチ部
１３４：出力映像生成部
１４０：表示部
１５０：通信部
【特許請求の範囲】
【請求項１】
端末の動きまたは姿勢に基づいてビジュアルサーチ（ｖｉｓｕａｌ ｓｅａｒｃｈ）を行うための方法であって、
（ａ）少なくとも１つのセンサー手段を用いて端末の動きまたは姿勢を検知するステップと、
（ｂ）前記検知された端末の動きまたは姿勢のうちの少なくとも１つを参照して、トリガリングイベント（ｔｒｉｇｇｅｒｉｎｇ ｅｖｅｎｔ）の発生の有無を判断するステップと、
（ｃ）前記トリガリングイベントが発生すると、前記トリガリングイベントが発生した時点に、前記端末にディスプレイされる出力映像に含まれる少なくとも１つのオブジェクトに対するビジュアルサーチが行われるようにするステップとを含み、
前記出力映像は、前記端末によりリアルタイムに入力される入力映像に前記入力映像と関連性のある情報を組合せた拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）形態の映像であることを特徴とする方法。
【請求項２】
前記トリガリングイベントは、前記端末が予め設定されたパターンに従って動くイベント、前記端末が予め設定された時間の間動かないイベント、および前記端末が予め設定された姿勢を取る場合のうちの少なくとも１つを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記予め設定されたパターンは、前記端末の動いた距離、動き速度、動き加速度、および動き方向のうちの少なくとも１つにより特定されることを特徴とする請求項２に記載の方法。
【請求項４】
前記予め設定された姿勢は、前記端末が少なくとも１つの回転軸に対して傾いている角度により特定されることを特徴とする請求項２に記載の方法。
【請求項５】
前記（ｃ）ステップにおいて、
前記少なくとも１つのオブジェクトは、前記出力映像上で前記出力映像の中心から近い所に表示される上位ｎ個のオブジェクトであることを特徴とする請求項１に記載の方法。
【請求項６】
前記（ｃ）ステップにおいて、
前記ビジュアルサーチは、前記端末と通信可能な遠隔の演算装置により行われることを特徴とする請求項１に記載の方法。
【請求項７】
（ｄ）前記ビジュアルサーチを行った結果得られる前記少なくとも１つのオブジェクトに関する情報を提供するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記（ｄ）ステップにおいて、
前記端末により入力される入力映像に前記少なくとも１つのオブジェクトに関する情報を拡張現実の形態で構成して提供することを特徴とする請求項７に記載の方法。
【請求項９】
端末の動きまたは姿勢に基づいてビジュアルサーチ（ｖｉｓｕａｌ ｓｅａｒｃｈ）を行うための端末であって、
少なくとも１つのセンサー手段を用いて端末の動きまたは姿勢を検知する動き・姿勢検知部と、
前記検知された端末の動きまたは姿勢のうちの少なくとも１つを参照して、トリガリングイベント（ｔｒｉｇｇｅｒｉｎｇ ｅｖｅｎｔ）の発生の有無を判断するトリガリングイベント判断部と、
前記トリガリングイベントが発生すると、前記トリガリングイベントが発生した時点に、前記端末にディスプレイされる出力映像に含まれる少なくとも１つのオブジェクトに対するビジュアルサーチが行われるようにするビジュアルサーチ部とを含み、
前記出力映像は、前記端末によりリアルタイムに入力される入力映像に前記入力映像と関連性のある情報を組合せた拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）形態の映像であることを特徴とする端末。
【請求項１０】
前記トリガリングイベントは、前記端末が予め設定されたパターンに従って動くイベント、前記端末が予め設定された時間の間動かないイベント、および前記端末が予め設定された姿勢を取る場合のうちの少なくとも１つを含むことを特徴とする請求項９に記載の端末。
【請求項１１】
前記予め設定されたパターンは、前記端末の動いた距離、動き速度、動き加速度、および動き方向のうちの少なくとも１つにより特定されることを特徴とする請求項１０に記載の端末。
【請求項１２】
前記予め設定された姿勢は、前記端末が少なくとも１つの回転軸に対して傾いている角度により特定されることを特徴とする請求項１０に記載の端末。
【請求項１３】
前記少なくとも１つのオブジェクトは、前記出力映像上で前記出力映像の中心から近い所に表示される上位ｎ個のオブジェクトであることを特徴とする請求項９に記載の端末。
【請求項１４】
前記ビジュアルサーチは、前記端末と通信可能な遠隔の演算装置により行われることを特徴とする請求項９に記載の端末。
【請求項１５】
前記ビジュアルサーチを行った結果得られる前記少なくとも１つのオブジェクトに関する情報を提供する出力映像生成部をさらに含むことを特徴とする請求項９に記載の端末。
【請求項１６】
前記出力映像生成部は、
前記端末により入力される入力映像に前記少なくとも１つのオブジェクトに関する情報を拡張現実の形態で構成して提供することを特徴とする請求項１５に記載の端末。
【請求項１７】
前記端末の第１姿勢で所定のキーが入力されると、第１トリガリングイベントと判断し、前記第１トリガリングイベントが発生した時点に、前記端末が位置している地点の周辺に対する情報検索が行われるようにし、前記端末の第２姿勢で所定のキーが入力されると、第２トリガリングイベントと判断し、前記第２トリガリングイベントが発生した時点に、前記端末にディスプレイされる出力映像に含まれる少なくとも１つのオブジェクトに対するビジュアルサーチが行われるようにすることを特徴とする請求項１に記載の方法。
【請求項１８】
前記（ｄ）ステップは、
（ｄ１）少なくとも１つのセンサー手段を用いて端末の動きまたは姿勢を検知するステップと、
（ｄ２）前記検知された端末の動きまたは姿勢のうちの少なくとも１つを参照して、出力映像制御トリガリングイベントの発生の有無を判断するステップと、
（ｄ３）前記出力映像制御トリガリングイベントが発生すると、前記少なくとも１つのオブジェクトに関する情報の表示方式および情報の種類のうちの少なくとも１つが変化するようにするステップとを含むことを特徴とする請求項７に記載の方法。
【請求項１９】
前記トリガリングイベント判断部は、
前記端末の第１姿勢で所定のキーが入力されると、第１トリガリングイベントと判断し、前記端末の第２姿勢で所定のキーが入力されると、第２トリガリングイベントと判断し、
前記ビジュアルサーチ部は、
第１トリガリングイベントが発生すると、前記第１トリガリングイベントが発生した時点に、前記端末が位置している地点の周辺に対する情報検索が行われるようにし、第２トリガリングイベントが発生すると、前記第２トリガリングイベントが発生した時点に、前記端末にディスプレイされる出力映像に含まれる少なくとも１つのオブジェクトに対するビジュアルサーチが行われるようにすることを特徴とする請求項９に記載の端末。
【請求項２０】
前記出力映像生成部は、
少なくとも１つのセンサー手段を用いて端末の動きまたは姿勢を検知し、前記検知された端末の動きまたは姿勢のうちの少なくとも１つを参照して、出力映像制御トリガリングイベントの発生の有無を判断し、前記出力映像制御トリガリングイベントが発生すると、前記少なくとも１つのオブジェクトに関する情報の表示方式および情報の種類のうちの少なくとも１つが変化するようにすることを特徴とする請求項１５に記載の端末。
【請求項２１】
請求項１から９および請求項１７から１８のいずれか１項に記載の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取可能な記録媒体。
【請求項１】
端末の動きまたは姿勢に基づいてビジュアルサーチ（ｖｉｓｕａｌ ｓｅａｒｃｈ）を行うための方法であって、
（ａ）少なくとも１つのセンサー手段を用いて端末の動きまたは姿勢を検知するステップと、
（ｂ）前記検知された端末の動きまたは姿勢のうちの少なくとも１つを参照して、トリガリングイベント（ｔｒｉｇｇｅｒｉｎｇ ｅｖｅｎｔ）の発生の有無を判断するステップと、
（ｃ）前記トリガリングイベントが発生すると、前記トリガリングイベントが発生した時点に、前記端末にディスプレイされる出力映像に含まれる少なくとも１つのオブジェクトに対するビジュアルサーチが行われるようにするステップとを含み、
前記出力映像は、前記端末によりリアルタイムに入力される入力映像に前記入力映像と関連性のある情報を組合せた拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）形態の映像であることを特徴とする方法。
【請求項２】
前記トリガリングイベントは、前記端末が予め設定されたパターンに従って動くイベント、前記端末が予め設定された時間の間動かないイベント、および前記端末が予め設定された姿勢を取る場合のうちの少なくとも１つを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記予め設定されたパターンは、前記端末の動いた距離、動き速度、動き加速度、および動き方向のうちの少なくとも１つにより特定されることを特徴とする請求項２に記載の方法。
【請求項４】
前記予め設定された姿勢は、前記端末が少なくとも１つの回転軸に対して傾いている角度により特定されることを特徴とする請求項２に記載の方法。
【請求項５】
前記（ｃ）ステップにおいて、
前記少なくとも１つのオブジェクトは、前記出力映像上で前記出力映像の中心から近い所に表示される上位ｎ個のオブジェクトであることを特徴とする請求項１に記載の方法。
【請求項６】
前記（ｃ）ステップにおいて、
前記ビジュアルサーチは、前記端末と通信可能な遠隔の演算装置により行われることを特徴とする請求項１に記載の方法。
【請求項７】
（ｄ）前記ビジュアルサーチを行った結果得られる前記少なくとも１つのオブジェクトに関する情報を提供するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記（ｄ）ステップにおいて、
前記端末により入力される入力映像に前記少なくとも１つのオブジェクトに関する情報を拡張現実の形態で構成して提供することを特徴とする請求項７に記載の方法。
【請求項９】
端末の動きまたは姿勢に基づいてビジュアルサーチ（ｖｉｓｕａｌ ｓｅａｒｃｈ）を行うための端末であって、
少なくとも１つのセンサー手段を用いて端末の動きまたは姿勢を検知する動き・姿勢検知部と、
前記検知された端末の動きまたは姿勢のうちの少なくとも１つを参照して、トリガリングイベント（ｔｒｉｇｇｅｒｉｎｇ ｅｖｅｎｔ）の発生の有無を判断するトリガリングイベント判断部と、
前記トリガリングイベントが発生すると、前記トリガリングイベントが発生した時点に、前記端末にディスプレイされる出力映像に含まれる少なくとも１つのオブジェクトに対するビジュアルサーチが行われるようにするビジュアルサーチ部とを含み、
前記出力映像は、前記端末によりリアルタイムに入力される入力映像に前記入力映像と関連性のある情報を組合せた拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）形態の映像であることを特徴とする端末。
【請求項１０】
前記トリガリングイベントは、前記端末が予め設定されたパターンに従って動くイベント、前記端末が予め設定された時間の間動かないイベント、および前記端末が予め設定された姿勢を取る場合のうちの少なくとも１つを含むことを特徴とする請求項９に記載の端末。
【請求項１１】
前記予め設定されたパターンは、前記端末の動いた距離、動き速度、動き加速度、および動き方向のうちの少なくとも１つにより特定されることを特徴とする請求項１０に記載の端末。
【請求項１２】
前記予め設定された姿勢は、前記端末が少なくとも１つの回転軸に対して傾いている角度により特定されることを特徴とする請求項１０に記載の端末。
【請求項１３】
前記少なくとも１つのオブジェクトは、前記出力映像上で前記出力映像の中心から近い所に表示される上位ｎ個のオブジェクトであることを特徴とする請求項９に記載の端末。
【請求項１４】
前記ビジュアルサーチは、前記端末と通信可能な遠隔の演算装置により行われることを特徴とする請求項９に記載の端末。
【請求項１５】
前記ビジュアルサーチを行った結果得られる前記少なくとも１つのオブジェクトに関する情報を提供する出力映像生成部をさらに含むことを特徴とする請求項９に記載の端末。
【請求項１６】
前記出力映像生成部は、
前記端末により入力される入力映像に前記少なくとも１つのオブジェクトに関する情報を拡張現実の形態で構成して提供することを特徴とする請求項１５に記載の端末。
【請求項１７】
前記端末の第１姿勢で所定のキーが入力されると、第１トリガリングイベントと判断し、前記第１トリガリングイベントが発生した時点に、前記端末が位置している地点の周辺に対する情報検索が行われるようにし、前記端末の第２姿勢で所定のキーが入力されると、第２トリガリングイベントと判断し、前記第２トリガリングイベントが発生した時点に、前記端末にディスプレイされる出力映像に含まれる少なくとも１つのオブジェクトに対するビジュアルサーチが行われるようにすることを特徴とする請求項１に記載の方法。
【請求項１８】
前記（ｄ）ステップは、
（ｄ１）少なくとも１つのセンサー手段を用いて端末の動きまたは姿勢を検知するステップと、
（ｄ２）前記検知された端末の動きまたは姿勢のうちの少なくとも１つを参照して、出力映像制御トリガリングイベントの発生の有無を判断するステップと、
（ｄ３）前記出力映像制御トリガリングイベントが発生すると、前記少なくとも１つのオブジェクトに関する情報の表示方式および情報の種類のうちの少なくとも１つが変化するようにするステップとを含むことを特徴とする請求項７に記載の方法。
【請求項１９】
前記トリガリングイベント判断部は、
前記端末の第１姿勢で所定のキーが入力されると、第１トリガリングイベントと判断し、前記端末の第２姿勢で所定のキーが入力されると、第２トリガリングイベントと判断し、
前記ビジュアルサーチ部は、
第１トリガリングイベントが発生すると、前記第１トリガリングイベントが発生した時点に、前記端末が位置している地点の周辺に対する情報検索が行われるようにし、第２トリガリングイベントが発生すると、前記第２トリガリングイベントが発生した時点に、前記端末にディスプレイされる出力映像に含まれる少なくとも１つのオブジェクトに対するビジュアルサーチが行われるようにすることを特徴とする請求項９に記載の端末。
【請求項２０】
前記出力映像生成部は、
少なくとも１つのセンサー手段を用いて端末の動きまたは姿勢を検知し、前記検知された端末の動きまたは姿勢のうちの少なくとも１つを参照して、出力映像制御トリガリングイベントの発生の有無を判断し、前記出力映像制御トリガリングイベントが発生すると、前記少なくとも１つのオブジェクトに関する情報の表示方式および情報の種類のうちの少なくとも１つが変化するようにすることを特徴とする請求項１５に記載の端末。
【請求項２１】
請求項１から９および請求項１７から１８のいずれか１項に記載の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公表番号】特表２０１３−５０６２１８（Ｐ２０１３−５０６２１８Ａ）
【公表日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１２−５３１９９９（Ｐ２０１２−５３１９９９）
【出願日】平成２２年９月６日（２０１０．９．６）
【国際出願番号】ＰＣＴ／ＫＲ２０１０／００６０５２
【国際公開番号】ＷＯ２０１１／０４０７１０
【国際公開日】平成２３年４月７日（２０１１．４．７）
【出願人】（５０８２４３５２５）オラワークス・インコーポレイテッド (8)
【Ｆターム（参考）】
【公表日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２２年９月６日（２０１０．９．６）
【国際出願番号】ＰＣＴ／ＫＲ２０１０／００６０５２
【国際公開番号】ＷＯ２０１１／０４０７１０
【国際公開日】平成２３年４月７日（２０１１．４．７）
【出願人】（５０８２４３５２５）オラワークス・インコーポレイテッド (8)
【Ｆターム（参考）】
[ Back to top ]