ポインティング位置制御装置及びポインティング位置制御方法
【課題】指示器が示す位置をディスプレイ上に反映したポインティング位置のぶれを軽減させる、ポインティング位置制御装置を提供すること。
【解決手段】ポインティング位置制御装置本体の姿勢を決定する本体姿勢決定部と、指示器のズレ量を決定する指示位置ズレ位置決定部と、装置本体の加速度情報と、指示器のズレ量とを用いて、ポインティング位置を決定するポインティング位置決定部を備え、入力操作によって装置本体が動いた場合に、指示器が示すポインティング位置のズレ量を判断して制御する。
【解決手段】ポインティング位置制御装置本体の姿勢を決定する本体姿勢決定部と、指示器のズレ量を決定する指示位置ズレ位置決定部と、装置本体の加速度情報と、指示器のズレ量とを用いて、ポインティング位置を決定するポインティング位置決定部を備え、入力操作によって装置本体が動いた場合に、指示器が示すポインティング位置のズレ量を判断して制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はポインティング位置制御装置に関し、特に、携帯端末に配置されたセンサを用いて指示器の位置を検出し、指示器の位置が反映された指示画像を表示して入力を制御するポインティング位置制御装置に関するものである。
【背景技術】
【０００２】
従来のポインティング位置制御装置の一つとして、表示ディスプレイ面上を指示器でタッチすることでポインティング位置を更新するタッチパネルが挙げられる。一方で、表示ディスプレイの一つとして立体視が可能な立体視ディスプレイが近年脚光を浴びている。
【０００３】
ここで、立体視ディスプレイ面上を指示器でタッチすることを考えた場合、特に立体視画像が飛び出ているような状況においては、ディスプレイを視認している使用者に違和感を与えてしまう。なぜなら、立体映像に重なったタッチパネル上の指示器を視認する場合、指示器と立体視画像の幾何学的な見え方と、視差による見え方とで、感じ方が異なるからである。より詳細には、幾何学的な見え方においては、指示器が立体視画像よりも手前に見えるのに対し、視差による見え方においては、立体視画像の方が指示器よりも手前に見える。従って、立体視ディスプレイ上でタッチ操作を行うことは、見易さの観点においては不適切である。言い換えれば、直感的な指示操作と見易さとを両立させるに、指示器は、立体視ディスプレイ上（即ち立体視ディスプレイの前面）ではなく、背面側で動かす方が、適切である。操作対象の携帯端末は、背面側に存在する指示器の位置を認識して、前面のディスプレイに指示器の位置を表示する。
【０００４】
ディスプレイの背面に指示器を配置して認識・表示する従来のポインティング位置制御装置としては、ディスプレイの背面にタッチセンサを設けているものがあった（例えば特許文献１参照）。また、ＨＭＤの前面（即ちＨＭＤのディスプレイ部分の背面）に存在する指示器の位置を認識させ、ディスプレイ部分の前面に指示器の位置を表示するものがあった（例えば特許文献２参照）。
【０００５】
特許文献１に記載の入力操作部は、ディスプレイの背面のタッチセンサを用いて、入力操作が可能となる。
【０００６】
また、特許文献２に記載のデータ処理装置は、ＨＭＤ外からの入力に基づいて、例えば、本のページをめくるような感覚で表示データの切り替えを行うため、ページめくり制御回路が角度センサ、方位センサ及び赤外線センサなどの各種センサ情報を用いてより自然なページめくり感を使用者に与えるものであった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２２５５４１号公報
【特許文献２】特開平７−７８０５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、前記従来の技術では、操作者が指示器を動かしていなくても、操作対象の携帯端末本体が動くことで、センサが検出する指示器の相対位置がずれ、ポインティング位置がぶれるというという課題を有していた。
【０００９】
本発明は、前記従来の課題を解決するもので、ディスプレイ面の反対側に存在する指示器が示す位置をディスプレイ上に反映したポインティング位置のぶれを軽減させる、ポインティング位置制御装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記従来の課題を解決するために、本発明のポインティング位置制御装置は、指示器が示す位置を反映したポインティング画像を表示して入力を制御するポインティング位置制御装置において、装置本体の姿勢を決定する本体姿勢決定部と、装置本体に対する前記指示器の相対位置と、前記本体姿勢決定部が決定した前記姿勢とを用いて、前記指示器の実空間における単位時間当たりの動作量であるズレ量を決定する指示位置ズレ情報決定部と、装置本体の加速度情報と、前記ズレ量とを用いて、ポインティング画像の表示位置を決定するポインティング位置決定部とを備える。
【００１１】
本構成によって、装置本体の姿勢と動きに基づいて、指示器が示すポインティング位置のズレ量を判断し、表示するポインティング位置を決定することができる。
【発明の効果】
【００１２】
本発明のポインティング位置制御装置によれば、装置本体への入力操作によって装置本体が動いた場合に、指示器が示すポインティング位置のズレ量を判断して制御することで、表示するポインティング位置のぶれを軽減することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１におけるポインティング位置制御装置の全体構成図
【図２】本発明の実施の形態１におけるポインティング位置制御部の構成図
【図３】ポインティング位置制御装置の概観図
【図４】ポインティング位置制御装置使用時の概観図
【図５】ポインティング位置制御装置にトリガー操作を行った際の概観図
【図６】ポインティング位置制御装置にトリガー操作を行った後の概観図
【図７】入力状態格納部に格納しているデータの一例を示す図
【図８】指示位置格納部に格納しているデータの一例を示す図
【図９】加速度情報格納部に格納しているデータの一例を示す図
【図１０】ポインティング位置格納部に格納しているデータの一例を示す図
【図１１】立体視画像の左目用画像及び右目用画像のイメージ図
【図１２】立体視画像のサイドバイサイド画像のイメージ図
【図１３】制御情報格納部に格納しているデータの一例を示す図
【図１４】本体姿勢格納部に格納しているデータの一例を示す図
【図１５】ポインティング位置制御装置の姿勢変化を示すイメージ図
【図１６】ポインティング位置制御部の状態の変化を示すイメージ図
【図１７】ポインティング位置制御装置の全体処理の一例を示すフロー図
【図１８】ポインティング位置制御部のポインティング位置決定処理の一例を示すフロー図
【図１９】ポインティング位置制御部の通常状態での処理の一例を示すフロー図
【図２０】ポインティング位置制御部の指示器接近中状態での処理の一例を示すフロー図
【図２１】ポインティング位置制御部の接触中状態での処理の一例を示すフロー図
【図２２】ポインティング位置制御部の接触後状態での処理の一例を示すフロー図
【発明を実施するための形態】
【００１４】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１５】
（実施の形態１）
（１．１ 概要）
図３は、本発明の実施の形態１におけるポインティング位置制御装置の概観を示す。ポインティング位置制御装置は、指示器の位置が反映された画像を表示して入力を制御する機能を有している。ポインティング位置制御装置１００は、装置本体ケースの表側に画像出力部１１２（ディスプレイ）を、裏側に撮像部１０３を備える。また、ポインティング位置制御装置は、入力部１０１（決定キーボタン、終了キーボタン）と、ポインティング位置制御装置１００のケース内に加速度センサ１０６を備えている。決定キーボタンは、ポインティング位置を決定する際に使用する。終了キーボタンは、起動中のアプリケーションを終了する際に使用する。入力部１０１は、表側の下部に配置されている。また、撮像部１０３は、裏側の上部に配置されている。
【００１６】
ポインティング位置制御装置１００は、画像出力部１１２と反対側に存在する指示器の位置を、撮像部１０３を用いて認識し、指示器の位置を反映した画像出力部１１２上の位置（ポインティング位置）に、ポインティング画像を表示する。
【００１７】
図４は、ポインティング位置制御装置のディスプレイ上に、ポインティング画像を表示した図を示す。ポインティング位置制御装置１００は、撮像部１０３の撮像範囲内に位置する指示器４００（例えば使用者の左手）を動かすと、これに連動した画像出力部１１２上に位置に、ポインティング画像４０１を出力する。ポインティング位置を決定するための操作（以下、トリガー操作と記載する）は、入力部１０１（決定キーボタン）を押下することで実現する。
【００１８】
図５は、ポインティング位置制御装置にトリガー操作した際を示す。使用者が、入力部１０１（決定キーボタン）を押下すると、入力部１０１付近において、矢印５００の向きに加速度が生じて本体にブレが生じ、図５には図示されない撮像部１０３の位置も矢印５０１の方向へ動く。矢印５００と矢印５０１は、逆の方向を示す。その結果、撮像部１０３に映りこむ指示器４００の位置も変化するため、指示器４００に連動して決定するポインティング画像の表示位置は、矢印５０２の方向へブレが生じる。
【００１９】
図６は、ポインティング位置制御装置にトリガー操作した後、つまり、図５の押下操作の終了時を示す。使用者が、入力部１０１（決定キーボタン）から指を離すと、入力部１０１付近において、矢印６００の方向へ加速度が生じ、図６に図示されない撮像部１０３の位置も矢印６０１の方向へ動く。矢印６００と矢印６０１は、逆の方向を示す。その結果、撮像部１０３に映りこむ指示器４００の位置も変化するため、指示器４００に連動して決定するポインティング画像の表示位置は、矢印６０２の方向へブレが生じる。
【００２０】
なお、入力部１０１と撮像部１０３の配置箇所、装置本体ケースの縦横サイズなどによって、ブレ方向やブレ量が変化する。以下の説明は、図４から図６で図示した配置である場合を、一例として説明している。
【００２１】
本発明のポインティング位置制御装置１００は、ポインティング画像の表示位置のブレを低減するため、トリガー操作の入力状態と姿勢情報から、ポインティング画像を表示する位置を補正することを特徴とする。使用者が指示器を動かしていない状況でのトリガー操作によって、装置本体が動いた場合に、指示器が示すポインティング位置のズレ量を判断して制御することで、表示するポインティング位置のブレを軽減すること可能となる。
【００２２】
（１．２ ポインティング位置制御装置の全体構成）
図１は、本発明の実施の形態１に係るポインティング位置制御装置１００の構成を示す。
【００２３】
ポインティング位置制御装置１００は、入力部１０１、入力状態格納部１０２、撮像部１０３、指示器認識部１０４、指示位置格納部１０５、加速度センサ１０６、加速度情報格納部１０７、ポインティング位置制御部１０８、ポインティング位置格納部１０９、アプリケーション部１１０、画像生成部１１１、描画画像格納部１１１Ａ、画像出力部１１２、制御情報格納部１１３、タイマ部１１４を備える。以下、各構成要素について説明する。
【００２４】
（１．２．１ 入力部）
入力部１０１は、外部からの操作を受け付け、ポインティング位置制御部１０８に制御に必要な情報を提供する。入力部１０１は、例えば、タッチパネル、キーボード、マウス、ボタン、その他のコントローラ等からなる。使用者は、入力部１０１に対して操作を行うことで、アプリケーション上での決定操作などの処理を制御する。入力部１０１は、使用者からの操作を受け付けると、入力状態格納部１０２に操作内容を示す情報を書き込む。
【００２５】
図７は、入力状態格納部１０２に格納している入力状態情報の一例を示す。入力状態情報は、決定キー入力状態フラグ７００と終了キー入力状態フラグ７０１を含んでいる。決定キー入力状態フラグ７００および終了キー入力状態フラグ７０１は、両方とも、初期状態では初期値「０」である。
【００２６】
使用者が決定キーボタンを押下した場合、入力部１０１は、決定操作がなされたとして、入力状態格納部１０２に格納されている決定キー入力状態フラグ７００を、「決定操作あり」を示す「１」に変更する。また、使用者が終了キーボタンを押下した場合、入力部１０１は、終了操作がなされたとして、入力状態格納部１０２に格納されている終了キー入力状態フラグ７０１を、「終了操作あり」を示す「１」に変更する。
【００２７】
（１．２．２ 撮像部）
撮像部１０３は、指示器認識部１０４に対して指示器の３次元位置を示す画像情報を提供する。撮像部１０３は、例えば、単眼カメラ、ステレオカメラ、赤外線カメラ、その他測距可能な撮像装置である。
【００２８】
（１．２．３ 指示器認識部）
指示器認識部１０４は、撮像部１０３から画像情報を取得し、当該画像情報を解析して指示器の３次元位置を認識し、ポインティング位置制御部１０８に対して提供する。
【００２９】
指示器認識部１０４は、撮像部１０３から取得した画像情報を用いて位置を認識するため、認識した位置とは、撮像部１０３（装置本体）との相対位置となる。
【００３０】
指示器認識部１０４は、撮像部１０３から単眼カメラによる画像を取得した場合、指示器の形状とその大きさから指示器の３次元位置を推定する。また、指示器認識部１０４は、撮像部１０３からステレオカメラによる画像を取得した場合、次の処理を行う。指示器認識部１０４は、取得した左目用画像と右目用画像とを用いて画素ごとにマッチング処理を行い、画像内の指示器部分の認識を行い、指示器部分の視差量を求めることで指示器の３次元位置を決定する。また、指示器認識部１０４は、図示しない照射部から特定のパターンの赤外光を被写体へ照射し、撮像部１０３から赤外光を取得し、タイムオブフライト方式やパターン照射法などの手法によって指示器の３次元位置を決定する。指示器認識部１０４は、認識した指示器の３次元位置を、指示位置情報として、指示位置格納部１０５に格納する。
【００３１】
図８は、指示位置格納部１０５に格納している指示位置情報の一例を示す。指示位置情報は、ｘ座標８００、ｙ座標８０１、及び、奥行き座標８０２を含んでいる。奥行き座標８０２は、メートル単位に換算された撮像部１０３からの距離を示す。
【００３２】
（１．２．４ 加速度センサ）
加速度センサ１０６は、ポインティング位置制御装置１００本体に生じる加速度を計測し、計測した加速度値を、加速度情報として、加速度情報格納部１０７に格納する。
【００３３】
図９（Ａ）は、加速度情報格納部１０７に格納している加速度情報の一例を示す。加速情報は、上方向加速度値９００、右方向加速度値９０１、奥方向加速度値９０２を含んでいる。また、本実施の形態１における「上方向」「右方向」「奥方向」の定義は、ポインティング位置制御装置１００の撮像部１０３を基準とした方向である。図９（Ｂ）では、ポインティング位置制御装置１００の撮像部１０３を手前として装置本体を図示しており、撮像部１０３に向かって右向きを右方向９２０、上向きを上方向９２１、奥向き（撮像部１０３とは逆方向）を奥方向９２２である。
【００３４】
（１．２．５ ポインティング位置制御部）
ポインティング位置制御部１０８は、入力状態格納部１０２、指示位置格納部１０５、加速度情報格納部１０７に格納された情報を取得し、ポインティング画像の表示位置を決定して、ポインティング位置格納部１０９に格納する。ポインティング位置制御部１０８は、装置本体が動いた場合に、指示器が示すポインティング位置のズレ量を判断して、補正を行い、ポインティング画像の表示位置を決定する。
【００３５】
図１０は、ポインティング位置格納部１０９に格納しているポインティング位置情報の一例を示す。ポインティング位置情報は、３次元座標を示すｘ座標１０００、ｙ座標１００１、視差値１００２を含んでいる。
【００３６】
（１．２．６ アプリケーション部）
アプリケーション部１１０は、装置本体にインストールされたアプリケーションを実行する実行部であり、ディスプレイへの描画を行う際に、描画要求を画像生成部１１１へ通知する。
【００３７】
（１．２．７ 画像生成部）
画像生成部１１１は、アプリケーション部１１０から描画要求を取得し、描画要求に基づいて描画処理を行う。また、画像生成部１１１は、ポインティング位置格納部１０９に格納されているポインティング位置情報が示す座標・視差で、ポインティング画像を描画処理する。画像生成部１１１は、アプリケーション部１１０から要求された描画データに重ねてポインティング画像を描画した画像を生成し、描画画像格納部１１１Ａに格納する。描画画像格納部１１１Ａは、右目用画像１１００と左目用画像１１０１とを保持する。
【００３８】
図１１は、画像生成部１１１が生成する右目用画像１１００と左目用画像１１０１の一例を示す。図１１では、人物１１０２が描画データとして描画されており、視差を伴って描画されている。人物１１０２は、右目用画像１１００と左目用画像１１０１とで、距離１１０３だけ離れているため、ディスプレイ面に比べて飛び出して見える。また、ポインティング画像４０１は、図１０の視差値１００２で示される量の視差を伴って描画され、右目用画像１１００と左目用画像１１０１とで、距離１１０４だけ離れている。距離１１０１は、距離１１０２よりも小さいことから、ポインティング画像４０１は、人物１１０２よりも飛び出して見える。
【００３９】
（１．２．８ 画像出力部）
画像出力部１１２は、描画画像格納部１１１Ａに格納された右目用画像１１００と左目用画像１１０１とをサイドバイサイド合成し、立体画像表示を行う。サイドバイサイド合成とは、右目用画像と左目用画像とをそれぞれＸ軸方向に半分に縮小してそれぞれ横に並べたものである。図１２は、図１１の右目用画像１１００と左目用画像１１０１とをサイドバイサイド合成した後の、サイドバイサイド画像を示す。サイドバイサイド画像は、右目用画像１１００と左目用画像１１０１とを、それぞれＸ軸方向に半分に縮小し、横に並べた。なお、右目用画像１１００と左目用画像１１０１とをサイドバイサイド方式で合成する例を示したが、これ以外の方法で合成してもよい。例えば、偶数ライン・奇数ラインそれぞれに右目用画像・左目用画像が配置されるインターレース方式で合成してもよい。また、奇数フレーム・偶数フレームそれぞれに右目用画像・左目用画像が割り当てられるフレームシーケンシャル方式で合成してもよい。
【００４０】
（１．２．９ 制御情報格納部）
制御情報格納部１１３は、ポインティング位置制御のために使用するパラメータ及び閾値などの制御情報を格納する。
【００４１】
図１３は、制御情報格納部１１３に格納している制御情報の一例を示す。制御情報は、タイマ値１３００、タイマクロック値１３０１、フレームレート１３０２、状態フラグ１３０３、加速度閾値１３０４、ズレ閾値［１］［２］１３０５、１３１２を含んでいる。更に、制御情報は、接近経過カウンタ初期値１３０６、接近経過カウンタ１３０７、移動量重みパラメータ［１］［２］１３０８、１３１１、接触カウンタ初期値１３０９、接触カウンタ１３１０、距離閾値１３１３を含んでいる。
【００４２】
タイマ値１３００は、タイマ部１１４がカウントアップする値であり、初期値０である。
【００４３】
タイマクロック値１３０１は、タイマ部１１４の動作速度を示し、タイマ部１１４が１秒間にタイマ値１３００をカウントアップする回数を示す。
【００４４】
フレームレート１３０２は、撮像部１０３が撮像処理を行う間隔を示す。
【００４５】
状態フラグ１３０３は、「通常」「指示器接近中」「接触中」「接触後」のいずれかの状態を示し、初期値は「通常」である。
【００４６】
加速度閾値１３０４は、ポインティング位置制御のための閾値であり、初期値が１．０メートル毎秒である。この値は、実験的に定めた値であり、予め設定されている。また、加速度閾値１３０４は、機器・用途に応じて変更してもよい。
【００４７】
ズレ閾値［１］１３０５は、ポインティング位置制御のための閾値であり、初期値が５ｃｍである。この値は、実験的に定めた値であり、予め設定されている。また、ズレ閾値［１］１３０５は、機器・用途に応じて変更してもよい。
【００４８】
接近経過カウンタ初期値１３０６は、ポインティング位置制御のためのパラメータであり、初期値が３である。この値は、実験的に定めた値であり、予め設定されている。また、接近経過カウンタ初期値１３０６は、機器・用途に応じて変更してもよい。
【００４９】
接近経過カウンタ１３０７は、ポインティング位置制御のためのパラメータであり、初期値は０である。
【００５０】
移動量重みパラメータ［１］１３０８は、ポインティング位置制御のためのパラメータであり、初期値は０．５である。この値は、実験的に定めた値であり、予め設定されている。また、移動量重みパラメータ［１］１３０８は、機器・用途に応じて変更してもよい。
【００５１】
接触カウンタ初期値１３０９は、ポインティング位置制御のためのパラメータであり、初期値が３である。この値は、これは実験的に定めた値であり、予め設定されている。また、接触カウンタ初期値１３０９は、機器・用途に応じて変更してもよい。
【００５２】
接触カウンタ１３１０は、ポインティング位置制御のためのパラメータであり、初期値は０である。
【００５３】
移動量重みパラメータ［２］１３１１は、ポインティング位置制御のためのパラメータであり、初期値は０．５である。この値は、実験的に定めた値であり、予め設定されている。また、移動量重みパラメータ［２］１３１１は、機器・用途に応じて変更してもよい。
【００５４】
ズレ閾値［２］１３１２は、ポインティング位置制御のための閾値であり、初期値が５ｃｍである。この値は、実験的に定めた値であり、予め設定されている。また、ズレ閾値［２］１３１２は、機器・用途に応じて変更してもよい。
【００５５】
距離閾値１３１３は、ポインティング位置制御のための閾値であり、初期値は５（ドット）である。この値は、これは実験的に定めた値であり、予め設定されている。また、距離閾値１３１３は、機器・用途に応じて変更してもよい。
【００５６】
（１．２．１０ タイマ部）
タイマ部１１４は、ポインティング位置制御装置の現在時刻を管理するものであり、（１／（タイマクロック値１３０１））秒毎にタイマ値１３００をカウントアップさせる。
【００５７】
以上が、ポインティング位置制御装置の構成要素である。
【００５８】
（１．３ ポインティング位置制御部の内部構成）
図２は、ポインティング位置制御装置１００の構成要素の一つであるポインティング位置制御部１０８の内部構成を示す。
【００５９】
ポインティング位置制御部１０８は、本体姿勢決定部２００、本体姿勢格納部２０１、指示位置ズレ情報決定部２０２、ズレ情報格納部２０３、ポインティング位置決定部２０４を備える。以下、各構成要素について説明する。
【００６０】
（１．３．１ 本体姿勢決定部）
本体姿勢決定部２００は、加速度情報格納部１０７から加速度情報を取得し、加速度情報を用いて、ポインティング位置制御装置１００本体が、前フレームの姿勢から現フレームの姿勢へ変化した様子を示す姿勢変換行列Ｍ’を決定する。更に、本体姿勢決定部２００は、当該加速度からポインティング位置制御装置１００本体の姿勢を決定する。本体姿勢決定部２００は、決定したポインティング位置制御装置１００本体の姿勢を、姿勢情報として、本体姿勢格納部２０１に格納する。
【００６１】
図１４は、本体姿勢格納部２０１に格納している姿勢情報の一例を示す。図１４では、ポインティング位置制御装置１００本体の姿勢情報として、前フレームの姿勢から現フレームの姿勢へ変換する姿勢変換行列Ｍ’１４００を保持する。
【００６２】
（１．３．２ 指示位置ズレ情報決定部）
指示位置ズレ情報決定部２０２は、本体姿勢格納部２０１に格納された姿勢情報と、指示位置格納部１０５に格納された指示位置情報とを用いて、指示器が示すポインティング位置のズレ量を判断する。指示位置ズレ情報決定部２０２は、装置本体が動いた場合の、ポインティング位置制御装置１００に生じたブレによって、指示器の位置がどの程度ずれたのかを示すズレ量を決定し、ズレ情報格納部２０３に格納する。つまり、ズレ量とは、指示器の実空間における単位時間当たりの動作量である。
【００６３】
次に、指示位置ズレ情報決定部２０２が、ズレ量を決定する手順について、説明する。図９（Ｂ）に示した記号を用い、右方向９２０はｘ軸正の向き、上方向９２１はｙ軸正の向き、奥方向９２２はｚ軸正の向きとして説明する。また、加速度センサ１０６の内蔵位置は位置９２５、撮像部１０３の装着位置の中央は位置９２６とし、加速度センサ１０６から撮像部１０３へのベクトルは、ベクトルｄ（ｄｘ、ｄｙ、ｄｚ）９２７と示す。また、図１５は、前フレームから現フレームにかけて、ポインティング位置制御装置１００本体が動き、姿勢１５００から姿勢１５０１へと変化した場合の、指示器が示すポインティング位置について、一例を示している。以下、指示位置ズレ情報決定部２０２が、図１５（Ａ）から（Ｂ）に変化した場合のズレ量を演算する手順を、図９（Ｂ）に示した記号を用いて、説明する。
【００６４】
図１５（Ａ）は、前フレームにおける状態を図示している。図１５（Ｂ）は、現フレームにおける状態を図示している。前フレームにおける撮像部１０３の位置が原点、本体右方向（図９の右方向９２０）がｘ軸正の向き、本体上方向（図９の上方向９２１）がｙ軸正の向き、本体奥方向（図９の奥方向９２２）がｚ軸正の向きとした空間を、空間Ｗと定義する。
【００６５】
【数１】
【００６６】
まず、指示位置ズレ情報決定部２０２は、前フレームにおける演算を行う。図１５の１５０２は、指示器の空間Ｗにおける座標を示す位置ベクトルＩ１を示す。図１５の１５０３は、前フレームの姿勢における撮像部１０３が取得する指示器の位置ベクトルＰ１を示す。位置ベクトルＩ１から位置ベクトルＰ１へ変換する行列は、（数１）に示す射影行列Ｐで示す。指示位置ズレ情報決定部２０２は、Ｐ１＝Ｉ１＊Ｐを演算し、位置ベクトルＰ１を取得する。（数１）において、θはＹ方向の視野角、αはアスペクト比、Ｆは撮像部１０３から指示器までの最大距離、Ｎは撮像部１０３から指示器までの最小距離を示す。
【００６７】
【数２】
【００６８】
次に、指示位置ズレ情報決定部２０２は、現フレームにおける演算を行う。図１５の１５０４は、指示器の空間Ｗにおける座標を示す位置ベクトルＩ２を示す。図１５の１５０５は、撮像部１０３が取得する指示器の位置ベクトルＰ２を示す。位置ベクトルＩ２から位置ベクトルＰ２へ変換する行列は、（数２）に示すＰ’で示し、Ｐ２＝Ｉ２＊Ｐ’となる。ここで、ポインティング位置制御装置１００本体の姿勢が、姿勢１５００から姿勢１５０１へと変換する変換行列をＭとすると、Ｐ’＝Ｍ＊Ｐとなる。
【００６９】
指示位置ズレ情報決定部２０２は、（数２）に示す導出より、｜Ｉ２−Ｉ１｜を、ズレ量として算出する。つまり、指示位置ズレ情報決定部２０２は、前フレームでの空間Ｗにおける指示器の位置（Ｉ１）と、現フレームでの空間Ｗにおける指示器の位置（Ｉ２）の距離を、ズレ量と決定する。
【００７０】
なお、（数２）中の位置ベクトルＰ１及び位置ベクトルＰ２は、撮像部１０３によって取得された、撮像画像中での指示器の座標とし、行列Ｐの各成分は、カメラパラメータとして予め装置内部に保持しておく。一方、（数２）中の変換行列Ｍは、前フレームの撮像部１０３の位置を原点とした撮像座標系から、現フレームの撮像部１０３の位置を原点とした撮像座標系へ、変換するための変換行列である。
【００７１】
また、加速度センサ１０６によって得られる姿勢の変化パラメータは、加速度センサ１０６の位置を原点としたセンサ座標系におけるものである。加速度センサ１０６から撮像部１０３へのベクトルは、ベクトルｄと示す。
【００７２】
【数３】
【００７３】
（数３）に示すように、変換行列Ｍ及び｜Ｉ２−Ｉ１｜は、本体姿勢格納部２０１に格納された姿勢変換行列Ｍ’と、ベクトルｄから得られる行列Ｄとから求められる。前述したとおり、｜Ｉ２−Ｉ１｜は、ズレ量である。
【００７４】
＜１．３．３ ポインティング位置決定部＞
ポインティング位置決定部２０４は、ズレ情報格納部２０３のズレ量、入力状態格納部１０２の入力状態情報、指示位置格納部１０５の指示位置情報、ポインティング位置格納部１０９のポインティング位置情報を取得し、位置を決定する。ズレ量は、ズレ情報格納部２０３に格納された指示器のズレ量である。指示位置情報は、指示位置格納部１０５に格納された、推定した指示器の３次元位置である。ポインティング位置情報は、ポインティング位置格納部１０９に格納された前フレームにおけるポインティング位置である。
【００７５】
ポインティング位置決定部２０４は、状態フラグ１３０３を確認し、現在の状態に応じて、ポインティング位置を決定する。また、ポインティング位置決定部２０４は、決定したポインティング位置を、ポインティング画像の表示位置として、ポインティング位置格納部１０９へ格納する。ポインティング位置決定部２０４が、現在の状態に応じて、ポインティング位置を決定する処理の詳細は、後でフロー図を用いて説明する。
【００７６】
以上の構成により、本発明のポインティング位置制御装置は、使用者がトリガー操作を行った場合に、ポインティング画像を表示する位置を補正することが可能となる。
【００７７】
図１６は、使用者が、ポインティング位置制御装置を操作した場合の、状態の変化を図で示した。
【００７８】
図１６（Ａ）は、装置本体が動いていない通常の状態であり、ポインティング位置制御装置は、指示器１６００の位置を反映した位置１６０１に、ポインティング画像を表示する。
【００７９】
図１６（Ｂ）は、使用者がトリガー操作した状態であり、使用者が入力部１０１を押下しようとしてポインティング位置制御装置１００本体に加速度が生じた場合である。ポインティング位置制御装置は、装置本体に加速度が生じかつ指示器のズレ量の変化量が小さいことを判断し、指示器１６００の位置を反映した位置１６０２に遅れて追従させるよう、ポインティング画像１６０３の位置を決定する。なお、ズレ量の変化量が小さいとは、ズレ情報格納部２０３に格納されたズレ量がズレ閾値［１］１３０５未満であることを意味する。
【００８０】
図１６（Ｃ）は、使用者がトリガー操作した後の状態であり、使用者が入力部１０１を押下した後は、接近経過カウンタ初期値１３０６で示される一定時間が経過するまで、ポインティング画像１６０３の位置を変更しない。
【００８１】
図１６（Ｄ）は、図１６（Ｃ）の一定時間が経過した後の状態であり、ズレ情報格納部２０３に格納されたズレ量に応じた速度で、ポインティング画像の位置１６０４を、本来の指示器１６００の位置を反映した位置１６０５に追従させる。
【００８２】
以上により、本発明のポインティング位置制御装置は、装置本体の姿勢と動きに基づいて、指示器が示すポインティング位置のズレ量を判断し、表示するポインティング位置を決定することができる。これにより、ポインティング位置制御装置は、装置本体への入力操作によって装置本体が動いた場合に、指示器が示すポインティング位置のズレ量を判断して制御することで、表示するポインティング位置のぶれを軽減することが可能となる。
【００８３】
（１．４ 動作）
ポインティング位置制御装置が、装置本体の姿勢と動きに基づいて、指示器が示すポインティング位置のズレ量を判断し、表示するポインティング位置を制御する動作について、説明する。
【００８４】
（１．４．１ 全体動作）
図１７は、ポインティング位置制御装置の全体処理の一例を示すフロー図である。
【００８５】
ポインティング位置制御装置１００は、タイマ部１１４のクロック動作に連動して撮像処理、ポインティング位置制御処理及び画像生成処理を行う。
【００８６】
ポインティング位置制御装置１００が起動すると（Ｓ１００）、ポインティング位置制御部１０８は、タイマ値１３００を初期化する（Ｓ１１０）。具体的には、タイマ値１３００に０をセットする。
【００８７】
次に、ポインティング位置制御部１０８は、タイマ部１１４を起動し、タイマ部１１４は、クロック値１３０１で示される速度で、タイマ値１３００をカウント（増加）する（Ｓ１２０）。タイマ部１１４は、ポインティング位置制御装置が停止するまで、タイマ値１３００のカウントを継続する。
【００８８】
タイマ値１３００が、１フレームあたりのクロック数（タイマクロック値１３０１÷フレームレート１３０２）に達すると（Ｓ１３０）、ポインティング位置制御部１０８は、次フレーム時刻と判断し、ステップＳ１３５に遷移する。
【００８９】
ポインティング位置制御部１０８は、タイマ値１３００を初期化し、タイマ値１３００に０をセットする（Ｓ１３５）。
【００９０】
ポインティング位置制御部１０８は、撮像部１０３を駆動し、撮像部１０３は、撮像処理を行う（Ｓ１４０）。指示器認識部１０４は、撮像部１０３から画像情報を取得し、指示器の位置を認識し、得られた指示位置情報を指示位置格納部１０５へ格納する（Ｓ１４３）。
【００９１】
入力部１０１は、入力状態格納部１０２の内容を初期化し、使用者からの操作を受け付けて、入力状態を取得し、入力状態格納部１０２の入力状態情報を変更する（Ｓ１４６）。
【００９２】
加速度センサ１０６は、ポインティング位置制御装置１００本体に生じる加速度を計測して、加速度情報を取得し、加速度情報格納部１０７へ格納する（Ｓ１５０）。
【００９３】
次に、ポインティング位置制御部１０８は、入力状態格納部１０２、指示位置格納部１０５、加速度情報格納部１０７から各種情報を取得し、ポインティング画像の表示位置を決定し、ポインティング位置格納部１０９に格納する（Ｓ１６０）。ステップＳ１６０の処理については、後で詳細を説明する。
【００９４】
画像生成部１１１は、アプリケーション部１１０から取得した描画データに、ポインティング画像を重畳した画像を生成し、描画画像格納部１１１Ａに格納する（Ｓ１７０）。描画画像格納部１１１Ａに格納する画像は、図１１で一例を示した、立体視可能な画像である。
【００９５】
最後に、ポインティング位置制御部１０８は、入力状態格納部１０２の終了キー入力状態フラグ７０１が、「終了操作あり」を示す「１」になっているか否かを判定する（Ｓ１８０）。「終了操作あり」でない場合（Ｓ１８０がＮｏ）、ステップＳ１３０に遷移し、処理を繰り返す。一方、「終了操作あり」である場合（Ｓ１８０がＹｅｏ）、ポインティング位置制御部１０８は、処理を終了し、ポインティング位置制御装置は停止する（Ｓ１９０）。
【００９６】
以上が、ポインティング位置制御装置の全体処理の流れである。
【００９７】
（１．４．２ ポインティング位置決定処理（ステップＳ１６０））
ポインティング位置制御部１０８が処理する、ポインティング位置決定処理（図１７のＳ１６０）の詳細な流れについて説明する。
【００９８】
図１８は、ポインティング位置決定処理の一例を示すフロー図である。
【００９９】
ポインティング位置決定処理を開始すると、ポインティング位置制御部１０８の本体姿勢決定部２００は、加速度情報格納部１０７から加速度情報を取得し、ポインティング位置制御装置１００の姿勢変化を示す姿勢変換行列Ｍ’を決定する。本体姿勢決定部２００は、決定した姿勢変換行列Ｍ’を、本体姿勢格納部２０１に格納する（Ｓ２００）。
【０１００】
指示位置ズレ情報決定部２０２は、本体姿勢格納部２０１から姿勢変換行列Ｍ’を取得し、指示位置格納部１０５に格納された指示器の位置情報と姿勢変換行列Ｍ’とから、指示器の座標のズレ量を決定する。指示位置ズレ情報決定部２０２は、決定したズレ量を、ズレ情報格納部２０３に格納する（Ｓ２１０）。
【０１０１】
続いて、ポインティング位置決定部２０４は、状態フラグ１３０３を確認して、現在の入力状態を判断し、現在の入力状態に応じて、ポインティング位置を決定する処理を行う（Ｓ２２０）。状態フラグ１３０３が「通常」の場合、ポインティング位置決定部２０４は、通常処理を行う（Ｓ２３０）。状態フラグ１３０３が「指示器接近中」の場合、ポインティング位置決定部２０４は、指示器接近中処理を行う（Ｓ２４０）。状態フラグ１３０３が「接触中」の場合、ポインティング位置決定部２０４は、接触中処理を行う（Ｓ２７０）。状態フラグ１３０３が「接触後」の場合（Ｓ２５０）、ポインティング位置決定部２０４は、接触後処理を行う（Ｓ２６０）。
【０１０２】
ポインティング位置決定部２０４が上記いずれかの処理を行った後、ポインティング位置決定処理を終了する（Ｓ２７０）。
【０１０３】
以上が、ポインティング位置決定処理の流れである。
【０１０４】
次に、ポインティング位置決定部２０４が処理する、状態フラグ１３０３に応じて、ポインティング位置を決定する各処理（図１８のＳ２３０、Ｓ２４０、Ｓ２５０、Ｓ２６０）について、説明する。
【０１０５】
（１．４．３ 通常処理（ステップＳ２３０））
図１９は、通常処理の一例を示すフロー図である。
【０１０６】
ポインティング位置決定部２０４は、通常処理を開始すると、ポインティング位置制御装置１００に加速度が発生したかを判定する（Ｓ３００）。加速度情報格納部１０７に格納された加速度の大きさが、加速度閾値１３０４を超えていない場合、加速度が発生していないとして（Ｓ３００がＮｏ）、ポインティング画像の位置を通常更新する。つまり、ポインティング位置決定部２０４は、指示位置格納部１０５に格納された指示位置情報をそのままポインティング位置として、ポインティング位置格納部１０９へ格納する（Ｓ３０１）。一方、加速度の大きさが、加速度閾値１３０４以下の場合（Ｓ３００がＹｅｓ）、ステップＳ３０２に遷移する。
【０１０７】
ポインティング位置決定部２０４は、指示器のズレ量が小さいかを判定する（Ｓ３０２）。ポインティング位置決定部２０４は、ズレ情報格納部２０３に格納されたズレ量がズレ閾値［１］１３０５未満の場合、ズレ量が小さいと判定し（Ｓ３０２がＹｅｓ）、ステップＳ３０３に遷移する。一方、ズレ情報格納部２０３に格納されたズレ量がズレ閾値［１］１３０５以上の場合（Ｓ３０２がＮｏ）、位置を通常更新する。つまり、ポインティング位置決定部２０４は、指示位置格納部１０５に格納された指示位置情報をそのままポインティング位置として、ポインティング位置格納部１０９へ格納する（Ｓ３０１）。
【０１０８】
ポインティング位置決定部２０４は、接近経過カウンタ１３０７に接近経過カウンタ初期値１５０６を書き込んで初期化し（Ｓ３０３）、状態フラグ１３０３を「指示器接近中」に設定し、指示器接近中状態へ遷移する（Ｓ３０４）。
【０１０９】
ポインティング位置決定部２０４は、入力状態格納部１０２の決定キー入力状態フラグ７００が、「入力操作あり」を示す「１」になっているか否かを判定する（Ｓ３０５）。「入力操作あり」である場合（Ｓ３０５がＹｅｓ）、ポインティング位置決定部２０４は、接触カウンタ１３１０に接触カウンタ初期値１３０９で示される値を設定する（Ｓ３０６）。ポインティング位置決定部２０４は、状態フラグ１３０３を「接触中」に設定し、接触中状態へ遷移する（Ｓ３０７）。
【０１１０】
上記の処理が完了すると、ポインティング位置決定部２０４は処理を終了する（Ｓ３０８）。
【０１１１】
（１．４．４ 指示器接近中処理（ステップＳ２４０））
図２０は、指示器接近中処理の一例を示すフロー図である。
【０１１２】
ポインティング位置決定部２０４は、指示器接近中処理を開始すると、接近経過カウンタ１３０７を１減らし（Ｓ４００）、加速度発生から一定時間経過したか否かを判定する（Ｓ４０１）。接近カウンタが０の場合、一定時間が経過したとして（Ｓ４０１がＹｅｓ）、ポインティング位置決定部２０４は、状態フラグ１３０３を「接触後」に設定し、接触後状態へ遷移する（Ｓ４０２）。一方、接近カウンタが０でない場合、一定時間が経過していないとして（Ｓ４０１がＮｏ）、ポインティング位置決定部２０４は、ポインティング画像の位置をゆっくり更新する（Ｓ４０３）。つまり、ポインティング位置決定部２０４は、（数４）に示す式によってポインティング画像の位置を決定する。
【０１１３】
【数４】
【０１１４】
（数４）において、Ｐｏｓ［ｔ］は、現フレームにおけるポインティング画像の位置である。Ｐｏｓ［ｔ−１］は、前フレームにおけるポインティング画像の位置である。Ｐｏｓ’は、現フレームにおける指示器の位置を反映したポインティング画像の位置である。αは、移動量重みパラメータ［１］１３０８に格納された値であり、０より大きく１以下の定数値である。
【０１１５】
ポインティング位置決定部２０４は、入力状態格納部１０２の決定キー入力状態フラグ７００が、「入力操作あり」を示す「１」になっているか否かを判定する（Ｓ４０４）。「入力操作あり」である場合（Ｓ４０４がＹｅｓ）、ポインティング位置決定部２０４は、接触カウンタ１３１０に接触カウンタ初期値１３０９で示される値を設定する（Ｓ４０５）。ポインティング位置決定部２０４は、状態フラグ１３０３を「接触中」に設定し、接触中状態へ遷移する（Ｓ４０６）。
【０１１６】
上記の処理が完了すると、ポインティング位置決定部２０４は処理を終了する（Ｓ４０７）。
【０１１７】
（１．４．５ 接触中処理（ステップＳ２５０））
図２１は、接触中処理の処理フロー図である。
【０１１８】
ポインティング位置決定部２０４は、接触中処理を開始すると、接触カウンタ１３１０を１減らし（Ｓ５００）、接触から一定時間経過したか否かを判定する（Ｓ５０１）。接触カウンタが０の場合、一定時間が経過したとして（Ｓ５０１がＹｅｓ）、ポインティング位置決定部２０４は、状態フラグ１３０３を「接触後」に設定し、接触後状態へ遷移する（Ｓ５０２）。一方、接触カウンタが０でない場合、一定時間が経過していないとして（Ｓ５０１がＮｏ）、ポインティング位置決定部２０４は、ポインティング画像の位置を変更せずに（Ｓ５０３）、処理を終了する。
【０１１９】
上記の処理が完了すると、ポインティング位置決定部２０４は処理を終了する（Ｓ５０４）。
【０１２０】
（１．４．６ 接触後処理（ステップＳ２６０））
図２２は、接触後処理の一例を示すフロー図である。
【０１２１】
ポインティング位置決定部２０４は、接触後処理を開始すると、ズレ情報格納部２０３に格納されたズレ量に応じて、ポインティング画像の位置を更新する（Ｓ６００）。つまり、ポインティング位置決定部２０４は、（数５）に示す式によってポインティング画像の位置を決定する。
【０１２２】
【数５】
【０１２３】
（数５）において、Ｐｏｓ［ｔ］は、現フレームにおけるポインティング画像の位置である。Ｐｏｓ［ｔ−１］は、前フレームにおけるポインティング画像の位置である。Ｐｏｓ’は、現フレームにおける指示器の位置を反映したポインティング画像の位置である。αは、移動量重みパラメータ［２］１３１１（０より大きく１以下の定数値）である。ｄｉｆｆは、ズレ情報格納部２０３に格納された指示器のズレ量から求まる重みパラメータで、（数５）によって求める値である。また、（数５）のズレ閾値とは、ズレ閾値［２］１３１２に格納された値である。
【０１２４】
ポインティング位置決定部２０４は、現フレームにおける、ポインティング画像の更新後の位置と、指示器の位置を反映したポインティング画像の位置を比較し、この二つの位置の間の距離を求める（Ｓ６０１）。距離が距離閾値１３１３以上の場合、位置が異なるとして（Ｓ６０１が異なる）、ステップＳ６０３に遷移する。一方、距離が距離閾値１３１３よりも小さい場合、位置が等しいとして（Ｓ６０１が等しい）、ポインティング位置決定部２０４は、状態フラグ１３０３を「通常」に設定し、通常状態へ遷移する（Ｓ６０２）。
【０１２５】
ポインティング位置決定部２０４は、入力状態格納部１０２の決定キー入力状態フラグ７００が、「入力操作あり」を示す「１」になっているか否かを判定する（Ｓ６０３）。「入力操作あり」である場合（Ｓ６０３がＹｅｓ）、ポインティング位置決定部２０４は、接触カウンタ１３１０に接触カウンタ初期値１３０９で示される値を設定する（Ｓ６０４）。ポインティング位置決定部２０４は、状態フラグ１３０３を「接触中」に設定し、接触中状態へ遷移する（Ｓ６０５）。
【０１２６】
上記の処理が完了すると、ポインティング位置決定部２０４は処理を終了する（Ｓ６０６）。
【０１２７】
以上が、本実施の形態におけるポインティング位置制御装置の動作である。
【０１２８】
以上により、本発明のポインティング位置制御装置は、装置本体の姿勢と動きに基づいて、指示器が示すポインティング位置のズレ量を判断し、ポインティング画像を表示する位置を決定することができる。ポインティング位置制御装置は、装置本体への入力操作によって装置本体が動いた場合に、指示器が示すポインティング位置のズレ量を判断して制御することで、表示するポインティング位置のぶれを軽減することが可能となる。
【０１２９】
また、３Ｄ立体視が可能な携帯電話やスマートフォンなどのモバイル端末を利用する際に、ディスプレイの前面に、指や手などの指示器をかざす必要がないため、３Ｄ立体視画像に指示器がめりこんで見づらくなる状況を防ぐことができる。また、本発明のポインティング位置制御装置は、デジタルカメラ、音楽プレーヤ、電子ブック、など、カメラを備える機器において、利用可能である。
【産業上の利用可能性】
【０１３０】
本発明にかかるポインティング位置制御装置は、装置本体の姿勢と動きに基づいて、指示器が示すポインティング位置のズレ量を判断し、表示する位置を決定する機能を有し、３Ｄ立体視が可能な携帯電話やスマートフォンなどのモバイル端末として有用である。また、デジタルカメラ、カメラを備えた音楽プレーヤ、電子ブック、テレビ、カーナビなどの用途にも応用できる。
【符号の説明】
【０１３１】
１００ ポインティング位置制御装置
１０１ 入力部
１０２ 入力状態格納部
１０３ 撮像部
１０４ 指示器認識部
１０５ 指示位置格納部
１０６ 加速度センサ
１０７ 加速度情報格納部
１０８ ポインティング位置制御部
１０９ ポインティング位置格納部
１１０ アプリケーション部
１１１ 画像生成部
１１１Ａ 描画画像格納部
１１２ 画像出力部
１１３ 制御情報格納部
１１４ タイマ部
２００ 本体姿勢決定部
２０１ 本体姿勢格納部
２０２ 指示位置ズレ情報決定部
２０３ ズレ情報格納部
２０４ ポインティング位置決定部
【技術分野】
【０００１】
本発明はポインティング位置制御装置に関し、特に、携帯端末に配置されたセンサを用いて指示器の位置を検出し、指示器の位置が反映された指示画像を表示して入力を制御するポインティング位置制御装置に関するものである。
【背景技術】
【０００２】
従来のポインティング位置制御装置の一つとして、表示ディスプレイ面上を指示器でタッチすることでポインティング位置を更新するタッチパネルが挙げられる。一方で、表示ディスプレイの一つとして立体視が可能な立体視ディスプレイが近年脚光を浴びている。
【０００３】
ここで、立体視ディスプレイ面上を指示器でタッチすることを考えた場合、特に立体視画像が飛び出ているような状況においては、ディスプレイを視認している使用者に違和感を与えてしまう。なぜなら、立体映像に重なったタッチパネル上の指示器を視認する場合、指示器と立体視画像の幾何学的な見え方と、視差による見え方とで、感じ方が異なるからである。より詳細には、幾何学的な見え方においては、指示器が立体視画像よりも手前に見えるのに対し、視差による見え方においては、立体視画像の方が指示器よりも手前に見える。従って、立体視ディスプレイ上でタッチ操作を行うことは、見易さの観点においては不適切である。言い換えれば、直感的な指示操作と見易さとを両立させるに、指示器は、立体視ディスプレイ上（即ち立体視ディスプレイの前面）ではなく、背面側で動かす方が、適切である。操作対象の携帯端末は、背面側に存在する指示器の位置を認識して、前面のディスプレイに指示器の位置を表示する。
【０００４】
ディスプレイの背面に指示器を配置して認識・表示する従来のポインティング位置制御装置としては、ディスプレイの背面にタッチセンサを設けているものがあった（例えば特許文献１参照）。また、ＨＭＤの前面（即ちＨＭＤのディスプレイ部分の背面）に存在する指示器の位置を認識させ、ディスプレイ部分の前面に指示器の位置を表示するものがあった（例えば特許文献２参照）。
【０００５】
特許文献１に記載の入力操作部は、ディスプレイの背面のタッチセンサを用いて、入力操作が可能となる。
【０００６】
また、特許文献２に記載のデータ処理装置は、ＨＭＤ外からの入力に基づいて、例えば、本のページをめくるような感覚で表示データの切り替えを行うため、ページめくり制御回路が角度センサ、方位センサ及び赤外線センサなどの各種センサ情報を用いてより自然なページめくり感を使用者に与えるものであった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２２５５４１号公報
【特許文献２】特開平７−７８０５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、前記従来の技術では、操作者が指示器を動かしていなくても、操作対象の携帯端末本体が動くことで、センサが検出する指示器の相対位置がずれ、ポインティング位置がぶれるというという課題を有していた。
【０００９】
本発明は、前記従来の課題を解決するもので、ディスプレイ面の反対側に存在する指示器が示す位置をディスプレイ上に反映したポインティング位置のぶれを軽減させる、ポインティング位置制御装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記従来の課題を解決するために、本発明のポインティング位置制御装置は、指示器が示す位置を反映したポインティング画像を表示して入力を制御するポインティング位置制御装置において、装置本体の姿勢を決定する本体姿勢決定部と、装置本体に対する前記指示器の相対位置と、前記本体姿勢決定部が決定した前記姿勢とを用いて、前記指示器の実空間における単位時間当たりの動作量であるズレ量を決定する指示位置ズレ情報決定部と、装置本体の加速度情報と、前記ズレ量とを用いて、ポインティング画像の表示位置を決定するポインティング位置決定部とを備える。
【００１１】
本構成によって、装置本体の姿勢と動きに基づいて、指示器が示すポインティング位置のズレ量を判断し、表示するポインティング位置を決定することができる。
【発明の効果】
【００１２】
本発明のポインティング位置制御装置によれば、装置本体への入力操作によって装置本体が動いた場合に、指示器が示すポインティング位置のズレ量を判断して制御することで、表示するポインティング位置のぶれを軽減することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１におけるポインティング位置制御装置の全体構成図
【図２】本発明の実施の形態１におけるポインティング位置制御部の構成図
【図３】ポインティング位置制御装置の概観図
【図４】ポインティング位置制御装置使用時の概観図
【図５】ポインティング位置制御装置にトリガー操作を行った際の概観図
【図６】ポインティング位置制御装置にトリガー操作を行った後の概観図
【図７】入力状態格納部に格納しているデータの一例を示す図
【図８】指示位置格納部に格納しているデータの一例を示す図
【図９】加速度情報格納部に格納しているデータの一例を示す図
【図１０】ポインティング位置格納部に格納しているデータの一例を示す図
【図１１】立体視画像の左目用画像及び右目用画像のイメージ図
【図１２】立体視画像のサイドバイサイド画像のイメージ図
【図１３】制御情報格納部に格納しているデータの一例を示す図
【図１４】本体姿勢格納部に格納しているデータの一例を示す図
【図１５】ポインティング位置制御装置の姿勢変化を示すイメージ図
【図１６】ポインティング位置制御部の状態の変化を示すイメージ図
【図１７】ポインティング位置制御装置の全体処理の一例を示すフロー図
【図１８】ポインティング位置制御部のポインティング位置決定処理の一例を示すフロー図
【図１９】ポインティング位置制御部の通常状態での処理の一例を示すフロー図
【図２０】ポインティング位置制御部の指示器接近中状態での処理の一例を示すフロー図
【図２１】ポインティング位置制御部の接触中状態での処理の一例を示すフロー図
【図２２】ポインティング位置制御部の接触後状態での処理の一例を示すフロー図
【発明を実施するための形態】
【００１４】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１５】
（実施の形態１）
（１．１ 概要）
図３は、本発明の実施の形態１におけるポインティング位置制御装置の概観を示す。ポインティング位置制御装置は、指示器の位置が反映された画像を表示して入力を制御する機能を有している。ポインティング位置制御装置１００は、装置本体ケースの表側に画像出力部１１２（ディスプレイ）を、裏側に撮像部１０３を備える。また、ポインティング位置制御装置は、入力部１０１（決定キーボタン、終了キーボタン）と、ポインティング位置制御装置１００のケース内に加速度センサ１０６を備えている。決定キーボタンは、ポインティング位置を決定する際に使用する。終了キーボタンは、起動中のアプリケーションを終了する際に使用する。入力部１０１は、表側の下部に配置されている。また、撮像部１０３は、裏側の上部に配置されている。
【００１６】
ポインティング位置制御装置１００は、画像出力部１１２と反対側に存在する指示器の位置を、撮像部１０３を用いて認識し、指示器の位置を反映した画像出力部１１２上の位置（ポインティング位置）に、ポインティング画像を表示する。
【００１７】
図４は、ポインティング位置制御装置のディスプレイ上に、ポインティング画像を表示した図を示す。ポインティング位置制御装置１００は、撮像部１０３の撮像範囲内に位置する指示器４００（例えば使用者の左手）を動かすと、これに連動した画像出力部１１２上に位置に、ポインティング画像４０１を出力する。ポインティング位置を決定するための操作（以下、トリガー操作と記載する）は、入力部１０１（決定キーボタン）を押下することで実現する。
【００１８】
図５は、ポインティング位置制御装置にトリガー操作した際を示す。使用者が、入力部１０１（決定キーボタン）を押下すると、入力部１０１付近において、矢印５００の向きに加速度が生じて本体にブレが生じ、図５には図示されない撮像部１０３の位置も矢印５０１の方向へ動く。矢印５００と矢印５０１は、逆の方向を示す。その結果、撮像部１０３に映りこむ指示器４００の位置も変化するため、指示器４００に連動して決定するポインティング画像の表示位置は、矢印５０２の方向へブレが生じる。
【００１９】
図６は、ポインティング位置制御装置にトリガー操作した後、つまり、図５の押下操作の終了時を示す。使用者が、入力部１０１（決定キーボタン）から指を離すと、入力部１０１付近において、矢印６００の方向へ加速度が生じ、図６に図示されない撮像部１０３の位置も矢印６０１の方向へ動く。矢印６００と矢印６０１は、逆の方向を示す。その結果、撮像部１０３に映りこむ指示器４００の位置も変化するため、指示器４００に連動して決定するポインティング画像の表示位置は、矢印６０２の方向へブレが生じる。
【００２０】
なお、入力部１０１と撮像部１０３の配置箇所、装置本体ケースの縦横サイズなどによって、ブレ方向やブレ量が変化する。以下の説明は、図４から図６で図示した配置である場合を、一例として説明している。
【００２１】
本発明のポインティング位置制御装置１００は、ポインティング画像の表示位置のブレを低減するため、トリガー操作の入力状態と姿勢情報から、ポインティング画像を表示する位置を補正することを特徴とする。使用者が指示器を動かしていない状況でのトリガー操作によって、装置本体が動いた場合に、指示器が示すポインティング位置のズレ量を判断して制御することで、表示するポインティング位置のブレを軽減すること可能となる。
【００２２】
（１．２ ポインティング位置制御装置の全体構成）
図１は、本発明の実施の形態１に係るポインティング位置制御装置１００の構成を示す。
【００２３】
ポインティング位置制御装置１００は、入力部１０１、入力状態格納部１０２、撮像部１０３、指示器認識部１０４、指示位置格納部１０５、加速度センサ１０６、加速度情報格納部１０７、ポインティング位置制御部１０８、ポインティング位置格納部１０９、アプリケーション部１１０、画像生成部１１１、描画画像格納部１１１Ａ、画像出力部１１２、制御情報格納部１１３、タイマ部１１４を備える。以下、各構成要素について説明する。
【００２４】
（１．２．１ 入力部）
入力部１０１は、外部からの操作を受け付け、ポインティング位置制御部１０８に制御に必要な情報を提供する。入力部１０１は、例えば、タッチパネル、キーボード、マウス、ボタン、その他のコントローラ等からなる。使用者は、入力部１０１に対して操作を行うことで、アプリケーション上での決定操作などの処理を制御する。入力部１０１は、使用者からの操作を受け付けると、入力状態格納部１０２に操作内容を示す情報を書き込む。
【００２５】
図７は、入力状態格納部１０２に格納している入力状態情報の一例を示す。入力状態情報は、決定キー入力状態フラグ７００と終了キー入力状態フラグ７０１を含んでいる。決定キー入力状態フラグ７００および終了キー入力状態フラグ７０１は、両方とも、初期状態では初期値「０」である。
【００２６】
使用者が決定キーボタンを押下した場合、入力部１０１は、決定操作がなされたとして、入力状態格納部１０２に格納されている決定キー入力状態フラグ７００を、「決定操作あり」を示す「１」に変更する。また、使用者が終了キーボタンを押下した場合、入力部１０１は、終了操作がなされたとして、入力状態格納部１０２に格納されている終了キー入力状態フラグ７０１を、「終了操作あり」を示す「１」に変更する。
【００２７】
（１．２．２ 撮像部）
撮像部１０３は、指示器認識部１０４に対して指示器の３次元位置を示す画像情報を提供する。撮像部１０３は、例えば、単眼カメラ、ステレオカメラ、赤外線カメラ、その他測距可能な撮像装置である。
【００２８】
（１．２．３ 指示器認識部）
指示器認識部１０４は、撮像部１０３から画像情報を取得し、当該画像情報を解析して指示器の３次元位置を認識し、ポインティング位置制御部１０８に対して提供する。
【００２９】
指示器認識部１０４は、撮像部１０３から取得した画像情報を用いて位置を認識するため、認識した位置とは、撮像部１０３（装置本体）との相対位置となる。
【００３０】
指示器認識部１０４は、撮像部１０３から単眼カメラによる画像を取得した場合、指示器の形状とその大きさから指示器の３次元位置を推定する。また、指示器認識部１０４は、撮像部１０３からステレオカメラによる画像を取得した場合、次の処理を行う。指示器認識部１０４は、取得した左目用画像と右目用画像とを用いて画素ごとにマッチング処理を行い、画像内の指示器部分の認識を行い、指示器部分の視差量を求めることで指示器の３次元位置を決定する。また、指示器認識部１０４は、図示しない照射部から特定のパターンの赤外光を被写体へ照射し、撮像部１０３から赤外光を取得し、タイムオブフライト方式やパターン照射法などの手法によって指示器の３次元位置を決定する。指示器認識部１０４は、認識した指示器の３次元位置を、指示位置情報として、指示位置格納部１０５に格納する。
【００３１】
図８は、指示位置格納部１０５に格納している指示位置情報の一例を示す。指示位置情報は、ｘ座標８００、ｙ座標８０１、及び、奥行き座標８０２を含んでいる。奥行き座標８０２は、メートル単位に換算された撮像部１０３からの距離を示す。
【００３２】
（１．２．４ 加速度センサ）
加速度センサ１０６は、ポインティング位置制御装置１００本体に生じる加速度を計測し、計測した加速度値を、加速度情報として、加速度情報格納部１０７に格納する。
【００３３】
図９（Ａ）は、加速度情報格納部１０７に格納している加速度情報の一例を示す。加速情報は、上方向加速度値９００、右方向加速度値９０１、奥方向加速度値９０２を含んでいる。また、本実施の形態１における「上方向」「右方向」「奥方向」の定義は、ポインティング位置制御装置１００の撮像部１０３を基準とした方向である。図９（Ｂ）では、ポインティング位置制御装置１００の撮像部１０３を手前として装置本体を図示しており、撮像部１０３に向かって右向きを右方向９２０、上向きを上方向９２１、奥向き（撮像部１０３とは逆方向）を奥方向９２２である。
【００３４】
（１．２．５ ポインティング位置制御部）
ポインティング位置制御部１０８は、入力状態格納部１０２、指示位置格納部１０５、加速度情報格納部１０７に格納された情報を取得し、ポインティング画像の表示位置を決定して、ポインティング位置格納部１０９に格納する。ポインティング位置制御部１０８は、装置本体が動いた場合に、指示器が示すポインティング位置のズレ量を判断して、補正を行い、ポインティング画像の表示位置を決定する。
【００３５】
図１０は、ポインティング位置格納部１０９に格納しているポインティング位置情報の一例を示す。ポインティング位置情報は、３次元座標を示すｘ座標１０００、ｙ座標１００１、視差値１００２を含んでいる。
【００３６】
（１．２．６ アプリケーション部）
アプリケーション部１１０は、装置本体にインストールされたアプリケーションを実行する実行部であり、ディスプレイへの描画を行う際に、描画要求を画像生成部１１１へ通知する。
【００３７】
（１．２．７ 画像生成部）
画像生成部１１１は、アプリケーション部１１０から描画要求を取得し、描画要求に基づいて描画処理を行う。また、画像生成部１１１は、ポインティング位置格納部１０９に格納されているポインティング位置情報が示す座標・視差で、ポインティング画像を描画処理する。画像生成部１１１は、アプリケーション部１１０から要求された描画データに重ねてポインティング画像を描画した画像を生成し、描画画像格納部１１１Ａに格納する。描画画像格納部１１１Ａは、右目用画像１１００と左目用画像１１０１とを保持する。
【００３８】
図１１は、画像生成部１１１が生成する右目用画像１１００と左目用画像１１０１の一例を示す。図１１では、人物１１０２が描画データとして描画されており、視差を伴って描画されている。人物１１０２は、右目用画像１１００と左目用画像１１０１とで、距離１１０３だけ離れているため、ディスプレイ面に比べて飛び出して見える。また、ポインティング画像４０１は、図１０の視差値１００２で示される量の視差を伴って描画され、右目用画像１１００と左目用画像１１０１とで、距離１１０４だけ離れている。距離１１０１は、距離１１０２よりも小さいことから、ポインティング画像４０１は、人物１１０２よりも飛び出して見える。
【００３９】
（１．２．８ 画像出力部）
画像出力部１１２は、描画画像格納部１１１Ａに格納された右目用画像１１００と左目用画像１１０１とをサイドバイサイド合成し、立体画像表示を行う。サイドバイサイド合成とは、右目用画像と左目用画像とをそれぞれＸ軸方向に半分に縮小してそれぞれ横に並べたものである。図１２は、図１１の右目用画像１１００と左目用画像１１０１とをサイドバイサイド合成した後の、サイドバイサイド画像を示す。サイドバイサイド画像は、右目用画像１１００と左目用画像１１０１とを、それぞれＸ軸方向に半分に縮小し、横に並べた。なお、右目用画像１１００と左目用画像１１０１とをサイドバイサイド方式で合成する例を示したが、これ以外の方法で合成してもよい。例えば、偶数ライン・奇数ラインそれぞれに右目用画像・左目用画像が配置されるインターレース方式で合成してもよい。また、奇数フレーム・偶数フレームそれぞれに右目用画像・左目用画像が割り当てられるフレームシーケンシャル方式で合成してもよい。
【００４０】
（１．２．９ 制御情報格納部）
制御情報格納部１１３は、ポインティング位置制御のために使用するパラメータ及び閾値などの制御情報を格納する。
【００４１】
図１３は、制御情報格納部１１３に格納している制御情報の一例を示す。制御情報は、タイマ値１３００、タイマクロック値１３０１、フレームレート１３０２、状態フラグ１３０３、加速度閾値１３０４、ズレ閾値［１］［２］１３０５、１３１２を含んでいる。更に、制御情報は、接近経過カウンタ初期値１３０６、接近経過カウンタ１３０７、移動量重みパラメータ［１］［２］１３０８、１３１１、接触カウンタ初期値１３０９、接触カウンタ１３１０、距離閾値１３１３を含んでいる。
【００４２】
タイマ値１３００は、タイマ部１１４がカウントアップする値であり、初期値０である。
【００４３】
タイマクロック値１３０１は、タイマ部１１４の動作速度を示し、タイマ部１１４が１秒間にタイマ値１３００をカウントアップする回数を示す。
【００４４】
フレームレート１３０２は、撮像部１０３が撮像処理を行う間隔を示す。
【００４５】
状態フラグ１３０３は、「通常」「指示器接近中」「接触中」「接触後」のいずれかの状態を示し、初期値は「通常」である。
【００４６】
加速度閾値１３０４は、ポインティング位置制御のための閾値であり、初期値が１．０メートル毎秒である。この値は、実験的に定めた値であり、予め設定されている。また、加速度閾値１３０４は、機器・用途に応じて変更してもよい。
【００４７】
ズレ閾値［１］１３０５は、ポインティング位置制御のための閾値であり、初期値が５ｃｍである。この値は、実験的に定めた値であり、予め設定されている。また、ズレ閾値［１］１３０５は、機器・用途に応じて変更してもよい。
【００４８】
接近経過カウンタ初期値１３０６は、ポインティング位置制御のためのパラメータであり、初期値が３である。この値は、実験的に定めた値であり、予め設定されている。また、接近経過カウンタ初期値１３０６は、機器・用途に応じて変更してもよい。
【００４９】
接近経過カウンタ１３０７は、ポインティング位置制御のためのパラメータであり、初期値は０である。
【００５０】
移動量重みパラメータ［１］１３０８は、ポインティング位置制御のためのパラメータであり、初期値は０．５である。この値は、実験的に定めた値であり、予め設定されている。また、移動量重みパラメータ［１］１３０８は、機器・用途に応じて変更してもよい。
【００５１】
接触カウンタ初期値１３０９は、ポインティング位置制御のためのパラメータであり、初期値が３である。この値は、これは実験的に定めた値であり、予め設定されている。また、接触カウンタ初期値１３０９は、機器・用途に応じて変更してもよい。
【００５２】
接触カウンタ１３１０は、ポインティング位置制御のためのパラメータであり、初期値は０である。
【００５３】
移動量重みパラメータ［２］１３１１は、ポインティング位置制御のためのパラメータであり、初期値は０．５である。この値は、実験的に定めた値であり、予め設定されている。また、移動量重みパラメータ［２］１３１１は、機器・用途に応じて変更してもよい。
【００５４】
ズレ閾値［２］１３１２は、ポインティング位置制御のための閾値であり、初期値が５ｃｍである。この値は、実験的に定めた値であり、予め設定されている。また、ズレ閾値［２］１３１２は、機器・用途に応じて変更してもよい。
【００５５】
距離閾値１３１３は、ポインティング位置制御のための閾値であり、初期値は５（ドット）である。この値は、これは実験的に定めた値であり、予め設定されている。また、距離閾値１３１３は、機器・用途に応じて変更してもよい。
【００５６】
（１．２．１０ タイマ部）
タイマ部１１４は、ポインティング位置制御装置の現在時刻を管理するものであり、（１／（タイマクロック値１３０１））秒毎にタイマ値１３００をカウントアップさせる。
【００５７】
以上が、ポインティング位置制御装置の構成要素である。
【００５８】
（１．３ ポインティング位置制御部の内部構成）
図２は、ポインティング位置制御装置１００の構成要素の一つであるポインティング位置制御部１０８の内部構成を示す。
【００５９】
ポインティング位置制御部１０８は、本体姿勢決定部２００、本体姿勢格納部２０１、指示位置ズレ情報決定部２０２、ズレ情報格納部２０３、ポインティング位置決定部２０４を備える。以下、各構成要素について説明する。
【００６０】
（１．３．１ 本体姿勢決定部）
本体姿勢決定部２００は、加速度情報格納部１０７から加速度情報を取得し、加速度情報を用いて、ポインティング位置制御装置１００本体が、前フレームの姿勢から現フレームの姿勢へ変化した様子を示す姿勢変換行列Ｍ’を決定する。更に、本体姿勢決定部２００は、当該加速度からポインティング位置制御装置１００本体の姿勢を決定する。本体姿勢決定部２００は、決定したポインティング位置制御装置１００本体の姿勢を、姿勢情報として、本体姿勢格納部２０１に格納する。
【００６１】
図１４は、本体姿勢格納部２０１に格納している姿勢情報の一例を示す。図１４では、ポインティング位置制御装置１００本体の姿勢情報として、前フレームの姿勢から現フレームの姿勢へ変換する姿勢変換行列Ｍ’１４００を保持する。
【００６２】
（１．３．２ 指示位置ズレ情報決定部）
指示位置ズレ情報決定部２０２は、本体姿勢格納部２０１に格納された姿勢情報と、指示位置格納部１０５に格納された指示位置情報とを用いて、指示器が示すポインティング位置のズレ量を判断する。指示位置ズレ情報決定部２０２は、装置本体が動いた場合の、ポインティング位置制御装置１００に生じたブレによって、指示器の位置がどの程度ずれたのかを示すズレ量を決定し、ズレ情報格納部２０３に格納する。つまり、ズレ量とは、指示器の実空間における単位時間当たりの動作量である。
【００６３】
次に、指示位置ズレ情報決定部２０２が、ズレ量を決定する手順について、説明する。図９（Ｂ）に示した記号を用い、右方向９２０はｘ軸正の向き、上方向９２１はｙ軸正の向き、奥方向９２２はｚ軸正の向きとして説明する。また、加速度センサ１０６の内蔵位置は位置９２５、撮像部１０３の装着位置の中央は位置９２６とし、加速度センサ１０６から撮像部１０３へのベクトルは、ベクトルｄ（ｄｘ、ｄｙ、ｄｚ）９２７と示す。また、図１５は、前フレームから現フレームにかけて、ポインティング位置制御装置１００本体が動き、姿勢１５００から姿勢１５０１へと変化した場合の、指示器が示すポインティング位置について、一例を示している。以下、指示位置ズレ情報決定部２０２が、図１５（Ａ）から（Ｂ）に変化した場合のズレ量を演算する手順を、図９（Ｂ）に示した記号を用いて、説明する。
【００６４】
図１５（Ａ）は、前フレームにおける状態を図示している。図１５（Ｂ）は、現フレームにおける状態を図示している。前フレームにおける撮像部１０３の位置が原点、本体右方向（図９の右方向９２０）がｘ軸正の向き、本体上方向（図９の上方向９２１）がｙ軸正の向き、本体奥方向（図９の奥方向９２２）がｚ軸正の向きとした空間を、空間Ｗと定義する。
【００６５】
【数１】
【００６６】
まず、指示位置ズレ情報決定部２０２は、前フレームにおける演算を行う。図１５の１５０２は、指示器の空間Ｗにおける座標を示す位置ベクトルＩ１を示す。図１５の１５０３は、前フレームの姿勢における撮像部１０３が取得する指示器の位置ベクトルＰ１を示す。位置ベクトルＩ１から位置ベクトルＰ１へ変換する行列は、（数１）に示す射影行列Ｐで示す。指示位置ズレ情報決定部２０２は、Ｐ１＝Ｉ１＊Ｐを演算し、位置ベクトルＰ１を取得する。（数１）において、θはＹ方向の視野角、αはアスペクト比、Ｆは撮像部１０３から指示器までの最大距離、Ｎは撮像部１０３から指示器までの最小距離を示す。
【００６７】
【数２】
【００６８】
次に、指示位置ズレ情報決定部２０２は、現フレームにおける演算を行う。図１５の１５０４は、指示器の空間Ｗにおける座標を示す位置ベクトルＩ２を示す。図１５の１５０５は、撮像部１０３が取得する指示器の位置ベクトルＰ２を示す。位置ベクトルＩ２から位置ベクトルＰ２へ変換する行列は、（数２）に示すＰ’で示し、Ｐ２＝Ｉ２＊Ｐ’となる。ここで、ポインティング位置制御装置１００本体の姿勢が、姿勢１５００から姿勢１５０１へと変換する変換行列をＭとすると、Ｐ’＝Ｍ＊Ｐとなる。
【００６９】
指示位置ズレ情報決定部２０２は、（数２）に示す導出より、｜Ｉ２−Ｉ１｜を、ズレ量として算出する。つまり、指示位置ズレ情報決定部２０２は、前フレームでの空間Ｗにおける指示器の位置（Ｉ１）と、現フレームでの空間Ｗにおける指示器の位置（Ｉ２）の距離を、ズレ量と決定する。
【００７０】
なお、（数２）中の位置ベクトルＰ１及び位置ベクトルＰ２は、撮像部１０３によって取得された、撮像画像中での指示器の座標とし、行列Ｐの各成分は、カメラパラメータとして予め装置内部に保持しておく。一方、（数２）中の変換行列Ｍは、前フレームの撮像部１０３の位置を原点とした撮像座標系から、現フレームの撮像部１０３の位置を原点とした撮像座標系へ、変換するための変換行列である。
【００７１】
また、加速度センサ１０６によって得られる姿勢の変化パラメータは、加速度センサ１０６の位置を原点としたセンサ座標系におけるものである。加速度センサ１０６から撮像部１０３へのベクトルは、ベクトルｄと示す。
【００７２】
【数３】
【００７３】
（数３）に示すように、変換行列Ｍ及び｜Ｉ２−Ｉ１｜は、本体姿勢格納部２０１に格納された姿勢変換行列Ｍ’と、ベクトルｄから得られる行列Ｄとから求められる。前述したとおり、｜Ｉ２−Ｉ１｜は、ズレ量である。
【００７４】
＜１．３．３ ポインティング位置決定部＞
ポインティング位置決定部２０４は、ズレ情報格納部２０３のズレ量、入力状態格納部１０２の入力状態情報、指示位置格納部１０５の指示位置情報、ポインティング位置格納部１０９のポインティング位置情報を取得し、位置を決定する。ズレ量は、ズレ情報格納部２０３に格納された指示器のズレ量である。指示位置情報は、指示位置格納部１０５に格納された、推定した指示器の３次元位置である。ポインティング位置情報は、ポインティング位置格納部１０９に格納された前フレームにおけるポインティング位置である。
【００７５】
ポインティング位置決定部２０４は、状態フラグ１３０３を確認し、現在の状態に応じて、ポインティング位置を決定する。また、ポインティング位置決定部２０４は、決定したポインティング位置を、ポインティング画像の表示位置として、ポインティング位置格納部１０９へ格納する。ポインティング位置決定部２０４が、現在の状態に応じて、ポインティング位置を決定する処理の詳細は、後でフロー図を用いて説明する。
【００７６】
以上の構成により、本発明のポインティング位置制御装置は、使用者がトリガー操作を行った場合に、ポインティング画像を表示する位置を補正することが可能となる。
【００７７】
図１６は、使用者が、ポインティング位置制御装置を操作した場合の、状態の変化を図で示した。
【００７８】
図１６（Ａ）は、装置本体が動いていない通常の状態であり、ポインティング位置制御装置は、指示器１６００の位置を反映した位置１６０１に、ポインティング画像を表示する。
【００７９】
図１６（Ｂ）は、使用者がトリガー操作した状態であり、使用者が入力部１０１を押下しようとしてポインティング位置制御装置１００本体に加速度が生じた場合である。ポインティング位置制御装置は、装置本体に加速度が生じかつ指示器のズレ量の変化量が小さいことを判断し、指示器１６００の位置を反映した位置１６０２に遅れて追従させるよう、ポインティング画像１６０３の位置を決定する。なお、ズレ量の変化量が小さいとは、ズレ情報格納部２０３に格納されたズレ量がズレ閾値［１］１３０５未満であることを意味する。
【００８０】
図１６（Ｃ）は、使用者がトリガー操作した後の状態であり、使用者が入力部１０１を押下した後は、接近経過カウンタ初期値１３０６で示される一定時間が経過するまで、ポインティング画像１６０３の位置を変更しない。
【００８１】
図１６（Ｄ）は、図１６（Ｃ）の一定時間が経過した後の状態であり、ズレ情報格納部２０３に格納されたズレ量に応じた速度で、ポインティング画像の位置１６０４を、本来の指示器１６００の位置を反映した位置１６０５に追従させる。
【００８２】
以上により、本発明のポインティング位置制御装置は、装置本体の姿勢と動きに基づいて、指示器が示すポインティング位置のズレ量を判断し、表示するポインティング位置を決定することができる。これにより、ポインティング位置制御装置は、装置本体への入力操作によって装置本体が動いた場合に、指示器が示すポインティング位置のズレ量を判断して制御することで、表示するポインティング位置のぶれを軽減することが可能となる。
【００８３】
（１．４ 動作）
ポインティング位置制御装置が、装置本体の姿勢と動きに基づいて、指示器が示すポインティング位置のズレ量を判断し、表示するポインティング位置を制御する動作について、説明する。
【００８４】
（１．４．１ 全体動作）
図１７は、ポインティング位置制御装置の全体処理の一例を示すフロー図である。
【００８５】
ポインティング位置制御装置１００は、タイマ部１１４のクロック動作に連動して撮像処理、ポインティング位置制御処理及び画像生成処理を行う。
【００８６】
ポインティング位置制御装置１００が起動すると（Ｓ１００）、ポインティング位置制御部１０８は、タイマ値１３００を初期化する（Ｓ１１０）。具体的には、タイマ値１３００に０をセットする。
【００８７】
次に、ポインティング位置制御部１０８は、タイマ部１１４を起動し、タイマ部１１４は、クロック値１３０１で示される速度で、タイマ値１３００をカウント（増加）する（Ｓ１２０）。タイマ部１１４は、ポインティング位置制御装置が停止するまで、タイマ値１３００のカウントを継続する。
【００８８】
タイマ値１３００が、１フレームあたりのクロック数（タイマクロック値１３０１÷フレームレート１３０２）に達すると（Ｓ１３０）、ポインティング位置制御部１０８は、次フレーム時刻と判断し、ステップＳ１３５に遷移する。
【００８９】
ポインティング位置制御部１０８は、タイマ値１３００を初期化し、タイマ値１３００に０をセットする（Ｓ１３５）。
【００９０】
ポインティング位置制御部１０８は、撮像部１０３を駆動し、撮像部１０３は、撮像処理を行う（Ｓ１４０）。指示器認識部１０４は、撮像部１０３から画像情報を取得し、指示器の位置を認識し、得られた指示位置情報を指示位置格納部１０５へ格納する（Ｓ１４３）。
【００９１】
入力部１０１は、入力状態格納部１０２の内容を初期化し、使用者からの操作を受け付けて、入力状態を取得し、入力状態格納部１０２の入力状態情報を変更する（Ｓ１４６）。
【００９２】
加速度センサ１０６は、ポインティング位置制御装置１００本体に生じる加速度を計測して、加速度情報を取得し、加速度情報格納部１０７へ格納する（Ｓ１５０）。
【００９３】
次に、ポインティング位置制御部１０８は、入力状態格納部１０２、指示位置格納部１０５、加速度情報格納部１０７から各種情報を取得し、ポインティング画像の表示位置を決定し、ポインティング位置格納部１０９に格納する（Ｓ１６０）。ステップＳ１６０の処理については、後で詳細を説明する。
【００９４】
画像生成部１１１は、アプリケーション部１１０から取得した描画データに、ポインティング画像を重畳した画像を生成し、描画画像格納部１１１Ａに格納する（Ｓ１７０）。描画画像格納部１１１Ａに格納する画像は、図１１で一例を示した、立体視可能な画像である。
【００９５】
最後に、ポインティング位置制御部１０８は、入力状態格納部１０２の終了キー入力状態フラグ７０１が、「終了操作あり」を示す「１」になっているか否かを判定する（Ｓ１８０）。「終了操作あり」でない場合（Ｓ１８０がＮｏ）、ステップＳ１３０に遷移し、処理を繰り返す。一方、「終了操作あり」である場合（Ｓ１８０がＹｅｏ）、ポインティング位置制御部１０８は、処理を終了し、ポインティング位置制御装置は停止する（Ｓ１９０）。
【００９６】
以上が、ポインティング位置制御装置の全体処理の流れである。
【００９７】
（１．４．２ ポインティング位置決定処理（ステップＳ１６０））
ポインティング位置制御部１０８が処理する、ポインティング位置決定処理（図１７のＳ１６０）の詳細な流れについて説明する。
【００９８】
図１８は、ポインティング位置決定処理の一例を示すフロー図である。
【００９９】
ポインティング位置決定処理を開始すると、ポインティング位置制御部１０８の本体姿勢決定部２００は、加速度情報格納部１０７から加速度情報を取得し、ポインティング位置制御装置１００の姿勢変化を示す姿勢変換行列Ｍ’を決定する。本体姿勢決定部２００は、決定した姿勢変換行列Ｍ’を、本体姿勢格納部２０１に格納する（Ｓ２００）。
【０１００】
指示位置ズレ情報決定部２０２は、本体姿勢格納部２０１から姿勢変換行列Ｍ’を取得し、指示位置格納部１０５に格納された指示器の位置情報と姿勢変換行列Ｍ’とから、指示器の座標のズレ量を決定する。指示位置ズレ情報決定部２０２は、決定したズレ量を、ズレ情報格納部２０３に格納する（Ｓ２１０）。
【０１０１】
続いて、ポインティング位置決定部２０４は、状態フラグ１３０３を確認して、現在の入力状態を判断し、現在の入力状態に応じて、ポインティング位置を決定する処理を行う（Ｓ２２０）。状態フラグ１３０３が「通常」の場合、ポインティング位置決定部２０４は、通常処理を行う（Ｓ２３０）。状態フラグ１３０３が「指示器接近中」の場合、ポインティング位置決定部２０４は、指示器接近中処理を行う（Ｓ２４０）。状態フラグ１３０３が「接触中」の場合、ポインティング位置決定部２０４は、接触中処理を行う（Ｓ２７０）。状態フラグ１３０３が「接触後」の場合（Ｓ２５０）、ポインティング位置決定部２０４は、接触後処理を行う（Ｓ２６０）。
【０１０２】
ポインティング位置決定部２０４が上記いずれかの処理を行った後、ポインティング位置決定処理を終了する（Ｓ２７０）。
【０１０３】
以上が、ポインティング位置決定処理の流れである。
【０１０４】
次に、ポインティング位置決定部２０４が処理する、状態フラグ１３０３に応じて、ポインティング位置を決定する各処理（図１８のＳ２３０、Ｓ２４０、Ｓ２５０、Ｓ２６０）について、説明する。
【０１０５】
（１．４．３ 通常処理（ステップＳ２３０））
図１９は、通常処理の一例を示すフロー図である。
【０１０６】
ポインティング位置決定部２０４は、通常処理を開始すると、ポインティング位置制御装置１００に加速度が発生したかを判定する（Ｓ３００）。加速度情報格納部１０７に格納された加速度の大きさが、加速度閾値１３０４を超えていない場合、加速度が発生していないとして（Ｓ３００がＮｏ）、ポインティング画像の位置を通常更新する。つまり、ポインティング位置決定部２０４は、指示位置格納部１０５に格納された指示位置情報をそのままポインティング位置として、ポインティング位置格納部１０９へ格納する（Ｓ３０１）。一方、加速度の大きさが、加速度閾値１３０４以下の場合（Ｓ３００がＹｅｓ）、ステップＳ３０２に遷移する。
【０１０７】
ポインティング位置決定部２０４は、指示器のズレ量が小さいかを判定する（Ｓ３０２）。ポインティング位置決定部２０４は、ズレ情報格納部２０３に格納されたズレ量がズレ閾値［１］１３０５未満の場合、ズレ量が小さいと判定し（Ｓ３０２がＹｅｓ）、ステップＳ３０３に遷移する。一方、ズレ情報格納部２０３に格納されたズレ量がズレ閾値［１］１３０５以上の場合（Ｓ３０２がＮｏ）、位置を通常更新する。つまり、ポインティング位置決定部２０４は、指示位置格納部１０５に格納された指示位置情報をそのままポインティング位置として、ポインティング位置格納部１０９へ格納する（Ｓ３０１）。
【０１０８】
ポインティング位置決定部２０４は、接近経過カウンタ１３０７に接近経過カウンタ初期値１５０６を書き込んで初期化し（Ｓ３０３）、状態フラグ１３０３を「指示器接近中」に設定し、指示器接近中状態へ遷移する（Ｓ３０４）。
【０１０９】
ポインティング位置決定部２０４は、入力状態格納部１０２の決定キー入力状態フラグ７００が、「入力操作あり」を示す「１」になっているか否かを判定する（Ｓ３０５）。「入力操作あり」である場合（Ｓ３０５がＹｅｓ）、ポインティング位置決定部２０４は、接触カウンタ１３１０に接触カウンタ初期値１３０９で示される値を設定する（Ｓ３０６）。ポインティング位置決定部２０４は、状態フラグ１３０３を「接触中」に設定し、接触中状態へ遷移する（Ｓ３０７）。
【０１１０】
上記の処理が完了すると、ポインティング位置決定部２０４は処理を終了する（Ｓ３０８）。
【０１１１】
（１．４．４ 指示器接近中処理（ステップＳ２４０））
図２０は、指示器接近中処理の一例を示すフロー図である。
【０１１２】
ポインティング位置決定部２０４は、指示器接近中処理を開始すると、接近経過カウンタ１３０７を１減らし（Ｓ４００）、加速度発生から一定時間経過したか否かを判定する（Ｓ４０１）。接近カウンタが０の場合、一定時間が経過したとして（Ｓ４０１がＹｅｓ）、ポインティング位置決定部２０４は、状態フラグ１３０３を「接触後」に設定し、接触後状態へ遷移する（Ｓ４０２）。一方、接近カウンタが０でない場合、一定時間が経過していないとして（Ｓ４０１がＮｏ）、ポインティング位置決定部２０４は、ポインティング画像の位置をゆっくり更新する（Ｓ４０３）。つまり、ポインティング位置決定部２０４は、（数４）に示す式によってポインティング画像の位置を決定する。
【０１１３】
【数４】
【０１１４】
（数４）において、Ｐｏｓ［ｔ］は、現フレームにおけるポインティング画像の位置である。Ｐｏｓ［ｔ−１］は、前フレームにおけるポインティング画像の位置である。Ｐｏｓ’は、現フレームにおける指示器の位置を反映したポインティング画像の位置である。αは、移動量重みパラメータ［１］１３０８に格納された値であり、０より大きく１以下の定数値である。
【０１１５】
ポインティング位置決定部２０４は、入力状態格納部１０２の決定キー入力状態フラグ７００が、「入力操作あり」を示す「１」になっているか否かを判定する（Ｓ４０４）。「入力操作あり」である場合（Ｓ４０４がＹｅｓ）、ポインティング位置決定部２０４は、接触カウンタ１３１０に接触カウンタ初期値１３０９で示される値を設定する（Ｓ４０５）。ポインティング位置決定部２０４は、状態フラグ１３０３を「接触中」に設定し、接触中状態へ遷移する（Ｓ４０６）。
【０１１６】
上記の処理が完了すると、ポインティング位置決定部２０４は処理を終了する（Ｓ４０７）。
【０１１７】
（１．４．５ 接触中処理（ステップＳ２５０））
図２１は、接触中処理の処理フロー図である。
【０１１８】
ポインティング位置決定部２０４は、接触中処理を開始すると、接触カウンタ１３１０を１減らし（Ｓ５００）、接触から一定時間経過したか否かを判定する（Ｓ５０１）。接触カウンタが０の場合、一定時間が経過したとして（Ｓ５０１がＹｅｓ）、ポインティング位置決定部２０４は、状態フラグ１３０３を「接触後」に設定し、接触後状態へ遷移する（Ｓ５０２）。一方、接触カウンタが０でない場合、一定時間が経過していないとして（Ｓ５０１がＮｏ）、ポインティング位置決定部２０４は、ポインティング画像の位置を変更せずに（Ｓ５０３）、処理を終了する。
【０１１９】
上記の処理が完了すると、ポインティング位置決定部２０４は処理を終了する（Ｓ５０４）。
【０１２０】
（１．４．６ 接触後処理（ステップＳ２６０））
図２２は、接触後処理の一例を示すフロー図である。
【０１２１】
ポインティング位置決定部２０４は、接触後処理を開始すると、ズレ情報格納部２０３に格納されたズレ量に応じて、ポインティング画像の位置を更新する（Ｓ６００）。つまり、ポインティング位置決定部２０４は、（数５）に示す式によってポインティング画像の位置を決定する。
【０１２２】
【数５】
【０１２３】
（数５）において、Ｐｏｓ［ｔ］は、現フレームにおけるポインティング画像の位置である。Ｐｏｓ［ｔ−１］は、前フレームにおけるポインティング画像の位置である。Ｐｏｓ’は、現フレームにおける指示器の位置を反映したポインティング画像の位置である。αは、移動量重みパラメータ［２］１３１１（０より大きく１以下の定数値）である。ｄｉｆｆは、ズレ情報格納部２０３に格納された指示器のズレ量から求まる重みパラメータで、（数５）によって求める値である。また、（数５）のズレ閾値とは、ズレ閾値［２］１３１２に格納された値である。
【０１２４】
ポインティング位置決定部２０４は、現フレームにおける、ポインティング画像の更新後の位置と、指示器の位置を反映したポインティング画像の位置を比較し、この二つの位置の間の距離を求める（Ｓ６０１）。距離が距離閾値１３１３以上の場合、位置が異なるとして（Ｓ６０１が異なる）、ステップＳ６０３に遷移する。一方、距離が距離閾値１３１３よりも小さい場合、位置が等しいとして（Ｓ６０１が等しい）、ポインティング位置決定部２０４は、状態フラグ１３０３を「通常」に設定し、通常状態へ遷移する（Ｓ６０２）。
【０１２５】
ポインティング位置決定部２０４は、入力状態格納部１０２の決定キー入力状態フラグ７００が、「入力操作あり」を示す「１」になっているか否かを判定する（Ｓ６０３）。「入力操作あり」である場合（Ｓ６０３がＹｅｓ）、ポインティング位置決定部２０４は、接触カウンタ１３１０に接触カウンタ初期値１３０９で示される値を設定する（Ｓ６０４）。ポインティング位置決定部２０４は、状態フラグ１３０３を「接触中」に設定し、接触中状態へ遷移する（Ｓ６０５）。
【０１２６】
上記の処理が完了すると、ポインティング位置決定部２０４は処理を終了する（Ｓ６０６）。
【０１２７】
以上が、本実施の形態におけるポインティング位置制御装置の動作である。
【０１２８】
以上により、本発明のポインティング位置制御装置は、装置本体の姿勢と動きに基づいて、指示器が示すポインティング位置のズレ量を判断し、ポインティング画像を表示する位置を決定することができる。ポインティング位置制御装置は、装置本体への入力操作によって装置本体が動いた場合に、指示器が示すポインティング位置のズレ量を判断して制御することで、表示するポインティング位置のぶれを軽減することが可能となる。
【０１２９】
また、３Ｄ立体視が可能な携帯電話やスマートフォンなどのモバイル端末を利用する際に、ディスプレイの前面に、指や手などの指示器をかざす必要がないため、３Ｄ立体視画像に指示器がめりこんで見づらくなる状況を防ぐことができる。また、本発明のポインティング位置制御装置は、デジタルカメラ、音楽プレーヤ、電子ブック、など、カメラを備える機器において、利用可能である。
【産業上の利用可能性】
【０１３０】
本発明にかかるポインティング位置制御装置は、装置本体の姿勢と動きに基づいて、指示器が示すポインティング位置のズレ量を判断し、表示する位置を決定する機能を有し、３Ｄ立体視が可能な携帯電話やスマートフォンなどのモバイル端末として有用である。また、デジタルカメラ、カメラを備えた音楽プレーヤ、電子ブック、テレビ、カーナビなどの用途にも応用できる。
【符号の説明】
【０１３１】
１００ ポインティング位置制御装置
１０１ 入力部
１０２ 入力状態格納部
１０３ 撮像部
１０４ 指示器認識部
１０５ 指示位置格納部
１０６ 加速度センサ
１０７ 加速度情報格納部
１０８ ポインティング位置制御部
１０９ ポインティング位置格納部
１１０ アプリケーション部
１１１ 画像生成部
１１１Ａ 描画画像格納部
１１２ 画像出力部
１１３ 制御情報格納部
１１４ タイマ部
２００ 本体姿勢決定部
２０１ 本体姿勢格納部
２０２ 指示位置ズレ情報決定部
２０３ ズレ情報格納部
２０４ ポインティング位置決定部
【特許請求の範囲】
【請求項１】
指示器が示す位置を反映したポインティング画像を表示して入力を制御するポインティング位置制御装置において、
装置本体の姿勢を決定する本体姿勢決定部と、
装置本体に対する前記指示器の相対位置と、前記本体姿勢決定部が決定した前記姿勢とを用いて、前記指示器の実空間における単位時間当たりの動作量であるズレ量を決定する指示位置ズレ情報決定部と、
装置本体の加速度情報と、前記ズレ量とを用いて、ポインティング画像の表示位置を決定するポインティング位置決定部とを備えたポインティング位置制御装置。
【請求項２】
前記本体姿勢決定部は、前記加速度情報を取得し、装置本体の姿勢の変化を判断して決定することを特徴とする請求項１に記載のポインティング位置制御装置。
【請求項３】
２つ以上の撮像部と、
前記撮像部によって撮影された前記指示器の撮像画像を用いて、装置本体に対する前記指示器の前記相対位置を認識する指示器認識部とを備え、
前記指示位置ズレ情報決定部は、前記指示器認識部が認識した前記相対位置を取得して、ズレ量を決定することを特徴とする請求項１に記載のポインティング位置制御装置。
【請求項４】
前記ポインティング位置決定部は、前記加速度情報を用いて、装置本体に加速度が発生したと判定した場合に、外部からの入力操作の状態に応じて、ポインティング画像の表示位置を決定することを特徴とする請求項１に記載のポインティング位置制御装置。
【請求項５】
前記ポインティング位置決定部は、外部からの入力操作を取得すると、一定時間が経過するまで、ポインティング画像の表示位置を変化させないことを特徴とする請求項４に記載のポインティング位置制御装置。
【請求項６】
前記ポインティング位置決定部は、外部からの入力操作を取得すると、一定時間が経過した後、前記ズレ量に応じた移動量で、前記ズレ量を減少する方向に、ポインティング画像の位置を変更することを特徴とする請求項４に記載のポインティング位置制御装置。
【請求項７】
指示器が示す位置を反映したポインティング画像を表示して入力を制御するポインティング位置制御装置において、ポインティング画像の表示位置を決定する方法であって、
前記ポインティング位置制御装置本体の姿勢を決定する本体姿勢決定ステップと、
前記ポインティング位置制御装置本体に対する前記指示器の相対位置を求め、前記指示器の実空間における単位時間当たりの動作量であるズレ量を決定する指示ズレ情報決定ステップと、
前記ズレ量と、前記ポインティング位置制御装置本体に生じた加速度の大きさと、外部からの入力操作の状態とから、ポインティング画像の表示位置を決定するポインティング位置決定ステップとを備えたポインティング位置制御方法。
【請求項１】
指示器が示す位置を反映したポインティング画像を表示して入力を制御するポインティング位置制御装置において、
装置本体の姿勢を決定する本体姿勢決定部と、
装置本体に対する前記指示器の相対位置と、前記本体姿勢決定部が決定した前記姿勢とを用いて、前記指示器の実空間における単位時間当たりの動作量であるズレ量を決定する指示位置ズレ情報決定部と、
装置本体の加速度情報と、前記ズレ量とを用いて、ポインティング画像の表示位置を決定するポインティング位置決定部とを備えたポインティング位置制御装置。
【請求項２】
前記本体姿勢決定部は、前記加速度情報を取得し、装置本体の姿勢の変化を判断して決定することを特徴とする請求項１に記載のポインティング位置制御装置。
【請求項３】
２つ以上の撮像部と、
前記撮像部によって撮影された前記指示器の撮像画像を用いて、装置本体に対する前記指示器の前記相対位置を認識する指示器認識部とを備え、
前記指示位置ズレ情報決定部は、前記指示器認識部が認識した前記相対位置を取得して、ズレ量を決定することを特徴とする請求項１に記載のポインティング位置制御装置。
【請求項４】
前記ポインティング位置決定部は、前記加速度情報を用いて、装置本体に加速度が発生したと判定した場合に、外部からの入力操作の状態に応じて、ポインティング画像の表示位置を決定することを特徴とする請求項１に記載のポインティング位置制御装置。
【請求項５】
前記ポインティング位置決定部は、外部からの入力操作を取得すると、一定時間が経過するまで、ポインティング画像の表示位置を変化させないことを特徴とする請求項４に記載のポインティング位置制御装置。
【請求項６】
前記ポインティング位置決定部は、外部からの入力操作を取得すると、一定時間が経過した後、前記ズレ量に応じた移動量で、前記ズレ量を減少する方向に、ポインティング画像の位置を変更することを特徴とする請求項４に記載のポインティング位置制御装置。
【請求項７】
指示器が示す位置を反映したポインティング画像を表示して入力を制御するポインティング位置制御装置において、ポインティング画像の表示位置を決定する方法であって、
前記ポインティング位置制御装置本体の姿勢を決定する本体姿勢決定ステップと、
前記ポインティング位置制御装置本体に対する前記指示器の相対位置を求め、前記指示器の実空間における単位時間当たりの動作量であるズレ量を決定する指示ズレ情報決定ステップと、
前記ズレ量と、前記ポインティング位置制御装置本体に生じた加速度の大きさと、外部からの入力操作の状態とから、ポインティング画像の表示位置を決定するポインティング位置決定ステップとを備えたポインティング位置制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１３−３３３７２（Ｐ２０１３−３３３７２Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１１−１６８９２６（Ｐ２０１１−１６８９２６）
【出願日】平成２３年８月２日（２０１１．８．２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２３年８月２日（２０１１．８．２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]