観察位置追従装置及び観察位置追従方法
【課題】観察者の観察位置が変化した場合においても、観察対象を観察位置に追従させることで視認性を向上させる。
【解決手段】本発明に係る観察位置追従装置は、光を放射する光源と、観察者が観察する観察対象と、光源からの光が観察者側で反射された反射光を集光する集光部と、集光部により集光された反射光の位置を検出する光位置検出部と、光源、観察対象、集光部、光位置検出部を支持する支持部と、固定部に対する支持部の位置を移動可能とする駆動部と、光位置検出部で検出した反射光の位置が、設定されている基準位置に近づくように駆動部によって支持部を移動させる制御部と、を備えることを特徴としている。
【解決手段】本発明に係る観察位置追従装置は、光を放射する光源と、観察者が観察する観察対象と、光源からの光が観察者側で反射された反射光を集光する集光部と、集光部により集光された反射光の位置を検出する光位置検出部と、光源、観察対象、集光部、光位置検出部を支持する支持部と、固定部に対する支持部の位置を移動可能とする駆動部と、光位置検出部で検出した反射光の位置が、設定されている基準位置に近づくように駆動部によって支持部を移動させる制御部と、を備えることを特徴としている。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、観察者に対しディスプレイ、ホログラムなどの観察対象を観察させる際、観察位置に応じて観察対象を移動させ、観察者に対する視認性の向上を図る観察位置追従装置及び観察位置追従方法に関するものである。
【背景技術】
【0002】
近年、各種画像情報を表示する表示装置では、観察者に対して三次元映像を提供するものがある。表示装置の形態によっては、良好に三次元映像を観察できる視野位置が限られる場合がある。そのため、良好な視野位置を提供することのできる各種表示装置が提案されている。
【0003】
このような課題を解決するため、例えば、特許文献1には、使用者が視域よりも近づいて視認使用した際においても、立体画像を視認することのできる立体画像表示装置が開示されている。具体的には、撮像装置にて使用者の頭部を撮影し、撮像装置から得られた画像について画像処理を行って眼位置情報を抽出し、抽出した眼位置情報に基づいて表示画像を定期的に修正し、使用者に立体画像を視認させている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−113159号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の立体画像表示装置では、撮像装置から得られた画像に対し画像処理を行うことで眼位置情報を抽出するため、その画像処理に長い時間がかかってしまい、観察者の観察位置に応じて立体画像を追従表示させる際、良好な応答特性を得ることができなかった。
【0006】
視野位置が所定範囲に限定される観察対象は、このような立体画像表示装置に限らず、像を記録したホログラムや、最近では、高齢者など遠視の使用者に対して観察対象のボケ防止を図る表示装置も開発されている。このような視野位置がある程度限定された各種観察対象に対して、特許文献1に開示される画像追従技術を適用した場合にも、その応答特性が問題となる。
【0007】
一方、近年では、大きい表示画面を有し、利用者に情報を提供する高機能携帯電話や、タブレット型コンピュータが人気を集めている。これら高機能携帯電話やタブレット型コンピュータは、利用者が手に持って表示画面を観察することとなるが、高齢者など手の筋力が弱い利用者が使用する場合、機器を安定して支えることができない場合があり、観察対象としての表示画面の視認性を劣化させてしまう状況が考えられる。
【課題を解決するための手段】
【0008】
本発明は、このような視野位置が所定範囲に限られた観察対象の視認性の向上を図るものであって、そのため、本発明に係る観察位置追従装置は、光を放射する光源と、観察者が観察する観察対象と、前記光源からの光が前記観察者側で反射された反射光を集光する集光部と、前記集光部により集光された前記反射光の位置を検出する光位置検出部と、前記光源、前記観察対象、前記集光部、前記光位置検出部を支持する支持部と、固定部に対する前記支持部の位置を移動可能とする駆動部と、前記光位置検出部で検出した反射光の
位置が、設定されている基準位置に近づくように前記駆動部によって前記支持部を移動させる制御部と、を備えることを特徴とするものである。
また本発明に係る観察位置追従方法は、光を放射し、観察者側で反射された前記光の反射光を集光し、前記反射光の位置を検出し、観察者が観察する観察対象を支持する支持部を、前記反射光の位置が、設定されている基準位置に近づくように移動させることを特徴とするものである。
【発明の効果】
【0009】
以上、本発明の観察位置追従装置、観察位置追従方法によれば、観察者の観察位置が移動した場合においても、表示装置やホログラムなど各種観察対象を観察位置に追従移動させ、視認性の向上を図ることが可能となる。特に、光位置検出部で検出した反射光の位置に応じて駆動部を制御することで、観察対象の追従移動の応答性の向上が図られる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態に係る観察位置追従装置の構成を示す図
【図2】本発明の実施形態に係る観察位置追従装置の制御構成を示すブロック図
【図3】本発明の実施形態に係る観察位置追従装置の外観を示す正面図
【図4】本発明の実施形態に係る観察位置追従装置の動作を説明するための図
【図5】本発明の実施形態に係る観察位置追従装置の制御を示すフロー図
【図6】本発明における眼球位置検出の原理を説明するための図
【図7】本発明の実施形態に係る光検出による制御を説明するための図
【図8】本発明の他の実施形態に係る観察位置追従装置の構成を示す図
【図9】本発明の他の実施形態に係る光検出による制御を説明するための図
【図10】本発明の他の実施形態に係る光検出による制御を説明するための図
【図11】本発明の他の実施形態に係る観察位置追従装置の制御構成を示す図
【図12】本発明の他の実施形態に係る観察位置追従装置の制御を示すフロー図
【発明を実施するための形態】
【0011】
以下、図面を参照しつつ本発明に係る観察位置追従装置の実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態によりこの発明が限定されるものではない。
【0012】
(実施形態1)
図1は本発明の第1の実施形態に係る観察追従装置の構成を示す図であり、図2は観察追従装置の制御構成を示す図である。本発明の観察位置追従装置は、支持部101と、支持部101の所定位置に支持される瞳孔位置検出部100、観察対象509と、2軸ステージ102(本発明でいう「駆動部」)と、制御部108を備えて構成されている。なお、便宜上、図示するように観察対象509が位置する面をxy平面、観察する奥行き方向をz軸としている。また、観察位置追従装置の右側には観察位置としての観察者眼球151が示されている。
【0013】
瞳孔位置検出部100は、観察対象を観察(視認)する観察者の観察位置を検出するために支持部101の所定位置に設けられた手段であって、光源104と、光源104から放射され、観察者側で反射された反射光を集光するレンズ105(本発明でいう「集光部」)と、集光された反射光の位置を検出する光位置検出部106と、を備えて構成されている。
【0014】
光源104は、例えばLEDなどの発光素子であって、観察者眼球151方向に対して光(本実施形態では赤外線)を放射する。レンズ105は、観察者側で反射された反射光を集光し、光位置検出部106上に集光スポットを形成する。すなわち、レンズ105は
、光位置検出部106から、レンズ105の略焦点距離だけ離れて配置されている。光位置検出部106は、例えば、PSD(ポジションセンシングディテクタ)を用いることができる。また、支持部101には、初期の位置合わせ処理(キャリブレーションと呼ぶ)に用いるCCDカメラ103(本発明でいう「撮像部」)が設けられている。実際の使用時には、このCCDカメラ103は取り外して使用することも可能である。
【0015】
また、支持部101には観察対象509が支持されている。この観察対象509は、例えば、本実施形態のように液晶ディスプレイなどのように入力される画像情報を表示する表示部の他、記録されている像を観察者に観察させるホログラムなどである。特に、本実施形態の観察位置追従装置では、観察対象509と観察者眼球151の位置(観察位置)の関係で、観察対象509の視認性が変化する観察対象509に用いることが有効となる。
【0016】
瞳孔位置検出部100、観察対象509を支持する支持部101は、2軸ステージ102を介して固定部107に取り付けられている。固定部107は、例えばタブレット型コンピュータに適用する場合には、観察者が手で持つためのフレーム部となる。この他、固定部107としては、壁面などであってもよい。2軸ステージ102は、固定部107に対して支持部101をx軸方向、y軸方向に移動させる。このように本実施形態では、固定部107に対する支持部101の位置を、2軸ステージ102を用いて移動させることとしたが、固定部107に対する支持部101の位置を移動できる駆動部であれば、ステージの形態に限定されるものではない。
【0017】
制御部108は、光位置検出部106が検出するx軸方向、y軸方向の反射光位置に基づいて、観察者眼球151と観察対象509の位置関係が適正となるように2軸ステージ102の駆動制御を行う。この他、制御部108は、CCDカメラ103の撮像制御や、光源104の発光制御を行うこととしており、また、観察対象509が画像情報に基づいて表示を行う形態である場合には、観察対象509に対する表示制御を行うこととしてもよい。制御部108は、支持部101に設けてもよいし、他の部材に設けても構わない。
【0018】
図3は、本発明の実施形態に係る観察位置追従装置の外観を示す正面図であり、タブレット型コンピュータのように、観察者が手に持って使用する情報処理装置に適用した例となっている。観察対象509は、液晶ディスプレイなどの表示部であって、文字や画像など各種情報を表示して観察者に観察させる。光源104、CCDカメラ103、レンズ105、光位置検出部106を構成要素とする瞳孔位置検出部100、そして、観察対象509は、図においてグレーで着色された支持部101上に支持されている。また、この支持部101の背面には2軸ステージ102が設けられており、支持部101と観察者が手に持つフレーム(固定部107)の位置を相対的に移動させることが可能となっている。
【0019】
また、本実施形態の瞳孔位置検出部100は、観察者の左眼の位置を検出対象としている。そのため、基準位置を決めるためのCCDカメラ103は、観察対象中心509cに対して左側にずれて配置している。
【0020】
観察者が使用する前には、図5のフロー図に示される手順で位置合わせ処理(キャリブレーション)が実行される。このキャリブレーションでは、まず、観察者が観察対象509を観察している際、支持部101に支持されるCCDカメラ103により観察者を撮像(S101)し、撮像された観察者の画像に対し画像処理を行うことで、画像内における観察者の瞳孔中心位置を検出する(S103)。次に、観察対象509と観察者眼球151が所定の位置関係となるように2軸ステージ102を移動させる(S104)。本実施形態では、CCDカメラ103の撮像中心である基準中心線121が観察者眼球151の瞳孔中心に位置するように移動させているが、瞳孔位置検出部100と観察対象509の
配置関係に応じて適宜位置関係を採用することができる。
【0021】
次に、観察対象509と観察者眼球151が所定の位置関係となったとき、光源104から赤外線を放射させる(S105)。光源104から放射された光は観察者眼球151の角膜で反射し、その反射光はレンズ105により光位置検出部106に集光され集光スポットを形成する。光位置検出部106は、この集光スポットの位置(x軸方向、y軸方向に関する位置)を制御部108に対して出力する(S106)。制御部108は、集光スポットの位置を基準位置として記憶部109に記憶する(S107)。このような処理によりキャリブレーションの処理が完了する。なお、記憶部は、支持部101に設けても良いし、固定部107に設けても良い。
【0022】
次に、使用時、すなわち観察位置追従装置により観察対象を移動させつつ、観察者に観察対象を視認させる際の処理を説明する。図4は、本発明の実施形態に係る観察位置追従装置の動作を説明するための図であり、図5は、本発明の実施形態に係る観察位置追従装置の制御を示すフロー図であり、図6は、本発明における眼球位置検出の原理を説明するための図であり、図7は、本発明の実施形態に係る光検出による制御を説明するための図である。
【0023】
図4には図1で説明した観察位置追従装置の構成において、観察者の観察位置すなわち、観察者眼球151がx方向に移動した場合が示されている。この場合、光源104から放射される光の光路が変化していることが分かる。また、前述したようにCCDカメラ103は、キャリブレーションにて必要な構成であるため、キャリブレーション完了後は、破線で示すように取り外して使用することも可能である。
【0024】
このような光路変化は、観察者眼球151における角膜の反射に基づいて発生する。図6は、観察者眼球151での入射光線と反射光線の関係が示されている。図6の観察者眼球151において、302は角膜、303は瞳孔を示している。図からも分かるように角膜302は観察方向側に突出する凸形状をしている。このため、光線が角膜302に入射する位置によって反射する角度が変化する。
【0025】
図6(a)は角膜302の頂点に光線が入射した場合の光線の様子である。入射光線と、眼球中心線312のなす角度αと反射光線と光軸のなす角β0は等しい。これに対して図6(b)は観察者眼球151がマイナスx方向に移動したときが示されており、反射光線と基準中心線121のなす角β1はβ0に比べて大きくなる。そのため、図4に示されるように角膜302による反射光は、光位置検出部106に、観察者眼球151が基準中心線121上に位置するとき(図6(a))とは異なる位置に集光スポットを形成する。
【0026】
また、図6(c)は観察者眼球151がプラスx方向に移動したときが示されており、反射光線と光軸のなす角β2はβ0に比べて小さくなる。この場合も図6(b)と同様、観察者眼球151が基準中心線121上に位置するとき(図6(a))とは異なる位置に集光スポットを形成する。
【0027】
したがって、図4のように、観察者眼球151がマイナスx方向に移動した場合、光位置検出部106上に集光される集光スポットは、キャリブレーションの集光スポット、すなわち、基準位置よりプラスx方向に移動する。また、観察者眼球151がプラスx方向に移動した場合、光位置検出部106上に集光される集光スポットは、キャリブレーション時よりマイナスx方向に移動する。眼球の構造上、角膜302と瞳孔位置303の位置関係は一定であるため、角膜302の状態を検出することで、瞳孔位置303を検知することが可能となる。
【0028】
ここでは、観察者眼球151がx方向に関して移動する場合について説明したが、y方向に関する移動についても同様である。このような原理により、光位置検出器部106の集光スポット位置の検出値から、記憶部109に記憶されているキャリブレーション時の集光スポット(基準位置)に対してどの方向にあるかが判別可能となる。
【0029】
制御部108は、光源104から赤外線を放射させ(S201)、検出された光位置検出部106で検出した集光スポットの位置と、キャリブレーション時に制御部108にて記憶部109に記憶させた基準位置から、2軸ステージ102の移動量を算出する(S203)。この移動量の算出は演算または数値テーブルにより算出される。2軸ステージ102は、制御部108で算出された移動量に基づいて支持部101を移動させる(S204)。より具体的には、2軸ステージ102は、検出された光位置検出部106で検出した集光スポットの位置と、キャリブレーション時に記憶部109に記憶させた基準位置とを略一致させるように支持部101を固定部107に対して移動させる。
【0030】
図7は、2軸ステージ102の移動を説明する模式図が示されている。キャリブレーションにて記憶部109に記憶される基準位置は、観察者によって異なる角膜302のカーブ形状のため、観察者毎に異なる位置となっている。制御部108では、動作時に光位置検出部106で検出した集光スポットの位置は、この基準位置に近づくように移動量を算出し、2軸ステージ102を移動させる。このような処理を繰り返し実行することで、観察者眼球151と、支持部101に支持されている観察対象509を所定の位置関係、すなわち、好適な視野位置に追従移動させることが可能となる。特に、本実施形態では、光位置検出部106で検出した集光スポットの位置に応じて、2軸ステージ102を制御する簡易な構成のため、画像処理にて観察者の瞳孔位置を検出するなど、複雑な処理を必要とせず、観察対象509の追従移動の応答性の向上を図ることが可能となっている。
【0031】
(実施形態2)
図8は、本発明の他の実施形態に係る観察位置追従装置の制御構成を示す図である。本実施形態における瞳孔位置検出部400は、図1で説明した観察位置追従装置にさらに、2つの補助検出部を追加した構成となっている。本実施形態では補助検出部を備えることで、観察者眼球151の検出範囲の拡大が図られている。
【0032】
図8中、図1などを用いて説明した構成、並びに、キャリブレーションなどは同様であるため、ここでの説明は省略する。瞳孔位置検出部400は、図1で説明した光源104、レンズ105、光位置検出部106の他、2つの補助光検出部を備えている。各補助光検出部は、補助光源404a(404b)、補助集光部405a(405b)、補助光検出部406a(406b)を有しており、ここでは、各補助光検出部は、図に示すように観察者眼球151が、図に示す位置B、位置Cのように光位置検出部106の検出範囲を超えて位置するときに機能する。
【0033】
これら補助光検出部が観察者眼球151を検出する原理は、図6で説明した原理と同様であるが、補助光検出部406には、光位置検出部106と同様に、集光スポットのxy平面での位置を検出する形態の他、単に集光スポットを検出したか否かを出力する簡易な構成を採用することも可能である。また、光源104と、各補助光源404a(404b)が同じタイミングで光を放射した場合、構成の配置によっては観察者眼球151を検出できない、あるいは、誤検出する場合があるため、光源104と補助光源404a(404b)の発光タイミングを異ならせる、あるいは、光源104と補助光源404a(404b)及び、それらに対応して集光スポットを検出する光位置検出部106、補助光検出部406a(406b)の使用光の周波数を異ならせることが好ましい。
【0034】
図9は本発明の他の実施形態に係る光検出による制御を説明するための図であって、補
助光検出部406a(406b)として、光位置検出部106と同様、集光スポットのxy平面での位置を検出できるタイプのものを利用した場合が示されている。補助光検出部406a(406b)の検出範囲は、光位置検出部106の検出範囲と近接、隣接、あるいは重複するような位置関係に配置される。検出範囲を重複させた場合には、予め決められた光位置検出部106、補助光検出部406a(406b)の優先順位に基づいて、利用する検出部が使用される。
【0035】
この図に示されるように、補助光検出部406a(406b)にxy平面での位置を検出できるタイプを利用した場合、ちょうど光位置検出部106の検出範囲が拡張されたように機能することとなる。具体的には、検出された各集光スポットは、基準位置に近づくように2軸ステージ102が駆動制御される。
【0036】
本実施形態では、集光スポットが基準位置に近づくように制御することを目的としている。そのため、補助光検出部406a(406b)には、集光スポットを検出したか否かを判定する簡易な検出部を利用してもよい。このような構成によれば、部品コストを下げ、そして小型化を図ることが可能となる。図10は、この簡易な補助光検出部406a(406b)を利用した場合の制御例を示す図であって、図9と同様、光位置検出部106、補助光検出部406a(406b)による検出範囲が示されている。
【0037】
簡易な補助光検出部406a(406b)では、その検出範囲に集光スポットが存在するか否かを検出するため、次のような制御が必要となる。例えば、補助光検出部406aにて集光スポットが検出された場合には、補助光検出部406aの検出範囲と光位置検出部106の検出範囲の位置関係に基づいて、集光スポットが光位置検出部106の検出範囲に入るように2軸ステージ102を駆動制御する(図に示すb1)。その結果、光位置検出部106内に集光スポットが検出されることとなり、当該集光スポットを基準位置に位置させるように2軸ステージ102が駆動制御される(図に示すb2)。
【0038】
このように簡易な補助光検出部406aでは、2段階の制御が必要となるが、安価、小型の補助光検出部406a(406b)を利用して、観察者眼球151の検出範囲の拡大を図ることが可能となる。
【0039】
(実施形態3)
図11は、本発明の他の実施形態に係る観察位置追従装置の構成を示す図であって、図12は、この観察位置追従装置の制御を示すフロー図でありキャリブレーションの他の実施形態を説明する図である。図1など前述の実施形態では、CCDカメラ103による撮像にて基準位置を決定することとしていたが、本実施形態では、観察者の指示により基準位置を決定することとしている。
【0040】
具体的には、制御部508に対して観察者が指示を出す入力部510が接続されており、観察者の指示タイミングに基づいて基準位置が決定される。光源104からは赤外線が照射され(S101a)、この観察対象509を視認している観察者が、観察対象509と頭との相対位置を変えながら見え方が良いと認識したときに、入力部510を操作する(S102a)。制御部は、このタイミングで光位置検出部106における集光スポット位置を基準位置として記憶部に記憶する(S107)。入力部510は、図2に示されるように固定部107に配置されたスイッチの形態の他、タッチパネルに表示された画像としてのスイッチなど各種形態が採用できる。
【0041】
キャリブレーション実行後は、前述の実施形態と同様(S201〜S204)に、集光スポットが基準位置に近づくように2軸ステージ102が駆動されることで、常に観察対象509と観察者眼球151がキャリブレーション時の位置関係に保たれることとなり視
認性の向上を図ることが可能となる。
【0042】
以上、本発明の種々の実施形態について説明したが、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。
【符号の説明】
【0043】
100…瞳孔位置検出部
101…支持部
102…2軸ステージ(駆動部)
103…CCDカメラ(撮像部)
104…光源
105…レンズ(集光部)
106…光位置検出部
107…固定部
108…制御部
109…記憶部
121…基準中心線
151…観察者眼球
302…角膜
303…瞳孔
312…眼球中心線
404a、404b…補助光源
405a、405b…補助集光部
406a、406b…補助光検出部
509…観察対象
509c…観察対象中心
510…入力部
【技術分野】
【0001】
本発明は、観察者に対しディスプレイ、ホログラムなどの観察対象を観察させる際、観察位置に応じて観察対象を移動させ、観察者に対する視認性の向上を図る観察位置追従装置及び観察位置追従方法に関するものである。
【背景技術】
【0002】
近年、各種画像情報を表示する表示装置では、観察者に対して三次元映像を提供するものがある。表示装置の形態によっては、良好に三次元映像を観察できる視野位置が限られる場合がある。そのため、良好な視野位置を提供することのできる各種表示装置が提案されている。
【0003】
このような課題を解決するため、例えば、特許文献1には、使用者が視域よりも近づいて視認使用した際においても、立体画像を視認することのできる立体画像表示装置が開示されている。具体的には、撮像装置にて使用者の頭部を撮影し、撮像装置から得られた画像について画像処理を行って眼位置情報を抽出し、抽出した眼位置情報に基づいて表示画像を定期的に修正し、使用者に立体画像を視認させている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−113159号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の立体画像表示装置では、撮像装置から得られた画像に対し画像処理を行うことで眼位置情報を抽出するため、その画像処理に長い時間がかかってしまい、観察者の観察位置に応じて立体画像を追従表示させる際、良好な応答特性を得ることができなかった。
【0006】
視野位置が所定範囲に限定される観察対象は、このような立体画像表示装置に限らず、像を記録したホログラムや、最近では、高齢者など遠視の使用者に対して観察対象のボケ防止を図る表示装置も開発されている。このような視野位置がある程度限定された各種観察対象に対して、特許文献1に開示される画像追従技術を適用した場合にも、その応答特性が問題となる。
【0007】
一方、近年では、大きい表示画面を有し、利用者に情報を提供する高機能携帯電話や、タブレット型コンピュータが人気を集めている。これら高機能携帯電話やタブレット型コンピュータは、利用者が手に持って表示画面を観察することとなるが、高齢者など手の筋力が弱い利用者が使用する場合、機器を安定して支えることができない場合があり、観察対象としての表示画面の視認性を劣化させてしまう状況が考えられる。
【課題を解決するための手段】
【0008】
本発明は、このような視野位置が所定範囲に限られた観察対象の視認性の向上を図るものであって、そのため、本発明に係る観察位置追従装置は、光を放射する光源と、観察者が観察する観察対象と、前記光源からの光が前記観察者側で反射された反射光を集光する集光部と、前記集光部により集光された前記反射光の位置を検出する光位置検出部と、前記光源、前記観察対象、前記集光部、前記光位置検出部を支持する支持部と、固定部に対する前記支持部の位置を移動可能とする駆動部と、前記光位置検出部で検出した反射光の
位置が、設定されている基準位置に近づくように前記駆動部によって前記支持部を移動させる制御部と、を備えることを特徴とするものである。
また本発明に係る観察位置追従方法は、光を放射し、観察者側で反射された前記光の反射光を集光し、前記反射光の位置を検出し、観察者が観察する観察対象を支持する支持部を、前記反射光の位置が、設定されている基準位置に近づくように移動させることを特徴とするものである。
【発明の効果】
【0009】
以上、本発明の観察位置追従装置、観察位置追従方法によれば、観察者の観察位置が移動した場合においても、表示装置やホログラムなど各種観察対象を観察位置に追従移動させ、視認性の向上を図ることが可能となる。特に、光位置検出部で検出した反射光の位置に応じて駆動部を制御することで、観察対象の追従移動の応答性の向上が図られる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態に係る観察位置追従装置の構成を示す図
【図2】本発明の実施形態に係る観察位置追従装置の制御構成を示すブロック図
【図3】本発明の実施形態に係る観察位置追従装置の外観を示す正面図
【図4】本発明の実施形態に係る観察位置追従装置の動作を説明するための図
【図5】本発明の実施形態に係る観察位置追従装置の制御を示すフロー図
【図6】本発明における眼球位置検出の原理を説明するための図
【図7】本発明の実施形態に係る光検出による制御を説明するための図
【図8】本発明の他の実施形態に係る観察位置追従装置の構成を示す図
【図9】本発明の他の実施形態に係る光検出による制御を説明するための図
【図10】本発明の他の実施形態に係る光検出による制御を説明するための図
【図11】本発明の他の実施形態に係る観察位置追従装置の制御構成を示す図
【図12】本発明の他の実施形態に係る観察位置追従装置の制御を示すフロー図
【発明を実施するための形態】
【0011】
以下、図面を参照しつつ本発明に係る観察位置追従装置の実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態によりこの発明が限定されるものではない。
【0012】
(実施形態1)
図1は本発明の第1の実施形態に係る観察追従装置の構成を示す図であり、図2は観察追従装置の制御構成を示す図である。本発明の観察位置追従装置は、支持部101と、支持部101の所定位置に支持される瞳孔位置検出部100、観察対象509と、2軸ステージ102(本発明でいう「駆動部」)と、制御部108を備えて構成されている。なお、便宜上、図示するように観察対象509が位置する面をxy平面、観察する奥行き方向をz軸としている。また、観察位置追従装置の右側には観察位置としての観察者眼球151が示されている。
【0013】
瞳孔位置検出部100は、観察対象を観察(視認)する観察者の観察位置を検出するために支持部101の所定位置に設けられた手段であって、光源104と、光源104から放射され、観察者側で反射された反射光を集光するレンズ105(本発明でいう「集光部」)と、集光された反射光の位置を検出する光位置検出部106と、を備えて構成されている。
【0014】
光源104は、例えばLEDなどの発光素子であって、観察者眼球151方向に対して光(本実施形態では赤外線)を放射する。レンズ105は、観察者側で反射された反射光を集光し、光位置検出部106上に集光スポットを形成する。すなわち、レンズ105は
、光位置検出部106から、レンズ105の略焦点距離だけ離れて配置されている。光位置検出部106は、例えば、PSD(ポジションセンシングディテクタ)を用いることができる。また、支持部101には、初期の位置合わせ処理(キャリブレーションと呼ぶ)に用いるCCDカメラ103(本発明でいう「撮像部」)が設けられている。実際の使用時には、このCCDカメラ103は取り外して使用することも可能である。
【0015】
また、支持部101には観察対象509が支持されている。この観察対象509は、例えば、本実施形態のように液晶ディスプレイなどのように入力される画像情報を表示する表示部の他、記録されている像を観察者に観察させるホログラムなどである。特に、本実施形態の観察位置追従装置では、観察対象509と観察者眼球151の位置(観察位置)の関係で、観察対象509の視認性が変化する観察対象509に用いることが有効となる。
【0016】
瞳孔位置検出部100、観察対象509を支持する支持部101は、2軸ステージ102を介して固定部107に取り付けられている。固定部107は、例えばタブレット型コンピュータに適用する場合には、観察者が手で持つためのフレーム部となる。この他、固定部107としては、壁面などであってもよい。2軸ステージ102は、固定部107に対して支持部101をx軸方向、y軸方向に移動させる。このように本実施形態では、固定部107に対する支持部101の位置を、2軸ステージ102を用いて移動させることとしたが、固定部107に対する支持部101の位置を移動できる駆動部であれば、ステージの形態に限定されるものではない。
【0017】
制御部108は、光位置検出部106が検出するx軸方向、y軸方向の反射光位置に基づいて、観察者眼球151と観察対象509の位置関係が適正となるように2軸ステージ102の駆動制御を行う。この他、制御部108は、CCDカメラ103の撮像制御や、光源104の発光制御を行うこととしており、また、観察対象509が画像情報に基づいて表示を行う形態である場合には、観察対象509に対する表示制御を行うこととしてもよい。制御部108は、支持部101に設けてもよいし、他の部材に設けても構わない。
【0018】
図3は、本発明の実施形態に係る観察位置追従装置の外観を示す正面図であり、タブレット型コンピュータのように、観察者が手に持って使用する情報処理装置に適用した例となっている。観察対象509は、液晶ディスプレイなどの表示部であって、文字や画像など各種情報を表示して観察者に観察させる。光源104、CCDカメラ103、レンズ105、光位置検出部106を構成要素とする瞳孔位置検出部100、そして、観察対象509は、図においてグレーで着色された支持部101上に支持されている。また、この支持部101の背面には2軸ステージ102が設けられており、支持部101と観察者が手に持つフレーム(固定部107)の位置を相対的に移動させることが可能となっている。
【0019】
また、本実施形態の瞳孔位置検出部100は、観察者の左眼の位置を検出対象としている。そのため、基準位置を決めるためのCCDカメラ103は、観察対象中心509cに対して左側にずれて配置している。
【0020】
観察者が使用する前には、図5のフロー図に示される手順で位置合わせ処理(キャリブレーション)が実行される。このキャリブレーションでは、まず、観察者が観察対象509を観察している際、支持部101に支持されるCCDカメラ103により観察者を撮像(S101)し、撮像された観察者の画像に対し画像処理を行うことで、画像内における観察者の瞳孔中心位置を検出する(S103)。次に、観察対象509と観察者眼球151が所定の位置関係となるように2軸ステージ102を移動させる(S104)。本実施形態では、CCDカメラ103の撮像中心である基準中心線121が観察者眼球151の瞳孔中心に位置するように移動させているが、瞳孔位置検出部100と観察対象509の
配置関係に応じて適宜位置関係を採用することができる。
【0021】
次に、観察対象509と観察者眼球151が所定の位置関係となったとき、光源104から赤外線を放射させる(S105)。光源104から放射された光は観察者眼球151の角膜で反射し、その反射光はレンズ105により光位置検出部106に集光され集光スポットを形成する。光位置検出部106は、この集光スポットの位置(x軸方向、y軸方向に関する位置)を制御部108に対して出力する(S106)。制御部108は、集光スポットの位置を基準位置として記憶部109に記憶する(S107)。このような処理によりキャリブレーションの処理が完了する。なお、記憶部は、支持部101に設けても良いし、固定部107に設けても良い。
【0022】
次に、使用時、すなわち観察位置追従装置により観察対象を移動させつつ、観察者に観察対象を視認させる際の処理を説明する。図4は、本発明の実施形態に係る観察位置追従装置の動作を説明するための図であり、図5は、本発明の実施形態に係る観察位置追従装置の制御を示すフロー図であり、図6は、本発明における眼球位置検出の原理を説明するための図であり、図7は、本発明の実施形態に係る光検出による制御を説明するための図である。
【0023】
図4には図1で説明した観察位置追従装置の構成において、観察者の観察位置すなわち、観察者眼球151がx方向に移動した場合が示されている。この場合、光源104から放射される光の光路が変化していることが分かる。また、前述したようにCCDカメラ103は、キャリブレーションにて必要な構成であるため、キャリブレーション完了後は、破線で示すように取り外して使用することも可能である。
【0024】
このような光路変化は、観察者眼球151における角膜の反射に基づいて発生する。図6は、観察者眼球151での入射光線と反射光線の関係が示されている。図6の観察者眼球151において、302は角膜、303は瞳孔を示している。図からも分かるように角膜302は観察方向側に突出する凸形状をしている。このため、光線が角膜302に入射する位置によって反射する角度が変化する。
【0025】
図6(a)は角膜302の頂点に光線が入射した場合の光線の様子である。入射光線と、眼球中心線312のなす角度αと反射光線と光軸のなす角β0は等しい。これに対して図6(b)は観察者眼球151がマイナスx方向に移動したときが示されており、反射光線と基準中心線121のなす角β1はβ0に比べて大きくなる。そのため、図4に示されるように角膜302による反射光は、光位置検出部106に、観察者眼球151が基準中心線121上に位置するとき(図6(a))とは異なる位置に集光スポットを形成する。
【0026】
また、図6(c)は観察者眼球151がプラスx方向に移動したときが示されており、反射光線と光軸のなす角β2はβ0に比べて小さくなる。この場合も図6(b)と同様、観察者眼球151が基準中心線121上に位置するとき(図6(a))とは異なる位置に集光スポットを形成する。
【0027】
したがって、図4のように、観察者眼球151がマイナスx方向に移動した場合、光位置検出部106上に集光される集光スポットは、キャリブレーションの集光スポット、すなわち、基準位置よりプラスx方向に移動する。また、観察者眼球151がプラスx方向に移動した場合、光位置検出部106上に集光される集光スポットは、キャリブレーション時よりマイナスx方向に移動する。眼球の構造上、角膜302と瞳孔位置303の位置関係は一定であるため、角膜302の状態を検出することで、瞳孔位置303を検知することが可能となる。
【0028】
ここでは、観察者眼球151がx方向に関して移動する場合について説明したが、y方向に関する移動についても同様である。このような原理により、光位置検出器部106の集光スポット位置の検出値から、記憶部109に記憶されているキャリブレーション時の集光スポット(基準位置)に対してどの方向にあるかが判別可能となる。
【0029】
制御部108は、光源104から赤外線を放射させ(S201)、検出された光位置検出部106で検出した集光スポットの位置と、キャリブレーション時に制御部108にて記憶部109に記憶させた基準位置から、2軸ステージ102の移動量を算出する(S203)。この移動量の算出は演算または数値テーブルにより算出される。2軸ステージ102は、制御部108で算出された移動量に基づいて支持部101を移動させる(S204)。より具体的には、2軸ステージ102は、検出された光位置検出部106で検出した集光スポットの位置と、キャリブレーション時に記憶部109に記憶させた基準位置とを略一致させるように支持部101を固定部107に対して移動させる。
【0030】
図7は、2軸ステージ102の移動を説明する模式図が示されている。キャリブレーションにて記憶部109に記憶される基準位置は、観察者によって異なる角膜302のカーブ形状のため、観察者毎に異なる位置となっている。制御部108では、動作時に光位置検出部106で検出した集光スポットの位置は、この基準位置に近づくように移動量を算出し、2軸ステージ102を移動させる。このような処理を繰り返し実行することで、観察者眼球151と、支持部101に支持されている観察対象509を所定の位置関係、すなわち、好適な視野位置に追従移動させることが可能となる。特に、本実施形態では、光位置検出部106で検出した集光スポットの位置に応じて、2軸ステージ102を制御する簡易な構成のため、画像処理にて観察者の瞳孔位置を検出するなど、複雑な処理を必要とせず、観察対象509の追従移動の応答性の向上を図ることが可能となっている。
【0031】
(実施形態2)
図8は、本発明の他の実施形態に係る観察位置追従装置の制御構成を示す図である。本実施形態における瞳孔位置検出部400は、図1で説明した観察位置追従装置にさらに、2つの補助検出部を追加した構成となっている。本実施形態では補助検出部を備えることで、観察者眼球151の検出範囲の拡大が図られている。
【0032】
図8中、図1などを用いて説明した構成、並びに、キャリブレーションなどは同様であるため、ここでの説明は省略する。瞳孔位置検出部400は、図1で説明した光源104、レンズ105、光位置検出部106の他、2つの補助光検出部を備えている。各補助光検出部は、補助光源404a(404b)、補助集光部405a(405b)、補助光検出部406a(406b)を有しており、ここでは、各補助光検出部は、図に示すように観察者眼球151が、図に示す位置B、位置Cのように光位置検出部106の検出範囲を超えて位置するときに機能する。
【0033】
これら補助光検出部が観察者眼球151を検出する原理は、図6で説明した原理と同様であるが、補助光検出部406には、光位置検出部106と同様に、集光スポットのxy平面での位置を検出する形態の他、単に集光スポットを検出したか否かを出力する簡易な構成を採用することも可能である。また、光源104と、各補助光源404a(404b)が同じタイミングで光を放射した場合、構成の配置によっては観察者眼球151を検出できない、あるいは、誤検出する場合があるため、光源104と補助光源404a(404b)の発光タイミングを異ならせる、あるいは、光源104と補助光源404a(404b)及び、それらに対応して集光スポットを検出する光位置検出部106、補助光検出部406a(406b)の使用光の周波数を異ならせることが好ましい。
【0034】
図9は本発明の他の実施形態に係る光検出による制御を説明するための図であって、補
助光検出部406a(406b)として、光位置検出部106と同様、集光スポットのxy平面での位置を検出できるタイプのものを利用した場合が示されている。補助光検出部406a(406b)の検出範囲は、光位置検出部106の検出範囲と近接、隣接、あるいは重複するような位置関係に配置される。検出範囲を重複させた場合には、予め決められた光位置検出部106、補助光検出部406a(406b)の優先順位に基づいて、利用する検出部が使用される。
【0035】
この図に示されるように、補助光検出部406a(406b)にxy平面での位置を検出できるタイプを利用した場合、ちょうど光位置検出部106の検出範囲が拡張されたように機能することとなる。具体的には、検出された各集光スポットは、基準位置に近づくように2軸ステージ102が駆動制御される。
【0036】
本実施形態では、集光スポットが基準位置に近づくように制御することを目的としている。そのため、補助光検出部406a(406b)には、集光スポットを検出したか否かを判定する簡易な検出部を利用してもよい。このような構成によれば、部品コストを下げ、そして小型化を図ることが可能となる。図10は、この簡易な補助光検出部406a(406b)を利用した場合の制御例を示す図であって、図9と同様、光位置検出部106、補助光検出部406a(406b)による検出範囲が示されている。
【0037】
簡易な補助光検出部406a(406b)では、その検出範囲に集光スポットが存在するか否かを検出するため、次のような制御が必要となる。例えば、補助光検出部406aにて集光スポットが検出された場合には、補助光検出部406aの検出範囲と光位置検出部106の検出範囲の位置関係に基づいて、集光スポットが光位置検出部106の検出範囲に入るように2軸ステージ102を駆動制御する(図に示すb1)。その結果、光位置検出部106内に集光スポットが検出されることとなり、当該集光スポットを基準位置に位置させるように2軸ステージ102が駆動制御される(図に示すb2)。
【0038】
このように簡易な補助光検出部406aでは、2段階の制御が必要となるが、安価、小型の補助光検出部406a(406b)を利用して、観察者眼球151の検出範囲の拡大を図ることが可能となる。
【0039】
(実施形態3)
図11は、本発明の他の実施形態に係る観察位置追従装置の構成を示す図であって、図12は、この観察位置追従装置の制御を示すフロー図でありキャリブレーションの他の実施形態を説明する図である。図1など前述の実施形態では、CCDカメラ103による撮像にて基準位置を決定することとしていたが、本実施形態では、観察者の指示により基準位置を決定することとしている。
【0040】
具体的には、制御部508に対して観察者が指示を出す入力部510が接続されており、観察者の指示タイミングに基づいて基準位置が決定される。光源104からは赤外線が照射され(S101a)、この観察対象509を視認している観察者が、観察対象509と頭との相対位置を変えながら見え方が良いと認識したときに、入力部510を操作する(S102a)。制御部は、このタイミングで光位置検出部106における集光スポット位置を基準位置として記憶部に記憶する(S107)。入力部510は、図2に示されるように固定部107に配置されたスイッチの形態の他、タッチパネルに表示された画像としてのスイッチなど各種形態が採用できる。
【0041】
キャリブレーション実行後は、前述の実施形態と同様(S201〜S204)に、集光スポットが基準位置に近づくように2軸ステージ102が駆動されることで、常に観察対象509と観察者眼球151がキャリブレーション時の位置関係に保たれることとなり視
認性の向上を図ることが可能となる。
【0042】
以上、本発明の種々の実施形態について説明したが、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。
【符号の説明】
【0043】
100…瞳孔位置検出部
101…支持部
102…2軸ステージ(駆動部)
103…CCDカメラ(撮像部)
104…光源
105…レンズ(集光部)
106…光位置検出部
107…固定部
108…制御部
109…記憶部
121…基準中心線
151…観察者眼球
302…角膜
303…瞳孔
312…眼球中心線
404a、404b…補助光源
405a、405b…補助集光部
406a、406b…補助光検出部
509…観察対象
509c…観察対象中心
510…入力部
【特許請求の範囲】
【請求項1】
光を放射する光源と、
観察者が観察する観察対象と、
前記光源からの光が前記観察者側で反射された反射光を集光する集光部と、
前記集光部により集光された前記反射光の位置を検出する光位置検出部と、
前記光源、前記観察対象、前記集光部、前記光位置検出部を支持する支持部と、
固定部に対する前記支持部の位置を移動可能とする駆動部と、
前記光位置検出部で検出した反射光の位置が、設定されている基準位置に近づくように前記駆動部によって前記支持部を移動させる制御部と、を備えることを特徴とする
観察位置追従装置。
【請求項2】
撮像により画像情報を取得し、前記支持部に支持される撮像部を備え、
前記制御部は、
前記撮像部に前記観察者を撮像させ、
前記撮像部から取得した前記画像情報を解析して前記観察者の瞳孔位置を判別し、
判別した前記瞳孔位置に基づいて、前記支持部と前記瞳孔位置が所定の位置関係となるように、前記駆動部に前記支持部を移動させ、
前記支持部と前記瞳孔位置が所定の位置関係となったとき、前記光位置検出部で検出した反射光の位置を基準位置として設定する処理を実行することを特徴とする
請求項1に記載の観察位置追従装置。
【請求項3】
前記制御部は、
入力部から前記観察者による指示が入力されたとき、前記光位置検出部で検出した反射光の位置を基準位置として設定する処理を実行することを特徴とする
請求項1または請求項2に記載の観察位置追従装置。
【請求項4】
補助光源、補助集光部、補助光検出部を有し、前記支持部に支持される補助検出部を少なくとも1つ備え、
前記補助光源は、光を放射し、
前記補助集光部は、前記補助光源からの光が前記観察者側で反射された補助反射光を集光し、
前記補助光検出部は、前記補助集光部で集光された前記補助反射光を検出し、
前記制御部は、前記補助光検出部で検出した前記補助反射光に基づいて、前記光位置検出部にて前記反射光が検出される方向に前記駆動部にて前記支持部を移動させることを特徴とする
請求項1から請求項3の何れか1項に記載の観察位置追従装置。
【請求項5】
前記光源の発光タイミングと前記補助光源の発光タイミングは、異なることを特徴とする
請求項4に記載の観察位置追従装置。
【請求項6】
前記補助光検出部は、前記補助反射光の位置を検出することを特徴とする
請求項4または請求項5に記載の観察位置追従装置。
【請求項7】
前記観察対象は、画像情報を表示する表示部であることを特徴とする
請求項1から請求項6の何れか1項に記載の観察位置追従装置。
【請求項8】
光を放射し、
観察者側で反射された前記光の反射光を集光し、
前記反射光の位置を検出し、
観察者が観察する観察対象を支持する支持部を、前記反射光の位置が、設定されている基準位置に近づくように移動させることを特徴とする
観察位置追従方法。
【請求項1】
光を放射する光源と、
観察者が観察する観察対象と、
前記光源からの光が前記観察者側で反射された反射光を集光する集光部と、
前記集光部により集光された前記反射光の位置を検出する光位置検出部と、
前記光源、前記観察対象、前記集光部、前記光位置検出部を支持する支持部と、
固定部に対する前記支持部の位置を移動可能とする駆動部と、
前記光位置検出部で検出した反射光の位置が、設定されている基準位置に近づくように前記駆動部によって前記支持部を移動させる制御部と、を備えることを特徴とする
観察位置追従装置。
【請求項2】
撮像により画像情報を取得し、前記支持部に支持される撮像部を備え、
前記制御部は、
前記撮像部に前記観察者を撮像させ、
前記撮像部から取得した前記画像情報を解析して前記観察者の瞳孔位置を判別し、
判別した前記瞳孔位置に基づいて、前記支持部と前記瞳孔位置が所定の位置関係となるように、前記駆動部に前記支持部を移動させ、
前記支持部と前記瞳孔位置が所定の位置関係となったとき、前記光位置検出部で検出した反射光の位置を基準位置として設定する処理を実行することを特徴とする
請求項1に記載の観察位置追従装置。
【請求項3】
前記制御部は、
入力部から前記観察者による指示が入力されたとき、前記光位置検出部で検出した反射光の位置を基準位置として設定する処理を実行することを特徴とする
請求項1または請求項2に記載の観察位置追従装置。
【請求項4】
補助光源、補助集光部、補助光検出部を有し、前記支持部に支持される補助検出部を少なくとも1つ備え、
前記補助光源は、光を放射し、
前記補助集光部は、前記補助光源からの光が前記観察者側で反射された補助反射光を集光し、
前記補助光検出部は、前記補助集光部で集光された前記補助反射光を検出し、
前記制御部は、前記補助光検出部で検出した前記補助反射光に基づいて、前記光位置検出部にて前記反射光が検出される方向に前記駆動部にて前記支持部を移動させることを特徴とする
請求項1から請求項3の何れか1項に記載の観察位置追従装置。
【請求項5】
前記光源の発光タイミングと前記補助光源の発光タイミングは、異なることを特徴とする
請求項4に記載の観察位置追従装置。
【請求項6】
前記補助光検出部は、前記補助反射光の位置を検出することを特徴とする
請求項4または請求項5に記載の観察位置追従装置。
【請求項7】
前記観察対象は、画像情報を表示する表示部であることを特徴とする
請求項1から請求項6の何れか1項に記載の観察位置追従装置。
【請求項8】
光を放射し、
観察者側で反射された前記光の反射光を集光し、
前記反射光の位置を検出し、
観察者が観察する観察対象を支持する支持部を、前記反射光の位置が、設定されている基準位置に近づくように移動させることを特徴とする
観察位置追従方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−173587(P2012−173587A)
【公開日】平成24年9月10日(2012.9.10)
【国際特許分類】
【出願番号】特願2011−36640(P2011−36640)
【出願日】平成23年2月23日(2011.2.23)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成24年9月10日(2012.9.10)
【国際特許分類】
【出願日】平成23年2月23日(2011.2.23)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]