画像提示装置および画像提示方法
【課題】 本発明は、観察者の視点によって繰り返し画像を観察者に見せることのなく、不自然さのない画像を提示することを目的とする。
【解決手段】 光源アレイ１０１ａにより発せられた光から構成される画像の視認領域を光線制御素子１０１ｂが制限する。ここで、光源アレイ１０１ａにより発せられた光から構成される画像を観察する観察者の目と光源アレイ１０１ａおよび光線制御素子１０１ｂとの相対的な位置関係を、端末位置検知センサ１０２または観察者位置検知センサ１０３が検知する。これらセンサにより検知された位置関係に応じて、表示映像制御装置１０４は、光線制御素子１０１ｂにより視認領域が制限された画像を構成する光の表示内容を変更するよう光源アレイ１０１ａを制御する。
【解決手段】 光源アレイ１０１ａにより発せられた光から構成される画像の視認領域を光線制御素子１０１ｂが制限する。ここで、光源アレイ１０１ａにより発せられた光から構成される画像を観察する観察者の目と光源アレイ１０１ａおよび光線制御素子１０１ｂとの相対的な位置関係を、端末位置検知センサ１０２または観察者位置検知センサ１０３が検知する。これらセンサにより検知された位置関係に応じて、表示映像制御装置１０４は、光線制御素子１０１ｂにより視認領域が制限された画像を構成する光の表示内容を変更するよう光源アレイ１０１ａを制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察者の見る方向によって画像を変えて提示する画像提示装置および画像提示方法に関する。
【背景技術】
【０００２】
映像の提示技術として、液晶ディスプレイなどの光源アレイの前面に、パララックスバリアなどの遮蔽物、レンチキュラシート若しくはレンズアレイなどの光学素子を設置することで、観察者から視認可能な光源を制御するものが知られている。この提示技術は、観察者の位置により観察される画像が変わるため、視差を生じる。これは、両眼を用いて観察した場合、両眼視差を実現することができるため、三次元ディスプレイなどに応用されているほか、たとえば自動車の運転席と助手席で同一のディスプレイを観察した場合に、それぞれ観察者にとって観察される映像を異ならしめることができる画像提示装置として応用されている。
【０００３】
図１がパララックスバリアを用いたディスプレイの例を示す説明図であり、図２がレンチキュラシートを用いたディスプレイの例を示す説明図である。図１および２において、このディスプレイは光源アレイ（光源１〜８）を備えており、例えばこの光源アレイは、液晶ディスプレイの各画素に対応するものである。図１および２では、光源１、３、５から生じる光が、それぞれ対応する矢印の方向から視認できることが示されている。その他の光源については図示していないが、同様にそれぞれ対応する角度方向から視認できる。いずれの技術においても、各光源アレイが視認できる領域は制限され、これによって両眼視差を生じさせることで立体映像を提示することができる。図１および２に示したディスプレイは４眼ディスプレイの場合の例であるが、ステレオディスプレイ（２眼）の場合や、さらに多くの視点画像を表示するような多眼型ディスプレイの場合にも、原理的には同様である。
【０００４】
なお、図２のレンチキュラシートをマイクロレンズアレイに置き換え、上下方向にも同様に光源から発生する光の方向を制御することで、左右上下どの方向から見てもその位置に応じて異なる映像を視認できる方式もあり、この方式はインテグラル・フォトグラフィ（ＩＰ）と呼ばれている。
【０００５】
光源アレイの前面（光源の出力面）に、例えばスリットを定期的に繰り返すパララックスバリア１０や、レンチキュラシート１１、レンズアレイなどの光線制御素子を置いて視差を生じさせることによって観察位置により異なる映像を提示する場合、いくつかの光源アレイに対して前述の光線制御素子は観察者が視認できる範囲を制御し、多眼（２眼、すなわちステレオも含む）表示を実現している。例えば４眼の場合、４個の光源（すなわち４画素）に対してスリット、またはレンチキュラシートを構成するシリンドリカルレンズが配置され、これらスリットまたはシリンドリカルレンズは光源から生じる光を観察者が視認できる領域を制御する。
【０００６】
この４個の光源の組は、これらの装置の基本的な応用分野である三次元ディスプレイとして用いる場合、三次元映像を提示する上で三次元映像の最小単位となるため、ここでは三次元画素と呼ぶこととする。従来のパララックスバリア、レンチキュラシート、またはレンズアレイなどを用いた方式では、各三次元画素に対して、正常に立体映像を観察することができる領域が存在する。
【０００７】
図３は、レンチキュラシートを用いた場合の立体映像を観察することができる領域を示す説明図である。図３に示すように、三次元画素（光源５〜８）に対するレンチキュラシート１１を構成するシリンドリカルレンズの作用により、光の出力方向が変わり、光を視認できる領域、すなわち視域が発生する。また、パララックスバリア方式の場合も原理的には同様であり、配置されているレンチキュラシートが、遮蔽部と開口とが周期的に繰り返す素子となるのみである（図１を参照）。
【０００８】
また、ＩＰ方式の場合も、断面図の形状は図３と同様であるが、光線制御素子がレンチキュラシートではなくレンズアレイとなるため、垂直方向にも同様の断面図となり、三次元画素ｂは２次元配置された光源の集合により形成されるものとなる。図４は、縦方向３視差の三次元画素ｂ１、横方向３視差の三次元画素ｂ２からなる、９視点ＩＰ方式を用いた場合の例を示す説明図である。図４では光源の視認方向を示す矢印は中央縦３視差のみ示されているが、光線制御素子であるレンチキュラシート１１は縦横９方向について同様に視差を制御している。
【０００９】
上述したように、観察者の位置に応じて表示する画像を変えること技術として、例えば、特許文献１（特願平７−２７０７４５号公報）および特許文献２（特開２００２−２９６５４０号公報）が挙げられる。この特許文献１および２に記載の技術は、立体映像表示装置に関するものであって、左眼用の画素および右眼用の画素を表示することにより立体的な映像を表示することができるとともに、観察者の位置に応じた映像を、バリアをオンオフすることにより表示することができる技術が記載されている。
【特許文献１】特開平７−２７０７４５号公報
【特許文献２】特開２００２−２９６５４０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ここで、すべての三次元画素について、観察者（正確には、観察者の両眼）が上記の視域内にある場合（図３または図４参照）、三次元画像は正しく観察されるが、視域の外側の範囲に観察者がいる場合、本来その位置で観察するよう設計されていないはずの光源の光が見えてしまう場合がある。これを、繰り返し画像と呼ぶ。図５にレンチキュラ方式の場合の繰り返し画像が視認されるときの状況を示す。図５中の光源１〜４は、三次元画素ａを構成し、光源５〜８は、三次元画素ｂを構成しているが、図５に示したように、観察者が三次元画素ａの本来の視域外から観察した場合、本来意図していない方向に光源５による画像を視認できてしまう。従来の三次元ディスプレイにおいては、この繰り返し画像の存在により、観察者の位置によって表示された三次元画像を不自然に感じてしまうことがあり，映像を観察できる視域が制限されることがあった。また、三次元ディスプレイとして用いない場合であっても、複数の視点画像を提示する上で、視点位置を移動していくと同様に一度視認できた映像が再度見えてしまい、観察者にとって不自然に感じさせてしまうといった問題があった。
【００１１】
この問題は、上述特許文献１および２に記載の技術においても同様であり、さらに特許文献１および２に記載の技術においては、観察者の位置が連続的に変化した場合、表示を切り替えるためのバリアの動きおよび偏光板のスイッチのオンオフにより画面がちらつくといった問題があった。
【００１２】
そこで、上述の課題を解決するために、本発明は、観察者の視点によって繰り返し画像を観察者に見せることのなく、不自然さのない画像を提示することができる画像提示装置および画像提示方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上述の課題を解決するために、本発明の画像提示装置は、提示する画像を構成する複数の画素に対応した光を発する光源を有する光源手段と、上記光源手段により発せられた光から構成される画像の視認領域を制限する光線制御手段と、上記光源手段により発せられた光から構成される画像を観察する観察者の目と上記光源手段および光線制御手段との相対的な位置関係を検知する検知手段と、上記検知手段により検知された位置関係に応じて、上記光線制御手段により視認領域が制限された画像を構成する光の表示内容を変更するよう上記光源手段を制御する画像制御手段とを備えている。
【００１４】
また、本発明の画像提示方法は、提示する画像を構成する複数の画素に対応した光を発する光源を有する光源手段と、上記光源手段により発せられた光から構成される画像の視認領域を制限する光線制御手段と、を備える画像提示装置の画像提示方法において、上記光源手段により発せられた光から構成される画像を観察する観察者の目と上記光源手段および光線制御手段との相対的な位置関係を検知する検知ステップと、上記検知ステップにより検知された位置関係に応じて、上記光線制御手段により視認領域が制限された画像を構成する光の表示内容を変更するよう上記光源手段を制御する画像制御ステップとを備えている。
【００１５】
この構成により、光源から発せられた光から構成される画像の視認領域を制限し、この光から構成される画像を観察する観察者の目と光源との相対的な位置関係を検知し、検知された位置関係に応じて、視認領域が制限された画像を構成する光の表示内容を変更することができる。これにより、観察者の視点によって繰り返し画像を観察者に見せることのなく、不自然さのない画像を提示することができる。
【００１６】
また、本発明の画像提示装置の光源手段は、光源アレイを用いて画像を提示することが好ましい。この構成により、光源アレイを用いて画像を提示することができる。
【００１７】
また、本発明の画像提示装置の光線制御手段は、シリンドリカルレンズを連続的に配置したレンチキュラシートであることが好ましい。
【００１８】
また、本発明の画像提示装置の光線制御手段は、垂直スリットが周期的に配置されたパララックスバリアであることが好ましい。
【００１９】
また、本発明の画像提示装置の光線制御手段は、電気的に屈折率や振幅透過率を制御することのできる液晶レンズ、またはホログラフィック光学素子であることが好ましい。
【００２０】
また、本発明の画像提示装置の光線制御手段は、レンズを２次元配置したレンズアレイであることが好ましい。
【００２１】
また、本発明の画像提示装置の上記検知手段は、上記光源手段と上記光線制御手段とから構成されるディスプレイ手段の位置および観察者の視線に対する傾き、並びに上記ディスプレイ手段で表示される画像を観察する観察者の目の位置および視線方向のうち、少なくともひとつ以上を検知することが好ましい。
【００２２】
この構成により、光源の位置および観察者の視線に対する傾き、並びに表示される画像を観察する観察者の目の位置および視線方向のうち、少なくともひとつ以上を検知することにより、観察者と表示される画像との相対的な位置関係を検知することが可能となる。
【００２３】
また、本発明の画像提示装置の画像制御手段は、上記観察者が上記光源手段の一の光源からの光から構成される画像を視認できる予め設定された通常視域ではない位置に観察者が位置する場合において、当該観察者の位置から上記一の光源からの光から構成される画像を視認することが可能な繰り返し領域である位置に上記観察者が位置していると、上記検知手段により判断された場合には、上記光源手段の一の光源からの光から、上記通常視域である位置に対応した画像を出力しないよう上記光源手段を制御することを特徴とすることが好ましい。
【００２４】
この構成により、上記観察者が予め設定された通常視域ではない位置に観察者が位置する場合において、繰り返し領域である位置に観察者が位置していると、判断された場合には、その一の光源から、通常視域である位置に対応した画像を出力しないようにすることができる。これにより、観察者の視点によって繰り返し画像を観察者に見せることのなく、不自然さのない画像を提示することができる。
【００２５】
また、本発明の画像提示装置の画像制御手段は、上記一の光源からの光を観察することができない遮蔽領域に上記観察者が位置すると上記検知手段により検知された場合に、上記光源手段から発せられる、上記通常視域に対する画像を出力しないよう上記光源手段を制御することが好ましい。
【００２６】
この構成により、観察者が遮蔽領域に位置すると検知された場合には、一の光源から、通常視域である位置に対応した画像を出力しないようにすることができ、予め画像の出力をしないようにしておくことから、確実に観察者の視点によって繰り返し画像を観察者に見せることがない。
【００２７】
また、本発明の画像提示装置の画像制御手段は、観察者が上記一の光源にとっての繰り返し領域に位置することが上記検知手段により検知された場合、当該位置が通常視域とする他の光源から発せられる光から構成される画像を補足するための光を前記一の光源から発せさせるよう前記光源手段を制御することが好ましい。
【００２８】
この構成により、観察者が繰り返し領域に位置することが検知された場合には、上記光源手段の他の光源の光から構成される画像を補足するための光を一の光源から発せさせるようにすることができる。これにより、不自然さのない画像を提示することができるとともに、観察者が視認することができる画像を多くすることができ、より見やすい画像を観察者に提供することができる。
【発明の効果】
【００２９】
本発明は、観察者の視点によって繰り返し画像を観察者に見せることのなく、不自然さのない画像を提示することができる。
【発明を実施するための最良の形態】
【００３０】
本発明は、一実施形態のために示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解することができる。引き続いて、添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００３１】
＜第１の実施形態＞
【００３２】
第１の実施形態に係る画像提示装置は、図６に示すように、ディスプレイ１０１（光源アレイ１０１ａ（光源手段）、光線制御素子１０１ｂ（光線制御手段）を含む）、端末位置検知センサ１０２（検知手段）、観察者位置検知センサ１０３（検知手段）、表示映像制御装置１０４（画像制御手段）から構成されている。
【００３３】
ディスプレイ１０１は、光源アレイ１０１ａ、光線制御素子１０１ｂを含んで構成されている。
【００３４】
光源アレイ１０１ａは、複数視点画像を形成する光の光源であり、画素単位の画像を複数出力するものである。光源アレイ１０１ａは、例えば液晶ディスプレイの各画素としてもよいし、ＬＥＤなど発光体を配置してもよい。
【００３５】
光線制御素子１０１ｂは、光源アレイ１０１ａの表示面側に配置され、光源アレイ１０１ａを構成する個々の光源を視認できる位置を制限するものである。例えば、光線制御素子１０１ｂは、光源アレイ１０１ａから出力された光を遮蔽するパララックスバリアであってもよいし、光線の方向を制御するシリンドリカルレンズのような光学素子であるレンチキュラシート、あるいは電気的に光の屈折率や透過率を制御する液晶レンズやホログラフィック光学素子（ＨＯＥ：holographic optical element）などの光学素子であってもよい。
【００３６】
端末位置検知センサ１０２は、ディスプレイ１０１の位置、向き、または傾きのうち少なくともひとつ以上を検知するセンサである。この端末位置検知センサ１０２は、ディスプレイ１０１に取り付けられた傾きセンサまたは加速度センサでも良いし、赤外線センサ、超音波センサ、またはカメラ（撮影装置）であってもよい。また、これらのセンサを外部環境に設置してディスプレイ１０１の位置、向きまたは傾きを検知してもよい。これらセンサから構成される端末位置検知センサ１０２は、ディスプレイ１０１が存在する空間上の位置、向きまたは傾きを検知することができる。この端末位置検知センサ１０２が検知するディスプレイの位置は、空間上に仮想的にx、y、zの３軸で特定され、ディスプレイ１０１がその座標軸上のどの点にあるかを端末位置検知センサ１０２が検知し、またディスプレイ１０１の向きがどの方向を向いているかを検知することができる。
【００３７】
具体的には、端末位置検知センサ１０２は、ディスプレイ１０１を構成する部分のうち、異なる３点以上の部分とその位置を検知することにより、上記ディスプレイ１０１の空間上の位置、および傾きを決定できる。同様に、端末位置検知センサ１０２は、ディスプレイ１０１の構成部分である１点およびディスプレイ１０１そのものの３軸に対する傾き角を検知することにより、ディスプレイ１０１の空間上の位置、およびその傾きを決定できる。これらのディスプレイ１０１の位置を推定するセンサとして、上記の傾きセンサ、加速度センサ、赤外線センサ、超音波などのセンサ、またはカメラなどを利用することができる。傾きセンサまたは加速度センサは、３軸に対する傾き角、角速度、角加速度、移動速度、および加速度を検知することができ、これら検知した情報をディスプレイ１０１の位置または３軸に対する傾き角に変換することができる。
【００３８】
また、赤外線センサや超音波センサなどを用いる場合、この赤外線センサまたは超音波センサは赤外線や超音波をディスプレイ１０１に向けて発し、その反射を受信してディスプレイ１０１の位置を推定することができる。また、ディスプレイ１０１に備え付けられた赤外線／超音波発生装置が外部環境に向けて赤外線や超音波を発し、その反射を受信することにより、ディスプレイ１０１の位置を推定することもできる。また、端末位置検知センサ１０２としてカメラを用いる場合、カメラ画像からディスプレイ１０１の位置や傾きを推定することができる。この場合、外部環境やディスプレイ１０１そのものに特徴点となるマーカのようなものを設置するか、または画像処理によって特徴点を抽出することにより、ディスプレイ１０１の位置または傾きを推定してもよい。
【００３９】
上記列挙したように、端末位置検知センサ１０２としてのセンサやカメラは、２種類以上の装置を組み合わせて使ってもよいし、同種のセンサを複数個組み合わせて使用してもよい。これらのセンサを組み合わせて使用する場合、個々のセンサの情報を用いることで、動作の確実性を向上させることができる。例えばカメラなどの装置は外部環境の明るさなどに大きな影響を受けるが、傾きセンサなどは明るさなどの影響を受けない。一方で、傾きセンサは通常初期状態に対する傾き量の変化を評価するため誤差の累積が問題になる場合があるほか，直接的に観察者の位置を検出するわけではないため精度が低い。このため、カメラと傾きセンサの両者を組み合わせて使うことでこれらの欠点を補いながら動作させることが好ましい。
【００４０】
観察者位置検知センサ１０３は、観察者の位置を検知するセンサである。ここで、観察者の位置は、ディスプレイ１０１に対する相対位置であってもよいし、空間上に規定された仮想的なx、y、zの３軸に対する座標値であってもよい。観察者位置検知センサ１０３は、観察者に保持させた加速度センサ、赤外線センサ、超音波センサ、またはカメラであってもよいし、ディスプレイ１０１に取り付けられた赤外線センサ、超音波センサ、またはカメラであってもよいし、外部環境に設置されている赤外線センサ、超音波センサ、またはカメラであってもよい。観察者の位置としては、理想的には、観察者の両眼の位置をそれぞれ推定できることが望ましいが、観察者の顔の位置など，代表的な部位を利用してもよい。
【００４１】
観察者位置検知センサ１０３として、観察者に保持させた加速度センサ、赤外線センサ、超音波センサ、またはカメラを用いる場合、およびこれらのセンサ類を外部環境に設置した場合、端末位置検知センサ１０２と同様の処理を行って観察者の位置を推定することができる。また、ディスプレイ１０１にこれらのセンサやカメラを設置して観察者の位置推定を行う場合、取得できる情報は、ディスプレイ１０１に対する相対的な位置を示す情報となる。なお、カメラなどの撮影装置を用い、観察者そのものを撮影して観察者の位置を推定する場合には、端末位置を検知する際に用いたマーカなどに加え、画像から顔の検出／認識を行う技術を用いて観察者の位置を推定することも可能である。上記列挙したようなセンサやカメラは、端末位置検知センサと同様に、２種類以上、または同種のセンサを複数個組み合わせて使用してもよい。組み合わせて使用する場合、個々のセンサの情報を用いることで、動作の確実性を向上させることができる。
【００４２】
表示映像制御装置１０４は、端末位置検知センサ１０２および観察者位置検知センサ１０３により検知されたディスプレイ１０１の位置等および観察者の位置に基づいて、ディスプレイ１０１と観察者との相対的な位置関係を計算し、その位置関係に基づいて光源アレイ１０１ａに表示させる画像を変えるよう制御する。この表示する画像を変えるための制御の詳細は後述する。
【００４３】
このように構成された画像提示装置の原理およびこの原理に基づいた動作について説明する。
【００４４】
上述したとおり、光源アレイ１０１ａとその表示面側に配置された光線制御素子１０１ｂとを組み合わせてディスプレイ１０１を構成することで、複数視点画像を提示することができる画像提示装置が構成される。光源アレイ１０１ａは通常２次元空間に配置され、これらの光源から発する光を観察者が観察できる範囲を、光線制御素子１０１ｂが制限することで、観察者に対して複数視点画像を提示する。この複数視点画像を提示する原理を示す概念図を図７に示す。なお、図７において、光線制御素子１０１ｂは、遮蔽部と開口部とが周期的に繰り返して形成されているバリア（パララックスバリア）であるが、シリンドリカルレンズを周期的に配置したレンチキュラシートのようなものでもよい。
【００４５】
図７は、光線制御素子１０１ｂとしてパララックスバリアを採用した場合の光源と視域との関係を説明する説明図であり、従来の４視点ディスプレイと同様の構成であって、同様の作用を奏するものである。従来の４視点３Ｄディスプレイとしてみた場合、光源１〜４により三次元画素ａが構成される。この光源１〜４により構成される三次元画素aは、それぞれ図７に示される矢印で示した方向へ、その方向にあった視線画像を提示するよう表示映像制御装置１０４により制御されている。すなわち、視線により提示される画像は異なるように光線制御手段により制御されている。また、３Ｄディスプレイではなく、観察者の位置に応じて４つの異なる画像を提示するディスプレイとしてみた場合も同様の方法で本実施形態を実施できる。
【００４６】
図７に示すように、観察者はスリットＡを通して光源アレイ１０１ａから出力される光（画像）を観察することができる。そして、観察者（さらに正確にいえば眼球）の位置に応じて視認できる光源１〜４は異なるために複数視点画像を観察者に提示することができ、両眼に異なる光源が視認されるよう制御することで三次元映像を提示することが可能となる。ここで、実際には観察者はすべての領域で正しくこれらの映像を視認できるわけではなく、各光源１〜４を観察者が視認できる範囲には制限がある。以下、図８を用いて説明する。
【００４７】
光線制御素子１０１ｂには、それぞれ光源１〜４により構成される三次元画素ａ〜ｃに対応するスリットＡ〜Ｃが形成されており、各々の光源１〜４は本来そのスリットＡ〜Ｃを通して観察されることが想定されている。図８に示すように、光源1は、３次元画素aを構成する４光源のうちのひとつであり、スリットＡを通して観察されることが想定されている。すなわち、図８の視域Ａ＿１で示された領域に観察者がいるとき、想定されたとおりスリットＡを通して光源１による画像は、観察者に観察される。本実施形態では、この領域を、「通常視域」と呼ぶことにする。
【００４８】
一方、観察者が、光源１とスリットＢとを結ぶ線上に移動した場合（視域Ｂ＿１）、または光源１とスリットＣとを結ぶ線上に移動した場合（視域Ｃ＿１）には、光源１から発せられる画像は繰り返し画像として観察者に観察される。本実施形態では、この領域を「繰り返し領域」と呼ぶ。また、通常視域でも、繰り返し領域でもない領域では、観察者は光源１による画像を、どのスリットを通じても観察することができないため、本実施形態では「遮蔽領域」と呼ぶことにする。
【００４９】
本実施形態においては、各光源１〜４に対する観察者の位置を、端末位置検知センサ１０２と観察者位置検知センサ１０３とが検知する。すなわち、端末の位置と観察者の位置との組み合わせもしくは端末と観察者との相対位置関係を、端末位置検知センサ１０２と観察者位置検知センサ１０３とが計算することができる。表示映像制御装置１０４は、端末位置検知センサ１０２および観察者位置検知センサ１０３から出力されたディスプレイ１０１の位置と観察者の位置のそれぞれまたはその相対位置関係に基づいて、観察者が各光源１〜４に対して通常視域、繰り返し領域、または遮蔽領域のどの位置にいるかを推定し、光源アレイ１０１ａに表示させる情報（画像）を制御することができる。
【００５０】
具体的な状態について図９、図１０を用いて説明する。図９に示すように、表示映像制御装置１０４は、本来三次元画素ｄを形成するはずの光源に対し、三次元画素ｃを構成する第５の光源（画素）であるかのように視線画像を表示させる場合がある。この場合には、繰り返し画像を感知させることになり、または画像に対して不自然さを受けることになる。このため、表示映像制御装置１０４は、観察者Ｐの位置が繰り返し領域となる光源全てについて、後述するような、繰り返し領域において不自然さを与えることのない処理を行うよう光源アレイ１０１ａを制御することになる。
【００５１】
なお、表示映像制御装置１０４は、繰り返し画像を発生する光源に表示する情報の制御として、隣接する三次元画素を構成する光源に新たな視線画像を表示させるかわりに、なにも表示しない、すなわち光源を点灯させないよう処理してもよい。この場合、視域が拡大する効果は得られないが、従来問題であった繰り返し画像が確認されることはなくなる。
【００５２】
以下、詳細な処理について説明する。本実施形態においては、以上説明したとおり、表示映像制御装置１０４は、光源アレイ１０１ａを構成する各光源と観察者との位置関係を、端末位置検知センサ１０２と観察者位置検知センサ１０３とにより得られた位置情報をもとに推定し、光源アレイ１０１ａにおける各光源に表示する情報を制御する。ここで、表示映像制御装置１０４は、推定された各光源と観察者との位置関係によって、光源に提示する情報を切り替えることになる。
【００５３】
例えば、図１０のような場合を考える。はじめ、観察者Ｐは、光源１にとって通常視域である位置（ｎ）におり、光源１から発せられる光から構成される画像を観察することができる。その後、観察者Ｐ（の眼球）は図１０に示した位置（ｍ）に移動する。このとき、図１０に示した矢印で示した視線である光を出力する光源に対しては、観察者Ｐは通常視域に位置しているが、光源１に対しては、観察者Ｐは遮蔽領域内にいることになる。ここまでは、観察者Ｐは、繰り返し画像を視認することはない。この位置から、図１１に示した位置（ｌ）に観察者Ｐが移動した場合（ディスプレイ１０１と観察者との位置関係が変化した場合を含む）、スリットＣを通じて観視できる光源は、本来の三次元画素cを構成する４光源のうちの一つではなく、三次元画素ｃに隣接する三次元画素ｄを構成する光源１となり、繰り返し画像を提示することになる。
【００５４】
このとき、図１０に示した観察者Ｐの位置（ｍ）は、三次元画素ｄの光源１に対する遮蔽領域であり、ここで光源１に表示する情報を変更しても、観察者がそれを視認することはない。すなわち、観察者が図１０に示される位置（ｍ）にいるとき、観察者が移動する可能性を考え、予め光源1に表示させる情報を変更しておくことで、表示が切り替わったことを観察者に認識させることなく表示する映像を変更することができる。例えば、スリットＡおよびＢからの画像、すなわちその発光元となる光源に基づいて、当該画像を補足するための画像をスリットＣを介して出力させるように、光源１は制御される。これにより、不自然な画像を観察者に提示させることができるとともに、観察者が視認することができる画像を多くすることができ、より見やすい画像を観察者に提供することができる。
【００５５】
ところで、光源１から発せられる光を変えるタイミングについては、表示映像制御装置１０４が、遮蔽領域にある光源に対して図１２に示される処理を行うことで可能となる。
【００５６】
図１２に示される光源１は、スリットＡを通して観視することが想定されて設計されている光源であり、その通常視域は図中の領域（ア）である。また、領域（ア）より上方の領域には、遮蔽領域（イ）があり、さらにその上方にスリットＢを通して光源１が観視できる位置に、繰り返し領域（ウ）がある。一般に、光源の観視領域は、通常視域がひとつだけあり、その両側に遮蔽領域が、さらにその両側に繰り返し領域があり、その先遮蔽領域と繰り返し領域が交互に現れるようになっている。
【００５７】
ここで、遮蔽領域（イ）を二等分に分割することにより、その両側（図中における上下）に存在する通常視域または遮蔽領域のどちらに近いかによって、領域（イ’）および領域（イ’’）を定める。観察者が遮蔽領域（イ）にいるとき、光源１はどのスリットＡ、Ｂを通じても観察することはできない。そのため、どのような情報が表示されていても、すなわち、例えば光源アレイが液晶ディスプレイであった場合には、光源１に対応する画素が点灯していても点灯していなくても観察者は視認することができない。
【００５８】
このように観察者にとって光源が見えない状態を利用して、観察者が領域（イ’）、つまり通常視域に近い遮蔽領域にいる場合には、観察者はスリットＡを通じて観察することが想定されることから、三次元画素aを構成する光源１は、三次元画素ａとしての情報を提示するように制御される。逆に、観察者が領域（イ’’）、つまり繰り返し領域に近い遮蔽領域にいる場合には、光源１は三次元画素ｂを構成する情報をあらかじめ提示しておくよう制御されることで、観察者の位置が、遮蔽領域から通常視域もしくは繰り返し領域に移動した際に映像の不自然さを認識させることなく視域の広い自然な三次元画像を提示することができる。
【００５９】
ここで具体的な制御方法について説明する。表示映像制御装置１０４は、端末位置検知センサ１０２および観察者位置検知センサ１０３のそれぞれで検知された位置情報に基づいて、観察者Ｐは領域（イ’）または領域（イ’’）のいずれかにいるかを判断し、光源１で出力させる画像を変えるよう制御することができる。ここで領域（イ’）または（イ’’）のいずれに観察者が位置するかは、光源１、スリットＡ、およびスリットＢの相対的な位置関係にしたがって、領域（イ’）と領域（イ’’）との境界線が定まることから、その境界線より繰り返し領域（ウ）側に観察者が位置する場合には、領域（イ’）に観察者はいると、表示映像制御装置１０４は判断することができる。また、その境界線より通常視域（ア）側に観察者が位置する場合には、観察者は領域（イ’’）にいると、表示映像制御装置１０４は判断することができる。
【００６０】
以上説明したとおり、本実施形態は、基本的に光線制御素子１０１ｂをパララックスバリアと想定して説明しているが、光線制御素子１０１ｂがレンズやＨＯＥなどであっても、各光源に対して同様に通常視域、遮蔽領域、繰り返し領域を規定することができ、上述と同様の処理を行って本実施形態における画像提示装置を実現することができる。つぎに、光線制御素子１０１ｂがシリンドリカルレンズであった場合の水平方向に対する通常視域、遮蔽領域、繰り返し領域の例を示す。図１３は、光線制御素子１０１ｂがシリンドリカルレンズを用いたときの、通常視域、遮蔽領域、繰り返し領域を説明する説明図である。
【００６１】
図１３では、スリットＡおよびスリットＢが、シリンドリカルレンズに変わったのみで、各光源に対し、通常視域、繰り返し領域、遮蔽領域を同様に定義することができ、同様の処理で本実施形態の画像提示装置を実施することが可能である。また、逆に、上記に示したように、光源と観察者との位置関係において、光源を視認できる領域と、視認できない領域が発生するような方式であれば、本実施形態の画像提示装置を実現することが可能である。
【００６２】
また、三次元ディスプレイがレンチキュラ方式のディスプレイであった場合には水平方向に上記のような通常視域、遮蔽領域、繰り返し領域が発生するのみであるが、レンチキュラレンズのではなく通常のレンズアレイであれば、垂直方向に対しても同様に通常視域や繰り返し領域が発生する。この場合水平方向、垂直方向双方に対して視域を拡大することが可能である。
【００６３】
ここで、本実施形態の画像提示装置の作用効果について説明する。この画像提示装置１００は、光源アレイ１０１ａから発せられた光から構成される画像の視認領域を光線制御素子１０１ｂが制限するものであって、この光から構成される画像を観察する観察者の目と光源との相対的な位置関係を端末位置検知センサ１０２および観察者位置検知センサ１０３が検知し、検知された位置関係に応じて、表示映像制御装置１０４は視認領域が制限された画像を構成する光の表示内容を変更することができる。これにより、観察者の視点によって繰り返し画像を観察者に見せることのなく、不自然さのない画像を提示することができる。
【００６４】
ここで光線制御素子１０１ｂとしては、シリンドリカルレンズを連続的に配置したレンチキュラシートであっても良いし、垂直スリットが周期的に配置されたパララックスバリアとしても良い。また、電気的に屈折率や振幅透過率を制御することのできるホログラフィック光学素子としても良い。さらに、レンズを２次元配置したレンズアレイとしても良い。
【００６５】
また、画像提示装置１００は、観察者が予め設定された通常視域（ア）ではない位置に観察者が位置する場合において、繰り返し領域（ウ）である位置に観察者が位置していると、判断された場合には、その一の光源から、通常視域（ア）である位置に対応した画像を出力しないようにすることができる。これにより、観察者の視点によって繰り返し画像を観察者に見せることのなく、不自然さのない画像を提示することができる。
【００６６】
また、画像提示装置１００は、観察者が遮蔽領域（イ）に位置すると検知された場合には、一の光源から、通常視域（ア）である位置に対応した画像を出力しないようにすることができ、予め画像の出力をしないようにしておくことから、確実に観察者の視点によって繰り返し画像を観察者に見せることがない。
【００６７】
また、画像提示装置１００は、観察者が繰り返し領域（ウ）に位置することが検知された場合には、光源アレイ１０１ａの他の光源の光から構成される画像を補足するための光を一の光源から発せさせるようにすることができる。これにより、不自然さのない画像を提示することができるとともに、観察者が視認することができる画像を多くすることができ、より見やすい画像を観察者に提供することができる。
【００６８】
＜第２の実施形態＞
【００６９】
つぎに、第２の実施形態における画像提示装置の構成を以下に示す。この第２の実施形態における画像提示装置１００ａは、図１４に示すように、ディスプレイ１０１（光源アレイ１０１ａ、光線制御素子１０１ｂを含む）、端末位置検知センサ１０２、表示映像制御装置１０４からなる。この第２の実施形態は、第１の実施形態とは異なり、表示映像制御装置１０４は、観察者の位置を把握することなく、端末の位置のみによって光源アレイ１０１ａに表示する内容を制御する。
【００７０】
光源アレイ１０１ａは、第１の実施形態と同様に、例えば液晶ディスプレイの各画素としてもよいし、ＬＥＤなど発光体を配置してもよい。
【００７１】
光線制御素子１０１ｂは、第１の実施形態1と同様に、パララックスバリアであってもよいし、シリンドリカルレンズのような光学素子、あるいはホログラフィック光学素子（HOE）などの光学素子であってもよい。
【００７２】
端末位置検知センサ１０２は、第１の実施形態1と同様に、ディスプレイ１０１に取り付けられた傾きセンサまたは加速度センサであっても良いし、また赤外線センサ、超音波センサ、またはカメラのような撮影装置であってもよい。さらに、これらのセンサを外部環境に設置してディスプレイ１０１の位置、向き、または傾きを少なくとも一つ以上を検知してもよい。端末位置検知センサ１０２の動作については第１の実施形態で説明されている方法と同様の方法でディスプレイ１０１の位置を検知する。
【００７３】
表示映像制御装置１０４は、端末位置検知センサ１０２の情報を受け取り、受け取ったディスプレイ１０１の位置に応じて光源に提示する情報を制御する。
【００７４】
以下、本実施形態における表示映像制御装置１００ａが光源に提示する情報を制御する具体的な方法を第１の実施形態における方法と比較しながら説明する。
【００７５】
第１の実施形態においては、観察者位置検知センサ１０３によって観察者の位置を検知し、端末位置検知センサ１０２で取得したディスプレイ１０１の位置との相対関係によって、観察者が各光源に対して通常視域、遮蔽領域、繰り返し領域のうちいずれの位置にいるかを判断した。本実施形態においては、観察者位置検知センサ１０３を用いることなく、観察者の位置をあらかじめ定めておき、表示映像制御装置１０４が、想定した観察者の位置に対するディスプレイ１０１の位置を推定することで観察者が通常視域、遮蔽領域、繰り返し領域のいずれの位置にあるかを推定する。あらかじめ定めて（想定して）おく観察者の位置は、ディスプレイ１０１の中心に対して正面方向とし，距離はディスプレイ１０１の形状をもとに決めてもよいし、表示コンテンツをもとに決めてもよい。いずれの方法をとった場合にも、想定した観察者の位置と、端末位置検知センサ１０２により取得されたディスプレイ１０１の位置および傾きによって、表示映像制御装置１０４はディスプレイ１０１と観察者との位置関係を推定でき、観察者が通常視域、遮蔽領域、繰り返し領域のいずれにいるか判断できる。
【００７６】
ここで、本実施形態の作用効果について説明する。本実施形態では、上述第１の実施形態における作用効果に加えて、光源の位置および観察者の視線に対する傾きを検知することにより、またいずれか一つを検知することにより、観察者と表示される画像との相対的な位置関係を検知することが可能となる。
【００７７】
＜第３の実施形態＞
【００７８】
本発明の第３の実施形態における画像提示装置の構成について説明する。画像提示装置１００ｂは、図１５に示すように、光源アレイ１０１ａ、光線制御素子１０１ｂ、観察者位置検知センサ１０３、表示映像制御装置１０４からなる。本実施形態の画像提示装置１００ｂは、第１の実施形態とは異なり、表示映像制御装置１０４は、ディスプレイ１０１の位置を検知せず、観察者の位置のみによって光源アレイ１０１ａに表示する内容を制御するものである。
【００７９】
光源アレイ１０１ａは、第１の実施形態と同様に、例えば液晶ディスプレイの各画素としてもよいし、ＬＥＤなど発光体を配置してもよい。
【００８０】
光線制御素子１０１ｂは、第１の実施形態と同様に、パララックスバリアであってもよいし、レンズのような光学素子、あるいはホログラフィック光学素子（ＨＯＥ）などの光学素子であってもよい。
【００８１】
観察者位置検知センサ１０３は、第１の実施形態と同様に、観察者に保持させた加速度センサ、赤外線センサ、超音波センサ、またはカメラであってもよいし、ディスプレイ１０１にとりつけた赤外線センサ、超音波センサ、またはカメラであってもよい。さらに、外部環境に設置されている赤外線センサ、超音波センサまたはカメラであってもよい。観察者位置検知センサ１０３の動作については第１の実施形態に記されている方法と同様の方法で観察者の位置、すなわち観察する観察者の目の位置および視線方向のうち、少なくともひとつ以上を検知することができる。
【００８２】
表示映像制御装置１０４は、観察者位置検知センサ１０３から観察者の位置情報を受け取り、受け取った位置情報に基づいて光源に提示する情報を制御する。
【００８３】
以下、本実施形態における表示映像制御装置１０４が光源に提示する情報を制御する具体的な方法を第１の実施形態における方法と比較しながら記述する。
【００８４】
第１の実施形態においては、端末位置検知センサ１０２によってディスプレイ１０１の位置を検知し、観察者位置検知センサ１０３で取得した観察者の位置との相対関係によって、観察者が各光源に対して通常視域、遮蔽領域、繰り返し領域のうちいずれの位置にいるかを判断した。本実施形態においては、端末位置検知センサ１０２を用いず、ディスプレイ１０１の位置をあらかじめ定めて（想定して）おき、想定したディスプレイ１０１の位置に対する観察者の相対位置を推定することで観察者が通常視域、遮蔽領域、繰り返し領域のいずれの位置にいるかを推定することができる。
【００８５】
あらかじめ想定しておくディスプレイ１０１の位置は、初期状態での観察者の位置に対する正面などとしておいてもよいし、ディスプレイ１０１の初期位置のみ記憶しておき、以降ディスプレイ１０１は移動しないこととしてもよいし、観察者の視線方向が常にディスプレイ１０１の中心を見ていることと想定してもよい。なお、観察者位置検知センサ１０３として、ディスプレイ１０１に設置した赤外線センサ、超音波センサ、カメラを用いた場合、検知される観察者の位置は、おのずからディスプレイ１０１に対する観察者の相対位置となるため、表示映像制御装置１０４は、ディスプレイ１０１の位置を特に想定する必要なく、正確なディスプレイ１０１と観察者位置との相対関係を推定することができる。
【００８６】
いずれの方法をとった場合にも、想定したディスプレイ１０１の位置と、観察者位置検知センサ１０３により取得された観察者の位置によってディスプレイ１０１と観察者との位置関係を推定でき、観察者が通常視域、遮蔽領域、繰り返し領域のいずれにいるか判断でき、第１の実施形態で記載したのと同様の処理により本実施形態の画像提示装置１００ｂを実現することができる。
【００８７】
ここで、本実施形態の作用効果について説明する。本実施形態では、上述第１の実施形態における作用効果に加えて、表示される画像を観察する観察者の目の位置および視線方向のうち、少なくともひとつ以上を検知することにより、観察者と表示される画像との相対的な位置関係を検知することが可能となる。
【図面の簡単な説明】
【００８８】
【図１】パララックスバリアを用いたディスプレイの構成を示す構成図である。
【図２】レンチキュラシートを用いたディスプレイの構成を示す構成図である。
【図３】レンチキュラシートを用いたディスプレイにおける視域を説明するための説明図である。
【図４】ＩＰ方式を用いたディスプレイにおける視域を説明するための説明図である。
【図５】レンチキュラシートを用いたディスプレイにおける繰り返し画像が生じる原理を示す説明図である。
【図６】第１の実施形態の画像提示装置の構成を示す構成図である。
【図７】パララックスバリアを用いたディスプレイにおける視線を示す説明図である。
【図８】パララックスバリアを用いたディスプレイにおける視域を示す説明図である。
【図９】パララックスバリアを用いたディスプレイにおける繰り返し画像が生じた例を示す説明図である。
【図１０】パララックスバリアを用いたディスプレイにおける通常画像を提示するときの説明図である。
【図１１】パララックスバリアを用いたディスプレイにおける繰り返し画像に変えて通常画像を提示するときの説明図である。
【図１２】パララックスバリアを用いてディスプレイにおいて画像制御をする際における遮蔽領域を２等分したことを示す説明図である。
【図１３】シリンドリカルレンズを用いたディスプレイにおける説明図である。
【図１４】第２の実施形態の画像提示装置の構成を示す構成図である。
【図１５】第３の実施形態の画像提示装置の構成を示す構成図である。
【符号の説明】
【００８９】
１０…パララックスバリア、１１…レンチキュラシート、１０１…ディスプレイ、１０１ａ、…光源アレイ、１０１ｂ…光線制御素子、１０２…端末位置検知センサ、１０３…観察者位置検知センサ、１０４…表示映像制御装置。
【技術分野】
【０００１】
本発明は、観察者の見る方向によって画像を変えて提示する画像提示装置および画像提示方法に関する。
【背景技術】
【０００２】
映像の提示技術として、液晶ディスプレイなどの光源アレイの前面に、パララックスバリアなどの遮蔽物、レンチキュラシート若しくはレンズアレイなどの光学素子を設置することで、観察者から視認可能な光源を制御するものが知られている。この提示技術は、観察者の位置により観察される画像が変わるため、視差を生じる。これは、両眼を用いて観察した場合、両眼視差を実現することができるため、三次元ディスプレイなどに応用されているほか、たとえば自動車の運転席と助手席で同一のディスプレイを観察した場合に、それぞれ観察者にとって観察される映像を異ならしめることができる画像提示装置として応用されている。
【０００３】
図１がパララックスバリアを用いたディスプレイの例を示す説明図であり、図２がレンチキュラシートを用いたディスプレイの例を示す説明図である。図１および２において、このディスプレイは光源アレイ（光源１〜８）を備えており、例えばこの光源アレイは、液晶ディスプレイの各画素に対応するものである。図１および２では、光源１、３、５から生じる光が、それぞれ対応する矢印の方向から視認できることが示されている。その他の光源については図示していないが、同様にそれぞれ対応する角度方向から視認できる。いずれの技術においても、各光源アレイが視認できる領域は制限され、これによって両眼視差を生じさせることで立体映像を提示することができる。図１および２に示したディスプレイは４眼ディスプレイの場合の例であるが、ステレオディスプレイ（２眼）の場合や、さらに多くの視点画像を表示するような多眼型ディスプレイの場合にも、原理的には同様である。
【０００４】
なお、図２のレンチキュラシートをマイクロレンズアレイに置き換え、上下方向にも同様に光源から発生する光の方向を制御することで、左右上下どの方向から見てもその位置に応じて異なる映像を視認できる方式もあり、この方式はインテグラル・フォトグラフィ（ＩＰ）と呼ばれている。
【０００５】
光源アレイの前面（光源の出力面）に、例えばスリットを定期的に繰り返すパララックスバリア１０や、レンチキュラシート１１、レンズアレイなどの光線制御素子を置いて視差を生じさせることによって観察位置により異なる映像を提示する場合、いくつかの光源アレイに対して前述の光線制御素子は観察者が視認できる範囲を制御し、多眼（２眼、すなわちステレオも含む）表示を実現している。例えば４眼の場合、４個の光源（すなわち４画素）に対してスリット、またはレンチキュラシートを構成するシリンドリカルレンズが配置され、これらスリットまたはシリンドリカルレンズは光源から生じる光を観察者が視認できる領域を制御する。
【０００６】
この４個の光源の組は、これらの装置の基本的な応用分野である三次元ディスプレイとして用いる場合、三次元映像を提示する上で三次元映像の最小単位となるため、ここでは三次元画素と呼ぶこととする。従来のパララックスバリア、レンチキュラシート、またはレンズアレイなどを用いた方式では、各三次元画素に対して、正常に立体映像を観察することができる領域が存在する。
【０００７】
図３は、レンチキュラシートを用いた場合の立体映像を観察することができる領域を示す説明図である。図３に示すように、三次元画素（光源５〜８）に対するレンチキュラシート１１を構成するシリンドリカルレンズの作用により、光の出力方向が変わり、光を視認できる領域、すなわち視域が発生する。また、パララックスバリア方式の場合も原理的には同様であり、配置されているレンチキュラシートが、遮蔽部と開口とが周期的に繰り返す素子となるのみである（図１を参照）。
【０００８】
また、ＩＰ方式の場合も、断面図の形状は図３と同様であるが、光線制御素子がレンチキュラシートではなくレンズアレイとなるため、垂直方向にも同様の断面図となり、三次元画素ｂは２次元配置された光源の集合により形成されるものとなる。図４は、縦方向３視差の三次元画素ｂ１、横方向３視差の三次元画素ｂ２からなる、９視点ＩＰ方式を用いた場合の例を示す説明図である。図４では光源の視認方向を示す矢印は中央縦３視差のみ示されているが、光線制御素子であるレンチキュラシート１１は縦横９方向について同様に視差を制御している。
【０００９】
上述したように、観察者の位置に応じて表示する画像を変えること技術として、例えば、特許文献１（特願平７−２７０７４５号公報）および特許文献２（特開２００２−２９６５４０号公報）が挙げられる。この特許文献１および２に記載の技術は、立体映像表示装置に関するものであって、左眼用の画素および右眼用の画素を表示することにより立体的な映像を表示することができるとともに、観察者の位置に応じた映像を、バリアをオンオフすることにより表示することができる技術が記載されている。
【特許文献１】特開平７−２７０７４５号公報
【特許文献２】特開２００２−２９６５４０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ここで、すべての三次元画素について、観察者（正確には、観察者の両眼）が上記の視域内にある場合（図３または図４参照）、三次元画像は正しく観察されるが、視域の外側の範囲に観察者がいる場合、本来その位置で観察するよう設計されていないはずの光源の光が見えてしまう場合がある。これを、繰り返し画像と呼ぶ。図５にレンチキュラ方式の場合の繰り返し画像が視認されるときの状況を示す。図５中の光源１〜４は、三次元画素ａを構成し、光源５〜８は、三次元画素ｂを構成しているが、図５に示したように、観察者が三次元画素ａの本来の視域外から観察した場合、本来意図していない方向に光源５による画像を視認できてしまう。従来の三次元ディスプレイにおいては、この繰り返し画像の存在により、観察者の位置によって表示された三次元画像を不自然に感じてしまうことがあり，映像を観察できる視域が制限されることがあった。また、三次元ディスプレイとして用いない場合であっても、複数の視点画像を提示する上で、視点位置を移動していくと同様に一度視認できた映像が再度見えてしまい、観察者にとって不自然に感じさせてしまうといった問題があった。
【００１１】
この問題は、上述特許文献１および２に記載の技術においても同様であり、さらに特許文献１および２に記載の技術においては、観察者の位置が連続的に変化した場合、表示を切り替えるためのバリアの動きおよび偏光板のスイッチのオンオフにより画面がちらつくといった問題があった。
【００１２】
そこで、上述の課題を解決するために、本発明は、観察者の視点によって繰り返し画像を観察者に見せることのなく、不自然さのない画像を提示することができる画像提示装置および画像提示方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上述の課題を解決するために、本発明の画像提示装置は、提示する画像を構成する複数の画素に対応した光を発する光源を有する光源手段と、上記光源手段により発せられた光から構成される画像の視認領域を制限する光線制御手段と、上記光源手段により発せられた光から構成される画像を観察する観察者の目と上記光源手段および光線制御手段との相対的な位置関係を検知する検知手段と、上記検知手段により検知された位置関係に応じて、上記光線制御手段により視認領域が制限された画像を構成する光の表示内容を変更するよう上記光源手段を制御する画像制御手段とを備えている。
【００１４】
また、本発明の画像提示方法は、提示する画像を構成する複数の画素に対応した光を発する光源を有する光源手段と、上記光源手段により発せられた光から構成される画像の視認領域を制限する光線制御手段と、を備える画像提示装置の画像提示方法において、上記光源手段により発せられた光から構成される画像を観察する観察者の目と上記光源手段および光線制御手段との相対的な位置関係を検知する検知ステップと、上記検知ステップにより検知された位置関係に応じて、上記光線制御手段により視認領域が制限された画像を構成する光の表示内容を変更するよう上記光源手段を制御する画像制御ステップとを備えている。
【００１５】
この構成により、光源から発せられた光から構成される画像の視認領域を制限し、この光から構成される画像を観察する観察者の目と光源との相対的な位置関係を検知し、検知された位置関係に応じて、視認領域が制限された画像を構成する光の表示内容を変更することができる。これにより、観察者の視点によって繰り返し画像を観察者に見せることのなく、不自然さのない画像を提示することができる。
【００１６】
また、本発明の画像提示装置の光源手段は、光源アレイを用いて画像を提示することが好ましい。この構成により、光源アレイを用いて画像を提示することができる。
【００１７】
また、本発明の画像提示装置の光線制御手段は、シリンドリカルレンズを連続的に配置したレンチキュラシートであることが好ましい。
【００１８】
また、本発明の画像提示装置の光線制御手段は、垂直スリットが周期的に配置されたパララックスバリアであることが好ましい。
【００１９】
また、本発明の画像提示装置の光線制御手段は、電気的に屈折率や振幅透過率を制御することのできる液晶レンズ、またはホログラフィック光学素子であることが好ましい。
【００２０】
また、本発明の画像提示装置の光線制御手段は、レンズを２次元配置したレンズアレイであることが好ましい。
【００２１】
また、本発明の画像提示装置の上記検知手段は、上記光源手段と上記光線制御手段とから構成されるディスプレイ手段の位置および観察者の視線に対する傾き、並びに上記ディスプレイ手段で表示される画像を観察する観察者の目の位置および視線方向のうち、少なくともひとつ以上を検知することが好ましい。
【００２２】
この構成により、光源の位置および観察者の視線に対する傾き、並びに表示される画像を観察する観察者の目の位置および視線方向のうち、少なくともひとつ以上を検知することにより、観察者と表示される画像との相対的な位置関係を検知することが可能となる。
【００２３】
また、本発明の画像提示装置の画像制御手段は、上記観察者が上記光源手段の一の光源からの光から構成される画像を視認できる予め設定された通常視域ではない位置に観察者が位置する場合において、当該観察者の位置から上記一の光源からの光から構成される画像を視認することが可能な繰り返し領域である位置に上記観察者が位置していると、上記検知手段により判断された場合には、上記光源手段の一の光源からの光から、上記通常視域である位置に対応した画像を出力しないよう上記光源手段を制御することを特徴とすることが好ましい。
【００２４】
この構成により、上記観察者が予め設定された通常視域ではない位置に観察者が位置する場合において、繰り返し領域である位置に観察者が位置していると、判断された場合には、その一の光源から、通常視域である位置に対応した画像を出力しないようにすることができる。これにより、観察者の視点によって繰り返し画像を観察者に見せることのなく、不自然さのない画像を提示することができる。
【００２５】
また、本発明の画像提示装置の画像制御手段は、上記一の光源からの光を観察することができない遮蔽領域に上記観察者が位置すると上記検知手段により検知された場合に、上記光源手段から発せられる、上記通常視域に対する画像を出力しないよう上記光源手段を制御することが好ましい。
【００２６】
この構成により、観察者が遮蔽領域に位置すると検知された場合には、一の光源から、通常視域である位置に対応した画像を出力しないようにすることができ、予め画像の出力をしないようにしておくことから、確実に観察者の視点によって繰り返し画像を観察者に見せることがない。
【００２７】
また、本発明の画像提示装置の画像制御手段は、観察者が上記一の光源にとっての繰り返し領域に位置することが上記検知手段により検知された場合、当該位置が通常視域とする他の光源から発せられる光から構成される画像を補足するための光を前記一の光源から発せさせるよう前記光源手段を制御することが好ましい。
【００２８】
この構成により、観察者が繰り返し領域に位置することが検知された場合には、上記光源手段の他の光源の光から構成される画像を補足するための光を一の光源から発せさせるようにすることができる。これにより、不自然さのない画像を提示することができるとともに、観察者が視認することができる画像を多くすることができ、より見やすい画像を観察者に提供することができる。
【発明の効果】
【００２９】
本発明は、観察者の視点によって繰り返し画像を観察者に見せることのなく、不自然さのない画像を提示することができる。
【発明を実施するための最良の形態】
【００３０】
本発明は、一実施形態のために示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解することができる。引き続いて、添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００３１】
＜第１の実施形態＞
【００３２】
第１の実施形態に係る画像提示装置は、図６に示すように、ディスプレイ１０１（光源アレイ１０１ａ（光源手段）、光線制御素子１０１ｂ（光線制御手段）を含む）、端末位置検知センサ１０２（検知手段）、観察者位置検知センサ１０３（検知手段）、表示映像制御装置１０４（画像制御手段）から構成されている。
【００３３】
ディスプレイ１０１は、光源アレイ１０１ａ、光線制御素子１０１ｂを含んで構成されている。
【００３４】
光源アレイ１０１ａは、複数視点画像を形成する光の光源であり、画素単位の画像を複数出力するものである。光源アレイ１０１ａは、例えば液晶ディスプレイの各画素としてもよいし、ＬＥＤなど発光体を配置してもよい。
【００３５】
光線制御素子１０１ｂは、光源アレイ１０１ａの表示面側に配置され、光源アレイ１０１ａを構成する個々の光源を視認できる位置を制限するものである。例えば、光線制御素子１０１ｂは、光源アレイ１０１ａから出力された光を遮蔽するパララックスバリアであってもよいし、光線の方向を制御するシリンドリカルレンズのような光学素子であるレンチキュラシート、あるいは電気的に光の屈折率や透過率を制御する液晶レンズやホログラフィック光学素子（ＨＯＥ：holographic optical element）などの光学素子であってもよい。
【００３６】
端末位置検知センサ１０２は、ディスプレイ１０１の位置、向き、または傾きのうち少なくともひとつ以上を検知するセンサである。この端末位置検知センサ１０２は、ディスプレイ１０１に取り付けられた傾きセンサまたは加速度センサでも良いし、赤外線センサ、超音波センサ、またはカメラ（撮影装置）であってもよい。また、これらのセンサを外部環境に設置してディスプレイ１０１の位置、向きまたは傾きを検知してもよい。これらセンサから構成される端末位置検知センサ１０２は、ディスプレイ１０１が存在する空間上の位置、向きまたは傾きを検知することができる。この端末位置検知センサ１０２が検知するディスプレイの位置は、空間上に仮想的にx、y、zの３軸で特定され、ディスプレイ１０１がその座標軸上のどの点にあるかを端末位置検知センサ１０２が検知し、またディスプレイ１０１の向きがどの方向を向いているかを検知することができる。
【００３７】
具体的には、端末位置検知センサ１０２は、ディスプレイ１０１を構成する部分のうち、異なる３点以上の部分とその位置を検知することにより、上記ディスプレイ１０１の空間上の位置、および傾きを決定できる。同様に、端末位置検知センサ１０２は、ディスプレイ１０１の構成部分である１点およびディスプレイ１０１そのものの３軸に対する傾き角を検知することにより、ディスプレイ１０１の空間上の位置、およびその傾きを決定できる。これらのディスプレイ１０１の位置を推定するセンサとして、上記の傾きセンサ、加速度センサ、赤外線センサ、超音波などのセンサ、またはカメラなどを利用することができる。傾きセンサまたは加速度センサは、３軸に対する傾き角、角速度、角加速度、移動速度、および加速度を検知することができ、これら検知した情報をディスプレイ１０１の位置または３軸に対する傾き角に変換することができる。
【００３８】
また、赤外線センサや超音波センサなどを用いる場合、この赤外線センサまたは超音波センサは赤外線や超音波をディスプレイ１０１に向けて発し、その反射を受信してディスプレイ１０１の位置を推定することができる。また、ディスプレイ１０１に備え付けられた赤外線／超音波発生装置が外部環境に向けて赤外線や超音波を発し、その反射を受信することにより、ディスプレイ１０１の位置を推定することもできる。また、端末位置検知センサ１０２としてカメラを用いる場合、カメラ画像からディスプレイ１０１の位置や傾きを推定することができる。この場合、外部環境やディスプレイ１０１そのものに特徴点となるマーカのようなものを設置するか、または画像処理によって特徴点を抽出することにより、ディスプレイ１０１の位置または傾きを推定してもよい。
【００３９】
上記列挙したように、端末位置検知センサ１０２としてのセンサやカメラは、２種類以上の装置を組み合わせて使ってもよいし、同種のセンサを複数個組み合わせて使用してもよい。これらのセンサを組み合わせて使用する場合、個々のセンサの情報を用いることで、動作の確実性を向上させることができる。例えばカメラなどの装置は外部環境の明るさなどに大きな影響を受けるが、傾きセンサなどは明るさなどの影響を受けない。一方で、傾きセンサは通常初期状態に対する傾き量の変化を評価するため誤差の累積が問題になる場合があるほか，直接的に観察者の位置を検出するわけではないため精度が低い。このため、カメラと傾きセンサの両者を組み合わせて使うことでこれらの欠点を補いながら動作させることが好ましい。
【００４０】
観察者位置検知センサ１０３は、観察者の位置を検知するセンサである。ここで、観察者の位置は、ディスプレイ１０１に対する相対位置であってもよいし、空間上に規定された仮想的なx、y、zの３軸に対する座標値であってもよい。観察者位置検知センサ１０３は、観察者に保持させた加速度センサ、赤外線センサ、超音波センサ、またはカメラであってもよいし、ディスプレイ１０１に取り付けられた赤外線センサ、超音波センサ、またはカメラであってもよいし、外部環境に設置されている赤外線センサ、超音波センサ、またはカメラであってもよい。観察者の位置としては、理想的には、観察者の両眼の位置をそれぞれ推定できることが望ましいが、観察者の顔の位置など，代表的な部位を利用してもよい。
【００４１】
観察者位置検知センサ１０３として、観察者に保持させた加速度センサ、赤外線センサ、超音波センサ、またはカメラを用いる場合、およびこれらのセンサ類を外部環境に設置した場合、端末位置検知センサ１０２と同様の処理を行って観察者の位置を推定することができる。また、ディスプレイ１０１にこれらのセンサやカメラを設置して観察者の位置推定を行う場合、取得できる情報は、ディスプレイ１０１に対する相対的な位置を示す情報となる。なお、カメラなどの撮影装置を用い、観察者そのものを撮影して観察者の位置を推定する場合には、端末位置を検知する際に用いたマーカなどに加え、画像から顔の検出／認識を行う技術を用いて観察者の位置を推定することも可能である。上記列挙したようなセンサやカメラは、端末位置検知センサと同様に、２種類以上、または同種のセンサを複数個組み合わせて使用してもよい。組み合わせて使用する場合、個々のセンサの情報を用いることで、動作の確実性を向上させることができる。
【００４２】
表示映像制御装置１０４は、端末位置検知センサ１０２および観察者位置検知センサ１０３により検知されたディスプレイ１０１の位置等および観察者の位置に基づいて、ディスプレイ１０１と観察者との相対的な位置関係を計算し、その位置関係に基づいて光源アレイ１０１ａに表示させる画像を変えるよう制御する。この表示する画像を変えるための制御の詳細は後述する。
【００４３】
このように構成された画像提示装置の原理およびこの原理に基づいた動作について説明する。
【００４４】
上述したとおり、光源アレイ１０１ａとその表示面側に配置された光線制御素子１０１ｂとを組み合わせてディスプレイ１０１を構成することで、複数視点画像を提示することができる画像提示装置が構成される。光源アレイ１０１ａは通常２次元空間に配置され、これらの光源から発する光を観察者が観察できる範囲を、光線制御素子１０１ｂが制限することで、観察者に対して複数視点画像を提示する。この複数視点画像を提示する原理を示す概念図を図７に示す。なお、図７において、光線制御素子１０１ｂは、遮蔽部と開口部とが周期的に繰り返して形成されているバリア（パララックスバリア）であるが、シリンドリカルレンズを周期的に配置したレンチキュラシートのようなものでもよい。
【００４５】
図７は、光線制御素子１０１ｂとしてパララックスバリアを採用した場合の光源と視域との関係を説明する説明図であり、従来の４視点ディスプレイと同様の構成であって、同様の作用を奏するものである。従来の４視点３Ｄディスプレイとしてみた場合、光源１〜４により三次元画素ａが構成される。この光源１〜４により構成される三次元画素aは、それぞれ図７に示される矢印で示した方向へ、その方向にあった視線画像を提示するよう表示映像制御装置１０４により制御されている。すなわち、視線により提示される画像は異なるように光線制御手段により制御されている。また、３Ｄディスプレイではなく、観察者の位置に応じて４つの異なる画像を提示するディスプレイとしてみた場合も同様の方法で本実施形態を実施できる。
【００４６】
図７に示すように、観察者はスリットＡを通して光源アレイ１０１ａから出力される光（画像）を観察することができる。そして、観察者（さらに正確にいえば眼球）の位置に応じて視認できる光源１〜４は異なるために複数視点画像を観察者に提示することができ、両眼に異なる光源が視認されるよう制御することで三次元映像を提示することが可能となる。ここで、実際には観察者はすべての領域で正しくこれらの映像を視認できるわけではなく、各光源１〜４を観察者が視認できる範囲には制限がある。以下、図８を用いて説明する。
【００４７】
光線制御素子１０１ｂには、それぞれ光源１〜４により構成される三次元画素ａ〜ｃに対応するスリットＡ〜Ｃが形成されており、各々の光源１〜４は本来そのスリットＡ〜Ｃを通して観察されることが想定されている。図８に示すように、光源1は、３次元画素aを構成する４光源のうちのひとつであり、スリットＡを通して観察されることが想定されている。すなわち、図８の視域Ａ＿１で示された領域に観察者がいるとき、想定されたとおりスリットＡを通して光源１による画像は、観察者に観察される。本実施形態では、この領域を、「通常視域」と呼ぶことにする。
【００４８】
一方、観察者が、光源１とスリットＢとを結ぶ線上に移動した場合（視域Ｂ＿１）、または光源１とスリットＣとを結ぶ線上に移動した場合（視域Ｃ＿１）には、光源１から発せられる画像は繰り返し画像として観察者に観察される。本実施形態では、この領域を「繰り返し領域」と呼ぶ。また、通常視域でも、繰り返し領域でもない領域では、観察者は光源１による画像を、どのスリットを通じても観察することができないため、本実施形態では「遮蔽領域」と呼ぶことにする。
【００４９】
本実施形態においては、各光源１〜４に対する観察者の位置を、端末位置検知センサ１０２と観察者位置検知センサ１０３とが検知する。すなわち、端末の位置と観察者の位置との組み合わせもしくは端末と観察者との相対位置関係を、端末位置検知センサ１０２と観察者位置検知センサ１０３とが計算することができる。表示映像制御装置１０４は、端末位置検知センサ１０２および観察者位置検知センサ１０３から出力されたディスプレイ１０１の位置と観察者の位置のそれぞれまたはその相対位置関係に基づいて、観察者が各光源１〜４に対して通常視域、繰り返し領域、または遮蔽領域のどの位置にいるかを推定し、光源アレイ１０１ａに表示させる情報（画像）を制御することができる。
【００５０】
具体的な状態について図９、図１０を用いて説明する。図９に示すように、表示映像制御装置１０４は、本来三次元画素ｄを形成するはずの光源に対し、三次元画素ｃを構成する第５の光源（画素）であるかのように視線画像を表示させる場合がある。この場合には、繰り返し画像を感知させることになり、または画像に対して不自然さを受けることになる。このため、表示映像制御装置１０４は、観察者Ｐの位置が繰り返し領域となる光源全てについて、後述するような、繰り返し領域において不自然さを与えることのない処理を行うよう光源アレイ１０１ａを制御することになる。
【００５１】
なお、表示映像制御装置１０４は、繰り返し画像を発生する光源に表示する情報の制御として、隣接する三次元画素を構成する光源に新たな視線画像を表示させるかわりに、なにも表示しない、すなわち光源を点灯させないよう処理してもよい。この場合、視域が拡大する効果は得られないが、従来問題であった繰り返し画像が確認されることはなくなる。
【００５２】
以下、詳細な処理について説明する。本実施形態においては、以上説明したとおり、表示映像制御装置１０４は、光源アレイ１０１ａを構成する各光源と観察者との位置関係を、端末位置検知センサ１０２と観察者位置検知センサ１０３とにより得られた位置情報をもとに推定し、光源アレイ１０１ａにおける各光源に表示する情報を制御する。ここで、表示映像制御装置１０４は、推定された各光源と観察者との位置関係によって、光源に提示する情報を切り替えることになる。
【００５３】
例えば、図１０のような場合を考える。はじめ、観察者Ｐは、光源１にとって通常視域である位置（ｎ）におり、光源１から発せられる光から構成される画像を観察することができる。その後、観察者Ｐ（の眼球）は図１０に示した位置（ｍ）に移動する。このとき、図１０に示した矢印で示した視線である光を出力する光源に対しては、観察者Ｐは通常視域に位置しているが、光源１に対しては、観察者Ｐは遮蔽領域内にいることになる。ここまでは、観察者Ｐは、繰り返し画像を視認することはない。この位置から、図１１に示した位置（ｌ）に観察者Ｐが移動した場合（ディスプレイ１０１と観察者との位置関係が変化した場合を含む）、スリットＣを通じて観視できる光源は、本来の三次元画素cを構成する４光源のうちの一つではなく、三次元画素ｃに隣接する三次元画素ｄを構成する光源１となり、繰り返し画像を提示することになる。
【００５４】
このとき、図１０に示した観察者Ｐの位置（ｍ）は、三次元画素ｄの光源１に対する遮蔽領域であり、ここで光源１に表示する情報を変更しても、観察者がそれを視認することはない。すなわち、観察者が図１０に示される位置（ｍ）にいるとき、観察者が移動する可能性を考え、予め光源1に表示させる情報を変更しておくことで、表示が切り替わったことを観察者に認識させることなく表示する映像を変更することができる。例えば、スリットＡおよびＢからの画像、すなわちその発光元となる光源に基づいて、当該画像を補足するための画像をスリットＣを介して出力させるように、光源１は制御される。これにより、不自然な画像を観察者に提示させることができるとともに、観察者が視認することができる画像を多くすることができ、より見やすい画像を観察者に提供することができる。
【００５５】
ところで、光源１から発せられる光を変えるタイミングについては、表示映像制御装置１０４が、遮蔽領域にある光源に対して図１２に示される処理を行うことで可能となる。
【００５６】
図１２に示される光源１は、スリットＡを通して観視することが想定されて設計されている光源であり、その通常視域は図中の領域（ア）である。また、領域（ア）より上方の領域には、遮蔽領域（イ）があり、さらにその上方にスリットＢを通して光源１が観視できる位置に、繰り返し領域（ウ）がある。一般に、光源の観視領域は、通常視域がひとつだけあり、その両側に遮蔽領域が、さらにその両側に繰り返し領域があり、その先遮蔽領域と繰り返し領域が交互に現れるようになっている。
【００５７】
ここで、遮蔽領域（イ）を二等分に分割することにより、その両側（図中における上下）に存在する通常視域または遮蔽領域のどちらに近いかによって、領域（イ’）および領域（イ’’）を定める。観察者が遮蔽領域（イ）にいるとき、光源１はどのスリットＡ、Ｂを通じても観察することはできない。そのため、どのような情報が表示されていても、すなわち、例えば光源アレイが液晶ディスプレイであった場合には、光源１に対応する画素が点灯していても点灯していなくても観察者は視認することができない。
【００５８】
このように観察者にとって光源が見えない状態を利用して、観察者が領域（イ’）、つまり通常視域に近い遮蔽領域にいる場合には、観察者はスリットＡを通じて観察することが想定されることから、三次元画素aを構成する光源１は、三次元画素ａとしての情報を提示するように制御される。逆に、観察者が領域（イ’’）、つまり繰り返し領域に近い遮蔽領域にいる場合には、光源１は三次元画素ｂを構成する情報をあらかじめ提示しておくよう制御されることで、観察者の位置が、遮蔽領域から通常視域もしくは繰り返し領域に移動した際に映像の不自然さを認識させることなく視域の広い自然な三次元画像を提示することができる。
【００５９】
ここで具体的な制御方法について説明する。表示映像制御装置１０４は、端末位置検知センサ１０２および観察者位置検知センサ１０３のそれぞれで検知された位置情報に基づいて、観察者Ｐは領域（イ’）または領域（イ’’）のいずれかにいるかを判断し、光源１で出力させる画像を変えるよう制御することができる。ここで領域（イ’）または（イ’’）のいずれに観察者が位置するかは、光源１、スリットＡ、およびスリットＢの相対的な位置関係にしたがって、領域（イ’）と領域（イ’’）との境界線が定まることから、その境界線より繰り返し領域（ウ）側に観察者が位置する場合には、領域（イ’）に観察者はいると、表示映像制御装置１０４は判断することができる。また、その境界線より通常視域（ア）側に観察者が位置する場合には、観察者は領域（イ’’）にいると、表示映像制御装置１０４は判断することができる。
【００６０】
以上説明したとおり、本実施形態は、基本的に光線制御素子１０１ｂをパララックスバリアと想定して説明しているが、光線制御素子１０１ｂがレンズやＨＯＥなどであっても、各光源に対して同様に通常視域、遮蔽領域、繰り返し領域を規定することができ、上述と同様の処理を行って本実施形態における画像提示装置を実現することができる。つぎに、光線制御素子１０１ｂがシリンドリカルレンズであった場合の水平方向に対する通常視域、遮蔽領域、繰り返し領域の例を示す。図１３は、光線制御素子１０１ｂがシリンドリカルレンズを用いたときの、通常視域、遮蔽領域、繰り返し領域を説明する説明図である。
【００６１】
図１３では、スリットＡおよびスリットＢが、シリンドリカルレンズに変わったのみで、各光源に対し、通常視域、繰り返し領域、遮蔽領域を同様に定義することができ、同様の処理で本実施形態の画像提示装置を実施することが可能である。また、逆に、上記に示したように、光源と観察者との位置関係において、光源を視認できる領域と、視認できない領域が発生するような方式であれば、本実施形態の画像提示装置を実現することが可能である。
【００６２】
また、三次元ディスプレイがレンチキュラ方式のディスプレイであった場合には水平方向に上記のような通常視域、遮蔽領域、繰り返し領域が発生するのみであるが、レンチキュラレンズのではなく通常のレンズアレイであれば、垂直方向に対しても同様に通常視域や繰り返し領域が発生する。この場合水平方向、垂直方向双方に対して視域を拡大することが可能である。
【００６３】
ここで、本実施形態の画像提示装置の作用効果について説明する。この画像提示装置１００は、光源アレイ１０１ａから発せられた光から構成される画像の視認領域を光線制御素子１０１ｂが制限するものであって、この光から構成される画像を観察する観察者の目と光源との相対的な位置関係を端末位置検知センサ１０２および観察者位置検知センサ１０３が検知し、検知された位置関係に応じて、表示映像制御装置１０４は視認領域が制限された画像を構成する光の表示内容を変更することができる。これにより、観察者の視点によって繰り返し画像を観察者に見せることのなく、不自然さのない画像を提示することができる。
【００６４】
ここで光線制御素子１０１ｂとしては、シリンドリカルレンズを連続的に配置したレンチキュラシートであっても良いし、垂直スリットが周期的に配置されたパララックスバリアとしても良い。また、電気的に屈折率や振幅透過率を制御することのできるホログラフィック光学素子としても良い。さらに、レンズを２次元配置したレンズアレイとしても良い。
【００６５】
また、画像提示装置１００は、観察者が予め設定された通常視域（ア）ではない位置に観察者が位置する場合において、繰り返し領域（ウ）である位置に観察者が位置していると、判断された場合には、その一の光源から、通常視域（ア）である位置に対応した画像を出力しないようにすることができる。これにより、観察者の視点によって繰り返し画像を観察者に見せることのなく、不自然さのない画像を提示することができる。
【００６６】
また、画像提示装置１００は、観察者が遮蔽領域（イ）に位置すると検知された場合には、一の光源から、通常視域（ア）である位置に対応した画像を出力しないようにすることができ、予め画像の出力をしないようにしておくことから、確実に観察者の視点によって繰り返し画像を観察者に見せることがない。
【００６７】
また、画像提示装置１００は、観察者が繰り返し領域（ウ）に位置することが検知された場合には、光源アレイ１０１ａの他の光源の光から構成される画像を補足するための光を一の光源から発せさせるようにすることができる。これにより、不自然さのない画像を提示することができるとともに、観察者が視認することができる画像を多くすることができ、より見やすい画像を観察者に提供することができる。
【００６８】
＜第２の実施形態＞
【００６９】
つぎに、第２の実施形態における画像提示装置の構成を以下に示す。この第２の実施形態における画像提示装置１００ａは、図１４に示すように、ディスプレイ１０１（光源アレイ１０１ａ、光線制御素子１０１ｂを含む）、端末位置検知センサ１０２、表示映像制御装置１０４からなる。この第２の実施形態は、第１の実施形態とは異なり、表示映像制御装置１０４は、観察者の位置を把握することなく、端末の位置のみによって光源アレイ１０１ａに表示する内容を制御する。
【００７０】
光源アレイ１０１ａは、第１の実施形態と同様に、例えば液晶ディスプレイの各画素としてもよいし、ＬＥＤなど発光体を配置してもよい。
【００７１】
光線制御素子１０１ｂは、第１の実施形態1と同様に、パララックスバリアであってもよいし、シリンドリカルレンズのような光学素子、あるいはホログラフィック光学素子（HOE）などの光学素子であってもよい。
【００７２】
端末位置検知センサ１０２は、第１の実施形態1と同様に、ディスプレイ１０１に取り付けられた傾きセンサまたは加速度センサであっても良いし、また赤外線センサ、超音波センサ、またはカメラのような撮影装置であってもよい。さらに、これらのセンサを外部環境に設置してディスプレイ１０１の位置、向き、または傾きを少なくとも一つ以上を検知してもよい。端末位置検知センサ１０２の動作については第１の実施形態で説明されている方法と同様の方法でディスプレイ１０１の位置を検知する。
【００７３】
表示映像制御装置１０４は、端末位置検知センサ１０２の情報を受け取り、受け取ったディスプレイ１０１の位置に応じて光源に提示する情報を制御する。
【００７４】
以下、本実施形態における表示映像制御装置１００ａが光源に提示する情報を制御する具体的な方法を第１の実施形態における方法と比較しながら説明する。
【００７５】
第１の実施形態においては、観察者位置検知センサ１０３によって観察者の位置を検知し、端末位置検知センサ１０２で取得したディスプレイ１０１の位置との相対関係によって、観察者が各光源に対して通常視域、遮蔽領域、繰り返し領域のうちいずれの位置にいるかを判断した。本実施形態においては、観察者位置検知センサ１０３を用いることなく、観察者の位置をあらかじめ定めておき、表示映像制御装置１０４が、想定した観察者の位置に対するディスプレイ１０１の位置を推定することで観察者が通常視域、遮蔽領域、繰り返し領域のいずれの位置にあるかを推定する。あらかじめ定めて（想定して）おく観察者の位置は、ディスプレイ１０１の中心に対して正面方向とし，距離はディスプレイ１０１の形状をもとに決めてもよいし、表示コンテンツをもとに決めてもよい。いずれの方法をとった場合にも、想定した観察者の位置と、端末位置検知センサ１０２により取得されたディスプレイ１０１の位置および傾きによって、表示映像制御装置１０４はディスプレイ１０１と観察者との位置関係を推定でき、観察者が通常視域、遮蔽領域、繰り返し領域のいずれにいるか判断できる。
【００７６】
ここで、本実施形態の作用効果について説明する。本実施形態では、上述第１の実施形態における作用効果に加えて、光源の位置および観察者の視線に対する傾きを検知することにより、またいずれか一つを検知することにより、観察者と表示される画像との相対的な位置関係を検知することが可能となる。
【００７７】
＜第３の実施形態＞
【００７８】
本発明の第３の実施形態における画像提示装置の構成について説明する。画像提示装置１００ｂは、図１５に示すように、光源アレイ１０１ａ、光線制御素子１０１ｂ、観察者位置検知センサ１０３、表示映像制御装置１０４からなる。本実施形態の画像提示装置１００ｂは、第１の実施形態とは異なり、表示映像制御装置１０４は、ディスプレイ１０１の位置を検知せず、観察者の位置のみによって光源アレイ１０１ａに表示する内容を制御するものである。
【００７９】
光源アレイ１０１ａは、第１の実施形態と同様に、例えば液晶ディスプレイの各画素としてもよいし、ＬＥＤなど発光体を配置してもよい。
【００８０】
光線制御素子１０１ｂは、第１の実施形態と同様に、パララックスバリアであってもよいし、レンズのような光学素子、あるいはホログラフィック光学素子（ＨＯＥ）などの光学素子であってもよい。
【００８１】
観察者位置検知センサ１０３は、第１の実施形態と同様に、観察者に保持させた加速度センサ、赤外線センサ、超音波センサ、またはカメラであってもよいし、ディスプレイ１０１にとりつけた赤外線センサ、超音波センサ、またはカメラであってもよい。さらに、外部環境に設置されている赤外線センサ、超音波センサまたはカメラであってもよい。観察者位置検知センサ１０３の動作については第１の実施形態に記されている方法と同様の方法で観察者の位置、すなわち観察する観察者の目の位置および視線方向のうち、少なくともひとつ以上を検知することができる。
【００８２】
表示映像制御装置１０４は、観察者位置検知センサ１０３から観察者の位置情報を受け取り、受け取った位置情報に基づいて光源に提示する情報を制御する。
【００８３】
以下、本実施形態における表示映像制御装置１０４が光源に提示する情報を制御する具体的な方法を第１の実施形態における方法と比較しながら記述する。
【００８４】
第１の実施形態においては、端末位置検知センサ１０２によってディスプレイ１０１の位置を検知し、観察者位置検知センサ１０３で取得した観察者の位置との相対関係によって、観察者が各光源に対して通常視域、遮蔽領域、繰り返し領域のうちいずれの位置にいるかを判断した。本実施形態においては、端末位置検知センサ１０２を用いず、ディスプレイ１０１の位置をあらかじめ定めて（想定して）おき、想定したディスプレイ１０１の位置に対する観察者の相対位置を推定することで観察者が通常視域、遮蔽領域、繰り返し領域のいずれの位置にいるかを推定することができる。
【００８５】
あらかじめ想定しておくディスプレイ１０１の位置は、初期状態での観察者の位置に対する正面などとしておいてもよいし、ディスプレイ１０１の初期位置のみ記憶しておき、以降ディスプレイ１０１は移動しないこととしてもよいし、観察者の視線方向が常にディスプレイ１０１の中心を見ていることと想定してもよい。なお、観察者位置検知センサ１０３として、ディスプレイ１０１に設置した赤外線センサ、超音波センサ、カメラを用いた場合、検知される観察者の位置は、おのずからディスプレイ１０１に対する観察者の相対位置となるため、表示映像制御装置１０４は、ディスプレイ１０１の位置を特に想定する必要なく、正確なディスプレイ１０１と観察者位置との相対関係を推定することができる。
【００８６】
いずれの方法をとった場合にも、想定したディスプレイ１０１の位置と、観察者位置検知センサ１０３により取得された観察者の位置によってディスプレイ１０１と観察者との位置関係を推定でき、観察者が通常視域、遮蔽領域、繰り返し領域のいずれにいるか判断でき、第１の実施形態で記載したのと同様の処理により本実施形態の画像提示装置１００ｂを実現することができる。
【００８７】
ここで、本実施形態の作用効果について説明する。本実施形態では、上述第１の実施形態における作用効果に加えて、表示される画像を観察する観察者の目の位置および視線方向のうち、少なくともひとつ以上を検知することにより、観察者と表示される画像との相対的な位置関係を検知することが可能となる。
【図面の簡単な説明】
【００８８】
【図１】パララックスバリアを用いたディスプレイの構成を示す構成図である。
【図２】レンチキュラシートを用いたディスプレイの構成を示す構成図である。
【図３】レンチキュラシートを用いたディスプレイにおける視域を説明するための説明図である。
【図４】ＩＰ方式を用いたディスプレイにおける視域を説明するための説明図である。
【図５】レンチキュラシートを用いたディスプレイにおける繰り返し画像が生じる原理を示す説明図である。
【図６】第１の実施形態の画像提示装置の構成を示す構成図である。
【図７】パララックスバリアを用いたディスプレイにおける視線を示す説明図である。
【図８】パララックスバリアを用いたディスプレイにおける視域を示す説明図である。
【図９】パララックスバリアを用いたディスプレイにおける繰り返し画像が生じた例を示す説明図である。
【図１０】パララックスバリアを用いたディスプレイにおける通常画像を提示するときの説明図である。
【図１１】パララックスバリアを用いたディスプレイにおける繰り返し画像に変えて通常画像を提示するときの説明図である。
【図１２】パララックスバリアを用いてディスプレイにおいて画像制御をする際における遮蔽領域を２等分したことを示す説明図である。
【図１３】シリンドリカルレンズを用いたディスプレイにおける説明図である。
【図１４】第２の実施形態の画像提示装置の構成を示す構成図である。
【図１５】第３の実施形態の画像提示装置の構成を示す構成図である。
【符号の説明】
【００８９】
１０…パララックスバリア、１１…レンチキュラシート、１０１…ディスプレイ、１０１ａ、…光源アレイ、１０１ｂ…光線制御素子、１０２…端末位置検知センサ、１０３…観察者位置検知センサ、１０４…表示映像制御装置。
【特許請求の範囲】
【請求項１】
提示する画像を構成する複数の画素に対応した光を発する光源を有する光源手段と、
前記光源手段により発せられた光から構成される画像の視認領域を制限する光線制御手段と、
前記光源手段により発せられた光から構成される画像を観察する観察者の目と前記光源手段および光線制御手段との相対的な位置関係を検知する検知手段と、
前記検知手段により検知された位置関係に応じて、前記光線制御手段により視認領域が制限された画像を構成する光の表示内容を変更するよう前記光源手段を制御する画像制御手段と
を備える画像提示装置。
【請求項２】
前記光源手段は、光源アレイを用いて画像を提示することを特徴とする請求項１に記載の画像提示装置。
【請求項３】
前記光線制御手段は、シリンドリカルレンズを連続的に配置したレンチキュラシートであることを特徴とする請求項１または２に記載の画像提示装置。
【請求項４】
前記光線制御手段は、垂直スリットが周期的に配置されたパララックスバリアであることを特徴とする請求項１または２に記載の画像提示装置。
【請求項５】
前記光線制御手段は、電気的に屈折率や振幅透過率を制御することのできる液晶レンズ、若しくはホログラフィック光学素子であることを特徴とする請求項１または２に記載の画像提示装置。
【請求項６】
前記光線制御手段は、レンズを２次元配置したレンズアレイであることを特徴とする請求項１または２に記載の画像提示装置。
【請求項７】
前記検知手段は、
前記光源手段と前記光線制御手段とから構成されるディスプレイ手段の位置および観察者の視線に対する傾き、並びに前記ディスプレイ手段で表示される画像を観察する観察者の目の位置および視線方向のうち、少なくともひとつ以上を検知することを特徴とする
請求項1から６のいずれか１項に記載の画像提示装置
【請求項８】
前記画像制御手段は、
前記観察者が前記光源手段の一の光源からの光から構成される画像を視認できる予め設定された通常視域ではない位置に観察者が位置する場合において、当該観察者の位置から前記一の光源からの光から構成される画像を視認することが可能な繰り返し領域である位置に前記観察者が位置していると、前記検知手段により判断された場合には、前記光源手段の一の光源からの光から、前記通常視域である位置に対応した画像を出力しないよう前記光源手段を制御することを特徴とする請求項１から７のいずれか１項に記載の画像提示装置。
【請求項９】
前記画像制御手段は、
前記一の光源からの光を観察することができない遮蔽領域に前記観察者が位置すると前記検知手段により検知された場合に、前記光源手段から発せられる、前記通常視域に対する画像を出力しないよう前記光源手段を制御することを特徴とする請求項８に記載の画像提示装置。
【請求項１０】
前記画像制御手段は、
観察者が前記一の光源にとっての繰り返し領域に位置することが前記検知手段により検知された場合、当該位置が通常視域とする他の光源から発せられる光から構成される画像を補足するための光を前記一の光源から発せさせるよう前記光源手段を制御することを特徴とする請求項９に記載の画像提示装置。
【請求項１１】
提示する画像を構成する複数の画素に対応した光を発する光源を有する光源手段と、前記光源手段により発せられた光から構成される画像の視認領域を制限する光線制御手段と、を備える画像提示装置の画像提示方法において、
前記光源手段により発せられた光から構成される画像を観察する観察者の目と前記光源手段および光線制御手段との相対的な位置関係を検知する検知ステップと、
前記検知ステップにより検知された位置関係に応じて、前記光線制御手段により視認領域が制限された画像を構成する光の表示内容を変更するよう前記光源手段を制御する画像制御ステップと
を備える画像提示方法。
【請求項１】
提示する画像を構成する複数の画素に対応した光を発する光源を有する光源手段と、
前記光源手段により発せられた光から構成される画像の視認領域を制限する光線制御手段と、
前記光源手段により発せられた光から構成される画像を観察する観察者の目と前記光源手段および光線制御手段との相対的な位置関係を検知する検知手段と、
前記検知手段により検知された位置関係に応じて、前記光線制御手段により視認領域が制限された画像を構成する光の表示内容を変更するよう前記光源手段を制御する画像制御手段と
を備える画像提示装置。
【請求項２】
前記光源手段は、光源アレイを用いて画像を提示することを特徴とする請求項１に記載の画像提示装置。
【請求項３】
前記光線制御手段は、シリンドリカルレンズを連続的に配置したレンチキュラシートであることを特徴とする請求項１または２に記載の画像提示装置。
【請求項４】
前記光線制御手段は、垂直スリットが周期的に配置されたパララックスバリアであることを特徴とする請求項１または２に記載の画像提示装置。
【請求項５】
前記光線制御手段は、電気的に屈折率や振幅透過率を制御することのできる液晶レンズ、若しくはホログラフィック光学素子であることを特徴とする請求項１または２に記載の画像提示装置。
【請求項６】
前記光線制御手段は、レンズを２次元配置したレンズアレイであることを特徴とする請求項１または２に記載の画像提示装置。
【請求項７】
前記検知手段は、
前記光源手段と前記光線制御手段とから構成されるディスプレイ手段の位置および観察者の視線に対する傾き、並びに前記ディスプレイ手段で表示される画像を観察する観察者の目の位置および視線方向のうち、少なくともひとつ以上を検知することを特徴とする
請求項1から６のいずれか１項に記載の画像提示装置
【請求項８】
前記画像制御手段は、
前記観察者が前記光源手段の一の光源からの光から構成される画像を視認できる予め設定された通常視域ではない位置に観察者が位置する場合において、当該観察者の位置から前記一の光源からの光から構成される画像を視認することが可能な繰り返し領域である位置に前記観察者が位置していると、前記検知手段により判断された場合には、前記光源手段の一の光源からの光から、前記通常視域である位置に対応した画像を出力しないよう前記光源手段を制御することを特徴とする請求項１から７のいずれか１項に記載の画像提示装置。
【請求項９】
前記画像制御手段は、
前記一の光源からの光を観察することができない遮蔽領域に前記観察者が位置すると前記検知手段により検知された場合に、前記光源手段から発せられる、前記通常視域に対する画像を出力しないよう前記光源手段を制御することを特徴とする請求項８に記載の画像提示装置。
【請求項１０】
前記画像制御手段は、
観察者が前記一の光源にとっての繰り返し領域に位置することが前記検知手段により検知された場合、当該位置が通常視域とする他の光源から発せられる光から構成される画像を補足するための光を前記一の光源から発せさせるよう前記光源手段を制御することを特徴とする請求項９に記載の画像提示装置。
【請求項１１】
提示する画像を構成する複数の画素に対応した光を発する光源を有する光源手段と、前記光源手段により発せられた光から構成される画像の視認領域を制限する光線制御手段と、を備える画像提示装置の画像提示方法において、
前記光源手段により発せられた光から構成される画像を観察する観察者の目と前記光源手段および光線制御手段との相対的な位置関係を検知する検知ステップと、
前記検知ステップにより検知された位置関係に応じて、前記光線制御手段により視認領域が制限された画像を構成する光の表示内容を変更するよう前記光源手段を制御する画像制御ステップと
を備える画像提示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００８−１５１８８（Ｐ２００８−１５１８８Ａ）
【公開日】平成２０年１月２４日（２００８．１．２４）
【国際特許分類】
【出願番号】特願２００６−１８５９３０（Ｐ２００６−１８５９３０）
【出願日】平成１８年７月５日（２００６．７．５）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【出願人】（５０４１３２８８１）国立大学法人東京農工大学 (595)
【Ｆターム（参考）】
【公開日】平成２０年１月２４日（２００８．１．２４）
【国際特許分類】
【出願日】平成１８年７月５日（２００６．７．５）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【出願人】（５０４１３２８８１）国立大学法人東京農工大学 (595)
【Ｆターム（参考）】
[ Back to top ]