立体映像表示装置および立体映像表示方法
【課題】１次元ＩＰ方式において、処理速度を犠牲にせず、容易に視域が再調整されることを可能にする。
【解決手段】表示面内に画素がマトリクス状に配列され、要素画像を表示する要素画像表示部３３１と、要素画像表示部に対向して設置され、略垂直方向に直線状に延びるとともに略水平方向に周期的に並ぶ光学的開口部を有し、要素画像表示部からの光線を制御する光線制御素子３３２と、入力画像データにおける各要素画像の平均幅と、出力立体映像における最適な各要素画像の平均幅に基づいて、不足する画像データ部分を同一要素画像内の隣接視差成分によって置き換えるように画像データを変換する画像データ変換部と、を備えている。
【解決手段】表示面内に画素がマトリクス状に配列され、要素画像を表示する要素画像表示部３３１と、要素画像表示部に対向して設置され、略垂直方向に直線状に延びるとともに略水平方向に周期的に並ぶ光学的開口部を有し、要素画像表示部からの光線を制御する光線制御素子３３２と、入力画像データにおける各要素画像の平均幅と、出力立体映像における最適な各要素画像の平均幅に基づいて、不足する画像データ部分を同一要素画像内の隣接視差成分によって置き換えるように画像データを変換する画像データ変換部と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像表示装置及び表示方法に関する。
【背景技術】
【０００２】
動画表示が可能な立体視画像表示装置、所謂、３次元ディスプレイには、種々の方式が知られている。近年、特にフラットパネルタイプで、且つ、専用の眼鏡等を必要としない方式の要望が高くなっている。直視型或いは投影型の液晶表示装置やプラズマ表示装置などのような画素位置が固定されている表示パネル（要素画像表示部）の直前に表示パネルからの光線を制御して観察者に向ける光線制御素子を設置する方式が比較的容易に実現できる方式として知られている。
【０００３】
光線制御素子は、一般的にはパララクスバリア或いは視差バリアとも称せられ、光線制御素子上の同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差（水平視差）のみを与える場合には、スリット或いはレンチキュラーシート（シリンドリカルレンズアレイ）が用いられ、上下視差（垂直視差）も含める場合には、ピンホールアレイ或いはレンズアレイが用いられる。視差バリアを用いる方式にも、さらに２眼式、多眼式、超多眼式（多眼式の超多眼条件）、インテグラルフォトグラフィー（以下、ＩＰとも云う）に分類される。これらの基本的な原理は、１００年程度前に発明され立体写真に用いられてきたものと実質上同一である。
【０００４】
ＩＰ方式でも多眼方式でも、通常は視距離が有限であるため、その視距離における透視投影画像が実際に見えるように表示画像を作成する。水平視差のみで垂直視差のないＩＰ方式（１次元ＩＰ方式）では、視差バリアの水平方向ピッチが要素画像表示部のサブ画素の水平方向ピッチの整数倍である場合は平行光線の組があるため（以下、平行光線１次元ＩＰとも云う）、垂直方向がある一定視距離の透視投影であり水平方向が平行投影である画像を画素列ごとに分割し表示面に表示される画像形式である視差合成画像に合成することにより、正しい投影の立体像が得られる。具体的な方法は、非特許文献１に開示されている。多眼方式では、単純な透視投影による画像を分割配置することにより、正しい投影の立体像が得られる。
【０００５】
なお、垂直方向と水平方向で投影方法あるいは投影中心距離を異ならせるような撮像装置は、特に平行投影の場合に被写体と同サイズのカメラあるいはレンズが必要となるため、実現が困難である。したがって、撮像により平行投影データを得るためには、透視投影の撮像データから変換する方法が現実的であり、ＥＰＩ（エピポーラ面）を用いた補間による方法である光線空間法などが知られている。
【０００６】
平行光線１次元ＩＰ方式は、非特許文献１に開示されているように、２眼方式や多眼方式に比べ、視域が広く運動視差が連続的であり、自然で見やすいというメリットがある。
【０００７】
２眼や多眼は最も単純な立体画像表示であるため画像フォーマットが単純で、各視点画像はすべて同一サイズであり、２眼なら２枚、９眼なら９枚の視差成分画像を画素列毎に分割して、要素画像表示部に表示される画像形式である視差合成画像に合成すればよい。平行光線１次元ＩＰ方式では、同一解像度相当の多眼方式に比較し、視差成分画像の枚数が多く、各視差成分画像のサイズ（使用する水平範囲）も視差方向により異なる。しかし、平行光線１次元ＩＰ方式においても、適切な組み合わせにより各視差成分画像を必要範囲のみ無駄なくタイリングでき、変換効率が高く非可逆圧縮時に劣化の少ないフォーマットに変換できることが、特許文献１に開示されている。
【０００８】
この視差画像アレイ形式は、ある視距離・視域を前提として作成するが、レンズピッチ誤差・レンズ位置あわせ誤差、レンズ位置経時変化、想定視距離再設定などにより、あとで視域を再調整したい場合があった。特に、ある画面サイズの表示装置向けに製作したコンテンツを、異なる画面サイズの表示装置で再生する場合、スケーリングにより想定視距離が変わるために、画面の左右端のわずかな領域で偽像すなわち数本の縦線によって割れた異常画像が観察される問題があった。このような場合にコンテンツを製作しなおすのは効率が悪かった。
【非特許文献１】ＳＩＤ０４ Ｄｉｇｅｓｔ １４３８ （２００４）
【特許文献１】特開２００６−９８７７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述のように、従来の平行光線１次元ＩＰ方式の立体映像表示装置にあっては、ある視距離・視域を前提として作成されたコンテンツについて、場合により視域を再調整しないと偽像が見えるという課題があった。
【００１０】
本発明は、上記事情を考慮してなされたものであって、平行光線１次元ＩＰ方式において、処理速度を犠牲にせず、容易に視域が再調整される立体映像表示装置および表示方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明による第１の態様による立体映像表示装置は、表示面内に画素がマトリクス状に配列され、要素画像を表示する要素画像表示部と、前記要素画像表示部に対向して設置され、略垂直方向に直線状に延びるとともに略水平方向に周期的に並ぶ光学的開口部を有し、前記要素画像表示部からの光線を制御する光線制御素子と、入力画像データにおける前記各要素画像の平均幅と、出力立体映像における最適な各要素画像の平均幅に基づいて、不足する画像データ部分を同一要素画像内の隣接視差成分によって置き換えるように画像データを変換する画像データ変換部と、を備えたことを特徴とする。
【００１２】
また、本発明の第２の態様による立体映像表示方法は、表示面内に画素がマトリクス状に配列され、要素画像を表示する要素画像表示部と、前記要素画像表示部に対向して設置され、略垂直方向に直線状に延びるとともに略水平方向に周期的に並ぶ光学的開口部を有し、前記要素画像表示部からの光線を制御する光線制御素子と、を備えた立体映像表示装置を用いて立体映像を表示する立体映像表示方法であって、入力画像データにおける前記各要素画像の平均幅と、出力立体映像における最適な各要素画像の平均幅に基づいて、不足する画像データ部分を同一要素画像内の隣接視差成分によって置き換えるように画像データを変換するステップを備えたことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、１次元ＩＰ方式において、処理負荷を犠牲にせず、簡易に視域を再調整することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して、本発明の一実施形態に係る立体映像表示装置を詳細に説明する。
【００１５】
図１は、本発明の一実施形態による立体映像表示装置における画像変換方法を説明するためのデータ空間を表す概念図である。この図１に示すデータ空間は、一般に光線空間（ＥＰＩ）として知られているものとほぼ等価である。図１の横軸は各カメラ画像のｘ座標（レンズ番号（要素画像の番号））を示し、縦軸はカメラ番号を示している。なお、図１の左右の縦軸方向に付された番号は視差番号を示す。１つの四角形（それぞれ中央に点を描いてある）Ｐは、各視差成分画像（各カメラ画像）の１画素データを表す。この１画素データＰは、各カメラ画像の垂直方向の座標（ｙ座標）のある１つの値についてのみデータ空間として示している。すなわち、図１に示す画素データはすべて、同じｙ座標の各カメラ画像を表している。図１においては、視差数は１２である。平行光線１次元ＩＰ方式の場合は、視域境界を表す２本の実線の斜線ｇ１、ｇ２に囲まれる平行四辺形の領域が使用され、カメラ数は１２より多くなり、カメラごとにｘ座標の範囲が異なる。
【００１６】
ここで、偽像について図２（ａ）乃至図３（ｂ）を参照して説明する。図２（ａ）および図２（ｂ）は、視域の左端および右端から見た正常な立体像の概念図である。図３（ａ）、３（ｂ）は、予めある視距離と視域を想定して作成した映像コンテンツを、異なる視距離あるいは視域となる条件において再生あるいは観察した場合に、画面の両端付近で見える偽像の例であり、図２（ａ）、２（ｂ）の二重像が縦に細長い領域に分かれて見える。このような画面両端の偽像は、視域の中央から観察しても見える場合がある。
【００１７】
異なる条件で再生あるいは観察される場合においても偽像を防止するには、図１のデータ空間において、視域境界を表す直線を実線の斜線ｇ１、ｇ２から、傾きの異なる斜線ｇ３、ｇ４に変えればよい。視域境界を表す直線の傾きは、（各要素画像平均幅―（視差数×サブ画素幅））に比例する。しかし、予め視距離や視域を想定し、各カメラ画像データは最低限必要なｘ座標の範囲しか存在しない場合、視域境界の線を変えた場合に、不足するデータが発生する。図１において、黒く表示した画素が、不足データ分に該当する。この不足データ分は、同じ要素画像内（データ空間において同じｘ座標、同じレンズ番号）の隣接カメラの画素をコピーして使用することにより、視域内での画像の連続性が確保できる。この場合、不足データを隣接視差データで補ったため、この部分だけ立体でなく平面的な画像になるが、視域境界付近あるいは画面端部分のわずかな領域であるため、観察時にほとんど違和感はない。
【００１８】
図４は、もともと想定されていた視域３８１の例を示す。図４において、符号３３２は光線制御素子（視差バリア）を示し、符号４２９はカメラを示す。図５は、個体差や温度変化などにより、光線制御素子３３２であるレンチキュラー板のレンズピッチがわずかに（レンチキュラー板が要素画像表示部の手前側の場合は短くなる方向に）変化し、視域３８１と最適視距離（視域が最も広くなる視距離）が変化した場合の例を示す。視域３８１が視域３８２に変化している。この視域３８２をもとの視域３８１と視距離が合うように調整するには、要素画像平均幅をわずかに狭くする必要がある。したがって、図１において、データ空間の中心Ｏを中心として視域境界の斜線の傾きがわずかに減少するように傾け、平行四辺形領域で不足する部分（平行四辺形領域の左上側と右下側）は、各列の内側（視域中心に近いカメラ番号）から埋め合わせればよい。また、図４において、もっと近い視距離からも偽像なしで見たい場合には、要素画像平均幅をわずかに広くする必要がある。この場合は、図１において、データ空間の中心Ｏを中心として視域境界の斜線の傾きがわずかに増加するように傾け、平行四辺形領域で不足する部分（平行四辺形領域の右上側と左下側）は、各列の内側（視域中心に近いカメラ番号）から埋め合わせればよい。画面端（データ空間におけるｘ座標においても両端）に近づくにつれ、不足データは２カメラ分以上になる場合もあるが、同様に各列の内側（視域中心に近いカメラ番号）から埋め合わせればよい。
【００１９】
図６は、１８視差３０カメラの場合の各視差成分画像の使用範囲の形状の例を表している。図６に示す数字は各視差成分画像に対応する視差番号を表し、実線で示される領域が各視差成分画像の、３次元画像を表示するのに使用されるデータを表し、破線で示される領域が各視差成分画像の、３次元画像を表示するのに使用されないデータを表している。図１に示す１２視差の例と同様、カメラごとに使用範囲が異なるが、視差数と同じ数だけ離れたカメラ番号の画像の使用範囲を合わせると、図７に示すように１８枚の同じサイズの画像にまとめられる。例えば、（−９，１０）、（−８，１１）、（−７，１２）、（−６，１３）、（−５，１４）、（−４，１５）、（−１５，４）、（−１４，５）、（−１３，６）、（−１２，７）、（−１１，８）、（−１０，９）の組のカメラ番号の画像の使用範囲を合わせればよい。さらに図８に示すように１枚のフォーマットに連結して視差成分画像の全連結画像とすることができ、これは要素画像の表示部に表示する最終的な形式の画像と同じサイズである。以上のような視差成分画像の連結方法は、特許文献１に開示されている。また、図７に示すような視差数と同じ枚数の連結画像を重ね合わせて、ｙ座標一定の面で切った断面が、図１に相当する。
【００２０】
したがって、視域調整を行わない通常の場合、図８に示す全連結画像のフォーマットから、１対１の画素変換により最終的な表示形式（視差合成画像、要素画像アレイ）に変換すればよいが、本実施形態のように、図４や図５に示すような視域調整をするためには、１対１の画素変換処理のうち、図１の調整前後の視域境界線の間にある一部の画素を変換せず、代わりに同一列内（同一要素画像内）の隣接画素データを変換する処理にすれば、視域調整画像が生成される。すなわち、隣接画素データは１対２以上の対応となる。このような画像データの変換を行う画像データ変換部を本実施形態の立体映像表示装置は備えている。１対１の画素変換を、変換前後の画素の対応をまとめたマップ（変換テーブル）を使用して行っている場合は、通常表示時と視域調整時でマップを切り替えるのみでよく、視域調整により処理負荷が増加することはない。
【００２１】
本実施形態による立体映像表示装置に係る画像データ変換部のブロック図を図９（ａ）に示し、画像データ変換部の視域調整の動作（表示方法）のフローチャートを図９（ｂ）に示す。図９（ａ）、９（ｂ）に示すように、画像データ変換部の視域調整は、要素画像デフォルト値保持部７０によって保持された要素画像デフォルト値、温度検出部７１によって検出された要素画像表示部付近の温度、および視距離検出部７２によって検出された観察者の視距離に基づいて、要素画像幅調整値計算部７３によって要素画像平均幅調整値、すなわち出力立体映像における最適な各要素画像の平均幅を計算する（ステップＳ１）。そして、計算された要素画像平均幅調整値に基づいて、画素変換規則生成部７４によって変換規則（画素対応マップ、変換テーブル）を生成し、そのマップ等に基づいて画素変換部７５において入力画像の画素を変換し（ステップＳ２、Ｓ３）、変換された最終表示形式画像（視差合成画像、要素画像アレイ）を要素画像表示部７６に送り、表示させる（ステップＳ４）。
【００２２】
すなわち、本実施形態は、入力画像データにおける各要素画像の平均幅と、出力したい立体映像における各要素画像の平均幅が異なる場合に、不足する画像データ部分が同一要素画像内の隣接視差成分によって置き換えるように画像データを変換する。
【００２３】
そして、画像データの変換は、入力多視点画像から、一部の画素の変換を行わず、一部の画素を２箇所以上に変換する選択的変換により、要素画像表示部への表示形式に変換するようにしてもよい。
【００２４】
また、画像データの変換は、入力多視点画像がタイル状に配列されたフォーマットから、一部の画素の変換を行わず、一部の画素を２箇所以上に変換する選択的変換により、要素画像表示部への表示形式に変換してもよい。
【００２５】
本実施形態の立体映像表示装置の光線制御素子の光学的開口は、垂直でなく斜めやジグザグや階段形状でもよく、また表示装置の画素配列がデルタ配列であってもよい。その場合においても、本実施形態で説明した方法により、視域調整が簡易な処理によって可能である。
【００２６】
次に、ＩＰ方式の視差画像配置を用いた立体映像表示について図１０（ａ）乃至図２２を参照して説明する。図１０（ａ）乃至図２２に示す立体映像の表示は、図１乃至図９（ｂ）を参照して説明した表示方法と組み合わせて実現される。ここでは１８視差の場合を例に取って説明する。
【００２７】
図１０（ａ）は、光線制御素子としてのレンチキュラーシート３３４の斜視図であり、図１０（ｂ）は、光線制御素子としてのスリット３３３の斜視図である。図１０（ａ）、１０（ｂ）において、Ｐｓは視差バリアピッチを示し、Ｐｐは要素画像表示部の画素ピッチを示す。
【００２８】
図１１は、立体映像表示装置の概略の構成を示す図である。必要に応じ拡散シート３０１が要素画像表示部３３１とレンチキュラー板（光線制御素子）３３２の間に設けられている。想定視距離上の視点３４３から見ると、水平方向の視角３４１と垂直方向の視角３４２の範囲で立体映像が観察されるが、視差は水平方向のみである。
【００２９】
図１２（ａ）、１２（ｂ）、１２（ｃ）は、図１１に示した立体映像表示装置の表示部を基準にして垂直面内及び水平面内における光線再生範囲を概略的に示す展開図であり、図１２（ａ）に要素画像表示部３３１、視差バリア３３２の正面図、図１２（ｂ）に立体映像表示装置の画像配置を示す平面図、図１２（ｃ）に立体映像表示装置の側面図を示す。図１１乃至図１２（ｃ）に示すように、立体映像表示装置は、液晶表示素子などの平面画像表示部（要素画像表示部）３３１及び光学的開口を有する光線制御素子３３２を備えている。図１０（ａ）、１０（ｂ）に示すような垂直方向に光学的開口が直線状に伸び水平方向に周期的に配列される形状のレンチュキュラーシート３３４或いはスリット３３３で構成され、投射型の場合は曲面鏡アレイなどで構成される。
【００３０】
この立体映像表示装置においては、水平方向の視角３４１及び垂直方向の視角３４２の範囲内において、眼の位置３４３から視差バリア３３２を介して表示装置３３１を観察して要素画像表示部３３１の前面及び背面に立体像を観察することができる。ここでは、要素画像表示部３３１の画素数は、正方形となる最小単位の画素で数えた場合の一例として横方向（水平方向）が１９２０であり、縦方向（垂直方向）が１２００であり、各最小単位の画素は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のサブ画素を含んでいるものとする。
【００３１】
図１２（ａ）、１２（ｂ）、１２（ｃ）において、視差バリア３３２と視距離面３４３との間の視距離Ｌ、視差バリアピッチＰｓ、視差バリア３３２と要素画像表示部３３１との間のギャップ（視差バリアギャップ）ｄが定められれば、要素画像のピッチＰｅが視距離面３４３上の視点からアパーチャ中心を表示素子上に投影した間隔により決定される。符号３４６は、視点位置と各アパーチャ中心とを結ぶ線を示し、視域幅Ｗは表示部３３１の表示面上で要素画像同士が重なり合わないという条件から決定される。
【００３２】
１次元ＩＰ方式にあっては、この直線３４６は、表示部３３１の表示面上では各サブ画素の中心を通るとは限らない。これに対し、多眼方式では、視点位置と各アパーチャの中心とを結ぶ線は、サブ画素中心を通り、光線軌跡に一致している。アパーチャの水平ピッチＰｓがサブ画素ピッチＰｐの整数倍の場合では、要素画像のピッチＰｅは、サブ画素ピッチＰｐの整数倍から大きめにずれた端数を伴っている。アパーチャの水平ピッチＰｓがサブ画素ピッチＰｐの整数倍でなくても、一般的に１次元ＩＰでは、要素画像のピッチＰｅは、サブ画素ピッチＰｐの整数倍からずれた端数を伴うこととなる。これに対し多眼では要素画像のピッチＰｅはサブ画素ピッチＰｐの整数倍となる。
【００３３】
図１３（ａ）、１３（ｂ）は、本発明の一実施形態における１次元ＩＰ方式の視差成分画像と立体画像の構成方法を示している。表示される物体（被写体）４２１は、実際に立体映像表示装置の光線制御素子が置かれる面と同じ位置にある投影面４２２に投影される。歪のない立体像を得るためには、図１３（ａ）に示すように、垂直方向が透視投影、水平方向が平行投影になるように、投影面と平行で正面（上下方向の中央）にありかつ視距離面内にある投影中心線４２３に向かう投影線４２５に沿って投影される。投影線４２５は、垂直方向は投影中心線４２３において交わるが、水平方向は交わらず平行である。この投影法により、投影面４２２上に投影された被写体の像４２４が作成される。立体感を多少強調するような歪を立体像に入れる場合には、図１３（ｂ）に示すように、通常の透視投影になるように、投影面４２２と平行で正面（上下方向の中央）にありかつ視距離面内にある投影中心線４２３上の一点（カメラ位置）に向かう投影線４２５に沿って投影される。この投影法により、投影面４２２上に、透視投影された被写体の像４２４が作成される。なお、通常の透視投影しか使えないときに、立体像の歪を抑制する必要性が高い場合は、ＣＧモデルを変形させた上でこの投影法を用いればよい。ｚ方向（奥行き方向）に反比例して、飛び出し領域のｘ方向を縮小、奥行き領域のｘ方向を拡大する変形方法となる。
【００３４】
投影方向は、視距離により数１０方向が必要である。視距離１０００ｍｍの平行光線１次元ＩＰの場合、要素画像幅は１８．０３６サブ画素幅となった。この場合、カメラ数は３０である。投影された画像（視差成分画像）は、それぞれ必要な範囲の列のみ作成すればよく、必要な範囲は、図６および図１４に示されている。各投影方向は視差番号（カメラ番号）に対応するが、各方向は等角度ではなく、視距離面上で等間隔になるようにする。すなわちカメラを投影中心線上で等間隔に平行移動（向きは一定）して撮影することに相当する。
【００３５】
図１５は、立体映像表示方法における撮像の概略を示している。等間隔に水平方向に並べられたカメラ４２９は投影面４２２に対し撮像されるように調整される。符号４２１は表示される物体（被写体）を示す。Ｌは視距離を示し、Ｐはカメラ４２９のピッチを示し、Ｚｎは飛び出し側の立体映像表示可能範囲を示し、Ｚｆは奥行き側の立体映像表示可能範囲を示す。投影面４２２上に透視投影された各方向分の画像（視差成分画像）は、図６に示すように、投影面の範囲のうち使用される範囲がまちまちであるが、図７の連結画像群あるいは図８に示す全連結画像に前述のようにまとめられる。図１６には、この形式からの変換方法が示されている。視域の右端のカメラ画像（＃−９）を含む連結画像を、視差合成画像の左端１列目から、１８サブ画素おきに、サブ画素を縦に並べ替えながら右端まで配置し、視域の右端から２番目のカメラ画像（＃−８）を含む連結画像を、視差合成画像の左端２列目から、１８サブ画素おきに、サブ画素を縦に並べ替えながら右端まで配置する。これを以下同様に繰り返し、最後に視域の左端のカメラ画像（＃９）を含む連結画像を含む連結画像を、視差合成画像の左端１８列目から、１８サブ画素おきに、サブ画素を縦に並べ替えながら、右端まで配置する。以上のような１対１変換処理により、要素画像表示面の視差合成画像全体が完成する。
【００３６】
図１７に、本実施形態の立体映像表示装置の一部分の構成を概略的に示す。液晶パネルなどの平面状の要素画像表示部の表示面の前面に、光線制御素子として光学開口が垂直方向に延びるシリンドリカルレンズからなるレンチキュラーシート３３４が配置されている。なお光学開口は斜めや階段状であってもよい。表示面には、縦横比が３：１のサブ画素３４が、横方向および縦方向にそれぞれ直線状にマトリクス状に並び、各サブ画素は同一行および列内で横方向に赤、緑、青が交互に並ぶように配列されている。この色配列は一般にモザイク配列と呼ばれる。
【００３７】
図１８に、画素配列の平面図の例を示す。−９から９までの数字は、視差番号を表しており、隣接視差番号は隣接列に割当てられている。サブ画素行の縦周期は、サブ画素の横周期Ｐｐの３倍である。図１８に示される表示画面では、１８列６行のサブ画素３４で１実効画素４３（この１実効画素４３は、図１７において黒枠で示されている）あるいは１８列３行のサブ画素で１実効画素が構成される。このような表示部の構造では、水平方向に１８視差を与える立体映像表示が可能となる。この表示構造では、多眼式の場合は１８眼となり、要素画像ピッチが１８サブ画素ピッチであり、かつ光線制御素子の横ピッチが１８サブ画素ピッチより小さくなる。
【００３８】
ＩＰ方式の場合は、例えば１８サブ画素ピッチが視差バリアピッチＰｓに等しく平行光線の組ができるような設計においては１８サブ画素幅よりわずかに大きい間隔（例えば１８．０３６）で要素画像境界が生じることから、実効画素の幅は、表示面内の位置により１８列分或いは１９列分となる。すなわち、要素画像ピッチの平均値が１８サブ画素幅より大きく、かつ光線制御素子の横ピッチが１８サブ画素幅である。実効画素の幅が１９列分の場合の例を図１９に示す。
【００３９】
図２０或いは図２１に、立体映像表示装置の表示部の水平断面を概略的に示す。ここに示すようにスリット３３３又はレンチキュラーシート３３４のレンチキュラーレンズの水平方向のピッチＰｓ（周期）は、整数サブ画素幅に定められている。即ち、各スリット３３２間の中心を通る中心軸３５１又は隣接するレンチキュラーレンズの境界を通る基準軸３５２は、サブ画素境界を通る。中心軸３５１或いは基準軸３５２間に相当する領域には、整数個のサブ画素３３５が配置され、中心軸３５１或いは基準軸３５２の水平方向のピッチＰｓ（周期）は、一定に定められている。ここに示す例では、このピッチＰｓは、１８サブ画素幅に定められている。要素画像表示部の表示面３３１と視差バリア３３２、３３４との間の視差バリアギャップｄは、ガラス基板或いはレンズ材質の屈折率を考慮して実効的に約２ｍｍに定められている。なお、符号３４３は視距離面を示し、符号３６３は視差成分画像の番号を示す。
【００４０】
図２２は、本発明の一実施形態によるＩＰ方式における立体映像表示装置の要素画像表示部の表示面内における画像の配置方法を、表示部を正面から見た概念図として示している。要素画像表示部の表示面は、各アパーチャ（光線制御素子の開口部）に対応する要素画像３７０に分けられ、要素画像３７０は、ＩＰ方式においてそれぞれ１８列又は１９列のサブ画素列３６５から構成されている。視差割り当て可能なサブ画素列の合計数は５７６０列、アパーチャ数は３２０（図２２において、アパーチャ番号を示す領域３６４の範囲は、＃−１６０〜＃−１、＃１〜＃１６０）であり、アパーチャピッチＰｓは、１８サブ画素幅と等しい。図２２において、各サブ画素列３６５には、対応する視差番号を示す領域３６３（この例では、視差番号−１５〜−１、１〜１５の３０方向分）が示されている。アパーチャ番号＃１の要素画像３７０は、視差番号−９〜−１、１〜９の１８視差の列からなり、アパーチャ番号＃−１５９の要素画像は、視差番号−１５〜−１、１〜３の１８視差の列からなる。要素画像３７０の幅が１８サブ画素列の幅よりわずかに大きいため、要素画像３７０の境界を最も近いサブ画素列境界に合わせる（通常のＡ−Ｄ変換方法）とすると、アパーチャに対するサブ画素列数は、大部分のアパーチャにおいて１８列であるが、１９列になっているアパーチャも出てくる（図１８および図１９参照）。１９列になるアパーチャ番号を境に、アパーチャ内の視差番号範囲が１つずつシフトされている。１９列になっているアパーチャ番号は、＃１４、＃４２、＃７０、＃９８、＃１２５、＃１５３（及びそのマイナスの番号）である（視距離１０００ｍｍの場合）。
【００４１】
図１４において、各方向の視差画像の配置が開始・終了されるレンズ番号（表中３Ｄ画素番号）が示されている。この表には、対応する要素画像表示部（液晶パネル）のサブ画素列番号も示されている。
【００４２】
以上のように、本発明によれば、１次元ＩＰ方式において、処理負荷・視域を犠牲にせず、簡易に視域調整による偽像抑制が可能となる。
【００４３】
なお、本発明は、上記実施形態そのままに限定されるものでなく、実施段階では、その要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【００４４】
また、上記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００４５】
【図１】本発明の一実施形態による１次元ＩＰ方式の立体映像表示装置に用いられるデータ空間を示す模式図。
【図２】本発明の一実施形態による１次元ＩＰ方式の立体映像表示装置による立体像を示す概念図。
【図３】本発明の比較例による従来の１次元ＩＰ方式の立体映像表示装置による偽像を示す概念図。
【図４】本発明の一実施形態による１次元ＩＰ方式の立体映像表示装置による視域の一例を示す概念図。
【図５】本発明の一実施形態による１次元ＩＰ方式の立体映像表示装置による視域の一例を示す概念図。
【図６】本発明の一実施形態による１次元ＩＰ方式の立体映像表示装置に用いられる各視差成分画像を示す図。
【図７】本発明の一実施形態による１次元ＩＰ方式の立体映像表示装置に用いられる各視差成分画像を連結したフォーマットを示す図。
【図８】本発明の一実施形態による１次元ＩＰ方式の立体映像表示装置に用いられる各視差成分画像を全て連結した全連結画像のフォーマットを示す図。
【図９】本発明の一実施形態による１次元ＩＰ方式の立体映像表示装置に係る画像データ変換部の視域調整動作を説明する図。
【図１０】本発明の一実施形態にかかる光線制御素子を概略的に示す斜視図。
【図１１】本発明の一実施形態による立体映像表示に使用される立体映像表示装置の概略を示す斜視図。
【図１２】本発明の一実施形態による立体映像表示に使用される立体映像表示装置における要素画像ピッチＰｅ、視差バリアピッチＰｓ、視差バリアギャップｄ、視距離Ｌ、および視域幅Ｗの関係を示す模式図。
【図１３】本発明の一実施形態による各視差成分画像の投影方法を示す模式図。
【図１４】本発明の一実施形態による立体映像表示装置における各視差成分画像のデータ範囲と視差合成画像内の配置位置を示す表。
【図１５】本発明の一実施形態による立体映像表示方法におけるカメラ配置を示す平面図。
【図１６】本発明の一実施形態による画像構成方法を示す模式図。
【図１７】本発明の一実施形態による立体映像表示に使用される立体映像表示装置の要素画像表示部の画素配列を概略的に示す斜視図。
【図１８】本発明の一実施形態による立体映像表示に使用される立体映像表示装置の要素画像表示部の画素配列および視差画像配置を概略的に示す正面図。
【図１９】本発明の一実施形態による立体映像表示に使用される立体映像表示装置の要素画像表示部の画素配列および視差画像配置を概略的に示す正面図。
【図２０】本発明の一実施形態にかかる１次元ＩＰ方式の画素と要素画像と視差バリアの位置関係を示す模式図。
【図２１】本発明の一実施形態にかかる１次元ＩＰ方式の画素と要素画像とレンチキュラー板の位置関係を示す模式図。
【図２２】本発明の一実施形態にかかる１次元ＩＰ方式の立体映像表示装置の要素画像表示部の画像配置方法を示す模式図。
【符号の説明】
【００４６】
３４ サブ画素
４３ 立体映像表示時の実効画素
３０１ 拡散シート
３３１ 要素画像表示部（平面画像表示部）
３３２ 視差バリア
３３３ スリット
３３４ レンチキュラー板
３３５ サブ画素
３４１ 水平方向の視角
３４２ 垂直方向の視角
３４３ 視距離面
３４６ 視点とアパーチャ中心を結ぶ線
３６３ 視差成分画像の番号
３６４ アパーチャの番号
３６５ 要素画像表示部のサブ画素列
３７０ 要素画像
３８１ 視域
３８２ 想定視域と異なる視域
４２１ 表示される物体（被写体）
４２２ 投影面
４２３ 投影中心線
４２４ 投影面上に投影された被写体
４２５ 投影線
４２９ カメラ
【技術分野】
【０００１】
本発明は、立体映像表示装置及び表示方法に関する。
【背景技術】
【０００２】
動画表示が可能な立体視画像表示装置、所謂、３次元ディスプレイには、種々の方式が知られている。近年、特にフラットパネルタイプで、且つ、専用の眼鏡等を必要としない方式の要望が高くなっている。直視型或いは投影型の液晶表示装置やプラズマ表示装置などのような画素位置が固定されている表示パネル（要素画像表示部）の直前に表示パネルからの光線を制御して観察者に向ける光線制御素子を設置する方式が比較的容易に実現できる方式として知られている。
【０００３】
光線制御素子は、一般的にはパララクスバリア或いは視差バリアとも称せられ、光線制御素子上の同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差（水平視差）のみを与える場合には、スリット或いはレンチキュラーシート（シリンドリカルレンズアレイ）が用いられ、上下視差（垂直視差）も含める場合には、ピンホールアレイ或いはレンズアレイが用いられる。視差バリアを用いる方式にも、さらに２眼式、多眼式、超多眼式（多眼式の超多眼条件）、インテグラルフォトグラフィー（以下、ＩＰとも云う）に分類される。これらの基本的な原理は、１００年程度前に発明され立体写真に用いられてきたものと実質上同一である。
【０００４】
ＩＰ方式でも多眼方式でも、通常は視距離が有限であるため、その視距離における透視投影画像が実際に見えるように表示画像を作成する。水平視差のみで垂直視差のないＩＰ方式（１次元ＩＰ方式）では、視差バリアの水平方向ピッチが要素画像表示部のサブ画素の水平方向ピッチの整数倍である場合は平行光線の組があるため（以下、平行光線１次元ＩＰとも云う）、垂直方向がある一定視距離の透視投影であり水平方向が平行投影である画像を画素列ごとに分割し表示面に表示される画像形式である視差合成画像に合成することにより、正しい投影の立体像が得られる。具体的な方法は、非特許文献１に開示されている。多眼方式では、単純な透視投影による画像を分割配置することにより、正しい投影の立体像が得られる。
【０００５】
なお、垂直方向と水平方向で投影方法あるいは投影中心距離を異ならせるような撮像装置は、特に平行投影の場合に被写体と同サイズのカメラあるいはレンズが必要となるため、実現が困難である。したがって、撮像により平行投影データを得るためには、透視投影の撮像データから変換する方法が現実的であり、ＥＰＩ（エピポーラ面）を用いた補間による方法である光線空間法などが知られている。
【０００６】
平行光線１次元ＩＰ方式は、非特許文献１に開示されているように、２眼方式や多眼方式に比べ、視域が広く運動視差が連続的であり、自然で見やすいというメリットがある。
【０００７】
２眼や多眼は最も単純な立体画像表示であるため画像フォーマットが単純で、各視点画像はすべて同一サイズであり、２眼なら２枚、９眼なら９枚の視差成分画像を画素列毎に分割して、要素画像表示部に表示される画像形式である視差合成画像に合成すればよい。平行光線１次元ＩＰ方式では、同一解像度相当の多眼方式に比較し、視差成分画像の枚数が多く、各視差成分画像のサイズ（使用する水平範囲）も視差方向により異なる。しかし、平行光線１次元ＩＰ方式においても、適切な組み合わせにより各視差成分画像を必要範囲のみ無駄なくタイリングでき、変換効率が高く非可逆圧縮時に劣化の少ないフォーマットに変換できることが、特許文献１に開示されている。
【０００８】
この視差画像アレイ形式は、ある視距離・視域を前提として作成するが、レンズピッチ誤差・レンズ位置あわせ誤差、レンズ位置経時変化、想定視距離再設定などにより、あとで視域を再調整したい場合があった。特に、ある画面サイズの表示装置向けに製作したコンテンツを、異なる画面サイズの表示装置で再生する場合、スケーリングにより想定視距離が変わるために、画面の左右端のわずかな領域で偽像すなわち数本の縦線によって割れた異常画像が観察される問題があった。このような場合にコンテンツを製作しなおすのは効率が悪かった。
【非特許文献１】ＳＩＤ０４ Ｄｉｇｅｓｔ １４３８ （２００４）
【特許文献１】特開２００６−９８７７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述のように、従来の平行光線１次元ＩＰ方式の立体映像表示装置にあっては、ある視距離・視域を前提として作成されたコンテンツについて、場合により視域を再調整しないと偽像が見えるという課題があった。
【００１０】
本発明は、上記事情を考慮してなされたものであって、平行光線１次元ＩＰ方式において、処理速度を犠牲にせず、容易に視域が再調整される立体映像表示装置および表示方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明による第１の態様による立体映像表示装置は、表示面内に画素がマトリクス状に配列され、要素画像を表示する要素画像表示部と、前記要素画像表示部に対向して設置され、略垂直方向に直線状に延びるとともに略水平方向に周期的に並ぶ光学的開口部を有し、前記要素画像表示部からの光線を制御する光線制御素子と、入力画像データにおける前記各要素画像の平均幅と、出力立体映像における最適な各要素画像の平均幅に基づいて、不足する画像データ部分を同一要素画像内の隣接視差成分によって置き換えるように画像データを変換する画像データ変換部と、を備えたことを特徴とする。
【００１２】
また、本発明の第２の態様による立体映像表示方法は、表示面内に画素がマトリクス状に配列され、要素画像を表示する要素画像表示部と、前記要素画像表示部に対向して設置され、略垂直方向に直線状に延びるとともに略水平方向に周期的に並ぶ光学的開口部を有し、前記要素画像表示部からの光線を制御する光線制御素子と、を備えた立体映像表示装置を用いて立体映像を表示する立体映像表示方法であって、入力画像データにおける前記各要素画像の平均幅と、出力立体映像における最適な各要素画像の平均幅に基づいて、不足する画像データ部分を同一要素画像内の隣接視差成分によって置き換えるように画像データを変換するステップを備えたことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、１次元ＩＰ方式において、処理負荷を犠牲にせず、簡易に視域を再調整することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して、本発明の一実施形態に係る立体映像表示装置を詳細に説明する。
【００１５】
図１は、本発明の一実施形態による立体映像表示装置における画像変換方法を説明するためのデータ空間を表す概念図である。この図１に示すデータ空間は、一般に光線空間（ＥＰＩ）として知られているものとほぼ等価である。図１の横軸は各カメラ画像のｘ座標（レンズ番号（要素画像の番号））を示し、縦軸はカメラ番号を示している。なお、図１の左右の縦軸方向に付された番号は視差番号を示す。１つの四角形（それぞれ中央に点を描いてある）Ｐは、各視差成分画像（各カメラ画像）の１画素データを表す。この１画素データＰは、各カメラ画像の垂直方向の座標（ｙ座標）のある１つの値についてのみデータ空間として示している。すなわち、図１に示す画素データはすべて、同じｙ座標の各カメラ画像を表している。図１においては、視差数は１２である。平行光線１次元ＩＰ方式の場合は、視域境界を表す２本の実線の斜線ｇ１、ｇ２に囲まれる平行四辺形の領域が使用され、カメラ数は１２より多くなり、カメラごとにｘ座標の範囲が異なる。
【００１６】
ここで、偽像について図２（ａ）乃至図３（ｂ）を参照して説明する。図２（ａ）および図２（ｂ）は、視域の左端および右端から見た正常な立体像の概念図である。図３（ａ）、３（ｂ）は、予めある視距離と視域を想定して作成した映像コンテンツを、異なる視距離あるいは視域となる条件において再生あるいは観察した場合に、画面の両端付近で見える偽像の例であり、図２（ａ）、２（ｂ）の二重像が縦に細長い領域に分かれて見える。このような画面両端の偽像は、視域の中央から観察しても見える場合がある。
【００１７】
異なる条件で再生あるいは観察される場合においても偽像を防止するには、図１のデータ空間において、視域境界を表す直線を実線の斜線ｇ１、ｇ２から、傾きの異なる斜線ｇ３、ｇ４に変えればよい。視域境界を表す直線の傾きは、（各要素画像平均幅―（視差数×サブ画素幅））に比例する。しかし、予め視距離や視域を想定し、各カメラ画像データは最低限必要なｘ座標の範囲しか存在しない場合、視域境界の線を変えた場合に、不足するデータが発生する。図１において、黒く表示した画素が、不足データ分に該当する。この不足データ分は、同じ要素画像内（データ空間において同じｘ座標、同じレンズ番号）の隣接カメラの画素をコピーして使用することにより、視域内での画像の連続性が確保できる。この場合、不足データを隣接視差データで補ったため、この部分だけ立体でなく平面的な画像になるが、視域境界付近あるいは画面端部分のわずかな領域であるため、観察時にほとんど違和感はない。
【００１８】
図４は、もともと想定されていた視域３８１の例を示す。図４において、符号３３２は光線制御素子（視差バリア）を示し、符号４２９はカメラを示す。図５は、個体差や温度変化などにより、光線制御素子３３２であるレンチキュラー板のレンズピッチがわずかに（レンチキュラー板が要素画像表示部の手前側の場合は短くなる方向に）変化し、視域３８１と最適視距離（視域が最も広くなる視距離）が変化した場合の例を示す。視域３８１が視域３８２に変化している。この視域３８２をもとの視域３８１と視距離が合うように調整するには、要素画像平均幅をわずかに狭くする必要がある。したがって、図１において、データ空間の中心Ｏを中心として視域境界の斜線の傾きがわずかに減少するように傾け、平行四辺形領域で不足する部分（平行四辺形領域の左上側と右下側）は、各列の内側（視域中心に近いカメラ番号）から埋め合わせればよい。また、図４において、もっと近い視距離からも偽像なしで見たい場合には、要素画像平均幅をわずかに広くする必要がある。この場合は、図１において、データ空間の中心Ｏを中心として視域境界の斜線の傾きがわずかに増加するように傾け、平行四辺形領域で不足する部分（平行四辺形領域の右上側と左下側）は、各列の内側（視域中心に近いカメラ番号）から埋め合わせればよい。画面端（データ空間におけるｘ座標においても両端）に近づくにつれ、不足データは２カメラ分以上になる場合もあるが、同様に各列の内側（視域中心に近いカメラ番号）から埋め合わせればよい。
【００１９】
図６は、１８視差３０カメラの場合の各視差成分画像の使用範囲の形状の例を表している。図６に示す数字は各視差成分画像に対応する視差番号を表し、実線で示される領域が各視差成分画像の、３次元画像を表示するのに使用されるデータを表し、破線で示される領域が各視差成分画像の、３次元画像を表示するのに使用されないデータを表している。図１に示す１２視差の例と同様、カメラごとに使用範囲が異なるが、視差数と同じ数だけ離れたカメラ番号の画像の使用範囲を合わせると、図７に示すように１８枚の同じサイズの画像にまとめられる。例えば、（−９，１０）、（−８，１１）、（−７，１２）、（−６，１３）、（−５，１４）、（−４，１５）、（−１５，４）、（−１４，５）、（−１３，６）、（−１２，７）、（−１１，８）、（−１０，９）の組のカメラ番号の画像の使用範囲を合わせればよい。さらに図８に示すように１枚のフォーマットに連結して視差成分画像の全連結画像とすることができ、これは要素画像の表示部に表示する最終的な形式の画像と同じサイズである。以上のような視差成分画像の連結方法は、特許文献１に開示されている。また、図７に示すような視差数と同じ枚数の連結画像を重ね合わせて、ｙ座標一定の面で切った断面が、図１に相当する。
【００２０】
したがって、視域調整を行わない通常の場合、図８に示す全連結画像のフォーマットから、１対１の画素変換により最終的な表示形式（視差合成画像、要素画像アレイ）に変換すればよいが、本実施形態のように、図４や図５に示すような視域調整をするためには、１対１の画素変換処理のうち、図１の調整前後の視域境界線の間にある一部の画素を変換せず、代わりに同一列内（同一要素画像内）の隣接画素データを変換する処理にすれば、視域調整画像が生成される。すなわち、隣接画素データは１対２以上の対応となる。このような画像データの変換を行う画像データ変換部を本実施形態の立体映像表示装置は備えている。１対１の画素変換を、変換前後の画素の対応をまとめたマップ（変換テーブル）を使用して行っている場合は、通常表示時と視域調整時でマップを切り替えるのみでよく、視域調整により処理負荷が増加することはない。
【００２１】
本実施形態による立体映像表示装置に係る画像データ変換部のブロック図を図９（ａ）に示し、画像データ変換部の視域調整の動作（表示方法）のフローチャートを図９（ｂ）に示す。図９（ａ）、９（ｂ）に示すように、画像データ変換部の視域調整は、要素画像デフォルト値保持部７０によって保持された要素画像デフォルト値、温度検出部７１によって検出された要素画像表示部付近の温度、および視距離検出部７２によって検出された観察者の視距離に基づいて、要素画像幅調整値計算部７３によって要素画像平均幅調整値、すなわち出力立体映像における最適な各要素画像の平均幅を計算する（ステップＳ１）。そして、計算された要素画像平均幅調整値に基づいて、画素変換規則生成部７４によって変換規則（画素対応マップ、変換テーブル）を生成し、そのマップ等に基づいて画素変換部７５において入力画像の画素を変換し（ステップＳ２、Ｓ３）、変換された最終表示形式画像（視差合成画像、要素画像アレイ）を要素画像表示部７６に送り、表示させる（ステップＳ４）。
【００２２】
すなわち、本実施形態は、入力画像データにおける各要素画像の平均幅と、出力したい立体映像における各要素画像の平均幅が異なる場合に、不足する画像データ部分が同一要素画像内の隣接視差成分によって置き換えるように画像データを変換する。
【００２３】
そして、画像データの変換は、入力多視点画像から、一部の画素の変換を行わず、一部の画素を２箇所以上に変換する選択的変換により、要素画像表示部への表示形式に変換するようにしてもよい。
【００２４】
また、画像データの変換は、入力多視点画像がタイル状に配列されたフォーマットから、一部の画素の変換を行わず、一部の画素を２箇所以上に変換する選択的変換により、要素画像表示部への表示形式に変換してもよい。
【００２５】
本実施形態の立体映像表示装置の光線制御素子の光学的開口は、垂直でなく斜めやジグザグや階段形状でもよく、また表示装置の画素配列がデルタ配列であってもよい。その場合においても、本実施形態で説明した方法により、視域調整が簡易な処理によって可能である。
【００２６】
次に、ＩＰ方式の視差画像配置を用いた立体映像表示について図１０（ａ）乃至図２２を参照して説明する。図１０（ａ）乃至図２２に示す立体映像の表示は、図１乃至図９（ｂ）を参照して説明した表示方法と組み合わせて実現される。ここでは１８視差の場合を例に取って説明する。
【００２７】
図１０（ａ）は、光線制御素子としてのレンチキュラーシート３３４の斜視図であり、図１０（ｂ）は、光線制御素子としてのスリット３３３の斜視図である。図１０（ａ）、１０（ｂ）において、Ｐｓは視差バリアピッチを示し、Ｐｐは要素画像表示部の画素ピッチを示す。
【００２８】
図１１は、立体映像表示装置の概略の構成を示す図である。必要に応じ拡散シート３０１が要素画像表示部３３１とレンチキュラー板（光線制御素子）３３２の間に設けられている。想定視距離上の視点３４３から見ると、水平方向の視角３４１と垂直方向の視角３４２の範囲で立体映像が観察されるが、視差は水平方向のみである。
【００２９】
図１２（ａ）、１２（ｂ）、１２（ｃ）は、図１１に示した立体映像表示装置の表示部を基準にして垂直面内及び水平面内における光線再生範囲を概略的に示す展開図であり、図１２（ａ）に要素画像表示部３３１、視差バリア３３２の正面図、図１２（ｂ）に立体映像表示装置の画像配置を示す平面図、図１２（ｃ）に立体映像表示装置の側面図を示す。図１１乃至図１２（ｃ）に示すように、立体映像表示装置は、液晶表示素子などの平面画像表示部（要素画像表示部）３３１及び光学的開口を有する光線制御素子３３２を備えている。図１０（ａ）、１０（ｂ）に示すような垂直方向に光学的開口が直線状に伸び水平方向に周期的に配列される形状のレンチュキュラーシート３３４或いはスリット３３３で構成され、投射型の場合は曲面鏡アレイなどで構成される。
【００３０】
この立体映像表示装置においては、水平方向の視角３４１及び垂直方向の視角３４２の範囲内において、眼の位置３４３から視差バリア３３２を介して表示装置３３１を観察して要素画像表示部３３１の前面及び背面に立体像を観察することができる。ここでは、要素画像表示部３３１の画素数は、正方形となる最小単位の画素で数えた場合の一例として横方向（水平方向）が１９２０であり、縦方向（垂直方向）が１２００であり、各最小単位の画素は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のサブ画素を含んでいるものとする。
【００３１】
図１２（ａ）、１２（ｂ）、１２（ｃ）において、視差バリア３３２と視距離面３４３との間の視距離Ｌ、視差バリアピッチＰｓ、視差バリア３３２と要素画像表示部３３１との間のギャップ（視差バリアギャップ）ｄが定められれば、要素画像のピッチＰｅが視距離面３４３上の視点からアパーチャ中心を表示素子上に投影した間隔により決定される。符号３４６は、視点位置と各アパーチャ中心とを結ぶ線を示し、視域幅Ｗは表示部３３１の表示面上で要素画像同士が重なり合わないという条件から決定される。
【００３２】
１次元ＩＰ方式にあっては、この直線３４６は、表示部３３１の表示面上では各サブ画素の中心を通るとは限らない。これに対し、多眼方式では、視点位置と各アパーチャの中心とを結ぶ線は、サブ画素中心を通り、光線軌跡に一致している。アパーチャの水平ピッチＰｓがサブ画素ピッチＰｐの整数倍の場合では、要素画像のピッチＰｅは、サブ画素ピッチＰｐの整数倍から大きめにずれた端数を伴っている。アパーチャの水平ピッチＰｓがサブ画素ピッチＰｐの整数倍でなくても、一般的に１次元ＩＰでは、要素画像のピッチＰｅは、サブ画素ピッチＰｐの整数倍からずれた端数を伴うこととなる。これに対し多眼では要素画像のピッチＰｅはサブ画素ピッチＰｐの整数倍となる。
【００３３】
図１３（ａ）、１３（ｂ）は、本発明の一実施形態における１次元ＩＰ方式の視差成分画像と立体画像の構成方法を示している。表示される物体（被写体）４２１は、実際に立体映像表示装置の光線制御素子が置かれる面と同じ位置にある投影面４２２に投影される。歪のない立体像を得るためには、図１３（ａ）に示すように、垂直方向が透視投影、水平方向が平行投影になるように、投影面と平行で正面（上下方向の中央）にありかつ視距離面内にある投影中心線４２３に向かう投影線４２５に沿って投影される。投影線４２５は、垂直方向は投影中心線４２３において交わるが、水平方向は交わらず平行である。この投影法により、投影面４２２上に投影された被写体の像４２４が作成される。立体感を多少強調するような歪を立体像に入れる場合には、図１３（ｂ）に示すように、通常の透視投影になるように、投影面４２２と平行で正面（上下方向の中央）にありかつ視距離面内にある投影中心線４２３上の一点（カメラ位置）に向かう投影線４２５に沿って投影される。この投影法により、投影面４２２上に、透視投影された被写体の像４２４が作成される。なお、通常の透視投影しか使えないときに、立体像の歪を抑制する必要性が高い場合は、ＣＧモデルを変形させた上でこの投影法を用いればよい。ｚ方向（奥行き方向）に反比例して、飛び出し領域のｘ方向を縮小、奥行き領域のｘ方向を拡大する変形方法となる。
【００３４】
投影方向は、視距離により数１０方向が必要である。視距離１０００ｍｍの平行光線１次元ＩＰの場合、要素画像幅は１８．０３６サブ画素幅となった。この場合、カメラ数は３０である。投影された画像（視差成分画像）は、それぞれ必要な範囲の列のみ作成すればよく、必要な範囲は、図６および図１４に示されている。各投影方向は視差番号（カメラ番号）に対応するが、各方向は等角度ではなく、視距離面上で等間隔になるようにする。すなわちカメラを投影中心線上で等間隔に平行移動（向きは一定）して撮影することに相当する。
【００３５】
図１５は、立体映像表示方法における撮像の概略を示している。等間隔に水平方向に並べられたカメラ４２９は投影面４２２に対し撮像されるように調整される。符号４２１は表示される物体（被写体）を示す。Ｌは視距離を示し、Ｐはカメラ４２９のピッチを示し、Ｚｎは飛び出し側の立体映像表示可能範囲を示し、Ｚｆは奥行き側の立体映像表示可能範囲を示す。投影面４２２上に透視投影された各方向分の画像（視差成分画像）は、図６に示すように、投影面の範囲のうち使用される範囲がまちまちであるが、図７の連結画像群あるいは図８に示す全連結画像に前述のようにまとめられる。図１６には、この形式からの変換方法が示されている。視域の右端のカメラ画像（＃−９）を含む連結画像を、視差合成画像の左端１列目から、１８サブ画素おきに、サブ画素を縦に並べ替えながら右端まで配置し、視域の右端から２番目のカメラ画像（＃−８）を含む連結画像を、視差合成画像の左端２列目から、１８サブ画素おきに、サブ画素を縦に並べ替えながら右端まで配置する。これを以下同様に繰り返し、最後に視域の左端のカメラ画像（＃９）を含む連結画像を含む連結画像を、視差合成画像の左端１８列目から、１８サブ画素おきに、サブ画素を縦に並べ替えながら、右端まで配置する。以上のような１対１変換処理により、要素画像表示面の視差合成画像全体が完成する。
【００３６】
図１７に、本実施形態の立体映像表示装置の一部分の構成を概略的に示す。液晶パネルなどの平面状の要素画像表示部の表示面の前面に、光線制御素子として光学開口が垂直方向に延びるシリンドリカルレンズからなるレンチキュラーシート３３４が配置されている。なお光学開口は斜めや階段状であってもよい。表示面には、縦横比が３：１のサブ画素３４が、横方向および縦方向にそれぞれ直線状にマトリクス状に並び、各サブ画素は同一行および列内で横方向に赤、緑、青が交互に並ぶように配列されている。この色配列は一般にモザイク配列と呼ばれる。
【００３７】
図１８に、画素配列の平面図の例を示す。−９から９までの数字は、視差番号を表しており、隣接視差番号は隣接列に割当てられている。サブ画素行の縦周期は、サブ画素の横周期Ｐｐの３倍である。図１８に示される表示画面では、１８列６行のサブ画素３４で１実効画素４３（この１実効画素４３は、図１７において黒枠で示されている）あるいは１８列３行のサブ画素で１実効画素が構成される。このような表示部の構造では、水平方向に１８視差を与える立体映像表示が可能となる。この表示構造では、多眼式の場合は１８眼となり、要素画像ピッチが１８サブ画素ピッチであり、かつ光線制御素子の横ピッチが１８サブ画素ピッチより小さくなる。
【００３８】
ＩＰ方式の場合は、例えば１８サブ画素ピッチが視差バリアピッチＰｓに等しく平行光線の組ができるような設計においては１８サブ画素幅よりわずかに大きい間隔（例えば１８．０３６）で要素画像境界が生じることから、実効画素の幅は、表示面内の位置により１８列分或いは１９列分となる。すなわち、要素画像ピッチの平均値が１８サブ画素幅より大きく、かつ光線制御素子の横ピッチが１８サブ画素幅である。実効画素の幅が１９列分の場合の例を図１９に示す。
【００３９】
図２０或いは図２１に、立体映像表示装置の表示部の水平断面を概略的に示す。ここに示すようにスリット３３３又はレンチキュラーシート３３４のレンチキュラーレンズの水平方向のピッチＰｓ（周期）は、整数サブ画素幅に定められている。即ち、各スリット３３２間の中心を通る中心軸３５１又は隣接するレンチキュラーレンズの境界を通る基準軸３５２は、サブ画素境界を通る。中心軸３５１或いは基準軸３５２間に相当する領域には、整数個のサブ画素３３５が配置され、中心軸３５１或いは基準軸３５２の水平方向のピッチＰｓ（周期）は、一定に定められている。ここに示す例では、このピッチＰｓは、１８サブ画素幅に定められている。要素画像表示部の表示面３３１と視差バリア３３２、３３４との間の視差バリアギャップｄは、ガラス基板或いはレンズ材質の屈折率を考慮して実効的に約２ｍｍに定められている。なお、符号３４３は視距離面を示し、符号３６３は視差成分画像の番号を示す。
【００４０】
図２２は、本発明の一実施形態によるＩＰ方式における立体映像表示装置の要素画像表示部の表示面内における画像の配置方法を、表示部を正面から見た概念図として示している。要素画像表示部の表示面は、各アパーチャ（光線制御素子の開口部）に対応する要素画像３７０に分けられ、要素画像３７０は、ＩＰ方式においてそれぞれ１８列又は１９列のサブ画素列３６５から構成されている。視差割り当て可能なサブ画素列の合計数は５７６０列、アパーチャ数は３２０（図２２において、アパーチャ番号を示す領域３６４の範囲は、＃−１６０〜＃−１、＃１〜＃１６０）であり、アパーチャピッチＰｓは、１８サブ画素幅と等しい。図２２において、各サブ画素列３６５には、対応する視差番号を示す領域３６３（この例では、視差番号−１５〜−１、１〜１５の３０方向分）が示されている。アパーチャ番号＃１の要素画像３７０は、視差番号−９〜−１、１〜９の１８視差の列からなり、アパーチャ番号＃−１５９の要素画像は、視差番号−１５〜−１、１〜３の１８視差の列からなる。要素画像３７０の幅が１８サブ画素列の幅よりわずかに大きいため、要素画像３７０の境界を最も近いサブ画素列境界に合わせる（通常のＡ−Ｄ変換方法）とすると、アパーチャに対するサブ画素列数は、大部分のアパーチャにおいて１８列であるが、１９列になっているアパーチャも出てくる（図１８および図１９参照）。１９列になるアパーチャ番号を境に、アパーチャ内の視差番号範囲が１つずつシフトされている。１９列になっているアパーチャ番号は、＃１４、＃４２、＃７０、＃９８、＃１２５、＃１５３（及びそのマイナスの番号）である（視距離１０００ｍｍの場合）。
【００４１】
図１４において、各方向の視差画像の配置が開始・終了されるレンズ番号（表中３Ｄ画素番号）が示されている。この表には、対応する要素画像表示部（液晶パネル）のサブ画素列番号も示されている。
【００４２】
以上のように、本発明によれば、１次元ＩＰ方式において、処理負荷・視域を犠牲にせず、簡易に視域調整による偽像抑制が可能となる。
【００４３】
なお、本発明は、上記実施形態そのままに限定されるものでなく、実施段階では、その要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【００４４】
また、上記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００４５】
【図１】本発明の一実施形態による１次元ＩＰ方式の立体映像表示装置に用いられるデータ空間を示す模式図。
【図２】本発明の一実施形態による１次元ＩＰ方式の立体映像表示装置による立体像を示す概念図。
【図３】本発明の比較例による従来の１次元ＩＰ方式の立体映像表示装置による偽像を示す概念図。
【図４】本発明の一実施形態による１次元ＩＰ方式の立体映像表示装置による視域の一例を示す概念図。
【図５】本発明の一実施形態による１次元ＩＰ方式の立体映像表示装置による視域の一例を示す概念図。
【図６】本発明の一実施形態による１次元ＩＰ方式の立体映像表示装置に用いられる各視差成分画像を示す図。
【図７】本発明の一実施形態による１次元ＩＰ方式の立体映像表示装置に用いられる各視差成分画像を連結したフォーマットを示す図。
【図８】本発明の一実施形態による１次元ＩＰ方式の立体映像表示装置に用いられる各視差成分画像を全て連結した全連結画像のフォーマットを示す図。
【図９】本発明の一実施形態による１次元ＩＰ方式の立体映像表示装置に係る画像データ変換部の視域調整動作を説明する図。
【図１０】本発明の一実施形態にかかる光線制御素子を概略的に示す斜視図。
【図１１】本発明の一実施形態による立体映像表示に使用される立体映像表示装置の概略を示す斜視図。
【図１２】本発明の一実施形態による立体映像表示に使用される立体映像表示装置における要素画像ピッチＰｅ、視差バリアピッチＰｓ、視差バリアギャップｄ、視距離Ｌ、および視域幅Ｗの関係を示す模式図。
【図１３】本発明の一実施形態による各視差成分画像の投影方法を示す模式図。
【図１４】本発明の一実施形態による立体映像表示装置における各視差成分画像のデータ範囲と視差合成画像内の配置位置を示す表。
【図１５】本発明の一実施形態による立体映像表示方法におけるカメラ配置を示す平面図。
【図１６】本発明の一実施形態による画像構成方法を示す模式図。
【図１７】本発明の一実施形態による立体映像表示に使用される立体映像表示装置の要素画像表示部の画素配列を概略的に示す斜視図。
【図１８】本発明の一実施形態による立体映像表示に使用される立体映像表示装置の要素画像表示部の画素配列および視差画像配置を概略的に示す正面図。
【図１９】本発明の一実施形態による立体映像表示に使用される立体映像表示装置の要素画像表示部の画素配列および視差画像配置を概略的に示す正面図。
【図２０】本発明の一実施形態にかかる１次元ＩＰ方式の画素と要素画像と視差バリアの位置関係を示す模式図。
【図２１】本発明の一実施形態にかかる１次元ＩＰ方式の画素と要素画像とレンチキュラー板の位置関係を示す模式図。
【図２２】本発明の一実施形態にかかる１次元ＩＰ方式の立体映像表示装置の要素画像表示部の画像配置方法を示す模式図。
【符号の説明】
【００４６】
３４ サブ画素
４３ 立体映像表示時の実効画素
３０１ 拡散シート
３３１ 要素画像表示部（平面画像表示部）
３３２ 視差バリア
３３３ スリット
３３４ レンチキュラー板
３３５ サブ画素
３４１ 水平方向の視角
３４２ 垂直方向の視角
３４３ 視距離面
３４６ 視点とアパーチャ中心を結ぶ線
３６３ 視差成分画像の番号
３６４ アパーチャの番号
３６５ 要素画像表示部のサブ画素列
３７０ 要素画像
３８１ 視域
３８２ 想定視域と異なる視域
４２１ 表示される物体（被写体）
４２２ 投影面
４２３ 投影中心線
４２４ 投影面上に投影された被写体
４２５ 投影線
４２９ カメラ
【特許請求の範囲】
【請求項１】
表示面内に画素がマトリクス状に配列され、要素画像を表示する要素画像表示部と、
前記要素画像表示部に対向して設置され、略垂直方向に直線状に延びるとともに略水平方向に周期的に並ぶ光学的開口部を有し、前記要素画像表示部からの光線を制御する光線制御素子と、
入力画像データにおける各要素画像の平均幅と、出力立体映像における最適な各要素画像の平均幅に基づいて、不足する画像データ部分を同一要素画像内の隣接視差成分によって置き換えるように画像データを変換する画像データ変換部と、
を備えたことを特徴とする立体映像表示装置。
【請求項２】
前記画像データ変換部は、出力立体映像における最適な各要素画像の平均幅を決定するために前記要素画像表示部近傍の温度を検出する温度検出部を備えたことを特徴とする請求項１記載の立体映像表示装置。
【請求項３】
前記画像データ変換部は、出力立体映像における最適な各要素画像の平均幅を決定するために観察者距離を検出する距離検出部を備えたことを特徴とする請求項１または２記載の立体映像表示装置。
【請求項４】
表示面内に画素がマトリクス状に配列され、要素画像を表示する要素画像表示部と、前記要素画像表示部に対向して設置され、略垂直方向に直線状に延びるとともに略水平方向に周期的に並ぶ光学的開口部を有し、前記要素画像表示部からの光線を制御する光線制御素子と、を備えた立体映像表示装置を用いて立体映像を表示する立体映像表示方法であって、
入力画像データにおける前記各要素画像の平均幅と、出力立体映像における最適な各要素画像の平均幅に基づいて、不足する画像データ部分を同一要素画像内の隣接視差成分によって置き換えるように画像データを変換するステップ
を備えたことを特徴とする立体映像表示方法。
【請求項５】
前記画像データを変換するステップは、入力多視点画像から、一部の画素の変換を行わず、一部の画素を２箇所以上に変換する選択的変換により、要素画像表示部への表示形式に変換するステップを備えたことを特徴とする請求項４記載の立体映像表示方法。
【請求項６】
前記画像データを変換するステップは、入力多視点画像がタイル状に配列されたフォーマットから、一部の画素の変換を行わず、一部の画素を２箇所以上に変換する選択的変換により、前記要素画像表示部への表示形式に変換するステップを備えたことを特徴とする請求項４記載の立体映像表示方法。
【請求項１】
表示面内に画素がマトリクス状に配列され、要素画像を表示する要素画像表示部と、
前記要素画像表示部に対向して設置され、略垂直方向に直線状に延びるとともに略水平方向に周期的に並ぶ光学的開口部を有し、前記要素画像表示部からの光線を制御する光線制御素子と、
入力画像データにおける各要素画像の平均幅と、出力立体映像における最適な各要素画像の平均幅に基づいて、不足する画像データ部分を同一要素画像内の隣接視差成分によって置き換えるように画像データを変換する画像データ変換部と、
を備えたことを特徴とする立体映像表示装置。
【請求項２】
前記画像データ変換部は、出力立体映像における最適な各要素画像の平均幅を決定するために前記要素画像表示部近傍の温度を検出する温度検出部を備えたことを特徴とする請求項１記載の立体映像表示装置。
【請求項３】
前記画像データ変換部は、出力立体映像における最適な各要素画像の平均幅を決定するために観察者距離を検出する距離検出部を備えたことを特徴とする請求項１または２記載の立体映像表示装置。
【請求項４】
表示面内に画素がマトリクス状に配列され、要素画像を表示する要素画像表示部と、前記要素画像表示部に対向して設置され、略垂直方向に直線状に延びるとともに略水平方向に周期的に並ぶ光学的開口部を有し、前記要素画像表示部からの光線を制御する光線制御素子と、を備えた立体映像表示装置を用いて立体映像を表示する立体映像表示方法であって、
入力画像データにおける前記各要素画像の平均幅と、出力立体映像における最適な各要素画像の平均幅に基づいて、不足する画像データ部分を同一要素画像内の隣接視差成分によって置き換えるように画像データを変換するステップ
を備えたことを特徴とする立体映像表示方法。
【請求項５】
前記画像データを変換するステップは、入力多視点画像から、一部の画素の変換を行わず、一部の画素を２箇所以上に変換する選択的変換により、要素画像表示部への表示形式に変換するステップを備えたことを特徴とする請求項４記載の立体映像表示方法。
【請求項６】
前記画像データを変換するステップは、入力多視点画像がタイル状に配列されたフォーマットから、一部の画素の変換を行わず、一部の画素を２箇所以上に変換する選択的変換により、前記要素画像表示部への表示形式に変換するステップを備えたことを特徴とする請求項４記載の立体映像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２００８−６７０９５（Ｐ２００８−６７０９５Ａ）
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願番号】特願２００６−２４３２８８（Ｐ２００６−２４３２８８）
【出願日】平成１８年９月７日（２００６．９．７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願日】平成１８年９月７日（２００６．９．７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]