視域調整装置、映像処理装置および視域調整方法
【課題】視聴者に違和感を感じさせることなく、実用性の高い視域の調整を行うことができる視域調整装置を提供する。
【解決手段】視域調整装置は、立体映像を表示可能な立体映像表示装置の前方を撮影可能な撮像部と、撮像部で撮影された映像により視聴者の人数および位置を検出する視聴者情報検出部と、視聴者情報検出部にて検出された人数に基づいて、立体映像を視認可能な視域を調整する方針を示す複数の視域調整方針のいずれかを選択する視域調整方針決定部と、視域調整方針決定部で選択された視域調整方針と視聴者情報検出部で検出された視聴者の位置とに基づいて、視域の調整量を算出する視域情報算出部と、視域情報算出部で算出された視域の調整量に基づいて、視域を調整する視域調整部と、を備える。
【解決手段】視域調整装置は、立体映像を表示可能な立体映像表示装置の前方を撮影可能な撮像部と、撮像部で撮影された映像により視聴者の人数および位置を検出する視聴者情報検出部と、視聴者情報検出部にて検出された人数に基づいて、立体映像を視認可能な視域を調整する方針を示す複数の視域調整方針のいずれかを選択する視域調整方針決定部と、視域調整方針決定部で選択された視域調整方針と視聴者情報検出部で検出された視聴者の位置とに基づいて、視域の調整量を算出する視域情報算出部と、視域情報算出部で算出された視域の調整量に基づいて、視域を調整する視域調整部と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、立体映像を視認可能な視域を調整する視域調整装置、映像処理装置および視域調整方法に関する。
【背景技術】
【0002】
裸眼で立体映像を視認可能なTVが注目されている。ところが、この種のTVでは、視聴位置によっては、立体感が得られない場合があり、十分な立体感を得るには、視聴者が立体感を得られる位置まで移動しなければならない。特に、視聴者が複数存在する場合には、各人が立体感を得られる位置まで移動するのは、非常に煩わしい。
【0003】
そこで、TV側で立体感が得られる視域を調整することも考えられるが、視聴者は同じ場所に留まっているとは限らず、また視聴者の数も常に一定とは限らないため、視域を自動調整するのは簡易なことではない。
【0004】
また、TVに入力される映像データは、立体映像の再生に必要な視差データや奥行き情報を含む場合と含まない場合があり、映像データの映像種別を考慮に入れずに視域を自動調整すると、視聴者の意図に反した視域が設定されるおそれがある。
【0005】
さらに、視聴者の好みは千差万別であり、視聴者の好みを無視して自動調整するのも好ましくない。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第4521342号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、視聴者に違和感を感じさせることなく、実用性の高い視域の調整を行うことができる視域調整装置、映像処理装置および視域調整方法を提供するものである。
【課題を解決するための手段】
【0008】
本実施形態では、立体映像を表示可能な立体映像表示装置の前方を撮影可能な撮像部と、
前記撮像部で撮影された映像により視聴者の人数および位置を検出する視聴者情報検出部と、
前記視聴者情報検出部にて検出された人数に基づいて、立体映像を視認可能な視域を調整する方針を示す複数の視域調整方針のいずれかを選択する視域調整方針決定部と、
前記視域調整方針決定部で選択された前記視域調整方針と前記視聴者情報検出部で検出された視聴者の位置とに基づいて、前記視域の調整量を算出する視域情報算出部と、
前記視域情報算出部で算出された視域の調整量に基づいて、視域を調整する視域調整部と、を備えることを特徴とする視域調整装置が提供される。
【図面の簡単な説明】
【0009】
【図1】第1の実施形態に係る視域調整装置1を備えた映像処理装置2の外観図。
【図2】映像処理装置2の概略構成の一例を示すブロック図。
【図3】表示パネル31およびレンチキュラレンズ32の一部を上方から見た図。
【図4】本実施形態に係る視域調整装置1の処理動作を示すフローチャート。
【図5】第1の実施形態による視域調整方針決定テーブルを示す図。
【図6】視域の調整量を算出する手法の一例を示す図。
【図7】第2の実施形態に係る視域調整装置1を備えた映像処理装置2の概略構成を示すブロック図。
【図8】第2の実施形態による視域調整装置1の処理動作を示すフローチャート。
【図9】第2の実施形態による視域調整方針決定テーブルを示す図。
【図10】第3の実施形態に係る視域調整装置1を備えた映像処理装置2の概略構成を示すブロック図。
【図11】第3の実施形態による視域調整装置1の処理動作を示すフローチャート。
【図12】第3の実施形態による視域調整方針決定テーブルを示す図。
【発明を実施するための形態】
【0010】
以下、図面を参照しながら、本発明の一実施形態を説明する。
【0011】
(第1の実施形態)
図1は第1の実施形態に係る視域調整装置1を備えた映像処理装置2の外観図であり、図2はその概略構成を示すブロック図である。これらの図に示すように、映像処理装置2は、立体映像表示装置3と、表示制御部4と、カメラ5と、受光部6と、チューナデコーダ7と、視差画像変換部8とを備えている。
【0012】
立体映像表示装置3は、マトリクス状に配列された画素を有する表示パネル31と、この表示パネル31に対向するように配置されて各画素からの光線を制御する複数の射出瞳を有する光線制御部32とを有する。表示パネル31としては、例えば表示パネル31や、プラズマディスプレイ、EL(ElectroLuminescent)パネル等を用いることができる。光線制御部32は、一般的にはパララクスバリアまたは視差バリアとも呼ばれ、光線制御部32の各射出瞳は、同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差(水平視差)のみを与える場合には、複数のスリットを有するスリット版またはレンチキュラーシート(シリンドリカルレンズアレイ)が用いられ、上下視差(垂直視差)も含める場合には、ピンホールアレイまたはレンズアレイが用いられる。すなわち、スリット板のスリットや、シリンドリカルレンズアレイのシリンドリカルレンズ、ピンホールアレイのピンホール、レンズアレイのレンズが各射出瞳になる。
【0013】
なお、本実施形態に係る立体映像処理装置2は、複数の射出瞳を有する光線制御部32を備えているが、パララックスバリアを透過型液晶表示装置などで電子的に発生させ、バリアパターンの形状や位置などを電子的に可変制御する立体映像処理装置2を用いてもよく、後述する立体画像表示用の画像が表示可能な表示装置であればよい。
【0014】
以下では、光線制御部32としてレンチキュラレンズを用いる例を説明する。表示パネル31は、例えば水平方向に11520(=1280*9)個、垂直方向に2160個の画素が形成された、55インチサイズのパネルである。表示パネル31は、背面に設けられるバックライト装置(不図示)によって照明される。表示パネル31の各画素は、バックライト装置からの照明を受けて、視域調整装置1で視域が調整された視差画像信号(後述)に応じた輝度の光を透過させて、視差画像を表示する。
【0015】
レンチキュラレンズ32は表示パネル31の水平方向に沿って配置される複数の凸部を有し、その数は表示パネル31の水平方向画素数の1/9である。そして、9個の画素につき1つの凸部が対応するように、レンチキュラレンズ32は表示パネル31の表面に貼り付けられている。各画素を透過した光は凸部の頂点付近から指向性を持って特定の方向へ出力される。
【0016】
本実施形態の表示パネル31は、3視差以上の多視差方式(インテグラルイメージング方式)または2視差方式で、立体映像を表示することができ、この他に通常の2次元映像も表示可能である。いずれの表示方式の場合も、表示解像度は同じになる。
【0017】
表示制御部4は、表示パネル31の各画素に画素データを供給するタイミングを制御する。本実施形態の表示パネル31は、二次元映像を表示することもできるし、立体映像を表示することもできる。表示制御部4は、表示パネル31が二次元映像を表示する場合には、二次元映像表示用の画素データを表示パネル31に供給し、表示パネル31が三次元映像を表示する場合には、二視差データまたは多視差データを各画素に供給する。
【0018】
カメラ5は、表示パネル31の下部中央付近に、所定の仰角で取り付けられ、表示パネル31の前方の所定の範囲を撮影する。撮影された映像は視域調整装置1に供給され、視聴者の位置を検出するために用いられる。カメラ5は、動画像と静止画像のどちらを撮影してもよい。
【0019】
受光部6は、例えば表示パネル31の下部の左側に設けられる。そして、受光部6は視聴者が使用するリモコンから送信される赤外線信号を受信する。赤外線信号は、立体映像を表示するか2次元映像を表示する、立体映像を表示する場合に多視差方式および2視差方式のいずれで表示するか、視域の制御を行うか否か、等を示す信号を含む。
【0020】
チューナデコーダ7は入力される放送波を受信および選局し、符号化された映像信号を復号する。あるいは、チューナデコーダ7は光ディスク再生装置等の映像出力機器から符号化された映像信号を受信し、これを復号する。復号された信号はベースバンド映像信号とも呼ばれ、視差画像変換部8に供給される。
【0021】
視差画像変換部8は、映像を立体表示するために、ベースバンド映像信号を2視差以上の視差画像信号に変換して画像調整部15に供給する。
【0022】
視差画像変換部8は、多視差方式と2視差方式のどちらを採用するかで、処理内容が異なる。
【0023】
多視差方式を採用する場合、視差画像変換部8は第1〜第9視差画像にそれぞれ対応する第1〜第9視差画像信号を生成する。このとき、9視差の映像信号が入力された場合は、その映像信号を用いて第1〜第9視差画像信号を生成する。2次元の映像信号、あるいは8視差以下の映像信号が入力された場合は、動き検出、構図識別および人間の顔検出等を行って、第1〜第9視差画像信号を生成する。
【0024】
2視差方式を採用する場合、視差画像変換部8は、左目用および右目用視差画像にそれぞれ対応する左目用および右目用視差画像信号を生成する。フレームパッキング(FP)、サイドバイサイド(SBS)あるいはトップアンドボトム(TAB)方式等で視差情報を含む映像信号が入力される場合、視差画像変換部8は表示パネル31に表示可能な形式の左目用および右目用視差画像信号を生成する。
【0025】
これに対し、2視差方式を採用する際に視差情報を含まない2次元の映像信号が入力される場合、視差画像変換部8は、映像信号における各画素の奥行き値に基づいて、左目用および右目用視差画像信号を生成する。奥行き値は、各画素がどの程度表示パネル31に対して手前または奥に見えるように表示するかを示す値である。奥行き値は予め映像信号に付加されていてもよいし、映像信号の特徴に基づいて奥行き値を生成してもよい。
【0026】
2視差方式を採用する場合、左目用視差画像では、手前に見える画素は奥に見える画素より右側にずれて表示する必要がある。そのため、視差画像変換部8は映像信号における手前に見える画素を右側にずらす処理を行って左目用視差画像信号を生成する。奥行き値が大きいほどずらす量を大きくする。
【0027】
図2に示すように、視域調整装置1は、視聴者情報検出部11と、視域調整方針決定部12と、視域情報算出部13と、視域調整部14とを有する。視域調整装置1は、例えば1つのIC(Integrated Circuit)として実装され、表示パネル31の裏側に配置される。もちろん、視域調整装置1の少なくとも一部をソフトウェアで実装してもよい。
【0028】
視聴者情報検出部11は、カメラ5により撮影された映像を用いて視聴者を認識し、視聴者の人数と位置を検出する。視聴者の位置情報は、例えば表示パネル31の中央を原点とするX軸(水平方向)、Y軸(垂直方向)およびZ軸(表示パネル31のパネル面の法線方向)上の位置として表される。より具体的には、視聴者情報検出部11は、まず、入力映像データから人間の顔を検出することにより視聴者を認識する。次いで、視聴者情報検出部11は映像における顔の位置からX軸およびY軸上の位置を算出し、顔の大きさからZ軸上の位置を算出する。視聴者が複数存在する場合、視聴者情報検出部11は、予め定めた数、例えば10人分だけ視聴者の位置を検出するようにしてもよい。この場合、検出された顔の数が10より大きいときは、例えば表示パネル31から近い、すなわち、Z軸上の距離が小さい順に10人の視聴者の位置を検出する。
【0029】
視域調整方針決定部12は、視聴者情報検出部11にて検出された人数に基づいて、立体映像を視認可能な視域を調整する方針を示す複数の視域調整方針のいずれかを選択する。
【0030】
視域情報算出部13は、視域調整方針決定部12で選択された視域調整方針と視聴者情報検出部11で検出された視聴者の位置とに基づいて、視域の調整量を算出する。視域調整部14は、視域情報算出部13で算出された視域の調整量に基づいて、視域を調整する。
【0031】
本実施形態では、表示パネル31の各凸部に対応して9個の画素を設けて、9視差の多視差方式を採用可能な例を説明する。多視差方式では、各凸部に対応する9個の画素にそれぞれ第1〜第9視差画像を表示する。第1〜第9視差画像とは、水平方向に並ぶ9つの視点からそれぞれ被写体を見たときに視認される画像である。視聴者は、レンチキュラレンズ32を介して、左目で第1〜第9視差画像のうちの1つの視差画像を、右目で他の1つの視差画像をそれぞれ見ることにより、映像を立体視できる。多視差方式では、視域を広くすることができる。視域とは、表示パネル31の前方から表示パネル31を見たときに映像を立体視可能な領域をいう。
【0032】
一方、2視差方式では、各凸部に対応する9個の画素のうちの4個に右目用視差画像を、他の5個に左目用視差画像をそれぞれ表示する。左目用および右目用視差画像とは、水平方向に並ぶ2つの視点のうち、左側の視点および右側の視点からそれぞれ被写体を見たときに視認される画像である。視聴者は、レンチキュラレンズ32を介して、左目で左目用視差画像を、右目で右目用視差画像をそれぞれ見ることにより、映像を立体視できる。2視差方式では、表示される映像の立体感が多視差方式よりも得られやすくなるが、多視差方式に比べて視域が狭くなる。
【0033】
なお、表示パネル31に2次元画像を表示する場合には、各凸部に対応する9個の画素に同一の画像を表示する。このように、液晶パネル1に2次元画像を表示する場合も、2視差あるいは多視差による立体映像を表示する場合も、表示解像度は同じになる。
【0034】
また、本実施形態では、レンチキュラレンズ32の各凸部と、各凸部に対応づけられる9個の画素との相対的な位置関係を制御することで、視域を調整している。以下、多視差方式を例に取って、視差の制御について説明する。
【0035】
図3は表示パネル31およびレンチキュラレンズ32の一部を上方から見た図である。同図の網掛けの領域が視域を示しており、視域から表示パネル31を見ると映像を立体視できる。他の領域は逆視やクロストークが発生する領域であり、映像を立体視するのが困難な領域である。
図3は、表示パネル31とレンチキュラレンズ32との相対的な位置関係、より具体的には、表示パネル31とレンチキュラレンズ32との距離、あるいは表示パネル31とレンチキュラレンズ32との水平方向のずれ量によって、視域が変化する様子を示している。
【0036】
実際には、レンチキュラレンズ32は、表示パネル31に高精度に位置合わせをして貼り付けられるため、表示パネル31とレンチキュラレンズ32との相対的な位置を物理的に変更することは困難である。
【0037】
そこで、本実施形態では、表示パネル31の各画素に表示される第1〜第9視差画像の表示位置をずらすことで、見かけ上、表示パネル31とレンチキュラレンズ32との相対的な位置関係を変更し、これにより、視域の調整を行う。
【0038】
例えば、各凸部に対応する9個の画素に第1〜第9視差画像を順に表示した場合(図3(a))に比べ、視差画像を全体に右側にずらして表示した場合(図3(b))、視域は左側に移動する。逆に、視差画像を全体に左側にずらして表示した場合、視域は右側に移動する。
【0039】
また、水平方向の中央付近では視差画像をずらさず、表示パネル31の外側ほど、視差画像を外側に大きくずらして表示した場合(図3(c))、視域は表示パネル31に近づく方向に移動する。なお、ずらす視差画像とずらさない視差画像との間の画素や、ずらす量が異なる視差画像間の画素は、周囲の画素に応じて適宜補間すればよい。また、図3(c)とは逆に、水平方向の中央付近では視差画像をずらさず、表示パネル31の外側ほど、視差画像を中心側に大きくずらして表示した場合、視域は表示パネル31から遠ざかる方向に移動する。
【0040】
このように、視差画像の全体あるいは一部をずらして表示することにより、視域を表示パネル31に対して左右方向あるいは前後方向に移動させることができる。図3では説明を簡略化するために視域を1つだけ示しているが、実際には複数の視域が存在しており、表示パネル31の各画素に表示される第1〜第9視差画像の表示位置をずらすと、これら複数の視域は連動して移動する。視域の移動は図2の視域調整部14により制御される。
【0041】
図4は本実施形態に係る視域調整装置1の処理動作を示すフローチャートである。まず、視聴者情報検出部11は、カメラで撮影した映像に基づいて視聴者を認識し、認識した視聴者の人数と位置を検出する(ステップS1)。
【0042】
次に、視域調整方針決定部12により、現在採用している視域調整方針を変更する必要があるか否かを判定する(ステップS2)。視聴者の人数が同じであれば、視域調整方針の変更は不要と判断し、視聴者の人数に変化があれば、視域調整方針の変更が必要と判断する。
【0043】
視域調整方針決定部12は、視域調整方針の変更が必要と判断した場合には、視聴者の人数に応じて、視域調整方針を決定する(ステップS3)。
【0044】
図5は第1の実施形態による視域調整方針決定テーブルを示す図である。図5に示すように、第1の実施形態に係る視域調整方針決定部12は、視聴者の人数に応じて、それぞれ異なる視域調整方針を選択する。
【0045】
より具体的には、人数がゼロの場合は、視域を表示パネル31のセンター固定に設定するセンター固定方針を選択する。センター固定とは、レンチキュラレンズ32を備えた表示パネル31ごとに定められる最適な視域の中心位置である。
【0046】
また、人数が一人の場合は、視聴者の位置に合わせて視域を継続的に自動追従して、視域の中心位置に視聴者を配置する自動追従方針を選択する。また、人数が二人以上の場合は、各視聴者の位置に合わせて視域を自動追従する複数人自動追従方針を選択する。
【0047】
さらに、どの視域調整方針を選択する場合であっても、3視差以上の多視差で立体映像表示を行うインテグラルイメージング方式を採用する。図5では、インテグラルイメージング方式をIIと表記している。本実施形態は、インテグラルイメージング方式が選択されると、9視差の多視差方式で立体映像表示を行う。
【0048】
ここで、人数がゼロの場合に、センター固定方針を選択する理由は、この場合は、視聴者が存在しないことから、視域を調整する必要がないためである。
【0049】
人数が一人または二人以上の場合に、各視聴者の位置に合わせて視域を自動追従する視域調整方針を選択する理由は、視聴者が位置を変更しても、できるだけ立体映像を視認できるようにするためである。視聴者の位置に合わせて視域を自動追従するには、カメラで撮影した視聴者の位置に合わせて、視域情報算出部13で視域の調整量を算出し、その算出結果に基づいて、視域調整部14で視域を調整する必要がある。視域を調整する際は、図5で説明したように、表示パネル31に表示する第1〜第9視差画像の画素位置を切り替えることで、見かけ上、表示パネル31とレンチキュラレンズ32との相対的な位置関係を変更する。
【0050】
上述した図4のステップS3で視域調整方針が決定されると、視域情報算出部13は、決定された視域調整方針と視聴者の位置とに基づいて、視域の調整量を算出する(ステップS4)。
【0051】
図6は視域の調整量を算出する手法の一例を示す図である。視域情報算出部13は設定可能な視域のパターンをいくつか予め定めておく。そして、視域情報算出部13は、各視域について、視域と視聴者の検出位置とが重なる面積を算出し、その面積が最大となる視域を適切な視域と判断する。図6の例では、予め定めた図6(a)〜図6(e)の5つの視域(網掛けの領域)のパターンのうち、視域を表示パネル31に向かって左側に設定する図6(b)において、視聴者20の検出位置と視域とが重なる面積が最大となる。よって、視域情報算出部13は図6(b)の視域のパターンを適切な視域と判断し、図6(b)のパターンで視差画像を表示するための制御パラメータを算出する。ここで、制御パラメータとは、例えば、表示パネル31上で視差画像を表示する画素位置をずらす量である。
【0052】
このようにして、図4のステップS4で視域の調整量が算出されると、次に、視域調整部14は、視域情報算出部13が算出した制御パラメータに応じて、視差画像信号をずらしたり、補間処理を行ったりして、視域の調整を行い、新たな視差画像信号を生成する(ステップS5)。そして、この新たな視差画像信号を表示パネル31に供給して、視域調整後の立体映像を表示する(ステップS6)。
【0053】
このように、第1の実施形態では、視聴者の人数に応じて視域調整方針を選択するため、視聴者の人数に応じて、最適な立体映像表示を行うことができる。また、視聴者が位置を変更したとしても、視聴者の位置に合わせて視域を自動追従するため、視聴者に違和感を与えることなく、継続して安定した立体映像表示を提供できる。
【0054】
(第2の実施形態)
第2の実施形態は、視域調整方針を決定する際に、視聴者の人数だけでなく、入力映像の種別も考慮に入れるものである。
【0055】
図7は第2の実施形態に係る視域調整装置1を備えた映像処理装置2の概略構成を示すブロック図である。図7の視域調整装置1は、図2の視域調整装置1の構成に加えて、映像種別検出部15を備えている。
【0056】
図7の映像種別検出部15は、入力映像データの映像種別を検出する。例えば、映像種別検出部15は、入力映像データが奥行き情報または視差情報を含む映像データ(以下、ステレオ3Dデータ)であるか、奥行き情報も視差情報も持たない通常の二次元映像データであるかを検出する。
【0057】
映像種別検出部15で映像種別を検出する理由は、入力映像データがステレオ3Dデータであれば、インテグラルイメージング方式にて多視差による立体映像表示を行うよりも、ステレオ3Dデータをそのまま利用して立体映像表示を行った方が立体感に優れた立体映像表示を行えるためである。
【0058】
図8は第2の実施形態による視域調整装置1の処理動作を示すフローチャートである。図8のフローチャートは、ステップS12とS14の処理が図4のフローチャートとは異なっている。すなわち、視聴者情報検出部11で視聴者の人数と位置を検出(ステップS11)した後、映像種別検出部15にて入力映像データの映像種別を検出する(ステップS12)。
【0059】
その後、現在の視域調整方針を変更する必要があるか否かを判定し(ステップS13)、変更が必要と判定されると、視域調整方針決定部12にて新たな視域調整方針を決定する(ステップS14)。
【0060】
図9は第2の実施形態による視域調整方針決定テーブルを示す図である。図9のテーブルは、視域調整方針を決定するための入力パラメータが、視聴者の人数と入力映像種別の二つである。これら2つの入力パラメータの組み合わせで選択される視域調整方針の種類は、全部で6種類である。以下、順に説明する。
【0061】
視聴者の人数がゼロで、かつ入力映像がステレオ3Dデータの場合は、視域調整方針として、ステレオ3Dデータの中に含まれる奥行き情報または視差情報をそのまま利用して立体映像表示を行う二視差方式(以下、ダイレクト3Dと呼ぶ)を選択し、かつ視域をセンター固定にする。
【0062】
視聴者の人数がゼロで、かつ入力映像がステレオ3Dデータ以外の通常の二次元映像データの場合は、視域調整方針として、インテグラルイメージング方式による多視差の立体映像表示を選択し、かつ視域をセンター固定にする。
【0063】
視聴者の人数が一人で、かつ入力映像データがステレオ3Dデータの場合は、ダイレクト3Dを選択し、かつ視聴者の位置に合わせて視域を自動追従する。
【0064】
視聴者の人数が一人で、かつ入力映像データがステレオ3Dデータ以外の通常の二次元映像データの場合は、インテグラルイメージング方式による多視差の立体映像表示を選択し、かつ視聴者の位置に合わせて視域を自動追従する。
【0065】
視聴者の人数が二人以上で、かつ入力映像データがステレオ3Dデータの場合は、インテグラルイメージング方式による多視差の立体映像表示を選択し、かつ複数の視聴者それぞれの位置に合わせて視域を自動追従する。
【0066】
視聴者の人数が二人以上で、かつ入力映像データがステレオ3Dデータ以外の通常の二次元映像データの場合は、インテグラルイメージング方式による多視差の立体映像表示を選択し、かつ複数の視聴者それぞれの位置に合わせて視域を自動追従する。
【0067】
このように、入力映像データがステレオ3Dデータで、かつ視聴者が一人かゼロの場合は、より立体感が得られるように、多視差による立体映像表示は行わずに、入力映像データに含まれる奥行き情報または視差情報をそのまま利用して、二視差による立体映像表示を行う。
【0068】
図8のステップS14で視域調整方針が決定されると、その後は、図4のステップS4〜S6と同様に、視域の調整量の計算(ステップS15)と、視域の調整(ステップS16)と、立体映像表示(ステップS17)とを順に行う。
【0069】
このように、第2の実施形態では、視聴者の人数だけでなく、入力映像データの種別も考慮に入れて、視域調整方針を決定するため、入力映像データがステレオ3Dデータで、かつ視聴者が一人かゼロのときは、入力映像データをそのまま利用して二視差による立体映像表示を行うことができ、より立体感に優れた立体映像表示を提供できる。
【0070】
(第3の実施形態)
第3の実施形態は、第2の実施形態に加えて、ユーザの好みも考慮に入れて、視域調整方針を決定するものである。
【0071】
図10は第3の実施形態に係る視域調整装置1を備えた映像処理装置2の概略構成を示すブロック図である。図10の視域調整装置1は、図7の視域調整装置1の構成に加えて、ユーザプリファレンス設定部16を備えている。
【0072】
図10のユーザプリファレンス設定部16は、ユーザが希望する視域調整方針を設定する。ユーザは、リモートコントローラ等を用いて、複数の視域調整方針の中から希望する視域調整方針を選択する。ユーザプリファレンス設定部16は、後述する視域調整方針決定テーブルに基づいて、必要に応じてユーザが選択した視域調整方針を採用する。
【0073】
図11は第3の実施形態による視域調整装置1の処理動作を示すフローチャートである。図11のフローチャートは、ステップS23とS25の処理が図8のフローチャートと異なっている。ステップS22で入力映像データの映像種別を判別した後、ユーザプリファレンス設定部16は、ユーザが希望する視域調整方針を設定する(ステップS23)。
【0074】
その後、ステップS24で視域調整方針の変更が必要と判定されると、視域調整方針決定部12は、ユーザの好みも考慮に入れて、新たな視域調整方針を決定する(ステップS24)。
【0075】
図12は第3の実施形態による視域調整方針決定テーブルを示す図である。特定の視域調整方針を決定するための入力パラメータは、視聴者の人数と入力映像データの映像種別に加えて、ユーザプリファレンス設定部16で設定したユーザの好みである。
【0076】
ユーザの好みの具体的内容は、特に限定されるものではないが、図12の例では、ユーザは、入力映像に含まれる奥行き情報または視差情報をそのまま用いて立体映像表示を行うダイレクト3Dを優先するか否かと、多視差による立体映像表示を行うインテグラルイメージング方式を優先するか否かと、予め設定した重みの大きい位置、すなわち優先度の高い位置)に視域を設定するヒストグラム優先を採用するか否かと、ユーザの手動で任意に設定するか否かと、をユーザプリファレンス設定部16で設定することができる。
【0077】
図12の例では、視聴者の数がゼロで、かつ入力映像データがステレオ3Dデータの場合は、ユーザプリファレンス設定部16の設定内容に応じて、以下の視域調整方針が決定される。
【0078】
ユーザがダイレクト3D優先を選択した場合は、ダイレクト3Dでセンター固定と決定される。ユーザがインテグラルイメージング方式優先を選択した場合は、インテグラルイメージング方式でセンター固定と決定される。ユーザがヒストグラム優先を選択した場合は、インテグラルイメージング方式でヒストグラムによる中心推定と決定される。ユーザが手動を選択した場合は、インテグラルイメージング方式と決定され、かつユーザが手動で視域調整方針を決定することを許容する。
【0079】
視聴者の数がゼロで、かつ入力映像データがステレオ3Dデータ以外の通常の二次元映像データの場合は、ユーザがダイレクト3D優先を選択したとしても、ダイレクト3Dではなく、インテグラルイメージング方式が設定される。
【0080】
視聴者が一人の場合は、入力映像データの種別にかかわらず、ユーザがダイレクト3D優先またはインテグラルイメージング方式を選択した場合は、インテグラルイメージング方式で自動追従が設定される。また、ユーザがヒストグラム優先を選択した場合は、インテグラルイメージング方式でヒストグラムによる優先度付けが設定される。ユーザが手動を選択した場合は、入力映像データがステレオ3Dデータであれば、ダイレクト3Dで、かつユーザが手動で視域調整方針を決定することを許容する。ユーザが手動を選択したときに入力映像データがステレオ3Dでない通常の二次元映像データの場合は、インテグラルイメージング方式が設定され、かつユーザが手動で視域調整方針を決定することを許容する。
【0081】
視聴者が二人以上の場合は、入力映像データの種別にかかわらず、ユーザがダイレクト3D優先またはインテグラルイメージング方式を選択した場合は、インテグラルイメージング方式で複数人の自動追従が設定され、ユーザがヒストグラム優先を選択した場合は、インテグラルイメージング方式でヒストグラムによる優先度付けが設定され、ユーザが手動を選択した場合は、ユーザが手動で視域調整方針を決定することを許容する。
【0082】
図12に従って、視域調整方針としてインテグラルイメージング方式が選択された場合は、 入力映像データがステレオ3Dデータであっても、ステレオ3Dデータ以外の通常の二次元映像データであっても、入力映像データに対する、動き検出、構図識別および人間の顔検出による奥行き情報検出を行って、多視差データを生成する。
【0083】
このように、第3の実施形態では、ユーザの好みも加味して視域調整方針を決定するため、個々のユーザの意向に沿った視域調整が可能となる。
【0084】
上述した実施形態で説明した視域調整装置1および映像処理装置2の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、視域調整装置1および映像処理装置2の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD−ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【0085】
また、視域調整装置1および映像処理装置2の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【0086】
本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【0087】
1 視域調整装置
2 映像処理装置
3 立体映像表示装置
4 表示制御部
5 カメラ
6 受光部
7 チューナデコーダ
8 視差画像変換部
11 視聴者情報検出部
12 視域調整方針決定部
13 視域情報算出部
14 視域調整部
15 映像種別検出部
16 ユーザプリファレンス設定部
31 表示パネル
32 光線制御部(レンチキュラレンズ)
【技術分野】
【0001】
本発明の実施形態は、立体映像を視認可能な視域を調整する視域調整装置、映像処理装置および視域調整方法に関する。
【背景技術】
【0002】
裸眼で立体映像を視認可能なTVが注目されている。ところが、この種のTVでは、視聴位置によっては、立体感が得られない場合があり、十分な立体感を得るには、視聴者が立体感を得られる位置まで移動しなければならない。特に、視聴者が複数存在する場合には、各人が立体感を得られる位置まで移動するのは、非常に煩わしい。
【0003】
そこで、TV側で立体感が得られる視域を調整することも考えられるが、視聴者は同じ場所に留まっているとは限らず、また視聴者の数も常に一定とは限らないため、視域を自動調整するのは簡易なことではない。
【0004】
また、TVに入力される映像データは、立体映像の再生に必要な視差データや奥行き情報を含む場合と含まない場合があり、映像データの映像種別を考慮に入れずに視域を自動調整すると、視聴者の意図に反した視域が設定されるおそれがある。
【0005】
さらに、視聴者の好みは千差万別であり、視聴者の好みを無視して自動調整するのも好ましくない。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第4521342号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、視聴者に違和感を感じさせることなく、実用性の高い視域の調整を行うことができる視域調整装置、映像処理装置および視域調整方法を提供するものである。
【課題を解決するための手段】
【0008】
本実施形態では、立体映像を表示可能な立体映像表示装置の前方を撮影可能な撮像部と、
前記撮像部で撮影された映像により視聴者の人数および位置を検出する視聴者情報検出部と、
前記視聴者情報検出部にて検出された人数に基づいて、立体映像を視認可能な視域を調整する方針を示す複数の視域調整方針のいずれかを選択する視域調整方針決定部と、
前記視域調整方針決定部で選択された前記視域調整方針と前記視聴者情報検出部で検出された視聴者の位置とに基づいて、前記視域の調整量を算出する視域情報算出部と、
前記視域情報算出部で算出された視域の調整量に基づいて、視域を調整する視域調整部と、を備えることを特徴とする視域調整装置が提供される。
【図面の簡単な説明】
【0009】
【図1】第1の実施形態に係る視域調整装置1を備えた映像処理装置2の外観図。
【図2】映像処理装置2の概略構成の一例を示すブロック図。
【図3】表示パネル31およびレンチキュラレンズ32の一部を上方から見た図。
【図4】本実施形態に係る視域調整装置1の処理動作を示すフローチャート。
【図5】第1の実施形態による視域調整方針決定テーブルを示す図。
【図6】視域の調整量を算出する手法の一例を示す図。
【図7】第2の実施形態に係る視域調整装置1を備えた映像処理装置2の概略構成を示すブロック図。
【図8】第2の実施形態による視域調整装置1の処理動作を示すフローチャート。
【図9】第2の実施形態による視域調整方針決定テーブルを示す図。
【図10】第3の実施形態に係る視域調整装置1を備えた映像処理装置2の概略構成を示すブロック図。
【図11】第3の実施形態による視域調整装置1の処理動作を示すフローチャート。
【図12】第3の実施形態による視域調整方針決定テーブルを示す図。
【発明を実施するための形態】
【0010】
以下、図面を参照しながら、本発明の一実施形態を説明する。
【0011】
(第1の実施形態)
図1は第1の実施形態に係る視域調整装置1を備えた映像処理装置2の外観図であり、図2はその概略構成を示すブロック図である。これらの図に示すように、映像処理装置2は、立体映像表示装置3と、表示制御部4と、カメラ5と、受光部6と、チューナデコーダ7と、視差画像変換部8とを備えている。
【0012】
立体映像表示装置3は、マトリクス状に配列された画素を有する表示パネル31と、この表示パネル31に対向するように配置されて各画素からの光線を制御する複数の射出瞳を有する光線制御部32とを有する。表示パネル31としては、例えば表示パネル31や、プラズマディスプレイ、EL(ElectroLuminescent)パネル等を用いることができる。光線制御部32は、一般的にはパララクスバリアまたは視差バリアとも呼ばれ、光線制御部32の各射出瞳は、同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差(水平視差)のみを与える場合には、複数のスリットを有するスリット版またはレンチキュラーシート(シリンドリカルレンズアレイ)が用いられ、上下視差(垂直視差)も含める場合には、ピンホールアレイまたはレンズアレイが用いられる。すなわち、スリット板のスリットや、シリンドリカルレンズアレイのシリンドリカルレンズ、ピンホールアレイのピンホール、レンズアレイのレンズが各射出瞳になる。
【0013】
なお、本実施形態に係る立体映像処理装置2は、複数の射出瞳を有する光線制御部32を備えているが、パララックスバリアを透過型液晶表示装置などで電子的に発生させ、バリアパターンの形状や位置などを電子的に可変制御する立体映像処理装置2を用いてもよく、後述する立体画像表示用の画像が表示可能な表示装置であればよい。
【0014】
以下では、光線制御部32としてレンチキュラレンズを用いる例を説明する。表示パネル31は、例えば水平方向に11520(=1280*9)個、垂直方向に2160個の画素が形成された、55インチサイズのパネルである。表示パネル31は、背面に設けられるバックライト装置(不図示)によって照明される。表示パネル31の各画素は、バックライト装置からの照明を受けて、視域調整装置1で視域が調整された視差画像信号(後述)に応じた輝度の光を透過させて、視差画像を表示する。
【0015】
レンチキュラレンズ32は表示パネル31の水平方向に沿って配置される複数の凸部を有し、その数は表示パネル31の水平方向画素数の1/9である。そして、9個の画素につき1つの凸部が対応するように、レンチキュラレンズ32は表示パネル31の表面に貼り付けられている。各画素を透過した光は凸部の頂点付近から指向性を持って特定の方向へ出力される。
【0016】
本実施形態の表示パネル31は、3視差以上の多視差方式(インテグラルイメージング方式)または2視差方式で、立体映像を表示することができ、この他に通常の2次元映像も表示可能である。いずれの表示方式の場合も、表示解像度は同じになる。
【0017】
表示制御部4は、表示パネル31の各画素に画素データを供給するタイミングを制御する。本実施形態の表示パネル31は、二次元映像を表示することもできるし、立体映像を表示することもできる。表示制御部4は、表示パネル31が二次元映像を表示する場合には、二次元映像表示用の画素データを表示パネル31に供給し、表示パネル31が三次元映像を表示する場合には、二視差データまたは多視差データを各画素に供給する。
【0018】
カメラ5は、表示パネル31の下部中央付近に、所定の仰角で取り付けられ、表示パネル31の前方の所定の範囲を撮影する。撮影された映像は視域調整装置1に供給され、視聴者の位置を検出するために用いられる。カメラ5は、動画像と静止画像のどちらを撮影してもよい。
【0019】
受光部6は、例えば表示パネル31の下部の左側に設けられる。そして、受光部6は視聴者が使用するリモコンから送信される赤外線信号を受信する。赤外線信号は、立体映像を表示するか2次元映像を表示する、立体映像を表示する場合に多視差方式および2視差方式のいずれで表示するか、視域の制御を行うか否か、等を示す信号を含む。
【0020】
チューナデコーダ7は入力される放送波を受信および選局し、符号化された映像信号を復号する。あるいは、チューナデコーダ7は光ディスク再生装置等の映像出力機器から符号化された映像信号を受信し、これを復号する。復号された信号はベースバンド映像信号とも呼ばれ、視差画像変換部8に供給される。
【0021】
視差画像変換部8は、映像を立体表示するために、ベースバンド映像信号を2視差以上の視差画像信号に変換して画像調整部15に供給する。
【0022】
視差画像変換部8は、多視差方式と2視差方式のどちらを採用するかで、処理内容が異なる。
【0023】
多視差方式を採用する場合、視差画像変換部8は第1〜第9視差画像にそれぞれ対応する第1〜第9視差画像信号を生成する。このとき、9視差の映像信号が入力された場合は、その映像信号を用いて第1〜第9視差画像信号を生成する。2次元の映像信号、あるいは8視差以下の映像信号が入力された場合は、動き検出、構図識別および人間の顔検出等を行って、第1〜第9視差画像信号を生成する。
【0024】
2視差方式を採用する場合、視差画像変換部8は、左目用および右目用視差画像にそれぞれ対応する左目用および右目用視差画像信号を生成する。フレームパッキング(FP)、サイドバイサイド(SBS)あるいはトップアンドボトム(TAB)方式等で視差情報を含む映像信号が入力される場合、視差画像変換部8は表示パネル31に表示可能な形式の左目用および右目用視差画像信号を生成する。
【0025】
これに対し、2視差方式を採用する際に視差情報を含まない2次元の映像信号が入力される場合、視差画像変換部8は、映像信号における各画素の奥行き値に基づいて、左目用および右目用視差画像信号を生成する。奥行き値は、各画素がどの程度表示パネル31に対して手前または奥に見えるように表示するかを示す値である。奥行き値は予め映像信号に付加されていてもよいし、映像信号の特徴に基づいて奥行き値を生成してもよい。
【0026】
2視差方式を採用する場合、左目用視差画像では、手前に見える画素は奥に見える画素より右側にずれて表示する必要がある。そのため、視差画像変換部8は映像信号における手前に見える画素を右側にずらす処理を行って左目用視差画像信号を生成する。奥行き値が大きいほどずらす量を大きくする。
【0027】
図2に示すように、視域調整装置1は、視聴者情報検出部11と、視域調整方針決定部12と、視域情報算出部13と、視域調整部14とを有する。視域調整装置1は、例えば1つのIC(Integrated Circuit)として実装され、表示パネル31の裏側に配置される。もちろん、視域調整装置1の少なくとも一部をソフトウェアで実装してもよい。
【0028】
視聴者情報検出部11は、カメラ5により撮影された映像を用いて視聴者を認識し、視聴者の人数と位置を検出する。視聴者の位置情報は、例えば表示パネル31の中央を原点とするX軸(水平方向)、Y軸(垂直方向)およびZ軸(表示パネル31のパネル面の法線方向)上の位置として表される。より具体的には、視聴者情報検出部11は、まず、入力映像データから人間の顔を検出することにより視聴者を認識する。次いで、視聴者情報検出部11は映像における顔の位置からX軸およびY軸上の位置を算出し、顔の大きさからZ軸上の位置を算出する。視聴者が複数存在する場合、視聴者情報検出部11は、予め定めた数、例えば10人分だけ視聴者の位置を検出するようにしてもよい。この場合、検出された顔の数が10より大きいときは、例えば表示パネル31から近い、すなわち、Z軸上の距離が小さい順に10人の視聴者の位置を検出する。
【0029】
視域調整方針決定部12は、視聴者情報検出部11にて検出された人数に基づいて、立体映像を視認可能な視域を調整する方針を示す複数の視域調整方針のいずれかを選択する。
【0030】
視域情報算出部13は、視域調整方針決定部12で選択された視域調整方針と視聴者情報検出部11で検出された視聴者の位置とに基づいて、視域の調整量を算出する。視域調整部14は、視域情報算出部13で算出された視域の調整量に基づいて、視域を調整する。
【0031】
本実施形態では、表示パネル31の各凸部に対応して9個の画素を設けて、9視差の多視差方式を採用可能な例を説明する。多視差方式では、各凸部に対応する9個の画素にそれぞれ第1〜第9視差画像を表示する。第1〜第9視差画像とは、水平方向に並ぶ9つの視点からそれぞれ被写体を見たときに視認される画像である。視聴者は、レンチキュラレンズ32を介して、左目で第1〜第9視差画像のうちの1つの視差画像を、右目で他の1つの視差画像をそれぞれ見ることにより、映像を立体視できる。多視差方式では、視域を広くすることができる。視域とは、表示パネル31の前方から表示パネル31を見たときに映像を立体視可能な領域をいう。
【0032】
一方、2視差方式では、各凸部に対応する9個の画素のうちの4個に右目用視差画像を、他の5個に左目用視差画像をそれぞれ表示する。左目用および右目用視差画像とは、水平方向に並ぶ2つの視点のうち、左側の視点および右側の視点からそれぞれ被写体を見たときに視認される画像である。視聴者は、レンチキュラレンズ32を介して、左目で左目用視差画像を、右目で右目用視差画像をそれぞれ見ることにより、映像を立体視できる。2視差方式では、表示される映像の立体感が多視差方式よりも得られやすくなるが、多視差方式に比べて視域が狭くなる。
【0033】
なお、表示パネル31に2次元画像を表示する場合には、各凸部に対応する9個の画素に同一の画像を表示する。このように、液晶パネル1に2次元画像を表示する場合も、2視差あるいは多視差による立体映像を表示する場合も、表示解像度は同じになる。
【0034】
また、本実施形態では、レンチキュラレンズ32の各凸部と、各凸部に対応づけられる9個の画素との相対的な位置関係を制御することで、視域を調整している。以下、多視差方式を例に取って、視差の制御について説明する。
【0035】
図3は表示パネル31およびレンチキュラレンズ32の一部を上方から見た図である。同図の網掛けの領域が視域を示しており、視域から表示パネル31を見ると映像を立体視できる。他の領域は逆視やクロストークが発生する領域であり、映像を立体視するのが困難な領域である。
図3は、表示パネル31とレンチキュラレンズ32との相対的な位置関係、より具体的には、表示パネル31とレンチキュラレンズ32との距離、あるいは表示パネル31とレンチキュラレンズ32との水平方向のずれ量によって、視域が変化する様子を示している。
【0036】
実際には、レンチキュラレンズ32は、表示パネル31に高精度に位置合わせをして貼り付けられるため、表示パネル31とレンチキュラレンズ32との相対的な位置を物理的に変更することは困難である。
【0037】
そこで、本実施形態では、表示パネル31の各画素に表示される第1〜第9視差画像の表示位置をずらすことで、見かけ上、表示パネル31とレンチキュラレンズ32との相対的な位置関係を変更し、これにより、視域の調整を行う。
【0038】
例えば、各凸部に対応する9個の画素に第1〜第9視差画像を順に表示した場合(図3(a))に比べ、視差画像を全体に右側にずらして表示した場合(図3(b))、視域は左側に移動する。逆に、視差画像を全体に左側にずらして表示した場合、視域は右側に移動する。
【0039】
また、水平方向の中央付近では視差画像をずらさず、表示パネル31の外側ほど、視差画像を外側に大きくずらして表示した場合(図3(c))、視域は表示パネル31に近づく方向に移動する。なお、ずらす視差画像とずらさない視差画像との間の画素や、ずらす量が異なる視差画像間の画素は、周囲の画素に応じて適宜補間すればよい。また、図3(c)とは逆に、水平方向の中央付近では視差画像をずらさず、表示パネル31の外側ほど、視差画像を中心側に大きくずらして表示した場合、視域は表示パネル31から遠ざかる方向に移動する。
【0040】
このように、視差画像の全体あるいは一部をずらして表示することにより、視域を表示パネル31に対して左右方向あるいは前後方向に移動させることができる。図3では説明を簡略化するために視域を1つだけ示しているが、実際には複数の視域が存在しており、表示パネル31の各画素に表示される第1〜第9視差画像の表示位置をずらすと、これら複数の視域は連動して移動する。視域の移動は図2の視域調整部14により制御される。
【0041】
図4は本実施形態に係る視域調整装置1の処理動作を示すフローチャートである。まず、視聴者情報検出部11は、カメラで撮影した映像に基づいて視聴者を認識し、認識した視聴者の人数と位置を検出する(ステップS1)。
【0042】
次に、視域調整方針決定部12により、現在採用している視域調整方針を変更する必要があるか否かを判定する(ステップS2)。視聴者の人数が同じであれば、視域調整方針の変更は不要と判断し、視聴者の人数に変化があれば、視域調整方針の変更が必要と判断する。
【0043】
視域調整方針決定部12は、視域調整方針の変更が必要と判断した場合には、視聴者の人数に応じて、視域調整方針を決定する(ステップS3)。
【0044】
図5は第1の実施形態による視域調整方針決定テーブルを示す図である。図5に示すように、第1の実施形態に係る視域調整方針決定部12は、視聴者の人数に応じて、それぞれ異なる視域調整方針を選択する。
【0045】
より具体的には、人数がゼロの場合は、視域を表示パネル31のセンター固定に設定するセンター固定方針を選択する。センター固定とは、レンチキュラレンズ32を備えた表示パネル31ごとに定められる最適な視域の中心位置である。
【0046】
また、人数が一人の場合は、視聴者の位置に合わせて視域を継続的に自動追従して、視域の中心位置に視聴者を配置する自動追従方針を選択する。また、人数が二人以上の場合は、各視聴者の位置に合わせて視域を自動追従する複数人自動追従方針を選択する。
【0047】
さらに、どの視域調整方針を選択する場合であっても、3視差以上の多視差で立体映像表示を行うインテグラルイメージング方式を採用する。図5では、インテグラルイメージング方式をIIと表記している。本実施形態は、インテグラルイメージング方式が選択されると、9視差の多視差方式で立体映像表示を行う。
【0048】
ここで、人数がゼロの場合に、センター固定方針を選択する理由は、この場合は、視聴者が存在しないことから、視域を調整する必要がないためである。
【0049】
人数が一人または二人以上の場合に、各視聴者の位置に合わせて視域を自動追従する視域調整方針を選択する理由は、視聴者が位置を変更しても、できるだけ立体映像を視認できるようにするためである。視聴者の位置に合わせて視域を自動追従するには、カメラで撮影した視聴者の位置に合わせて、視域情報算出部13で視域の調整量を算出し、その算出結果に基づいて、視域調整部14で視域を調整する必要がある。視域を調整する際は、図5で説明したように、表示パネル31に表示する第1〜第9視差画像の画素位置を切り替えることで、見かけ上、表示パネル31とレンチキュラレンズ32との相対的な位置関係を変更する。
【0050】
上述した図4のステップS3で視域調整方針が決定されると、視域情報算出部13は、決定された視域調整方針と視聴者の位置とに基づいて、視域の調整量を算出する(ステップS4)。
【0051】
図6は視域の調整量を算出する手法の一例を示す図である。視域情報算出部13は設定可能な視域のパターンをいくつか予め定めておく。そして、視域情報算出部13は、各視域について、視域と視聴者の検出位置とが重なる面積を算出し、その面積が最大となる視域を適切な視域と判断する。図6の例では、予め定めた図6(a)〜図6(e)の5つの視域(網掛けの領域)のパターンのうち、視域を表示パネル31に向かって左側に設定する図6(b)において、視聴者20の検出位置と視域とが重なる面積が最大となる。よって、視域情報算出部13は図6(b)の視域のパターンを適切な視域と判断し、図6(b)のパターンで視差画像を表示するための制御パラメータを算出する。ここで、制御パラメータとは、例えば、表示パネル31上で視差画像を表示する画素位置をずらす量である。
【0052】
このようにして、図4のステップS4で視域の調整量が算出されると、次に、視域調整部14は、視域情報算出部13が算出した制御パラメータに応じて、視差画像信号をずらしたり、補間処理を行ったりして、視域の調整を行い、新たな視差画像信号を生成する(ステップS5)。そして、この新たな視差画像信号を表示パネル31に供給して、視域調整後の立体映像を表示する(ステップS6)。
【0053】
このように、第1の実施形態では、視聴者の人数に応じて視域調整方針を選択するため、視聴者の人数に応じて、最適な立体映像表示を行うことができる。また、視聴者が位置を変更したとしても、視聴者の位置に合わせて視域を自動追従するため、視聴者に違和感を与えることなく、継続して安定した立体映像表示を提供できる。
【0054】
(第2の実施形態)
第2の実施形態は、視域調整方針を決定する際に、視聴者の人数だけでなく、入力映像の種別も考慮に入れるものである。
【0055】
図7は第2の実施形態に係る視域調整装置1を備えた映像処理装置2の概略構成を示すブロック図である。図7の視域調整装置1は、図2の視域調整装置1の構成に加えて、映像種別検出部15を備えている。
【0056】
図7の映像種別検出部15は、入力映像データの映像種別を検出する。例えば、映像種別検出部15は、入力映像データが奥行き情報または視差情報を含む映像データ(以下、ステレオ3Dデータ)であるか、奥行き情報も視差情報も持たない通常の二次元映像データであるかを検出する。
【0057】
映像種別検出部15で映像種別を検出する理由は、入力映像データがステレオ3Dデータであれば、インテグラルイメージング方式にて多視差による立体映像表示を行うよりも、ステレオ3Dデータをそのまま利用して立体映像表示を行った方が立体感に優れた立体映像表示を行えるためである。
【0058】
図8は第2の実施形態による視域調整装置1の処理動作を示すフローチャートである。図8のフローチャートは、ステップS12とS14の処理が図4のフローチャートとは異なっている。すなわち、視聴者情報検出部11で視聴者の人数と位置を検出(ステップS11)した後、映像種別検出部15にて入力映像データの映像種別を検出する(ステップS12)。
【0059】
その後、現在の視域調整方針を変更する必要があるか否かを判定し(ステップS13)、変更が必要と判定されると、視域調整方針決定部12にて新たな視域調整方針を決定する(ステップS14)。
【0060】
図9は第2の実施形態による視域調整方針決定テーブルを示す図である。図9のテーブルは、視域調整方針を決定するための入力パラメータが、視聴者の人数と入力映像種別の二つである。これら2つの入力パラメータの組み合わせで選択される視域調整方針の種類は、全部で6種類である。以下、順に説明する。
【0061】
視聴者の人数がゼロで、かつ入力映像がステレオ3Dデータの場合は、視域調整方針として、ステレオ3Dデータの中に含まれる奥行き情報または視差情報をそのまま利用して立体映像表示を行う二視差方式(以下、ダイレクト3Dと呼ぶ)を選択し、かつ視域をセンター固定にする。
【0062】
視聴者の人数がゼロで、かつ入力映像がステレオ3Dデータ以外の通常の二次元映像データの場合は、視域調整方針として、インテグラルイメージング方式による多視差の立体映像表示を選択し、かつ視域をセンター固定にする。
【0063】
視聴者の人数が一人で、かつ入力映像データがステレオ3Dデータの場合は、ダイレクト3Dを選択し、かつ視聴者の位置に合わせて視域を自動追従する。
【0064】
視聴者の人数が一人で、かつ入力映像データがステレオ3Dデータ以外の通常の二次元映像データの場合は、インテグラルイメージング方式による多視差の立体映像表示を選択し、かつ視聴者の位置に合わせて視域を自動追従する。
【0065】
視聴者の人数が二人以上で、かつ入力映像データがステレオ3Dデータの場合は、インテグラルイメージング方式による多視差の立体映像表示を選択し、かつ複数の視聴者それぞれの位置に合わせて視域を自動追従する。
【0066】
視聴者の人数が二人以上で、かつ入力映像データがステレオ3Dデータ以外の通常の二次元映像データの場合は、インテグラルイメージング方式による多視差の立体映像表示を選択し、かつ複数の視聴者それぞれの位置に合わせて視域を自動追従する。
【0067】
このように、入力映像データがステレオ3Dデータで、かつ視聴者が一人かゼロの場合は、より立体感が得られるように、多視差による立体映像表示は行わずに、入力映像データに含まれる奥行き情報または視差情報をそのまま利用して、二視差による立体映像表示を行う。
【0068】
図8のステップS14で視域調整方針が決定されると、その後は、図4のステップS4〜S6と同様に、視域の調整量の計算(ステップS15)と、視域の調整(ステップS16)と、立体映像表示(ステップS17)とを順に行う。
【0069】
このように、第2の実施形態では、視聴者の人数だけでなく、入力映像データの種別も考慮に入れて、視域調整方針を決定するため、入力映像データがステレオ3Dデータで、かつ視聴者が一人かゼロのときは、入力映像データをそのまま利用して二視差による立体映像表示を行うことができ、より立体感に優れた立体映像表示を提供できる。
【0070】
(第3の実施形態)
第3の実施形態は、第2の実施形態に加えて、ユーザの好みも考慮に入れて、視域調整方針を決定するものである。
【0071】
図10は第3の実施形態に係る視域調整装置1を備えた映像処理装置2の概略構成を示すブロック図である。図10の視域調整装置1は、図7の視域調整装置1の構成に加えて、ユーザプリファレンス設定部16を備えている。
【0072】
図10のユーザプリファレンス設定部16は、ユーザが希望する視域調整方針を設定する。ユーザは、リモートコントローラ等を用いて、複数の視域調整方針の中から希望する視域調整方針を選択する。ユーザプリファレンス設定部16は、後述する視域調整方針決定テーブルに基づいて、必要に応じてユーザが選択した視域調整方針を採用する。
【0073】
図11は第3の実施形態による視域調整装置1の処理動作を示すフローチャートである。図11のフローチャートは、ステップS23とS25の処理が図8のフローチャートと異なっている。ステップS22で入力映像データの映像種別を判別した後、ユーザプリファレンス設定部16は、ユーザが希望する視域調整方針を設定する(ステップS23)。
【0074】
その後、ステップS24で視域調整方針の変更が必要と判定されると、視域調整方針決定部12は、ユーザの好みも考慮に入れて、新たな視域調整方針を決定する(ステップS24)。
【0075】
図12は第3の実施形態による視域調整方針決定テーブルを示す図である。特定の視域調整方針を決定するための入力パラメータは、視聴者の人数と入力映像データの映像種別に加えて、ユーザプリファレンス設定部16で設定したユーザの好みである。
【0076】
ユーザの好みの具体的内容は、特に限定されるものではないが、図12の例では、ユーザは、入力映像に含まれる奥行き情報または視差情報をそのまま用いて立体映像表示を行うダイレクト3Dを優先するか否かと、多視差による立体映像表示を行うインテグラルイメージング方式を優先するか否かと、予め設定した重みの大きい位置、すなわち優先度の高い位置)に視域を設定するヒストグラム優先を採用するか否かと、ユーザの手動で任意に設定するか否かと、をユーザプリファレンス設定部16で設定することができる。
【0077】
図12の例では、視聴者の数がゼロで、かつ入力映像データがステレオ3Dデータの場合は、ユーザプリファレンス設定部16の設定内容に応じて、以下の視域調整方針が決定される。
【0078】
ユーザがダイレクト3D優先を選択した場合は、ダイレクト3Dでセンター固定と決定される。ユーザがインテグラルイメージング方式優先を選択した場合は、インテグラルイメージング方式でセンター固定と決定される。ユーザがヒストグラム優先を選択した場合は、インテグラルイメージング方式でヒストグラムによる中心推定と決定される。ユーザが手動を選択した場合は、インテグラルイメージング方式と決定され、かつユーザが手動で視域調整方針を決定することを許容する。
【0079】
視聴者の数がゼロで、かつ入力映像データがステレオ3Dデータ以外の通常の二次元映像データの場合は、ユーザがダイレクト3D優先を選択したとしても、ダイレクト3Dではなく、インテグラルイメージング方式が設定される。
【0080】
視聴者が一人の場合は、入力映像データの種別にかかわらず、ユーザがダイレクト3D優先またはインテグラルイメージング方式を選択した場合は、インテグラルイメージング方式で自動追従が設定される。また、ユーザがヒストグラム優先を選択した場合は、インテグラルイメージング方式でヒストグラムによる優先度付けが設定される。ユーザが手動を選択した場合は、入力映像データがステレオ3Dデータであれば、ダイレクト3Dで、かつユーザが手動で視域調整方針を決定することを許容する。ユーザが手動を選択したときに入力映像データがステレオ3Dでない通常の二次元映像データの場合は、インテグラルイメージング方式が設定され、かつユーザが手動で視域調整方針を決定することを許容する。
【0081】
視聴者が二人以上の場合は、入力映像データの種別にかかわらず、ユーザがダイレクト3D優先またはインテグラルイメージング方式を選択した場合は、インテグラルイメージング方式で複数人の自動追従が設定され、ユーザがヒストグラム優先を選択した場合は、インテグラルイメージング方式でヒストグラムによる優先度付けが設定され、ユーザが手動を選択した場合は、ユーザが手動で視域調整方針を決定することを許容する。
【0082】
図12に従って、視域調整方針としてインテグラルイメージング方式が選択された場合は、 入力映像データがステレオ3Dデータであっても、ステレオ3Dデータ以外の通常の二次元映像データであっても、入力映像データに対する、動き検出、構図識別および人間の顔検出による奥行き情報検出を行って、多視差データを生成する。
【0083】
このように、第3の実施形態では、ユーザの好みも加味して視域調整方針を決定するため、個々のユーザの意向に沿った視域調整が可能となる。
【0084】
上述した実施形態で説明した視域調整装置1および映像処理装置2の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、視域調整装置1および映像処理装置2の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD−ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【0085】
また、視域調整装置1および映像処理装置2の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【0086】
本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【0087】
1 視域調整装置
2 映像処理装置
3 立体映像表示装置
4 表示制御部
5 カメラ
6 受光部
7 チューナデコーダ
8 視差画像変換部
11 視聴者情報検出部
12 視域調整方針決定部
13 視域情報算出部
14 視域調整部
15 映像種別検出部
16 ユーザプリファレンス設定部
31 表示パネル
32 光線制御部(レンチキュラレンズ)
【特許請求の範囲】
【請求項1】
立体映像を表示可能な立体映像表示装置の前方を撮影可能な撮像部と、
前記撮像部で撮影された映像により視聴者の人数および位置を検出する視聴者情報検出部と、
前記視聴者情報検出部にて検出された人数に基づいて、立体映像を視認可能な視域を調整する方針を示す複数の視域調整方針のいずれかを選択する視域調整方針決定部と、
前記視域調整方針決定部で選択された前記視域調整方針と前記視聴者情報検出部で検出された視聴者の位置とに基づいて、前記視域の調整量を算出する視域情報算出部と、
前記視域情報算出部で算出された視域の調整量に基づいて、視域を調整する視域調整部と、を備えることを特徴とする視域調整装置。
【請求項2】
前記視域調整方針決定部は、前記視聴者情報検出部にて検出された視聴者の人数に関わらず、3視差以上の多視差データを前記立体映像表示装置の各画素に供給して立体映像表示を行うための視域調整方針を選択することを特徴とする請求項1に記載の視域調整装置。
【請求項3】
入力映像データの映像種別を検出する映像種別検出部と、
前記視域調整方針決定部は、前記視聴者情報検出部にて検出された人数と前記映像種別検出部にて検出された映像種別とに基づいて、前記複数の視域調整方針のいずれかを選択することを特徴とする請求項1に記載の視域調整装置。
【請求項4】
前記映像種別検出部は、前記入力映像データが視差情報または奥行き情報を含む三次元映像データであるか、視差情報および奥行き情報を含まない二次元映像データであるかを前記映像種別として検出し、
前記視域調整方針決定部は、前記視聴者情報検出部にて検出された人数が一人以下で、かつ前記映像種別検出部が前記三次元映像データであると検出した場合には、前記入力映像データに含まれる視差情報または奥行き情報を用いて生成される二視差データを前記立体映像表示装置の各画素に供給して立体映像表示を行うための視域調整方針を選択し、前記視聴者情報検出部にて検出された人数が二人以上の場合には、前記入力映像データが前記三次元映像データと前記二次元映像データとのいずれであっても、3視差以上の多視差データを前記立体映像表示装置の各画素に供給して立体映像表示を行うための視域調整方針を選択することを特徴とする請求項3に記載の視域調整装置。
【請求項5】
前記複数の視域調整方針は、視域を前記立体映像表示装置の最適な視域の中心位置に固定するセンター固定方針と、一人の視聴者の移動位置に合わせて視域を調整する自動追従方針と、複数の視聴者それぞれの移動位置に合わせて視域を調整する複数人自動追従方針と、を含み、
前記視域調整方針決定部は、前記視聴者情報検出部で検出された視聴者がゼロであれば前記センター固定方針を選択し、前記視聴者情報検出部で検出された視聴者が一人であれば前記自動追従方針を選択し、前記視聴者情報検出部で検出された視聴者が二人以上であれば前記複数人自動追従方針を選択することを特徴とする請求項1乃至4のいずれかに記載の視域調整装置。
【請求項6】
入力映像データの映像種別を検出する映像種別検出部と、
視聴者が希望する視域調整方針を設定するユーザプリフェランス設定部と、を備え、
前記視域調整方針決定部は、視聴者の人数、映像種別および前記ユーザプリフェランス設定部で設定された視聴者の好みに基づいて、前記複数の視域調整方針のいずれかを選択することを特徴とする請求項1に記載の視域調整装置。
【請求項7】
前記ユーザプリフェランス設定部は、前記入力映像データに含まれる視差情報または奥行き情報を用いて生成される二視差データを前記立体映像表示装置の各画素に供給して立体映像表示を行うための視域調整方針を優先させるか、3視差以上の多視差データを前記立体映像表示装置の各画素に供給して立体映像表示を行うための視域調整方針を優先させるか、予め定めた視域の重みを優先するヒストグラム優先の視域調整方針を優先させるか、ユーザによる手動設定優先の視域調整方針を優先させるか、のいずれかを設定可能であり、
前記視域調整方針決定部は、前記ユーザプリフェランス設定部の設定に基づいて、前記複数の視域調整方針のいずれかを選択することを特徴とする請求項6に記載の視域調整装置。
【請求項8】
受信または記録された符号化映像信号を復号して前記入力映像データを生成する復号処理部と、
前記視域調整部で調整された視域が得られるように、前記入力映像データを前記立体映像表示装置の各画素に供給するタイミングを制御する表示制御部と、
請求項1乃至7のいずれかに記載の視域調整装置と、を備えることを特徴とする映像処理装置。
【請求項9】
マトリクス状に配列された複数の画素を有する平面表示部と、前記平面表示部に対向配置されて前記平面表示部の各画素からの光線を制御する複数の射出瞳を有する光線制御部と、を有する前記立体映像表示装置を備えることを特徴とする請求項8に記載の映像処理装置。
【請求項10】
立体映像を表示可能な立体映像表示装置の前方を撮影するステップと、
前記撮影された映像により視聴者の人数および位置を検出するステップと、
前記検出された人数に基づいて、立体映像を視認可能な視域を調整する方針を示す複数の視域調整方針のいずれかを選択するステップと、
前記選択された前記視域調整方針と前記検出された視聴者の位置とに基づいて、前記視域の調整量を算出するステップと、
前記算出された視域の調整量に基づいて、視域を調整するステップと、を備えることを特徴とする視域調整方法。
【請求項1】
立体映像を表示可能な立体映像表示装置の前方を撮影可能な撮像部と、
前記撮像部で撮影された映像により視聴者の人数および位置を検出する視聴者情報検出部と、
前記視聴者情報検出部にて検出された人数に基づいて、立体映像を視認可能な視域を調整する方針を示す複数の視域調整方針のいずれかを選択する視域調整方針決定部と、
前記視域調整方針決定部で選択された前記視域調整方針と前記視聴者情報検出部で検出された視聴者の位置とに基づいて、前記視域の調整量を算出する視域情報算出部と、
前記視域情報算出部で算出された視域の調整量に基づいて、視域を調整する視域調整部と、を備えることを特徴とする視域調整装置。
【請求項2】
前記視域調整方針決定部は、前記視聴者情報検出部にて検出された視聴者の人数に関わらず、3視差以上の多視差データを前記立体映像表示装置の各画素に供給して立体映像表示を行うための視域調整方針を選択することを特徴とする請求項1に記載の視域調整装置。
【請求項3】
入力映像データの映像種別を検出する映像種別検出部と、
前記視域調整方針決定部は、前記視聴者情報検出部にて検出された人数と前記映像種別検出部にて検出された映像種別とに基づいて、前記複数の視域調整方針のいずれかを選択することを特徴とする請求項1に記載の視域調整装置。
【請求項4】
前記映像種別検出部は、前記入力映像データが視差情報または奥行き情報を含む三次元映像データであるか、視差情報および奥行き情報を含まない二次元映像データであるかを前記映像種別として検出し、
前記視域調整方針決定部は、前記視聴者情報検出部にて検出された人数が一人以下で、かつ前記映像種別検出部が前記三次元映像データであると検出した場合には、前記入力映像データに含まれる視差情報または奥行き情報を用いて生成される二視差データを前記立体映像表示装置の各画素に供給して立体映像表示を行うための視域調整方針を選択し、前記視聴者情報検出部にて検出された人数が二人以上の場合には、前記入力映像データが前記三次元映像データと前記二次元映像データとのいずれであっても、3視差以上の多視差データを前記立体映像表示装置の各画素に供給して立体映像表示を行うための視域調整方針を選択することを特徴とする請求項3に記載の視域調整装置。
【請求項5】
前記複数の視域調整方針は、視域を前記立体映像表示装置の最適な視域の中心位置に固定するセンター固定方針と、一人の視聴者の移動位置に合わせて視域を調整する自動追従方針と、複数の視聴者それぞれの移動位置に合わせて視域を調整する複数人自動追従方針と、を含み、
前記視域調整方針決定部は、前記視聴者情報検出部で検出された視聴者がゼロであれば前記センター固定方針を選択し、前記視聴者情報検出部で検出された視聴者が一人であれば前記自動追従方針を選択し、前記視聴者情報検出部で検出された視聴者が二人以上であれば前記複数人自動追従方針を選択することを特徴とする請求項1乃至4のいずれかに記載の視域調整装置。
【請求項6】
入力映像データの映像種別を検出する映像種別検出部と、
視聴者が希望する視域調整方針を設定するユーザプリフェランス設定部と、を備え、
前記視域調整方針決定部は、視聴者の人数、映像種別および前記ユーザプリフェランス設定部で設定された視聴者の好みに基づいて、前記複数の視域調整方針のいずれかを選択することを特徴とする請求項1に記載の視域調整装置。
【請求項7】
前記ユーザプリフェランス設定部は、前記入力映像データに含まれる視差情報または奥行き情報を用いて生成される二視差データを前記立体映像表示装置の各画素に供給して立体映像表示を行うための視域調整方針を優先させるか、3視差以上の多視差データを前記立体映像表示装置の各画素に供給して立体映像表示を行うための視域調整方針を優先させるか、予め定めた視域の重みを優先するヒストグラム優先の視域調整方針を優先させるか、ユーザによる手動設定優先の視域調整方針を優先させるか、のいずれかを設定可能であり、
前記視域調整方針決定部は、前記ユーザプリフェランス設定部の設定に基づいて、前記複数の視域調整方針のいずれかを選択することを特徴とする請求項6に記載の視域調整装置。
【請求項8】
受信または記録された符号化映像信号を復号して前記入力映像データを生成する復号処理部と、
前記視域調整部で調整された視域が得られるように、前記入力映像データを前記立体映像表示装置の各画素に供給するタイミングを制御する表示制御部と、
請求項1乃至7のいずれかに記載の視域調整装置と、を備えることを特徴とする映像処理装置。
【請求項9】
マトリクス状に配列された複数の画素を有する平面表示部と、前記平面表示部に対向配置されて前記平面表示部の各画素からの光線を制御する複数の射出瞳を有する光線制御部と、を有する前記立体映像表示装置を備えることを特徴とする請求項8に記載の映像処理装置。
【請求項10】
立体映像を表示可能な立体映像表示装置の前方を撮影するステップと、
前記撮影された映像により視聴者の人数および位置を検出するステップと、
前記検出された人数に基づいて、立体映像を視認可能な視域を調整する方針を示す複数の視域調整方針のいずれかを選択するステップと、
前記選択された前記視域調整方針と前記検出された視聴者の位置とに基づいて、前記視域の調整量を算出するステップと、
前記算出された視域の調整量に基づいて、視域を調整するステップと、を備えることを特徴とする視域調整方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2013−51627(P2013−51627A)
【公開日】平成25年3月14日(2013.3.14)
【国際特許分類】
【出願番号】特願2011−189598(P2011−189598)
【出願日】平成23年8月31日(2011.8.31)
【特許番号】特許第5100875号(P5100875)
【特許公報発行日】平成24年12月19日(2012.12.19)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成25年3月14日(2013.3.14)
【国際特許分類】
【出願日】平成23年8月31日(2011.8.31)
【特許番号】特許第5100875号(P5100875)
【特許公報発行日】平成24年12月19日(2012.12.19)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]