立体映像表示装置及び音声再生装置
【課題】本発明は、視聴者が最適点を外れて移動しても、適切に立体視効果及び音響効果を実現させることができる、簡易な構成の立体映像表示装置及び音声再生装置の提供を目的とする。
【解決手段】本発明にかかる音声再生装置は、視聴者１５の位置を感知するセンサー４と、感知した視聴者１５の位置情報に基づいて、制御データを生成する人感コントローラー６と、入力された映像データから３次元視差画像を生成するに際し、映像における奥行き感を規定するために用いられる３次元奥行きパラメータを、制御データに基づいて補正する補正部としての３次元奥行き調整回路８と、３次元奥行き調整回路８において３次元奥行きパラメータが補正された映像データに基づいて、映像を出力する映像出力部としてのディスプレイ２とを備える。
【解決手段】本発明にかかる音声再生装置は、視聴者１５の位置を感知するセンサー４と、感知した視聴者１５の位置情報に基づいて、制御データを生成する人感コントローラー６と、入力された映像データから３次元視差画像を生成するに際し、映像における奥行き感を規定するために用いられる３次元奥行きパラメータを、制御データに基づいて補正する補正部としての３次元奥行き調整回路８と、３次元奥行き調整回路８において３次元奥行きパラメータが補正された映像データに基づいて、映像を出力する映像出力部としてのディスプレイ２とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体映像表示装置及び音声再生装置に関し、特に、映像の立体感の補正機能を有する立体映像表示装置及び音場の補正機能を有する音声再生装置に関するものである。
【背景技術】
【０００２】
立体映像表示装置は、表示する映像を立体的に視聴させることが可能な装置であって、視聴者は、所定の場所において当該装置に表示された映像を見ることによって、その映像を立体的に視聴することができる。この場合、その立体視効果には装置からの距離及び角度によって違いが生じ、当該効果が最適となる距離及び角度（立体視効果の最適点）が存在する。
【０００３】
一方、音声再生装置は、視聴者に臨場感のある音声を視聴させることが可能な装置であって、視聴者は、所定の場所において当該装置から出力された音声を聴くことによって、その音声を臨場感のある音声として聴くことができる。このとき、装置からの距離及び角度、さらにはリスニングルームに形成される音場の影響により、当該臨場感が効果的に得られる音響効果の最適点が存在する。
【０００４】
立体映像表示装置及び音声再生装置において、上記の最適点から外れた位置において視聴者が映像及び音声の視聴をした場合には、それらの効果を十分発揮できなくなる場合がある。
【０００５】
この改善策として、立体映像表示装置については、視聴者が移動した先でも視聴者を追随して最適な立体視効果が得られるように、映像コントローラーと空間光変調器とを用いて補正するものが開示されている（例えば、特許文献１参照）。
【０００６】
また、音声再生装置については、視聴者側に送波素子、装置側に受波素子をそれぞれ有し、双方のデータを演算処理して音声再生装置のイコライザーを調整することで、視聴者が移動した先でも音響効果の最適点を維持するものが開示されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平９−１４９４３３号公報
【特許文献２】特開２００３−３２７９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の視聴者追従型の立体映像表示装置では、映像コントローラーからの信号を空間光変調器により光学的に補正しているので、装置が大掛かりとなり、実現するために費用がかかるという問題があった。
【０００９】
また、従来の音場調整機能を有する音声再生装置では、視聴者が超音波を発生する送波素子を持って移動することになり、送波素子を常に携帯しておく必要がある。また、超音波伝送のケーブルが、音声再生装置と視聴者との間の素子同士（送波素子及び受波素子）を接続しておかねばならないという問題があった。
【００１０】
本発明は、上記のような問題を解決するためになされたものであり、視聴者が最適点を外れて移動しても、適切に立体視効果及び音響効果を実現させることができる、簡易な構成の立体映像表示装置及び音声再生装置の提供を目的とする。
【課題を解決するための手段】
【００１１】
本発明にかかる立体映像表示装置は、視聴者の位置を感知するセンサーと、前記センサーにおいて感知した視聴者の位置情報に基づいて、制御データを生成するコントローラーと、入力された映像データから３次元視差画像を生成するに際し、映像における奥行き感を規定するために用いられる３次元奥行きパラメータを、前記制御データに基づいて補正する補正部と、前記補正部において前記３次元奥行きパラメータが補正された前記映像データに基づいて、映像を出力する映像出力部とを備えることを特徴とする。
【００１２】
また、本発明にかかる音声再生装置は、視聴者の位置を感知するセンサーと、前記センサーにおいて感知した視聴者の位置情報に基づいて、制御データを生成するコントローラーと、入力された音声データに基づいて、ビーム音を出力するスピーカーアレイと、前記音声データから前記ビーム音を生成するに際し、前記ビーム音の指向性を規定するために用いられる音声の指向性パラメータを、前記制御データに基づいて補正する補正部とを備え、前記スピーカーアレイは、前記音声の指向性パラメータが補正された前記音声データに基づいて、前記ビーム音を出力することを特徴とする。
【発明の効果】
【００１３】
本発明にかかる立体映像表示装置によれば、視聴者の位置を感知するセンサーと、前記センサーにおいて感知した視聴者の位置情報に基づいて、制御データを生成するコントローラーと、入力された映像データから３次元視差画像を生成するに際し、映像における奥行き感を規定するために用いられる３次元奥行きパラメータを、前記制御データに基づいて補正する補正部と、前記補正部において前記３次元奥行きパラメータが補正された前記映像データに基づいて、映像を出力する映像出力部とを備えることにより、視聴者が最適点を外れて移動しても、適切に立体視効果を実現させることができる。
【００１４】
また、本発明にかかる音声再生装置によれば、視聴者の位置を感知するセンサーと、前記センサーにおいて感知した視聴者の位置情報に基づいて、制御データを生成するコントローラーと、入力された音声データに基づいて、ビーム音を出力するスピーカーアレイと、前記音声データから前記ビーム音を生成するに際し、前記ビーム音の指向性を規定するために用いられる音声の指向性パラメータを、前記制御データに基づいて補正する補正部とを備え、前記スピーカーアレイは、前記音声の指向性パラメータが補正された前記音声データに基づいて、前記ビーム音を出力することにより、視聴者が最適点を外れて移動しても、適切に音響効果を実現させることができる。
【図面の簡単な説明】
【００１５】
【図１】実施の形態１にかかる立体映像表示装置の構成図である。
【図２】実施の形態２にかかる立体映像表示装置の構成図である。
【発明を実施するための形態】
【００１６】
＜実施の形態１＞
図１は、本発明にかかる立体映像表示装置の構成図であって、図１において立体映像表示装置１は、音声再生装置としての機能を含む構成となっている。なお、音声再生装置としての機能を含まない場合であっても、立体映像表示装置としての機能を実現することは可能である。
【００１７】
まず、立体映像表示装置について説明する。立体映像表示装置１は、入力端子１３（図においてはアンテナ）から入力される入力信号を、映像及び音声データ処理回路１４において受信する。本実施の形態１においては映像及び音声データ処理回路１４は、入力信号のうちから映像に関する映像データ及び音声に関する音声データを分離及び抽出し、さらにノイズ除去及び補正処理することが可能であるものとして示しているが、映像データのみを処理する場合であってもよい。ここで、映像データに関連する処理経路は実線で、音声データに関連する処理経路は破線でそれぞれ示している。なお、音声データのみを処理する場合は、後述する音声再生装置の構成として、機能することになる。
【００１８】
映像及び音声データ処理回路１４において処理された映像データは、３次元ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）７に入力される。
【００１９】
一方で立体映像表示装置１は、人（視聴者）の位置を感知することができるセンサー４を、例えば映像を表示するディスプレイ２の近傍に備えている。センサー４は、赤外線センサー等の無線センサーであることが望ましく、追従システム５により感知する領域（感知エリア）の距離及び方向等が制御される。
【００２０】
追従システム５は、感知した視聴者１５を追従させるようにセンサー４の動作を制御し、さらにセンサー４において感知した人の位置に関する人感信号を受信する。そして当該人感信号を、人感コントローラー６に出力する。なお、当該追従システム５が備わっていない場合であっても、感知エリア内の人の位置を感知できるセンサー４があればよい。
【００２１】
コントローラーとしての人感コントローラー６では、人感信号を解析し、感知エリア内に存在する人の人数、存在する位置までの距離及び方向（角度）等の情報に基づいて、それらの情報を含む制御データを算出する。そして、算出した制御データを、フィードバックをかけるべく３次元ＤＳＰ７に出力する。
【００２２】
３次元ＤＳＰ７は、その内部に、補正部としての３次元奥行き調整回路８を内蔵している。当該３次元奥行き調整回路８において、映像及び音声データ処理回路１４から入力された映像データに対し、人感コントローラー６から入力された制御データに基づいて補正がなされる。
【００２３】
映像データは、３次元ＤＳＰ７で処理されて３次元視差画像のデータとなるが、映像データから３次元視差画像を生成するに際し、映像における奥行き感を規定するために用いられるパラメータである３次元奥行きパラメータが本実施の形態での処理対象となる。３次元奥行き調整回路８においては、特にこの３次元奥行きパラメータが調整される。制御データに従って、視聴者１５が移動した位置又は現在存在する位置に立体視効果の最適点が該当するように３次元奥行きパラメータが調整される。
【００２４】
例えば３次元メガネを用いたアクティブシャッター型の立体映像表示装置である場合には、３次元奥行きパラメータが調整されることによって、メガネの左右で切り替えられる３次元視差画像の組合せ等が調整される。
【００２５】
３次元奥行きパラメータが調整された映像データは、ディスプレイ駆動回路９に入力される。
【００２６】
ディスプレイ駆動回路９は、入力された映像データに基づいて、映像表示部としてのディスプレイ２に映像を表示させる。当該映像は、３次元奥行きパラメータが調整された映像データに基づいて表示されるものであるため、視聴者１５の位置等を考慮した立体映像となる。
【００２７】
次に、音声再生装置について説明する。音声再生装置は、図に示すように立体映像表示装置の一部として、立体映像に対応する音声を再生するための装置であってもよいが、音声再生装置単独として機能するものであってもよい。
【００２８】
図１に示すように、入力端子１３から入力される入力信号を、映像及び音声データ処理回路１４において受信する。
【００２９】
映像及び音声データ処理回路１４において処理され、抽出された音声データは、オーディオＤＳＰ１０に入力される。
【００３０】
一方で追従システム５は、前述のようにセンサー４の動作を制御し、さらにセンサー４において感知した人の位置に関する人感信号を受信する。そして当該人感信号を、人感コントローラー６に出力する。
【００３１】
人感コントローラー６では、人感信号を解析し、感知エリア内に存在する人の人数、存在する位置までの距離、方向（角度）等の情報である制御データを算出する。そして、算出した制御データを、フィードバックをかけるべくオーディオＤＳＰ１０に出力する。
【００３２】
オーディオＤＳＰ１０は、その内部に、補正部としてのビームコントロール回路１１を内蔵している。当該ビームコントロール回路１１において、映像及び音声データ処理回路１４から入力された音声データに対し、人感コントローラー６から入力された制御データに基づいて補正がなされる。
【００３３】
音声データは、オーディオＤＳＰ１０で処理されてビーム音のデータとなるが、音声データから後述のスピーカーアレイ３におけるビーム音を生成するに際し、ビーム音の指向性を規定するために用いられるパラメータである音声の指向性パラメータが本実施の形態での処理対象となる。ビームコントロール回路１１においては、特にこの音声の指向性パラメータが調整される。制御データに従って、視聴者１５が移動した位置又は現在存在する位置に音響効果の最適点が該当するように音声の指向性パラメータが調整される。
【００３４】
音声の指向性パラメータが調整された音声データは、ｎチャンネルオーディオＡｍｐ１２に入力される。
【００３５】
ｎチャンネルオーディオＡｍｐ１２は、入力された音声データに基づいてスピーカーアレイ３における音声の指向性を調整し、音声を出力させる。スピーカーアレイ３から発せられた音声は、例えば１２〜１６個の連なる小型スピーカーからビーム状に放出される。このビーム状の音声（ビーム音）はリスニングルーム１８の壁面に反射されるが、その指向性を制御することにより、当該反射による効果も考慮し、臨場感を高めた音場調整が行われる。
【００３６】
本発明における当該音声は、音声の指向性パラメータが調整された音声データに基づいて出力されるため、視聴者１５の位置等を考慮して増幅等された音響となる。
【００３７】
上記のような動作によって、視聴者１５はリスニングルーム１８（図においては、その壁面を示す）において、ディスプレイ２に表示される映像を視聴し、またスピーカーアレイ３から出力される音声を聴く。この際、視聴者１５が移動等した場合であっても、視聴者１５が現在いる位置が立体視効果及び音響効果の最適点となるように調整されているので、視聴者１５は視聴に際して、最適な立体視効果及び音響効果を得ることができる。
【００３８】
＜効果＞
本発明にかかる実施の形態によれば、立体映像表示装置において、視聴者１５の位置を感知するセンサー４と、感知した視聴者１５の位置情報に基づいて、制御データを生成する人感コントローラー６と、入力された映像データから３次元視差画像を生成するに際し、映像における奥行き感を規定するために用いられる３次元奥行きパラメータを、制御データに基づいて補正する補正部としての３次元奥行き調整回路８と、３次元奥行き調整回路８において３次元奥行きパラメータが補正された映像データに基づいて、映像を出力する映像出力部としてのディスプレイ２とを備えることで、視聴者が最適点を外れて移動しても、映像データのパラメータ補正を行うことで、光学的な調整を行うことなく適切に立体視効果を実現させることができる。
【００３９】
また、本発明にかかる実施の形態によれば、音声再生装置において視聴者１５の位置を感知するセンサー４と、センサー４において感知した視聴者１５の位置情報に基づいて、制御データを生成する人感コントローラー６と、入力された音声データに基づいて、ビーム音を出力するスピーカーアレイ３と、音声データからビーム音を生成するに際し、ビーム音の指向性を規定するために用いられる音声の指向性パラメータを、制御データに基づいて補正する補正部としてのビームコントロール回路１１とを備え、スピーカーアレイ３は、音声の指向性パラメータが補正された音声データに基づいて、ビーム音を出力することで、視聴者が最適点を外れて移動しても、音声データのパラメータ補正を行うことで適切に音響効果を実現させることができる。
【００４０】
また、本発明にかかる実施の形態によれば、立体映像表示装置及び音声再生装置において、センサー４が、無線センサーであることで、視聴者が送信機（送波素子）等を携帯する必要がなく、装置の構成を簡素化できる。
【００４１】
また、本発明にかかる実施の形態によれば、立体映像表示装置及び音声再生装置において、センサー４を動かし、感知した視聴者１５を追従させる追従システム５をさらに備えることで、既存の立体映像補正機能及び音場調整機能を利用し、簡素な構成の立体映像表示装置及び音声再生装置を提供することができる。
【００４２】
＜実施の形態２＞
図２は、本発明にかかる立体映像表示装置の構成図である。実施の形態１と同様の構成については同一の符合を付し、詳細な説明を省略する。
【００４３】
本実施の形態２にかかる立体映像表示装置１００では、リスニングルーム１８に複数の視聴者（視聴者１５及び視聴者１９）が存在するものとする。
【００４４】
追従システム５は、前述のようにセンサー４の動作を制御し、さらにセンサー４において感知した複数の人の位置に関する人感信号を受信する。そして当該人感信号を、人感コントローラー６に出力する。
【００４５】
人感コントローラー６では、人感信号を解析し、感知エリア内の人の配置分布等の情報である制御データを算出する。ここで配置分布は、例えば図２に示すように、視聴者１５と視聴者１９との分布（図中の鎖線で示す範囲）の中心に仮想視聴者２０を想定するものとすることができ、仮想視聴者２０が存在する位置に、人感コントローラー６では、立体視効果及び音響効果の最適点が該当するように制御データを算出することができる。
【００４６】
なお、当該方法による配置分布の設定は、配置分布内の視聴者に対し同じ程度の立体視効果及び音響効果を与え、分布全体として効果の高い立体視効果及び音響効果を提供するものであるが、配置分布内に存在する特定の視聴者（又は、最もセンサー４の感知強度が強くなる、センサー４から最も近くに存在する視聴者の方向等）に対する立体視効果及び音響効果を高めるような最適点の設定を行うことも可能である。
【００４７】
そして、算出した制御データを、フィードバックをかけるべく３次元ＤＳＰ７及びオーディオＤＳＰ１０に出力する。
【００４８】
このように、複数の視聴者が存在する場合であっても、その配置分布を適格に判断し、より効果の高い立体視効果及び音響効果を得ることができる。
【００４９】
＜効果＞
本発明にかかる実施の形態によれば、立体映像表示装置及び音声再生装置において、センサー４は、感知エリア内の複数の視聴者１５及び視聴者１９の位置を感知し、人感コントローラー６が、複数の視聴者１５及び視聴者１９の位置分布に基づいて、制御データを生成することで、複数の視聴者１５及び視聴者１９が感知エリア内に存在する場合でも、適切な立体視効果及び音響効果を得ることができる。
【００５０】
また、本発明にかかる実施の形態によれば、立体映像表示装置及び音声再生装置において、人感コントローラー６が、複数の視聴者１５及び視聴者１９の分布中心の位置情報に基づいて、制御データを生成することで、複数の視聴者１５及び視聴者１９にバランスよく、適切な立体視効果及び音響効果を得させることができる。
【００５１】
また、本発明にかかる実施の形態によれば、立体映像表示装置及び音声再生装置において、人感コントローラー６が、センサー４における感知強度が強い方向の情報に基づいて、制御データを生成することで、例えば最も感知強度の強い、センサー４から一番近い場所にいる視聴者を優先して、適切な立体視効果及び音響効果を得させることができる。
【符号の説明】
【００５２】
１，１００ 立体映像表示装置、２ ディスプレイ、３ スピーカーアレイ、４ センサー、５ 追従システム、６ 人感コントローラー、７ ３次元ＤＳＰ、８ ３次元奥行き調整回路、９ ディスプレイ駆動回路、１０ オーディオＤＳＰ、１１ ビームコントロール回路、１２ ｎチャンネルオーディオＡｍｐ、１３ 入力端子、１４ 映像及び音声データ処理回路、１５，１９ 視聴者、１８ リスニングルーム、２０ 仮想視聴者。
【技術分野】
【０００１】
本発明は立体映像表示装置及び音声再生装置に関し、特に、映像の立体感の補正機能を有する立体映像表示装置及び音場の補正機能を有する音声再生装置に関するものである。
【背景技術】
【０００２】
立体映像表示装置は、表示する映像を立体的に視聴させることが可能な装置であって、視聴者は、所定の場所において当該装置に表示された映像を見ることによって、その映像を立体的に視聴することができる。この場合、その立体視効果には装置からの距離及び角度によって違いが生じ、当該効果が最適となる距離及び角度（立体視効果の最適点）が存在する。
【０００３】
一方、音声再生装置は、視聴者に臨場感のある音声を視聴させることが可能な装置であって、視聴者は、所定の場所において当該装置から出力された音声を聴くことによって、その音声を臨場感のある音声として聴くことができる。このとき、装置からの距離及び角度、さらにはリスニングルームに形成される音場の影響により、当該臨場感が効果的に得られる音響効果の最適点が存在する。
【０００４】
立体映像表示装置及び音声再生装置において、上記の最適点から外れた位置において視聴者が映像及び音声の視聴をした場合には、それらの効果を十分発揮できなくなる場合がある。
【０００５】
この改善策として、立体映像表示装置については、視聴者が移動した先でも視聴者を追随して最適な立体視効果が得られるように、映像コントローラーと空間光変調器とを用いて補正するものが開示されている（例えば、特許文献１参照）。
【０００６】
また、音声再生装置については、視聴者側に送波素子、装置側に受波素子をそれぞれ有し、双方のデータを演算処理して音声再生装置のイコライザーを調整することで、視聴者が移動した先でも音響効果の最適点を維持するものが開示されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平９−１４９４３３号公報
【特許文献２】特開２００３−３２７９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の視聴者追従型の立体映像表示装置では、映像コントローラーからの信号を空間光変調器により光学的に補正しているので、装置が大掛かりとなり、実現するために費用がかかるという問題があった。
【０００９】
また、従来の音場調整機能を有する音声再生装置では、視聴者が超音波を発生する送波素子を持って移動することになり、送波素子を常に携帯しておく必要がある。また、超音波伝送のケーブルが、音声再生装置と視聴者との間の素子同士（送波素子及び受波素子）を接続しておかねばならないという問題があった。
【００１０】
本発明は、上記のような問題を解決するためになされたものであり、視聴者が最適点を外れて移動しても、適切に立体視効果及び音響効果を実現させることができる、簡易な構成の立体映像表示装置及び音声再生装置の提供を目的とする。
【課題を解決するための手段】
【００１１】
本発明にかかる立体映像表示装置は、視聴者の位置を感知するセンサーと、前記センサーにおいて感知した視聴者の位置情報に基づいて、制御データを生成するコントローラーと、入力された映像データから３次元視差画像を生成するに際し、映像における奥行き感を規定するために用いられる３次元奥行きパラメータを、前記制御データに基づいて補正する補正部と、前記補正部において前記３次元奥行きパラメータが補正された前記映像データに基づいて、映像を出力する映像出力部とを備えることを特徴とする。
【００１２】
また、本発明にかかる音声再生装置は、視聴者の位置を感知するセンサーと、前記センサーにおいて感知した視聴者の位置情報に基づいて、制御データを生成するコントローラーと、入力された音声データに基づいて、ビーム音を出力するスピーカーアレイと、前記音声データから前記ビーム音を生成するに際し、前記ビーム音の指向性を規定するために用いられる音声の指向性パラメータを、前記制御データに基づいて補正する補正部とを備え、前記スピーカーアレイは、前記音声の指向性パラメータが補正された前記音声データに基づいて、前記ビーム音を出力することを特徴とする。
【発明の効果】
【００１３】
本発明にかかる立体映像表示装置によれば、視聴者の位置を感知するセンサーと、前記センサーにおいて感知した視聴者の位置情報に基づいて、制御データを生成するコントローラーと、入力された映像データから３次元視差画像を生成するに際し、映像における奥行き感を規定するために用いられる３次元奥行きパラメータを、前記制御データに基づいて補正する補正部と、前記補正部において前記３次元奥行きパラメータが補正された前記映像データに基づいて、映像を出力する映像出力部とを備えることにより、視聴者が最適点を外れて移動しても、適切に立体視効果を実現させることができる。
【００１４】
また、本発明にかかる音声再生装置によれば、視聴者の位置を感知するセンサーと、前記センサーにおいて感知した視聴者の位置情報に基づいて、制御データを生成するコントローラーと、入力された音声データに基づいて、ビーム音を出力するスピーカーアレイと、前記音声データから前記ビーム音を生成するに際し、前記ビーム音の指向性を規定するために用いられる音声の指向性パラメータを、前記制御データに基づいて補正する補正部とを備え、前記スピーカーアレイは、前記音声の指向性パラメータが補正された前記音声データに基づいて、前記ビーム音を出力することにより、視聴者が最適点を外れて移動しても、適切に音響効果を実現させることができる。
【図面の簡単な説明】
【００１５】
【図１】実施の形態１にかかる立体映像表示装置の構成図である。
【図２】実施の形態２にかかる立体映像表示装置の構成図である。
【発明を実施するための形態】
【００１６】
＜実施の形態１＞
図１は、本発明にかかる立体映像表示装置の構成図であって、図１において立体映像表示装置１は、音声再生装置としての機能を含む構成となっている。なお、音声再生装置としての機能を含まない場合であっても、立体映像表示装置としての機能を実現することは可能である。
【００１７】
まず、立体映像表示装置について説明する。立体映像表示装置１は、入力端子１３（図においてはアンテナ）から入力される入力信号を、映像及び音声データ処理回路１４において受信する。本実施の形態１においては映像及び音声データ処理回路１４は、入力信号のうちから映像に関する映像データ及び音声に関する音声データを分離及び抽出し、さらにノイズ除去及び補正処理することが可能であるものとして示しているが、映像データのみを処理する場合であってもよい。ここで、映像データに関連する処理経路は実線で、音声データに関連する処理経路は破線でそれぞれ示している。なお、音声データのみを処理する場合は、後述する音声再生装置の構成として、機能することになる。
【００１８】
映像及び音声データ処理回路１４において処理された映像データは、３次元ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）７に入力される。
【００１９】
一方で立体映像表示装置１は、人（視聴者）の位置を感知することができるセンサー４を、例えば映像を表示するディスプレイ２の近傍に備えている。センサー４は、赤外線センサー等の無線センサーであることが望ましく、追従システム５により感知する領域（感知エリア）の距離及び方向等が制御される。
【００２０】
追従システム５は、感知した視聴者１５を追従させるようにセンサー４の動作を制御し、さらにセンサー４において感知した人の位置に関する人感信号を受信する。そして当該人感信号を、人感コントローラー６に出力する。なお、当該追従システム５が備わっていない場合であっても、感知エリア内の人の位置を感知できるセンサー４があればよい。
【００２１】
コントローラーとしての人感コントローラー６では、人感信号を解析し、感知エリア内に存在する人の人数、存在する位置までの距離及び方向（角度）等の情報に基づいて、それらの情報を含む制御データを算出する。そして、算出した制御データを、フィードバックをかけるべく３次元ＤＳＰ７に出力する。
【００２２】
３次元ＤＳＰ７は、その内部に、補正部としての３次元奥行き調整回路８を内蔵している。当該３次元奥行き調整回路８において、映像及び音声データ処理回路１４から入力された映像データに対し、人感コントローラー６から入力された制御データに基づいて補正がなされる。
【００２３】
映像データは、３次元ＤＳＰ７で処理されて３次元視差画像のデータとなるが、映像データから３次元視差画像を生成するに際し、映像における奥行き感を規定するために用いられるパラメータである３次元奥行きパラメータが本実施の形態での処理対象となる。３次元奥行き調整回路８においては、特にこの３次元奥行きパラメータが調整される。制御データに従って、視聴者１５が移動した位置又は現在存在する位置に立体視効果の最適点が該当するように３次元奥行きパラメータが調整される。
【００２４】
例えば３次元メガネを用いたアクティブシャッター型の立体映像表示装置である場合には、３次元奥行きパラメータが調整されることによって、メガネの左右で切り替えられる３次元視差画像の組合せ等が調整される。
【００２５】
３次元奥行きパラメータが調整された映像データは、ディスプレイ駆動回路９に入力される。
【００２６】
ディスプレイ駆動回路９は、入力された映像データに基づいて、映像表示部としてのディスプレイ２に映像を表示させる。当該映像は、３次元奥行きパラメータが調整された映像データに基づいて表示されるものであるため、視聴者１５の位置等を考慮した立体映像となる。
【００２７】
次に、音声再生装置について説明する。音声再生装置は、図に示すように立体映像表示装置の一部として、立体映像に対応する音声を再生するための装置であってもよいが、音声再生装置単独として機能するものであってもよい。
【００２８】
図１に示すように、入力端子１３から入力される入力信号を、映像及び音声データ処理回路１４において受信する。
【００２９】
映像及び音声データ処理回路１４において処理され、抽出された音声データは、オーディオＤＳＰ１０に入力される。
【００３０】
一方で追従システム５は、前述のようにセンサー４の動作を制御し、さらにセンサー４において感知した人の位置に関する人感信号を受信する。そして当該人感信号を、人感コントローラー６に出力する。
【００３１】
人感コントローラー６では、人感信号を解析し、感知エリア内に存在する人の人数、存在する位置までの距離、方向（角度）等の情報である制御データを算出する。そして、算出した制御データを、フィードバックをかけるべくオーディオＤＳＰ１０に出力する。
【００３２】
オーディオＤＳＰ１０は、その内部に、補正部としてのビームコントロール回路１１を内蔵している。当該ビームコントロール回路１１において、映像及び音声データ処理回路１４から入力された音声データに対し、人感コントローラー６から入力された制御データに基づいて補正がなされる。
【００３３】
音声データは、オーディオＤＳＰ１０で処理されてビーム音のデータとなるが、音声データから後述のスピーカーアレイ３におけるビーム音を生成するに際し、ビーム音の指向性を規定するために用いられるパラメータである音声の指向性パラメータが本実施の形態での処理対象となる。ビームコントロール回路１１においては、特にこの音声の指向性パラメータが調整される。制御データに従って、視聴者１５が移動した位置又は現在存在する位置に音響効果の最適点が該当するように音声の指向性パラメータが調整される。
【００３４】
音声の指向性パラメータが調整された音声データは、ｎチャンネルオーディオＡｍｐ１２に入力される。
【００３５】
ｎチャンネルオーディオＡｍｐ１２は、入力された音声データに基づいてスピーカーアレイ３における音声の指向性を調整し、音声を出力させる。スピーカーアレイ３から発せられた音声は、例えば１２〜１６個の連なる小型スピーカーからビーム状に放出される。このビーム状の音声（ビーム音）はリスニングルーム１８の壁面に反射されるが、その指向性を制御することにより、当該反射による効果も考慮し、臨場感を高めた音場調整が行われる。
【００３６】
本発明における当該音声は、音声の指向性パラメータが調整された音声データに基づいて出力されるため、視聴者１５の位置等を考慮して増幅等された音響となる。
【００３７】
上記のような動作によって、視聴者１５はリスニングルーム１８（図においては、その壁面を示す）において、ディスプレイ２に表示される映像を視聴し、またスピーカーアレイ３から出力される音声を聴く。この際、視聴者１５が移動等した場合であっても、視聴者１５が現在いる位置が立体視効果及び音響効果の最適点となるように調整されているので、視聴者１５は視聴に際して、最適な立体視効果及び音響効果を得ることができる。
【００３８】
＜効果＞
本発明にかかる実施の形態によれば、立体映像表示装置において、視聴者１５の位置を感知するセンサー４と、感知した視聴者１５の位置情報に基づいて、制御データを生成する人感コントローラー６と、入力された映像データから３次元視差画像を生成するに際し、映像における奥行き感を規定するために用いられる３次元奥行きパラメータを、制御データに基づいて補正する補正部としての３次元奥行き調整回路８と、３次元奥行き調整回路８において３次元奥行きパラメータが補正された映像データに基づいて、映像を出力する映像出力部としてのディスプレイ２とを備えることで、視聴者が最適点を外れて移動しても、映像データのパラメータ補正を行うことで、光学的な調整を行うことなく適切に立体視効果を実現させることができる。
【００３９】
また、本発明にかかる実施の形態によれば、音声再生装置において視聴者１５の位置を感知するセンサー４と、センサー４において感知した視聴者１５の位置情報に基づいて、制御データを生成する人感コントローラー６と、入力された音声データに基づいて、ビーム音を出力するスピーカーアレイ３と、音声データからビーム音を生成するに際し、ビーム音の指向性を規定するために用いられる音声の指向性パラメータを、制御データに基づいて補正する補正部としてのビームコントロール回路１１とを備え、スピーカーアレイ３は、音声の指向性パラメータが補正された音声データに基づいて、ビーム音を出力することで、視聴者が最適点を外れて移動しても、音声データのパラメータ補正を行うことで適切に音響効果を実現させることができる。
【００４０】
また、本発明にかかる実施の形態によれば、立体映像表示装置及び音声再生装置において、センサー４が、無線センサーであることで、視聴者が送信機（送波素子）等を携帯する必要がなく、装置の構成を簡素化できる。
【００４１】
また、本発明にかかる実施の形態によれば、立体映像表示装置及び音声再生装置において、センサー４を動かし、感知した視聴者１５を追従させる追従システム５をさらに備えることで、既存の立体映像補正機能及び音場調整機能を利用し、簡素な構成の立体映像表示装置及び音声再生装置を提供することができる。
【００４２】
＜実施の形態２＞
図２は、本発明にかかる立体映像表示装置の構成図である。実施の形態１と同様の構成については同一の符合を付し、詳細な説明を省略する。
【００４３】
本実施の形態２にかかる立体映像表示装置１００では、リスニングルーム１８に複数の視聴者（視聴者１５及び視聴者１９）が存在するものとする。
【００４４】
追従システム５は、前述のようにセンサー４の動作を制御し、さらにセンサー４において感知した複数の人の位置に関する人感信号を受信する。そして当該人感信号を、人感コントローラー６に出力する。
【００４５】
人感コントローラー６では、人感信号を解析し、感知エリア内の人の配置分布等の情報である制御データを算出する。ここで配置分布は、例えば図２に示すように、視聴者１５と視聴者１９との分布（図中の鎖線で示す範囲）の中心に仮想視聴者２０を想定するものとすることができ、仮想視聴者２０が存在する位置に、人感コントローラー６では、立体視効果及び音響効果の最適点が該当するように制御データを算出することができる。
【００４６】
なお、当該方法による配置分布の設定は、配置分布内の視聴者に対し同じ程度の立体視効果及び音響効果を与え、分布全体として効果の高い立体視効果及び音響効果を提供するものであるが、配置分布内に存在する特定の視聴者（又は、最もセンサー４の感知強度が強くなる、センサー４から最も近くに存在する視聴者の方向等）に対する立体視効果及び音響効果を高めるような最適点の設定を行うことも可能である。
【００４７】
そして、算出した制御データを、フィードバックをかけるべく３次元ＤＳＰ７及びオーディオＤＳＰ１０に出力する。
【００４８】
このように、複数の視聴者が存在する場合であっても、その配置分布を適格に判断し、より効果の高い立体視効果及び音響効果を得ることができる。
【００４９】
＜効果＞
本発明にかかる実施の形態によれば、立体映像表示装置及び音声再生装置において、センサー４は、感知エリア内の複数の視聴者１５及び視聴者１９の位置を感知し、人感コントローラー６が、複数の視聴者１５及び視聴者１９の位置分布に基づいて、制御データを生成することで、複数の視聴者１５及び視聴者１９が感知エリア内に存在する場合でも、適切な立体視効果及び音響効果を得ることができる。
【００５０】
また、本発明にかかる実施の形態によれば、立体映像表示装置及び音声再生装置において、人感コントローラー６が、複数の視聴者１５及び視聴者１９の分布中心の位置情報に基づいて、制御データを生成することで、複数の視聴者１５及び視聴者１９にバランスよく、適切な立体視効果及び音響効果を得させることができる。
【００５１】
また、本発明にかかる実施の形態によれば、立体映像表示装置及び音声再生装置において、人感コントローラー６が、センサー４における感知強度が強い方向の情報に基づいて、制御データを生成することで、例えば最も感知強度の強い、センサー４から一番近い場所にいる視聴者を優先して、適切な立体視効果及び音響効果を得させることができる。
【符号の説明】
【００５２】
１，１００ 立体映像表示装置、２ ディスプレイ、３ スピーカーアレイ、４ センサー、５ 追従システム、６ 人感コントローラー、７ ３次元ＤＳＰ、８ ３次元奥行き調整回路、９ ディスプレイ駆動回路、１０ オーディオＤＳＰ、１１ ビームコントロール回路、１２ ｎチャンネルオーディオＡｍｐ、１３ 入力端子、１４ 映像及び音声データ処理回路、１５，１９ 視聴者、１８ リスニングルーム、２０ 仮想視聴者。
【特許請求の範囲】
【請求項１】
視聴者の位置を感知するセンサーと、
前記センサーにおいて感知した視聴者の位置情報に基づいて、制御データを生成するコントローラーと、
入力された映像データから３次元視差画像を生成するに際し、映像における奥行き感を規定するために用いられる３次元奥行きパラメータを、前記制御データに基づいて補正する補正部と、
前記補正部において前記３次元奥行きパラメータが補正された前記映像データに基づいて、映像を出力する映像出力部とを備えることを特徴とする、
立体映像表示装置。
【請求項２】
前記センサーが、無線センサーであることを特徴とする、
請求項１に記載の立体映像表示装置。
【請求項３】
前記センサーは、感知エリア内の複数の視聴者の位置を感知し、
前記コントローラーが、複数の前記視聴者の位置分布に基づいて、前記制御データを生成することを特徴とする、
請求項１又は２に記載の立体映像表示装置。
【請求項４】
前記コントローラーが、複数の前記視聴者の分布中心の位置情報に基づいて、前記制御データを生成することを特徴とする、
請求項３に記載の立体映像表示装置。
【請求項５】
前記コントローラーが、前記センサーにおける感知強度が強い方向の情報に基づいて、前記制御データを生成することを特徴とする、
請求項３に記載の立体映像表示装置。
【請求項６】
前記センサーを動かし、感知した前記視聴者を追従させる追従システムをさらに備えることを特徴とする、
請求項１〜５のいずれかに記載の立体映像表示装置。
【請求項７】
入力された音声データに基づいて、ビーム音を出力するスピーカーアレイをさらに備え、
前記補正部は、前記音声データから前記ビーム音を生成するに際し、前記ビーム音の指向性を規定するために用いられる音声の指向性パラメータを、前記制御データに基づいて補正し、
前記スピーカーアレイは、前記音声の指向性パラメータが補正された前記音声データに基づいて、前記ビーム音を出力することを特徴とする、
請求項１〜６のいずれかに記載の立体映像表示装置。
【請求項８】
視聴者の位置を感知するセンサーと、
前記センサーにおいて感知した視聴者の位置情報に基づいて、制御データを生成するコントローラーと、
入力された音声データに基づいて、ビーム音を出力するスピーカーアレイと、
前記音声データから前記ビーム音を生成するに際し、前記ビーム音の指向性を規定するために用いられる音声の指向性パラメータを、前記制御データに基づいて補正する補正部とを備え、
前記スピーカーアレイは、前記音声の指向性パラメータが補正された前記音声データに基づいて、前記ビーム音を出力することを特徴とする、
音声再生装置。
【請求項９】
前記センサーが、無線センサーであることを特徴とする、
請求項８に記載の音声再生装置。
【請求項１０】
前記センサーは、感知エリア内の複数の視聴者の位置を感知し、
前記コントローラーが、複数の前記視聴者の位置分布に基づいて、前記制御データを生成することを特徴とする、
請求８又は９に記載の音声再生装置。
【請求項１１】
前記コントローラーが、複数の前記視聴者の分布中心の位置情報に基づいて、前記制御データを生成することを特徴とする、
請求項１０に記載の音声再生装置。
【請求項１２】
前記コントローラーが、前記センサーにおける感知強度が強い方向の情報に基づいて、前記制御データを生成することを特徴とする、
請求項１０に記載の音声再生装置。
【請求項１３】
前記センサーを動かし、感知した前記視聴者を追従させる追従システムをさらに備えることを特徴とする、
請求項８〜１２のいずれかに記載の音声再生装置。
【請求項１】
視聴者の位置を感知するセンサーと、
前記センサーにおいて感知した視聴者の位置情報に基づいて、制御データを生成するコントローラーと、
入力された映像データから３次元視差画像を生成するに際し、映像における奥行き感を規定するために用いられる３次元奥行きパラメータを、前記制御データに基づいて補正する補正部と、
前記補正部において前記３次元奥行きパラメータが補正された前記映像データに基づいて、映像を出力する映像出力部とを備えることを特徴とする、
立体映像表示装置。
【請求項２】
前記センサーが、無線センサーであることを特徴とする、
請求項１に記載の立体映像表示装置。
【請求項３】
前記センサーは、感知エリア内の複数の視聴者の位置を感知し、
前記コントローラーが、複数の前記視聴者の位置分布に基づいて、前記制御データを生成することを特徴とする、
請求項１又は２に記載の立体映像表示装置。
【請求項４】
前記コントローラーが、複数の前記視聴者の分布中心の位置情報に基づいて、前記制御データを生成することを特徴とする、
請求項３に記載の立体映像表示装置。
【請求項５】
前記コントローラーが、前記センサーにおける感知強度が強い方向の情報に基づいて、前記制御データを生成することを特徴とする、
請求項３に記載の立体映像表示装置。
【請求項６】
前記センサーを動かし、感知した前記視聴者を追従させる追従システムをさらに備えることを特徴とする、
請求項１〜５のいずれかに記載の立体映像表示装置。
【請求項７】
入力された音声データに基づいて、ビーム音を出力するスピーカーアレイをさらに備え、
前記補正部は、前記音声データから前記ビーム音を生成するに際し、前記ビーム音の指向性を規定するために用いられる音声の指向性パラメータを、前記制御データに基づいて補正し、
前記スピーカーアレイは、前記音声の指向性パラメータが補正された前記音声データに基づいて、前記ビーム音を出力することを特徴とする、
請求項１〜６のいずれかに記載の立体映像表示装置。
【請求項８】
視聴者の位置を感知するセンサーと、
前記センサーにおいて感知した視聴者の位置情報に基づいて、制御データを生成するコントローラーと、
入力された音声データに基づいて、ビーム音を出力するスピーカーアレイと、
前記音声データから前記ビーム音を生成するに際し、前記ビーム音の指向性を規定するために用いられる音声の指向性パラメータを、前記制御データに基づいて補正する補正部とを備え、
前記スピーカーアレイは、前記音声の指向性パラメータが補正された前記音声データに基づいて、前記ビーム音を出力することを特徴とする、
音声再生装置。
【請求項９】
前記センサーが、無線センサーであることを特徴とする、
請求項８に記載の音声再生装置。
【請求項１０】
前記センサーは、感知エリア内の複数の視聴者の位置を感知し、
前記コントローラーが、複数の前記視聴者の位置分布に基づいて、前記制御データを生成することを特徴とする、
請求８又は９に記載の音声再生装置。
【請求項１１】
前記コントローラーが、複数の前記視聴者の分布中心の位置情報に基づいて、前記制御データを生成することを特徴とする、
請求項１０に記載の音声再生装置。
【請求項１２】
前記コントローラーが、前記センサーにおける感知強度が強い方向の情報に基づいて、前記制御データを生成することを特徴とする、
請求項１０に記載の音声再生装置。
【請求項１３】
前記センサーを動かし、感知した前記視聴者を追従させる追従システムをさらに備えることを特徴とする、
請求項８〜１２のいずれかに記載の音声再生装置。
【図１】
【図２】
【図２】
【公開番号】特開２０１２−２５３７０７（Ｐ２０１２−２５３７０７Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２６９５８（Ｐ２０１１−１２６９５８）
【出願日】平成２３年６月７日（２０１１．６．７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月７日（２０１１．６．７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]