映像・音声処理装置及び映像・音声処理方法、並びにコンピューター・プログラム
【課題】３Ｄ映像の奥行きを好適に制御して、臨場感及び娯楽性の高い３Ｄ映像を生成する。
【解決手段】奥行き制御部１０６は、音声解析部１０４による映像解析結果に基づいて、映像内の文字部用の奥行き情報を生成する。例えば、音声の大きい場合は手前に、小さい場合は奥になるように文字部の奥行き情報を作成する。また、音声の大きさ、周波数の変化に合わせて、文字部の奥行き情報が変化する速度を制御する。また、音声の種類に合わせて、文字部の奥行き情報が変化する方法を制御する。
【解決手段】奥行き制御部１０６は、音声解析部１０４による映像解析結果に基づいて、映像内の文字部用の奥行き情報を生成する。例えば、音声の大きい場合は手前に、小さい場合は奥になるように文字部の奥行き情報を作成する。また、音声の大きさ、周波数の変化に合わせて、文字部の奥行き情報が変化する速度を制御する。また、音声の種類に合わせて、文字部の奥行き情報が変化する方法を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、３Ｄ映像の奥行きを制御する映像・音声処理装置及び映像・音声処理方法、並びにコンピューター・プログラムに関する。
【背景技術】
【０００２】
左右の眼に視差のある映像を表示することで、観察者に３次元的に見える３次元視映像を提示することができる。例えば、時分割３次元視映像表示システムは、互いに異なる複数の映像を時分割で表示する表示装置と、映像の観察者がかけるシャッター眼鏡の組み合わせからなる。表示装置は、視差のある左眼用映像及び右眼用映像を非常に短い周期で交互に、すなわちフレーム・シーケンシャル方式で画面表示する。一方、観察者が装着したシャッター眼鏡は、左眼部及び右眼部にそれぞれ液晶レンズなどで構成されるシャッター機構を備え、表示装置側での画面の切り換わりに同期して左右のシャッターを交互に開閉動作させて、左眼用映像と右眼用映像を分離する。そして、観察者の脳内では、左眼用映像と右眼用映像が融像して、立体視される（例えば、特許文献１を参照のこと）。
【０００３】
立体映像における被写体の奥行きは、左眼用映像と右眼用映像間の視差により与えられる。
【０００４】
飛び出しも凹みもない位置に定位した被写体は、左眼用映像と右眼用映像とで視差がなく、図３に示すように、左眼用映像と右眼用映像でともに画面上の同じ位置に存在する場合は、図４に示すような、視聴者は、表示画面上で被写体を知覚することになる。これに対し、図５に示すように、左眼用映像の被写体が右眼用映像の被写体よりも右寄りに存在するように視差を与えると、図６に示すように、視聴者は、表示画面より手前で被写体を知覚することになる。逆に、図７に示すように、右眼用映像の被写体が左眼用映像の被写体よりも右寄りに存在するように視差を与えると、図８に示すように、視聴者は、表示画面より奥に被写体を知覚することになる。
【０００５】
したがって、３Ｄ対応テレビなどでは、左眼用映像と右眼用映像の間で被写体に視差を与えることによって奥行きを制御することができる。
【０００６】
当業界では、映像から得られた情報から被写体の奥行きに関する情報を求め、３Ｄ映像の奥行きを制御する方法が知られている。
【０００７】
例えば、映像内の動きベクトルを検出して、物体の動作速度に応じて奥行きを制御する立体映像生成方法について提案がなされている（例えば、特許文献２を参照のこと）。その他、映像内の構図を検出して、構図に応じた奥行き制御を行なう方法や、映像内の物体（人間の顔など）を検出して、物体に応じた奥行き制御を行なう方法（例えば、特許文献３を参照のこと）、映像内の空間周波数を検出して、周波数に応じた奥行き制御を行なう方法（例えば、特許文献４を参照のこと）、映像内の重なりを堅守して、物体の前後に応じた奥行き制御を行なう方法などが挙げられる。
【０００８】
しかしながら、映像から得られた情報だけで３Ｄ映像の奥行き制御を行なう場合、臨場感や娯楽性の高い３Ｄ映像を作成することができない、と本出願人は思料する。
【０００９】
他方、映像に多重化された音声の解析結果から映像の画質を制御する方法も知られている。例えば、音声内のテンポや音声レベルを検出して、テンポ又は音声レベルに応じて映像の鮮明度を補正する画質制御回路や（例えば、特許文献５を参照のこと）、音声内の音量を検出して、音量に応じて画像の表示サイズを設定する画像処理装置について提案がなされている（例えば、特許文献６を参照のこと）。しかしながら、これらは音声から得られた情報を使用して３Ｄ映像の奥行きを制御するものではない。
【００１０】
また、音量のダイナミックレンジに応じて、近景と遠景の幅である深度を設定する三次元信号生成装置についても提案がなされているが（例えば、特許文献７を参照のこと）、深度と臨場感の調和を図ることはできても、臨場感を高めるものではない。また、深度を設定することは、映像内の物体の奥行きを制御することとは相違する。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００３−４５３４３号公報
【特許文献２】特開２０００−２６１８２８号公報
【特許文献３】特開２０１１−８７１００号公報
【特許文献４】特開２０１１−７８０３６号公報
【特許文献５】特開２００８−１１８３７４号公報
【特許文献６】特開２００８−２３６３８９号公報
【特許文献７】特開２０１１−１０９４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本明細書で開示する技術の目的は、３Ｄ映像の奥行きを好適に制御して、臨場感及び娯楽性の高い３Ｄ映像を生成することができる、優れた映像・音声処理装置及び映像・音声処理方法、並びにコンピューター・プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
情報源から得られた音声を解析する音声解析部と、
前記音声解析部による音声解析結果に基づいて、前記情報源から得られた映像の奥行き情報を制御する奥行き制御部と、
を具備する映像・音声処理装置である。
【００１４】
本願の請求項２に記載の技術によれば、請求項１に記載の映像・音声処理装置は、前記奥行き制御部による奥行き情報に基づいて、前記情報源から得られた映像から３Ｄ映像を生成する３Ｄ映像生成部をさらに備えている。
【００１５】
本願の請求項３に記載の技術によれば、請求項１に記載の映像・音声処理装置は、前記情報源から得られた映像を解析する映像解析部をさらに備えている。
【００１６】
本願の請求項４に記載の技術によれば、請求項３に記載の映像・音声処理装置は、映像解析部が、前記情報源から得られた映像内の物体を検出し、奥行き制御部が、前記音声解析部による音声解析結果に基づいて、前記映像解析部が検出した物体の奥行き情報を作成するように構成されている。
【００１７】
本願の請求項５に記載の技術によれば、請求項３に記載の映像・音声処理装置は、奥行き制御部が、前記映像解析部による音声解析結果に基づく奥行き情報と、前記音声解析部による音声解析結果に基づく奥行き情報を統合するように構成されている。
【００１８】
本願の請求項６に記載の技術によれば、請求項３に記載の映像・音声処理装置は、奥行き制御部が、前記映像解析部が前記情報源から得られた映像内で検出した物体用の奥行き情報を前記音声解析部による音声解析結果に基づいて作成するとともに、前記情報源から得られた映像内の前記物体以外の画像部用の奥行き情報を前記映像解析部による映像解析結果に基づいて作成し、前記物体用の奥行き情報と前記画像部用の奥行き情報を統合するように構成されている。
【００１９】
本願の請求項７に記載の技術によれば、請求項６に記載の映像・音声処理装置において、映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる文字である。
【００２０】
本願の請求項８に記載の技術によれば、請求項６に記載の映像・音声処理装置において、映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる人又は動物の顔である。
【００２１】
本願の請求項９に記載の技術によれば、請求項６に記載の映像・音声処理装置において、映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる音を発する物体である。
【００２２】
本願の請求項１０に記載の技術によれば、請求項６に記載の映像・音声処理装置において、映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる文字である。そして、奥行き制御部は、ユーザーの嗜好に合わせて、前記音声解析部による音声解析結果に基づく奥行き情報の制御を行なうように構成されている。
【００２３】
また、本願の請求項１１に記載の技術は、
情報源から得られた音声を解析する音声解析ステップと、
前記音声解析ステップにおける音声解析結果に基づいて、前記情報源から得られた映像の奥行き情報を制御する奥行き制御ステップと、
を有する映像・音声処理方法である。
【００２４】
また、本願の請求項１２に記載の技術は、
情報源から得られた音声を解析する音声解析部、
前記音声解析部による音声解析結果に基づいて、前記情報源から得られた映像の奥行き情報を制御する奥行き制御部、
としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラムである。
【００２５】
本願の請求項１２に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る映像・音声処理装置と同様の作用効果を得ることができる。
【発明の効果】
【００２６】
本明細書で開示する技術によれば、音声解析の結果に基づいて３Ｄ映像の奥行きを好適に制御して、臨場感及び娯楽性の高い３Ｄ映像を生成することができる、優れた映像・音声処理装置及び映像・音声処理方法、並びにコンピューター・プログラムを提供することができる。
【００２７】
また、本明細書で開示する技術によれば、音声解析の結果に基づいて映像内の物体の奥行きを好適に３Ｄ映像の奥行きを好適に制御して、臨場感及び娯楽性の高い３Ｄ映像を生成することができる、
【００２８】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００２９】
【図１】図１は、本明細書で開示する技術を適用した３Ｄ映像表示装置１００の構成を模式的に示した図である。
【図２】図２は、映像解析部１０３、音声解析部１０４、並びに奥行き制御部１０６の内部構成を示した図である。
【図３】図３は、左眼用画像と右眼用画像でともに画面上の同じ位置に被写体が存在する様子を示した図である。
【図４】図４は、左眼用画像の被写体と右眼用画像の被写体がともに同じ位置に存在する場合に、視聴者は表示パネルの面上で被写体を知覚することを説明するための図である。
【図５】図５は、左眼用画像の被写体が右眼用画像の被写体よりも右寄りに存在する様子を示した図である。
【図６】図６は、左眼用画像の被写体が右眼用画像の被写体よりも右寄りに存在する場合に、視聴者は表示パネルより手前で被写体を知覚することを説明するための図である。
【図７】図７は、右眼用画像の被写体が左眼用画像の被写体よりも右寄りに存在する様子を示した図である。
【図８】図８は、右眼用画像の被写体が左眼用画像の被写体よりも右寄りに存在する場合に、視聴者は表示パネルより奥に被写体を知覚することを説明するための図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００３１】
図１には、本明細書で開示する技術を適用した映像・音声処理装置１００の構成を模式的に示している。映像・音声処理装置１００は、例えば３Ｄ対応テレビなどの音声を出力する機能を備えた表示装置において使用され、ＴＶ放送やレコーダー、ＢＤ（ブルーレイ・ディスク）プレイヤーなどの再生装置、パーソナル・コンピューターなどを情報源とする。情報源の映像は２Ｄ、３Ｄのいずれでも構わない。図示の映像・音声処理装置１００は、映像抽出部１０１と、音声抽出部１０２と、映像解析部１０３と、音声解析部１０４と、画質調整部１０５と、奥行き制御部１０６と、音質調整部１０７と、３Ｄ映像生成部１０８と、映像出力部１０９と、音声出力部１１０からなるが、これらの構成要素の一部又は全部を例えばＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）のようなＩＣ内に実装することも可能である。
【００３２】
映像抽出部１０１並びに音声抽出部１０２は、情報源から映像信号、音声信号をそれぞれ抽出して、後段の映像解析部１０３、音声解析部１０４に出力する。
【００３３】
映像解析部１０３並びに音声解析部１０４はそれぞれ、映像信号、音声信号の解析を行なう。解析処理の具体的な内容については後述に譲る。
【００３４】
画質制御部１０５は、映像解析の結果に基づいて、映像の画質制御を行なう。音質制御部１０７は、音声解析の結果に基づいて、音声の音質制御を行なう。また、奥行き制御部１０６は、映像内の物体の奥行きを、映像解析の結果と音声解析の結果に基づいて制御する。
【００３５】
３Ｄ映像生成部１０８は、画質制御部１０５によって画質制御された映像に、奥行き制御部１０６から得られた奥行き情報を加えて、３Ｄ映像を作成する。そして、映像出力部１０９は、作成された３Ｄ映像をディスプレイ（図示しない）などの３Ｄ映像表示装置に出力する。
【００３６】
また、音声出力部１１０は、音質制御部１０６で音質制御が行なわれた音声を、スピーカー（図示しない）などの音声出力装置に出力する。
【００３７】
映像・音声処理装置１００は、映像の解析結果に音声の解析結果も加えて映像の奥行き制御を行なうことで、臨場感及び娯楽性の高い３Ｄ映像を作成するようになっている。図２には、映像解析部１０３、音声解析部１０４、並びに奥行き制御部１０６の内部構成を示している。以下、各部１０３、１０４、１０６の構成、動作、作用について詳解する。
【００３８】
映像解析部１０３は、ベクトル検出部１０３Ａと、構図検出部１０３Ｂと、周波数検出部１０３Ｃと、物体検出部１０３Ｄと、重なり検出部１０３Ｅを備え、情報源から得られた映像の内容を解析する。
【００３９】
ベクトル検出部１０３Ａは、映像内で動きがある箇所を検出し、その動きの方向と速さを求める。
【００４０】
構図検出部１０３Ｂは、水平線の位置や道路の位置、建物の位置といった、映像の全体的な構図を検出する。
【００４１】
周波数検出部１０３Ｃは、映像内の空間周波数を検出する。
【００４２】
物体検出部１０３Ｄは、被写体や被写体の顔、文字などの映像内に存在する物体を検出する。
【００４３】
重なり検出部１０３Ｅは、物体検出部１０３Ｄが映像内で検出した各物体の重なりを検出する。
【００４４】
また、音声解析部１０４は、音量検出部１０４Ａと、周波数検出部１０４Ｂと、単語検出部１０４Ｃと、シーン検出部１０４Ｄと、種類検出部１０４Ｅを備え、情報源から得られた音声の内容を解析する。
【００４５】
音量検出部１０４Ａは、音声の大きさを検出する。
【００４６】
周波数検出部１０４Ｂは、音声の周波数を検出する。
【００４７】
単語検出部１０４Ｃは、音声内の特定の単語を検出する。
【００４８】
シーン検出部１０４Ｄは、音声の流れているシーンを検出する。シーンとして、スポーツ番組の応援やニュースなどを挙げることができる。
【００４９】
種類検出部１０４Ｅは、音声の種類を検出する。音声の種類として、自然音、金属音、人声、拍手などを挙げることができる。
【００５０】
奥行き制御部１０６は、映像解析部１３０による映像解析結果と、音声解析部１０４による音声解析結果に基づいて、映像の奥行き情報を作成する。以下では、映像に含まれる文字部に対して音声解析結果を使用する場合を例にとって説明する。
【００５１】
奥行き制御部１０６内では、画像用奥行き情報作成部１０６Ａが、映像解析部１０３による映像解析結果に基づいて、映像内の（文字部以外の）画像部用の奥行き情報を生成する。画像部用の奥行き情報を生成する方法として、以下を例示することができる。
【００５２】
（１）動きの速い箇所は手前に、動きの遅い箇所は奥になるように奥行き情報を作成する。
（２）空間周波数の高い箇所は手前に、低い箇所は奥になるように奥行き情報を作成する。
（３）顔や人が検出された箇所は、顔や人のテンプレート情報を使用しいて奥行き情報を作成する。
（４）物体の重なっている箇所は、各物体の前後関係に合わせて奥行き情報を作成する。
【００５３】
また、奥行き制御部１０６内では、文字用奥行き情報作成部１０６Ｂが、音声解析部１０４による映像解析結果に基づいて、映像内の文字部用の奥行き情報を生成する。文字部用の奥行き情報を生成する方法として、以下を例示することができる。
【００５４】
（１）音声の大きい場合は手前に、小さい場合は奥になるように文字部の奥行き情報を作成する。
（２）音声の大きさ、周波数の変化に合わせて、文字部の奥行き情報が変化する速度を制御する。
（３）音声の種類に合わせて、文字部の奥行き情報が変化する方法を制御する。
（４）特定のシーンで特定の単語が音声として検出された際に、単語の奥行きが手前になるように奥行き情報を生成する。
【００５５】
そして、奥行き制御部１０６内では、奥行き情報統合部１０６Ｃが、上記のようにして作成した画像部用の奥行き情報と文字部用の奥行き情報を統合する。奥行き情報の統合には、映像解析部１０３による映像解析結果から取得した文字部の位置情報を使用する。奥行き情報を統合する方法として、以下を例示することができる。
【００５６】
（１）映像内の文字部は、文字部用の奥行き情報を出力する。
（２）映像内の文字部以外は、画像部用の奥行き情報を出力する。
【００５７】
このように、本明細書で開示する技術によれば、３Ｄ映像の奥行き制御に音声から得られた情報を使用することが可能になる。映像から得られた情報及び音声から得られた情報を使用して３Ｄ映像を作成することで、臨場感及び娯楽性の高い３Ｄ映像を作成することができる。
【００５８】
本明細書で開示する技術により作成される３Ｄ映像の代表例を以下に示しておく。
【００５９】
（１）スポーツの解説者の音声と表示される文字の奥行きを連動させる。
サッカーやバスケットなどで、解説者の「ゴール」という音声が検出された際に、画面出力されている「ゴール」という文字を手前に表示する。また、野球では「ホームラン」や「三振」、ゴルフでは「ナイスショット」を検出するように、各スポーツの各シーンに合わせて連動される文字は変化する。
【００６０】
（２）バラエティーの笑いと表示される文字の奥行きを連動させる。
バラエティー番組で、笑い声が検出された際に、画面に出力されている笑い声の擬音語の文字の奥行きを手前⇔奥と変化させる。
【００６１】
（３）バラエティー番組の司会者の擬音語、擬態語と表示される文字の奥行きを連動させる。
バラエティー番組で、司会者の擬音語や擬態語を検出して、画面に表示されている擬音語、擬態語の文字の奥行きを変化させて表示する。
【００６２】
（４）音楽番組の歌声と歌詞の奥行きを連動させる。
音楽番組で、歌手の歌声を検出して、歌っている箇所の歌詞を手前に表示する。
【００６３】
（５）文字放送の音声と擬音語、擬態語を連動させる。
文字放送で、擬音語や擬態語が表示される音声を検出して、擬音語、擬態語の文字の奥行きを音声の種類（自然音、金属音など）に応じて変化させる。
【００６４】
（６）カラオケで自分の声と歌詞の奥行きを連動させる。
自分の歌声を検出して、歌っている箇所の歌詞を手前に表示する。歌声の音量や周波数の変化に応じて、歌詞の奥行き制御を変化させる。
【００６５】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）情報源から得られた音声を解析する音声解析部と、前記音声解析部による音声解析結果に基づいて、前記情報源から得られた映像の奥行き情報を制御する奥行き制御部と、を具備する映像・音声処理装置。
（２）前記奥行き制御部による奥行き情報に基づいて、前記情報源から得られた映像から３Ｄ映像を生成する３Ｄ映像生成部をさらに備える、上記（１）に記載の映像・音声処理装置。
（３）前記情報源から得られた映像を解析する映像解析部をさらに備える、上記（１）に記載の映像・音声処理装置。
（４）前記映像解析部は、前記情報源から得られた映像内の物体を検出し、前記奥行き制御部は、前記音声解析部による音声解析結果に基づいて、前記映像解析部が検出した物体の奥行き情報を作成する、上記（３）に記載の映像・音声処理装置。
（５）前記奥行き制御部は、前記映像解析部による音声解析結果に基づく奥行き情報と、前記音声解析部による音声解析結果に基づく奥行き情報を統合する、上記（３）に記載の映像・音声処理装置。
（６）前記奥行き制御部は、前記映像解析部が前記情報源から得られた映像内で検出した物体用の奥行き情報を前記音声解析部による音声解析結果に基づいて作成するとともに、前記情報源から得られた映像内の前記物体以外の画像部用の奥行き情報を前記映像解析部による映像解析結果に基づいて作成し、前記物体用の奥行き情報と前記画像部用の奥行き情報を統合する、上記（３）に記載の映像・音声処理装置。
（７）前記映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる文字である、上記（６）に記載の映像・音声処理装置。
（８）前記映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる人又は動物の顔である、上記（６）に記載の映像・音声処理装置。
（９）前記映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる音を発する物体である、上記（６）に記載の映像・音声処理装置。
（１０）前記映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる文字であり、前記奥行き制御部は、ユーザーの嗜好に合わせて、前記音声解析部による音声解析結果に基づく奥行き情報の制御を行なう、上記（６）に記載の映像・音声処理装置。
（１１）情報源から得られた音声を解析する音声解析ステップと、前記音声解析ステップにおける音声解析結果に基づいて、前記情報源から得られた映像の奥行き情報を制御する奥行き制御ステップと、を有する映像・音声処理方法。
（１２）情報源から得られた音声を解析する音声解析部、前記音声解析部による音声解析結果に基づいて、前記情報源から得られた映像の奥行き情報を制御する奥行き制御部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
【産業上の利用可能性】
【００６６】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００６７】
本明細書では、映像に含まれる文字部に対して音声解析結果を使用して奥行き情報を生成する実施形態を中心に説明してきたが、映像内の文字部以外の物体についても音声解析結果を使用して奥行き情報を生成することができる。文字部以外の適用した場合を以下に例示する。
【００６８】
（１）人の顔部分の奥行き制御に適用する。例えば、映像解析結果から顔の位置情報を取得し、音声解析結果から人の声の有無を取得する。そして、人が話しているときには、映像内の顔部分に奥行き情報のテンプレートを適用する。
（２）動物の顔部分の奥行きを制御する。例えば、鳴いている動物の顔に奥行き情報のテンプレートを適用する。処理内は、人の顔部分の奥行き制御と同様である。
（３）楽器などの音を発している物体の奥行きを制御する。例えば、楽器などの音を発している物体に奥行き情報のテンプレートを適用する。処理内は、人の顔部分の奥行き制御と同様である。
【００６９】
また、本明細書では、映像に含まれる文字部の奥行き情報を自動的に作成する実施形態を中心に説明してきたが、文字部用の奥行き情報をユーザーの嗜好に合わせて設定することも可能である。ユーザーは、例えばテレビのリモコンやボタンなどを使用して、奥湯議証法の設定を行なうものとする。ユーザーの嗜好に合わせて奥行き情報を設定する場合を以下に例示する。
【００７０】
（１）ユーザーが、奥行き調整を行なう条件（調整を行なう文字、調整を行なうシーンなど）や、奥行き調整の量（手前に表示する量、奥に表示する量）等の情報を設定する。
（２）上記（１）でユーザーが設定した情報を、映像・音声処理装置１００内部に記録しておく。
（３）情報源から入力された情報を、常に上記（２）で記録した情報と比較する。そして、奥行き調整を行なう条件と一致した場合に、記録した奥行き調整量を出力する。
【００７１】
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【００７２】
１００…映像・音声処理装置
１０１…映像抽出部
１０２…音声抽出部
１０３…映像解析部
１０３Ａ…ベクトル検出部、１０３Ｂ…構図検出部
１０３Ｃ…周波数検出部、１０３Ｄ…物体検出部
１０３Ｅ…重なり検出部
１０４…音声解析部
１０４Ａ…音量検出部、１０４Ｂ…周波数検出
１０４Ｃ…単語検出部、１０４Ｄ…シーン検出部
１０４Ｅ…種類検出部
１０５…画質調整部
１０６…奥行き制御部
１０６Ａ…画像用奥行き情報作成部、１０６Ｂ…文字用奥行き情報作成部
１０６Ｃ…奥行き情報統合部
１０７…音質調整部
１０８…３Ｄ映像生成部
１０９…映像出力部
１１０…音声出力部
【技術分野】
【０００１】
本明細書で開示する技術は、３Ｄ映像の奥行きを制御する映像・音声処理装置及び映像・音声処理方法、並びにコンピューター・プログラムに関する。
【背景技術】
【０００２】
左右の眼に視差のある映像を表示することで、観察者に３次元的に見える３次元視映像を提示することができる。例えば、時分割３次元視映像表示システムは、互いに異なる複数の映像を時分割で表示する表示装置と、映像の観察者がかけるシャッター眼鏡の組み合わせからなる。表示装置は、視差のある左眼用映像及び右眼用映像を非常に短い周期で交互に、すなわちフレーム・シーケンシャル方式で画面表示する。一方、観察者が装着したシャッター眼鏡は、左眼部及び右眼部にそれぞれ液晶レンズなどで構成されるシャッター機構を備え、表示装置側での画面の切り換わりに同期して左右のシャッターを交互に開閉動作させて、左眼用映像と右眼用映像を分離する。そして、観察者の脳内では、左眼用映像と右眼用映像が融像して、立体視される（例えば、特許文献１を参照のこと）。
【０００３】
立体映像における被写体の奥行きは、左眼用映像と右眼用映像間の視差により与えられる。
【０００４】
飛び出しも凹みもない位置に定位した被写体は、左眼用映像と右眼用映像とで視差がなく、図３に示すように、左眼用映像と右眼用映像でともに画面上の同じ位置に存在する場合は、図４に示すような、視聴者は、表示画面上で被写体を知覚することになる。これに対し、図５に示すように、左眼用映像の被写体が右眼用映像の被写体よりも右寄りに存在するように視差を与えると、図６に示すように、視聴者は、表示画面より手前で被写体を知覚することになる。逆に、図７に示すように、右眼用映像の被写体が左眼用映像の被写体よりも右寄りに存在するように視差を与えると、図８に示すように、視聴者は、表示画面より奥に被写体を知覚することになる。
【０００５】
したがって、３Ｄ対応テレビなどでは、左眼用映像と右眼用映像の間で被写体に視差を与えることによって奥行きを制御することができる。
【０００６】
当業界では、映像から得られた情報から被写体の奥行きに関する情報を求め、３Ｄ映像の奥行きを制御する方法が知られている。
【０００７】
例えば、映像内の動きベクトルを検出して、物体の動作速度に応じて奥行きを制御する立体映像生成方法について提案がなされている（例えば、特許文献２を参照のこと）。その他、映像内の構図を検出して、構図に応じた奥行き制御を行なう方法や、映像内の物体（人間の顔など）を検出して、物体に応じた奥行き制御を行なう方法（例えば、特許文献３を参照のこと）、映像内の空間周波数を検出して、周波数に応じた奥行き制御を行なう方法（例えば、特許文献４を参照のこと）、映像内の重なりを堅守して、物体の前後に応じた奥行き制御を行なう方法などが挙げられる。
【０００８】
しかしながら、映像から得られた情報だけで３Ｄ映像の奥行き制御を行なう場合、臨場感や娯楽性の高い３Ｄ映像を作成することができない、と本出願人は思料する。
【０００９】
他方、映像に多重化された音声の解析結果から映像の画質を制御する方法も知られている。例えば、音声内のテンポや音声レベルを検出して、テンポ又は音声レベルに応じて映像の鮮明度を補正する画質制御回路や（例えば、特許文献５を参照のこと）、音声内の音量を検出して、音量に応じて画像の表示サイズを設定する画像処理装置について提案がなされている（例えば、特許文献６を参照のこと）。しかしながら、これらは音声から得られた情報を使用して３Ｄ映像の奥行きを制御するものではない。
【００１０】
また、音量のダイナミックレンジに応じて、近景と遠景の幅である深度を設定する三次元信号生成装置についても提案がなされているが（例えば、特許文献７を参照のこと）、深度と臨場感の調和を図ることはできても、臨場感を高めるものではない。また、深度を設定することは、映像内の物体の奥行きを制御することとは相違する。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００３−４５３４３号公報
【特許文献２】特開２０００−２６１８２８号公報
【特許文献３】特開２０１１−８７１００号公報
【特許文献４】特開２０１１−７８０３６号公報
【特許文献５】特開２００８−１１８３７４号公報
【特許文献６】特開２００８−２３６３８９号公報
【特許文献７】特開２０１１−１０９４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本明細書で開示する技術の目的は、３Ｄ映像の奥行きを好適に制御して、臨場感及び娯楽性の高い３Ｄ映像を生成することができる、優れた映像・音声処理装置及び映像・音声処理方法、並びにコンピューター・プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
情報源から得られた音声を解析する音声解析部と、
前記音声解析部による音声解析結果に基づいて、前記情報源から得られた映像の奥行き情報を制御する奥行き制御部と、
を具備する映像・音声処理装置である。
【００１４】
本願の請求項２に記載の技術によれば、請求項１に記載の映像・音声処理装置は、前記奥行き制御部による奥行き情報に基づいて、前記情報源から得られた映像から３Ｄ映像を生成する３Ｄ映像生成部をさらに備えている。
【００１５】
本願の請求項３に記載の技術によれば、請求項１に記載の映像・音声処理装置は、前記情報源から得られた映像を解析する映像解析部をさらに備えている。
【００１６】
本願の請求項４に記載の技術によれば、請求項３に記載の映像・音声処理装置は、映像解析部が、前記情報源から得られた映像内の物体を検出し、奥行き制御部が、前記音声解析部による音声解析結果に基づいて、前記映像解析部が検出した物体の奥行き情報を作成するように構成されている。
【００１７】
本願の請求項５に記載の技術によれば、請求項３に記載の映像・音声処理装置は、奥行き制御部が、前記映像解析部による音声解析結果に基づく奥行き情報と、前記音声解析部による音声解析結果に基づく奥行き情報を統合するように構成されている。
【００１８】
本願の請求項６に記載の技術によれば、請求項３に記載の映像・音声処理装置は、奥行き制御部が、前記映像解析部が前記情報源から得られた映像内で検出した物体用の奥行き情報を前記音声解析部による音声解析結果に基づいて作成するとともに、前記情報源から得られた映像内の前記物体以外の画像部用の奥行き情報を前記映像解析部による映像解析結果に基づいて作成し、前記物体用の奥行き情報と前記画像部用の奥行き情報を統合するように構成されている。
【００１９】
本願の請求項７に記載の技術によれば、請求項６に記載の映像・音声処理装置において、映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる文字である。
【００２０】
本願の請求項８に記載の技術によれば、請求項６に記載の映像・音声処理装置において、映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる人又は動物の顔である。
【００２１】
本願の請求項９に記載の技術によれば、請求項６に記載の映像・音声処理装置において、映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる音を発する物体である。
【００２２】
本願の請求項１０に記載の技術によれば、請求項６に記載の映像・音声処理装置において、映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる文字である。そして、奥行き制御部は、ユーザーの嗜好に合わせて、前記音声解析部による音声解析結果に基づく奥行き情報の制御を行なうように構成されている。
【００２３】
また、本願の請求項１１に記載の技術は、
情報源から得られた音声を解析する音声解析ステップと、
前記音声解析ステップにおける音声解析結果に基づいて、前記情報源から得られた映像の奥行き情報を制御する奥行き制御ステップと、
を有する映像・音声処理方法である。
【００２４】
また、本願の請求項１２に記載の技術は、
情報源から得られた音声を解析する音声解析部、
前記音声解析部による音声解析結果に基づいて、前記情報源から得られた映像の奥行き情報を制御する奥行き制御部、
としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラムである。
【００２５】
本願の請求項１２に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る映像・音声処理装置と同様の作用効果を得ることができる。
【発明の効果】
【００２６】
本明細書で開示する技術によれば、音声解析の結果に基づいて３Ｄ映像の奥行きを好適に制御して、臨場感及び娯楽性の高い３Ｄ映像を生成することができる、優れた映像・音声処理装置及び映像・音声処理方法、並びにコンピューター・プログラムを提供することができる。
【００２７】
また、本明細書で開示する技術によれば、音声解析の結果に基づいて映像内の物体の奥行きを好適に３Ｄ映像の奥行きを好適に制御して、臨場感及び娯楽性の高い３Ｄ映像を生成することができる、
【００２８】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００２９】
【図１】図１は、本明細書で開示する技術を適用した３Ｄ映像表示装置１００の構成を模式的に示した図である。
【図２】図２は、映像解析部１０３、音声解析部１０４、並びに奥行き制御部１０６の内部構成を示した図である。
【図３】図３は、左眼用画像と右眼用画像でともに画面上の同じ位置に被写体が存在する様子を示した図である。
【図４】図４は、左眼用画像の被写体と右眼用画像の被写体がともに同じ位置に存在する場合に、視聴者は表示パネルの面上で被写体を知覚することを説明するための図である。
【図５】図５は、左眼用画像の被写体が右眼用画像の被写体よりも右寄りに存在する様子を示した図である。
【図６】図６は、左眼用画像の被写体が右眼用画像の被写体よりも右寄りに存在する場合に、視聴者は表示パネルより手前で被写体を知覚することを説明するための図である。
【図７】図７は、右眼用画像の被写体が左眼用画像の被写体よりも右寄りに存在する様子を示した図である。
【図８】図８は、右眼用画像の被写体が左眼用画像の被写体よりも右寄りに存在する場合に、視聴者は表示パネルより奥に被写体を知覚することを説明するための図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００３１】
図１には、本明細書で開示する技術を適用した映像・音声処理装置１００の構成を模式的に示している。映像・音声処理装置１００は、例えば３Ｄ対応テレビなどの音声を出力する機能を備えた表示装置において使用され、ＴＶ放送やレコーダー、ＢＤ（ブルーレイ・ディスク）プレイヤーなどの再生装置、パーソナル・コンピューターなどを情報源とする。情報源の映像は２Ｄ、３Ｄのいずれでも構わない。図示の映像・音声処理装置１００は、映像抽出部１０１と、音声抽出部１０２と、映像解析部１０３と、音声解析部１０４と、画質調整部１０５と、奥行き制御部１０６と、音質調整部１０７と、３Ｄ映像生成部１０８と、映像出力部１０９と、音声出力部１１０からなるが、これらの構成要素の一部又は全部を例えばＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）のようなＩＣ内に実装することも可能である。
【００３２】
映像抽出部１０１並びに音声抽出部１０２は、情報源から映像信号、音声信号をそれぞれ抽出して、後段の映像解析部１０３、音声解析部１０４に出力する。
【００３３】
映像解析部１０３並びに音声解析部１０４はそれぞれ、映像信号、音声信号の解析を行なう。解析処理の具体的な内容については後述に譲る。
【００３４】
画質制御部１０５は、映像解析の結果に基づいて、映像の画質制御を行なう。音質制御部１０７は、音声解析の結果に基づいて、音声の音質制御を行なう。また、奥行き制御部１０６は、映像内の物体の奥行きを、映像解析の結果と音声解析の結果に基づいて制御する。
【００３５】
３Ｄ映像生成部１０８は、画質制御部１０５によって画質制御された映像に、奥行き制御部１０６から得られた奥行き情報を加えて、３Ｄ映像を作成する。そして、映像出力部１０９は、作成された３Ｄ映像をディスプレイ（図示しない）などの３Ｄ映像表示装置に出力する。
【００３６】
また、音声出力部１１０は、音質制御部１０６で音質制御が行なわれた音声を、スピーカー（図示しない）などの音声出力装置に出力する。
【００３７】
映像・音声処理装置１００は、映像の解析結果に音声の解析結果も加えて映像の奥行き制御を行なうことで、臨場感及び娯楽性の高い３Ｄ映像を作成するようになっている。図２には、映像解析部１０３、音声解析部１０４、並びに奥行き制御部１０６の内部構成を示している。以下、各部１０３、１０４、１０６の構成、動作、作用について詳解する。
【００３８】
映像解析部１０３は、ベクトル検出部１０３Ａと、構図検出部１０３Ｂと、周波数検出部１０３Ｃと、物体検出部１０３Ｄと、重なり検出部１０３Ｅを備え、情報源から得られた映像の内容を解析する。
【００３９】
ベクトル検出部１０３Ａは、映像内で動きがある箇所を検出し、その動きの方向と速さを求める。
【００４０】
構図検出部１０３Ｂは、水平線の位置や道路の位置、建物の位置といった、映像の全体的な構図を検出する。
【００４１】
周波数検出部１０３Ｃは、映像内の空間周波数を検出する。
【００４２】
物体検出部１０３Ｄは、被写体や被写体の顔、文字などの映像内に存在する物体を検出する。
【００４３】
重なり検出部１０３Ｅは、物体検出部１０３Ｄが映像内で検出した各物体の重なりを検出する。
【００４４】
また、音声解析部１０４は、音量検出部１０４Ａと、周波数検出部１０４Ｂと、単語検出部１０４Ｃと、シーン検出部１０４Ｄと、種類検出部１０４Ｅを備え、情報源から得られた音声の内容を解析する。
【００４５】
音量検出部１０４Ａは、音声の大きさを検出する。
【００４６】
周波数検出部１０４Ｂは、音声の周波数を検出する。
【００４７】
単語検出部１０４Ｃは、音声内の特定の単語を検出する。
【００４８】
シーン検出部１０４Ｄは、音声の流れているシーンを検出する。シーンとして、スポーツ番組の応援やニュースなどを挙げることができる。
【００４９】
種類検出部１０４Ｅは、音声の種類を検出する。音声の種類として、自然音、金属音、人声、拍手などを挙げることができる。
【００５０】
奥行き制御部１０６は、映像解析部１３０による映像解析結果と、音声解析部１０４による音声解析結果に基づいて、映像の奥行き情報を作成する。以下では、映像に含まれる文字部に対して音声解析結果を使用する場合を例にとって説明する。
【００５１】
奥行き制御部１０６内では、画像用奥行き情報作成部１０６Ａが、映像解析部１０３による映像解析結果に基づいて、映像内の（文字部以外の）画像部用の奥行き情報を生成する。画像部用の奥行き情報を生成する方法として、以下を例示することができる。
【００５２】
（１）動きの速い箇所は手前に、動きの遅い箇所は奥になるように奥行き情報を作成する。
（２）空間周波数の高い箇所は手前に、低い箇所は奥になるように奥行き情報を作成する。
（３）顔や人が検出された箇所は、顔や人のテンプレート情報を使用しいて奥行き情報を作成する。
（４）物体の重なっている箇所は、各物体の前後関係に合わせて奥行き情報を作成する。
【００５３】
また、奥行き制御部１０６内では、文字用奥行き情報作成部１０６Ｂが、音声解析部１０４による映像解析結果に基づいて、映像内の文字部用の奥行き情報を生成する。文字部用の奥行き情報を生成する方法として、以下を例示することができる。
【００５４】
（１）音声の大きい場合は手前に、小さい場合は奥になるように文字部の奥行き情報を作成する。
（２）音声の大きさ、周波数の変化に合わせて、文字部の奥行き情報が変化する速度を制御する。
（３）音声の種類に合わせて、文字部の奥行き情報が変化する方法を制御する。
（４）特定のシーンで特定の単語が音声として検出された際に、単語の奥行きが手前になるように奥行き情報を生成する。
【００５５】
そして、奥行き制御部１０６内では、奥行き情報統合部１０６Ｃが、上記のようにして作成した画像部用の奥行き情報と文字部用の奥行き情報を統合する。奥行き情報の統合には、映像解析部１０３による映像解析結果から取得した文字部の位置情報を使用する。奥行き情報を統合する方法として、以下を例示することができる。
【００５６】
（１）映像内の文字部は、文字部用の奥行き情報を出力する。
（２）映像内の文字部以外は、画像部用の奥行き情報を出力する。
【００５７】
このように、本明細書で開示する技術によれば、３Ｄ映像の奥行き制御に音声から得られた情報を使用することが可能になる。映像から得られた情報及び音声から得られた情報を使用して３Ｄ映像を作成することで、臨場感及び娯楽性の高い３Ｄ映像を作成することができる。
【００５８】
本明細書で開示する技術により作成される３Ｄ映像の代表例を以下に示しておく。
【００５９】
（１）スポーツの解説者の音声と表示される文字の奥行きを連動させる。
サッカーやバスケットなどで、解説者の「ゴール」という音声が検出された際に、画面出力されている「ゴール」という文字を手前に表示する。また、野球では「ホームラン」や「三振」、ゴルフでは「ナイスショット」を検出するように、各スポーツの各シーンに合わせて連動される文字は変化する。
【００６０】
（２）バラエティーの笑いと表示される文字の奥行きを連動させる。
バラエティー番組で、笑い声が検出された際に、画面に出力されている笑い声の擬音語の文字の奥行きを手前⇔奥と変化させる。
【００６１】
（３）バラエティー番組の司会者の擬音語、擬態語と表示される文字の奥行きを連動させる。
バラエティー番組で、司会者の擬音語や擬態語を検出して、画面に表示されている擬音語、擬態語の文字の奥行きを変化させて表示する。
【００６２】
（４）音楽番組の歌声と歌詞の奥行きを連動させる。
音楽番組で、歌手の歌声を検出して、歌っている箇所の歌詞を手前に表示する。
【００６３】
（５）文字放送の音声と擬音語、擬態語を連動させる。
文字放送で、擬音語や擬態語が表示される音声を検出して、擬音語、擬態語の文字の奥行きを音声の種類（自然音、金属音など）に応じて変化させる。
【００６４】
（６）カラオケで自分の声と歌詞の奥行きを連動させる。
自分の歌声を検出して、歌っている箇所の歌詞を手前に表示する。歌声の音量や周波数の変化に応じて、歌詞の奥行き制御を変化させる。
【００６５】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）情報源から得られた音声を解析する音声解析部と、前記音声解析部による音声解析結果に基づいて、前記情報源から得られた映像の奥行き情報を制御する奥行き制御部と、を具備する映像・音声処理装置。
（２）前記奥行き制御部による奥行き情報に基づいて、前記情報源から得られた映像から３Ｄ映像を生成する３Ｄ映像生成部をさらに備える、上記（１）に記載の映像・音声処理装置。
（３）前記情報源から得られた映像を解析する映像解析部をさらに備える、上記（１）に記載の映像・音声処理装置。
（４）前記映像解析部は、前記情報源から得られた映像内の物体を検出し、前記奥行き制御部は、前記音声解析部による音声解析結果に基づいて、前記映像解析部が検出した物体の奥行き情報を作成する、上記（３）に記載の映像・音声処理装置。
（５）前記奥行き制御部は、前記映像解析部による音声解析結果に基づく奥行き情報と、前記音声解析部による音声解析結果に基づく奥行き情報を統合する、上記（３）に記載の映像・音声処理装置。
（６）前記奥行き制御部は、前記映像解析部が前記情報源から得られた映像内で検出した物体用の奥行き情報を前記音声解析部による音声解析結果に基づいて作成するとともに、前記情報源から得られた映像内の前記物体以外の画像部用の奥行き情報を前記映像解析部による映像解析結果に基づいて作成し、前記物体用の奥行き情報と前記画像部用の奥行き情報を統合する、上記（３）に記載の映像・音声処理装置。
（７）前記映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる文字である、上記（６）に記載の映像・音声処理装置。
（８）前記映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる人又は動物の顔である、上記（６）に記載の映像・音声処理装置。
（９）前記映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる音を発する物体である、上記（６）に記載の映像・音声処理装置。
（１０）前記映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる文字であり、前記奥行き制御部は、ユーザーの嗜好に合わせて、前記音声解析部による音声解析結果に基づく奥行き情報の制御を行なう、上記（６）に記載の映像・音声処理装置。
（１１）情報源から得られた音声を解析する音声解析ステップと、前記音声解析ステップにおける音声解析結果に基づいて、前記情報源から得られた映像の奥行き情報を制御する奥行き制御ステップと、を有する映像・音声処理方法。
（１２）情報源から得られた音声を解析する音声解析部、前記音声解析部による音声解析結果に基づいて、前記情報源から得られた映像の奥行き情報を制御する奥行き制御部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
【産業上の利用可能性】
【００６６】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００６７】
本明細書では、映像に含まれる文字部に対して音声解析結果を使用して奥行き情報を生成する実施形態を中心に説明してきたが、映像内の文字部以外の物体についても音声解析結果を使用して奥行き情報を生成することができる。文字部以外の適用した場合を以下に例示する。
【００６８】
（１）人の顔部分の奥行き制御に適用する。例えば、映像解析結果から顔の位置情報を取得し、音声解析結果から人の声の有無を取得する。そして、人が話しているときには、映像内の顔部分に奥行き情報のテンプレートを適用する。
（２）動物の顔部分の奥行きを制御する。例えば、鳴いている動物の顔に奥行き情報のテンプレートを適用する。処理内は、人の顔部分の奥行き制御と同様である。
（３）楽器などの音を発している物体の奥行きを制御する。例えば、楽器などの音を発している物体に奥行き情報のテンプレートを適用する。処理内は、人の顔部分の奥行き制御と同様である。
【００６９】
また、本明細書では、映像に含まれる文字部の奥行き情報を自動的に作成する実施形態を中心に説明してきたが、文字部用の奥行き情報をユーザーの嗜好に合わせて設定することも可能である。ユーザーは、例えばテレビのリモコンやボタンなどを使用して、奥湯議証法の設定を行なうものとする。ユーザーの嗜好に合わせて奥行き情報を設定する場合を以下に例示する。
【００７０】
（１）ユーザーが、奥行き調整を行なう条件（調整を行なう文字、調整を行なうシーンなど）や、奥行き調整の量（手前に表示する量、奥に表示する量）等の情報を設定する。
（２）上記（１）でユーザーが設定した情報を、映像・音声処理装置１００内部に記録しておく。
（３）情報源から入力された情報を、常に上記（２）で記録した情報と比較する。そして、奥行き調整を行なう条件と一致した場合に、記録した奥行き調整量を出力する。
【００７１】
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【００７２】
１００…映像・音声処理装置
１０１…映像抽出部
１０２…音声抽出部
１０３…映像解析部
１０３Ａ…ベクトル検出部、１０３Ｂ…構図検出部
１０３Ｃ…周波数検出部、１０３Ｄ…物体検出部
１０３Ｅ…重なり検出部
１０４…音声解析部
１０４Ａ…音量検出部、１０４Ｂ…周波数検出
１０４Ｃ…単語検出部、１０４Ｄ…シーン検出部
１０４Ｅ…種類検出部
１０５…画質調整部
１０６…奥行き制御部
１０６Ａ…画像用奥行き情報作成部、１０６Ｂ…文字用奥行き情報作成部
１０６Ｃ…奥行き情報統合部
１０７…音質調整部
１０８…３Ｄ映像生成部
１０９…映像出力部
１１０…音声出力部
【特許請求の範囲】
【請求項１】
情報源から得られた音声を解析する音声解析部と、
前記音声解析部による音声解析結果に基づいて、前記情報源から得られた映像の奥行き情報を制御する奥行き制御部と、
を具備する映像・音声処理装置。
【請求項２】
前記奥行き制御部による奥行き情報に基づいて、前記情報源から得られた映像から３Ｄ映像を生成する３Ｄ映像生成部をさらに備える、
請求項１に記載の映像・音声処理装置。
【請求項３】
前記情報源から得られた映像を解析する映像解析部をさらに備える、
請求項１に記載の映像・音声処理装置。
【請求項４】
前記映像解析部は、前記情報源から得られた映像内の物体を検出し、
前記奥行き制御部は、前記音声解析部による音声解析結果に基づいて、前記映像解析部が検出した物体の奥行き情報を作成する、
請求項３に記載の映像・音声処理装置。
【請求項５】
前記奥行き制御部は、前記映像解析部による音声解析結果に基づく奥行き情報と、前記音声解析部による音声解析結果に基づく奥行き情報を統合する、
請求項３に記載の映像・音声処理装置。
【請求項６】
前記奥行き制御部は、前記映像解析部が前記情報源から得られた映像内で検出した物体用の奥行き情報を前記音声解析部による音声解析結果に基づいて作成するとともに、前記情報源から得られた映像内の前記物体以外の画像部用の奥行き情報を前記映像解析部による映像解析結果に基づいて作成し、前記物体用の奥行き情報と前記画像部用の奥行き情報を統合する、
請求項３に記載の映像・音声処理装置。
【請求項７】
前記映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる文字である、
請求項６に記載の映像・音声処理装置。
【請求項８】
前記映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる人又は動物の顔である、
請求項６に記載の映像・音声処理装置。
【請求項９】
前記映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる音を発する物体である、
請求項６に記載の映像・音声処理装置。
【請求項１０】
前記映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる文字であり、
前記奥行き制御部は、ユーザーの嗜好に合わせて、前記音声解析部による音声解析結果に基づく奥行き情報の制御を行なう、
請求項６に記載の映像・音声処理装置。
【請求項１１】
情報源から得られた音声を解析する音声解析ステップと、
前記音声解析ステップにおける音声解析結果に基づいて、前記情報源から得られた映像の奥行き情報を制御する奥行き制御ステップと、
を有する映像・音声処理方法。
【請求項１２】
情報源から得られた音声を解析する音声解析部、
前記音声解析部による音声解析結果に基づいて、前記情報源から得られた映像の奥行き情報を制御する奥行き制御部、
としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
【請求項１】
情報源から得られた音声を解析する音声解析部と、
前記音声解析部による音声解析結果に基づいて、前記情報源から得られた映像の奥行き情報を制御する奥行き制御部と、
を具備する映像・音声処理装置。
【請求項２】
前記奥行き制御部による奥行き情報に基づいて、前記情報源から得られた映像から３Ｄ映像を生成する３Ｄ映像生成部をさらに備える、
請求項１に記載の映像・音声処理装置。
【請求項３】
前記情報源から得られた映像を解析する映像解析部をさらに備える、
請求項１に記載の映像・音声処理装置。
【請求項４】
前記映像解析部は、前記情報源から得られた映像内の物体を検出し、
前記奥行き制御部は、前記音声解析部による音声解析結果に基づいて、前記映像解析部が検出した物体の奥行き情報を作成する、
請求項３に記載の映像・音声処理装置。
【請求項５】
前記奥行き制御部は、前記映像解析部による音声解析結果に基づく奥行き情報と、前記音声解析部による音声解析結果に基づく奥行き情報を統合する、
請求項３に記載の映像・音声処理装置。
【請求項６】
前記奥行き制御部は、前記映像解析部が前記情報源から得られた映像内で検出した物体用の奥行き情報を前記音声解析部による音声解析結果に基づいて作成するとともに、前記情報源から得られた映像内の前記物体以外の画像部用の奥行き情報を前記映像解析部による映像解析結果に基づいて作成し、前記物体用の奥行き情報と前記画像部用の奥行き情報を統合する、
請求項３に記載の映像・音声処理装置。
【請求項７】
前記映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる文字である、
請求項６に記載の映像・音声処理装置。
【請求項８】
前記映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる人又は動物の顔である、
請求項６に記載の映像・音声処理装置。
【請求項９】
前記映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる音を発する物体である、
請求項６に記載の映像・音声処理装置。
【請求項１０】
前記映像解析部が前記情報源から得られた映像内で検出する物体は、映像に含まれる文字であり、
前記奥行き制御部は、ユーザーの嗜好に合わせて、前記音声解析部による音声解析結果に基づく奥行き情報の制御を行なう、
請求項６に記載の映像・音声処理装置。
【請求項１１】
情報源から得られた音声を解析する音声解析ステップと、
前記音声解析ステップにおける音声解析結果に基づいて、前記情報源から得られた映像の奥行き情報を制御する奥行き制御ステップと、
を有する映像・音声処理方法。
【請求項１２】
情報源から得られた音声を解析する音声解析部、
前記音声解析部による音声解析結果に基づいて、前記情報源から得られた映像の奥行き情報を制御する奥行き制御部、
としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−１１０５５２（Ｐ２０１３−１１０５５２Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５３５７８（Ｐ２０１１−２５３５７８）
【出願日】平成２３年１１月２１日（２０１１．１１．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２１日（２０１１．１１．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]