映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラム
【課題】立体映像の奥行き計算の結果に応じて、立体映像に含まれる被写体の輪郭や精細感の強調の強度を好適に調整する。
【解決手段】近景部分にフォーカスが合っていることが分かったときには、輪郭・精細感強調処理部１０３は、輪郭・精細感強調の強度を高める。逆に、遠景部分にフォーカスが合っていることが分かったときには、輪郭・精細感強調処理部１０３は、輪郭・精細感強調の強度を低くする。また、パンフォーカスのように被写体深度が深い映像の場合には、輪郭・精細感強調処理部１０３は、輪郭・精細感強調の強度をやや低くする。
【解決手段】近景部分にフォーカスが合っていることが分かったときには、輪郭・精細感強調処理部１０３は、輪郭・精細感強調の強度を高める。逆に、遠景部分にフォーカスが合っていることが分かったときには、輪郭・精細感強調処理部１０３は、輪郭・精細感強調の強度を低くする。また、パンフォーカスのように被写体深度が深い映像の場合には、輪郭・精細感強調処理部１０３は、輪郭・精細感強調の強度をやや低くする。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、左眼用映像信号及び右眼用映像信号からなる立体映像の画質調整を行なう映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラムに係り、特に、立体映像に含まれる被写体の輪郭や精細感の強調を実現する映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラムに関する。
【背景技術】
【０００２】
左右の眼に視差のある画像を表示することで、観察者に３次元的に見える３次元視画像を提示することができる。例えば、時分割３次元視画像表示システムは、互いに異なる複数の画像を時分割で表示する表示装置と、画像の観察者がかけるシャッター眼鏡の組み合わせからなる。表示装置は左眼用画像及び右眼用画像を時分割で交互に表示するとともに、表示装置の表示切り換えに同期してシャッター眼鏡がシャッター機構により画像選択を行なうことで、観察するユーザーの脳内では左眼用画像と右眼用画像が融像され３次元視画像となる。
【０００３】
左眼用画像と右眼用画像の視差量を大きくすると立体感が増すことが知られている。例えば、２Ｄ映像から３Ｄ映像に生成する過程で得られた視差情報ＰＲに基づいて、立体感調整を行なう立体感調整方法について提案がなされている（例えば、特許文献１を参照のこと）。しかしながら、視差情報ＰＲを検出する具体的な方法については提案されていない。つまり、３Ｄ映像から視差情報（奥行き量）を検出して立体感調整を行なう場合、一般的な手法では、視差情報（奥行き量）の検出精度が低いため、そこで得られた視差情報（奥行き量）は立体感調整に使用できないと思料される。
【０００４】
また、３Ｄ映像から奥行き方向（Ｚ軸方向）の情報を検出して、その奥行き方向（Ｚ軸方向）の情報から画質改善処理を行なう映像信号処理装置について提案がなされている（例えば、特許文献２を参照のこと）。しかしながら、奥行き方向（Ｚ軸方向）の検出が難しい映像において、誤検出した奥行き方向（Ｚ軸方向）の情報に基づいて画質改善処理が行なわれると、不自然な画質になるという問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２３９３６４号公報
【特許文献２】特開２０１１−１９２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本明細書で開示する技術の目的は、左眼用映像信号及び右眼用映像信号からなる立体映像の画質調整を好適に行なうことができる、優れた映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
立体映像を入力する映像入力部と、
入力した立体映像の奥行き計算を行なう奥行き計算部と、
前記奥行き計算部による奥行き計算結果に基づいて、立体映像の輪郭・精細感強調の強度を変えて画質調整を行なう輪郭・精細感強調処理部と、
を具備する映像信号処理装置である。
【０００８】
本願の請求項２に記載の技術によれば、請求項１に記載の映像信号処理装置の輪郭・精細感強調処理部は、前記奥行き計算部による奥行き計算の結果から判定されるフォーカス位置に基づいて、輪郭・精細感強調の強度を決定するように構成されている。
【０００９】
本願の請求項３に記載の技術によれば、請求項１に記載の映像信号処理装置の輪郭・精細感強調処理部は、前記奥行き計算部による奥行き計算結果として立体映像の近景部分にフォーカスが合っていることが分かったときには、輪郭・精細感強調の強度を高め、前記奥行き計算結果から立体映像の遠景部分にフォーカスが合っていることが分かったときには輪郭・精細感強調の強度を低くし、前記奥行き計算結果として立体映像の被写体深度が深い映像であることが分かったときには輪郭・精細感強調の強度をやや低くするように構成されている。
【００１０】
本願の請求項４に記載の技術によれば、請求項１に記載の映像信号処理装置の輪郭・精細感強調処理部は、前記奥行き計算部による奥行き計算結果として立体映像の近景と遠景との奥行き量の差が大きいことが分かったときには輪郭・精細感強調の強度を高くし、前記奥行き計算結果から立体映像の近景と遠景との奥行き量の差が小さいことが分かったときには輪郭・精細感強調の強度を低くするように構成されている。
【００１１】
本願の請求項５に記載の技術によれば、請求項１に記載の映像信号処理装置の輪郭・精細感強調処理部は、１フレームの映像全体について一様の強度で輪郭・精細感強調を行なうように構成されている。
【００１２】
本願の請求項６に記載の技術によれば、請求項１に記載の映像信号処理装置の映像入力部は、同時刻の左眼用映像及び右眼用映像を時間方向で多重化する方式の立体映像を入力し、奥行き計算部は、左眼用映像から特徴量を抽出した後に、同時刻の右眼用映像から特徴量を抽出し、左眼用映像の特徴量と右眼用映像の特徴量を比較することによって、立体映像の奥行きを計算するように構成されている。
【００１３】
本願の請求項７に記載の技術によれば、請求項６に記載の映像信号処理装置の奥行き計算部は、
左眼用映像の垂直方向及び水平方向に所定タップ数のバンドパス・フィルター処理をそれぞれ行ない、垂直方向のバンドパス成分と水平方向のバンドパス成分の積に基づいて各画素位置の特徴量を求め、各ブロック内で特徴量が最大となる画素位置をブロックの特徴点として検出し、各ブロックの特徴点の特徴量を保存し、右眼用映像の各ブロックの全画素位置で上記と同じ特徴量を算出し、左眼用映像の対応するブロックの特徴点において保存した特徴量と比較して、ブロック毎に左眼用映像の特徴点と一致する右眼用画像の画素位置を検出し、各ブロックにおいて左眼用映像の特徴点と一致する右眼用画像の画素位置における奥行き量と帯域成分を保存するように構成されている。
【００１４】
本願の請求項８に記載の技術によれば、請求項６に記載の映像信号処理装置の奥行き計算部は、
左眼用映像について、各ブロックの特徴点について、垂直方向のバンドパス成分、水平方向のバンドパス成分、左上画素の平均値、右上画素の平均値、左下画素の平均値、右下画素の平均値、特徴点のブロック内のｙ座標、特徴点のブロック内のｘ座標を特徴点データとして保存し、右眼用映像について、各ブロックの全画素位置で、垂直方向のバンドパス成分、水平方向のバンドパス成分、左上画素の平均値、右上画素の平均値、左下画素の平均値、右下画素の平均値、特徴点のブロック内のｙ座標を特徴点データとして算出し、各画素位置における特徴点データと左眼用映像の対応する特徴点における特徴点データとの重み付き差分絶対和をとって各画素位置の評価値とし、右眼用映像の各ブロックで評価値が最小になる画素位置を左眼用映像の特徴点と一致する画素位置を求め、各ブロックにおいて左眼用映像の特徴点と一致する右眼用画像の画素位置における奥行き量と帯域成分を保存するように構成されている。
【００１５】
本願の請求項９に記載の技術によれば、請求項７に記載の映像信号処理装置の奥行き計算部は、各ブロックを奥行き量に基づいて近景と遠景に分類し、近景のブロックについて奥行き量と帯域成分を平均化するとともに、遠景のブロックについて奥行き量と帯域成分を平均化するように構成されている。
【００１６】
本願の請求項１０に記載の技術によれば、請求項９に記載の映像信号処理装置の奥行き計算部は、近景のブロックの奥行き量の平均値を遠景のブロックの奥行き量の平均値を引き算して立体映像の近景と遠景との奥行き量の差を求め、立体映像の近景と遠景との奥行き量の差が大きいときには輪郭・精細感強調の強度に対する重みを大きくし、立体映像の近景と遠景との奥行き量の差が小さいときには輪郭・精細感強調の強度に対する重みを小さくするように構成されている。
【００１７】
本願の請求項１１に記載の技術によれば、請求項９に記載の映像信号処理装置の奥行き計算部は、近景のブロックの帯域成分の平均値を遠景のブロックの帯域成分の平均値を引き算して立体映像の近景と遠景との帯域成分の差を求め、前立体映像の近景と遠景との帯域成分の差が大きいときには輪郭・精細感強調の強度に対する重みを大きくし、立体映像の近景と遠景との帯域成分の差が小さいときには輪郭・精細感強調の強度に対する重みを小さくするように構成されている。
【００１８】
本願の請求項１２に記載の技術によれば、請求項９に記載の映像信号処理装置の奥行き計算部は、平均化された奥行き量に基づいて付与される重みと、平均化された帯域成分に基づいて付与される重みを組み合わせた後、ローパス・フィルター処理して輪郭・精細感強調の強度を求めるように構成されている。
【００１９】
本願の請求項１３に記載の技術によれば、請求項１２に記載の映像信号処理装置は、入力映像のフレーム間変動を検出するフレーム間変動検出部をさらに備えている。そして、奥行き計算部は、フレーム間変動が大きいときには、時定数が小さいフィルター係数にして前記ローパス・フィルター処理を行ない、フレーム間変動が小さいときには、時定数が大きいフィルター係数にして前記ローパス・フィルター処理を行なうように構成されている。
【００２０】
本願の請求項１４に記載の技術によれば、請求項７に記載の映像信号処理装置は、右眼用映像のブロックよりも左眼用映像のブロックのサイズを小さくするように構成されている。
【００２１】
また、本願の請求項に記載の技術１５は、
立体映像を入力する映像入力ステップと、
入力した立体映像の奥行き計算を行なう奥行き計算ステップと、
前記奥行き計算ステップにおける奥行き計算結果に基づいて、立体映像の輪郭・精細感強調の強度を変えて画質調整を行なう輪郭・精細感強調処理ステップと、
を有する映像信号処理方法である。
【００２２】
また、本願の請求項に記載の技術１６は、
立体映像を入力する映像入力部、
入力した立体映像の奥行き計算を行なう奥行き計算部、
前記奥行き計算部による奥行き計算結果に基づいて、立体映像の輪郭・精細感強調の強度を変えて画質調整を行なう輪郭・精細感強調処理部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。
【００２３】
本願の請求項１６に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項１６に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る映像信号処理装置と同様の作用効果を得ることができる。
【発明の効果】
【００２４】
本明細書で開示する技術によれば、立体映像の奥行き計算の結果に応じて、立体映像に含まれる被写体の輪郭や精細感の強調の強度を好適に調整することができる、優れた映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラムを提供することができる。
【００２５】
本明細書で開示する技術によれば、１フレームの映像に含まれる近景部分と遠景部分の各々に対して輪郭・精細感強調の強度を変えるのではなく、１フレームの映像全体について一様の強度で輪郭・精細感強調を行なうようになっている。したがって、奥行き計算に誤検出があったとしても、不自然な画質なり難いという利点がある。
【００２６】
本明細書で開示する技術によれば、立体映像に対して自然な輪郭・精細感強調を行なうことができる。
【００２７】
本明細書で開示する技術によれば、小規模な回路構成により立体映像の奥行き量を算出することができ、計算の際にフレーム・メモリーを使う必要もない。
【００２８】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００２９】
【図１】図１は、本明細書で開示する技術に係る映像信号処理装置１００の構成を模式的に示した図である。
【図２Ａ】図２Ａは、輪郭・精細感強調処理部１０３が奥行き計算の結果に基づいて行なう処理を概略的に示した図である。
【図２Ｂ】図２Ｂは、輪郭・精細感強調処理部１０３が奥行き計算の結果に基づいて行なう処理を概略的に示した図である。
【図３】図３は、奥行き計算部１０２において左眼用映像を処理するための機能的構成を示した図である。
【図４】図４は、特徴量算出部３０１が行なう処理を説明するための図である。
【図５】図５は、映像から特徴量を抽出するために用いられるバンドパス・フィルターの周波数特性の一例を示した図である。
【図６】図６は、左眼用映像中に複数のブロックを設定する様子を示した図である。
【図７】図７は、左眼用映像の各ブロックの特徴点に対して右眼用映像とのマッチング用に保存する特徴点データを示した図である。
【図８】図８は、奥行き計算部１０２において、左眼用映像と同時刻の右眼用映像を処理するための機能的構成を示した図である。
【図９Ａ】図９Ａは、左眼用映像のブロック位置と右眼用映像のブロック位置をそれぞれ示した図である。
【図９Ｂ】図９Ｂは、左眼用映像と右眼用映像で対応するブロックを重ねて描いた図である。
【図１０】図１０は、左眼用映像のブロック内の特徴点と、右眼用映像のブロック内の対応する画素位置を、近景の場合及び遠景の場合それぞれについて示した図である。
【図１１】図１１は、右眼用映像の帯域成分を抽出するための機能的構成を例示した図である。
【図１２】図１２は、奥行き計算部１０２において奥行き量を統計処理するための機能的構成を例示した図である。
【図１３】図１３は、映像に含まれるブロックを例示した図である。
【図１４】図１４は、近景と遠景との奥行き量の差に応じて与える輪郭・精細感強調の重みを例示した図である。
【図１５】図１５は、近景と遠景との帯域成分の差に応じて与える輪郭・精細感強調の重みを例示した図である。
【図１６】図１６は、バンドパス成分とハイパス成分の各々について輪郭・精細感強調の強度に対して時間軸方向にローパス・フィルター処理する構成例を示した図である。
【図１７】図１７は、フレーム間変動を検出するための機能的構成を例示した図である。
【図１８】図１８は、輪郭・精細感強調処理部１０３の内部構成例を示した図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００３１】
図１には、本明細書で開示する技術に係る映像信号処理装置１００の構成を模式的に示している。図示の映像信号処理装置１００は、立体映像を入力する映像入力部１０１と、入力した立体映像の奥行きを計算する奥行き計算部１０２と、奥行き計算の結果に基づいて立体映像の輪郭・精細感強調の強度を調整する輪郭・精細感強調処理部１０３と、輪郭・精細感強調の処理を行なった後に立体映像を出力する映像出力部１０４で構成される。
【００３２】
映像入力部１０１に入力される立体映像は、例えばフレーム・パッキング方式の映像である。フレーム・パッキングとは、１垂直帰線期間中に同時刻の左眼用映像及び右眼用映像の２フレーム分の映像を含める、立体映像信号の伝送フォーマットである。
【００３３】
奥行き計算部１０２は、立体映像の奥行き計算を行なう。奥行き計算部１０２の計算結果として、映像の含まれる近景部分と遠景部分それぞれの奥行き量、近景部分と遠景部分のどの辺にフォーカスがあっているか、などの情報を算出して、奥行きに応じた輪郭・精細感強調の強度を得るようになっている。
【００３４】
輪郭・精細感強調処理部１０３は、奥行き計算部１０２による奥行き計算の結果に基づいて立体映像の輪郭・精細感強調の強度を変えて、入力した立体映像の画質調整を行なう。図２には、輪郭・精細感強調処理部１０３が奥行き計算の結果に基づいて行なう処理を概略的に示している。
【００３５】
奥行き計算部１０２による奥行き計算の結果として、近景部分にフォーカスが合っていることが分かったときには、輪郭・精細感強調処理部１０３で適用する輪郭・精細感強調の強度を高める。逆に、遠景部分にフォーカスが合っていることが分かったときには、輪郭・精細感強調処理部１０３は、輪郭・精細感強調の強度を低くする。また、パンフォーカスのように被写体深度が深い映像の場合には、輪郭・精細感強調処理部１０３で適用する輪郭・精細感強調の強度をやや低くする（図２Ａを参照のこと）。
【００３６】
また、奥行き計算部１０２は、奥行き計算結果から、入力画像の近景と遠景との奥行き量の差が大きいときには、輪郭・精細感強調処理部１０３で適用する輪郭・精細感強調の強度を大きくする。逆に、入力画像の近景と遠景との奥行き量の差が小さいときには、輪郭・精細感強調処理部１０３で適用する輪郭・精細感強調の強度を低くする（図２Ｂを参照のこと）。
【００３７】
最終的には、フォーカス位置に基づく輪郭・精細感強調の強度と、奥行き量に基づく輪郭・精細感強調の強度の積で、輪郭・精細感強調処理部１０３で適用する最終的な輪郭・精細感強調の強度を決定する。
【００３８】
なお、輪郭・精細感強調処理部１０３は、１フレームの映像に含まれる近景部分と遠景部分の各々に対して輪郭・精細感強調の強度を変えるのではなく、１フレームの映像全体について一様の強度で輪郭・精細感強調を行なうようになっている。したがって、奥行き計算部１０２による奥行き計算に誤検出があったとしても、不自然な画質になりにくいという利点がある。
【００３９】
上述したように、映像入力部１０１には、フレーム・パッキング方式の立体映像が入力される。すなわち、映像入力部１０１には、同時刻の左眼用映像、右眼用映像の順で入力される。したがって、奥行き計算部１０２は、先に入力される左眼用映像から特徴量を抽出した後に、続いて入力される同時刻の右眼用映像から特徴量を抽出する。そして、左眼用映像の特徴量と右眼用映像の特徴量を比較することによって、映像の奥行きに関する情報を検出する。
【００４０】
図３には、奥行き計算部１０２において左眼用映像を処理するための機能的構成を示している。図示の例では、奥行き計算部１０２は、左眼用映像の処理のために、特徴量算出部３０１と、最大特徴量検出部３０２と、特徴点データ保存部３０３を備えている。
【００４１】
図４には、特徴量算出部３０１が行なう処理を図解している。特徴量算出部３０１は、入力された左眼用映像について、垂直方向と水平方向にそれぞれ９タップのバンドパス・フィルター（ＢＰＦ）処理を行なう。ここで、映像から特徴量を抽出するために用いられるバンドパス・フィルターの周波数特性の一例を図５に示しておく。ここで、水平方向のバンドパス成分をｆｘlとし、垂直方向のバンドパス成分をｆｙlとする。そして、特徴量算出部３０１は、画素毎に水平方向のバンドパス成分ｆｘlと垂直方向のバンドパス成分ｆｙlの積を計算し、画素毎の計算結果ｆｘl×ｆｙlを各画素の特徴量とする。
【００４２】
次いで、図６に示すように、入力された左眼用映像中に複数のブロックを設定すると、最大特徴量検出部３０２は、各ブロック内で特徴量ｆｘl×ｆｙlが最大になる画素位置を検出する。
【００４３】
各ブロックの中で特徴量ｆｘl×ｆｙlが最大になる画素位置は、ブロックの特徴点として扱う。輪郭などが特徴点になり易い。特徴量の計算にバンドパス・フィルターを使っているので、ノイズは特徴点になり難い。
【００４４】
そして、特徴点データ保存部３０３は、各ブロックの特徴点における特徴量を、同時刻の左眼用映像とのマッチング用のデータすなわち特徴点データとして保存する。
【００４５】
特徴点データ保存部３０３は、左眼用映像の各ブロックの特徴点に対して、右眼用映像とのマッチング用に、例えば以下に示す８個の特徴点データを保存しておく。図７には、これらの特徴点データを図解している。
【００４６】
（１）垂直方向のバンドパス成分（ｆｙl）
（２）水平方向のバンドパス成分（ｆｘl）
（３）左上（８×４）画素の平均値（ｍａl）
（４）右上（８×４）画素の平均値（ｍｂl）
（５）左下（８×４）画素の平均値（ｍｃl）
（６）右下（８×４）画素の平均値（ｍｄl）
（７）特徴点のブロック内のｙ座標（ｄｙl）
（８）特徴点のブロック内のｘ座標（ｄｘl）
【００４７】
図３に示したような左眼用映像に対して特徴点データを保存する処理は、フレーム・メモリーを必要としない。８ラインのライン・メモリーと特徴点データ保存用のメモリーがあればよい。
【００４８】
また、図８には、奥行き計算部１０２において、左眼用映像と同時刻の右眼用映像を処理するための機能的構成を示している。図示の例では、奥行き計算部１０２は、右眼用映像の処理のために、特徴量算出部８０１と、特徴点データ比較評価部８０２と、最小評価値検出部８０３と、奥行き量及び帯域成分保存部８０４を備えている。
【００４９】
特徴量算出部８０１は、各ブロックで全画素位置をスキャンして、各画素位置において、以下の７つの特徴点データを算出する。
【００５０】
（１）垂直方向のバンドパス成分（ｆｙr）
（２）水平方向のバンドパス成分（ｆｘr）
（３）左上（８×４）画素の平均値（ｍａr）
（４）右上（８×４）画素の平均値（ｍｂr）
（５）左下（８×４）画素の平均値（ｍｃr）
（６）右下（８×４）画素の平均値（ｍｄr）
（７）特徴点のブロック内のｙ座標（ｄｙr）
【００５１】
特徴点データ比較評価部８０２は、右眼用映像の各ブロック内の各画素位置における特徴点データを、左眼用映像の対応するブロックの特徴点について保存しておいた特徴点データと比較評価する。具体的には、特徴点データ比較評価部８０２は、下式（１）に示すように、右眼用映像の各ブロック内の各画素位置における特徴点データと、左眼用映像の対応するブロックの特徴点における特徴点データとの重み付き差分絶対和を算出して、算出結果を右眼用映像の各画素位置の評価値とする。
【００５２】
【数１】
【００５３】
特徴のない平坦部分などに対してマッチングを行なうのは難しい画像処理となる。このため、特徴のない映像部分では、奥行き検出の精度が下がることが懸念される。これに対し、本明細書で開示する技術では、特徴点データ比較部８０２において、特徴点だけに対して上記のようなステレオ・マッチングを行なうようにしているので、奥行き検出の精度がよい。
【００５４】
最小評価値検出部８０３は、右眼用映像の各ブロックにおいて、上記のように求めた評価値が最小になる画素位置を、左眼用映像の対応するブロックの特徴点と一致する画素位置として検出する。
【００５５】
立体映像の奥行き量は、視差量、すなわち左眼用映像の特徴点のｘ座標（ｄｘl）と、この特徴点と一致する右眼用映像の画素位置のｘ座標（ｄｘr）の差分である。奥行き量及び帯域成分保存部８０４は、右眼用映像の各ブロックにおいて最小評価値として検出された画素位置における奥行き量と帯域成分を保存する。
【００５６】
但し、評価値に基づいて検出された画素位置がブロック内では左眼用映像の特徴点と最も一致しているということができても、映像全体でみるとあまり一致していない可能性もある。そこで、ブロック内で検出された最小評価値がある閾値以上である（左眼用映像のブロックの特徴点と十分一致する画素位置が右眼用映像のブロックに存在しない）場合、又は、右眼用映像の特徴量がある閾値以下である（特徴がなく、そもそもマッチングに不向きなブロックである）場合には、そのブロックから求められる奥行き量や帯域成分は使用しないようにする。
【００５７】
実際には、右眼用映像のブロック内で検出された最小評価値がある閾値以下であり、且つ、右眼用映像の特徴量がある閾値以上である場合には、そのブロックに対しては、求めたデータ（奥行き量と帯域成分）が有効であることを示す有効フラグをセットする。有効フラグが立っているブロックについて保存されている奥行き量や帯域成分は、後段の輪郭・精細感強調処理において使われる。逆に、有効フラグが立っていない場合、そのブロックについて保存されている奥行き量や帯域成分は使われない。
【００５８】
なお、図９Ａには、左眼用映像のブロック位置と右眼用映像のブロック位置をそれぞれ示している。また、図９Ｂには、左眼用映像と右眼用映像で対応するブロックを重ねて描いている。上述したように、まず左眼用映像のブロック内で特徴点を抽出してから、右眼用映像の対応するブロック内でその特徴点に最もマッチする画素位置を探索する。図９Ｂに示すように、左眼用映像のブロックはサイズが小さく右眼用映像のブロックの内側にあるので、特徴点と一致する画素位置を探索する際に、ブロックを跨いで探索する必要がない。なお、左眼用映像のブロックに対する右眼用映像のブロックの左右の各端部のマージンは、立体映像の最大の視差量以上に設定するようにする。また、上下の各端部のマージンは、立体映像の撮影時のカメラ位置のずれを考慮して設定するようにする。
【００５９】
立体映像の奥行き量は、視差量、すなわち左眼用映像の特徴点のｘ座標（ｄｘl）と、この特徴点と一致する右眼用映像の画素位置のｘ座標（ｄｘr）の差分である。図１０には、左眼用映像のブロック内の特徴点と、右眼用映像のブロック内の対応する画素位置を、近景の場合及び遠景の場合それぞれについて図解している。同図から分かるように、近景では奥行き量ｄｘl−ｄｘrは大きくなり、遠景では奥行き量ｄｘl−ｄｘrは小さくなる。奥行き量及び帯域成分保存部８０４は、ブロック単位で奥行き量を算出して保存する。後述するが、統計処理により奥行き量と帯域成分の情報を近景と遠景に分離するようになっている。
【００６０】
また、図１１には、奥行き量及び帯域成分保存部８０４において右眼用映像の帯域成分を抽出するための機能的構成を例示している。
【００６１】
垂直バンドパス・フィルター１１０１は、右眼用映像を入力して、垂直方向にバンドパス・フィルター処理を行なう。また、水平バンドパス・フィルター１１０２は、右眼用映像を入力して水平方向にバンドパス・フィルター処理を行なう。そして、各絶対値取得部１１０３、１１０４はそれぞれ垂直方向のバンドパス成分、水平方向のバンドパス成分の絶対値をとり、これらを加算して、右眼用映像のバンドパス成分（中域成分）を得ることができる。
【００６２】
一方、垂直ハイパス・フィルター１１１１は、右眼用映像を入力して、垂直方向にハイパス・フィルター処理を行なう。また、水平バンドパス・フィルター１１１２は、右眼用映像を入力して水平方向にハイパス・フィルター処理を行なう。そして、各絶対値取得部１１１３、１１１４はそれぞれ垂直方向のハイパス成分、水平方向のハイパス成分の絶対値をとり、これらを加算して、右眼用映像のハイパス成分（高域成分）を得ることができる。
【００６３】
奥行き量及び帯域成分保存部８０４は、右眼用映像の各ブロックにおいて、評価値が最小、すなわち左眼用映像の対応するブロックの特徴点と一致する画素位置で上記のように抽出されるバンドパス成分並びにハイパス成分を保存する。但し、帯域成分をブロック単位で平均化して保存するようにしてもよい。
【００６４】
なお、図１１に示した、奥行き量及び帯域成分保存部８０４で使用されるフィルターは、特徴量の算出に使用されるフィルターとは別であるが、輪郭・精細感強調処理で使われるフィルターと共通であってもよい。
【００６５】
図１２には、奥行き計算部１０２において、上記のようにして保存した奥行き量と帯域成分を統計処理するための機能的構成を例示している。図示の例では、奥行き計算部１０２は、奥行き量平均化部１２０１と、近景奥行き量平均化部１２０２と、近景帯域成分平均化部１２０３と、遠景奥行き量平均化部１２０４と、遠景帯域成分平均化部１２０５を備えている。
【００６６】
例えば図１３に示すように映像（右眼用映像）に７×８＝５６個のブロックがある場合、上記の奥行き量の計算により、１フレーム当たり５６個の奥行き量が求められ、保存されていることになる。奥行き量平均化部１２０１は、有効フラグがセットされているブロック（すなわち、最小評価値がある閾値以下で、且つ、右眼用映像の特徴量がある閾値以上のブロック）の奥行き量を平均化する。
【００６７】
近景奥行き量平均化部１２０２は、奥行き量平均化部１２０１で算出した平均の奥行き量より大きい奥行き量を近景の奥行き量として、これらの奥行き量を平均化する。但し、有効フラグがセットされているブロックのみを処理対象とする。
【００６８】
近景帯域成分平均化部１２０３は、近景の奥行き量を持つ特徴点に対して、その特徴点の帯域成分を平均化する。 但し、有効フラグがセットされているブロック（特徴点）のみを処理対象とする。
【００６９】
遠景奥行き量平均化部１２０４は、奥行き量平均化部１２０１で算出した平均の奥行き量より小さい奥行き量を遠景の奥行き量として、これらの奥行き量を平均化する。但し、有効フラグがセットされているブロックのみを処理対象とする。
【００７０】
遠景帯域成分平均化部１２０５は、遠景の奥行き量を持つ特徴点に対して、その特徴点の帯域成分を平均化する。 但し、有効フラグがセットされているブロック（特徴点）のみを処理対象とする。
【００７１】
なお、図１１を参照しながら説明したように、ブロック毎に保存される帯域成分には、バンドパス成分とハイパス成分の２つの帯域成分がある。したがって、近景帯域成分平均化部１２０３並びに遠景帯域成分平均化部１２０５はそれぞれ、バンドパス成分とハイパス成分の各々について平均化処理を行なうものとする。
【００７２】
近景奥行き量平均化部１２０２から出力される近景の奥行き量の平均値を、遠景奥行き量平均化部１２０４から出力される遠景の奥行き量の平均値で引き算することにより、入力画像の近景と遠景との奥行き量の差を求めることができる。図１４には、近景と遠景との奥行き量の差に応じて与える輪郭・精細感強調の重みを例示している。図１４に示すように、奥行き量の差が大きいときにより大きな重みを与えるようにすることで、図２Ｂに示したような、入力画像の近景と遠景との奥行き量の差が大きいときには輪郭・精細感強調の強度を大きくし、逆に、入力画像の近景と遠景との奥行き量の差が小さいときには輪郭・精細感強調の強度を低くする、という輪郭・精細感強調処理が実現する。奥行き量の差に応じた重みの付与は、奥行き計算部１０２又は輪郭・精細感強調処理部１０３のいずれで行なうようにしてもよい。
【００７３】
また、近景帯域成分平均化部１２０３から出力される近景の帯域成分の平均値を、遠景帯域成分平均化部１２０５から出力される遠景の帯域成分の平均値で引き算して、帯域成分の差を求めることにより、入力画像の近景部分と遠景部分の度面にフォーカスが合っているかを判定することができる。帯域成分の差が大きいときには、近景部分にフォーカスがあっており、帯域成分の差が小さいときには、遠景部分にフォーカスが合っている、ということができる。図１５には、近景と遠景との帯域成分の差に応じて与える輪郭・精細感強調の重みを例示している。図１５に示すように、帯域成分の差が大きいときにより大きな重みを与えるようにすることで、図２Ａに示したような、近景部分にフォーカスが合っているときには輪郭・精細感強調の強度を高め、逆に、遠景部分にフォーカスが合っているときには輪郭・精細感強調の強度を低くし、また、パンフォーカスのように被写体深度が深い映像の場合には輪郭・精細感強調の強度をやや低くするという輪郭・精細感強調処理が実現する。帯域成分の差に応じた重みの付与は、奥行き計算部１０２又は輪郭・精細感強調処理部１０３のいずれで行なうようにしてもよい。
【００７４】
なお、帯域成分にはバンドパス成分とハイパス成分の２つの帯域成分があるので、上記の帯域成分の差に応じた重みは帯域成分毎に存在するものとする。
【００７５】
図１４に示したようにして得られた奥行き量に対する重みと、図１５に示したようにして得られた帯域成分に対する重みを混合して、輪郭・精細感強調の強度を得ることができる。この輪郭・精細感強調の強度は、バンドパス成分とハイパス成分の成分毎に求められる。また、同一シーン内で輪郭・精細感強調の強度が激しく変化するのを防ぐため、輪郭・精細感強調の強度に対して時間軸方向にローパス・フィルター処理する。
【００７６】
図１６には、バンドパス成分とハイパス成分の各々について輪郭・精細感強調の強度に対して時間軸方向にローパス・フィルター処理する構成例を示している。例えば、ＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ：無限パルス応答）型のローパス・フィルターを適用することができる。
【００７７】
但し、フレーム間変動に応じて、各ローパス・フィルターのフィルター係数を変更するようにする。フレーム間変動を検出するための機能的構成を図１７に例示しておく。ヒストグラム作成部１７０１は、入力映像のフレーム毎に、輝度の画素数分布のヒストグラムを作成する。差分絶対和計算部１７０２は、前フレームで作成したヒストグラムと現フレームのヒストグラムの差分の絶対和を計算する。この差分絶対和に基づいてフレーム間変動を判別することができる。
【００７８】
例えば、動きが激しいシーンでは、フレーム間変動が大きくなる。このような場合、時定数が小さいフィルター係数にして、輪郭・精細感強調の強度を激しく変化させるようにする。この場合、シーンの動きが激しいので、輪郭・精細感強調の強度が激しく変化しても自然である。
【００７９】
一方、動きが穏やかなシーンでは、フレーム間変動が小さくなる。このような場合、時定数が大きなフィルター係数にして、輪郭・精細感強調の強度を激しく変化させないようにする。これは、奥行き計算が誤検出したとしても、瞬間的な誤検出であれば、ローパス・フィルター処理によって誤検出の結果が輪郭・精細感強調に反映されにくくなる。
【００８０】
図１８には、輪郭・精細感強調処理部１０３の内部構成例を示している。
【００８１】
垂直バンドパス・フィルター１８０１は、立体映像の垂直方向のバンドパス成分を抽出し、後段の振幅調整部１８０５は、抽出した垂直方向のバンドパス成分の振幅を調整する。また、水平バンドパス・フィルター１８０２は、立体映像の水平方向のバンドパス成分を抽出し、後段の振幅調整部１８０６は、抽出した水平方向のバンドパス成分の振幅を調整する。振幅調整した後の垂直方向のバンドパス成分と水平方向のバンドパス成分は加算される。さらに、図１６に示した処理に従って奥行き計算により得られた輪郭・精細感強調の強度で強度をバンドパス成分に与える。
【００８２】
垂直ハイパス・フィルター１８０３は、立体映像の垂直方向のハイパス成分を抽出し、後段の振幅調整部１８０７は、抽出した垂直方向のハイパス成分の振幅を調整する。また、水平ハイパス・フィルター１８０４は、立体映像の水平方向のハイパス成分を抽出し、後段の振幅調整部１８０８は、抽出した水平方向のハイパス成分の振幅を調整する。振幅調整した後の垂直方向のハイパス成分と水平方向のハイパス成分は加算される。さらに、図１６に示した処理に従って奥行き計算により得られた輪郭・精細感強調の強度で強度をハイパス成分に与える。
【００８３】
そして、奥行き計算により得られた輪郭・精細感強調の強度で強度がそれぞれ与えられたバンドパス成分とハイパス成分を加算し、この結果を入力信号に加算する。
【００８４】
要するに本明細書で開示する技術に係る映像信号処理装置１００は、図２Ａに示したように、立体映像のフォーカス位置や被写体深度に応じて、輪郭・精細感強調の強度を変えるように構成されているのである。
【００８５】
また、映像信号処理装置１００は、図２Ｂに示したように、立体映像の奥行き量に応じて、輪郭・精細感強調の強度を変えるように構成されているということができる。
【００８６】
また、映像信号処理装置１００は、図１２に示したように、ブロック単位の奥行き量を近景と遠景に分離して、図１４に示したように、近景の奥行き量と遠景の奥行き量の差から、輪郭・精細感強調の強度を算出するように構成されているということができる。
【００８７】
また、映像信号処理装置１００は、図１２に示したように、ブロック単位の奥行き量を近景と遠景に分離して、図１５に示したように、近景の帯域成分と遠景の帯域成分の差から、輪郭・精細感強調の強度を算出するように構成されているということができる。
【００８８】
また、映像信号処理装置１００は、奥行き量の計算の際に、左眼用映像と右眼用映像をブロック単位でマッチングするが、図９Ｂに示したように、右眼用映像のブロックのサイズに対して左眼用映像のブロックのサイズを小さくすることにより、特徴点の探索を簡略化するように構成されているということができる。
【００８９】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）立体映像を入力する映像入力部と、入力した立体映像の奥行き計算を行なう奥行き計算部と、前記奥行き計算部による奥行き計算結果に基づいて、立体映像の輪郭・精細感強調の強度を変えて画質調整を行なう輪郭・精細感強調処理部と、を具備する映像信号処理装置。
（２）前記輪郭・精細感強調処理部は、前記奥行き計算部による奥行き計算の結果から判定されるフォーカス位置に基づいて、輪郭・精細感強調の強度を決定する、上記（１）に記載の映像信号処理装置。
（３）前記輪郭・精細感強調処理部は、前記奥行き計算部による奥行き計算結果として立体映像の近景部分にフォーカスが合っていることが分かったときには、輪郭・精細感強調の強度を高め、前記奥行き計算結果から立体映像の遠景部分にフォーカスが合っていることが分かったときには輪郭・精細感強調の強度を低くし、前記奥行き計算結果として立体映像の被写体深度が深い映像であることが分かったときには輪郭・精細感強調の強度をやや低くする、上記（１）に記載の映像信号処理装置。
（４）前記輪郭・精細感強調処理部は、前記奥行き計算部による奥行き計算結果として立体映像の近景と遠景との奥行き量の差が大きいことが分かったときには輪郭・精細感強調の強度を高くし、前記奥行き計算結果から立体映像の近景と遠景との奥行き量の差が小さいことが分かったときには輪郭・精細感強調の強度を低くする、上記（１）に記載の映像信号処理装置。
（５）前記輪郭・精細感強調処理部は、１フレームの映像全体について一様の強度で輪郭・精細感強調を行なう、上記（１）に記載の映像信号処理装置。
（６）前記映像入力部は、同時刻の左眼用映像及び右眼用映像を時間方向で多重化する方式の立体映像を入力し、前記奥行き計算部は、左眼用映像から特徴量を抽出した後に、同時刻の右眼用映像から特徴量を抽出し、左眼用映像の特徴量と右眼用映像の特徴量を比較することによって、立体映像の奥行きを計算する、上記（１）に記載の映像信号処理装置。
（７）前記奥行き計算部は、左眼用映像の垂直方向及び水平方向に所定タップ数のバンドパス・フィルター処理をそれぞれ行ない、垂直方向のバンドパス成分と水平方向のバンドパス成分の積に基づいて各画素位置の特徴量を求め、各ブロック内で特徴量が最大となる画素位置をブロックの特徴点として検出し、各ブロックの特徴点の特徴量を保存し、右眼用映像の各ブロックの全画素位置で上記と同じ特徴量を算出し、左眼用映像の対応するブロックの特徴点において保存した特徴量と比較して、ブロック毎に左眼用映像の特徴点と一致する右眼用画像の画素位置を検出し、各ブロックにおいて左眼用映像の特徴点と一致する右眼用画像の画素位置における奥行き量と帯域成分を保存する、上記（６）に記載の映像信号処理装置。
（８）前記奥行き計算部は、左眼用映像について、各ブロックの特徴点について、垂直方向のバンドパス成分、水平方向のバンドパス成分、左上画素の平均値、右上画素の平均値、左下画素の平均値、右下画素の平均値、特徴点のブロック内のｙ座標、特徴点のブロック内のｘ座標を特徴点データとして保存し、右眼用映像について、各ブロックの全画素位置で、垂直方向のバンドパス成分、水平方向のバンドパス成分、左上画素の平均値、右上画素の平均値、左下画素の平均値、右下画素の平均値、特徴点のブロック内のｙ座標を特徴点データとして算出し、各画素位置における特徴点データと左眼用映像の対応する特徴点における特徴点データとの重み付き差分絶対和をとって各画素位置の評価値とし、右眼用映像の各ブロックで評価値が最小になる画素位置を左眼用映像の特徴点と一致する画素位置を求め、各ブロックにおいて左眼用映像の特徴点と一致する右眼用画像の画素位置における奥行き量と帯域成分を保存する、上記（６）に記載の映像信号処理装置。
（９）前記奥行き計算部は、各ブロックを奥行き量に基づいて近景と遠景に分類し、近景のブロックについて奥行き量と帯域成分を平均化するとともに、遠景のブロックについて奥行き量と帯域成分を平均化する、上記（７）又は（８）のいずれかに記載の映像信号処理装置。
（１０）前記奥行き計算部は、近景のブロックの奥行き量の平均値を遠景のブロックの奥行き量の平均値を引き算して立体映像の近景と遠景との奥行き量の差を求め、立体映像の近景と遠景との奥行き量の差が大きいときには輪郭・精細感強調の強度に対する重みを大きくし、立体映像の近景と遠景との奥行き量の差が小さいときには輪郭・精細感強調の強度に対する重みを小さくする、上記（９）に記載の映像信号処理装置。
（１１）前記奥行き計算部は、近景のブロックの帯域成分の平均値を遠景のブロックの帯域成分の平均値を引き算して立体映像の近景と遠景との帯域成分の差を求め、前立体映像の近景と遠景との帯域成分の差が大きいときには輪郭・精細感強調の強度に対する重みを大きくし、立体映像の近景と遠景との帯域成分の差が小さいときには輪郭・精細感強調の強度に対する重みを小さくする、上記（９）に記載の映像信号処理装置。
（１２）前記奥行き計算部は、平均化された奥行き量に基づいて付与される重みと、平均化された帯域成分に基づいて付与される重みを組み合わせた後、ローパス・フィルター処理して輪郭・精細感強調の強度を求める、上記（９）に記載の映像信号処理装置。
（１３）入力映像のフレーム間変動を検出するフレーム間変動検出部をさらに備え、前記奥行き計算部は、フレーム間変動が大きいときには、時定数が小さいフィルター係数にして前記ローパス・フィルター処理を行ない、フレーム間変動が小さいときには、時定数が大きいフィルター係数にして前記ローパス・フィルター処理を行なう、上記（１２）に記載の映像信号処理装置。
（１４）右眼用映像のブロックよりも左眼用映像のブロックのサイズを小さくする、上記（７）又は（８）のいずれかに記載の映像信号処理装置。
（１５）立体映像を入力する映像入力ステップと、入力した立体映像の奥行き計算を行なう奥行き計算ステップと、前記奥行き計算ステップにおける奥行き計算結果に基づいて、立体映像の輪郭・精細感強調の強度を変えて画質調整を行なう輪郭・精細感強調処理ステップと、を有する映像信号処理方法。
（１６）立体映像を入力する映像入力部、入力した立体映像の奥行き計算を行なう奥行き計算部、前記奥行き計算部による奥行き計算結果に基づいて、立体映像の輪郭・精細感強調の強度を変えて画質調整を行なう輪郭・精細感強調処理部、としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
【産業上の利用可能性】
【００９０】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００９１】
本明細書で説明した実施形態における輪郭・精細感強調の処理は、ハードウェア、ソフトウェアのいずれにより行なうこともできる。当該処理をソフトウェアによって実現する場合には、ソフトウェアにおける処理手順をコンピューター可読形式に記述したコンピューター・プログラムを所定のコンピューターにインストールして実行すればよい。
【００９２】
要するに、例示という形態で本技術を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【００９３】
１００…映像信号処理装置
１０１…映像入力部、１０２…奥行き計算部
１０３…輪郭・精細感強調処理部、１０４…映像出力部
３０１…特徴量算出部、３０２…最大特徴量検出部
３０３…特徴点データ保存部
８０１…特徴量算出部、８０２…特徴点データ比較部
８０３…最小評価値検出部、８０４…奥行き量及び帯域成分保存部
１１０１…垂直バンドパス・フィルター
１１０２…水平バンドパス・フィルター
１１０３…絶対値取得部、１１０４…絶対値取得部
１１１１…垂直ハイパス・フィルター
１１１２…水平ハイパス・フィルター
１１１３…絶対値取得部、１１１４…絶対値取得部
１２０１…奥行き量平均化部
１２０２…近景奥行き量平均化部、１２０３…近景帯域成分平均化部
１２０４…遠景奥行き量平均化部、１２０５…遠景帯域成分平均化部
１７０１…ヒストグラム作成部、１７０２…差分絶対を計算部
１８０１…垂直バンドパス・フィルター
１８０２…水平バンドパス・フィルター
１８０３…垂直ハイパス・フィルター
１８０４…水平ハイパス・フィルター
１８０５〜１８０８…振幅調整部
【技術分野】
【０００１】
本明細書で開示する技術は、左眼用映像信号及び右眼用映像信号からなる立体映像の画質調整を行なう映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラムに係り、特に、立体映像に含まれる被写体の輪郭や精細感の強調を実現する映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラムに関する。
【背景技術】
【０００２】
左右の眼に視差のある画像を表示することで、観察者に３次元的に見える３次元視画像を提示することができる。例えば、時分割３次元視画像表示システムは、互いに異なる複数の画像を時分割で表示する表示装置と、画像の観察者がかけるシャッター眼鏡の組み合わせからなる。表示装置は左眼用画像及び右眼用画像を時分割で交互に表示するとともに、表示装置の表示切り換えに同期してシャッター眼鏡がシャッター機構により画像選択を行なうことで、観察するユーザーの脳内では左眼用画像と右眼用画像が融像され３次元視画像となる。
【０００３】
左眼用画像と右眼用画像の視差量を大きくすると立体感が増すことが知られている。例えば、２Ｄ映像から３Ｄ映像に生成する過程で得られた視差情報ＰＲに基づいて、立体感調整を行なう立体感調整方法について提案がなされている（例えば、特許文献１を参照のこと）。しかしながら、視差情報ＰＲを検出する具体的な方法については提案されていない。つまり、３Ｄ映像から視差情報（奥行き量）を検出して立体感調整を行なう場合、一般的な手法では、視差情報（奥行き量）の検出精度が低いため、そこで得られた視差情報（奥行き量）は立体感調整に使用できないと思料される。
【０００４】
また、３Ｄ映像から奥行き方向（Ｚ軸方向）の情報を検出して、その奥行き方向（Ｚ軸方向）の情報から画質改善処理を行なう映像信号処理装置について提案がなされている（例えば、特許文献２を参照のこと）。しかしながら、奥行き方向（Ｚ軸方向）の検出が難しい映像において、誤検出した奥行き方向（Ｚ軸方向）の情報に基づいて画質改善処理が行なわれると、不自然な画質になるという問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２３９３６４号公報
【特許文献２】特開２０１１−１９２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本明細書で開示する技術の目的は、左眼用映像信号及び右眼用映像信号からなる立体映像の画質調整を好適に行なうことができる、優れた映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
立体映像を入力する映像入力部と、
入力した立体映像の奥行き計算を行なう奥行き計算部と、
前記奥行き計算部による奥行き計算結果に基づいて、立体映像の輪郭・精細感強調の強度を変えて画質調整を行なう輪郭・精細感強調処理部と、
を具備する映像信号処理装置である。
【０００８】
本願の請求項２に記載の技術によれば、請求項１に記載の映像信号処理装置の輪郭・精細感強調処理部は、前記奥行き計算部による奥行き計算の結果から判定されるフォーカス位置に基づいて、輪郭・精細感強調の強度を決定するように構成されている。
【０００９】
本願の請求項３に記載の技術によれば、請求項１に記載の映像信号処理装置の輪郭・精細感強調処理部は、前記奥行き計算部による奥行き計算結果として立体映像の近景部分にフォーカスが合っていることが分かったときには、輪郭・精細感強調の強度を高め、前記奥行き計算結果から立体映像の遠景部分にフォーカスが合っていることが分かったときには輪郭・精細感強調の強度を低くし、前記奥行き計算結果として立体映像の被写体深度が深い映像であることが分かったときには輪郭・精細感強調の強度をやや低くするように構成されている。
【００１０】
本願の請求項４に記載の技術によれば、請求項１に記載の映像信号処理装置の輪郭・精細感強調処理部は、前記奥行き計算部による奥行き計算結果として立体映像の近景と遠景との奥行き量の差が大きいことが分かったときには輪郭・精細感強調の強度を高くし、前記奥行き計算結果から立体映像の近景と遠景との奥行き量の差が小さいことが分かったときには輪郭・精細感強調の強度を低くするように構成されている。
【００１１】
本願の請求項５に記載の技術によれば、請求項１に記載の映像信号処理装置の輪郭・精細感強調処理部は、１フレームの映像全体について一様の強度で輪郭・精細感強調を行なうように構成されている。
【００１２】
本願の請求項６に記載の技術によれば、請求項１に記載の映像信号処理装置の映像入力部は、同時刻の左眼用映像及び右眼用映像を時間方向で多重化する方式の立体映像を入力し、奥行き計算部は、左眼用映像から特徴量を抽出した後に、同時刻の右眼用映像から特徴量を抽出し、左眼用映像の特徴量と右眼用映像の特徴量を比較することによって、立体映像の奥行きを計算するように構成されている。
【００１３】
本願の請求項７に記載の技術によれば、請求項６に記載の映像信号処理装置の奥行き計算部は、
左眼用映像の垂直方向及び水平方向に所定タップ数のバンドパス・フィルター処理をそれぞれ行ない、垂直方向のバンドパス成分と水平方向のバンドパス成分の積に基づいて各画素位置の特徴量を求め、各ブロック内で特徴量が最大となる画素位置をブロックの特徴点として検出し、各ブロックの特徴点の特徴量を保存し、右眼用映像の各ブロックの全画素位置で上記と同じ特徴量を算出し、左眼用映像の対応するブロックの特徴点において保存した特徴量と比較して、ブロック毎に左眼用映像の特徴点と一致する右眼用画像の画素位置を検出し、各ブロックにおいて左眼用映像の特徴点と一致する右眼用画像の画素位置における奥行き量と帯域成分を保存するように構成されている。
【００１４】
本願の請求項８に記載の技術によれば、請求項６に記載の映像信号処理装置の奥行き計算部は、
左眼用映像について、各ブロックの特徴点について、垂直方向のバンドパス成分、水平方向のバンドパス成分、左上画素の平均値、右上画素の平均値、左下画素の平均値、右下画素の平均値、特徴点のブロック内のｙ座標、特徴点のブロック内のｘ座標を特徴点データとして保存し、右眼用映像について、各ブロックの全画素位置で、垂直方向のバンドパス成分、水平方向のバンドパス成分、左上画素の平均値、右上画素の平均値、左下画素の平均値、右下画素の平均値、特徴点のブロック内のｙ座標を特徴点データとして算出し、各画素位置における特徴点データと左眼用映像の対応する特徴点における特徴点データとの重み付き差分絶対和をとって各画素位置の評価値とし、右眼用映像の各ブロックで評価値が最小になる画素位置を左眼用映像の特徴点と一致する画素位置を求め、各ブロックにおいて左眼用映像の特徴点と一致する右眼用画像の画素位置における奥行き量と帯域成分を保存するように構成されている。
【００１５】
本願の請求項９に記載の技術によれば、請求項７に記載の映像信号処理装置の奥行き計算部は、各ブロックを奥行き量に基づいて近景と遠景に分類し、近景のブロックについて奥行き量と帯域成分を平均化するとともに、遠景のブロックについて奥行き量と帯域成分を平均化するように構成されている。
【００１６】
本願の請求項１０に記載の技術によれば、請求項９に記載の映像信号処理装置の奥行き計算部は、近景のブロックの奥行き量の平均値を遠景のブロックの奥行き量の平均値を引き算して立体映像の近景と遠景との奥行き量の差を求め、立体映像の近景と遠景との奥行き量の差が大きいときには輪郭・精細感強調の強度に対する重みを大きくし、立体映像の近景と遠景との奥行き量の差が小さいときには輪郭・精細感強調の強度に対する重みを小さくするように構成されている。
【００１７】
本願の請求項１１に記載の技術によれば、請求項９に記載の映像信号処理装置の奥行き計算部は、近景のブロックの帯域成分の平均値を遠景のブロックの帯域成分の平均値を引き算して立体映像の近景と遠景との帯域成分の差を求め、前立体映像の近景と遠景との帯域成分の差が大きいときには輪郭・精細感強調の強度に対する重みを大きくし、立体映像の近景と遠景との帯域成分の差が小さいときには輪郭・精細感強調の強度に対する重みを小さくするように構成されている。
【００１８】
本願の請求項１２に記載の技術によれば、請求項９に記載の映像信号処理装置の奥行き計算部は、平均化された奥行き量に基づいて付与される重みと、平均化された帯域成分に基づいて付与される重みを組み合わせた後、ローパス・フィルター処理して輪郭・精細感強調の強度を求めるように構成されている。
【００１９】
本願の請求項１３に記載の技術によれば、請求項１２に記載の映像信号処理装置は、入力映像のフレーム間変動を検出するフレーム間変動検出部をさらに備えている。そして、奥行き計算部は、フレーム間変動が大きいときには、時定数が小さいフィルター係数にして前記ローパス・フィルター処理を行ない、フレーム間変動が小さいときには、時定数が大きいフィルター係数にして前記ローパス・フィルター処理を行なうように構成されている。
【００２０】
本願の請求項１４に記載の技術によれば、請求項７に記載の映像信号処理装置は、右眼用映像のブロックよりも左眼用映像のブロックのサイズを小さくするように構成されている。
【００２１】
また、本願の請求項に記載の技術１５は、
立体映像を入力する映像入力ステップと、
入力した立体映像の奥行き計算を行なう奥行き計算ステップと、
前記奥行き計算ステップにおける奥行き計算結果に基づいて、立体映像の輪郭・精細感強調の強度を変えて画質調整を行なう輪郭・精細感強調処理ステップと、
を有する映像信号処理方法である。
【００２２】
また、本願の請求項に記載の技術１６は、
立体映像を入力する映像入力部、
入力した立体映像の奥行き計算を行なう奥行き計算部、
前記奥行き計算部による奥行き計算結果に基づいて、立体映像の輪郭・精細感強調の強度を変えて画質調整を行なう輪郭・精細感強調処理部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。
【００２３】
本願の請求項１６に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項１６に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る映像信号処理装置と同様の作用効果を得ることができる。
【発明の効果】
【００２４】
本明細書で開示する技術によれば、立体映像の奥行き計算の結果に応じて、立体映像に含まれる被写体の輪郭や精細感の強調の強度を好適に調整することができる、優れた映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラムを提供することができる。
【００２５】
本明細書で開示する技術によれば、１フレームの映像に含まれる近景部分と遠景部分の各々に対して輪郭・精細感強調の強度を変えるのではなく、１フレームの映像全体について一様の強度で輪郭・精細感強調を行なうようになっている。したがって、奥行き計算に誤検出があったとしても、不自然な画質なり難いという利点がある。
【００２６】
本明細書で開示する技術によれば、立体映像に対して自然な輪郭・精細感強調を行なうことができる。
【００２７】
本明細書で開示する技術によれば、小規模な回路構成により立体映像の奥行き量を算出することができ、計算の際にフレーム・メモリーを使う必要もない。
【００２８】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００２９】
【図１】図１は、本明細書で開示する技術に係る映像信号処理装置１００の構成を模式的に示した図である。
【図２Ａ】図２Ａは、輪郭・精細感強調処理部１０３が奥行き計算の結果に基づいて行なう処理を概略的に示した図である。
【図２Ｂ】図２Ｂは、輪郭・精細感強調処理部１０３が奥行き計算の結果に基づいて行なう処理を概略的に示した図である。
【図３】図３は、奥行き計算部１０２において左眼用映像を処理するための機能的構成を示した図である。
【図４】図４は、特徴量算出部３０１が行なう処理を説明するための図である。
【図５】図５は、映像から特徴量を抽出するために用いられるバンドパス・フィルターの周波数特性の一例を示した図である。
【図６】図６は、左眼用映像中に複数のブロックを設定する様子を示した図である。
【図７】図７は、左眼用映像の各ブロックの特徴点に対して右眼用映像とのマッチング用に保存する特徴点データを示した図である。
【図８】図８は、奥行き計算部１０２において、左眼用映像と同時刻の右眼用映像を処理するための機能的構成を示した図である。
【図９Ａ】図９Ａは、左眼用映像のブロック位置と右眼用映像のブロック位置をそれぞれ示した図である。
【図９Ｂ】図９Ｂは、左眼用映像と右眼用映像で対応するブロックを重ねて描いた図である。
【図１０】図１０は、左眼用映像のブロック内の特徴点と、右眼用映像のブロック内の対応する画素位置を、近景の場合及び遠景の場合それぞれについて示した図である。
【図１１】図１１は、右眼用映像の帯域成分を抽出するための機能的構成を例示した図である。
【図１２】図１２は、奥行き計算部１０２において奥行き量を統計処理するための機能的構成を例示した図である。
【図１３】図１３は、映像に含まれるブロックを例示した図である。
【図１４】図１４は、近景と遠景との奥行き量の差に応じて与える輪郭・精細感強調の重みを例示した図である。
【図１５】図１５は、近景と遠景との帯域成分の差に応じて与える輪郭・精細感強調の重みを例示した図である。
【図１６】図１６は、バンドパス成分とハイパス成分の各々について輪郭・精細感強調の強度に対して時間軸方向にローパス・フィルター処理する構成例を示した図である。
【図１７】図１７は、フレーム間変動を検出するための機能的構成を例示した図である。
【図１８】図１８は、輪郭・精細感強調処理部１０３の内部構成例を示した図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００３１】
図１には、本明細書で開示する技術に係る映像信号処理装置１００の構成を模式的に示している。図示の映像信号処理装置１００は、立体映像を入力する映像入力部１０１と、入力した立体映像の奥行きを計算する奥行き計算部１０２と、奥行き計算の結果に基づいて立体映像の輪郭・精細感強調の強度を調整する輪郭・精細感強調処理部１０３と、輪郭・精細感強調の処理を行なった後に立体映像を出力する映像出力部１０４で構成される。
【００３２】
映像入力部１０１に入力される立体映像は、例えばフレーム・パッキング方式の映像である。フレーム・パッキングとは、１垂直帰線期間中に同時刻の左眼用映像及び右眼用映像の２フレーム分の映像を含める、立体映像信号の伝送フォーマットである。
【００３３】
奥行き計算部１０２は、立体映像の奥行き計算を行なう。奥行き計算部１０２の計算結果として、映像の含まれる近景部分と遠景部分それぞれの奥行き量、近景部分と遠景部分のどの辺にフォーカスがあっているか、などの情報を算出して、奥行きに応じた輪郭・精細感強調の強度を得るようになっている。
【００３４】
輪郭・精細感強調処理部１０３は、奥行き計算部１０２による奥行き計算の結果に基づいて立体映像の輪郭・精細感強調の強度を変えて、入力した立体映像の画質調整を行なう。図２には、輪郭・精細感強調処理部１０３が奥行き計算の結果に基づいて行なう処理を概略的に示している。
【００３５】
奥行き計算部１０２による奥行き計算の結果として、近景部分にフォーカスが合っていることが分かったときには、輪郭・精細感強調処理部１０３で適用する輪郭・精細感強調の強度を高める。逆に、遠景部分にフォーカスが合っていることが分かったときには、輪郭・精細感強調処理部１０３は、輪郭・精細感強調の強度を低くする。また、パンフォーカスのように被写体深度が深い映像の場合には、輪郭・精細感強調処理部１０３で適用する輪郭・精細感強調の強度をやや低くする（図２Ａを参照のこと）。
【００３６】
また、奥行き計算部１０２は、奥行き計算結果から、入力画像の近景と遠景との奥行き量の差が大きいときには、輪郭・精細感強調処理部１０３で適用する輪郭・精細感強調の強度を大きくする。逆に、入力画像の近景と遠景との奥行き量の差が小さいときには、輪郭・精細感強調処理部１０３で適用する輪郭・精細感強調の強度を低くする（図２Ｂを参照のこと）。
【００３７】
最終的には、フォーカス位置に基づく輪郭・精細感強調の強度と、奥行き量に基づく輪郭・精細感強調の強度の積で、輪郭・精細感強調処理部１０３で適用する最終的な輪郭・精細感強調の強度を決定する。
【００３８】
なお、輪郭・精細感強調処理部１０３は、１フレームの映像に含まれる近景部分と遠景部分の各々に対して輪郭・精細感強調の強度を変えるのではなく、１フレームの映像全体について一様の強度で輪郭・精細感強調を行なうようになっている。したがって、奥行き計算部１０２による奥行き計算に誤検出があったとしても、不自然な画質になりにくいという利点がある。
【００３９】
上述したように、映像入力部１０１には、フレーム・パッキング方式の立体映像が入力される。すなわち、映像入力部１０１には、同時刻の左眼用映像、右眼用映像の順で入力される。したがって、奥行き計算部１０２は、先に入力される左眼用映像から特徴量を抽出した後に、続いて入力される同時刻の右眼用映像から特徴量を抽出する。そして、左眼用映像の特徴量と右眼用映像の特徴量を比較することによって、映像の奥行きに関する情報を検出する。
【００４０】
図３には、奥行き計算部１０２において左眼用映像を処理するための機能的構成を示している。図示の例では、奥行き計算部１０２は、左眼用映像の処理のために、特徴量算出部３０１と、最大特徴量検出部３０２と、特徴点データ保存部３０３を備えている。
【００４１】
図４には、特徴量算出部３０１が行なう処理を図解している。特徴量算出部３０１は、入力された左眼用映像について、垂直方向と水平方向にそれぞれ９タップのバンドパス・フィルター（ＢＰＦ）処理を行なう。ここで、映像から特徴量を抽出するために用いられるバンドパス・フィルターの周波数特性の一例を図５に示しておく。ここで、水平方向のバンドパス成分をｆｘlとし、垂直方向のバンドパス成分をｆｙlとする。そして、特徴量算出部３０１は、画素毎に水平方向のバンドパス成分ｆｘlと垂直方向のバンドパス成分ｆｙlの積を計算し、画素毎の計算結果ｆｘl×ｆｙlを各画素の特徴量とする。
【００４２】
次いで、図６に示すように、入力された左眼用映像中に複数のブロックを設定すると、最大特徴量検出部３０２は、各ブロック内で特徴量ｆｘl×ｆｙlが最大になる画素位置を検出する。
【００４３】
各ブロックの中で特徴量ｆｘl×ｆｙlが最大になる画素位置は、ブロックの特徴点として扱う。輪郭などが特徴点になり易い。特徴量の計算にバンドパス・フィルターを使っているので、ノイズは特徴点になり難い。
【００４４】
そして、特徴点データ保存部３０３は、各ブロックの特徴点における特徴量を、同時刻の左眼用映像とのマッチング用のデータすなわち特徴点データとして保存する。
【００４５】
特徴点データ保存部３０３は、左眼用映像の各ブロックの特徴点に対して、右眼用映像とのマッチング用に、例えば以下に示す８個の特徴点データを保存しておく。図７には、これらの特徴点データを図解している。
【００４６】
（１）垂直方向のバンドパス成分（ｆｙl）
（２）水平方向のバンドパス成分（ｆｘl）
（３）左上（８×４）画素の平均値（ｍａl）
（４）右上（８×４）画素の平均値（ｍｂl）
（５）左下（８×４）画素の平均値（ｍｃl）
（６）右下（８×４）画素の平均値（ｍｄl）
（７）特徴点のブロック内のｙ座標（ｄｙl）
（８）特徴点のブロック内のｘ座標（ｄｘl）
【００４７】
図３に示したような左眼用映像に対して特徴点データを保存する処理は、フレーム・メモリーを必要としない。８ラインのライン・メモリーと特徴点データ保存用のメモリーがあればよい。
【００４８】
また、図８には、奥行き計算部１０２において、左眼用映像と同時刻の右眼用映像を処理するための機能的構成を示している。図示の例では、奥行き計算部１０２は、右眼用映像の処理のために、特徴量算出部８０１と、特徴点データ比較評価部８０２と、最小評価値検出部８０３と、奥行き量及び帯域成分保存部８０４を備えている。
【００４９】
特徴量算出部８０１は、各ブロックで全画素位置をスキャンして、各画素位置において、以下の７つの特徴点データを算出する。
【００５０】
（１）垂直方向のバンドパス成分（ｆｙr）
（２）水平方向のバンドパス成分（ｆｘr）
（３）左上（８×４）画素の平均値（ｍａr）
（４）右上（８×４）画素の平均値（ｍｂr）
（５）左下（８×４）画素の平均値（ｍｃr）
（６）右下（８×４）画素の平均値（ｍｄr）
（７）特徴点のブロック内のｙ座標（ｄｙr）
【００５１】
特徴点データ比較評価部８０２は、右眼用映像の各ブロック内の各画素位置における特徴点データを、左眼用映像の対応するブロックの特徴点について保存しておいた特徴点データと比較評価する。具体的には、特徴点データ比較評価部８０２は、下式（１）に示すように、右眼用映像の各ブロック内の各画素位置における特徴点データと、左眼用映像の対応するブロックの特徴点における特徴点データとの重み付き差分絶対和を算出して、算出結果を右眼用映像の各画素位置の評価値とする。
【００５２】
【数１】
【００５３】
特徴のない平坦部分などに対してマッチングを行なうのは難しい画像処理となる。このため、特徴のない映像部分では、奥行き検出の精度が下がることが懸念される。これに対し、本明細書で開示する技術では、特徴点データ比較部８０２において、特徴点だけに対して上記のようなステレオ・マッチングを行なうようにしているので、奥行き検出の精度がよい。
【００５４】
最小評価値検出部８０３は、右眼用映像の各ブロックにおいて、上記のように求めた評価値が最小になる画素位置を、左眼用映像の対応するブロックの特徴点と一致する画素位置として検出する。
【００５５】
立体映像の奥行き量は、視差量、すなわち左眼用映像の特徴点のｘ座標（ｄｘl）と、この特徴点と一致する右眼用映像の画素位置のｘ座標（ｄｘr）の差分である。奥行き量及び帯域成分保存部８０４は、右眼用映像の各ブロックにおいて最小評価値として検出された画素位置における奥行き量と帯域成分を保存する。
【００５６】
但し、評価値に基づいて検出された画素位置がブロック内では左眼用映像の特徴点と最も一致しているということができても、映像全体でみるとあまり一致していない可能性もある。そこで、ブロック内で検出された最小評価値がある閾値以上である（左眼用映像のブロックの特徴点と十分一致する画素位置が右眼用映像のブロックに存在しない）場合、又は、右眼用映像の特徴量がある閾値以下である（特徴がなく、そもそもマッチングに不向きなブロックである）場合には、そのブロックから求められる奥行き量や帯域成分は使用しないようにする。
【００５７】
実際には、右眼用映像のブロック内で検出された最小評価値がある閾値以下であり、且つ、右眼用映像の特徴量がある閾値以上である場合には、そのブロックに対しては、求めたデータ（奥行き量と帯域成分）が有効であることを示す有効フラグをセットする。有効フラグが立っているブロックについて保存されている奥行き量や帯域成分は、後段の輪郭・精細感強調処理において使われる。逆に、有効フラグが立っていない場合、そのブロックについて保存されている奥行き量や帯域成分は使われない。
【００５８】
なお、図９Ａには、左眼用映像のブロック位置と右眼用映像のブロック位置をそれぞれ示している。また、図９Ｂには、左眼用映像と右眼用映像で対応するブロックを重ねて描いている。上述したように、まず左眼用映像のブロック内で特徴点を抽出してから、右眼用映像の対応するブロック内でその特徴点に最もマッチする画素位置を探索する。図９Ｂに示すように、左眼用映像のブロックはサイズが小さく右眼用映像のブロックの内側にあるので、特徴点と一致する画素位置を探索する際に、ブロックを跨いで探索する必要がない。なお、左眼用映像のブロックに対する右眼用映像のブロックの左右の各端部のマージンは、立体映像の最大の視差量以上に設定するようにする。また、上下の各端部のマージンは、立体映像の撮影時のカメラ位置のずれを考慮して設定するようにする。
【００５９】
立体映像の奥行き量は、視差量、すなわち左眼用映像の特徴点のｘ座標（ｄｘl）と、この特徴点と一致する右眼用映像の画素位置のｘ座標（ｄｘr）の差分である。図１０には、左眼用映像のブロック内の特徴点と、右眼用映像のブロック内の対応する画素位置を、近景の場合及び遠景の場合それぞれについて図解している。同図から分かるように、近景では奥行き量ｄｘl−ｄｘrは大きくなり、遠景では奥行き量ｄｘl−ｄｘrは小さくなる。奥行き量及び帯域成分保存部８０４は、ブロック単位で奥行き量を算出して保存する。後述するが、統計処理により奥行き量と帯域成分の情報を近景と遠景に分離するようになっている。
【００６０】
また、図１１には、奥行き量及び帯域成分保存部８０４において右眼用映像の帯域成分を抽出するための機能的構成を例示している。
【００６１】
垂直バンドパス・フィルター１１０１は、右眼用映像を入力して、垂直方向にバンドパス・フィルター処理を行なう。また、水平バンドパス・フィルター１１０２は、右眼用映像を入力して水平方向にバンドパス・フィルター処理を行なう。そして、各絶対値取得部１１０３、１１０４はそれぞれ垂直方向のバンドパス成分、水平方向のバンドパス成分の絶対値をとり、これらを加算して、右眼用映像のバンドパス成分（中域成分）を得ることができる。
【００６２】
一方、垂直ハイパス・フィルター１１１１は、右眼用映像を入力して、垂直方向にハイパス・フィルター処理を行なう。また、水平バンドパス・フィルター１１１２は、右眼用映像を入力して水平方向にハイパス・フィルター処理を行なう。そして、各絶対値取得部１１１３、１１１４はそれぞれ垂直方向のハイパス成分、水平方向のハイパス成分の絶対値をとり、これらを加算して、右眼用映像のハイパス成分（高域成分）を得ることができる。
【００６３】
奥行き量及び帯域成分保存部８０４は、右眼用映像の各ブロックにおいて、評価値が最小、すなわち左眼用映像の対応するブロックの特徴点と一致する画素位置で上記のように抽出されるバンドパス成分並びにハイパス成分を保存する。但し、帯域成分をブロック単位で平均化して保存するようにしてもよい。
【００６４】
なお、図１１に示した、奥行き量及び帯域成分保存部８０４で使用されるフィルターは、特徴量の算出に使用されるフィルターとは別であるが、輪郭・精細感強調処理で使われるフィルターと共通であってもよい。
【００６５】
図１２には、奥行き計算部１０２において、上記のようにして保存した奥行き量と帯域成分を統計処理するための機能的構成を例示している。図示の例では、奥行き計算部１０２は、奥行き量平均化部１２０１と、近景奥行き量平均化部１２０２と、近景帯域成分平均化部１２０３と、遠景奥行き量平均化部１２０４と、遠景帯域成分平均化部１２０５を備えている。
【００６６】
例えば図１３に示すように映像（右眼用映像）に７×８＝５６個のブロックがある場合、上記の奥行き量の計算により、１フレーム当たり５６個の奥行き量が求められ、保存されていることになる。奥行き量平均化部１２０１は、有効フラグがセットされているブロック（すなわち、最小評価値がある閾値以下で、且つ、右眼用映像の特徴量がある閾値以上のブロック）の奥行き量を平均化する。
【００６７】
近景奥行き量平均化部１２０２は、奥行き量平均化部１２０１で算出した平均の奥行き量より大きい奥行き量を近景の奥行き量として、これらの奥行き量を平均化する。但し、有効フラグがセットされているブロックのみを処理対象とする。
【００６８】
近景帯域成分平均化部１２０３は、近景の奥行き量を持つ特徴点に対して、その特徴点の帯域成分を平均化する。 但し、有効フラグがセットされているブロック（特徴点）のみを処理対象とする。
【００６９】
遠景奥行き量平均化部１２０４は、奥行き量平均化部１２０１で算出した平均の奥行き量より小さい奥行き量を遠景の奥行き量として、これらの奥行き量を平均化する。但し、有効フラグがセットされているブロックのみを処理対象とする。
【００７０】
遠景帯域成分平均化部１２０５は、遠景の奥行き量を持つ特徴点に対して、その特徴点の帯域成分を平均化する。 但し、有効フラグがセットされているブロック（特徴点）のみを処理対象とする。
【００７１】
なお、図１１を参照しながら説明したように、ブロック毎に保存される帯域成分には、バンドパス成分とハイパス成分の２つの帯域成分がある。したがって、近景帯域成分平均化部１２０３並びに遠景帯域成分平均化部１２０５はそれぞれ、バンドパス成分とハイパス成分の各々について平均化処理を行なうものとする。
【００７２】
近景奥行き量平均化部１２０２から出力される近景の奥行き量の平均値を、遠景奥行き量平均化部１２０４から出力される遠景の奥行き量の平均値で引き算することにより、入力画像の近景と遠景との奥行き量の差を求めることができる。図１４には、近景と遠景との奥行き量の差に応じて与える輪郭・精細感強調の重みを例示している。図１４に示すように、奥行き量の差が大きいときにより大きな重みを与えるようにすることで、図２Ｂに示したような、入力画像の近景と遠景との奥行き量の差が大きいときには輪郭・精細感強調の強度を大きくし、逆に、入力画像の近景と遠景との奥行き量の差が小さいときには輪郭・精細感強調の強度を低くする、という輪郭・精細感強調処理が実現する。奥行き量の差に応じた重みの付与は、奥行き計算部１０２又は輪郭・精細感強調処理部１０３のいずれで行なうようにしてもよい。
【００７３】
また、近景帯域成分平均化部１２０３から出力される近景の帯域成分の平均値を、遠景帯域成分平均化部１２０５から出力される遠景の帯域成分の平均値で引き算して、帯域成分の差を求めることにより、入力画像の近景部分と遠景部分の度面にフォーカスが合っているかを判定することができる。帯域成分の差が大きいときには、近景部分にフォーカスがあっており、帯域成分の差が小さいときには、遠景部分にフォーカスが合っている、ということができる。図１５には、近景と遠景との帯域成分の差に応じて与える輪郭・精細感強調の重みを例示している。図１５に示すように、帯域成分の差が大きいときにより大きな重みを与えるようにすることで、図２Ａに示したような、近景部分にフォーカスが合っているときには輪郭・精細感強調の強度を高め、逆に、遠景部分にフォーカスが合っているときには輪郭・精細感強調の強度を低くし、また、パンフォーカスのように被写体深度が深い映像の場合には輪郭・精細感強調の強度をやや低くするという輪郭・精細感強調処理が実現する。帯域成分の差に応じた重みの付与は、奥行き計算部１０２又は輪郭・精細感強調処理部１０３のいずれで行なうようにしてもよい。
【００７４】
なお、帯域成分にはバンドパス成分とハイパス成分の２つの帯域成分があるので、上記の帯域成分の差に応じた重みは帯域成分毎に存在するものとする。
【００７５】
図１４に示したようにして得られた奥行き量に対する重みと、図１５に示したようにして得られた帯域成分に対する重みを混合して、輪郭・精細感強調の強度を得ることができる。この輪郭・精細感強調の強度は、バンドパス成分とハイパス成分の成分毎に求められる。また、同一シーン内で輪郭・精細感強調の強度が激しく変化するのを防ぐため、輪郭・精細感強調の強度に対して時間軸方向にローパス・フィルター処理する。
【００７６】
図１６には、バンドパス成分とハイパス成分の各々について輪郭・精細感強調の強度に対して時間軸方向にローパス・フィルター処理する構成例を示している。例えば、ＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ：無限パルス応答）型のローパス・フィルターを適用することができる。
【００７７】
但し、フレーム間変動に応じて、各ローパス・フィルターのフィルター係数を変更するようにする。フレーム間変動を検出するための機能的構成を図１７に例示しておく。ヒストグラム作成部１７０１は、入力映像のフレーム毎に、輝度の画素数分布のヒストグラムを作成する。差分絶対和計算部１７０２は、前フレームで作成したヒストグラムと現フレームのヒストグラムの差分の絶対和を計算する。この差分絶対和に基づいてフレーム間変動を判別することができる。
【００７８】
例えば、動きが激しいシーンでは、フレーム間変動が大きくなる。このような場合、時定数が小さいフィルター係数にして、輪郭・精細感強調の強度を激しく変化させるようにする。この場合、シーンの動きが激しいので、輪郭・精細感強調の強度が激しく変化しても自然である。
【００７９】
一方、動きが穏やかなシーンでは、フレーム間変動が小さくなる。このような場合、時定数が大きなフィルター係数にして、輪郭・精細感強調の強度を激しく変化させないようにする。これは、奥行き計算が誤検出したとしても、瞬間的な誤検出であれば、ローパス・フィルター処理によって誤検出の結果が輪郭・精細感強調に反映されにくくなる。
【００８０】
図１８には、輪郭・精細感強調処理部１０３の内部構成例を示している。
【００８１】
垂直バンドパス・フィルター１８０１は、立体映像の垂直方向のバンドパス成分を抽出し、後段の振幅調整部１８０５は、抽出した垂直方向のバンドパス成分の振幅を調整する。また、水平バンドパス・フィルター１８０２は、立体映像の水平方向のバンドパス成分を抽出し、後段の振幅調整部１８０６は、抽出した水平方向のバンドパス成分の振幅を調整する。振幅調整した後の垂直方向のバンドパス成分と水平方向のバンドパス成分は加算される。さらに、図１６に示した処理に従って奥行き計算により得られた輪郭・精細感強調の強度で強度をバンドパス成分に与える。
【００８２】
垂直ハイパス・フィルター１８０３は、立体映像の垂直方向のハイパス成分を抽出し、後段の振幅調整部１８０７は、抽出した垂直方向のハイパス成分の振幅を調整する。また、水平ハイパス・フィルター１８０４は、立体映像の水平方向のハイパス成分を抽出し、後段の振幅調整部１８０８は、抽出した水平方向のハイパス成分の振幅を調整する。振幅調整した後の垂直方向のハイパス成分と水平方向のハイパス成分は加算される。さらに、図１６に示した処理に従って奥行き計算により得られた輪郭・精細感強調の強度で強度をハイパス成分に与える。
【００８３】
そして、奥行き計算により得られた輪郭・精細感強調の強度で強度がそれぞれ与えられたバンドパス成分とハイパス成分を加算し、この結果を入力信号に加算する。
【００８４】
要するに本明細書で開示する技術に係る映像信号処理装置１００は、図２Ａに示したように、立体映像のフォーカス位置や被写体深度に応じて、輪郭・精細感強調の強度を変えるように構成されているのである。
【００８５】
また、映像信号処理装置１００は、図２Ｂに示したように、立体映像の奥行き量に応じて、輪郭・精細感強調の強度を変えるように構成されているということができる。
【００８６】
また、映像信号処理装置１００は、図１２に示したように、ブロック単位の奥行き量を近景と遠景に分離して、図１４に示したように、近景の奥行き量と遠景の奥行き量の差から、輪郭・精細感強調の強度を算出するように構成されているということができる。
【００８７】
また、映像信号処理装置１００は、図１２に示したように、ブロック単位の奥行き量を近景と遠景に分離して、図１５に示したように、近景の帯域成分と遠景の帯域成分の差から、輪郭・精細感強調の強度を算出するように構成されているということができる。
【００８８】
また、映像信号処理装置１００は、奥行き量の計算の際に、左眼用映像と右眼用映像をブロック単位でマッチングするが、図９Ｂに示したように、右眼用映像のブロックのサイズに対して左眼用映像のブロックのサイズを小さくすることにより、特徴点の探索を簡略化するように構成されているということができる。
【００８９】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）立体映像を入力する映像入力部と、入力した立体映像の奥行き計算を行なう奥行き計算部と、前記奥行き計算部による奥行き計算結果に基づいて、立体映像の輪郭・精細感強調の強度を変えて画質調整を行なう輪郭・精細感強調処理部と、を具備する映像信号処理装置。
（２）前記輪郭・精細感強調処理部は、前記奥行き計算部による奥行き計算の結果から判定されるフォーカス位置に基づいて、輪郭・精細感強調の強度を決定する、上記（１）に記載の映像信号処理装置。
（３）前記輪郭・精細感強調処理部は、前記奥行き計算部による奥行き計算結果として立体映像の近景部分にフォーカスが合っていることが分かったときには、輪郭・精細感強調の強度を高め、前記奥行き計算結果から立体映像の遠景部分にフォーカスが合っていることが分かったときには輪郭・精細感強調の強度を低くし、前記奥行き計算結果として立体映像の被写体深度が深い映像であることが分かったときには輪郭・精細感強調の強度をやや低くする、上記（１）に記載の映像信号処理装置。
（４）前記輪郭・精細感強調処理部は、前記奥行き計算部による奥行き計算結果として立体映像の近景と遠景との奥行き量の差が大きいことが分かったときには輪郭・精細感強調の強度を高くし、前記奥行き計算結果から立体映像の近景と遠景との奥行き量の差が小さいことが分かったときには輪郭・精細感強調の強度を低くする、上記（１）に記載の映像信号処理装置。
（５）前記輪郭・精細感強調処理部は、１フレームの映像全体について一様の強度で輪郭・精細感強調を行なう、上記（１）に記載の映像信号処理装置。
（６）前記映像入力部は、同時刻の左眼用映像及び右眼用映像を時間方向で多重化する方式の立体映像を入力し、前記奥行き計算部は、左眼用映像から特徴量を抽出した後に、同時刻の右眼用映像から特徴量を抽出し、左眼用映像の特徴量と右眼用映像の特徴量を比較することによって、立体映像の奥行きを計算する、上記（１）に記載の映像信号処理装置。
（７）前記奥行き計算部は、左眼用映像の垂直方向及び水平方向に所定タップ数のバンドパス・フィルター処理をそれぞれ行ない、垂直方向のバンドパス成分と水平方向のバンドパス成分の積に基づいて各画素位置の特徴量を求め、各ブロック内で特徴量が最大となる画素位置をブロックの特徴点として検出し、各ブロックの特徴点の特徴量を保存し、右眼用映像の各ブロックの全画素位置で上記と同じ特徴量を算出し、左眼用映像の対応するブロックの特徴点において保存した特徴量と比較して、ブロック毎に左眼用映像の特徴点と一致する右眼用画像の画素位置を検出し、各ブロックにおいて左眼用映像の特徴点と一致する右眼用画像の画素位置における奥行き量と帯域成分を保存する、上記（６）に記載の映像信号処理装置。
（８）前記奥行き計算部は、左眼用映像について、各ブロックの特徴点について、垂直方向のバンドパス成分、水平方向のバンドパス成分、左上画素の平均値、右上画素の平均値、左下画素の平均値、右下画素の平均値、特徴点のブロック内のｙ座標、特徴点のブロック内のｘ座標を特徴点データとして保存し、右眼用映像について、各ブロックの全画素位置で、垂直方向のバンドパス成分、水平方向のバンドパス成分、左上画素の平均値、右上画素の平均値、左下画素の平均値、右下画素の平均値、特徴点のブロック内のｙ座標を特徴点データとして算出し、各画素位置における特徴点データと左眼用映像の対応する特徴点における特徴点データとの重み付き差分絶対和をとって各画素位置の評価値とし、右眼用映像の各ブロックで評価値が最小になる画素位置を左眼用映像の特徴点と一致する画素位置を求め、各ブロックにおいて左眼用映像の特徴点と一致する右眼用画像の画素位置における奥行き量と帯域成分を保存する、上記（６）に記載の映像信号処理装置。
（９）前記奥行き計算部は、各ブロックを奥行き量に基づいて近景と遠景に分類し、近景のブロックについて奥行き量と帯域成分を平均化するとともに、遠景のブロックについて奥行き量と帯域成分を平均化する、上記（７）又は（８）のいずれかに記載の映像信号処理装置。
（１０）前記奥行き計算部は、近景のブロックの奥行き量の平均値を遠景のブロックの奥行き量の平均値を引き算して立体映像の近景と遠景との奥行き量の差を求め、立体映像の近景と遠景との奥行き量の差が大きいときには輪郭・精細感強調の強度に対する重みを大きくし、立体映像の近景と遠景との奥行き量の差が小さいときには輪郭・精細感強調の強度に対する重みを小さくする、上記（９）に記載の映像信号処理装置。
（１１）前記奥行き計算部は、近景のブロックの帯域成分の平均値を遠景のブロックの帯域成分の平均値を引き算して立体映像の近景と遠景との帯域成分の差を求め、前立体映像の近景と遠景との帯域成分の差が大きいときには輪郭・精細感強調の強度に対する重みを大きくし、立体映像の近景と遠景との帯域成分の差が小さいときには輪郭・精細感強調の強度に対する重みを小さくする、上記（９）に記載の映像信号処理装置。
（１２）前記奥行き計算部は、平均化された奥行き量に基づいて付与される重みと、平均化された帯域成分に基づいて付与される重みを組み合わせた後、ローパス・フィルター処理して輪郭・精細感強調の強度を求める、上記（９）に記載の映像信号処理装置。
（１３）入力映像のフレーム間変動を検出するフレーム間変動検出部をさらに備え、前記奥行き計算部は、フレーム間変動が大きいときには、時定数が小さいフィルター係数にして前記ローパス・フィルター処理を行ない、フレーム間変動が小さいときには、時定数が大きいフィルター係数にして前記ローパス・フィルター処理を行なう、上記（１２）に記載の映像信号処理装置。
（１４）右眼用映像のブロックよりも左眼用映像のブロックのサイズを小さくする、上記（７）又は（８）のいずれかに記載の映像信号処理装置。
（１５）立体映像を入力する映像入力ステップと、入力した立体映像の奥行き計算を行なう奥行き計算ステップと、前記奥行き計算ステップにおける奥行き計算結果に基づいて、立体映像の輪郭・精細感強調の強度を変えて画質調整を行なう輪郭・精細感強調処理ステップと、を有する映像信号処理方法。
（１６）立体映像を入力する映像入力部、入力した立体映像の奥行き計算を行なう奥行き計算部、前記奥行き計算部による奥行き計算結果に基づいて、立体映像の輪郭・精細感強調の強度を変えて画質調整を行なう輪郭・精細感強調処理部、としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
【産業上の利用可能性】
【００９０】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００９１】
本明細書で説明した実施形態における輪郭・精細感強調の処理は、ハードウェア、ソフトウェアのいずれにより行なうこともできる。当該処理をソフトウェアによって実現する場合には、ソフトウェアにおける処理手順をコンピューター可読形式に記述したコンピューター・プログラムを所定のコンピューターにインストールして実行すればよい。
【００９２】
要するに、例示という形態で本技術を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【００９３】
１００…映像信号処理装置
１０１…映像入力部、１０２…奥行き計算部
１０３…輪郭・精細感強調処理部、１０４…映像出力部
３０１…特徴量算出部、３０２…最大特徴量検出部
３０３…特徴点データ保存部
８０１…特徴量算出部、８０２…特徴点データ比較部
８０３…最小評価値検出部、８０４…奥行き量及び帯域成分保存部
１１０１…垂直バンドパス・フィルター
１１０２…水平バンドパス・フィルター
１１０３…絶対値取得部、１１０４…絶対値取得部
１１１１…垂直ハイパス・フィルター
１１１２…水平ハイパス・フィルター
１１１３…絶対値取得部、１１１４…絶対値取得部
１２０１…奥行き量平均化部
１２０２…近景奥行き量平均化部、１２０３…近景帯域成分平均化部
１２０４…遠景奥行き量平均化部、１２０５…遠景帯域成分平均化部
１７０１…ヒストグラム作成部、１７０２…差分絶対を計算部
１８０１…垂直バンドパス・フィルター
１８０２…水平バンドパス・フィルター
１８０３…垂直ハイパス・フィルター
１８０４…水平ハイパス・フィルター
１８０５〜１８０８…振幅調整部
【特許請求の範囲】
【請求項１】
立体映像を入力する映像入力部と、
入力した立体映像の奥行き計算を行なう奥行き計算部と、
前記奥行き計算部による奥行き計算結果に基づいて、立体映像の輪郭・精細感強調の強度を変えて画質調整を行なう輪郭・精細感強調処理部と、
を具備する映像信号処理装置。
【請求項２】
前記輪郭・精細感強調処理部は、前記奥行き計算部による奥行き計算の結果から判定されるフォーカス位置に基づいて、輪郭・精細感強調の強度を決定する、
請求項１に記載の映像信号処理装置。
【請求項３】
前記輪郭・精細感強調処理部は、前記奥行き計算部による奥行き計算結果として立体映像の近景部分にフォーカスが合っていることが分かったときには、輪郭・精細感強調の強度を高め、前記奥行き計算結果から立体映像の遠景部分にフォーカスが合っていることが分かったときには輪郭・精細感強調の強度を低くし、前記奥行き計算結果として立体映像の被写体深度が深い映像であることが分かったときには輪郭・精細感強調の強度をやや低くする、
請求項１に記載の映像信号処理装置。
【請求項４】
前記輪郭・精細感強調処理部は、前記奥行き計算部による奥行き計算結果として立体映像の近景と遠景との奥行き量の差が大きいことが分かったときには輪郭・精細感強調の強度を高くし、前記奥行き計算結果から立体映像の近景と遠景との奥行き量の差が小さいことが分かったときには輪郭・精細感強調の強度を低くする、
請求項１に記載の映像信号処理装置。
【請求項５】
前記輪郭・精細感強調処理部は、１フレームの映像全体について一様の強度で輪郭・精細感強調を行なう、
請求項１に記載の映像信号処理装置。
【請求項６】
前記映像入力部は、同時刻の左眼用映像及び右眼用映像を時間方向で多重化する方式の立体映像を入力し、
前記奥行き計算部は、左眼用映像から特徴量を抽出した後に、同時刻の右眼用映像から特徴量を抽出し、左眼用映像の特徴量と右眼用映像の特徴量を比較することによって、立体映像の奥行きを計算する、
請求項１に記載の映像信号処理装置。
【請求項７】
前記奥行き計算部は、
左眼用映像の垂直方向及び水平方向に所定タップ数のバンドパス・フィルター処理をそれぞれ行ない、垂直方向のバンドパス成分と水平方向のバンドパス成分の積に基づいて各画素位置の特徴量を求め、各ブロック内で特徴量が最大となる画素位置をブロックの特徴点として検出し、各ブロックの特徴点の特徴量を保存し、
右眼用映像の各ブロックの全画素位置で上記と同じ特徴量を算出し、左眼用映像の対応するブロックの特徴点において保存した特徴量と比較して、ブロック毎に左眼用映像の特徴点と一致する右眼用画像の画素位置を検出し、
各ブロックにおいて左眼用映像の特徴点と一致する右眼用画像の画素位置における奥行き量と帯域成分を保存する、
請求項６に記載の映像信号処理装置。
【請求項８】
前記奥行き計算部は、
左眼用映像について、各ブロックの特徴点について、垂直方向のバンドパス成分、水平方向のバンドパス成分、左上画素の平均値、右上画素の平均値、左下画素の平均値、右下画素の平均値、特徴点のブロック内のｙ座標、特徴点のブロック内のｘ座標を特徴点データとして保存し、
右眼用映像について、各ブロックの全画素位置で、垂直方向のバンドパス成分、水平方向のバンドパス成分、左上画素の平均値、右上画素の平均値、左下画素の平均値、右下画素の平均値、特徴点のブロック内のｙ座標を特徴点データとして算出し、各画素位置における特徴点データと左眼用映像の対応する特徴点における特徴点データとの重み付き差分絶対和をとって各画素位置の評価値とし、
右眼用映像の各ブロックで評価値が最小になる画素位置を左眼用映像の特徴点と一致する画素位置を求め、
各ブロックにおいて左眼用映像の特徴点と一致する右眼用画像の画素位置における奥行き量と帯域成分を保存する、
請求項６に記載の映像信号処理装置。
【請求項９】
前記奥行き計算部は、各ブロックを奥行き量に基づいて近景と遠景に分類し、近景のブロックについて奥行き量と帯域成分を平均化するとともに、遠景のブロックについて奥行き量と帯域成分を平均化する、
請求項７又は８のいずれかに記載の映像信号処理装置。
【請求項１０】
前記奥行き計算部は、
近景のブロックの奥行き量の平均値を遠景のブロックの奥行き量の平均値を引き算して立体映像の近景と遠景との奥行き量の差を求め、
立体映像の近景と遠景との奥行き量の差が大きいときには輪郭・精細感強調の強度に対する重みを大きくし、立体映像の近景と遠景との奥行き量の差が小さいときには輪郭・精細感強調の強度に対する重みを小さくする、
請求項９に記載の映像信号処理装置。
【請求項１１】
前記奥行き計算部は、
近景のブロックの帯域成分の平均値を遠景のブロックの帯域成分の平均値を引き算して立体映像の近景と遠景との帯域成分の差を求め、
前立体映像の近景と遠景との帯域成分の差が大きいときには輪郭・精細感強調の強度に対する重みを大きくし、立体映像の近景と遠景との帯域成分の差が小さいときには輪郭・精細感強調の強度に対する重みを小さくする、
請求項９に記載の映像信号処理装置。
【請求項１２】
前記奥行き計算部は、平均化された奥行き量に基づいて付与される重みと、平均化された帯域成分に基づいて付与される重みを組み合わせた後、ローパス・フィルター処理して輪郭・精細感強調の強度を求める、
請求項９に記載の映像信号処理装置。
【請求項１３】
入力映像のフレーム間変動を検出するフレーム間変動検出部をさらに備え、
前記奥行き計算部は、フレーム間変動が大きいときには、時定数が小さいフィルター係数にして前記ローパス・フィルター処理を行ない、フレーム間変動が小さいときには、時定数が大きいフィルター係数にして前記ローパス・フィルター処理を行なう、
請求項１２に記載の映像信号処理装置。
【請求項１４】
右眼用映像のブロックよりも左眼用映像のブロックのサイズを小さくする、
請求項７又は８のいずれかに記載の映像信号処理装置。
【請求項１５】
立体映像を入力する映像入力ステップと、
入力した立体映像の奥行き計算を行なう奥行き計算ステップと、
前記奥行き計算ステップにおける奥行き計算結果に基づいて、立体映像の輪郭・精細感強調の強度を変えて画質調整を行なう輪郭・精細感強調処理ステップと、
を有する映像信号処理方法。
【請求項１６】
立体映像を入力する映像入力部、
入力した立体映像の奥行き計算を行なう奥行き計算部、
前記奥行き計算部による奥行き計算結果に基づいて、立体映像の輪郭・精細感強調の強度を変えて画質調整を行なう輪郭・精細感強調処理部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
【請求項１】
立体映像を入力する映像入力部と、
入力した立体映像の奥行き計算を行なう奥行き計算部と、
前記奥行き計算部による奥行き計算結果に基づいて、立体映像の輪郭・精細感強調の強度を変えて画質調整を行なう輪郭・精細感強調処理部と、
を具備する映像信号処理装置。
【請求項２】
前記輪郭・精細感強調処理部は、前記奥行き計算部による奥行き計算の結果から判定されるフォーカス位置に基づいて、輪郭・精細感強調の強度を決定する、
請求項１に記載の映像信号処理装置。
【請求項３】
前記輪郭・精細感強調処理部は、前記奥行き計算部による奥行き計算結果として立体映像の近景部分にフォーカスが合っていることが分かったときには、輪郭・精細感強調の強度を高め、前記奥行き計算結果から立体映像の遠景部分にフォーカスが合っていることが分かったときには輪郭・精細感強調の強度を低くし、前記奥行き計算結果として立体映像の被写体深度が深い映像であることが分かったときには輪郭・精細感強調の強度をやや低くする、
請求項１に記載の映像信号処理装置。
【請求項４】
前記輪郭・精細感強調処理部は、前記奥行き計算部による奥行き計算結果として立体映像の近景と遠景との奥行き量の差が大きいことが分かったときには輪郭・精細感強調の強度を高くし、前記奥行き計算結果から立体映像の近景と遠景との奥行き量の差が小さいことが分かったときには輪郭・精細感強調の強度を低くする、
請求項１に記載の映像信号処理装置。
【請求項５】
前記輪郭・精細感強調処理部は、１フレームの映像全体について一様の強度で輪郭・精細感強調を行なう、
請求項１に記載の映像信号処理装置。
【請求項６】
前記映像入力部は、同時刻の左眼用映像及び右眼用映像を時間方向で多重化する方式の立体映像を入力し、
前記奥行き計算部は、左眼用映像から特徴量を抽出した後に、同時刻の右眼用映像から特徴量を抽出し、左眼用映像の特徴量と右眼用映像の特徴量を比較することによって、立体映像の奥行きを計算する、
請求項１に記載の映像信号処理装置。
【請求項７】
前記奥行き計算部は、
左眼用映像の垂直方向及び水平方向に所定タップ数のバンドパス・フィルター処理をそれぞれ行ない、垂直方向のバンドパス成分と水平方向のバンドパス成分の積に基づいて各画素位置の特徴量を求め、各ブロック内で特徴量が最大となる画素位置をブロックの特徴点として検出し、各ブロックの特徴点の特徴量を保存し、
右眼用映像の各ブロックの全画素位置で上記と同じ特徴量を算出し、左眼用映像の対応するブロックの特徴点において保存した特徴量と比較して、ブロック毎に左眼用映像の特徴点と一致する右眼用画像の画素位置を検出し、
各ブロックにおいて左眼用映像の特徴点と一致する右眼用画像の画素位置における奥行き量と帯域成分を保存する、
請求項６に記載の映像信号処理装置。
【請求項８】
前記奥行き計算部は、
左眼用映像について、各ブロックの特徴点について、垂直方向のバンドパス成分、水平方向のバンドパス成分、左上画素の平均値、右上画素の平均値、左下画素の平均値、右下画素の平均値、特徴点のブロック内のｙ座標、特徴点のブロック内のｘ座標を特徴点データとして保存し、
右眼用映像について、各ブロックの全画素位置で、垂直方向のバンドパス成分、水平方向のバンドパス成分、左上画素の平均値、右上画素の平均値、左下画素の平均値、右下画素の平均値、特徴点のブロック内のｙ座標を特徴点データとして算出し、各画素位置における特徴点データと左眼用映像の対応する特徴点における特徴点データとの重み付き差分絶対和をとって各画素位置の評価値とし、
右眼用映像の各ブロックで評価値が最小になる画素位置を左眼用映像の特徴点と一致する画素位置を求め、
各ブロックにおいて左眼用映像の特徴点と一致する右眼用画像の画素位置における奥行き量と帯域成分を保存する、
請求項６に記載の映像信号処理装置。
【請求項９】
前記奥行き計算部は、各ブロックを奥行き量に基づいて近景と遠景に分類し、近景のブロックについて奥行き量と帯域成分を平均化するとともに、遠景のブロックについて奥行き量と帯域成分を平均化する、
請求項７又は８のいずれかに記載の映像信号処理装置。
【請求項１０】
前記奥行き計算部は、
近景のブロックの奥行き量の平均値を遠景のブロックの奥行き量の平均値を引き算して立体映像の近景と遠景との奥行き量の差を求め、
立体映像の近景と遠景との奥行き量の差が大きいときには輪郭・精細感強調の強度に対する重みを大きくし、立体映像の近景と遠景との奥行き量の差が小さいときには輪郭・精細感強調の強度に対する重みを小さくする、
請求項９に記載の映像信号処理装置。
【請求項１１】
前記奥行き計算部は、
近景のブロックの帯域成分の平均値を遠景のブロックの帯域成分の平均値を引き算して立体映像の近景と遠景との帯域成分の差を求め、
前立体映像の近景と遠景との帯域成分の差が大きいときには輪郭・精細感強調の強度に対する重みを大きくし、立体映像の近景と遠景との帯域成分の差が小さいときには輪郭・精細感強調の強度に対する重みを小さくする、
請求項９に記載の映像信号処理装置。
【請求項１２】
前記奥行き計算部は、平均化された奥行き量に基づいて付与される重みと、平均化された帯域成分に基づいて付与される重みを組み合わせた後、ローパス・フィルター処理して輪郭・精細感強調の強度を求める、
請求項９に記載の映像信号処理装置。
【請求項１３】
入力映像のフレーム間変動を検出するフレーム間変動検出部をさらに備え、
前記奥行き計算部は、フレーム間変動が大きいときには、時定数が小さいフィルター係数にして前記ローパス・フィルター処理を行ない、フレーム間変動が小さいときには、時定数が大きいフィルター係数にして前記ローパス・フィルター処理を行なう、
請求項１２に記載の映像信号処理装置。
【請求項１４】
右眼用映像のブロックよりも左眼用映像のブロックのサイズを小さくする、
請求項７又は８のいずれかに記載の映像信号処理装置。
【請求項１５】
立体映像を入力する映像入力ステップと、
入力した立体映像の奥行き計算を行なう奥行き計算ステップと、
前記奥行き計算ステップにおける奥行き計算結果に基づいて、立体映像の輪郭・精細感強調の強度を変えて画質調整を行なう輪郭・精細感強調処理ステップと、
を有する映像信号処理方法。
【請求項１６】
立体映像を入力する映像入力部、
入力した立体映像の奥行き計算を行なう奥行き計算部、
前記奥行き計算部による奥行き計算結果に基づいて、立体映像の輪郭・精細感強調の強度を変えて画質調整を行なう輪郭・精細感強調処理部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
【図１】
【図３】
【図５】
【図８】
【図９Ｂ】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２Ａ】
【図２Ｂ】
【図４】
【図６】
【図７】
【図９Ａ】
【図１３】
【図３】
【図５】
【図８】
【図９Ｂ】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２Ａ】
【図２Ｂ】
【図４】
【図６】
【図７】
【図９Ａ】
【図１３】
【公開番号】特開２０１３−４６０８２（Ｐ２０１３−４６０８２Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８０１７１（Ｐ２０１１−１８０１７１）
【出願日】平成２３年８月２２日（２０１１．８．２２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２２日（２０１１．８．２２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]