スクロール判定装置及び方法
【課題】フレーム内の画像の全体スクロールを的確に判定することができるスクロール判定装置を提供する。
【解決手段】動きベクトル検出部１２は、フレーム内の所定の検出単位毎に画像の動きベクトルＭＶを検出する。境界判定信号生成部３４５は、異なる検出単位間の動きベクトルＭＶを比較し、異なる検出単位間に動きベクトルＭＶの境界が存在するか否かを判定して動きベクトル境界判定信号MV_EDGEを生成する。境界判定信号集計部１６は、動きベクトル境界判定信号MV_EDGEを集計して、１フレーム内で動きベクトルの境界が存在する程度を示す集計値EDGE_SUM_NRMを生成する。全体スクロール判定部１７は、集計値EDGE_SUM_NRMと閾値とを比較して、画像が全体的にスクロールしているか否かを示す全体スクロール判定信号DSを生成する。
【解決手段】動きベクトル検出部１２は、フレーム内の所定の検出単位毎に画像の動きベクトルＭＶを検出する。境界判定信号生成部３４５は、異なる検出単位間の動きベクトルＭＶを比較し、異なる検出単位間に動きベクトルＭＶの境界が存在するか否かを判定して動きベクトル境界判定信号MV_EDGEを生成する。境界判定信号集計部１６は、動きベクトル境界判定信号MV_EDGEを集計して、１フレーム内で動きベクトルの境界が存在する程度を示す集計値EDGE_SUM_NRMを生成する。全体スクロール判定部１７は、集計値EDGE_SUM_NRMと閾値とを比較して、画像が全体的にスクロールしているか否かを示す全体スクロール判定信号DSを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム内の画像が全体的にスクロールしているか否かを的確に判定することができるスクロール判定装置及び方法に関する。
【背景技術】
【０００２】
液晶ディスプレイ等に動画像を表示する際に、動画ぼやけを低減させるために、動き補償フレーム生成方法を用いてフレームレートを変換することが行われている。動き補償フレーム生成方法においては、画像の動きを検出して補償フレームを生成することから、動きの検出を誤った場合には補償フレーム内に誤った補償によって生成された領域を含むことになる。従って、画質を劣化させてしまう。そこで、動き補償フレーム生成方法を用いたフレームレート変換装置等の映像信号処理装置においては、画像の動きを的確に検出して動き補償品質を高めることが求められる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４１２２２７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
動き補償品質を高めるための一手法として、フレーム内の全体で画像がどのように動いているかを判定して、補償フレームを生成する際に判定結果を反映させることが考えられる。フレーム内の画像が全体的にほぼ一方向にスクロールするいわゆる全体スクロールしているか否かを判定することができれば、補償フレームを生成する際の動き補償品質を高めることができる。
【０００５】
そこで、本発明は、フレーム内の画像の全体スクロールを的確に判定することができるスクロール判定装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述した従来の技術の課題を解決するため、映像信号におけるそれぞれのフレーム内の所定の検出単位毎に画像の動きベクトルを検出する動きベクトル検出部（１２）と、前記動きベクトル検出部で検出された動きベクトルの内、１フレーム内の異なる検出単位間の動きベクトルを比較することによって、前記異なる検出単位間に動きベクトルの境界が存在するか否かを判定して動きベクトル境界判定信号を生成する境界判定信号生成部（３４５）と、前記境界判定信号生成部が生成した動きベクトル境界判定信号を集計して、１フレーム内で動きベクトルの境界が存在する程度を示す集計値を生成する境界判定信号集計部（１６）と、前記集計値と所定の閾値とを比較することによって、画像が全体的にスクロールしているか否かを示す全体スクロール判定信号を生成する全体スクロール判定部（１７）とを備えることを特徴とするスクロール判定装置を提供する。
【０００７】
上記のスクロール判定装置において、前記境界判定信号生成部は、注目する検出単位で検出した動きベクトルと、前記注目する検出単位の左方，右方，上方，下方に位置する少なくとも１つの検出単位で検出した動きベクトルとを比較することによって、注目する検出単位のそれぞれに対して動きベクトル境界判定信号を生成することが好ましい。
【０００８】
上記のスクロール判定装置において、前記境界判定信号生成部は、１フレーム内の異なる検出単位で検出された動きベクトルの水平成分を比較することによって、前記異なる検出単位間に水平方向の動きベクトルの境界が存在するか否かを判定して水平動きベクトル境界判定信号を生成する水平動きベクトル境界判定部（１３）と、１フレーム内の異なる検出単位で検出された動きベクトルの垂直成分を比較することによって、前記異なる検出単位間に垂直方向の動きベクトルの境界が存在するか否かを判定して垂直動きベクトル境界判定信号を生成する垂直動きベクトル境界判定部（１４）と、前記水平動きベクトル境界判定信号と前記垂直動きベクトル境界判定信号とを混合する境界判定信号混合部（１５）とを備えることが好ましい。
【０００９】
上記のスクロール判定装置において、前記境界判定信号混合部は、前記水平動きベクトル境界判定信号と前記垂直動きベクトル境界判定信号との少なくとも一方が、動きベクトルの境界が存在することを示す場合に、前記動きベクトル境界判定信号として、動きベクトルの境界が存在することを示す値を生成することが好ましい。
【００１０】
また、本発明は、上述した従来の技術の課題を解決するため、映像信号におけるそれぞれのフレーム内の所定の検出単位毎に画像の動きベクトルを検出するステップと、検出された動きベクトルの内、１フレーム内の異なる検出単位間の動きベクトルを比較することによって、前記異なる検出単位間に動きベクトルの境界が存在するか否かを判定して動きベクトル境界判定信号を生成するステップと、前記動きベクトル境界判定信号を集計して、１フレーム内で動きベクトルの境界が存在する程度を示す集計値を生成するステップと、前記集計値と所定の閾値とを比較することによって、画像が全体的にスクロールしているか否かを示す全体スクロール判定信号を生成するステップとを含むことを特徴とするスクロール判定方法を提供する。
【００１１】
上記のスクロール判定方法において、前記動きベクトル境界判定信号を生成するステップは、注目する検出単位で検出した動きベクトルと、前記注目する検出単位の左方，右方，上方，下方の少なくとも１つの検出単位で検出した動きベクトルとを比較することによって、注目する検出単位のそれぞれに対して動きベクトル境界判定信号を生成することが好ましい。
【００１２】
上記のスクロール判定方法において、前記動きベクトル境界判定信号を生成するステップは、１フレーム内の異なる検出単位で検出された動きベクトルの水平成分を比較することによって、前記異なる検出単位間に水平方向の動きベクトルの境界が存在するか否かを判定して水平動きベクトル境界判定信号を生成するステップと、１フレーム内の異なる検出単位で検出された動きベクトルの垂直成分を比較することによって、前記異なる検出単位間に垂直方向の動きベクトルの境界が存在するか否かを判定して垂直動きベクトル境界判定信号を生成するステップと、前記水平動きベクトル境界判定信号と前記垂直動きベクトル境界判定信号とを混合するステップとを含むことが好ましい。
【００１３】
上記のスクロール判定方法において、前記混合するステップは、前記水平動きベクトル境界判定信号と前記垂直動きベクトル境界判定信号との少なくとも一方が、動きベクトルの境界が存在することを示す場合に、前記動きベクトル境界判定信号として、動きベクトルの境界が存在することを示す値を生成することが好ましい。
【発明の効果】
【００１４】
本発明のスクロール判定装置及び方法によれば、フレーム内の画像の全体スクロールを的確に判定することができる。
【図面の簡単な説明】
【００１５】
【図１】一実施形態のスクロール判定装置を示すブロック図である。
【図２】図１における動きベクトル検出部１２における動きベクトル検出動作を説明するための図である。
【図３】図１における水平動きベクトル境界判定部１３及び垂直動きベクトル境界判定部１４における境界判定動作を説明するための図である。
【図４】境界判定動作の他の例を示す図である。
【図５】図１における境界判定信号集計部１６における集計動作を説明するための図である。
【図６】図１における境界判定信号集計部１６における集計動作を示すフローチャートである。
【図７】図１における全体スクロール判定部１７が全体スクロール判定信号DSを生成する際の特性の一例を示す特性図である。
【図８】図１における全体スクロール判定部１７が全体スクロール判定信号DSを生成する際の特性の他の例を示す特性図である。
【図９】図１における水平動きベクトル境界判定部１３が境界判別値MV_H_LEFTを生成する際の特性の一例を示す特性図である。
【発明を実施するための形態】
【００１６】
以下、本発明のスクロール判定装置及び方法の一実施形態について、添付図面を参照して説明する。図１において、一実施形態のスクロール判定装置１０は、フレームメモリ１１，動きベクトル検出部１２，水平動きベクトル境界判定部１３，垂直動きベクトル境界判定部１４，境界判定信号混合部１５，境界判定信号集計部１６，全体スクロール判定部１７を備える。水平動きベクトル境界判定部１３，垂直動きベクトル境界判定部１４，境界判定信号混合部１５は、境界判定信号生成部３４５を構成している。
【００１７】
図１において、映像信号はフレームメモリ１１及び動きベクトル検出部１２に入力される。フレームメモリ１１及び動きベクトル検出部１２に入力されるフレームを現在フレームＦ０とする。フレームメモリ１１は、現在フレームＦ０の映像信号を１フレーム期間遅延させて出力する。フレームメモリ１１より出力される現在フレームＦ０に対して１フレーム過去のフレームを過去フレームＦ１とする。過去フレームＦ１の映像信号は、動きベクトル検出部１２に入力される。
【００１８】
動きベクトル検出部１２は、現在フレームＦ０と過去フレームＦ１の映像信号を用いて、過去フレームＦ１上の検出単位毎の動きベクトルを検出する。ここで、図２を用いて動きベクトル検出部１２による動きベクトルの検出動作について説明する。図２において、過去フレームＦ１内の所定の座標（ｘ，ｙ）に位置する注目画素Ｐｉに対する動きベクトルを検出するとする。動きベクトル検出部１２は、現在フレームＦ０上の所定の座標（ｘ，ｙ）のｘ，ｙそれぞれに対して例えば±４０画素の範囲を探索範囲とする。動きベクトル検出部１２は、注目画素Ｐｉから探索範囲内の全ての画素に向かう複数の動きベクトル候補ＭＶｃの中から、最も相関の高い現在フレームＦ０内の画素Ｐｊに向かう動きベクトルＭＶｓを検出する。
【００１９】
本実施形態においては、相関を判断する指標の一例として、２フレーム間の輝度の差分絶対値和（SAD：Sum of Absolute Differences）を用いる。図２に示すように、動きベクトル検出部１２は、SAD値を、一例として、注目画素Ｐｉの周辺の水平７画素及び垂直７画素のブロックＢｉと画素Ｐｊの周辺の水平７画素及び垂直７画素のブロックＢｊ内の各画素を用いて、式（１）により計算する。式（１）において、（mvx_c,mvy_c）は図２の動きベクトル候補ＭＶｃに相当する動きベクトル候補、SAD(mvx_c,mvy_c)は動きベクトル候補（mvx_c,mvy_c）に対するSAD値、L0(x,y)，L1(x,y)はそれぞれ現在フレームＦ０、過去フレームＦ１内の座標（ｘ，ｙ）での画素の輝度値である。
【００２０】
【数１】
【００２１】
式（１）で計算したSAD値が最小となる画素が最も相関が高い。動きベクトル検出部１２は、複数の動きベクトル候補ＭＶｃの中からSAD値が最小となる画素Ｐｊに向かう動きベクトルＭＶｓを抽出して、抽出した動きベクトルＭＶｓを動きベクトルＭＶとして出力する。
【００２２】
動きベクトル検出部１２における動きベクトルＭＶの検出単位、動きベクトルＭＶの探索範囲、相関の指標は上記の例に限定されるものではない。相関の指標としてSAD値を用いる場合、ブロックＢｉ，Ｂｊのサイズ及び形状は上記の例に限定されるものではない。動きベクトルＭＶの検出単位が画素単位ではなく、ブロック単位の場合は、注目単位としては注目画素Ｐｉではなく、注目ブロックとなる。また、動きベクトル検出部１２は図２に示すように隣接する２フレーム内の画素ではなく、隣接していない２フレーム内の画素を用いて動きベクトルＭＶを検出してもよい。さらに、動きベクトルＭＶの検出精度を高めるために２フレームより多いフレーム内の画素を用いて動きベクトルＭＶを検出してもよい。動きベクトル検出部１２における動きベクトルＭＶの検出方法は任意である。
【００２３】
図１に戻り、動きベクトル検出部１２より出力された動きベクトルＭＶは、水平動きベクトル境界判定部１３及び垂直動きベクトル境界判定部１４に入力される。水平動きベクトル境界判定部１３は、動きベクトルＭＶに基づいて、水平方向の動きベクトルの境界を判定する。垂直動きベクトル境界判定部１４は、動きベクトルＭＶに基づいて、垂直方向の動きベクトルの境界を判定する。
【００２４】
図３を用いて、水平動きベクトル境界判定部１３で行われる水平方向の動きベクトルＭＶの境界を判定する方法について説明する。図３において、注目画素Ｐｉで検出された動きベクトルＭＶをMV_REF、注目画素Ｐｉの左側に隣接する画素Ｐａで検出された動きベクトルＭＶをMV_LEFT、注目画素Ｐｉの上側に隣接する画素Ｐｂで検出された動きベクトルＭＶをMV_ABOVEとする。まず、水平動きベクトル境界判定部１３は、式（２）を用いて、注目画素Ｐｉと左側の画素Ｐａとの間における水平方向の動きベクトルの境界の有無を判定する。式（２）において、MV_REF_H，MV_LEFT_HはMV_REF，MV_LEFTの水平成分、TH_Hは所定の閾値である。
【００２５】
|MV_REF_H-MV_LEFT_H| ＞ TH_H …（２）
【００２６】
水平動きベクトル境界判定部１３は、式（２）を満たす場合には、注目画素Ｐｉと左側の画素Ｐａとの境界判別値MV_H_LEFTを“１”とし、式（２）を満たさない場合には、境界判別値MV_H_LEFTを“０”とする。境界判別値MV_H_LEFTが“１”であれば、注目画素Ｐｉと左側の画素Ｐａとの間には、動きベクトルＭＶの水平成分に境界が存在することを示す。即ち、注目画素Ｐｉにおける動きベクトルＭＶの水平成分は、左側の画素Ｐａにおける動きベクトルＭＶの水平成分に対して変化していることを示す。なお、閾値TH_Hの値は、動きベクトルＭＶの探索範囲の大きさ等に応じて適宜設定する。
【００２７】
次に、水平動きベクトル境界判定部１３は、式（３）を用いて、注目画素Ｐｉと、注目画素Ｐｉの直上に位置する上側の画素Ｐｂとの間における水平方向の動きベクトルの境界の有無を判定する。式（３）において、MV_ABOVE_HはMV_ABOVEの水平成分である。
【００２８】
|MV_REF_H-MV_ABOVE_H| ＞ TH_H …（３）
【００２９】
水平動きベクトル境界判定部１３は、式（３）を満たす場合には、注目画素Ｐｉと上側の画素Ｐｂとの境界判別値MV_H_ABOVEを“１”とし、式（３）を満たさない場合には、境界判別値MV_H_ABOVEを“０”とする。境界判別値MV_H_ABOVEが“１”であれば、注目画素Ｐｉと上側の画素Ｐｂとの間には、動きベクトルＭＶの水平成分に境界が存在することを示す。即ち、注目画素Ｐｉにおける動きベクトルＭＶの水平成分は、上側の画素Ｐｂおける動きベクトルＭＶの水平成分に対して変化していることを示す。
【００３０】
ここでは、水平動きベクトル境界判定部１３は、式（２）を用いて、注目画素Ｐｉと左側の画素Ｐａとの間における水平方向の動きベクトルの境界の有無を判定し、次に、式（３）を用いて、注目画素Ｐｉと上側の画素Ｐｂとの間における水平方向の動きベクトルの境界の有無を判定すると説明したが、順番は逆でもよく、両者を同時に判定してもよい。本実施形態では式（２）と式（３）とで同じ値の閾値TH_Hを用いているが、式（２）と式（３）とで異なる閾値を用いてもよい。
【００３１】
水平動きベクトル境界判定部１３は、境界判別値MV_H_LEFTと境界判別値MV_H_ABOVEとのＯＲ演算を行って、水平動きベクトル境界判定信号MV_H_EDGEとして出力する。
【００３２】
図３を用いて、垂直動きベクトル境界判定部１４で行われる垂直方向の動きベクトルＭＶの境界を判定する方法について説明する。図３において、注目画素Ｐｉで検出された動きベクトルＭＶの垂直成分をMV_REF_V、注目画素Ｐｉの左側に隣接する画素Ｐａで検出された動きベクトルＭＶの垂直成分をMV_LEFT_V、注目画素Ｐｉの上側に隣接する画素Ｐｂで検出された動きベクトルＭＶの垂直成分をMV_ABOVE_Vとする。垂直動きベクトル境界判定部１４は、式（４）を用いて、注目画素Ｐｉと左側の画素Ｐａとの間における垂直方向の動きベクトルの境界の有無を判定する。また、垂直動きベクトル境界判定部１４は、式（５）を用いて、注目画素Ｐｉと上側の画素Ｐｂとの間における垂直方向の動きベクトルの境界の有無を判定する。TH_Vは所定の閾値である。本実施形態では式（４）と式（５）とで同じ値の閾値TH_Vを用いているが、式（４）と式（５）とで異なる閾値を用いてもよい。
【００３３】
|MV_REF_V-MV_LEFT_V| ＞ TH_V …（４）
【００３４】
|MV_REF_V-MV_ABOVE_V| ＞ TH_V …（５）
【００３５】
垂直動きベクトル境界判定部１４は、式（４）を満たす場合には、注目画素Ｐｉと左側の画素Ｐａとの境界判別値MV_V_LEFTを“１”とし、式（４）を満たさない場合には、境界判別値MV_V_LEFTを“０”とする。境界判別値MV_V_LEFTが“１”であれば、注目画素Ｐｉと左側の画素Ｐａとの間には、動きベクトルＭＶの垂直成分に境界が存在することを示す。即ち、注目画素Ｐｉにおける動きベクトルＭＶの垂直成分は、左側の画素Ｐａにおける動きベクトルＭＶの垂直成分に対して変化していることを示す。なお、閾値TH_Vの値は、動きベクトルＭＶの探索範囲の大きさ等に応じて適宜設定する。
【００３６】
垂直動きベクトル境界判定部１４は、式（５）を満たす場合には、注目画素Ｐｉと上側の画素Ｐｂとの境界判別値MV_V_ABOVEを“１”とし、式（５）を満たさない場合には、境界判別値MV_V_ABOVEを“０”とする。境界判別値MV_V_ABOVEが“１”であれば、注目画素Ｐｉと上側の画素Ｐｂとの間には、動きベクトルＭＶの垂直成分に境界が存在することを示す。即ち、注目画素Ｐｉにおける動きベクトルＭＶの垂直成分は、上側の画素Ｐｂおける動きベクトルＭＶの垂直成分に対して変化していることを示す。
【００３７】
垂直動きベクトル境界判定部１４は、境界判別値MV_V_LEFTと境界判別値MV_V_ABOVEとのＯＲ演算を行って、垂直動きベクトル境界判定信号MV_V_EDGEとして出力する。
【００３８】
図３に示す例では、注目画素Ｐｉにおける動きベクトルＭＶと、左側の画素Ｐａと上側の画素Ｐｂにおける動きベクトルＭＶとを比較したが、これに限定されることはない。図４（Ａ）に示すように、左側の画素Ｐａの代わりに右側に隣接する画素Ｐｃを用いてもよく、図４（Ｂ）に示すように、上側の画素Ｐｂ代わりに注目画素Ｐｉの直下に位置する下側の画素Ｐｄを用いてもよい。図４（Ｃ）に示すように、右側の画素Ｐｃと下側の画素Ｐｄを用いてもよく、図４（Ｄ）に示すように、上下左右の画素Ｐａ，Ｐｂ，Ｐｃ，Ｐｄを用いてもよい。さらに、図４（Ｅ）に示すように、左側の画素Ｐａのみを用いたり、図４（Ｆ）に示すように、上側の画素Ｐｂのみを用いたりして、簡略化することもできる。但し、全体スクロールの判定精度を向上させるためには、左または右と上または下との双方を用いることが好ましい。
【００３９】
また、必ずしも、注目画素Ｐｉにおける動きベクトルＭＶと、注目画素Ｐｉと隣接する画素の動きベクトルＭＶとを比較しなくてもよい。図４（Ｇ）に示すように、注目画素Ｐｉにおける動きベクトルＭＶと、左側の画素Ｐａのさらに左側の画素Ｐｅにおける動きベクトルＭＶとを比較し、注目画素Ｐｉにおける動きベクトルＭＶと、上側の画素Ｐｂのさらに上側の画素Ｐｆにおける動きベクトルＭＶとを比較してもよい。即ち、注目画素Ｐｉと注目画素Ｐｉに対して左方に位置する画素との動きベクトルＭＶどうし、注目画素Ｐｉと注目画素Ｐｉに対して右方に位置する画素との動きベクトルＭＶどうし、注目画素Ｐｉと注目画素Ｐｉに対して上方に位置する画素との動きベクトルＭＶどうし、注目画素Ｐｉと注目画素Ｐｉに対して下方に位置する画素との動きベクトルＭＶどうしの少なくとも１つを比較すればよい。さらに言えば、注目画素Ｐｉと異なる画素（互いに異なる検出単位）の動きベクトルＭＶを比較すればよい。
【００４０】
再び図１に戻り、境界判定信号混合部１５には、水平動きベクトル境界判定信号MV_H_EDGEと垂直動きベクトル境界判定信号MV_V_EDGEとが入力される。境界判定信号混合部１５は、水平動きベクトル境界判定信号MV_H_EDGEと垂直動きベクトル境界判定信号MV_V_EDGEとをＯＲ演算することによって両信号を混合し、動きベクトル境界判定信号MV_EDGEとして出力する。以上のようにして、境界判定信号生成部３４５は、動きベクトル境界判定信号MV_EDGEを生成する。動きベクトル境界判定信号MV_EDGEは、境界判定信号集計部１６に入力される。
【００４１】
境界判定信号集計部１６は、動きベクトル境界判定信号MV_EDGEを集計する。本実施形態においては、動きベクトルＭＶは１画素単位で検出されるので、動きベクトル境界判定信号MV_EDGEは、図５に示すように、１画素単位で順次出力されることになる。図５において、それぞれの矩形は画素を示し、矩形内の“１”または“０”は動きベクトル境界判定信号MV_EDGEが示す値である。境界判定信号集計部１６は、図６のステップＳ１にて、１フレーム内の動きベクトル境界判定信号MV_EDGEをカウントする。即ち、注目画素Ｐｉに対して得られた動きベクトル境界判定信号MV_EDGEが“１”のときカウンタをインクリメントして、１フレーム内の動きベクトル境界判定信号MV_EDGEを集計して総数EDGE_SUMを求める。
【００４２】
次に、境界判定信号集計部１６は、ステップＳ２にて、総数EDGE_SUMを式（６）を用いて正規化して正規化集計値EDGE_SUM_NRMを出力する。式（６）において、TOTAL_NUMは総数EDGE_SUMの取り得る最大値を意味し、本実施形態では動きベクトル境界判定信号MV_EDGEが２値で表されているため、動きベクトル境界判定信号MV_EDGEの検出単位の１フレーム内における総数である。即ち、動きベクトル境界判定信号MV_EDGEは１画素単位で出力されるので、TOTAL_NUMの値は１フレーム内の総画素数となる。
【００４３】
EDGE_SUM_NRM = EDGE_SUM×255/TOTAL_NUM …（６）
【００４４】
１フレーム内の全ての画素に対して得られる動きベクトル境界判定信号MV_EDGEを集計してもよいが、１フレーム内の部分的な画素に対して得られる動きベクトル境界判定信号MV_EDGEを集計してもよい。画面の上下または左右端部では動きベクトルＭＶの検出精度はさほどよくない。そこで、１フレーム内の上下左右の端部を除く、中央部の所定の範囲で動きベクトル境界判定信号MV_EDGEを集計して総数EDGE_SUMを求めてもよい。総数EDGE_SUMを式（６）を用いて正規化して正規化集計値EDGE_SUM_NRMとすれば、正規化集計値EDGE_SUM_NRMは、動きベクトル境界判定信号MV_EDGEの集計範囲に関係なく、０〜２５５の値となる。
【００４５】
図６のステップＳ２による正規化は必須ではないが、動きベクトル境界判定信号MV_EDGEの集計範囲を変更した場合でも正規化集計値EDGE_SUM_NRMは０〜２５５の値となるので、後段の全体スクロール判定部１７における判定処理に影響を与えることがない。そこで、ステップＳ２を設けて総数EDGE_SUMを正規化することが好ましい。
【００４６】
正規化集計値EDGE_SUM_NRMは、全体スクロール判定部１７に入力される。全体スクロール判定部１７は、正規化集計値EDGE_SUM_NRMと所定の閾値TH1とを比較することによって、フレーム内の画像が全体スクロールしているか否かを判定して、全体スクロール判定信号DSを出力する。図７を用いて、全体スクロール判定部１０７が出力する全体スクロール判定信号DSの特性について説明する。全体スクロール判定部１７は、図７に示すように、正規化集計値EDGE_SUM_NRMが閾値TH1以下であれば全体スクロールしていると判定して、全体スクロール判定信号DSとして“１”を出力し、閾値TH1を越えれば、全体スクロールしていないと判定して、全体スクロール判定信号DSとして“０”を出力する。
【００４７】
正規化集計値EDGE_SUM_NRMが閾値TH1以下であるということは、図５に示す動きベクトル境界判定信号MV_EDGEの“１”が少ないということである。動きベクトル境界判定信号MV_EDGEの“１”が少ないということは、動きベクトルＭＶの１フレーム内での変化が少ないということであり、フレーム内の画像が全体的にほぼ一方向にスクロールする全体スクロールであると判断することができる。
【００４８】
図７に示す例は、全体スクロール判定信号DSを“１”と“０”の２値としたが、図８に示すように、閾値TH1，TH2，TH3と３つの閾値を設け、全体スクロール判定信号DSを、正規化集計値EDGE_SUM_NRMが閾値TH1以下のとき“３”、閾値TH1を超えて閾値TH2以下のとき“２”、閾値TH2を超えて閾値TH3以下のとき“１”、閾値TH3を越えれば“０”としてもよい。全体スクロール判定信号DSを０〜３の４値とした場合には、フレームレート変換装置等の映像信号処理装置において、補償フレームを生成する際の動作を全体スクロール判定信号DSの値に応じて細かく段階的に異ならせることが可能となる。
【００４９】
以上の説明より分かるように、本実施形態のスクロール判定装置及び方法においては、まず、動きベクトル検出部１２が、それぞれのフレーム内の所定の検出単位毎に画像の動きベクトルＭＶを検出する。境界判定信号生成部３４５が、１フレーム内の異なる検出単位で検出された動きベクトルＭＶを比較することによって、異なる検出単位間に動きベクトルの境界が存在するか否かを判定して動きベクトル境界判定信号MV_EDGEを生成する。境界判定信号集計部１６が、動きベクトル境界判定信号MV_EDGEを集計して、１フレーム内で動きベクトルの境界が存在する程度を示す集計値（EDGE_SUMまたはEDGE_SUM_NRM）を生成する。
【００５０】
そして、全体スクロール判定部１７が、集計値と所定の閾値（TH1またはTH1，TH2，TH3）とを比較することによって、画像が全体的にスクロールしているか否かを示す全体スクロール判定信号DSを生成する。従って、本実施形態のスクロール判定装置及び方法おいては、動きベクトルＭＶの比較、集計、閾値との比較という比較的簡単な処理を行うだけでよいので、小さな回路規模で実現することができる。しかも、全体スクロールか否かを的確に判定することが可能である。
【００５１】
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。例えば、水平動きベクトル境界判定部１３及び垂直動きベクトル境界判定部１４は、境界判別値を“１”と“０”の２値で判定するようにしたが、３値以上で判定するようにしてもよい。
【００５２】
水平動きベクトル境界判定部１３が境界判別値を３値以上で判定する例を、図９を用いて説明する。図９は水平動きベクトル境界判定部１３が境界判別値MV_H_LEFTを生成する際の一例を示す特性図である。閾値TH_H1，TH_H2，TH_H3と３つの閾値を設け、境界判別値MV_H_LEFTを、|MV_REF_H-MV_LEFT_H|が閾値TH_H3より大きいとき“３”、閾値TH_H3以下かつ閾値TH_H2より大きいとき“２”、閾値TH_H2以下かつ閾値TH_H1より大きいとき“１”、閾値TH_H1以下のとき“０”とした４値で表している。境界判別値MV_H_LEFTは、値が大きいほど境界度合いが大きいことを示す。図９は境界判別値MV_H_LEFTを生成する特性を示しているが、水平動きベクトル境界判定部１３または垂直動きベクトル境界判定部１４は図９と同様の特性で境界判別値MV_H_ABOVE，MV_V_LEFT，MV_V_ABOVEを生成する。
【００５３】
水平動きベクトル境界判定部１３は、求めた境界判別値MV_H_LEFTと境界判別値MV_H_ABOVEとを比較し、値の大きいもの、即ち、境界度合いの大きい値を選択して水平動きベクトル境界判定信号MV_H_EDGEとして出力する。境界判別値を３値以上で判定する場合には、ＯＲ演算は用いない。垂直動きベクトル境界判定部１４も同様の方法で境界判定信号MV_V_EDGEを出力する。
【００５４】
境界判定信号混合部１５では、水平動きベクトル境界判定信号MV_H_EDGEと垂直動きベクトル境界判定信号MV_V_EDGEとをＯＲ演算することで動き境界判定信号MV_EDGEを生成するのではなく、水平動きベクトル境界判定信号MV_H_EDGEと垂直動きベクトル境界判定信号MV_V_EDGEの内、値の大きい方、即ち、より境界度合いの大きい方を選択することで動き境界判定信号MV_EDGEとして出力する必要がある。また、境界判定信号集計部１６にて１フレーム内の動きベクトル境界判定信号MV_EDGEを集計して総数EDGE_SUMを求める際に、動きベクトル境界判定信号MV_EDGEに応じてカウンタをインクリメントする必要がある。例えば動きベクトル境界判定信号MV_EDGEが２であればカウンタを２インクリメントし、３であればカウンタを３インクリメントする必要がある。
【符号の説明】
【００５５】
１０ スクロール判定装置
１１ フレームメモリ
１２ 動きベクトル検出部
１３ 水平動きベクトル境界判定部
１４ 垂直動きベクトル境界判定部
１５ 境界判定信号混合部
１６ 境界判定信号集計部
１７ 全体スクロール判定部
３４５ 境界判定信号生成部
【技術分野】
【０００１】
本発明は、フレーム内の画像が全体的にスクロールしているか否かを的確に判定することができるスクロール判定装置及び方法に関する。
【背景技術】
【０００２】
液晶ディスプレイ等に動画像を表示する際に、動画ぼやけを低減させるために、動き補償フレーム生成方法を用いてフレームレートを変換することが行われている。動き補償フレーム生成方法においては、画像の動きを検出して補償フレームを生成することから、動きの検出を誤った場合には補償フレーム内に誤った補償によって生成された領域を含むことになる。従って、画質を劣化させてしまう。そこで、動き補償フレーム生成方法を用いたフレームレート変換装置等の映像信号処理装置においては、画像の動きを的確に検出して動き補償品質を高めることが求められる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４１２２２７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
動き補償品質を高めるための一手法として、フレーム内の全体で画像がどのように動いているかを判定して、補償フレームを生成する際に判定結果を反映させることが考えられる。フレーム内の画像が全体的にほぼ一方向にスクロールするいわゆる全体スクロールしているか否かを判定することができれば、補償フレームを生成する際の動き補償品質を高めることができる。
【０００５】
そこで、本発明は、フレーム内の画像の全体スクロールを的確に判定することができるスクロール判定装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述した従来の技術の課題を解決するため、映像信号におけるそれぞれのフレーム内の所定の検出単位毎に画像の動きベクトルを検出する動きベクトル検出部（１２）と、前記動きベクトル検出部で検出された動きベクトルの内、１フレーム内の異なる検出単位間の動きベクトルを比較することによって、前記異なる検出単位間に動きベクトルの境界が存在するか否かを判定して動きベクトル境界判定信号を生成する境界判定信号生成部（３４５）と、前記境界判定信号生成部が生成した動きベクトル境界判定信号を集計して、１フレーム内で動きベクトルの境界が存在する程度を示す集計値を生成する境界判定信号集計部（１６）と、前記集計値と所定の閾値とを比較することによって、画像が全体的にスクロールしているか否かを示す全体スクロール判定信号を生成する全体スクロール判定部（１７）とを備えることを特徴とするスクロール判定装置を提供する。
【０００７】
上記のスクロール判定装置において、前記境界判定信号生成部は、注目する検出単位で検出した動きベクトルと、前記注目する検出単位の左方，右方，上方，下方に位置する少なくとも１つの検出単位で検出した動きベクトルとを比較することによって、注目する検出単位のそれぞれに対して動きベクトル境界判定信号を生成することが好ましい。
【０００８】
上記のスクロール判定装置において、前記境界判定信号生成部は、１フレーム内の異なる検出単位で検出された動きベクトルの水平成分を比較することによって、前記異なる検出単位間に水平方向の動きベクトルの境界が存在するか否かを判定して水平動きベクトル境界判定信号を生成する水平動きベクトル境界判定部（１３）と、１フレーム内の異なる検出単位で検出された動きベクトルの垂直成分を比較することによって、前記異なる検出単位間に垂直方向の動きベクトルの境界が存在するか否かを判定して垂直動きベクトル境界判定信号を生成する垂直動きベクトル境界判定部（１４）と、前記水平動きベクトル境界判定信号と前記垂直動きベクトル境界判定信号とを混合する境界判定信号混合部（１５）とを備えることが好ましい。
【０００９】
上記のスクロール判定装置において、前記境界判定信号混合部は、前記水平動きベクトル境界判定信号と前記垂直動きベクトル境界判定信号との少なくとも一方が、動きベクトルの境界が存在することを示す場合に、前記動きベクトル境界判定信号として、動きベクトルの境界が存在することを示す値を生成することが好ましい。
【００１０】
また、本発明は、上述した従来の技術の課題を解決するため、映像信号におけるそれぞれのフレーム内の所定の検出単位毎に画像の動きベクトルを検出するステップと、検出された動きベクトルの内、１フレーム内の異なる検出単位間の動きベクトルを比較することによって、前記異なる検出単位間に動きベクトルの境界が存在するか否かを判定して動きベクトル境界判定信号を生成するステップと、前記動きベクトル境界判定信号を集計して、１フレーム内で動きベクトルの境界が存在する程度を示す集計値を生成するステップと、前記集計値と所定の閾値とを比較することによって、画像が全体的にスクロールしているか否かを示す全体スクロール判定信号を生成するステップとを含むことを特徴とするスクロール判定方法を提供する。
【００１１】
上記のスクロール判定方法において、前記動きベクトル境界判定信号を生成するステップは、注目する検出単位で検出した動きベクトルと、前記注目する検出単位の左方，右方，上方，下方の少なくとも１つの検出単位で検出した動きベクトルとを比較することによって、注目する検出単位のそれぞれに対して動きベクトル境界判定信号を生成することが好ましい。
【００１２】
上記のスクロール判定方法において、前記動きベクトル境界判定信号を生成するステップは、１フレーム内の異なる検出単位で検出された動きベクトルの水平成分を比較することによって、前記異なる検出単位間に水平方向の動きベクトルの境界が存在するか否かを判定して水平動きベクトル境界判定信号を生成するステップと、１フレーム内の異なる検出単位で検出された動きベクトルの垂直成分を比較することによって、前記異なる検出単位間に垂直方向の動きベクトルの境界が存在するか否かを判定して垂直動きベクトル境界判定信号を生成するステップと、前記水平動きベクトル境界判定信号と前記垂直動きベクトル境界判定信号とを混合するステップとを含むことが好ましい。
【００１３】
上記のスクロール判定方法において、前記混合するステップは、前記水平動きベクトル境界判定信号と前記垂直動きベクトル境界判定信号との少なくとも一方が、動きベクトルの境界が存在することを示す場合に、前記動きベクトル境界判定信号として、動きベクトルの境界が存在することを示す値を生成することが好ましい。
【発明の効果】
【００１４】
本発明のスクロール判定装置及び方法によれば、フレーム内の画像の全体スクロールを的確に判定することができる。
【図面の簡単な説明】
【００１５】
【図１】一実施形態のスクロール判定装置を示すブロック図である。
【図２】図１における動きベクトル検出部１２における動きベクトル検出動作を説明するための図である。
【図３】図１における水平動きベクトル境界判定部１３及び垂直動きベクトル境界判定部１４における境界判定動作を説明するための図である。
【図４】境界判定動作の他の例を示す図である。
【図５】図１における境界判定信号集計部１６における集計動作を説明するための図である。
【図６】図１における境界判定信号集計部１６における集計動作を示すフローチャートである。
【図７】図１における全体スクロール判定部１７が全体スクロール判定信号DSを生成する際の特性の一例を示す特性図である。
【図８】図１における全体スクロール判定部１７が全体スクロール判定信号DSを生成する際の特性の他の例を示す特性図である。
【図９】図１における水平動きベクトル境界判定部１３が境界判別値MV_H_LEFTを生成する際の特性の一例を示す特性図である。
【発明を実施するための形態】
【００１６】
以下、本発明のスクロール判定装置及び方法の一実施形態について、添付図面を参照して説明する。図１において、一実施形態のスクロール判定装置１０は、フレームメモリ１１，動きベクトル検出部１２，水平動きベクトル境界判定部１３，垂直動きベクトル境界判定部１４，境界判定信号混合部１５，境界判定信号集計部１６，全体スクロール判定部１７を備える。水平動きベクトル境界判定部１３，垂直動きベクトル境界判定部１４，境界判定信号混合部１５は、境界判定信号生成部３４５を構成している。
【００１７】
図１において、映像信号はフレームメモリ１１及び動きベクトル検出部１２に入力される。フレームメモリ１１及び動きベクトル検出部１２に入力されるフレームを現在フレームＦ０とする。フレームメモリ１１は、現在フレームＦ０の映像信号を１フレーム期間遅延させて出力する。フレームメモリ１１より出力される現在フレームＦ０に対して１フレーム過去のフレームを過去フレームＦ１とする。過去フレームＦ１の映像信号は、動きベクトル検出部１２に入力される。
【００１８】
動きベクトル検出部１２は、現在フレームＦ０と過去フレームＦ１の映像信号を用いて、過去フレームＦ１上の検出単位毎の動きベクトルを検出する。ここで、図２を用いて動きベクトル検出部１２による動きベクトルの検出動作について説明する。図２において、過去フレームＦ１内の所定の座標（ｘ，ｙ）に位置する注目画素Ｐｉに対する動きベクトルを検出するとする。動きベクトル検出部１２は、現在フレームＦ０上の所定の座標（ｘ，ｙ）のｘ，ｙそれぞれに対して例えば±４０画素の範囲を探索範囲とする。動きベクトル検出部１２は、注目画素Ｐｉから探索範囲内の全ての画素に向かう複数の動きベクトル候補ＭＶｃの中から、最も相関の高い現在フレームＦ０内の画素Ｐｊに向かう動きベクトルＭＶｓを検出する。
【００１９】
本実施形態においては、相関を判断する指標の一例として、２フレーム間の輝度の差分絶対値和（SAD：Sum of Absolute Differences）を用いる。図２に示すように、動きベクトル検出部１２は、SAD値を、一例として、注目画素Ｐｉの周辺の水平７画素及び垂直７画素のブロックＢｉと画素Ｐｊの周辺の水平７画素及び垂直７画素のブロックＢｊ内の各画素を用いて、式（１）により計算する。式（１）において、（mvx_c,mvy_c）は図２の動きベクトル候補ＭＶｃに相当する動きベクトル候補、SAD(mvx_c,mvy_c)は動きベクトル候補（mvx_c,mvy_c）に対するSAD値、L0(x,y)，L1(x,y)はそれぞれ現在フレームＦ０、過去フレームＦ１内の座標（ｘ，ｙ）での画素の輝度値である。
【００２０】
【数１】
【００２１】
式（１）で計算したSAD値が最小となる画素が最も相関が高い。動きベクトル検出部１２は、複数の動きベクトル候補ＭＶｃの中からSAD値が最小となる画素Ｐｊに向かう動きベクトルＭＶｓを抽出して、抽出した動きベクトルＭＶｓを動きベクトルＭＶとして出力する。
【００２２】
動きベクトル検出部１２における動きベクトルＭＶの検出単位、動きベクトルＭＶの探索範囲、相関の指標は上記の例に限定されるものではない。相関の指標としてSAD値を用いる場合、ブロックＢｉ，Ｂｊのサイズ及び形状は上記の例に限定されるものではない。動きベクトルＭＶの検出単位が画素単位ではなく、ブロック単位の場合は、注目単位としては注目画素Ｐｉではなく、注目ブロックとなる。また、動きベクトル検出部１２は図２に示すように隣接する２フレーム内の画素ではなく、隣接していない２フレーム内の画素を用いて動きベクトルＭＶを検出してもよい。さらに、動きベクトルＭＶの検出精度を高めるために２フレームより多いフレーム内の画素を用いて動きベクトルＭＶを検出してもよい。動きベクトル検出部１２における動きベクトルＭＶの検出方法は任意である。
【００２３】
図１に戻り、動きベクトル検出部１２より出力された動きベクトルＭＶは、水平動きベクトル境界判定部１３及び垂直動きベクトル境界判定部１４に入力される。水平動きベクトル境界判定部１３は、動きベクトルＭＶに基づいて、水平方向の動きベクトルの境界を判定する。垂直動きベクトル境界判定部１４は、動きベクトルＭＶに基づいて、垂直方向の動きベクトルの境界を判定する。
【００２４】
図３を用いて、水平動きベクトル境界判定部１３で行われる水平方向の動きベクトルＭＶの境界を判定する方法について説明する。図３において、注目画素Ｐｉで検出された動きベクトルＭＶをMV_REF、注目画素Ｐｉの左側に隣接する画素Ｐａで検出された動きベクトルＭＶをMV_LEFT、注目画素Ｐｉの上側に隣接する画素Ｐｂで検出された動きベクトルＭＶをMV_ABOVEとする。まず、水平動きベクトル境界判定部１３は、式（２）を用いて、注目画素Ｐｉと左側の画素Ｐａとの間における水平方向の動きベクトルの境界の有無を判定する。式（２）において、MV_REF_H，MV_LEFT_HはMV_REF，MV_LEFTの水平成分、TH_Hは所定の閾値である。
【００２５】
|MV_REF_H-MV_LEFT_H| ＞ TH_H …（２）
【００２６】
水平動きベクトル境界判定部１３は、式（２）を満たす場合には、注目画素Ｐｉと左側の画素Ｐａとの境界判別値MV_H_LEFTを“１”とし、式（２）を満たさない場合には、境界判別値MV_H_LEFTを“０”とする。境界判別値MV_H_LEFTが“１”であれば、注目画素Ｐｉと左側の画素Ｐａとの間には、動きベクトルＭＶの水平成分に境界が存在することを示す。即ち、注目画素Ｐｉにおける動きベクトルＭＶの水平成分は、左側の画素Ｐａにおける動きベクトルＭＶの水平成分に対して変化していることを示す。なお、閾値TH_Hの値は、動きベクトルＭＶの探索範囲の大きさ等に応じて適宜設定する。
【００２７】
次に、水平動きベクトル境界判定部１３は、式（３）を用いて、注目画素Ｐｉと、注目画素Ｐｉの直上に位置する上側の画素Ｐｂとの間における水平方向の動きベクトルの境界の有無を判定する。式（３）において、MV_ABOVE_HはMV_ABOVEの水平成分である。
【００２８】
|MV_REF_H-MV_ABOVE_H| ＞ TH_H …（３）
【００２９】
水平動きベクトル境界判定部１３は、式（３）を満たす場合には、注目画素Ｐｉと上側の画素Ｐｂとの境界判別値MV_H_ABOVEを“１”とし、式（３）を満たさない場合には、境界判別値MV_H_ABOVEを“０”とする。境界判別値MV_H_ABOVEが“１”であれば、注目画素Ｐｉと上側の画素Ｐｂとの間には、動きベクトルＭＶの水平成分に境界が存在することを示す。即ち、注目画素Ｐｉにおける動きベクトルＭＶの水平成分は、上側の画素Ｐｂおける動きベクトルＭＶの水平成分に対して変化していることを示す。
【００３０】
ここでは、水平動きベクトル境界判定部１３は、式（２）を用いて、注目画素Ｐｉと左側の画素Ｐａとの間における水平方向の動きベクトルの境界の有無を判定し、次に、式（３）を用いて、注目画素Ｐｉと上側の画素Ｐｂとの間における水平方向の動きベクトルの境界の有無を判定すると説明したが、順番は逆でもよく、両者を同時に判定してもよい。本実施形態では式（２）と式（３）とで同じ値の閾値TH_Hを用いているが、式（２）と式（３）とで異なる閾値を用いてもよい。
【００３１】
水平動きベクトル境界判定部１３は、境界判別値MV_H_LEFTと境界判別値MV_H_ABOVEとのＯＲ演算を行って、水平動きベクトル境界判定信号MV_H_EDGEとして出力する。
【００３２】
図３を用いて、垂直動きベクトル境界判定部１４で行われる垂直方向の動きベクトルＭＶの境界を判定する方法について説明する。図３において、注目画素Ｐｉで検出された動きベクトルＭＶの垂直成分をMV_REF_V、注目画素Ｐｉの左側に隣接する画素Ｐａで検出された動きベクトルＭＶの垂直成分をMV_LEFT_V、注目画素Ｐｉの上側に隣接する画素Ｐｂで検出された動きベクトルＭＶの垂直成分をMV_ABOVE_Vとする。垂直動きベクトル境界判定部１４は、式（４）を用いて、注目画素Ｐｉと左側の画素Ｐａとの間における垂直方向の動きベクトルの境界の有無を判定する。また、垂直動きベクトル境界判定部１４は、式（５）を用いて、注目画素Ｐｉと上側の画素Ｐｂとの間における垂直方向の動きベクトルの境界の有無を判定する。TH_Vは所定の閾値である。本実施形態では式（４）と式（５）とで同じ値の閾値TH_Vを用いているが、式（４）と式（５）とで異なる閾値を用いてもよい。
【００３３】
|MV_REF_V-MV_LEFT_V| ＞ TH_V …（４）
【００３４】
|MV_REF_V-MV_ABOVE_V| ＞ TH_V …（５）
【００３５】
垂直動きベクトル境界判定部１４は、式（４）を満たす場合には、注目画素Ｐｉと左側の画素Ｐａとの境界判別値MV_V_LEFTを“１”とし、式（４）を満たさない場合には、境界判別値MV_V_LEFTを“０”とする。境界判別値MV_V_LEFTが“１”であれば、注目画素Ｐｉと左側の画素Ｐａとの間には、動きベクトルＭＶの垂直成分に境界が存在することを示す。即ち、注目画素Ｐｉにおける動きベクトルＭＶの垂直成分は、左側の画素Ｐａにおける動きベクトルＭＶの垂直成分に対して変化していることを示す。なお、閾値TH_Vの値は、動きベクトルＭＶの探索範囲の大きさ等に応じて適宜設定する。
【００３６】
垂直動きベクトル境界判定部１４は、式（５）を満たす場合には、注目画素Ｐｉと上側の画素Ｐｂとの境界判別値MV_V_ABOVEを“１”とし、式（５）を満たさない場合には、境界判別値MV_V_ABOVEを“０”とする。境界判別値MV_V_ABOVEが“１”であれば、注目画素Ｐｉと上側の画素Ｐｂとの間には、動きベクトルＭＶの垂直成分に境界が存在することを示す。即ち、注目画素Ｐｉにおける動きベクトルＭＶの垂直成分は、上側の画素Ｐｂおける動きベクトルＭＶの垂直成分に対して変化していることを示す。
【００３７】
垂直動きベクトル境界判定部１４は、境界判別値MV_V_LEFTと境界判別値MV_V_ABOVEとのＯＲ演算を行って、垂直動きベクトル境界判定信号MV_V_EDGEとして出力する。
【００３８】
図３に示す例では、注目画素Ｐｉにおける動きベクトルＭＶと、左側の画素Ｐａと上側の画素Ｐｂにおける動きベクトルＭＶとを比較したが、これに限定されることはない。図４（Ａ）に示すように、左側の画素Ｐａの代わりに右側に隣接する画素Ｐｃを用いてもよく、図４（Ｂ）に示すように、上側の画素Ｐｂ代わりに注目画素Ｐｉの直下に位置する下側の画素Ｐｄを用いてもよい。図４（Ｃ）に示すように、右側の画素Ｐｃと下側の画素Ｐｄを用いてもよく、図４（Ｄ）に示すように、上下左右の画素Ｐａ，Ｐｂ，Ｐｃ，Ｐｄを用いてもよい。さらに、図４（Ｅ）に示すように、左側の画素Ｐａのみを用いたり、図４（Ｆ）に示すように、上側の画素Ｐｂのみを用いたりして、簡略化することもできる。但し、全体スクロールの判定精度を向上させるためには、左または右と上または下との双方を用いることが好ましい。
【００３９】
また、必ずしも、注目画素Ｐｉにおける動きベクトルＭＶと、注目画素Ｐｉと隣接する画素の動きベクトルＭＶとを比較しなくてもよい。図４（Ｇ）に示すように、注目画素Ｐｉにおける動きベクトルＭＶと、左側の画素Ｐａのさらに左側の画素Ｐｅにおける動きベクトルＭＶとを比較し、注目画素Ｐｉにおける動きベクトルＭＶと、上側の画素Ｐｂのさらに上側の画素Ｐｆにおける動きベクトルＭＶとを比較してもよい。即ち、注目画素Ｐｉと注目画素Ｐｉに対して左方に位置する画素との動きベクトルＭＶどうし、注目画素Ｐｉと注目画素Ｐｉに対して右方に位置する画素との動きベクトルＭＶどうし、注目画素Ｐｉと注目画素Ｐｉに対して上方に位置する画素との動きベクトルＭＶどうし、注目画素Ｐｉと注目画素Ｐｉに対して下方に位置する画素との動きベクトルＭＶどうしの少なくとも１つを比較すればよい。さらに言えば、注目画素Ｐｉと異なる画素（互いに異なる検出単位）の動きベクトルＭＶを比較すればよい。
【００４０】
再び図１に戻り、境界判定信号混合部１５には、水平動きベクトル境界判定信号MV_H_EDGEと垂直動きベクトル境界判定信号MV_V_EDGEとが入力される。境界判定信号混合部１５は、水平動きベクトル境界判定信号MV_H_EDGEと垂直動きベクトル境界判定信号MV_V_EDGEとをＯＲ演算することによって両信号を混合し、動きベクトル境界判定信号MV_EDGEとして出力する。以上のようにして、境界判定信号生成部３４５は、動きベクトル境界判定信号MV_EDGEを生成する。動きベクトル境界判定信号MV_EDGEは、境界判定信号集計部１６に入力される。
【００４１】
境界判定信号集計部１６は、動きベクトル境界判定信号MV_EDGEを集計する。本実施形態においては、動きベクトルＭＶは１画素単位で検出されるので、動きベクトル境界判定信号MV_EDGEは、図５に示すように、１画素単位で順次出力されることになる。図５において、それぞれの矩形は画素を示し、矩形内の“１”または“０”は動きベクトル境界判定信号MV_EDGEが示す値である。境界判定信号集計部１６は、図６のステップＳ１にて、１フレーム内の動きベクトル境界判定信号MV_EDGEをカウントする。即ち、注目画素Ｐｉに対して得られた動きベクトル境界判定信号MV_EDGEが“１”のときカウンタをインクリメントして、１フレーム内の動きベクトル境界判定信号MV_EDGEを集計して総数EDGE_SUMを求める。
【００４２】
次に、境界判定信号集計部１６は、ステップＳ２にて、総数EDGE_SUMを式（６）を用いて正規化して正規化集計値EDGE_SUM_NRMを出力する。式（６）において、TOTAL_NUMは総数EDGE_SUMの取り得る最大値を意味し、本実施形態では動きベクトル境界判定信号MV_EDGEが２値で表されているため、動きベクトル境界判定信号MV_EDGEの検出単位の１フレーム内における総数である。即ち、動きベクトル境界判定信号MV_EDGEは１画素単位で出力されるので、TOTAL_NUMの値は１フレーム内の総画素数となる。
【００４３】
EDGE_SUM_NRM = EDGE_SUM×255/TOTAL_NUM …（６）
【００４４】
１フレーム内の全ての画素に対して得られる動きベクトル境界判定信号MV_EDGEを集計してもよいが、１フレーム内の部分的な画素に対して得られる動きベクトル境界判定信号MV_EDGEを集計してもよい。画面の上下または左右端部では動きベクトルＭＶの検出精度はさほどよくない。そこで、１フレーム内の上下左右の端部を除く、中央部の所定の範囲で動きベクトル境界判定信号MV_EDGEを集計して総数EDGE_SUMを求めてもよい。総数EDGE_SUMを式（６）を用いて正規化して正規化集計値EDGE_SUM_NRMとすれば、正規化集計値EDGE_SUM_NRMは、動きベクトル境界判定信号MV_EDGEの集計範囲に関係なく、０〜２５５の値となる。
【００４５】
図６のステップＳ２による正規化は必須ではないが、動きベクトル境界判定信号MV_EDGEの集計範囲を変更した場合でも正規化集計値EDGE_SUM_NRMは０〜２５５の値となるので、後段の全体スクロール判定部１７における判定処理に影響を与えることがない。そこで、ステップＳ２を設けて総数EDGE_SUMを正規化することが好ましい。
【００４６】
正規化集計値EDGE_SUM_NRMは、全体スクロール判定部１７に入力される。全体スクロール判定部１７は、正規化集計値EDGE_SUM_NRMと所定の閾値TH1とを比較することによって、フレーム内の画像が全体スクロールしているか否かを判定して、全体スクロール判定信号DSを出力する。図７を用いて、全体スクロール判定部１０７が出力する全体スクロール判定信号DSの特性について説明する。全体スクロール判定部１７は、図７に示すように、正規化集計値EDGE_SUM_NRMが閾値TH1以下であれば全体スクロールしていると判定して、全体スクロール判定信号DSとして“１”を出力し、閾値TH1を越えれば、全体スクロールしていないと判定して、全体スクロール判定信号DSとして“０”を出力する。
【００４７】
正規化集計値EDGE_SUM_NRMが閾値TH1以下であるということは、図５に示す動きベクトル境界判定信号MV_EDGEの“１”が少ないということである。動きベクトル境界判定信号MV_EDGEの“１”が少ないということは、動きベクトルＭＶの１フレーム内での変化が少ないということであり、フレーム内の画像が全体的にほぼ一方向にスクロールする全体スクロールであると判断することができる。
【００４８】
図７に示す例は、全体スクロール判定信号DSを“１”と“０”の２値としたが、図８に示すように、閾値TH1，TH2，TH3と３つの閾値を設け、全体スクロール判定信号DSを、正規化集計値EDGE_SUM_NRMが閾値TH1以下のとき“３”、閾値TH1を超えて閾値TH2以下のとき“２”、閾値TH2を超えて閾値TH3以下のとき“１”、閾値TH3を越えれば“０”としてもよい。全体スクロール判定信号DSを０〜３の４値とした場合には、フレームレート変換装置等の映像信号処理装置において、補償フレームを生成する際の動作を全体スクロール判定信号DSの値に応じて細かく段階的に異ならせることが可能となる。
【００４９】
以上の説明より分かるように、本実施形態のスクロール判定装置及び方法においては、まず、動きベクトル検出部１２が、それぞれのフレーム内の所定の検出単位毎に画像の動きベクトルＭＶを検出する。境界判定信号生成部３４５が、１フレーム内の異なる検出単位で検出された動きベクトルＭＶを比較することによって、異なる検出単位間に動きベクトルの境界が存在するか否かを判定して動きベクトル境界判定信号MV_EDGEを生成する。境界判定信号集計部１６が、動きベクトル境界判定信号MV_EDGEを集計して、１フレーム内で動きベクトルの境界が存在する程度を示す集計値（EDGE_SUMまたはEDGE_SUM_NRM）を生成する。
【００５０】
そして、全体スクロール判定部１７が、集計値と所定の閾値（TH1またはTH1，TH2，TH3）とを比較することによって、画像が全体的にスクロールしているか否かを示す全体スクロール判定信号DSを生成する。従って、本実施形態のスクロール判定装置及び方法おいては、動きベクトルＭＶの比較、集計、閾値との比較という比較的簡単な処理を行うだけでよいので、小さな回路規模で実現することができる。しかも、全体スクロールか否かを的確に判定することが可能である。
【００５１】
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。例えば、水平動きベクトル境界判定部１３及び垂直動きベクトル境界判定部１４は、境界判別値を“１”と“０”の２値で判定するようにしたが、３値以上で判定するようにしてもよい。
【００５２】
水平動きベクトル境界判定部１３が境界判別値を３値以上で判定する例を、図９を用いて説明する。図９は水平動きベクトル境界判定部１３が境界判別値MV_H_LEFTを生成する際の一例を示す特性図である。閾値TH_H1，TH_H2，TH_H3と３つの閾値を設け、境界判別値MV_H_LEFTを、|MV_REF_H-MV_LEFT_H|が閾値TH_H3より大きいとき“３”、閾値TH_H3以下かつ閾値TH_H2より大きいとき“２”、閾値TH_H2以下かつ閾値TH_H1より大きいとき“１”、閾値TH_H1以下のとき“０”とした４値で表している。境界判別値MV_H_LEFTは、値が大きいほど境界度合いが大きいことを示す。図９は境界判別値MV_H_LEFTを生成する特性を示しているが、水平動きベクトル境界判定部１３または垂直動きベクトル境界判定部１４は図９と同様の特性で境界判別値MV_H_ABOVE，MV_V_LEFT，MV_V_ABOVEを生成する。
【００５３】
水平動きベクトル境界判定部１３は、求めた境界判別値MV_H_LEFTと境界判別値MV_H_ABOVEとを比較し、値の大きいもの、即ち、境界度合いの大きい値を選択して水平動きベクトル境界判定信号MV_H_EDGEとして出力する。境界判別値を３値以上で判定する場合には、ＯＲ演算は用いない。垂直動きベクトル境界判定部１４も同様の方法で境界判定信号MV_V_EDGEを出力する。
【００５４】
境界判定信号混合部１５では、水平動きベクトル境界判定信号MV_H_EDGEと垂直動きベクトル境界判定信号MV_V_EDGEとをＯＲ演算することで動き境界判定信号MV_EDGEを生成するのではなく、水平動きベクトル境界判定信号MV_H_EDGEと垂直動きベクトル境界判定信号MV_V_EDGEの内、値の大きい方、即ち、より境界度合いの大きい方を選択することで動き境界判定信号MV_EDGEとして出力する必要がある。また、境界判定信号集計部１６にて１フレーム内の動きベクトル境界判定信号MV_EDGEを集計して総数EDGE_SUMを求める際に、動きベクトル境界判定信号MV_EDGEに応じてカウンタをインクリメントする必要がある。例えば動きベクトル境界判定信号MV_EDGEが２であればカウンタを２インクリメントし、３であればカウンタを３インクリメントする必要がある。
【符号の説明】
【００５５】
１０ スクロール判定装置
１１ フレームメモリ
１２ 動きベクトル検出部
１３ 水平動きベクトル境界判定部
１４ 垂直動きベクトル境界判定部
１５ 境界判定信号混合部
１６ 境界判定信号集計部
１７ 全体スクロール判定部
３４５ 境界判定信号生成部
【特許請求の範囲】
【請求項１】
映像信号におけるそれぞれのフレーム内の所定の検出単位毎に画像の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部で検出された動きベクトルの内、１フレーム内の異なる検出単位間の動きベクトルを比較することによって、前記異なる検出単位間に動きベクトルの境界が存在するか否かを判定して動きベクトル境界判定信号を生成する境界判定信号生成部と、
前記境界判定信号生成部が生成した動きベクトル境界判定信号を集計して、１フレーム内で動きベクトルの境界が存在する程度を示す集計値を生成する境界判定信号集計部と、
前記集計値と所定の閾値とを比較することによって、画像が全体的にスクロールしているか否かを示す全体スクロール判定信号を生成する全体スクロール判定部と、
を備えることを特徴とするスクロール判定装置。
【請求項２】
前記境界判定信号生成部は、
注目する検出単位で検出した動きベクトルと、前記注目する検出単位の左方，右方，上方，下方に位置する少なくとも１つの検出単位で検出した動きベクトルとを比較することによって、注目する検出単位のそれぞれに対して動きベクトル境界判定信号を生成する
ことを特徴とする請求項１記載のスクロール判定装置。
【請求項３】
前記境界判定信号生成部は、
１フレーム内の異なる検出単位で検出された動きベクトルの水平成分を比較することによって、前記異なる検出単位間に水平方向の動きベクトルの境界が存在するか否かを判定して水平動きベクトル境界判定信号を生成する水平動きベクトル境界判定部と、
１フレーム内の異なる検出単位で検出された動きベクトルの垂直成分を比較することによって、前記異なる検出単位間に垂直方向の動きベクトルの境界が存在するか否かを判定して垂直動きベクトル境界判定信号を生成する垂直動きベクトル境界判定部と、
前記水平動きベクトル境界判定信号と前記垂直動きベクトル境界判定信号とを混合する境界判定信号混合部と、
を備えることを特徴とする請求項１または２に記載のスクロール判定装置。
【請求項４】
前記境界判定信号混合部は、前記水平動きベクトル境界判定信号と前記垂直動きベクトル境界判定信号との少なくとも一方が、動きベクトルの境界が存在することを示す場合に、前記動きベクトル境界判定信号として、動きベクトルの境界が存在することを示す値を生成することを特徴とする請求項３記載のスクロール判定装置。
【請求項５】
映像信号におけるそれぞれのフレーム内の所定の検出単位毎に画像の動きベクトルを検出するステップと、
検出された動きベクトルの内、１フレーム内の異なる検出単位間の動きベクトルを比較することによって、前記異なる検出単位間に動きベクトルの境界が存在するか否かを判定して動きベクトル境界判定信号を生成するステップと、
前記動きベクトル境界判定信号を集計して、１フレーム内で動きベクトルの境界が存在する程度を示す集計値を生成するステップと、
前記集計値と所定の閾値とを比較することによって、画像が全体的にスクロールしているか否かを示す全体スクロール判定信号を生成するステップと、
を含むことを特徴とするスクロール判定方法。
【請求項６】
前記動きベクトル境界判定信号を生成するステップは、
注目する検出単位で検出した動きベクトルと、前記注目する検出単位の左方，右方，上方，下方の少なくとも１つの検出単位で検出した動きベクトルとを比較することによって、注目する検出単位のそれぞれに対して動きベクトル境界判定信号を生成する
ことを特徴とする請求項５記載のスクロール判定方法。
【請求項７】
前記動きベクトル境界判定信号を生成するステップは、
１フレーム内の異なる検出単位で検出された動きベクトルの水平成分を比較することによって、前記異なる検出単位間に水平方向の動きベクトルの境界が存在するか否かを判定して水平動きベクトル境界判定信号を生成するステップと、
１フレーム内の異なる検出単位で検出された動きベクトルの垂直成分を比較することによって、前記異なる検出単位間に垂直方向の動きベクトルの境界が存在するか否かを判定して垂直動きベクトル境界判定信号を生成するステップと、
前記水平動きベクトル境界判定信号と前記垂直動きベクトル境界判定信号とを混合するステップと、
を含むことを特徴とする請求項５または６に記載のスクロール判定方法。
【請求項８】
前記混合するステップは、前記水平動きベクトル境界判定信号と前記垂直動きベクトル境界判定信号との少なくとも一方が、動きベクトルの境界が存在することを示す場合に、前記動きベクトル境界判定信号として、動きベクトルの境界が存在することを示す値を生成することを特徴とする請求項７記載のスクロール判定方法。
【請求項１】
映像信号におけるそれぞれのフレーム内の所定の検出単位毎に画像の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトル検出部で検出された動きベクトルの内、１フレーム内の異なる検出単位間の動きベクトルを比較することによって、前記異なる検出単位間に動きベクトルの境界が存在するか否かを判定して動きベクトル境界判定信号を生成する境界判定信号生成部と、
前記境界判定信号生成部が生成した動きベクトル境界判定信号を集計して、１フレーム内で動きベクトルの境界が存在する程度を示す集計値を生成する境界判定信号集計部と、
前記集計値と所定の閾値とを比較することによって、画像が全体的にスクロールしているか否かを示す全体スクロール判定信号を生成する全体スクロール判定部と、
を備えることを特徴とするスクロール判定装置。
【請求項２】
前記境界判定信号生成部は、
注目する検出単位で検出した動きベクトルと、前記注目する検出単位の左方，右方，上方，下方に位置する少なくとも１つの検出単位で検出した動きベクトルとを比較することによって、注目する検出単位のそれぞれに対して動きベクトル境界判定信号を生成する
ことを特徴とする請求項１記載のスクロール判定装置。
【請求項３】
前記境界判定信号生成部は、
１フレーム内の異なる検出単位で検出された動きベクトルの水平成分を比較することによって、前記異なる検出単位間に水平方向の動きベクトルの境界が存在するか否かを判定して水平動きベクトル境界判定信号を生成する水平動きベクトル境界判定部と、
１フレーム内の異なる検出単位で検出された動きベクトルの垂直成分を比較することによって、前記異なる検出単位間に垂直方向の動きベクトルの境界が存在するか否かを判定して垂直動きベクトル境界判定信号を生成する垂直動きベクトル境界判定部と、
前記水平動きベクトル境界判定信号と前記垂直動きベクトル境界判定信号とを混合する境界判定信号混合部と、
を備えることを特徴とする請求項１または２に記載のスクロール判定装置。
【請求項４】
前記境界判定信号混合部は、前記水平動きベクトル境界判定信号と前記垂直動きベクトル境界判定信号との少なくとも一方が、動きベクトルの境界が存在することを示す場合に、前記動きベクトル境界判定信号として、動きベクトルの境界が存在することを示す値を生成することを特徴とする請求項３記載のスクロール判定装置。
【請求項５】
映像信号におけるそれぞれのフレーム内の所定の検出単位毎に画像の動きベクトルを検出するステップと、
検出された動きベクトルの内、１フレーム内の異なる検出単位間の動きベクトルを比較することによって、前記異なる検出単位間に動きベクトルの境界が存在するか否かを判定して動きベクトル境界判定信号を生成するステップと、
前記動きベクトル境界判定信号を集計して、１フレーム内で動きベクトルの境界が存在する程度を示す集計値を生成するステップと、
前記集計値と所定の閾値とを比較することによって、画像が全体的にスクロールしているか否かを示す全体スクロール判定信号を生成するステップと、
を含むことを特徴とするスクロール判定方法。
【請求項６】
前記動きベクトル境界判定信号を生成するステップは、
注目する検出単位で検出した動きベクトルと、前記注目する検出単位の左方，右方，上方，下方の少なくとも１つの検出単位で検出した動きベクトルとを比較することによって、注目する検出単位のそれぞれに対して動きベクトル境界判定信号を生成する
ことを特徴とする請求項５記載のスクロール判定方法。
【請求項７】
前記動きベクトル境界判定信号を生成するステップは、
１フレーム内の異なる検出単位で検出された動きベクトルの水平成分を比較することによって、前記異なる検出単位間に水平方向の動きベクトルの境界が存在するか否かを判定して水平動きベクトル境界判定信号を生成するステップと、
１フレーム内の異なる検出単位で検出された動きベクトルの垂直成分を比較することによって、前記異なる検出単位間に垂直方向の動きベクトルの境界が存在するか否かを判定して垂直動きベクトル境界判定信号を生成するステップと、
前記水平動きベクトル境界判定信号と前記垂直動きベクトル境界判定信号とを混合するステップと、
を含むことを特徴とする請求項５または６に記載のスクロール判定方法。
【請求項８】
前記混合するステップは、前記水平動きベクトル境界判定信号と前記垂直動きベクトル境界判定信号との少なくとも一方が、動きベクトルの境界が存在することを示す場合に、前記動きベクトル境界判定信号として、動きベクトルの境界が存在することを示す値を生成することを特徴とする請求項７記載のスクロール判定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−３８４９０（Ｐ２０１３−３８４９０Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７０８３１（Ｐ２０１１−１７０８３１）
【出願日】平成２３年８月４日（２０１１．８．４）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月４日（２０１１．８．４）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]