説明

動画像のカット点検出装置

【課題】 従来よりも大幅に少ない処理で、ディゾルブやワイプなどの特殊カット点を含むシーンチェンジを、高速に且つ高精度で検出する。
【解決手段】 符号化パラメータ抽出部4は、ビデオ信号多重化復号された情報の中から、符号化モード情報、動きベクトル及び変換符号化係数を抽出する。瞬時カット点判定処理部5は、瞬時カット点の前後でシーンが大幅に変化する性質を利用して、圧縮された動画像データ中の符号化モード情報に基づいてブロックを分類することにより、瞬時カット点の判定を行う。特殊カット点判定処理部7は、動きベクトルの値から算出される動きの特徴値と、ブロック内の周波数領域の係数から導かれる予測画像の特徴値と、ある閾値より大きい動きベクトルを持つブロック数により、ディゾルブを、また動きベクトルの値から算出される動きの特徴値と、ブロック内の周波数領域の係数から導かれる予測画像の特徴値により、ワイプを検出する。

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は動画像データのカット点検出装置に関し、特に、動画像検索においてシーンを分類するためのカット点検出を、非常に高速にかつ高精度で行うことのできるカット点検出装置に関する。
【0002】
【従来の技術】動画像の意味的な区分点であるシーンチェンジとしては、瞬時にシーンが変化する瞬時カット点のほか、ディゾルブやワイプなどの特殊効果によるシーンチェンジも含まれる。
【0003】瞬時カット点を検出する方法として、輝度成分や動きなどの特徴量の大きな変化を利用するものが挙げられる。例えば金子、堀による“MPEG動画像の高速カット検出方式”、情報処理学会全国大会、5N−2(1997)では、動きベクトルの符号量を用いてフレーム間での類似度を定義し、類似度のピークを検出することにより瞬時カット点を検出している。また、中島による“フレーム間輝度差分と色差相関による圧縮動画像データからのカット検出”、電子情報通信学会春季大会、D−501(1994)では、離散的なフレームのデータを用い、フレーム間輝度差分と色差相関の時間的なピークを組み合わせて瞬時カット点を検出している。
【0004】また、瞬時カット点と誤検出されやすいフラッシュシーンの判定については、連続した複数のフレーム間での相関性を調べることで、その判定を行っている。例えば特願平9-041709号では、カット点検出対象のフレームn(nは正の整数)とフレーム(n−1 )との相関と、フレーム(n+1 )とフレーム(n−1 )との相関を取り、前者の2つのフレーム間で瞬時カット点が存在し、後者の2つのフレーム間では瞬時カット点が存在しないと判定される場合には、該フレームnはフラッシュシーンであると判定している。
【0005】ディゾルブやフェードイン/フェードアウト、ワイプなどの特殊効果は、ある期間持続する遷移であるため、輝度の変化やフレーム間差分など、画像領域でのある特徴値を連続的に観測することで判定することができる。例えば縮小画像を用いる方法として、特願平8-252333号では、各フレームの輝度成分の画面内アクティビティからフレーム間のアクティビティの移動平均を求め、さらに各フレームの色差信号のヒストグラムからフレーム間の色差ヒストグラムの相関値を求め、これらの時間的変化がそれぞれに対して設定された閾値を超える場合にディゾルブであると判定している。また、これとは別に符号化パラメータを用いる例として、新倉、谷口、外村らによる“MPEG符号化映像データからのシーンチェンジ検出方法の検討”、電子情報通信学会技術研究報告、IE97−65(1997)では、ディゾルブ区間において予測誤差が比較的大きな値となり、且つその符号が一定となる性質を利用して、ディゾルブ区間を検出している。
【0006】同様にワイプの判定に関しては、例えば縮小画像から行う検出の例として、前出の特願平9-041709号では、ある区間におけるフレーム間差分値がある閾値を超えるフレーム数がある閾値より多く、且つその区間の前後の区間においてフレーム間差分値がある閾値以下のフレーム数がある閾値より多い場合に、ワイプと判定している。これに対して、符号化パラメータからワイプ検出を行う例はこれまで報告がない。
【0007】
【発明が解決しようとする課題】これらの従来手法によるカット点検出技術は、次のような問題を有している。まずカット点検出の前処理として縮小画像を作成する方法では、特に対象となる画像のサイズが大きくなると縮小画像生成部84での処理コストが無視できなくなり、全体の検出処理の高速化を実現できないという問題があった。例えば、標準TVレベルのサイズを対象とした場合には、圧縮データを再生するのと同程度の検出時間を必要としていた。
【0008】さらに、作成した縮小画像間での特徴量の変化を利用してカット点の検出を行う方法では、復号したフレームを保持する必要があり、同様に画像のサイズが大きくなると装置コストの増大につながるという問題があった。
【0009】また、検出処理の高速化を図るために、判定の対象とするフレームを画像内符号化フレームに限定する方法等では、これらが時間方向で離散的に配置されているために、カメラや物体が動くシーンについてもシーンチェンジとして誤って検出してしまうケースが見られた。
【0010】圧縮動画像データを可変長復号することによって得られる符号化パラメータを用いてカット点の検出を行う方法では、例えば全てのブロックの符号化パラメータを抽出する必要があるため、画像のサイズが大きくなった場合には検出時間の増大を招いていた。例えば、標準TVサイズの画像では、圧縮データを再生する場合の1.4倍程度の速度しか実現できなかった。
【0011】さらに、符号化パラメータを用いる方法によりディゾルブやワイプなどの特殊カット点を検出する場合には、これらの特殊カット点を精度良く検出することが困難であり、信頼性の点で問題があった。
【0012】本発明の目的は、従来のカット点検出装置よりも大幅に少ない処理で、ディゾルブやワイプなどの特殊カット点を含むシーンチェンジを、高速に且つ高精度で検出することのできるカット点検出装置を提供することにある。
【0013】
【課題を解決するための手段】上記目的を達成するために、本発明は、動画像のカット点検出装置において、圧縮された動画像データを、ビデオ信号多重化復号する手段と、該手段によって得られたビデオ信号多重化復号情報から、符号化モード情報、動きベクトル及び変換符号化係数を少くとも抽出する手段と、該抽出された符号化モード情報、動きベクトル及び変換符号化係数を用いて、シーンチェンジの判定を行う手段とを具備した点に特徴がある。
【0014】また、動画像のカット点検出装置において、圧縮データの解析レベル、即ち最低限の復号処理であるビデオ信号多重化復号から得られる符号化パラメータをシーンチェンジの判定に用いることで、高速な処理を可能とした点に特徴がある。また、本発明は、符号化パラメータを抽出すべきブロックを時間的及び空間的に大幅に削減することで、従来の符号化パラメータを用いるカット点検出装置と比較してより高速なカット点検出処理を行えるという点に特徴がある。
【0015】また、本発明は、抽出した符号化パラメータに対して複雑な演算処理を施す必要もなく、単純な閾値処理と積和演算処理程度でカット点の検出を行うことができるため、装置コストを大幅に削減できるという点に特徴がある。
【0016】また、本発明は、瞬時にシーンが入れ替わる瞬時カット点の検出において、時空間的に抽出されたブロックの符号化モード情報だけを用いて瞬時カットの判定を行うことを可能とした点に特徴がある。
【0017】また、本発明は、瞬時カット点であると判定された複数の該フレーム群が、時間的に非常に近い距離に集中する場合に、該フレーム群はフラッシュシーンの区間に存在すると判定し、瞬時カット点の対象から除外するようにした点に特徴がある。
【0018】また、本発明は、これまで画像領域での判定に委ねられていたディゾルブ及びフェードイン、フェードアウトのような特殊効果の検出処理を、符号化パラメータから算出される画像の動き情報及び予測誤差情報により行うことを可能とし、静止シーンや動きの小さいシーンとの区別を行える点に特徴がある。
【0019】さらに、本発明は、同様にこれまで画像領域での特徴量の時間的変化によって検出の判定を行っていたワイプについて、符号化パラメータから算出される画像の動き情報及び予測誤差情報により検出を行うことを可能とし、カメラや物体の動きを持つシーンとの区別を行える点に特徴がある。
【0020】本発明によれば、圧縮データ中の符号化パラメータから、瞬時カット点及びディゾルブ、ワイプを含む特殊カット点を、非常に高速に、且つ高精度に検出することが可能となる。
【0021】
【発明の実施の形態】以下に、図面を参照して、本発明を詳細に説明する。図9のフローチャートにより本発明の概要を説明する。まず、ステップS1にて、画像が入力される。ステップS2では、該画像から符号化パラメータが抽出される。ステップS3では、該抽出された符号化パラメータを用いて、瞬時カット画面であるか否かの判断がなされる。この判断が否定の時にはステップS4に進み、肯定の時にはステップS9に進む。ステップS4では、特殊カット画面であるディゾルブ画面を検出したか否かの判断がなされる。この判断が肯定の時にはステップS5に進んでその旨が登録される。前記ステップS4の判断が否定の時にはステップS6に進んでワイプ画面を検出したか否かの判断がなされる。この判断が肯定の時にはステップS7に進んでその旨が登録される。その後、ステップS8に進む。
【0022】一方、前記ステップS3が肯定の時にはステップS9に進んでフラッシュを検出したか否かの判断がなされる。この判断が否定の時にはステップS10に進んで、瞬時カット画面であると登録される。該ステップS9の判断が肯定の時にはステップS8に進む。ステップS8では、画像入力が最終のフレームであるか否かの判断がなされ、この判断が否定の時には、ステップS1に戻って、次のフレームの画像が入力される。この発明は、前記ステップS2で抽出された符号化パラメータを用いて、ステップS3、S4、S6、およびS9の処理をするようにした点に特徴がある。
【0023】次に、本発明の一実施形態を、図1のブロック図を参照して、詳細に説明する。なお、本実施形態では、汎用動画像符号化の国際標準であるMPEGによって圧縮された動画像データからのカット点検出方法について説明するが、本発明はこれに限定されるものではなく、他の圧縮方法により圧縮された符号化データに対しても、同様な処理によりカット点の検出を行うことができる。
【0024】ここでMPEGデータは、15又は12フレームで1つの画面群単位をなし、Iピクチャ又はPピクチャの現れる周期は3であるとする。また、ある画面群単位の先頭のBピクチャは、直前の画面群単位からの予測を使えるものとする。これらの条件は、一般的なMPEGフォーマットの一つである。
【0025】まずMPEG圧縮データが可変長復号部1に入力されると、対象フレーム抽出部2で判定に用いられるフレームのみを取り出せるように、フレームの開始コードと時間参照値を基に圧縮データが読み飛ばされる。さらに、該フレームに対して、対象スライス抽出部3で判定に用いられるブロックが属する領域のみを取り出せるように、スライスの開始コードを基に圧縮データが読み飛ばされる。例えば、図3(a) (b) に示すように、前記対象フレーム抽出部2で抽出されるフレームは後方の参照フレームに近いBピクチャ(B1 、B4 、B7 、B10、…)とし、前記対象スライス抽出部3で抽出される領域は該Bピクチャに属するスライスを垂直方向に間引いて得られる領域S1 〜S5 とすることができる。
【0026】該領域S1 〜S5 に属するブロックからカット点検出に必要な符号化パラメータを抽出するために、該ブロックは符号化パラメータ抽出部4に入力される。
【0027】以下に、図2を参照して、該符号化パラメータ抽出部4の構成と動作を説明する。図2は該符号化パラメータ抽出部4の一具体例を示すブロック図である。該符号化パラメータ抽出部4は、符号化モード抽出部11と、符号化モードパラメータ算出部12と、動きベクトル値抽出/変換処理部13と、動きベクトルパラメータ算出部14と、符号化ブロックパターン抽出部15と、予測誤差情報抽出部16とから構成されている。
【0028】前記符号化モード抽出部11は入力されてきたブロックを、予測符号化モードの種類よって分類する。そして、符号化モードパラメータ算出部12において、順方向予測符号化モードを持つブロック数Nfwd と、逆方向予測符号化モードを持つブロック数Nbwd を数える。
【0029】次に、前記動きベクトル値抽出/変換処理部13は前記ブロックを可変長復号する。該可変長復号で得られるベクトル値は左隣のベクトル値との差分値であるため、該動きベクトル値抽出/変換処理部13はさらに該差分値を正規のベクトル値に変換する。この差分値は、フレームの最左端のブロック、この場合ではスライスの先頭で初期化されるため、本発明のようにスライス単位で間引き処理を行っても、正確なベクトル値を再現できる。
【0030】こうして得られたベクトル値は、動きベクトルパラメータ算出部14において該領域に対して積算され、該領域全体での動きベクトルの平均値及び分散が出力される。これらは、順方向及び逆方向の、x成分(水平方向)及びy方向(垂直方向)に対して、下記の式(1) 〜(4) のように、Mmvfx、Mmvfy、Mmvbx、Mmvby、及びVmvfx、Vmvfy、Vmvbx、Vmvbyが定義される。
【0031】
【数1】


【0032】
【数2】


ここで、Mmvは動きベクトルの平均値、Vmvは動きベクトルの分散を表し、fは順方向、bは逆方向、xは水平方向、yは垂直方向を表す。
【0033】例えば、Mmvfxは順方向動きベクトルの水平成分の平均値を表し、Vmvbyは逆方向動きベクトルの垂直成分の分散を表す。また、絶対値がある閾値(例えば4)より大きい順方向動きベクトルを持つブロック数をNfmc 、絶対値がある閾値(例えば2)より大きい逆方向動きベクトルを持つブロック数をNbmc とする。さらに、動きベクトルの成分が(0,0)でない順方向動きベクトルを持つブロック数をNmvf 、逆方向ベクトルを持つブロック数をNmvb とする。
【0034】次に、該領域S1〜S5に属するブロックにおいて、それらに属するサブブロックの符号化/非符号化を表わす符号化パラメータが、符号化ブロックパターン抽出部15に入力される。該符号化ブロックパターン抽出部15で抽出された値は該領域に対して積算され、該領域全体での符号化輝度サブブロック数Sy及び符号化色差サブブロック数Scが数えられる。
【0035】さらに、該ブロックに属するサブブロックにおいて、DCT係数に関する符号化パラメータが予測誤差情報抽出部16へ入力される。ここでは、可変長復号されたDCT係数に関する符号化パラメータを用いて、該領域に属するi番目の符号化サブブロック31に対して図4のように直流成分を除く非零係数(レベル)のブロック当たりの絶対値累積和BLi の該サブブロック全体での総和及び非零係数が存在する周波数帯域BRi (サブブロックの最後の非零係数までの0ラン数+非零係数の個数)の該サブブロック全体での総和を求め、これを下式(5) 及び(6) に示すように該符号化サブブロック数Nsbc で除することにより、該領域に属するサブブロックの平均レベルABL及び平均ラン長ABRを求める。
【0036】
【数3】


ここで、該符号化サブブロック数Nsbc は、輝度符号化サブブロック数Sy、色差符号化サブブロック数Sc又はSy+Scのいずれかを用いることができる。以上の符号化パラメータが抽出されると、前記フレームはこれらの符号化パラメータと共に、図1の各カット点判定処理部5、6に入力される。最初に瞬時カット点判定処理部5、そして後処理としてのフラッシュ判定処理部6に入力される。
【0037】ここで、図5(a) のように、該フレームnの直後の参照フレーム(フレーム内符号化画像又はフレーム間順方向予測画像)で瞬時カットが起きた場合、順方向から予測が多く行われ、逆方向からの予測は殆ど行われない。したがって、符号化モードパラメータ算出部12で得られたNfwd 及びNbwd に対し、下記の式(7) に示すようにNfwd がある閾値Tha1 (例えば、該フレーム内の全ブロック数の35%等)より大きく、Nbwd がある閾値Tha2 (例えば、該フレーム内の全ブロック数の10%等)より小さい場合、該フレームnの直後の参照フレームが瞬時カット点候補であると判定できる。
Nfwd >Tha1 かつNbwd <Tha2 …(7)そして、フラッシュ判定処理部6により直前の該フレームn−1 により瞬時カット点が検出されていなければ、フレームnは瞬時カット点として検出される。同様にして、図5(b) のように、該フレームnまたは直前のBピクチャに瞬時カット点が存在する場合、逆方向からの予測が多く行われ、順方向からの予測は殆ど行われない。したがって、下記の式(8) のように、Nbwd が閾値Tha3 (例えば該フレーム内の全ブロック数の30%など)より大きく、Nfwd がTha4 (例えば全ブロック数の5%など)より小さい場合、該フレームn又は直前のBピクチャが瞬時カット点であると判定できる。
Nbwd >Tha3 かつNfwd <Tha4 …(8)そして、フラッシュ判定処理部6により直前の該フレームn−1 により瞬時カット点が検出されていなければ、フレームn又は直前のBピクチャは瞬時カット点として検出される。このとき、どちらのBピクチャでシーンチェンジが起こったかを明確化するには、図5(c) のように、I又はPに挟まれた2つのBピクチャを対象フレームとして瞬時カット点検出を行う。
【0038】例えば、最初のBピクチャB1と2番目のBピクチャB2において、B1で順方向予測が多く行われるが、逆方向予測が殆ど行われず、逆にB2で順方向予測が殆ど行われないが、逆方向予測が多く行われた場合には、B2が瞬時カット点であると判定できる。これに対して、B1およびB2が共に、逆方向予測が多く行われるが順方向予測が殆ど行われなかった場合には、B1が瞬時カット点であると判定する。
【0039】該フレームn及びn−1 により連続して瞬時カット点が検出された場合には、該フレームはフラッシュ区間にあるとみなされ、瞬時カット点の対象から除外される。従って、この後の特殊カット点判定処理部7にも移行しない。
【0040】瞬時カット点判定処理部5及びフラッシュ判定処理部6を経て瞬時カット点と判定されたフレームは、検出カット点登録処理部8で、その時間コードが登録される。
【0041】瞬時カット点判定処理部5により瞬時カット点として検出されなかったフレームは、特殊カット点判定処理部7に送られる。該特殊カット点判定処理部7は、図6に示されているように、パラメータ評価部20と、サブ処理としてのディゾルブ判定処理部21、第1のワイプ判定処理部22、及び第2のワイプ判定処理部23を有している。
【0042】以下に、これらの動作を、図7および図8を参照して説明する。図7は該動作を説明するためのフローチャート、図8はワイプ画面の説明図である。
【0043】まず特殊カット点判定処理部7のパラメータ評価部20には、ディゾルブ/ワイプ判定に必要な共通要素として、動きベクトルパラメータ算出部14により得られた動きベクトルの平均値Mmv及び分散Vmvと、予測誤差情報に関するパラメータABL及びABR、すなわち、サブブロックの平均レベルABL及び平均ラン長ABRが入力される。また、逆方向動きベクトルを持つブロック数Nbmc がディゾルブに対して有意な判定要素として入力され、該Nbmc に加えて順方向ベクトルに関するNfmc がワイプに対して有意な判定要素として入力される。
【0044】パラメータ評価部20は、入力された各パラメータを閾値処理により評価し、各サブ処理(ディゾルブ判定、第1のワイプ判定、第2のワイプ判定)の条件に合致する該フレームをそれらの各サブ処理の判定処理部21〜23に移行する。ここで、該フレームのパラメータがどのサブ処理の条件にも合致しなかった場合には、次のフレーム入力処理へ移行する。
【0045】ディゾルブ期間では動きが殆どないため、小さい動きベクトルがランダムに発生することが予想される。さらに、徐々にシーンが遷移するディゾルブでは、動き補償予測が効果的に行われることが予想される。したがって、パラメータ評価部20は、図7のステップS21に示されているように、該フレームにおける動きベクトルのx方向に関する平均値Mmvfx、Mmvbxがある閾値Thd1 (例えば絶対値が2など)より小さく、分散Vmvfxがある閾値Thd2 (例えば50など)より大きい場合、さらにABL及びABRがそれぞれある閾値Thd3 (例えば2.5)及びThd4 (例えば15など)より小さい場合に、該フレームをディゾルブ判定処理部21へ送出する。
【0046】ただし、この特性は平坦な静止シーンあるいはフレーム全体で小さい動きを持つシーンにおいても見られる傾向であるため、ディゾルブ判定処理部21では、平坦な静止シーン/小さな動きシーンと、ディゾルブとを区別する。
【0047】平坦な静止シーンまたは小さな動きシーンでは、動きの分布状況が変化しないと考えられるため、ディゾルブ判定処理部21に入力された該ディゾルブ候補フレーム数Fd を観測すると、逆方向動きベクトルを持つブロック数Nbmc が大きい値を持続する。これに対して、新しいシーンが合成されることによって動きの分布状況が変化するディゾルブでは、該Nbmc に何らかの変化が見られる(例えば急激に減少するなど)。
【0048】ここで、連続したフレームの特徴を調べるために、該フレームはディゾルブ判定処理部21に入ると、図7のステップS31に示されているように、ディゾルブ候補フレーム数Fd のカウンタが増やされ、これがある閾値THD1(例えば5)を超えた場合(ステップS32の判断が肯定)に、ステップS33に進んで、Nbmc の時間変化が評価される。Fd がTHD1を超えないうちは(ステップS32の判断が否定)、ステップS35に進んで新たなフレーム入力処理に移る。ここで、ワイプ候補フレーム数のカウンタFw1およびFw2はクリアされる。なお、図中の■は全て図9の■へ進む。また、Fd は該フレームがディゾルブ判定処理部21に入力されなかった場合にはクリアされる。
【0049】THD1を超えたFd 枚の連続した該フレーム群に対して、それらのNbmc が大きな値で持続する場合(ステップS34の判断が否定)は、平坦な静止シーンまたはフレーム全体で動きの小さいシーン、そうでない場合(ステップS34の判断が肯定)は、ディゾルブ期間であると判定することができる。ただし、FdがTHD1を大きく上回った場合には、ディゾルブ期間とは判定されない(ステップS33が肯定)。
【0050】ディゾルブ判定処理部21においてディゾルブと判定された該フレーム群は、検出カット点登録処理部8(図1参照)に送られ、ディゾルブ終了後の該フレームの時間コードが登録される。ディゾルブと判定されなかった場合には、新たなフレーム入力処理(図9のステップS1)に戻る。
【0051】一方、パラメータ評価部20での評価で、4つの動きベクトルの平均値Mmvのうちいずれかがある閾値Thw1 (例えば絶対値が10など)より大きく、かつ4つの分散Vmvのうちいずれかがある閾値Thw2 (例えば100など)よりも大きい場合(ステップS22の判断が肯定)には、第1のワイプ判定処理部22へ進む。前記2つの条件は同時には満たされないが、4つのVmvのうちいずれかがある閾値Thw3 (例えば50など)より大きい場合(ステップS23の判断が肯定)には、該フレームは第2のワイプ判定処理部23へ、それぞれ移行する。
【0052】図8のワイプモデルにおいて、前記第1のワイプ判定処理部22で検出されるワイプは、同図の(a) または(b) のタイプであり、第2のワイプ判定処理部23で検出されるワイプは、同図の(c) のタイプである。
【0053】シーンの中にパニング等のカメラの動きやフレーム全体での物体の動き等が存在する場合、動きベクトルの平均値及び分散が共に大きい性質を示す。したがって、図8の(a) や (b)のような大きなベクトルの現れるワイプとの区別を行うために、第1のワイプ判定処理部22において以下の処理を行う。
【0054】カメラや物体が動くシーンでは、フレーム全体で動き補償予測が効果的に行われるため、予測誤差のフレーム平均は一般に小さいと見なせる。一方、ワイプでは新たなシーンが現れるために、動き補償が効果的に利用できる領域は限定され、その結果予測誤差のフレーム平均が大きくなる。従って、該フレームのABRがThw4 (例えば10など)より大きい場合(ステップS41の判断が肯定)にはワイプ候補であると判定し、そうでない場合にはカメラまたは物体の動きシーンであると判定することができる。そして、ワイプ候補となったフレームの数Fw1がある閾値THW1(例えば10または11)に達した場合(ステップS43の判断が肯定)に、該フレーム群はワイプ期間に存在すると判定する。なお、さらに、Fw1がTHW1を大きく超えた場合にはワイプ期間とは判定されない(ステップS44)。
【0055】これに対して、静止シーン又はフレームが部分的に動くシーンでは、動きベクトルの分散が大きくなる性質を示す。したがって、第2のワイプ判定処理部23では、図8の(c) のような大きなベクトルの現れないワイプとこれらのシーンを区別するために、以下の処理を行う。
【0056】まず、前と同様に、ワイプでは予測誤差情報のフレーム平均が大きくなることを用いて、ABL及びABRを閾値Thw5 (例えば2.5)およびThw6 (例えば12)によって閾値処理(ステップS51)し、ワイプ候補となるフレームを選択する。
【0057】ワイプ期間では合成される2つのシーンの動きの分布が異なるため、ある連続したフレーム群に対して有意なベクトルをもつブロック数を観察すると、それらは減少または増加の傾向を示す。これに対して、静止シーンまたはフレームの一部の動きシーンでは、連続したフレーム群の有意ベクトルをもつブロック数は、大きい値または小さい値で変化が殆どない。したがって、第2のワイプ判定処理部23でワイプとの候補となったFw 2枚のフレームがある閾値THW3(例えば5)を超え(ステップS53の判断が肯定)、それらのNfmc とNbmc が大きい値または小さい値で持続する場合には静止シーンであり、Nfmc とNbmc が共に増加または減少の傾向を示す場合(ステップS55の判断が肯定)には、該フレーム群はワイプ期間に存在すると判定できる。一方、ステップS55の判断が否定の場合には、静止シーンまたはフレームの一部の動きシーンであると判定する。なお、第1のワイプ判定処理部22と同様に、Fw2がTHW3を大きく超えた場合には、ワイプ期間とは判定されない(ステップS54)。
【0058】前記第1のワイプ判定処理部22又は第2のワイプ判定処理部23においてワイプと判定されたフレーム群は、検出カット点登録処理部8に移行し、ワイプ終了後のフレームの時間コードが登録される(図9のステップS7)。
【0059】
【発明の効果】以上のように本発明によれば、圧縮された動画像データから、最低限の復号処理であるビデオ信号多重化復号のみで抽出される符号化パラメータだけを用いて瞬時カット点検出、及びディゾルブやワイプなどの特殊カットを検出できるので、カット点検出に伴う処理時間を大幅に削減できるという効果がある。また、各種カット点の符号化パラメータレベルでの統計的な性質を検出に利用しているため、精度の高い検出が可能となる。
【0060】一例として、これまでカット点の検出処理時間として再生と同程度の時間を要していた標準TVレベルのサイズの画像を用いた場合では、縮小画像を利用してカット点を検出する方法と比較して、本発明は再生の6倍以上の速度を実現し、精度についても比較手法と同等又はそれ以上の検出率を達成することができた。また、本発明は、抽出した符号化パラメータに対して複雑な演算処理を施す必要もなく、単純な閾値処理と積和演算処理程度でカット点の検出を行うことができるため、装置コストを大幅に削減できるようになる。
【図面の簡単な説明】
【図1】 本発明の一実施形態の構成を示すブロック図である。
【図2】 図1の符号化パラメータ抽出部の一具体例を示すブロック図である。
【図3】 カット点検出に用いられるフレームの時間的及び空間的間引きの説明図である。
【図4】 可変長復号されたDCT係数に関する符号化パラメータの説明図である。
【図5】 瞬時カット画面の説明図である。
【図6】 図1の特殊カット点判定処理部の一具体例を示すブロック図である。
【図7】 図1の特殊カット点判定処理部の動作を示すフローチャートである。
【図8】 ワイプ画面の説明図である。
【図9】 本発明の動作の概要を示すフローチャートである。
【符号の説明】
1…可変長復号部、2…対象フレーム抽出部、3…対象スライス抽出部、4…符号化パラメータ抽出部、5…瞬時カット点判定処理部、6…フラッシュ判定処理部、7…特殊カット点判定処理部、8…検出カット点登録処理部、11…符号化モード抽出部、12…符号化モードパラメータ算出部、13…動きベクトル値抽出/変換処理部、14…動きベクトルパラメータ算出部、15…符号化ブロックパターン抽出部、16…予測誤差情報抽出部、20…パラメータ評価部、21…ディゾルブ判定処理部、22…第1のワイプ判定処理部、23…第2のワイプ判定処理部、31…i番目の符号化サブブロック。

【特許請求の範囲】
【請求項1】 動画像のカット点検出装置において、圧縮された動画像データを、ビデオ信号多重化復号する手段と、該手段によって得られたビデオ信号多重化復号情報から、符号化モード情報、動きベクトル及び変換符号化係数を少くとも抽出する手段と、該抽出された符号化モード情報、動きベクトル及び変換符号化係数を用いて、シーンチェンジの判定を行う手段とを具備したことを特徴とする動画像のカット点検出装置。
【請求項2】 請求項1の動画像のカット点検出装置において、判定の対象となるフレーム数を時間的に間引く手段をさらに具備したことを特徴とする動画像のカット点検出装置。
【請求項3】 請求項1または2の動画像のカット点検出装置において、各フレームで符号化パラメータを抽出する領域を空間的に間引くようにしたことを特徴とする動画像のカット点検出装置。
【請求項4】 請求項1〜3のいずれかの動画像のカット点検出装置において、瞬時カット点の前後でシーンが大幅に変化する性質を利用して、圧縮された動画像データ中の符号化モード情報に基づいてブロックを分類することにより、瞬時カット点の判定を行うようにしたことを特徴とする動画像のカット点検出装置。
【請求項5】 請求項1〜3のいずれかの動画像のカット点検出装置において、入力されたフレーム間双方向予測符号化画像について、順方向フレーム間符号化モードを持つブロック数がある閾値より大きく、逆方向フレーム間符号化モードを持つブロック数がある閾値より小さい場合に、その入力フレームの後に瞬時カット点が存在すると判定するようにしたことを特徴とする動画像のカット点検出装置。
【請求項6】 請求項1〜3のいずれかの動画像のカット点検出装置において、入力されたフレーム間双方向予測符号化画像について、順方向フレーム間符号化モードを持つブロック数がある閾値より小さく、逆方向フレーム間符号化モードを持つブロック数がある閾値より大きい場合に、その入力フレームまたはそれ以前で、参照フレーム以後に瞬時カット点が存在すると判定するようにしたことを特徴とする動画像のカット点検出装置。
【請求項7】 請求項1〜3のいずれかの動画像のカット点検出装置において、瞬時カット点であると判定された2つのフレーム間の時間的な距離がある閾値より小さい場合に、それらの瞬時カット点はフラッシュシーンであると判定し、瞬時カット点の対象から除外することを特徴とする動画像のカット点検出装置。
【請求項8】 請求項1〜3のいずれかの動画像のカット点検出装置において、入力されたフレームについて、動きベクトルの値から算出される動きの特徴値と、ブロック内の周波数領域の係数から導かれる予測画像の特徴値と、ある閾値より大きい動きベクトルを持つブロック数により、ディゾルブを検出する手段を具備したことを特徴とする動画像のカット点検出装置。
【請求項9】請求項8の動画像のカット点検出装置において、入力されたフレームの動きベクトルの平均値がある閾値より小さく、分散がある閾値より大きく、ブロック内における非零係数のブロック当たりの平均値及び非零係数が存在する周波数帯域から定義される予測誤差がある閾値より小さい場合に、ある閾値より大きい動きベクトルを持つブロック数がある閾値より大きい場合に平坦な静止シーン又は動きの小さいシーンとし、ある閾値より小さい場合にディゾルブの候補であると判定することを特徴とする動画像のカット点検出装置。
【請求項10】請求項8の動画像のカット点検出装置において、ディゾルブの候補となったフレームが連続してある閾値よりも多く現れた場合に、その区間でディゾルブが存在すると判定することを特徴とする動画像のカット点検出装置。
【請求項11】請求項1〜3のいずれかの動画像のカット点検出装置において、入力されたフレームについて、動きベクトルの値から算出される動きの特徴値と、ブロック内の周波数領域の係数から導かれる予測画像の特徴値により、ワイプを検出する手段を具備したことを特徴とする動画像のカット点検出装置。
【請求項12】請求項11の動画像のカット点検出装置において、入力されたフレームの動きベクトルの平均値及び分散が共にある閾値より大きい場合に、ブロック内における非零係数が存在する周波数帯域のブロック当たりの平均値がある閾値より小さい場合にカメラの動きのあるシーンとし、ある閾値より大きい場合にワイプの候補であると判定することを特徴とする動画像のカット点検出装置。
【請求項13】請求項11の動画像のカット点検出装置において、入力されたフレームの動きベクトルの平均値及び分散の少くとも一方がある閾値より小さい場合で、かつ該分散が他の閾値より大きい場合であって、ブロック内における非零係数のブロック当たりの平均値及び非零係数が存在する周波数帯域から定義される予測誤差がある閾値より大きい場合にワイプの候補であると判定することを特徴とする動画像のカット点検出装置。
【請求項14】請求項12または13の動画像のカット点検出装置において、 ワイプの候補となったフレームが連続してある閾値よりも多く現れた場合に、その区間でワイプが存在すると判定することを特徴とする動画像のカット点検出装置。
【請求項15】請求項12または13の動画像のカット点検出装置において、 ワイプの候補となったフレームがある閾値より大きい動きベクトルを持つブロック数が、ある連続したフレーム区間内で増加又は減少する変化をする場合に、その区間でワイプが存在すると判定し、該ブロック数がある区間内で増加又は減少する変化をしない場合に、静止しているシーンと判定することを特徴とする動画像のカット点検出装置。

【図1】
image rotate


【図2】
image rotate


【図3】
image rotate


【図4】
image rotate


【図5】
image rotate


【図6】
image rotate


【図8】
image rotate


【図7】
image rotate


【図9】
image rotate