動きベクトル検出装置及び方法、動画像符号化装置及び方法、並びに、動画像復号化装置及び方法
【課題】 動きベクトルに係る符号量を一段と抑えることができる動きベクトル検出装置を提供する。
【解決手段】 本発明は、１画像を分割した所定大きさのブロック毎に、上記ブロックの大きさを上限とした、大きさ及び矩形形状が異なる複数のパーティションを単位として動きベクトルの情報を得る動きベクトル検出装置に関する。そして、１個の上記ブロックについて、複数のパーティションで動きベクトルが得られた場合に、動きベクトルが得られた複数のパーティションを結合するか否かを判定し、結合するときには、結合後パーティションについての動きベクトルの情報を、当該装置から出力される動きベクトルの情報に含めるパーティション結合手段を有することを特徴とする。
【解決手段】 本発明は、１画像を分割した所定大きさのブロック毎に、上記ブロックの大きさを上限とした、大きさ及び矩形形状が異なる複数のパーティションを単位として動きベクトルの情報を得る動きベクトル検出装置に関する。そして、１個の上記ブロックについて、複数のパーティションで動きベクトルが得られた場合に、動きベクトルが得られた複数のパーティションを結合するか否かを判定し、結合するときには、結合後パーティションについての動きベクトルの情報を、当該装置から出力される動きベクトルの情報に含めるパーティション結合手段を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動きベクトル検出装置及び方法、動画像符号化装置及び方法、並びに、動画像復号化装置及び方法に関し、例えば、Ｈ．２６４／ＡＶＣ標準に従う動画像符号化、復号化に適用し得るものである。
【背景技術】
【０００２】
Ｈ．２６４／ＡＶＣ標準などを含め、多くの動画像符号化方式では１画像（１フレーム）を複数のブロックに分割し、各ブロック単位に、既に符号化した画像からの動きを予測する動き補償が適用されている。動き補償のブロックサイズをより小さくした方が、よりきめ細かな予測ができる反面、ブロック毎に動きベクトル情報を符号化しなければならないため、符号量が増えてしまう。
【０００３】
そこで、Ｈ．２６４／ＡＶＣ標準では、いくつかの動き補償ブロックサイズ（以下、パーティションと呼ぶ）の中から、最適なものを切り替えて用いる仕組み（可変ブロックサイズの動き補償）が採用されている（非特許文献１参照）。
【非特許文献１】大久保榮監修、「改訂版Ｈ．２６４／ＡＶＣ教科書」、株式会社インプレスネットビジネスカンパニー、２００６年１月発行、ｐｐ．１１３−１１９
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、Ｈ．２６４／ＡＶＣ標準の可変ブロックサイズの動き補償では、最適なサイズのパーティション及び動きベクトルを得ると符号化しており、同一とみなせる動きベクトルに係るパーティションが近傍にあっても、それぞれのパーティション毎に動きベクトル情報を符号化しなければならず、符号量の抑圧に限界があった。
【０００５】
そのため、動きベクトルに係る符号量を一段と抑えることができるように、動きベクトルを検出することができる動きベクトル検出装置及び方法が求められている。また、そのような動きベクトル検出装置若しくは方法を適用した動画像符号化装置及び方法が求められている。さらに、そのような動画像符号化装置や方法に対応した動画像復号化装置及び方法が求められている。
【課題を解決するための手段】
【０００６】
第１の本発明は、１画像を分割した所定大きさのブロック毎に、上記ブロックの大きさを上限とした、大きさ及び矩形形状が異なる複数のパーティションを単位として動きベクトルの情報を得る動きベクトル検出装置において、１個の上記ブロックについて、複数のパーティションで動きベクトルが得られた場合に、動きベクトルが得られた複数のパーティションを結合するか否かを判定し、結合するときには、結合後パーティションについての動きベクトルの情報を、当該装置から出力される動きベクトルの情報に含めるパーティション結合手段を有することを特徴とする。
【０００７】
第２の本発明は、１画像を分割した所定大きさのブロック毎に、上記ブロックの大きさを上限とした、大きさ及び矩形形状が異なる複数のパーティションを単位として動きベクトルの情報を得る動きベクトル検出方法において、パーティション結合手段が、１個の上記ブロックについて、複数のパーティションで動きベクトルが得られた場合には、動きベクトルが得られた複数のパーティションを結合するか否かを判定し、結合するときには、結合後パーティションについての動きベクトルの情報を、当該装置から出力される動きベクトルの情報に含めることを特徴とする。
【０００８】
第３の本発明は、動きベクトル検出装置を備え、動き補償画像間符号化方式に従って動画像を符号化する動画像符号化装置において、上記動きベクトル検出装置として、第１の本発明のものを適用したことを特徴とする。
【０００９】
第４の本発明は、動きベクトル検出装置が実行する動きベクトル検出ステップを含み、動き補償画像間符号化方式に従って動画像を符号化する動画像符号化方法において、上記動きベクトル検出ステップとして、第２の本発明の動きベクトル検出方法を適用したことを特徴とする。
【００１０】
第５の本発明は、対向する第３の本発明の動画像符号化装置から与えられた符号化情報に基づき、動画像復号処理を行う動画像復号化装置において、動きベクトルの情報に基づき、動き補償を伴う復号化を実行する動き補償復号化手段と、受信した符号化情報に含まれている動きベクトルの情報が、結合後パーティションについてのものか否かを識別し、結合後パーティションについてのものである場合に、結合される前の動きベクトルの情報に戻して、上記動き補償復号化手段に与える結合パーティション分解手段と有することを特徴とする。
【００１１】
第６の本発明は、入力された符号化情報に基づき、動画像復号処理を行う動画像復号化方法において、動きベクトルの情報に基づき、動き補償を伴う復号化を動き補償復号化手段が実行する工程、受信した符号化情報に含まれている動きベクトルの情報が、結合後パーティションについてのものか否かを識別し、結合後パーティションについてのものである場合に、結合される前の動きベクトルの情報に戻して、上記動き補償復号化手段に与える結合パーティション分解手段が実行する工程とを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、動きベクトルに係る符号量を従来以上の抑えることができるようになる。
【発明を実施するための最良の形態】
【００１３】
（Ａ）第１の実施形態
以下、本発明による動きベクトル検出装置及び方法、動画像符号化装置及び方法、並びに、動画像復号化装置及び方法の第１の実施形態を、図面を参照しながら説明する。
【００１４】
（Ａ−１）第１の実施形態の動画像符号化装置
図２は、第１の実施形態の動画像符号化装置１の全体構成を示すブロック図である。第１の実施形態の動画像符号化装置１は、例えば、Ｈ．２６４／ＡＶＣ標準に従うものである。
【００１５】
図２において、動画像符号化装置１は、ブロック分割器２、予測誤差信号生成器３、直交変換器４、量子化器５、符号化器６、逆量子化器７、逆直交変換器８、復号画像生成器９、復号画像記憶器１０、画像間予測器１１、画像内予測器１２及び予測画像生成器１３を有する。
【００１６】
ブロック分割部２は、画像信号ｓ１をマクロブロックと呼ばれる１６×１６画素の矩形ブロック（以下、マクロブロックと呼ぶ）に分割し、マクロブロックの大きさの画像データｓ２を得る。予測誤差信号生成器３は、マクロブロックの大きさの画像データｓ２と予測画像生成器１３より供給される予測画像ｓ１２より予測誤差信号ｓ３を得る。直交変換器４は、予測誤差信号ｓ３の直交変換処理を行い、周波数成分に変換された予測誤差信号ｓ４を得る。量子化器５は、周波数成分に変換された予測誤差信号ｓ４を量子化し、量子化された周波数成分に変換された予測誤差信号ｓ５を得る。符号化器６は、量子化された予測誤差信号ｓ５及び図示していない符号化情報（例えば、動き補償に関する情報；図４参照）をエントロピー符号化（可変長符号化）を行ってストリームｓ１３を得る。このようなストリームｓ１３が、当該動画像符号化装置１の出力として、対向する動画像復号化装置に送出される。
【００１７】
逆量子化器７は、量子化された周波数成分に変換された予測誤差信号ｓ５を逆量子化して量子化誤差を伴う周波数成分に変換された予測誤差信号ｓ６を得る。逆直交変換器８は、量子化誤差を伴う周波数成分に変換された予測誤差信号ｓ６の逆直交変換を行い、量子化誤差を伴う予測誤差信号ｓ７を得る。復号画像生成器９は、量子化誤差を伴う予測誤差信号ｓ７と予測画像ｓ１２より復号画像ｓ８を得る。
【００１８】
復号画像記憶器１０は、既に符号化され、局所復号された復号画像ｓ８を参照画像ｓ９として記憶する。Ｈ．２６４／ＡＶＣ標準の場合、動き補償で参照する画像は、現在符号化を行おうとしている画像の直前画像に限定されず、複数の時刻の画像が参照画像となり得る。
【００１９】
画像間予測器１１は、現在符号化を行おうとしている時刻Ｔｎのマクロブロックの大きさの画像データｓ２と、時刻Ｔｎと異なる時刻Ｔｋ≠Ｔｎの参照画像ｓ９から動きベクトル等の予測情報ｓ１１、ｓ１５を得る。動きベクトルとは、ブロック単位（マクロブロックの大きさとは限らない）で参照画像ｓ９と現在の画像データｓ２との空間的なずれを示す値である。参照画像ｓ９において、現在の画像データｓ２との最も類似している位置を求める際に用いる手法の一つとして、例えば、ブロックマッチング法がある。画像間予測器１１が得た動きベクトルの情報は、符号化器６に与えられるようになされている。画像内予測器１２は、現在符号化を行おうとしている時刻Ｔｎのマクロブロックの大きさの画像データｓ２と同じ時刻Ｔｎの空間的に符号化を行おうとしているマクロブロックの周辺の参照画像から予測方法ｓ１０を得る。予測画像生成器１３は、参照画像ｓ９と、画像内予測の場合は予測方法ｓ１０から、画像間予測の場合は予測情報ｓ１１、ｓ１５から予測画像ｓ１２を得る。
【００２０】
図１は、第１の実施形態における画像間予測器１１の要部構成を示すブロックであり、その動きベクトルの検出方法は、動きベクトル探索器２１−１〜２１−Ｎの説明にて後述される（以下、動きベクトルの検出を動きベクトルの探索と呼ぶ）。
【００２１】
図１において、画像間予測器１１は、Ｎ（ＮはＨ．２６４／ＡＶＣ標準に準拠している場合には７である）個のパーティション分割器２０−１〜２０−Ｎ、Ｎ個の動きベクトル探索器２１−１〜２１−Ｎ、パーティション形状決定器２２及びパーティション結合器２３を有する。
【００２２】
各パーティション分割器２０−１〜２０−Ｎはそれぞれ、動きベクトルの検出対象である１６×１６画素のマクロブロックを、Ｈ．２６４／ＡＶＣ標準で規定されている大きさの自己に割り当てられているパーティション（矩形ブロック）に分割するものである。例えば、パーティション分割器２０−１〜２０−Ｎはそれぞれ、マクロブロックを、１６×１６画素、１６×８画素、８×１６画素、８×８画素、８×４画素、４×８画素、４×４画素のパーティションに分割するものである。なお、パーティション分割器２０−１は、担当するパーティションの大きさがマクロブロックの大きさと等しいので、パーティション分割器２０−１を省略することができる。
【００２３】
ここで、８×８画素はサブマクロブロックと呼ばれ、サブマクロブロックは、８×４画素、４×８画素、４×４画素に細分が可能である。
【００２４】
各動きベクトル探索器２１−１〜２１−Ｎはそれぞれ、対応するパーティション分割器２０−１〜２０−Ｎが分割したパーティション毎に動きベクトルを探索するものである。探索の一例は、参照画像の中から、探索対象パーティションの各画素との差分二乗和若しくは差分絶対値和（以下、ＳＡＤと呼ぶ）が最小となる領域を探索するものであり、かつ、各参照画像における最小のＳＡＤ同士を比較し、その中で最小のＳＡＤを与える参照画像に決定するものである。すなわち、動きベクトル探索器２１−１〜２１−Ｎは、最適な参照画像と、最適な対応領域とを定めるものである。
【００２５】
なお、サブマクロブロックより小さい８×４画素、４×８画素、４×４画素のパーティションを処理する動きベクトル探索器は、参照画像の決定は、サブマクロブロック毎に行うようになされている。
【００２６】
パーティション形状決定器２２は、各動きベクトル探索器２１−１〜２１−Ｎの探索結果に基づいて、動きベクトルの検出対象であるマクロブロックについて、どのようなパーティションの組合せによる動きベクトルの情報とするかを決定するものである。
【００２７】
例えば、図３（Ａ）に示すような１６×１６画素のパーティションで求めたＳＡＤ（例えば、動きベクトル探索器２１−１が求めたとする）が第１の閾値（１６×１６画素用の閾値）より小さい場合には、動きベクトル探索器２１−１の出力を、動きベクトルの情報に決定する。１６×１６画素のパーティションで求めたＳＡＤが第１の閾値以上であれば、図３（Ｂ）に示すような１６×８画素のパーティションで求めた動きベクトルの情報、又は、図３（Ｃ）に示すような８×１６画素のパーティションで求めた動きベクトルの情報を、出力させる情報に決定できるかを確認する。図３（Ｂ）に示すような１６×８画素のパーティションで求めた動きベクトルの情報を、出力させる情報に決定する場合は、例えば、１６×８画素のパーティションで求めた２つのＳＡＤ（例えば、動きベクトル探索器２１−２が求めたとする）がそれぞれ、第２の閾値（１６×８画素及び８×１６画素用の閾値）より小さく、かつ、それら２つのＳＡＤの和が、図３（Ｃ）に示すような８×１６画素のパーティションで求めた２つのＳＡＤ（例えば、動きベクトル探索器２１−３が求めたとする）の和より小さい場合である。また、図３（Ｃ）に示すような８×１６画素のパーティションで求めた動きベクトルの情報を、出力させる情報に決定する場合は、例えば、８×１６画素のパーティションで求めた２つのＳＡＤがそれぞれ、第２の閾値より小さく、かつ、それら２つのＳＡＤの和が、図３（Ｃ）に示すような１６×８画素のパーティションで求めた２つのＳＡＤの和より小さい場合である。
【００２８】
図３（Ａ）〜（Ｃ）のいずれのパーティションの場合も、それで求めた動きベクトルの情報を、出力させる情報に決定できない場合には、図３（Ｄ）に示すように、８×８画素のサブマクロブロック毎に動きベクトルの情報を決定する。サブマクロブロック単位の決定方法も、図３（Ｄ１）に示すような８×８画素のパーティションを適用するか、図３（Ｄ２）に示すような８×４画素のパーティションを適用するか、図３（Ｄ３）に示すような４×８画素のパーティションを適用するか、図３（Ｄ４）に示すような４×４画素のパーティションを適用するかの４通りがあり、広い方を決定できない場合に、狭い方に移行するという決定手順を採用する。
【００２９】
図３（Ｄ）のマクロブロックは４つのサブマクロブロックでなり、各サブマクロブロックにおいて、図３（Ｄ１）〜（Ｄ４）の２５６（＝４４）種類の決定方法があるので、サブマクロブロック単位に動きベクトルを決定する場合の総種類数は１６種類ある。その他、図３（Ａ）〜（Ｃ）のいずれかを適用する場合があるので、パーティション形状決定器２２の決定に係る種類数は２５９（＝２５６＋３）種類ある。
【００３０】
図４は、Ｈ．２６４／ＡＶＣ標準における、送信情報に挿入する動きベクトルの情報の表記方法の説明図であり、図４（Ａ）はサブマクロブロック単位の動きベクトル情報が存在しない場合（図３（Ａ）〜（Ｃ）の場合）の説明図であり、図４（Ｂ）はサブマクロブロック単位の動きベクトル情報が存在する場合（図３（Ｄ）の場合）の説明図である。
【００３１】
図３（Ａ）〜（Ｃ）のいずれかに従う場合であれば、図４（Ａ）に示すように、図３（Ａ）〜（Ｃ）のいずれかであることを示すマクロブロックタイプ（なお、マクロブロックタイプは図３（Ｄ）も対象としている）ｍｂ ｔｙｐｅと、パーティション毎の参照画像の情報ｒｅｆ ｉｄｘと、パーティション毎の動きベクトルｍｖとでなる。図４（Ａ）は、２つのパーティションを有する図３（Ａ）又は図３（Ｂ）の場合のものである。
【００３２】
図３（Ｄ）に従う場合であれば、図４（Ｂ）に示すように、図３（Ｄ）であることを示すマクロブロックタイプｍｂ ｔｙｐｅと、１６種類のサブマクロブロック単位の組合せのいずれかであることを示すサブマクロブロックタイプｓｕｂ ｍｂ ｔｙｐｅと、サブマクロブロック毎の参照画像の情報ｒｅｆ ｉｄｘと、パーティション毎の動きベクトルｍｖとでなる。
【００３３】
第１の実施形態の場合、上述したパーティション分割器２０−１〜２０−Ｎ、Ｎ個の動きベクトル探索器２１−１〜２１−Ｎ及びパーティション形状決定器２２までの構成は従来と同様であるが、パーティション形状決定器２２からの情報を符号化器６（図２参照）に与えるのではなく、パーティション結合器２３に与えるようになされている。パーティション形状決定器２２は、例えば、図４に従った動きベクトルの情報をパーティション結合器２３に与える。
【００３４】
パーティション結合器２３は、パーティション形状決定器２２からの出力情報が図４（Ａ）に示す情報の場合（図３（Ａ）〜（Ｃ）のいずれかに従う場合）であればそのまま出力し、パーティション形状決定器２２からの出力情報が図４（Ｂ）に示す情報の場合（図３（Ｄ）に従う場合）であればパーティションの結合動作を行い、その結合結果に基づいて、動きベクトルの情報を再構築して出力する。結合するパーティションは、参照画像の時刻が同一であって動きベクトルの向きと大きさが同一のものである。
【００３５】
パーティション結合器２３には、結合後のパーティション構成に対するマクロブロックタイプｍｂ ｔｙｐｅと、出力する動きベクトルの情報の構成を記述した結合パーティション用データベース２３Ａが関連して設けられており、パーティション結合器２３は、結合パーティション用データベース２３Ａを参照して動きベクトルの情報を再構築する。
【００３６】
図５は、Ｐスライスに対する結合パーティション用データベース２３Ａの説明図である。Ｂスライスに対しても同様の結合パーティション用データベースを用意する。図５（Ａ）は、右下側の８×８画素の動きベクトル（参照画像の情報を含む）が他の領域の動きベクトルと異なる場合を示している。この結合後パーティション構成にはマクロブロックタイプｍｂ ｔｙｐｅは「４」が付与されており、図中の「０」及び「１」のパーティション（領域）順に参照画像の情報ｒｅｆ ｉｄｘが記述され、「０」及び「１」のパーティション（領域）順に動きベクトルｍｖが記述されることを表している。図５の他の例も同様なことを表している。なお、結合パーティション用データベース２３Ａに記述されているマクロブロックタイプｍｂ ｔｙｐｅは、Ｈ．２６４／ＡＶＣ標準に従っていない、第１の実施形態に独自のものである。
【００３７】
例えば、パーティション形状決定器２２からの情報が図６（Ａ）のような場合、動きベクトル（参照画像を含む）ＭＶ１が同じ４つの４×８画素のパーティションｐｔ１、ｐｔ４、ｐｔ５及びｐｔ８が結合されて図６（Ｂ）に示すパーティションＰＴＡに変換されると共に、動きベクトル（参照画像を含む）ＭＶ２が同じ４つの４×８画素のパーティションｐｔ２、ｐｔ３、ｐｔ６及びｐｔ７が結合されて図６（Ｂ）に示すパーティションＰＴＢに変換される。変換後のパーティション形状で、結合パーティション用データベース２３Ａを検索すると、図５（Ｅ）の結合後パーティション構成が該当すると判断され、マクロブロックタイプｍｂ ｔｙｐｅに、この結合後パーティション構成の「８」が付与され、パーティション（領域）ＰＴＡ、ＰＴＢ順に参照画像の情報ｒｅｆ ｉｄｘが記述され、パーティション（領域）ＰＴＡ、ＰＴＢ順に動きベクトルＭＶ１、ＭＶ２が記述される。
【００３８】
再構築された動きベクトルの情報は、図４（Ａ）に示すものと同様に、サブマクロブロックタイプが存在しないものとなっている。
【００３９】
以上のようにして第１の実施形態の動画像符号化装置１においては、Ｈ．２６４／ＡＶＣ標準ではパーティション数が多くなるマクロブロックについて、動きベクトルの情報の符号量を抑えることができる。
【００４０】
マクロブロックタイプｍｂ ｔｙｐｅに係るビット数が固定でも良いが、パーティション数が少ないものほど、ビット数が少なくなるように、結合後パーティション構成に対するマクロブロックタイプを割り当てるようにしても良い。
【００４１】
（Ａ−２）第１の実施形態の動画像復号化装置
第１の実施形態に係る動画像復号化装置の全体構成は、Ｈ．２６４／ＡＶＣ標準に従った一般的な構成とほぼ同様である。
【００４２】
しかし、第１の実施形態に係る動画像復号化装置は、図７に示すように、動き補償復号画像生成器３１に対して、受信した動きベクトルの情報（図４、図５等参照）をそのまま入力させるのではなく、結合パーティション分解器３０を介して入力させる点が、Ｈ．２６４／ＡＶＣ標準に従った一般的な動画像復号化装置とは異なっている。
【００４３】
結合パーティション分解器３０は、入力された動きベクトルの情報のマクロブロックタイプｍｂ ｔｙｐｅが、上述した図３（Ａ）〜（Ｃ）のいずれかを表す場合にはそのまま動き補償復号画像生成器３１に出力する。一方、結合パーティション分解器３０は、入力された動きベクトルの情報のマクロブロックタイプｍｂ ｔｙｐｅが、図５のいずれかを表す場合には、その動きベクトルの情報を、図４（Ｂ）に示すようなＨ．２６４／ＡＶＣ標準に従った情報に変換して動き補償復号画像生成器３１に出力する。この変換は、パーティションの観点からは、図５のいずれかの結合後パーティションを図３（Ｄ）に示すサブマクロブロック単位のパーティションの構成へ変換するものである。
【００４４】
結合パーティション分解器３０には、入力情報と出力情報とを対応付けた動きベクトル情報変換テーブル３０Ａが関連して設けられている。出力情報は、その形式が図４（Ｂ）に従うものであり、マクロブロックタイプｍｂ ｔｙｐｅと、サブマクロブロックタイプｓｕｂ ｍｂ ｔｙｐｅとに値が挿入されているが、サブマクロブロック毎の参照画像の情報ｒｅｆ ｉｄｘや、パーティション毎の動きベクトルｍｖのフィールドには、入力情報におけるどのフィールドの値を取り出して挿入するかが記述されている。
【００４５】
従って、結合パーティション分解器３０は、例えば、上述した図６（Ｂ）から図６（Ａ）へのパーティション変換を行う。
【００４６】
Ｈ．２６４／ＡＶＣ標準に比較し、第１の実施形態の場合、マクロブロックタイプｍｂ ｔｙｐｅの数が多くなっている。結合パーティション分解器３０を設けず、動き補償復号画像生成器３１が、結合後パーティションに係る動きベクトルの情報が入力されたときには、該当する参照画像から、該当するパーティション形状の領域を得て、動きベクトル分だけ移動させて復号画像の領域にすることを行うようにしても良い（この構成は他の実施形態となっている）。しかしながら、このようにした場合、動き補償復号画像生成器３１をＨ．２６４／ＡＶＣ標準に従っている既存のものから変更しなければならない。第１の実施形態に係る動画像復号化装置では、結合パーティション分解器３０を設けているため、Ｈ．２６４／ＡＶＣ標準に従っている既存の動き補償復号画像生成器３１をそのまま適用することができる。
【００４７】
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、パーティションを結合し、結合後パーティションに係る動きベクトルの情報を、動画像符号化装置及び動画像復号化装置間で授受するようにしたので、動き補償に係る平均的な符号量を削減することができる。言い換えると、動画像符号化装置における圧縮効率を高めることができる。
【００４８】
（Ｂ）第２の実施形態
次に、本発明による動きベクトル検出装置及び方法、動画像符号化装置及び方法、並びに、動画像復号化装置及び方法の第２の実施形態を説明する。なお、第１の実施形態に係る図１、図２、図７はそのまま第２の実施形態の図面と見ることもできる。
【００４９】
上述した第１の実施形態において、パーティション結合器２３は、パーティション形状決定器２２から出力された動きベクトル情報に基づいてパーティションを結合する際、参照画像と動きベクトルが同じパーティションが存在する場合には、それらパーティションの位置関係に関係なくパーティションを結合するものであった。
【００５０】
しかし、第１の実施形態のようなパーティションの結合では、結合後パーティションの種類は多大である。そのため、結合したパーティションの形状を特定するためのマクロブロックタイプの符号量が多くなり、パーティションを結合することによって動きベクトルの本数を削減した符号量の削減量を相殺する可能性がある。
【００５１】
そのため、第２の実施形態では、パーティション結合器２３における結合条件を第１の実施形態より厳しくし、結合後パーティションの種類数を抑えることとした。第２の実施形態におけるパーティション結合器２３は、例えば、結合するパーティションを隣接する同じ大きさのパーティションに限定する。
【００５２】
例えば、パーティション形状決定器２２の出力情報が、図８（Ａ）のような場合において、パーティションＰＴ２１及びＰＴ２３は、動きベクトルが同一であるだけでなく、隣接する同じ大きさのパーティションであるので、パーティション結合器２３は、パーティションＰＴ２１及びＰＴ２３を結合する。パーティションＰＴ２４−１も、動きベクトルは、パーティションＰＴ２１及びＰＴ２３の動きベクトルと同一であるが、大きさが異なるので結合しない。同様な理由により、パーティション結合器２３は、パーティションＰＴ２２及びＰＴ２４−１を結合しない。その結果、第２の実施形態の場合、結合後パーティションは図８（Ｂ）に示すようになる。因みに、図８（Ｃ）は、第１の実施形態における結合後パーティションを示している。
【００５３】
第２の実施形態によれば、結合後パーティションの種類数を抑えたので、その種類数を特定するための符号量をごくごく抑えることができ、パーティションを結合することによる符号量の削減を有効に発揮させることができる。また、結合処理時間を、第１の実施形態より少なくすることが期待できる。
【００５４】
（Ｃ）他の実施形態
上記各実施形態の説明においても変形実施形態に言及したが、以下に例示するような変形実施形態を挙げることができる。
【００５５】
上述した第１及び第２の実施形態においては、パーティションの結合条件として、動きベクトルの向きと大きさが等しいことを示したが、動きベクトルが完全に一致していなくてもある条件の場合パーティションを結合するようにしても良い。条件の一例として、動きベクトルの差分が閾値以内のときを挙げることができる。また、動きベクトルの情報量とパーティション形状の情報量との重み付け和（符号量の目安）が大きい場合には、類似度が高い方の動きベクトルを同一とみなしてパーティションを結合するようにしても良い。このとき、結合したパーティションの動きベクトルは結合したパーティションのそれぞれの動きベクトルの平均や、重み付け平均などを適用する。
【００５６】
上記各実施形態は、Ｈ．２６４／ＡＶＣ標準に準拠した動きベクトル検出装置及び方法、動画像符号化装置及び方法、並びに、動画像復号化装置及び方法に、本発明を適用した場合を示したが、本発明はこれに限定されるものではない。例えば、参照画像が１画像である場合（選択できない場合）にも本発明を適用することができる。また、大きい方のブロック（マクロブロックに対応する）が３２×３２画素であって、小さい方のブロック（サブマクロブロックに対応する）が１６×１６画素のような装置に本発明を適用することができる。
【００５７】
上記各実施形態では、異なる大きさのパーティションの動きベクトルを並行的に求めるものを示したが、大きい方のパーティションの動きベクトルから小さい方のパーティションの動きベクトルへ順次求めるものであっても良く、この場合において、Ｈ．２６４／ＡＶＣ標準に準拠した動きベクトルの情報が確定した段階で、小さい方への移行を止めるようにしても良い。
【００５８】
上記各実施形態の説明では、ハードウェアで処理するイメージで説明したが、一部又は全ての処理をソフトウェアで実行するようにしても良い。
【図面の簡単な説明】
【００５９】
【図１】第１の実施形態における画像間予測器の要部構成を示すブロックである。
【図２】第１の実施形態の動画像符号化装置の全体構成を示すブロック図である。
【図３】第１の実施形態に係るパーティションの組合せの説明図である。
【図４】Ｈ．２６４／ＡＶＣ標準における、送信情報に挿入する動きベクトル情報の表記方法の説明図である。
【図５】第１の実施形態における結合パーティション用データベースの説明図である。
【図６】第１の実施形態におけるパーティション結合器の動作の説明図である。
【図７】第１の実施形態の動画像復号化装置の要部構成を示すブロック図である。
【図８】第２の実施形態におけるパーティション結合器の動作の説明図である。
【符号の説明】
【００６０】
１…動画像符号化装置、１１…画像間予測器、２０−１〜２０−Ｎ…パーティション分割器、２１−１〜２１−Ｎ…動きベクトル探索器、２２…パーティション形状決定器、２３…パーティション結合器、３０…結合パーティション分解器、３０Ａ…動きベクトル情報変換テーブル。
【技術分野】
【０００１】
本発明は動きベクトル検出装置及び方法、動画像符号化装置及び方法、並びに、動画像復号化装置及び方法に関し、例えば、Ｈ．２６４／ＡＶＣ標準に従う動画像符号化、復号化に適用し得るものである。
【背景技術】
【０００２】
Ｈ．２６４／ＡＶＣ標準などを含め、多くの動画像符号化方式では１画像（１フレーム）を複数のブロックに分割し、各ブロック単位に、既に符号化した画像からの動きを予測する動き補償が適用されている。動き補償のブロックサイズをより小さくした方が、よりきめ細かな予測ができる反面、ブロック毎に動きベクトル情報を符号化しなければならないため、符号量が増えてしまう。
【０００３】
そこで、Ｈ．２６４／ＡＶＣ標準では、いくつかの動き補償ブロックサイズ（以下、パーティションと呼ぶ）の中から、最適なものを切り替えて用いる仕組み（可変ブロックサイズの動き補償）が採用されている（非特許文献１参照）。
【非特許文献１】大久保榮監修、「改訂版Ｈ．２６４／ＡＶＣ教科書」、株式会社インプレスネットビジネスカンパニー、２００６年１月発行、ｐｐ．１１３−１１９
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、Ｈ．２６４／ＡＶＣ標準の可変ブロックサイズの動き補償では、最適なサイズのパーティション及び動きベクトルを得ると符号化しており、同一とみなせる動きベクトルに係るパーティションが近傍にあっても、それぞれのパーティション毎に動きベクトル情報を符号化しなければならず、符号量の抑圧に限界があった。
【０００５】
そのため、動きベクトルに係る符号量を一段と抑えることができるように、動きベクトルを検出することができる動きベクトル検出装置及び方法が求められている。また、そのような動きベクトル検出装置若しくは方法を適用した動画像符号化装置及び方法が求められている。さらに、そのような動画像符号化装置や方法に対応した動画像復号化装置及び方法が求められている。
【課題を解決するための手段】
【０００６】
第１の本発明は、１画像を分割した所定大きさのブロック毎に、上記ブロックの大きさを上限とした、大きさ及び矩形形状が異なる複数のパーティションを単位として動きベクトルの情報を得る動きベクトル検出装置において、１個の上記ブロックについて、複数のパーティションで動きベクトルが得られた場合に、動きベクトルが得られた複数のパーティションを結合するか否かを判定し、結合するときには、結合後パーティションについての動きベクトルの情報を、当該装置から出力される動きベクトルの情報に含めるパーティション結合手段を有することを特徴とする。
【０００７】
第２の本発明は、１画像を分割した所定大きさのブロック毎に、上記ブロックの大きさを上限とした、大きさ及び矩形形状が異なる複数のパーティションを単位として動きベクトルの情報を得る動きベクトル検出方法において、パーティション結合手段が、１個の上記ブロックについて、複数のパーティションで動きベクトルが得られた場合には、動きベクトルが得られた複数のパーティションを結合するか否かを判定し、結合するときには、結合後パーティションについての動きベクトルの情報を、当該装置から出力される動きベクトルの情報に含めることを特徴とする。
【０００８】
第３の本発明は、動きベクトル検出装置を備え、動き補償画像間符号化方式に従って動画像を符号化する動画像符号化装置において、上記動きベクトル検出装置として、第１の本発明のものを適用したことを特徴とする。
【０００９】
第４の本発明は、動きベクトル検出装置が実行する動きベクトル検出ステップを含み、動き補償画像間符号化方式に従って動画像を符号化する動画像符号化方法において、上記動きベクトル検出ステップとして、第２の本発明の動きベクトル検出方法を適用したことを特徴とする。
【００１０】
第５の本発明は、対向する第３の本発明の動画像符号化装置から与えられた符号化情報に基づき、動画像復号処理を行う動画像復号化装置において、動きベクトルの情報に基づき、動き補償を伴う復号化を実行する動き補償復号化手段と、受信した符号化情報に含まれている動きベクトルの情報が、結合後パーティションについてのものか否かを識別し、結合後パーティションについてのものである場合に、結合される前の動きベクトルの情報に戻して、上記動き補償復号化手段に与える結合パーティション分解手段と有することを特徴とする。
【００１１】
第６の本発明は、入力された符号化情報に基づき、動画像復号処理を行う動画像復号化方法において、動きベクトルの情報に基づき、動き補償を伴う復号化を動き補償復号化手段が実行する工程、受信した符号化情報に含まれている動きベクトルの情報が、結合後パーティションについてのものか否かを識別し、結合後パーティションについてのものである場合に、結合される前の動きベクトルの情報に戻して、上記動き補償復号化手段に与える結合パーティション分解手段が実行する工程とを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、動きベクトルに係る符号量を従来以上の抑えることができるようになる。
【発明を実施するための最良の形態】
【００１３】
（Ａ）第１の実施形態
以下、本発明による動きベクトル検出装置及び方法、動画像符号化装置及び方法、並びに、動画像復号化装置及び方法の第１の実施形態を、図面を参照しながら説明する。
【００１４】
（Ａ−１）第１の実施形態の動画像符号化装置
図２は、第１の実施形態の動画像符号化装置１の全体構成を示すブロック図である。第１の実施形態の動画像符号化装置１は、例えば、Ｈ．２６４／ＡＶＣ標準に従うものである。
【００１５】
図２において、動画像符号化装置１は、ブロック分割器２、予測誤差信号生成器３、直交変換器４、量子化器５、符号化器６、逆量子化器７、逆直交変換器８、復号画像生成器９、復号画像記憶器１０、画像間予測器１１、画像内予測器１２及び予測画像生成器１３を有する。
【００１６】
ブロック分割部２は、画像信号ｓ１をマクロブロックと呼ばれる１６×１６画素の矩形ブロック（以下、マクロブロックと呼ぶ）に分割し、マクロブロックの大きさの画像データｓ２を得る。予測誤差信号生成器３は、マクロブロックの大きさの画像データｓ２と予測画像生成器１３より供給される予測画像ｓ１２より予測誤差信号ｓ３を得る。直交変換器４は、予測誤差信号ｓ３の直交変換処理を行い、周波数成分に変換された予測誤差信号ｓ４を得る。量子化器５は、周波数成分に変換された予測誤差信号ｓ４を量子化し、量子化された周波数成分に変換された予測誤差信号ｓ５を得る。符号化器６は、量子化された予測誤差信号ｓ５及び図示していない符号化情報（例えば、動き補償に関する情報；図４参照）をエントロピー符号化（可変長符号化）を行ってストリームｓ１３を得る。このようなストリームｓ１３が、当該動画像符号化装置１の出力として、対向する動画像復号化装置に送出される。
【００１７】
逆量子化器７は、量子化された周波数成分に変換された予測誤差信号ｓ５を逆量子化して量子化誤差を伴う周波数成分に変換された予測誤差信号ｓ６を得る。逆直交変換器８は、量子化誤差を伴う周波数成分に変換された予測誤差信号ｓ６の逆直交変換を行い、量子化誤差を伴う予測誤差信号ｓ７を得る。復号画像生成器９は、量子化誤差を伴う予測誤差信号ｓ７と予測画像ｓ１２より復号画像ｓ８を得る。
【００１８】
復号画像記憶器１０は、既に符号化され、局所復号された復号画像ｓ８を参照画像ｓ９として記憶する。Ｈ．２６４／ＡＶＣ標準の場合、動き補償で参照する画像は、現在符号化を行おうとしている画像の直前画像に限定されず、複数の時刻の画像が参照画像となり得る。
【００１９】
画像間予測器１１は、現在符号化を行おうとしている時刻Ｔｎのマクロブロックの大きさの画像データｓ２と、時刻Ｔｎと異なる時刻Ｔｋ≠Ｔｎの参照画像ｓ９から動きベクトル等の予測情報ｓ１１、ｓ１５を得る。動きベクトルとは、ブロック単位（マクロブロックの大きさとは限らない）で参照画像ｓ９と現在の画像データｓ２との空間的なずれを示す値である。参照画像ｓ９において、現在の画像データｓ２との最も類似している位置を求める際に用いる手法の一つとして、例えば、ブロックマッチング法がある。画像間予測器１１が得た動きベクトルの情報は、符号化器６に与えられるようになされている。画像内予測器１２は、現在符号化を行おうとしている時刻Ｔｎのマクロブロックの大きさの画像データｓ２と同じ時刻Ｔｎの空間的に符号化を行おうとしているマクロブロックの周辺の参照画像から予測方法ｓ１０を得る。予測画像生成器１３は、参照画像ｓ９と、画像内予測の場合は予測方法ｓ１０から、画像間予測の場合は予測情報ｓ１１、ｓ１５から予測画像ｓ１２を得る。
【００２０】
図１は、第１の実施形態における画像間予測器１１の要部構成を示すブロックであり、その動きベクトルの検出方法は、動きベクトル探索器２１−１〜２１−Ｎの説明にて後述される（以下、動きベクトルの検出を動きベクトルの探索と呼ぶ）。
【００２１】
図１において、画像間予測器１１は、Ｎ（ＮはＨ．２６４／ＡＶＣ標準に準拠している場合には７である）個のパーティション分割器２０−１〜２０−Ｎ、Ｎ個の動きベクトル探索器２１−１〜２１−Ｎ、パーティション形状決定器２２及びパーティション結合器２３を有する。
【００２２】
各パーティション分割器２０−１〜２０−Ｎはそれぞれ、動きベクトルの検出対象である１６×１６画素のマクロブロックを、Ｈ．２６４／ＡＶＣ標準で規定されている大きさの自己に割り当てられているパーティション（矩形ブロック）に分割するものである。例えば、パーティション分割器２０−１〜２０−Ｎはそれぞれ、マクロブロックを、１６×１６画素、１６×８画素、８×１６画素、８×８画素、８×４画素、４×８画素、４×４画素のパーティションに分割するものである。なお、パーティション分割器２０−１は、担当するパーティションの大きさがマクロブロックの大きさと等しいので、パーティション分割器２０−１を省略することができる。
【００２３】
ここで、８×８画素はサブマクロブロックと呼ばれ、サブマクロブロックは、８×４画素、４×８画素、４×４画素に細分が可能である。
【００２４】
各動きベクトル探索器２１−１〜２１−Ｎはそれぞれ、対応するパーティション分割器２０−１〜２０−Ｎが分割したパーティション毎に動きベクトルを探索するものである。探索の一例は、参照画像の中から、探索対象パーティションの各画素との差分二乗和若しくは差分絶対値和（以下、ＳＡＤと呼ぶ）が最小となる領域を探索するものであり、かつ、各参照画像における最小のＳＡＤ同士を比較し、その中で最小のＳＡＤを与える参照画像に決定するものである。すなわち、動きベクトル探索器２１−１〜２１−Ｎは、最適な参照画像と、最適な対応領域とを定めるものである。
【００２５】
なお、サブマクロブロックより小さい８×４画素、４×８画素、４×４画素のパーティションを処理する動きベクトル探索器は、参照画像の決定は、サブマクロブロック毎に行うようになされている。
【００２６】
パーティション形状決定器２２は、各動きベクトル探索器２１−１〜２１−Ｎの探索結果に基づいて、動きベクトルの検出対象であるマクロブロックについて、どのようなパーティションの組合せによる動きベクトルの情報とするかを決定するものである。
【００２７】
例えば、図３（Ａ）に示すような１６×１６画素のパーティションで求めたＳＡＤ（例えば、動きベクトル探索器２１−１が求めたとする）が第１の閾値（１６×１６画素用の閾値）より小さい場合には、動きベクトル探索器２１−１の出力を、動きベクトルの情報に決定する。１６×１６画素のパーティションで求めたＳＡＤが第１の閾値以上であれば、図３（Ｂ）に示すような１６×８画素のパーティションで求めた動きベクトルの情報、又は、図３（Ｃ）に示すような８×１６画素のパーティションで求めた動きベクトルの情報を、出力させる情報に決定できるかを確認する。図３（Ｂ）に示すような１６×８画素のパーティションで求めた動きベクトルの情報を、出力させる情報に決定する場合は、例えば、１６×８画素のパーティションで求めた２つのＳＡＤ（例えば、動きベクトル探索器２１−２が求めたとする）がそれぞれ、第２の閾値（１６×８画素及び８×１６画素用の閾値）より小さく、かつ、それら２つのＳＡＤの和が、図３（Ｃ）に示すような８×１６画素のパーティションで求めた２つのＳＡＤ（例えば、動きベクトル探索器２１−３が求めたとする）の和より小さい場合である。また、図３（Ｃ）に示すような８×１６画素のパーティションで求めた動きベクトルの情報を、出力させる情報に決定する場合は、例えば、８×１６画素のパーティションで求めた２つのＳＡＤがそれぞれ、第２の閾値より小さく、かつ、それら２つのＳＡＤの和が、図３（Ｃ）に示すような１６×８画素のパーティションで求めた２つのＳＡＤの和より小さい場合である。
【００２８】
図３（Ａ）〜（Ｃ）のいずれのパーティションの場合も、それで求めた動きベクトルの情報を、出力させる情報に決定できない場合には、図３（Ｄ）に示すように、８×８画素のサブマクロブロック毎に動きベクトルの情報を決定する。サブマクロブロック単位の決定方法も、図３（Ｄ１）に示すような８×８画素のパーティションを適用するか、図３（Ｄ２）に示すような８×４画素のパーティションを適用するか、図３（Ｄ３）に示すような４×８画素のパーティションを適用するか、図３（Ｄ４）に示すような４×４画素のパーティションを適用するかの４通りがあり、広い方を決定できない場合に、狭い方に移行するという決定手順を採用する。
【００２９】
図３（Ｄ）のマクロブロックは４つのサブマクロブロックでなり、各サブマクロブロックにおいて、図３（Ｄ１）〜（Ｄ４）の２５６（＝４４）種類の決定方法があるので、サブマクロブロック単位に動きベクトルを決定する場合の総種類数は１６種類ある。その他、図３（Ａ）〜（Ｃ）のいずれかを適用する場合があるので、パーティション形状決定器２２の決定に係る種類数は２５９（＝２５６＋３）種類ある。
【００３０】
図４は、Ｈ．２６４／ＡＶＣ標準における、送信情報に挿入する動きベクトルの情報の表記方法の説明図であり、図４（Ａ）はサブマクロブロック単位の動きベクトル情報が存在しない場合（図３（Ａ）〜（Ｃ）の場合）の説明図であり、図４（Ｂ）はサブマクロブロック単位の動きベクトル情報が存在する場合（図３（Ｄ）の場合）の説明図である。
【００３１】
図３（Ａ）〜（Ｃ）のいずれかに従う場合であれば、図４（Ａ）に示すように、図３（Ａ）〜（Ｃ）のいずれかであることを示すマクロブロックタイプ（なお、マクロブロックタイプは図３（Ｄ）も対象としている）ｍｂ ｔｙｐｅと、パーティション毎の参照画像の情報ｒｅｆ ｉｄｘと、パーティション毎の動きベクトルｍｖとでなる。図４（Ａ）は、２つのパーティションを有する図３（Ａ）又は図３（Ｂ）の場合のものである。
【００３２】
図３（Ｄ）に従う場合であれば、図４（Ｂ）に示すように、図３（Ｄ）であることを示すマクロブロックタイプｍｂ ｔｙｐｅと、１６種類のサブマクロブロック単位の組合せのいずれかであることを示すサブマクロブロックタイプｓｕｂ ｍｂ ｔｙｐｅと、サブマクロブロック毎の参照画像の情報ｒｅｆ ｉｄｘと、パーティション毎の動きベクトルｍｖとでなる。
【００３３】
第１の実施形態の場合、上述したパーティション分割器２０−１〜２０−Ｎ、Ｎ個の動きベクトル探索器２１−１〜２１−Ｎ及びパーティション形状決定器２２までの構成は従来と同様であるが、パーティション形状決定器２２からの情報を符号化器６（図２参照）に与えるのではなく、パーティション結合器２３に与えるようになされている。パーティション形状決定器２２は、例えば、図４に従った動きベクトルの情報をパーティション結合器２３に与える。
【００３４】
パーティション結合器２３は、パーティション形状決定器２２からの出力情報が図４（Ａ）に示す情報の場合（図３（Ａ）〜（Ｃ）のいずれかに従う場合）であればそのまま出力し、パーティション形状決定器２２からの出力情報が図４（Ｂ）に示す情報の場合（図３（Ｄ）に従う場合）であればパーティションの結合動作を行い、その結合結果に基づいて、動きベクトルの情報を再構築して出力する。結合するパーティションは、参照画像の時刻が同一であって動きベクトルの向きと大きさが同一のものである。
【００３５】
パーティション結合器２３には、結合後のパーティション構成に対するマクロブロックタイプｍｂ ｔｙｐｅと、出力する動きベクトルの情報の構成を記述した結合パーティション用データベース２３Ａが関連して設けられており、パーティション結合器２３は、結合パーティション用データベース２３Ａを参照して動きベクトルの情報を再構築する。
【００３６】
図５は、Ｐスライスに対する結合パーティション用データベース２３Ａの説明図である。Ｂスライスに対しても同様の結合パーティション用データベースを用意する。図５（Ａ）は、右下側の８×８画素の動きベクトル（参照画像の情報を含む）が他の領域の動きベクトルと異なる場合を示している。この結合後パーティション構成にはマクロブロックタイプｍｂ ｔｙｐｅは「４」が付与されており、図中の「０」及び「１」のパーティション（領域）順に参照画像の情報ｒｅｆ ｉｄｘが記述され、「０」及び「１」のパーティション（領域）順に動きベクトルｍｖが記述されることを表している。図５の他の例も同様なことを表している。なお、結合パーティション用データベース２３Ａに記述されているマクロブロックタイプｍｂ ｔｙｐｅは、Ｈ．２６４／ＡＶＣ標準に従っていない、第１の実施形態に独自のものである。
【００３７】
例えば、パーティション形状決定器２２からの情報が図６（Ａ）のような場合、動きベクトル（参照画像を含む）ＭＶ１が同じ４つの４×８画素のパーティションｐｔ１、ｐｔ４、ｐｔ５及びｐｔ８が結合されて図６（Ｂ）に示すパーティションＰＴＡに変換されると共に、動きベクトル（参照画像を含む）ＭＶ２が同じ４つの４×８画素のパーティションｐｔ２、ｐｔ３、ｐｔ６及びｐｔ７が結合されて図６（Ｂ）に示すパーティションＰＴＢに変換される。変換後のパーティション形状で、結合パーティション用データベース２３Ａを検索すると、図５（Ｅ）の結合後パーティション構成が該当すると判断され、マクロブロックタイプｍｂ ｔｙｐｅに、この結合後パーティション構成の「８」が付与され、パーティション（領域）ＰＴＡ、ＰＴＢ順に参照画像の情報ｒｅｆ ｉｄｘが記述され、パーティション（領域）ＰＴＡ、ＰＴＢ順に動きベクトルＭＶ１、ＭＶ２が記述される。
【００３８】
再構築された動きベクトルの情報は、図４（Ａ）に示すものと同様に、サブマクロブロックタイプが存在しないものとなっている。
【００３９】
以上のようにして第１の実施形態の動画像符号化装置１においては、Ｈ．２６４／ＡＶＣ標準ではパーティション数が多くなるマクロブロックについて、動きベクトルの情報の符号量を抑えることができる。
【００４０】
マクロブロックタイプｍｂ ｔｙｐｅに係るビット数が固定でも良いが、パーティション数が少ないものほど、ビット数が少なくなるように、結合後パーティション構成に対するマクロブロックタイプを割り当てるようにしても良い。
【００４１】
（Ａ−２）第１の実施形態の動画像復号化装置
第１の実施形態に係る動画像復号化装置の全体構成は、Ｈ．２６４／ＡＶＣ標準に従った一般的な構成とほぼ同様である。
【００４２】
しかし、第１の実施形態に係る動画像復号化装置は、図７に示すように、動き補償復号画像生成器３１に対して、受信した動きベクトルの情報（図４、図５等参照）をそのまま入力させるのではなく、結合パーティション分解器３０を介して入力させる点が、Ｈ．２６４／ＡＶＣ標準に従った一般的な動画像復号化装置とは異なっている。
【００４３】
結合パーティション分解器３０は、入力された動きベクトルの情報のマクロブロックタイプｍｂ ｔｙｐｅが、上述した図３（Ａ）〜（Ｃ）のいずれかを表す場合にはそのまま動き補償復号画像生成器３１に出力する。一方、結合パーティション分解器３０は、入力された動きベクトルの情報のマクロブロックタイプｍｂ ｔｙｐｅが、図５のいずれかを表す場合には、その動きベクトルの情報を、図４（Ｂ）に示すようなＨ．２６４／ＡＶＣ標準に従った情報に変換して動き補償復号画像生成器３１に出力する。この変換は、パーティションの観点からは、図５のいずれかの結合後パーティションを図３（Ｄ）に示すサブマクロブロック単位のパーティションの構成へ変換するものである。
【００４４】
結合パーティション分解器３０には、入力情報と出力情報とを対応付けた動きベクトル情報変換テーブル３０Ａが関連して設けられている。出力情報は、その形式が図４（Ｂ）に従うものであり、マクロブロックタイプｍｂ ｔｙｐｅと、サブマクロブロックタイプｓｕｂ ｍｂ ｔｙｐｅとに値が挿入されているが、サブマクロブロック毎の参照画像の情報ｒｅｆ ｉｄｘや、パーティション毎の動きベクトルｍｖのフィールドには、入力情報におけるどのフィールドの値を取り出して挿入するかが記述されている。
【００４５】
従って、結合パーティション分解器３０は、例えば、上述した図６（Ｂ）から図６（Ａ）へのパーティション変換を行う。
【００４６】
Ｈ．２６４／ＡＶＣ標準に比較し、第１の実施形態の場合、マクロブロックタイプｍｂ ｔｙｐｅの数が多くなっている。結合パーティション分解器３０を設けず、動き補償復号画像生成器３１が、結合後パーティションに係る動きベクトルの情報が入力されたときには、該当する参照画像から、該当するパーティション形状の領域を得て、動きベクトル分だけ移動させて復号画像の領域にすることを行うようにしても良い（この構成は他の実施形態となっている）。しかしながら、このようにした場合、動き補償復号画像生成器３１をＨ．２６４／ＡＶＣ標準に従っている既存のものから変更しなければならない。第１の実施形態に係る動画像復号化装置では、結合パーティション分解器３０を設けているため、Ｈ．２６４／ＡＶＣ標準に従っている既存の動き補償復号画像生成器３１をそのまま適用することができる。
【００４７】
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、パーティションを結合し、結合後パーティションに係る動きベクトルの情報を、動画像符号化装置及び動画像復号化装置間で授受するようにしたので、動き補償に係る平均的な符号量を削減することができる。言い換えると、動画像符号化装置における圧縮効率を高めることができる。
【００４８】
（Ｂ）第２の実施形態
次に、本発明による動きベクトル検出装置及び方法、動画像符号化装置及び方法、並びに、動画像復号化装置及び方法の第２の実施形態を説明する。なお、第１の実施形態に係る図１、図２、図７はそのまま第２の実施形態の図面と見ることもできる。
【００４９】
上述した第１の実施形態において、パーティション結合器２３は、パーティション形状決定器２２から出力された動きベクトル情報に基づいてパーティションを結合する際、参照画像と動きベクトルが同じパーティションが存在する場合には、それらパーティションの位置関係に関係なくパーティションを結合するものであった。
【００５０】
しかし、第１の実施形態のようなパーティションの結合では、結合後パーティションの種類は多大である。そのため、結合したパーティションの形状を特定するためのマクロブロックタイプの符号量が多くなり、パーティションを結合することによって動きベクトルの本数を削減した符号量の削減量を相殺する可能性がある。
【００５１】
そのため、第２の実施形態では、パーティション結合器２３における結合条件を第１の実施形態より厳しくし、結合後パーティションの種類数を抑えることとした。第２の実施形態におけるパーティション結合器２３は、例えば、結合するパーティションを隣接する同じ大きさのパーティションに限定する。
【００５２】
例えば、パーティション形状決定器２２の出力情報が、図８（Ａ）のような場合において、パーティションＰＴ２１及びＰＴ２３は、動きベクトルが同一であるだけでなく、隣接する同じ大きさのパーティションであるので、パーティション結合器２３は、パーティションＰＴ２１及びＰＴ２３を結合する。パーティションＰＴ２４−１も、動きベクトルは、パーティションＰＴ２１及びＰＴ２３の動きベクトルと同一であるが、大きさが異なるので結合しない。同様な理由により、パーティション結合器２３は、パーティションＰＴ２２及びＰＴ２４−１を結合しない。その結果、第２の実施形態の場合、結合後パーティションは図８（Ｂ）に示すようになる。因みに、図８（Ｃ）は、第１の実施形態における結合後パーティションを示している。
【００５３】
第２の実施形態によれば、結合後パーティションの種類数を抑えたので、その種類数を特定するための符号量をごくごく抑えることができ、パーティションを結合することによる符号量の削減を有効に発揮させることができる。また、結合処理時間を、第１の実施形態より少なくすることが期待できる。
【００５４】
（Ｃ）他の実施形態
上記各実施形態の説明においても変形実施形態に言及したが、以下に例示するような変形実施形態を挙げることができる。
【００５５】
上述した第１及び第２の実施形態においては、パーティションの結合条件として、動きベクトルの向きと大きさが等しいことを示したが、動きベクトルが完全に一致していなくてもある条件の場合パーティションを結合するようにしても良い。条件の一例として、動きベクトルの差分が閾値以内のときを挙げることができる。また、動きベクトルの情報量とパーティション形状の情報量との重み付け和（符号量の目安）が大きい場合には、類似度が高い方の動きベクトルを同一とみなしてパーティションを結合するようにしても良い。このとき、結合したパーティションの動きベクトルは結合したパーティションのそれぞれの動きベクトルの平均や、重み付け平均などを適用する。
【００５６】
上記各実施形態は、Ｈ．２６４／ＡＶＣ標準に準拠した動きベクトル検出装置及び方法、動画像符号化装置及び方法、並びに、動画像復号化装置及び方法に、本発明を適用した場合を示したが、本発明はこれに限定されるものではない。例えば、参照画像が１画像である場合（選択できない場合）にも本発明を適用することができる。また、大きい方のブロック（マクロブロックに対応する）が３２×３２画素であって、小さい方のブロック（サブマクロブロックに対応する）が１６×１６画素のような装置に本発明を適用することができる。
【００５７】
上記各実施形態では、異なる大きさのパーティションの動きベクトルを並行的に求めるものを示したが、大きい方のパーティションの動きベクトルから小さい方のパーティションの動きベクトルへ順次求めるものであっても良く、この場合において、Ｈ．２６４／ＡＶＣ標準に準拠した動きベクトルの情報が確定した段階で、小さい方への移行を止めるようにしても良い。
【００５８】
上記各実施形態の説明では、ハードウェアで処理するイメージで説明したが、一部又は全ての処理をソフトウェアで実行するようにしても良い。
【図面の簡単な説明】
【００５９】
【図１】第１の実施形態における画像間予測器の要部構成を示すブロックである。
【図２】第１の実施形態の動画像符号化装置の全体構成を示すブロック図である。
【図３】第１の実施形態に係るパーティションの組合せの説明図である。
【図４】Ｈ．２６４／ＡＶＣ標準における、送信情報に挿入する動きベクトル情報の表記方法の説明図である。
【図５】第１の実施形態における結合パーティション用データベースの説明図である。
【図６】第１の実施形態におけるパーティション結合器の動作の説明図である。
【図７】第１の実施形態の動画像復号化装置の要部構成を示すブロック図である。
【図８】第２の実施形態におけるパーティション結合器の動作の説明図である。
【符号の説明】
【００６０】
１…動画像符号化装置、１１…画像間予測器、２０−１〜２０−Ｎ…パーティション分割器、２１−１〜２１−Ｎ…動きベクトル探索器、２２…パーティション形状決定器、２３…パーティション結合器、３０…結合パーティション分解器、３０Ａ…動きベクトル情報変換テーブル。
【特許請求の範囲】
【請求項１】
１画像を分割した所定大きさのブロック毎に、上記ブロックの大きさを上限とした、大きさ及び矩形形状が異なる複数のパーティションを単位として動きベクトルの情報を得る動きベクトル検出装置において、
１個の上記ブロックについて、複数のパーティションで動きベクトルが得られた場合に、動きベクトルが得られた複数のパーティションを結合するか否かを判定し、結合するときには、結合後パーティションについての動きベクトルの情報を、当該装置から出力される動きベクトルの情報に含めるパーティション結合手段を有することを特徴とする動きベクトル検出装置。
【請求項２】
複数の参照画像から適用する参照画像を選択し得る請求項１に記載の動きベクトル検出装置において、
上記パーティション結合手段は、参照画像の時刻が等しく動きベクトルの向きと大きさの差が所定の誤差範囲内であることを、パーティション結合の条件としていることを特徴とする動きベクトル検出装置。
【請求項３】
請求項１又は２に記載の動きベクトル検出装置において、
上記パーティション結合手段は、パーティション同士が隣接し、かつ、同じ大きさであることを、パーティション結合の条件としていることを特徴とする動きベクトル検出装置。
【請求項４】
１画像を分割した所定大きさのブロック毎に、上記ブロックの大きさを上限とした、大きさ及び矩形形状が異なる複数のパーティションを単位として動きベクトルの情報を得る動きベクトル検出方法において、
パーティション結合手段が、１個の上記ブロックについて、複数のパーティションで動きベクトルが得られた場合には、動きベクトルが得られた複数のパーティションを結合するか否かを判定し、結合するときには、結合後パーティションについての動きベクトルの情報を、当該装置から出力される動きベクトルの情報に含めることを特徴とする動きベクトル検出方法。
【請求項５】
動きベクトル検出装置を備え、動き補償画像間符号化方式に従って動画像を符号化する動画像符号化装置において、
上記動きベクトル検出装置として、請求項１〜３のいずれかに記載のものを適用したことを特徴とする動画像符号化装置。
【請求項６】
動きベクトル検出装置が実行する動きベクトル検出ステップを含み、動き補償画像間符号化方式に従って動画像を符号化する動画像符号化方法において、
上記動きベクトル検出ステップとして、請求項４に記載の動きベクトル検出方法を適用したことを特徴とする動画像符号化方法。
【請求項７】
対向する請求項５に記載の動画像符号化装置から与えられた符号化情報に基づき、動画像復号処理を行う動画像復号化装置において、
動きベクトルの情報に基づき、動き補償を伴う復号化を実行する動き補償復号化手段と、
受信した符号化情報に含まれている動きベクトルの情報が、結合後パーティションについてのものか否かを識別し、結合後パーティションについてのものである場合に、結合される前の動きベクトルの情報に戻して、上記動き補償復号化手段に与える結合パーティション分解手段と
を有することを特徴とする動画像復号化装置。
【請求項８】
入力された符号化情報に基づき、動画像復号処理を行う動画像復号化方法において、
動きベクトルの情報に基づき、動き補償を伴う復号化を動き補償復号化手段が実行する工程、
受信した符号化情報に含まれている動きベクトルの情報が、結合後パーティションについてのものか否かを識別し、結合後パーティションについてのものである場合に、結合される前の動きベクトルの情報に戻して、上記動き補償復号化手段に与える結合パーティション分解手段が実行する工程と
を有することを特徴とする動画像復号化方法。
【請求項１】
１画像を分割した所定大きさのブロック毎に、上記ブロックの大きさを上限とした、大きさ及び矩形形状が異なる複数のパーティションを単位として動きベクトルの情報を得る動きベクトル検出装置において、
１個の上記ブロックについて、複数のパーティションで動きベクトルが得られた場合に、動きベクトルが得られた複数のパーティションを結合するか否かを判定し、結合するときには、結合後パーティションについての動きベクトルの情報を、当該装置から出力される動きベクトルの情報に含めるパーティション結合手段を有することを特徴とする動きベクトル検出装置。
【請求項２】
複数の参照画像から適用する参照画像を選択し得る請求項１に記載の動きベクトル検出装置において、
上記パーティション結合手段は、参照画像の時刻が等しく動きベクトルの向きと大きさの差が所定の誤差範囲内であることを、パーティション結合の条件としていることを特徴とする動きベクトル検出装置。
【請求項３】
請求項１又は２に記載の動きベクトル検出装置において、
上記パーティション結合手段は、パーティション同士が隣接し、かつ、同じ大きさであることを、パーティション結合の条件としていることを特徴とする動きベクトル検出装置。
【請求項４】
１画像を分割した所定大きさのブロック毎に、上記ブロックの大きさを上限とした、大きさ及び矩形形状が異なる複数のパーティションを単位として動きベクトルの情報を得る動きベクトル検出方法において、
パーティション結合手段が、１個の上記ブロックについて、複数のパーティションで動きベクトルが得られた場合には、動きベクトルが得られた複数のパーティションを結合するか否かを判定し、結合するときには、結合後パーティションについての動きベクトルの情報を、当該装置から出力される動きベクトルの情報に含めることを特徴とする動きベクトル検出方法。
【請求項５】
動きベクトル検出装置を備え、動き補償画像間符号化方式に従って動画像を符号化する動画像符号化装置において、
上記動きベクトル検出装置として、請求項１〜３のいずれかに記載のものを適用したことを特徴とする動画像符号化装置。
【請求項６】
動きベクトル検出装置が実行する動きベクトル検出ステップを含み、動き補償画像間符号化方式に従って動画像を符号化する動画像符号化方法において、
上記動きベクトル検出ステップとして、請求項４に記載の動きベクトル検出方法を適用したことを特徴とする動画像符号化方法。
【請求項７】
対向する請求項５に記載の動画像符号化装置から与えられた符号化情報に基づき、動画像復号処理を行う動画像復号化装置において、
動きベクトルの情報に基づき、動き補償を伴う復号化を実行する動き補償復号化手段と、
受信した符号化情報に含まれている動きベクトルの情報が、結合後パーティションについてのものか否かを識別し、結合後パーティションについてのものである場合に、結合される前の動きベクトルの情報に戻して、上記動き補償復号化手段に与える結合パーティション分解手段と
を有することを特徴とする動画像復号化装置。
【請求項８】
入力された符号化情報に基づき、動画像復号処理を行う動画像復号化方法において、
動きベクトルの情報に基づき、動き補償を伴う復号化を動き補償復号化手段が実行する工程、
受信した符号化情報に含まれている動きベクトルの情報が、結合後パーティションについてのものか否かを識別し、結合後パーティションについてのものである場合に、結合される前の動きベクトルの情報に戻して、上記動き補償復号化手段に与える結合パーティション分解手段が実行する工程と
を有することを特徴とする動画像復号化方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−１８２７９２（Ｐ２００９−１８２７９２Ａ）
【公開日】平成２１年８月１３日（２００９．８．１３）
【国際特許分類】
【出願番号】特願２００８−２０７９０（Ｐ２００８−２０７９０）
【出願日】平成２０年１月３１日（２００８．１．３１）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２１年８月１３日（２００９．８．１３）
【国際特許分類】
【出願日】平成２０年１月３１日（２００８．１．３１）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]