説明

画像符号化データのレート変換方法および装置

【目的】 トランス符号化よりも簡単な手段を用いて、トランス符号化と同様な性能を持つ画像符号化データのレート変換装置を提供すること。
【構成】 符号化データ入力端子1より入力された符号化レートR1で符号化された画像符号化データ1aは、可変長復号器2に供給される。可変長復号器2では可変長符号化されたデータの復号化が行なわれ、DCT 符号化情報2aは逆量子化器3に入力される。量子化制御器5は、再量子化に必要な量子化ステップを求め、量子化器6を制御する。逆量子化器3で逆量子化されたDCT 符号化情報2aはDCT 係数3aに復元される。このDCT 係数3aは量子化制御器5により定められる量子化ステップQにより、量子化器6で再度量子化され、可変長符号化器7に入力される。可変長符号化器7は、可変長符号化後、符号化レートR2で符号化された画像符号化データ7aを符号化データ出力端子8に出力する。

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像符号化データのレート変換方法および装置に関し、特にディジタル動画像を記録、伝送、又は表示する装置において、簡単な構成でかつ少ない画質劣化でレート変換をすることのできる画像符号化データのレート変換方法および装置に関する。
【0002】
【従来の技術】動画像の高能率符号化の従来例としては、ISO (国際標準化機構)とIEC (国際電気標準会議)のJTC(Joint Technical Committee)で提案されている動画像の符号化の標準方式、すなわちMPEG1 (Moving Pictures Experts Group )やMPEG2 がある。MPEG方式の符号化により、テレビジョン信号は画質に応じて1Mbit/sから数10Mbit/s程度の伝送速度の符号化データに変換され、コンピュータハードディスクに蓄積されたり、LAN(Local Area Network) などにより伝送される。
【0003】一方インタネットやISDNなどの伝送路では、回線の混雑度や契約回線速度により利用できる伝送速度はさまざまであるため、動画像の伝送に関しても色々な速度での伝送要求がある。このため、例えば、一旦蓄積された符号化データがある場合には、これを復号して画像を復元し、再度所要の伝送速度に合わせて再符号化を行なう技術がある。これはトランス符号化と呼ばれるものであり、図11を用いて、その概要を説明する。
【0004】図示されているように、符号化データ入力端子51から入力された符号化レートR1で符号化されたデータは、復号器52で一旦画像に戻される。その画像は符号化器53に入力され、符号化レート入力端子55から入力される符号化レートにより再度符号化され、符号化データ出力端子54から符号化レートがR2に変換された符号化データとして出力される。
【0005】これに対して、符号化されたデータを復元して画像まで戻すことなく、符号化されたデータ上で符号化レート変換を行なう技術がある。その1つに松本、木村による" 符号化レート変換方式の検討", 1994 年テレビジョン学会年次大会, pp183-184 がある。この方式を、図12を用いて、簡単に説明する。
【0006】図示されているように、符号化データ入力端子61から入力された符号化レートR1で符号化されたデータは、可変長復号器62によりDCT (離散コサイン変換)符号化情報を取り出され、符号化レート入力端子66から入力される符号化レートに従ってDCT 係数選択器63でDCT 符号化情報を削減され、削減後のDCT符号化情報は可変長符号化器64で符号化され、符号化データ出力端子65から符号化レートがR2に変換された符号化データとして出力される。ここではこの方式をDCT 分割方式と呼ぶ。
【0007】該DCT 分割方式を、図13を参照してより具体的に説明する。符号化処理は、一般に、8×8画素を1ブロックとして行われるが、図では、説明を簡単にするために、4×4画素ブロックが示されている。図において、図示されていない4×4画素ブロックをDCT 処理して得られた係数行列が符号71で示されるものであるとすると、該係数行列71は量子化行列72の対応する要素により割り算される。この割り算された値の余りは切捨てられ、整数部分から量子化係数行列74(すなわち前記符号化情報)が得られる。該符号化情報74の各要素は、ジグザグスキャン行列75の各要素の順に並べ変えられ、量子化係数行列76が得られる。この量子化係数行列76は、次に、エントロピー符号化を行われる。
【0008】前記DCT 分割方式は、前記可変長復号器62でエントロピー符号化されたデータを符号化情報74に復号し、DCT 係数選択器63で例えば符号化情報74の一部74aのみを選択し、残余の符号化情報は削除する。このようにして、削減された後のDCT 符号化情報74aは前記可変長符号化器64で符号化され、符号化データ出力端子65から符号化レートがR2に変換された符号化データとして出力される。
【0009】
【発明が解決しようとする課題】しかしながら、上記の文献中の説明によると、前記トランス符号化は、元の符号化レートR1を6Mbit/s、変換後のレートR2を4Mbit/sとすると、トランス符号化はMPEG2 ではノーマル符号化に比らべて1. 5dB程度劣化するという問題がある。ここに、ノーマル符号化は、レート変換せずに行う通常の符号化、換言すれば画像を符号化器で直接行う符号化を意味する。また、該トランス符号化は、復号器52と符号化器53とを使用するため、装置構成が大掛かりになり、装置の費用が高くなるという問題がある。
【0010】一方、前記DCT 分割方式は、前記可変長復号器62、DCT 係数選択器63および可変長符号化器64で実現することができるため、トランス符号化に比べて装置構成は非常に簡単になるが、上記文献の説明によると、ノーマル符号化に対して3dB程度劣化する。このため、DCT 分割方式は、変換による画質劣化が非常に大きいという問題がある。なお、この画質劣化の理由は、例えば図13において、DCT符号化情報74の74a以外の残余の情報が削除されるためであると考えられる。
【0011】本発明の目的は、前記した従来技術の問題点を除去し、トランス符号化よりも簡単な手段を用いて、トランス符号化と同様な性能を持つ画像符号化データのレート変換方法および装置を提供することにある。他の目的は、トランス符号化よりも簡単な手段を用いて、DCT 分割方式でのレート変換よりも変換効率を向上させることのできる画像符号化データのレート変換方法および装置を提供することにある。
【0012】
【課題を解決するための手段】本発明は前記目的を達成するために、(1)符号化された動画像データにおいて、該符号化レートを変換する場合に、逆量子化された符号化データに対して再量子化を行なうことにより、量子化のレベルでレート変換を行なうことを特徴とするレート変換方法を提供した点、(2)動画像の符号化データを逆量子化する手段と、前記逆量子化された符号化データを再量子化する手段と、前記再量子化に必要な量子化ステップの制御を行なう量子化制御手段とからなる画像符号化データのレート変換装置を提供した点に特徴がある。
【0013】
【作用】本発明によれば、動画像の符号化データの一部を削減することなく画像符号化データのレート変換を行うことができるので、画像劣化を最小限に抑えて符号化データのレート変換をすることができる。また、従来装置のように、復号器と符号化器とを必要としないので、簡単な装置構成で安価に構成することができる。
【0014】
【実施例】以下に、図面を参照して、本発明を詳細に説明する。本発明は、静止画像や動画像いずれについても、どのような画像符号化方式にも適用可能であるが、以下の実施例では、DCT を用いたMPEG方式による動画像符号化の場合について説明する。MPEGでは8画素×8ライン単位のブロックでDCT 符号化が行なわれる。また、量子化ステップはマクロブロック単位に付与される。ここでマクロブロックは例えばMPEG1 では図10(a) に示されているように16画素×16ラインからなり、同図(b) に示されているように、4個の8画素×8ライン単位の輝度ブロックと、2個の8画素×8ライン単位の色差ブロックから構成される。
【0015】図1は本発明のレート変換装置の第1実施例の構成を示すブロック図である。符号化データ入力端子1より入力された符号化レートR1で符号化された画像符号化データ1aは、まず可変長復号器2に供給される。可変長復号器2では可変長符号化されたデータの復号化が行なわれ、ブロック毎のDCT 符号化情報や量子化ステップ情報などが復号される。この内、DCT 符号化情報2aは逆量子化器3に入力され、DCT 符号化情報以外の情報(例えば、量子化ステップ、動きベクトル等)2bはメモリ4に入力される。さらに可変長復号器2では各画像の総ビット量がカウントされ、該総ビット量2cは量子化制御器5に入力される。
【0016】逆量子化器3に入力されたDCT 符号化情報2aは該逆量子化器3によって逆量子化され、DCT 係数3aに復元される。このDCT 係数は図13のDCT の係数行列71に相当する。復元されたDCT 係数3aは量子化制御器5により定められる量子化ステップQにより、量子化器6で再度量子化される。量子化制御器5には、メモリ4からの量子化ステップ4a、可変長復号器2からの変換前の総ビット量2c、可変長符号器7からの変換後の変換ブロックまでの総ビット量7bおよび変換後の量子化ステップ7c、ならびに符号化レート入力端子9からの符号化レート9aが入力される。
【0017】量子化器6から出力されるDCT 符号化情報6aは、メモリ4に蓄積された動きベクトルなどのDCT 符号化情報以外の情報4bおよび量子化制御器5からの量子化ステップQと共に可変長符号化器7に入力され、可変長符号化後、符号化レートR2で符号化された画像符号化データ7aとして符号化データ出力端子8から出力される。図1中の符号11、14、16、19、20および22は、図2との関係を明らかにするために設けられたものである。
【0018】なお、前記可変長復号器2、逆量子化器3はMPEG方式に準拠した復号器で用いるものと同一の方式を用いることができる。また、量子化器6と可変長符号化器7はMPEG方式に準拠した符号器で用いるものと同一の方式を用いることができる。
【0019】図2は前記量子化制御器5の一実施例を示すブロック図である。図2において、図1と同じ符号は、同一または同等物を示す。図の量子化ステップ入力端子11に、現在処理を行なっているブロックの変換前の量子化ステップQ1m(n, i) が入力される。ここで、n はフレーム番号で画像の表示順序で番号付けが行なわれる。またi はマクロブロックの番号で、例えば図10に示されているように、画面Pの左上から右下に向けて番号が順番に付けられる(i = 0, 1, 2 ... T-1, Tは画面中の全マクロブロック)。i およびn は、以下においても同様の意味を有している。
【0020】量子化ステップQ1m(n, i) は量子化ステップ演算部21に入力されるほか、平均値処理部12に入力される。平均値処理部12では画面内の各マクロブロックの量子化ステップが加算され、画面内すべての量子化ステップが入力された段階でその平均値がとられ、画面平均量子化ステップQ1p(n)が求められる。平均値処理部12から出力される画面平均量子化ステップQ1p(n)はメモリ13に蓄積される。該メモリ13からは、同一符号化タイプで直前に符号化された画面の平均量子化ステップQ1P(n-k)が出力される。ここで、k は正の整数で、フレーム番号n-k は現在処理を行なっている画面n と同一の符号化タイプの画面で直前に復号化された画面の番号を示す。例えば、現在処理を行なっているフレーム番号n が n=5で、符号化タイプがMPEGで規定しているPredictive coded pictures (Pピクチャ) の場合で、直前に符号化されたP ピクチャのフレームが2フレーム前に存在する場合、k=2 としてn-k は3となり、フレーム番号3を示す。
【0021】次に、変換前画面ビットカウント入力端子14には変換前の画面の総符号化ビット量B1p(n)が入力される。変換前画面符号化ビット量B1p(n)はメモリ15に蓄積される。該メモリ15からは、同一符号化タイプで直前に符号化された画面の変換前の総符号化ビット量B1p(n-k)が出力される。
【0022】変換後量子化ステップ入力端子16からの変換後量子化ステップQ2m(n,i)は平均値処理部17に入力される。平均値処理部17では画面内の各マクロブロックの量子化ステップが加算され、画面内すべての量子化ステップが入力された段階でその平均値がとられ、変換後の画面平均量子化ステップQ2p(n)が求められる。平均値処理部17から出力される変換後画面平均量子化ステップQ2p(n)はメモリ18に蓄積される。該メモリ18からは、1つ前の同じ符号化タイプの変換後画面平均量子化ステップQ2p(n-k)が出力される。変換後画面ビットカウント入力端子19には変換後の画面の該ブロックまでの符号化ビット量B2u(n, i) が入力される。
【0023】量子化ステップ演算部21には、量子化ステップ入力端子11からのブロックの量子化ステップQ1m(n, i) 、メモリ13からの画面平均量子化ステップQ1p(n-k)が、メモリ15からの変換前画面符号化ビット量B1p(n-k)、メモリ18からの変換後画面平均量子化ステップQ2p(n-k)、変換後画面ビットカウント入力端子19からの変換後の画面の該ブロックまでの符号化ビット量B2u(n, i) 、および符号化レート入力端子20からレート変換前の符号化レートR1と変換後の符号化レートR2が入力され、変換後の量子化ステップQ2m(n, i) が量子化ステップ出力端子22に出力される。なお、前記Q1m 、B1p 、Q2p 、B2u 等の添字1は変換前を表し、添字2は変換後を表す。以下においても同様である。
【0024】次に、前記量子化ステップ演算部21の動作を詳細に説明する。まず、下記の説明で出てくる諸量のうちの主なものの意味について、図9を参照して予め説明する。いま、画面が時間的にP(n-k) 、P(n-k+1) 、…、P(n) と変化するものとし、現在レート変換中の画面のマクロブロックがnフレーム目の画面P(n) のi番目のブロックiであるとする。また、該画面P(n) と同一符号化タイプで直前に符号化された画面が画面P(n) よりkフレーム前の画面P(n-k) であるとする。
【0025】Q1p(n-k)…画面P(n-k) のレート変換前の平均量子化ステップ、Q2p(n-k)…画面P(n-k) のレート変換後の平均量子化ステップ、B1p(n-k)…画面P(n-k) のレート変換前の総ビット量、Q1m(n,i)…画面P(n) のレート変換前のマクロブロックiの量子化ステップ、Q2m(n,i)…画面P(n) のレート変換後のマクロブロックiの量子化ステップ、Q2b(n,i)…画面P(n) のマクロブロックiのレート変換後のベース量子化ステップ、B1p(n)…画面P(n) の変換前の総符号化ビット量、B2t(n)…画面P(n) のレート変換後のターゲット(目標)ビット量、B2u(n,i)…画面P(n) のレート変換後のマクロブロックiまで(図示の斜線部)のビット量、η…画面P(n) の変換後のマクロブロックiまで(図示の斜線部)の符号化ビット量を反映した該画面のターゲット(目標)ビット量。
【0026】さて、量子化ステップ演算部21は、以下のようにして、該ブロックのベース量子化ステップQ2b(n, i) 、変換前の該ブロックの量子化ステップQ1m(n, i) および同一符号化タイプで直前に符号化された画面(以下、直前同一符号化画面と略す)の変換前の平均量子化ステップQ1p(n-k)から、関数F1により、変換後の量子化ステップQ2m(n, i) を求めることができる。
【0027】
Q2m(n, i) = F1( Q2b(n, i), Q1m(n, i), Q1p(n-k) ) (1) 前記直前同一符号化画面の変換前の平均量子化ステップQ1p(n-k)に対するブロックiの変換前の量子化ステップQ1m(n,i)の比Q1m(n,i)/ Q1p(n-k)は、シーンが連続的であると仮定すると、該ブロックiの画面平均に対する量子化の特性を示す。例えば、平均量子化ステップQ1p(n-k)に対してQ1m(n,i)が大きい時には、変換後の量子化ステップQ2m(n,i)も変換後の画面平均量子化ステップに対して大きくする必要がある。したがって、前記関数F1は、例えば下記の(2) 式のように、該ブロックのベース量子化ステップQ2b(n,i)に重み付け係数Q1m(n,i)/Q1p(n-k)を乗算した形態として表すことができる。ここに、ブロックiのベース量子化ステップQ2b(n, i) とは、下記の(4) 式から明らかになるように、直前同一符号化画面の変換後の平均量子化ステップQ2p(n-k)に、該ブロックiまでの変換後符号化ビット量を反映した量子化ステップであると言うことができる。
F1( Q2b(n, i), Q1m(n, i), Q1p(n-k, i) ) = α Q2b(n, i) x Q1m(n, i) / Q1p(n-k) (2) ここで、αは正の実数で、例えばα= 1 を用いることができる。
【0028】また、前記ブロックのベース量子化ステップQ2b(n, i) は,以下のように、直前同一符号化画面の変換後の量子化ステップQ2p(n-k)と、該画面のターゲットビット量B2t(n)と、変換処理後の該ブロックまでのビット量B2u(n, i) とを用いて、関数G1により求めることができる。
Q2b(n, i) = G1 (Q2p(n-k),B2t(n), B2u(n, i) ) (3)
【0029】該ブロックまでの変換後の符号化ビット量を反映した該画面のターゲットビット量ηに対する該画面のターゲットビット量B2t(n)/ ηは、該ブロックでの使用可能ビット量を反映した量子化の特性を示す。例えば、B2t(n)に比べてηが大きい場合は、既に符号化したビット量が予想以上に多いため、ベース量子化ステップを大きくする必要がある。また、変換後の量子化ステップの基本としては、直前同一符号化画面の変換後の平均量子化ステップQ2p(n-k)を用いることができる。したがって、関数G1は(4) 式のように、量子化ステップQ2p(n-k)に重み付け係数B2t(n)/ ηを乗算した形態として求めることができる。
G1 (Q2p(n-k), B2t(n), B2u(n, i) ) = Q2p(n-k) x B2t(n) / η (4)
【0030】該ブロックiまでの使用予定ビット量B2t(n)xi/Tと、実際に符号化されて得られるビット量B2u(n,i)の差B2t(n)xi/T-B2u(n,i) とにより、該ブロックiまでの使用ビット量の増減がわかる。例えば、B2t(n)が100kビット、iが20、Tが40の場合、使用予定ビット量は50kビットとなる。もし、実際に符号化されて得られるビット量B2u(n,i)が60kビットの場合、使用予定ビット量に比べて、実際の符号化ビット量が超過していることを示す。したがって、ηは(5) 式のように、該画面のターゲットビット量B2t(n)に、該ブロックまでの使用ビット量の増減値を加えることにより求めることができる。
η = ( B2t(n) + B2t(n)x i / T- B2u(n, i) ) (5)
【0031】また、B2t(n)は以下のように、同一符号化タイプで直前に符号化された画面のビット量B1p(n-k)および変換前後の符号化レート、R1, R2を用いて、関数H1により求めることができる。
B2t(n) = H1 ( B1p(n-k), R1, R2) (6)関数H1は(7) 式のように、直前同一符号化画面の総ビット量B1p(n-k)に変換比率R2/R1 を乗算して求めることができる。
H1 ( B1p(n-k), R1, R2) = εB1p(n-k) x R2 / R1 (7) ただし、εは正の実数で、例えばε = 1を用いることができる。
【0032】以上のことをまとめると、変換後の量子化ステップQ2m(n, i) は、下記の(8)式のようになり、図2R>2の量子化ステップ演算部21に入力する諸量から求めることができる。
【0033】
【数1】


本実施例によれば、以上のようにして、前記量子化ステップ演算部21から出力される変換後のブロックiの量子化ステップQ2m(n,i)を、該量子化ステップ演算部21に入力してくるデータを用いて求めることができる。本実施例では、従来のDCT 分割方式のようにDCT 符号化情報の一部を削減することなく、逆量子化器3で逆量子化し、次いで前記量子化ステップ演算部21で求められた量子化ステップQに基づいてレート変換するようにしているので、DCT 分割方式より小さな画像劣化でレート変換をすることができる。また、量子化ステップ演算部21はフレームnのブロックiの量子化ステップQを、該ブロックiが属するフレームnのブロックiまでの諸量および直前同一符号化画面(n−k)の諸量を考慮に入れて求めるようにしているので、システムの要求に適合した効率の良いレート変換を行うことができる。
【0034】次に、本発明の第2実施例について、図3を参照して説明する。図3は、図1の量子化制御器5の第2実施例を示すブロック図である。図中、図2と同一の符号は同一または同等物を示す。
【0035】図3において、変換前画面ビットカウント入力端子14には変換前の画面の符号化ビット量B1p(n)と変換前の該ブロックiの符号化ビット量B1m(n, i) が入力される。これらのデータはメモリ15に蓄積される。変換後量子化ステップ入力端子16からは変換後量子化ステップQ2m(n,i)が入力され、メモリ18からは直前同一符号化画面の変換後の平均量子化ステップQ2p(n-k)が出力される。
【0036】変換後画面ビットカウント入力端子19には、変換後の画面の該ブロックまでの符号化ビット量B2u(n, i) が入力される。量子化ステップ演算部21には、メモリ15からの変換前の画面の符号化ビット量B1p(n-k) と変換前の該ブロックiのビット量B1m(n, i) 、変換後画面ビットカウント入力端子19からの変換後の画面の該ブロックiまでの符号化ビット量B2u(n, i) 、および符号化レート入力端子20からのレート変換前の符号化レートR1と変換後の符号化レートR2とが入力され、量子化ステップ出力端子22に変換後の量子化ステップQ2m(n, i) が出力される。
【0037】量子化ステップ演算部21では以下のようにして、該ブロックのベース量子化ステップQ2b(n, i) 、変換前の該ブロックのビット量B1m(n, i) および直前同一符号化画面の変換前のビット量B1p(n-k) から、関数F3により、変換後の量子化ステップQ2m(n, i) を求めることができる。
Q2m(n, i) = F3( Q2b(n, i), B1m(n, i), B1p(n-k) ) (9) 変換前の該ブロックのビット量B1m(n,i)をT倍した画面換算のビット量に対する直前同一符号化画面の変換前のビット量B1p(n-k)の比 T xB1m(n,i)/B1p(n-k)は、該ブロックのビット量を反映した量子化の特性を示す。例えば、 T xB1m(n,i)がB1p(n-k)に比べて大きい場合は、該ブロック符号量が平均よりも大きいため、量子化ステップも大きくする必要がある。したがって、関数F3は、次の(10)式のように、ベース量子化ステップQ2b(n,i)に重み付け係数 T xB1m(n,i)/B1p(n-k) を乗算する形態をとることができる。
F3( Q2b(n, i), B1m(n, i), B1p(n-k) ) = β Q2b(n, i) x T x B1m(n, i) / B1p(n-k) (10) ここで、βは正の実数で、例えばβ= 1 を用いることができる。また、T は画面内の全ブロック数を示す。また、該ブロックのベース量子化ステップQ2b(n, i)は前記第1実施例と同様に求めることができる。
【0038】この実施例は、第1実施例に比べて、ベース量子化ステップQ2b(n,i)に、重み付け係数 T x B1m(n, i) / B1p(n-k) を乗算した点で相違するが、第1実施例と同様に、DCT 分割方式より小さな画像劣化でレート変換をすることができる。
【0039】次に、本発明の第3実施例を図4を参照して説明する。図4は、図1の量子化制御器5の第3実施例を示すブロック図である。図中、図2と同一の符号は同一または同等物を示す。
【0040】図4において、量子化ステップ入力端子11に、現在処理を行なっているブロックの量子化ステップQ1m(n, i) が入力される。量子化ステップQ1m(n, i) は量子化ステップ演算部21に入力される他、平均値処理部12に入力される。平均値処理部12では画面内の各ブロックの量子化ステップが加算され、画面内すべての量子化ステップが入力された段階で、平均値をとり、画面平均量子化ステップQ1p(n)が求められる。平均値処理部12から出力される画面平均量子化ステップQ1p(n)はメモリ13に蓄積される。
【0041】変換前画面ビットカウント入力端子14には変換前の画面の符号化ビット量B1p(n)と変換前の該ブロックの符号化ビット量B1m(n, i) が入力される。これらのデータはメモリ15に蓄積される。変換後量子化ステップ入力端子16からは変換後量子化ステップQ2m(n,i)が入力され、メモリ18からは直前同一符号化画面の変換後の平均量子化ステップQ2p(n-k)が出力される。変換後画面ビットカウント入力端子19には変換後の画面の該ブロックまでの符号化ビット量B2u(n, i)が入力される。
【0042】量子化ステップ演算部21には、量子化ステップ入力端子11からのブロックの量子化ステップQ1m(n, i) 、メモリ13からの画面平均量子化ステップQ1p(n-k)、メモリ15からの変換前画面符号化ビット量B1p(n-k)と変換前の該ブロックのビット量B1m(n, i) 、変換後画面ビットカウント入力端子19からの変換後の画面の該ブロックまでの符号化ビット量B2u(n, i) 、および符号化レート入力端子20からのレート変換前の符号化レートR1と変換後の符号化レートR2が入力され、量子化ステップ出力端子22に変換後の量子化ステップQ2m(n, i) が出力される。
【0043】量子化ステップ演算部21では、以下のようにして、該ブロックのベース量子化ステップQ2b(n, i) 、該ブロックの予測アクティビテイAm(n, i)および同一符号化タイプで直前に符号化された画面のブロック当たりの予測アクティビテイAp(n-k) から、関数F4により、変換後の量子化ステップQ2m(n, i) を求めることができる。
Q2m(n, i) = F4( Q2b(n, i), Am(n, i), Ap(n-k) ) (11)直前同一符号化画面のブロック当たりの予測アクティビテイAp(n-k) に対する該ブロックの予測アクティビテイAm(n,i) の比Am(n,i) / Ap(n-k) は、該ブロックのアクティビテイを反映した量子化の特性を示す。例えば、ブロックのアクティビテイAm(n,i) の方が、画面平均されたアクティビテイAp(n-k) に比べて大きい場合、符号化ビット量も大きくなるため、量子化ステップを大きくする必要がある。したがって、関数F4は、次の(12)式のようにベースの量子化ステップQ2b(n,i)にアクティビテイによる重み付けAm(n,i) / Ap(n-k) を乗算する形態をとることができる。
F4( Q2b(n, i), Am(n, i), Ap(n-k) ) = γ Q2b(n, i) x Am(n, i) / ( Ap(n-k) ) (12)ここで、γは正の実数で、例えばγ= 1 を用いることができる。
【0044】該ブロックのベース量子化ステップQ2b(n, i) は前記第1実施例と同様に求めることができる。また、該ブロックの予測アクティビテイAm(n, i) は変換前の該ブロックの量子化ステップQ1m(n, i) と変換前の該ブロックのビット量B1m(n,i) から関数H1により求めることができる。
Am(n, i) = H1 ( Q1m(n, i) , B1m(n, i) ) (13)また、直前に符号化された画面のブロック当たりの予測アクティビテイAp(n-k) は、直前に符号化された画面の変換前の平均量子化ステップQ1p(n-k)と同画面の総ビット量B1p(n-k)から関数H2により求めることができる。
Ap(n-k) = H2 ( Q1p(n-k) , B1p(n-k) / CB ) (14)ただし、CBは画面内で符号化されたブロック数を示す。
【0045】前記関数H1とH2の1例を図5に示す。この図は、量子化ステップをパラメータにブロックごとのアクティビテイとブロックごとのビット量の関係を示したものである。図6に図5を用いてAm(n,i) を求める例を示す。まず、ブロックの予測アクティビテイAm(n, i)については、同図において変換前の量子化ステップQ1m(n, i) に該当する量子化ステップのグラフ上で変換前の該ブロックのビット量B1m(n, i) との交点におけるアクティビテイを該ブロックの予測アクティビテイAm(n, i) として求めることができる。また、直前に符号化された画面のブロック当たりの予測アクティビテイAp(n-k) は、直前に符号化された画面の変換前の平均量子化ステップQ1p(n-k)に該当するグラフ上で同画面の平均ビット量B1p(n-k)/ CB との交点におけるアクティビテイをAp(n-k) とすることができる。
【0046】なお、図5のグラフは、1例として、以下のようにして求めることができる。まず、量子化ステップを可能な最低値に固定して、画像を符号化する。その際、各ブロックの発生ビット量およびアクティビテイを測定し、MPEGで用いられている画面符号化モード(I,P,Bピクチャ)別に分類する。なお、アクティビテイについては例えば、輝度信号についてブロック内の平均輝度に対する、ブロック内輝度信号の二乗誤差平均値として求めることが可能である。発生ビット量に対するアクティビテイ測定処理を複数の画像について行ない、符号化モード別にアクティビテイに対するビット量のグラフを作成する。次に量子化ステップを増加させて、同様の処理を行ない、該量子化ステップに関するグラフを作成し、最大量子化ステップまでこの処理を繰り返す。
【0047】次に、本発明の第4実施例を、図7を参照して説明する。図7は、図1の量子化制御器5の第4実施例を示すブロック図である。図中、図2と同一の符号は同一または同等物を示す。
【0048】図7において、量子化ステップ入力端子11に、現在処理を行なっているブロックの量子化ステップQ1m(n, i) が入力される。変換前画面ビットカウント入力端子14には変換前の該ブロックの符号化ビット量B1m(n, i) が入力される。量子化ステップ演算部21には、量子化ステップ入力端子11からのブロックの量子化ステップQ1m(n, i) 、変換前画面ビットカウント入力端子14からの変換前の該ブロックのビット量B1m(n, i) 、および符号化レート入力端子20からのレート変換前の符号化レートR1と変換後の符号化レートR2が入力され、量子化ステップ出力端子22に変換後の量子化ステップQ2m(n, i) が出力される。
【0049】量子化ステップ演算部21では,以下のようにして、該ブロックの予測アクティビテイAm(n, i) 、該ブロックの変換後の予測ビット量B2m(n, i) により、変換後の量子化ステップQ2m(n, i) を求めることができる。
Q2m(n, i) = F5 ( Am(n, i), B2m(n, i) ) (15)ただし、該ブロックの予測アクティビテイAm(n, i) は変換前の量子化ステップQ1m(n, i) と変換前の該ブロックのビット量B1m(n, i) から、次の関数H1により求めることができる。
Am(n, i) = H1 ( Q1m(n, i) , B1m(n, i) ) (16)また、該ブロックの変換後の予測ビット量B2m(n, i) は変換前の該ブロックのビット量B1m(n, i) 、レート変換前の符号化レートR1および変換後の符号化レートR2から以下のようにして求めることができる。
B2m(n, i) = δ B1m(n, i) x R2 / R1 (17)ここで、δは正の実数で、例えばδ= 1 を用いることができる。
【0050】関数F5およびH1は1例として図5を用いて求めることができる。図8に図5を用いてAm(n,i) とQ2m(n,i)を求める方法を示す。まず、Am(n,i) については、変換前の量子化ステップQ1m(n, i) に該当する量子化ステップのグラフ上で変換前の該ブロックのビット量B1m(n, i) との交点におけるアクティビテイを該ブロックの予測アクティビテイAm(n, i) として求めることができる。次に同図において、予測アクティビテイAm(n, i)と予測ビット量B2m(n, i) の交点上あるいは近傍のグラフの量子化ステップを変換後の量子化ステップQ2m(n, i) として求めることができる。
(変形例)本発明は、前記した実施例に限定されず、さまざまな変形が可能である。まず、符号化において量子化処理の後に可変長符号化処理が用いられず、他の符号化器や復号器が用いられている場合は、図1の構成例において、可変長符号化器と可変長復号器とがそれぞれ、符号化器と復号器に変更される。また、例えばITU-T のH.261 やJPEG方式など、MPEG以外の動画像符号化方式、静止画像符号化方式において用いることが可能である。
【0051】また、同一の符号化タイプの画面で直前に復号化された画面の番号を示すn-kフレームで求められる画面平均量子化ステップQ1p(n-k)、変換前画面符号化ビット量B1p(n-k)、直前に符号化された画面のブロック当たりの予測アクティビテイAp(n-k, i)については、いずれも、処理の簡略化等の目的で、直前のフレームを示すk=1 や、該フレームを示すk=0 などの値を用いることが可能である。
【0052】また、量子化ステップを求める関数として、前記(2) 式のQ1m(n,i)/Q1p(n-k)項は簡単な項に置き換えることができる。例えば、簡単な重み付けとして、1などの定数を用いることも可能である。この場合には、量子化ステップを求める関数Q2m(n,i)は、前記ベース量子化ステップQ2b(n,i)の関数となる。なお、この場合には、レート変換後の性能が前記実施例に比べて、若干劣化する場合がある。
【0053】また、図5のビット量とアクティビテイに関するグラフについては、MPEGで用いられている画面の符号化モード(I,P,Bピクチャ)別に求めているが、例えばある符号化モードのグラフを代表して用いたり、すべての符号化モード全体の平均を代表して用いることができる。さらに、MPEG以外の方式の場合、該方式によりグラフを作成することも可能である。
【0054】また、図1の可変長復号器2と可変長符号化器7をそれぞれ異なった方式に対応させることによって、異なる方式の変換やレート変換を伴う方式変換装置として用いることが可能である。例えば、MPEG2 方式で2Mbit/s で符号化されたデータを1Mbit/s にレート変換し、MPEG1 方式の可変長復号器を用いて、1Mbit/s のMPEG1 方式の符号化データに変換したり、MPEG1 方式の1Mbit/s の符号化データをH.261 方式の1Mbit/s のデータに変換することも可能である。
【0055】
【発明の効果】本発明は、以上の説明から明らかなように、量子化器と逆量子化器を基本としてレート変換を行っているため、トランス符号化のように、非常に多量の処理を要するDCT 、IDCT等の処理を行う必要がなく、また大容量のメモリも必要がなくなり、簡便な構成で実現可能となる。また、その性能もトランス符号化に匹敵する。また、DCT 分割方式では、量子化、逆量子化がないため、処理量は本発明に比較して若干小さな規模で実現可能であるが、DCT 分割方式での性能は本発明に比較して大幅に劣化する。
【0056】本発明をMPEG1 方式で符号化を行なった画像に関して処理を行なった。その結果、ISO でテスト画像として用いられているFlower Garden やMobile Calendarにおいて前記第1実施例を用いた場合、一旦復号して画像にもどして再度符号化を行なうトランス符号化に比べて大幅に処理の軽減を図りながら、トランス符号化とほぼ同程度のSN比を得ることができることが確認された。また、DCT 分割方式と比べた場合、処理量はあまり変わらないものの、符号化性能は、5dBから8dBに向上を図ることができることが確認された。
【図面の簡単な説明】
【図1】 本発明の符号化レート変換装置の一実施例の構成を示すブロック図である。
【図2】 図1における量子化制御器の第1実施例の構成を示すブロック図である。
【図3】 図1における量子化制御器の第2実施例の構成を示すブロック図である。
【図4】 図1における量子化制御器の第3実施例の構成例示すブロック図である。
【図5】 ブロックアクティビテイとブロック符号化量の関係を示すグラフである。
【図6】 図5を利用してブロック符号化量からブロックアクティビテイを求める説明図である。
【図7】 図1における量子化制御器の第4実施例の構成を示すブロック図である。
【図8】 図5を利用してブロックアクティビテイとブロック符号化量から量子化ステップを求める説明図である。
【図9】 量子化制御器の演算に使用される諸量の説明図である。
【図10】 マクロブロックの構成の説明図である。
【図11】 従来例1の符号化レート変換装置の構成を示すブロック図である。
【図12】 従来例2の符号化レート変換装置の構成を示すブロック図である。
【図13】 従来の符号化処理の概要を説明する図である。
【符号の説明】
1…符号化データ入力端子、2…可変長復号器、3…逆量子化器、4…メモリ、5…量子化制御器、6…量子化器、7…可変長符号化器、8…符号化データ出力端子、9…符号化レート入力端子、11…量子化ステップ入力端子、12…平均値処理部、13,15…メモリ、14…変換前画面ビットカウント入力端子、19…変換後画面ビットカウント入力端子、20…符号化レート入力端子、21…量子化ステップ演算部、22…量子化ステップ出力端子。

【特許請求の範囲】
【請求項1】 動画像の符号化データの符号化レートを変換するレート変換方法であって、逆量子化された符号化データに対して再量子化を行なうことにより、量子化のレベルでレート変換を行なうようにしたことを特徴とする画像符号化データのレート変換方法。
【請求項2】 動画像の符号化データの符号化レートを変換するレート変換装置において、動画像の符号化データを逆量子化する手段と、前記逆量子化された符号化データを再量子化する手段と、前記再量子化に必要な量子化ステップの制御を行なう量子化制御手段とを具備したことを特徴とする画像符号化データのレート変換装置。
【請求項3】 請求項2記載のレート変換装置において、前記量子化制御手段は、同一または既に符号化された画面の変換前後の平均量子化ステップを用いて該注目ブロックの再量子化の制御を行うようにしたことを特徴とする画像符号化データのレート変換装置。
【請求項4】 請求項2記載のレート変換装置において、前記量子化制御手段は、同一または既に符号化された画面の変換後の平均量子化ステップに動画像のフレームの注目ブロックまでの変換後ビット量を反映した該注目ブロックのベース量子化ステップを用いて、該注目ブロックの再量子化の制御を行うようにしたことを特徴とする画像符号化データのレート変換装置。
【請求項5】 請求項2〜4のいずれかに記載のレート変換装置において、前記量子化制御手段は、同一または既に符号化された画面の変換後の平均量子化ステップに動画像のフレームの注目ブロックまでの変換後ビット量を反映した該注目ブロックのベース量子化ステップに対して、同一または既に符号化された画面の変換前の平均量子化ステップに対する変換前の該注目ブロックの量子化ステップの比により、重み付けをして再量子化に必要な量子化ステップを求め、該注目ブロックの再量子化の制御を行なうようにしたことを特徴とする画像符号化データのレート変換装置。
【請求項6】 請求項2〜4のいずれかに記載のレート変換装置において、前記量子化制御手段は、同一または既に符号化された画面の変換後の平均量子化ステップに動画像のフレームの注目ブロックまでの変換後ビット量を反映した該注目該ブロックのベース量子化ステップに対して、変換前の該注目ブロックのビット量を画面換算したビット量に対する同一または既に符号化された画面の変換前のビット量の比により、重み付けをして再量子化に必要な量子化ステップを求め、該注目ブロックの再量子化の制御を行なうようにしたことを特徴とする画像符号化データのレート変換装置。
【請求項7】 請求項2〜4のいずれかに記載のレート変換装置において、前記量子化制御手段は、同一または既に符号化された画面の変換後の平均量子化ステップに動画像のフレームの注目ブロックまでの変換後ビット量を反映した該注目ブロックのベース量子化ステップに対して、同一または既に符号化された画面のブロック当たりの予測アクティビテイに対する該注目ブロックの予測アクティビテイの比により、重み付けをして再量子化に必要な量子化ステップを求め、該注目ブロックの再量子化の制御を行なうようにしたことを特徴とする画像符号化データのレート変換装置。
【請求項8】 請求項7記載のレート変換装置において、前記同一または既に符号化された画面のブロック当たりの予測アクティビテイは該同一または既に符号化された画面の変換前の平均量子化ステップと同画面の総ビット量とから求められ、前記注目ブロックの予測アクティビテイは、変換前の該注目ブロックの量子化ステップと変換前の該注目ブロックのビット量とから求められることを特徴とする画像符号化データのレート変換装置。
【請求項9】 請求項2〜4のいずれかに記載のレート変換装置において、前記量子化制御手段は、動画像のフレームの注目ブロックの予測アクティビテイと変換後の予測ビット量とから再量子化に必要な量子化ステップを求め、該注目ブロックの再量子化の制御を行なうようにしたことを特徴とする画像符号化データのレート変換装置。

【図1】
image rotate


【図11】
image rotate


【図12】
image rotate


【図2】
image rotate


【図3】
image rotate


【図4】
image rotate


【図5】
image rotate


【図6】
image rotate


【図8】
image rotate


【図7】
image rotate


【図9】
image rotate


【図10】
image rotate


【図13】
image rotate


【公開番号】特開平8−251587
【公開日】平成8年(1996)9月27日
【国際特許分類】
【出願番号】特願平7−77100
【出願日】平成7年(1995)3月9日
【出願人】(000001214)国際電信電話株式会社 (10)