画像符号化装置、画像復号装置、及びこれらのプログラム
【課題】複数種類の直交変換から１つの直交変換を選択し、ブロック単位の画像信号を周波数領域に直交変換して圧縮を行う画像符号化装置、画像復号装置及びこれらのプログラムを提供する。
【解決手段】本発明の画像符号化装置１０は、画像信号ごとに異なりうる直交変換の基底を算出する基準変換を用いて複数のブロックを対象に周波数領域への変換を行う基準変換基底算出部２０１と、固定変換基底蓄積部２０３に蓄積された画像信号ごとに固定の直交変換の基底を有する固定変換に関する複数の固定変換基底候補から、ブロックごとに基準変換による基底と最も類似する基底を選択する固定変換基底選択部２０２と、直交変換係数に対してエントロピー符号化を施し当該選択した基底の変換基底番号を含む符号化ストリームを生成するエントロピー符号化部３０とを備える。本発明の画像復号装置５０は当該変換基底番号に対応する逆固定変換基底を用いて逆周波数変換を施す。
【解決手段】本発明の画像符号化装置１０は、画像信号ごとに異なりうる直交変換の基底を算出する基準変換を用いて複数のブロックを対象に周波数領域への変換を行う基準変換基底算出部２０１と、固定変換基底蓄積部２０３に蓄積された画像信号ごとに固定の直交変換の基底を有する固定変換に関する複数の固定変換基底候補から、ブロックごとに基準変換による基底と最も類似する基底を選択する固定変換基底選択部２０２と、直交変換係数に対してエントロピー符号化を施し当該選択した基底の変換基底番号を含む符号化ストリームを生成するエントロピー符号化部３０とを備える。本発明の画像復号装置５０は当該変換基底番号に対応する逆固定変換基底を用いて逆周波数変換を施す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の圧縮符号化技術に関するものであり、特に、画像の圧縮符号化において、複数種類の直交変換から１つの直交変換を選択し、ブロック単位の画像信号を周波数領域に直交変換して圧縮を行う画像符号化装置、画像復号装置、及びこれらのプログラムに関する。
【背景技術】
【０００２】
ＭＰＥＧ−２やＡＶＣ／Ｈ.２６４（ISO/IEC 14496-10, Advanced Video Coding/ITU-T Rec. H. 264）などの近年多く利用されている画像の圧縮符号化方式では、画像の各フレームをブロックと呼ばれる矩形領域に分割し、ブロックを単位として画像信号を周波数領域の信号に変換する変換符号化が採用されている。多くの方式では、この周波数変換としてＤＣＴ(Discrete Cosine Transform：離散コサイン変換)と呼ばれる直交変換が採用されている。ＤＣＴは、画素間相関が高いという画像信号の性質に非常に適しており、簡単な回路計算で画像信号を周波数領域の信号に変換し、できるだけ低周波成分に信号を偏らせることが可能である（例えば、非特許文献１参照）。
【０００３】
ＡＶＣ／Ｈ.２６４などの方式では、周波数変換処理を施す前に、画面内予測や動き補償予測といった高度な予測処理がなされる。そのため、変換対象の信号は予測後の誤差信号（以下、「予測誤差信号」と称する）となり、元の画像信号の性質とは異なった相関の低い信号になっている可能性もある。このような信号に対応するため、ＤＳＴ（Discrete Sine Transform：離散サイン変換）が利用されることがある。或いは、任意の変換対象の信号に対して最適な変換であるＫＬ（カルーネン・レーベ）変換を利用する試みもある（例えば、特許文献１参照）。ただしＫＬ変換の場合は、信号ごとに最適な変換を計算するとともに変換処理の計算式を構成するパラメータ値（例えば、基底）も符号化して復号側に伝送する必要がある。
【０００４】
また、ＤＣＴやＤＳＴには計算式の違いにより複数のタイプが定義されている。それぞれのタイプには一長一短があり、変換対象の信号などに応じて使い分けられる。
【０００５】
このように、周波数への変換には種々の方式があり、それぞれ変換対象の信号に応じた得失があるため、近年の符号化方式では、多くの周波数変換方式の中から適したものを選択する方式がとられることがある。選択の方法としては、変換対象の信号に対して候補である周波数変換を施し、量子化及びエントロピー符号化の処理を実際に行い、それぞれの周波数変換における符号量（Rate）と画質（Distortion：原画像との差分による歪み量）の両方を鑑みて最適化するＲＤ（Rate- Distortion）最適化によることが多い。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−３０９３８０号公報
【非特許文献】
【０００７】
【非特許文献１】貴家仁志、「よくわかるディジタル画像処理」、ＣＱ出版社、第６章、１９９６年２月２０日発行
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したように、多くの周波数変換方式から適したものを選択する処理としてＲＤ最適化が用いられることが多いが、変換対象の信号に対して直交変換、量子化及びエントロピー符号化の一通りの処理を施した上で選択するため非常に処理量が多くなるという問題がある。
【０００９】
例えば、図６に、直交変換の選択を行う従来の画像符号化装置１００のブロック図を示す。画像符号化装置１００は、ＤＣＴやＤＳＴなどの固定の直交変換の基底を有する直交変換（以下、「固定変換」と称する）の基底（以下、「固定変換基底」と称する）を複数用意して、ＲＤ最適化に基づく直交変換の選択を行う装置である。尚、本願明細書中、固定変換基底とは対照的に、ＫＬ変換などの、画像信号ごとに異なりうる直交変換の基底を算出する直交変換を「基準変換」と称し、この基底を「基準変換基底」と称することにする。尚、基準変換としては、ＫＬ変換のほかに、ＳＶＤ（特異値展開）があり、固定変換としてはＤＣＴ、ＤＳＴ、ＤＦＴ（離散フーリエ変換）、ＷＨＴ（アダマール変換）又はＳＬＴ（スラント変換）などがある。また、固定変換及び基準変換を含む周波数変換について、２次元周波数変換を総括して直交変換と称する。
【００１０】
画像符号化装置１００は、固定変換部１０１と、歪み量算出部１０１１を有する量子化部１０２と、符号量算出部１０３１を有するエントロピー符号化部１０３と、出力部１０４と、固定変換基底蓄積部１０５と、選択制御部１０６とを備える。固定変換基底蓄積部１０５は、ＤＣＴやＤＳＴなどの固定の直交変換の基底を有する固定変換基底を複数種類蓄積している。
【００１１】
固定変換部１０１は、画像信号である予測誤差信号を入力して、選択制御部１０６からの選択信号により固定変換基底蓄積部１０５から候補選択された１つの直交変換の基底候補を用いて直交変換を施す。
【００１２】
量子化部１０２は、直交変換を施した予測誤差信号の直交変換係数を量子化するとともに、歪み量算出部１０１１によって量子化された信号の歪み量を算出する。
【００１３】
エントロピー符号化部１０３は、量子化された信号に対してエントロピー符号化を施すとともに、符号量算出部１０３１によって符号化された信号の符号量を算出する。
【００１４】
選択制御部１０６は、固定変換基底蓄積部１０５に蓄積された複数種類の直交変換について、量子化部１０２からの歪み量とエントロピー符号化部１０３からの符号量を取得し、ＲＤ（Rate- Distortion）最適化によるＲＤコストが最も小さい固定変換を選択し、選択した固定変換の基底による直交変換係数にエントロピー符号化を施した符号化信号を符号化ストリームとして外部に送出するよう出力部１０４に対して出力制御信号を送出するとともに、選択した固定変換に関する補助情報を符号化ストリームに含めて固定変換基底蓄積部１０５から出力部１０４に送出させる。尚、選択した固定変換に関する補助情報は、エントロピー符号化を施して外部に送出するように構成することもできる。
【００１５】
出力部１０４は、選択した固定変換に関する補助情報とともに、選択制御部１０６により選択された固定変換の基底による直交変換係数にエントロピー符号化を施した符号化信号の符号化ストリームを外部に送出する。復号側では、この選択した固定変換に関する補助情報を基に符号化信号の復号や逆量子化及び逆直交変換を施すことで画像信号である予測誤差信号を復元する。
【００１６】
このように、多くの周波数変換方式から適したものを選択する処理としてＲＤ最適化を用いると非常に処理量が多くなるという問題が生じる。
【００１７】
本発明は、上述の問題を鑑みて、多くの周波数変換方式から適したものを選択する計算負荷を低減させて複数種類の直交変換から１つの直交変換を選択し、ブロック単位の画像信号を周波数領域に直交変換して圧縮を行う画像符号化装置、画像復号装置、及びこれらのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記課題を解決するために、本発明による一態様では、任意の変換対象の信号に対して最適な変換である最適なＫＬ変換を行い、このＫＬ変換の基底と最も類似する固定変換基底を選択する。
【００１９】
即ち、本発明の画像符号化装置は、複数種類の直交変換から１つの直交変換を選択し、ブロック単位の画像信号を周波数領域に直交変換して圧縮を行う画像符号化装置であって、画像信号ごとに異なりうる直交変換の基底を算出する基準変換を用いて、複数のブロックを対象に周波数領域への変換を行う基準変換基底算出部と、画像信号ごとに固定の直交変換の基底を有する固定変換について、複数種類の固定変換に関する複数の固定変換基底候補を蓄積している固定変換基底蓄積部と、前記固定変換基底蓄積部に蓄積された複数の変換基底候補から、前記ブロックごとに前記基準変換による基底と最も類似する基底を選択する固定変換基底選択部と、当該選択した基底を用いて直交変換が施された前記ブロックごとの直交変換係数に対してエントロピー符号化を施し、当該選択した基底の番号を示す変換基底番号を含む符号化ストリームを生成するエントロピー符号化部と、を備えることを特徴とする。
【００２０】
また、本発明の画像符号化装置において、前記固定変換基底選択部は、前記類似する基底を選択するにあたり、直交変換の変換行列を構成する個々のベクトルの内積和によって最も大きい値を持つ基底を選択することを特徴とする。
【００２１】
また、本発明の画像符号化装置において、前記固定変換基底選択部は、前記類似する基底を選択するにあたり、当該内積和に閾値を設けるか、又は個々のベクトルの内積値に閾値を設けることで、前記閾値を超える内積和の値を持つ基底のみを類似度が高いとして決定することを特徴とする。
【００２２】
更に、本発明の画像復号装置は、本発明の画像符号化装置によって出力される符号化ビットストリームから、前記変換基底番号及び符号化されたブロックごとの直交変換係数を抽出する分離部と、前記符号化されたブロックごとの直交変換係数に対してエントロピー復号を施すエントロピー復号部と、前記変換基底番号に対応する逆固定変換基底を用いて、復号したブロックごとの直交変換係数に対して逆周波数変換を施す逆周波数変換部と、を備えることを特徴とする。
【００２３】
また、本発明のプログラムは、本発明のモード情報伝送置換装置、画像符号化装置又は画像復号装置の各構成要素をコンピュータに実行させるためのプログラムとして構成することができる。
【発明の効果】
【００２４】
本発明によれば、ＲＤ最適化の計算量を削減でき、またＫＬ変換そのものを利用する場合のパラメータ符号化・伝送を不要とするため、計算負荷の低減を図ることができ、さらには、符号量低減に伴う画質向上が期待できる。
【図面の簡単な説明】
【００２５】
【図１】本発明による一実施形態の画像符号化装置のブロック図である。
【図２】本発明による一実施形態の画像復号装置のブロック図である。
【図３】本発明による一実施形態の画像符号化装置の動作を示すフロー図である。
【図４】本発明による一実施形態の画像復号装置の動作を示すフロー図である。
【図５】本発明による一実施形態の画像符号化装置におけるベクトルの内積に関する説明図である。
【図６】従来の画像符号化装置の一例を示すブロック図である。
【発明を実施するための形態】
【００２６】
以下、本発明による一実施形態の画像符号化装置及び画像復号装置について、図面を参照しながら説明する。
【００２７】
〔装置構成〕
（画像符号化装置）
図１は、本発明による一実施形態の画像符号化装置のブロック図である。本実施形態の画像符号化装置１０は、複数種類の直交変換から１つの直交変換を選択し、ブロック単位の画像信号を周波数領域に直交変換して圧縮を行う装置である。画像符号化装置１０は、直交変換・量子化部２０と、エントロピー符号化部３０とを備える。
【００２８】
直交変換・量子化部２０は、複数種類の直交変換から１つの直交変換を選択し、ブロック単位の画像信号を周波数領域に直交変換して量子化を施す機能部であり、基準変換基底算出部２０１と、固定変換基底選択部２０２と、固定変換基底蓄積部２０３とを備える。
【００２９】
基準変換基底算出部２０１は、画像信号ごとに異なりうる直交変換の基底を算出する基準変換（例えば、ＫＬ変換）を用いて、複数のブロックを対象に周波数領域への変換を行い、この基準変換基底を変換対象の画像信号とともに固定変換基底選択部２０２に送出する。
【００３０】
固定変換基底選択部２０２は、固定変換基底蓄積部２０３に蓄積された複数の固定変換基底候補（例えば、ＤＣＴ又はＤＳＴのタイプ別の基底候補）から、ブロックごとに基準変換（例えば、ＫＬ変換）による基底と最も類似する基底を選択する。また、固定変換基底選択部２０２は、類似する基底を選択するにあたり、直交変換の変換行列を構成する個々のベクトルの内積和（内積値の総和）によって最も大きい値を持つ基底を選択するのが好適である。さらに、固定変換基底選択部２０２は、類似する基底を選択するにあたり、内積和に対して閾値を設けるか、又は個々のベクトルの内積値に閾値を設けることで、この閾値を超える内積和の値を持つ基底のみを類似度が高いとして決定するのが好適である。また、固定変換基底選択部２０２は、選択した基底を用いて変換対象の画像信号のブロックに対して直交変換及び量子化を施し、選択された固定変換の直交変換係数のブロックをエントロピー符号化部３０に送出する。
【００３１】
固定変換基底蓄積部２０３は、画像信号ごとに固定の直交変換の基底を有する固定変換について、複数種類の固定変換（例えば、ＤＣＴ又はＤＳＴ）に関する複数の固定変換基底候補（例えば、ＤＣＴ又はＤＳＴのタイプ別の基底候補）を蓄積している。したがって、固定変換基底選択部２０２は、固定変換基底蓄積部２０３から、複数の固定変換基底候補を取り出し、ブロックごとに基準変換（例えば、ＫＬ変換）による基底と最も類似する基底を選択することができる。
【００３２】
エントロピー符号化部３０は、固定変換基底選択部２０２によって選択した基底を用いて直交変換が施されたブロックごとの直交変換係数に対してエントロピー符号化（例えば、可変長符号化）を施し、当該選択した基底の番号を示す変換基底番号を含む符号化ストリームを生成する。
【００３３】
（画像復号装置）
図２は、本発明による一実施形態の画像復号装置のブロック図である。本実施形態の画像復号装置５０は、本実施形態の画像符号化装置１０によって符号化された直交変換係数を復号する装置である。画像復号装置５０は、分離部５１と、エントロピー復号部５２と、逆量子化・逆直交変換部５３と、逆固定変換基底生成部５４とを備える。
【００３４】
分離部５１は、画像符号化装置１０によって出力される符号化ビットストリームから、変換基底番号及び符号化されたブロックごとの直交変換係数を分離して抽出する。
【００３５】
エントロピー復号部５２は、符号化されたブロックごとの直交変換係数に対してエントロピー復号を施す。尚、変換基底番号についてもエントロピー符号化が施されている場合には、同様にエントロピー復号を施す（図示せず）。
【００３６】
逆量子化・逆直交変換部５３は、逆周波数変換部として機能し、復号したブロックごとの直交変換係数に対して、逆量子化後に変換基底番号に対応する逆固定変換基底を用いて逆直交変換を施す。
【００３７】
逆固定変換基底生成部５４は、変換基底番号に対応する逆固定変換基底を生成する。例えば、画像符号化装置１０における固定変換基底蓄積部２０３と同様に、画像信号ごとに固定の直交変換の基底を有する固定変換について、複数種類の固定変換（例えば、ＤＣＴ又はＤＳＴ）に関する複数の固定変換基底候補（例えば、ＤＣＴ又はＤＳＴのタイプ別の基底候補）を蓄積しておき、変換基底番号に対応する逆固定変換基底を選出するように構成することができる。
【００３８】
本実施形態の画像符号化装置１０又は画像復号装置５０をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ（図示せず）に記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、本実施形態の画像符号化装置１０又は画像復号装置５０の各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。
【００３９】
以下、より具体的に、本発明による一実施形態の画像符号化装置１０及び画像復号装置５０の動作について説明する。
【００４０】
〔装置動作〕
（画像符号化処理）
図３は、本発明による一実施形態の画像符号化装置の動作を示すフロー図である。先ず、変換対象の画像信号（本例では、画面内予測や動き補償予測後の予測誤差信号）は、基準変換基底算出部２０１に供給される。基準変換として、ＫＬ変換により、変換対象の画像信号に最適な直交変換が計算される。基準変換基底（ＫＬ変換基底）を求めるために、複数の信号の集合を用いる。この集合は、画像信号の１フレーム、フレームを分割した１スライス、或いは複数の変換ブロックからなる符号化ユニットなどとすることができる。つまり、基準変換基底算出部２０１によって、画像信号に対する基準変換基底（ＫＬ変換基底）の計算集合を複数のブロックとして決定する（ステップＳ１１）。
【００４１】
次に、基準変換基底算出部２０１によって、ＫＬ変換を用いて、決定した複数のブロックを対象に周波数領域への変換を行ない、複数のブロックを対象にした基準変換基底を生成する（ステップＳ１２）。
【００４２】
ＫＬ変換は、直交変換ブロック内の画素を無相関化するという意味において最適である。その導出について述べる。直交変換のブロックの数をＭ、各ブロック内の画素数をＮとする。
【００４３】
各ブロックの画素値ｘ（ｍ）をベクトルの要素とし、
ｘ（ｍ）＝[ｘ１（ｍ）, ｘ２（ｍ）,．．．,ｘＮ（ｍ）]ｔ ｍ＝１,．．．,Ｍ
とする。尚、ｔは転置行列を示す。
【００４４】
ＫＬ変換は、各ｘ（ｍ）に対する平均的に最適な直交変換Ｖを次式から求めることになる。尚、ｙ（ｍ）は直交変換後の無相関な信号である。
ｙ（ｍ）＝Ｖｔｘ（ｍ）
【００４５】
ｘ（ｍ），ｙ（ｍ）の共分散行列をＣｘｘ, Ｃｙｙとすると、次式の関係が導かれる。
Ｃｙｙ＝ＶｔＣｘｘＶ
【００４６】
ｙ（ｍ）は無相関な信号であるため、その共分散行列Ｃｙｙは対角行列になる。よって、ＶはＣｘｘを対角化する行列となる。対角化する行列ＶはＣｘｘの固有ベクトルを並べた行列となる。Ｃｘｘの固有値を求め、Ｃｘｘの固有値を大きさの順（寄与率の高い順）に並べて固有ベクトルを導出し、ノルムが１となるよう正規化することにより、直交変換Ｖを正規直交変換行列として得る。求められたＫＬ変換基底に対応する第１主成分の固有値の寄与率が低い場合（例えば、５０％程度）、基底計算に用いられた集合が多様で、集合自体の相関が低すぎることが想定される。この場合は、ＫＬ変換の基底計算に用いる集合を狭めることで対処する。即ち、仮に変換対象の複数のブロックとして１フレーム分を集合としていたならば、この集合を１スライス分に変更する。或いは変換対象の複数のブロックとして１スライス分を集合としていたならば、この集合を１スライス分以下の複数ブロックからなる符号化ユニットとする。
【００４７】
計算されたＫＬ変換の基準変換基底は、固定変換基底選択部２０２に供給される。固定変換基底選択部２０２では、固定変換基底蓄積部２０３に予め蓄えられた複数種類の固定変換（例えば、ＤＣＴ又はＤＳＴ）の基底の中から、ブロックごとに基準変換基底に最も類似したものを選択する（ステップＳ１３，Ｓ１４）。蓄積されている複数種類の固定変換の基底の候補（固定変換基底候補）としては、例えば、下記に示す８タイプ（種類）のＤＣＴ（離散コサイン変換）や８タイプ（種類）ＤＳＴ（離散サイン変換）などの基底を候補とする。
【００４８】
例えば、ＤＣＴ Ｔｙｐｅ Ｉは式（１）で与えられる。尚、正規化係数Ｃ（ｎ）,Ｃ（ｋ）に関して、ｎ＝ｋ＝０，Ｎのとき、Ｃ（ｎ）,Ｃ（ｋ）＝１／√２とし、ｎ，ｋ≠０，Ｎのとき、Ｃ（ｎ）,Ｃ（ｋ）＝１とする。また、Ｎ個の実数列（画素値列）のうちｎ番目の画素値ｘｉ（ｎ）を用いて累積して得られるＮ個の実数列（周波数成分列）のうち周波数ｋに変換する変換係数が、Ｘｉ（ｋ）で与えられるものとする。
【００４９】
【数１】
【００５０】
ＤＣＴ Ｔｙｐｅ ＩＩは式（２）で与えられる。
【００５１】
【数２】
【００５２】
ＤＣＴ Ｔｙｐｅ ＩＩＩは式（３）で与えられる。
【００５３】
【数３】
【００５４】
ＤＣＴ Ｔｙｐｅ ＩＶは式（４）で与えられる。
【００５５】
【数４】
【００５６】
ＤＣＴにおけるＴｙｐｅ Ｖ〜ＶＩＩＩは、ｃｏｓ関数の引数の分母にＮ＋１／２の係数がある。
【００５７】
また、ＤＳＴ Ｔｙｐｅ Ｉは式（５）で与えられる。
【００５８】
【数５】
【００５９】
ＤＳＴ Ｔｙｐｅ ＩＩは式（６）で与えられる。
【００６０】
【数６】
【００６１】
ＤＳＴ Ｔｙｐｅ ＩＩＩは式（７）で与えられる。
【００６２】
【数７】
【００６３】
ＤＳＴ Ｔｙｐｅ ＩＶは式（８）で与えられる。
【００６４】
【数８】
【００６５】
ＤＳＴにおけるＴｙｐｅ Ｖ〜ＶＩＩＩは、ｓｉｎ関数の引数の分母にＮ＋１／２の係数がある。
【００６６】
このように、固定変換基底選択部２０２は、基準変換基底（本例では、ＫＬ変換基底）と固定変換基底侯補との間でブロックごとに類似度を計算する（ステップＳ１３）。つまり、類似度として変換基底であるベクトル間の内積を計算し、その総和が最大となるものを基準変換基底に最も類似した固定変換基底とする。
【００６７】
例えば、図５に示すように、原点Ｏから固定変換基底のベクトルｕとＫＬ変換基底のベクトルｖとで表すとき、これらのベクトルは、元の画像信号のベクトルからの回転行列で表すことができ、固定変換基底のベクトルｕとＫＬ変換基底のベクトルｖの回転角をθとし、正規化された２つのベクトルｕ，ｖ（｜ｕ｜＝｜ｖ｜＝１）同士の内積を計算すると、ベクトルが同一方向の場合（θ＝０）は｜ｕ｜｜ｖ｜ｃｏｓ０＝１＊１＊１＝１、逆方向の場合（θ＝１８０°）は｜ｕ｜｜ｖ｜ｃｏｓ１８０°＝−１、直交している場合（θ＝９０°）は｜ｕ｜｜ｖ｜ｃｏｓ９０°＝０となる。尚、図５において、単に変換行列の回転角の大小によって類似度を判別するよりも、内積計算を用いることにより、類似度の判定における精度を高めることができ、さらに、類似度の判定における高精度化に伴う計算負担を低減させることができる。
【００６８】
このため、個々のベクトルの類似度は、個々のベクトルの内積により計算でき、個々のベクトルの内積の総和が最大になるものを類似度が最も高い基底であると定義する（ステップＳ１４）。ただし、単純に総和を取るだけでは、基準変換基底との類似度の絶対値が低い場合でも選択されてしまう恐れがあるため、寄与率閾値処理による制約を設ける。
【００６９】
具体的には、固定変換基底選択部２０２は、類似する基底を選択するにあたり、当該内積和に関して閾値を設け、この閾値を超える内積和の値を持つ基底のみを類似度が高いとして決定する（ステップＳ１５〜Ｓ１７）。つまり、個々のベクトルの内積値の総和の最も大きい基底に対し、個々のベクトルの内積値の総和に対して閾値を設けるか、又は個々の内積値に閾値を設けることで、ＫＬ変換による基準変換基底に類似した基底を高精度で選択するようにする（ステップＳ１６のＹｅｓ）。
【００７０】
尚、固定変換基底選択部２０２は、類似度の算出に伴い、ＫＬ変換による基準変換基底と、固定変換基底蓄積部２０３に蓄えられている固定変換基底の双方とも、直交変換における各主成分の固有値の総和に対する寄与率が最も高いものから順に並べて一時メモリ（図示せず）に保存するのが閾値の設定に便利である。
【００７１】
前述したように、ＤＣＴやＤＳＴに限らず、ＫＬ変換においても正規直交変換行列として得られ、類似度を求める際に得られる内積値もＮ個のベクトルの要素となり、共分散行列はＮ個の内積値の総和となる。ここで、変数全体のもつ変動（内積値の総和）についていわゆる主成分分析を行うと、Ｎ個の内積値の総和を構成する主成分を、その総和に対する寄与率の高い順に、第１主成分、第２主成分、・・・、第５主成分などのように分析することができる。個々のベクトルの内積値の総和においても、各主成分の係数が固有ベクトルとなり、各主成分の変動の大きさが固有値となる。個々のベクトルの内積値の総和に対して閾値を設ける場合には、閾値判定の主成分分析を行う必要はないが、より高精度の閾値判定を行うために、個々の内積値（主成分）ごとに閾値を設けるのが好適である。
【００７２】
特に、類似度が高い第１主成分の寄与率は８０〜９０％となることが多いため、第１主成分の内積値に対する閾値は大きめの閾値（例えば、５０％）とし、第２主成分以降については小さい値の閾値（例えば、０〜１０％）を設定する。仮に、全ての固定変換基底の候補について、設定した閾値より内積値が小さい場合、固定変換基底選択部２０２は、選択する基底がないものとし、ＫＬ変換自体の基底を変換基底として選択する（ステップＳ１６のＮｏ）。
【００７３】
選択された変換基底は、エントロピー符号化部３０に供給される。固定変換基底の候補は予め定められたものであるため、選択された基底は番号などによって特定することができる。そこで、エントロピー符号化部３０は、選択された基底を特定する番号（変換基底番号）を符号化・伝送することで符号量を削減することができる（ステップＳ１７）。
【００７４】
ただし、ＫＬ変換自体が変換基底となった場合、即ち変換基底蓄積部に蓄えられた変換基底が使われない場合は、エントロピー符号化部３０は、ＫＬ変換の基底を符号化する（ステップＳ１８）。
【００７５】
（画像復号処理）
図４は、本発明による一実施形態の画像復号装置の動作を示すフロー図である。画像復号装置５０では、分離部５１によって、符号化ビットストリームから変換基底番号を分離する（ステップＳ２１）。変換基底番号についてエントロピー符号化されていた場合は、エントロピー復号を施して抽出する。
【００７６】
続いて、逆固定変換基底生成部５４によって、変換基底番号に対応する逆固定変換基底を生成し（ステップＳ２２）、エントロピー復号部５２によって、符号化された直交変換係数の符号化信号に対してエントロピー復号を施す（ステップＳ２３）。
【００７７】
続いて、逆量子化・逆直交変換部５３によって、変換基底番号に対応する逆固定変換基底を用いて、復号したブロックごとの直交変換係数に対して逆周波数変換を施す（ステップＳ２４）。尚、変換基底番号によらず、ＫＬ変換の基底が符号化・伝送されている場合には、この基底によるＫＬ逆変換を施す。
【００７８】
これにより、従来のようなＲＤ最適化を用いずに、またＫＬ変換そのものを利用する場合のパラメータ符号化・伝送を不要とし、計算負荷の低減を図ることができる。
【００７９】
本発明によれば、例えば複数のブロックからなる１フレーム（１画面）毎にＫＬ変換基底を求めて、ブロックごとに８種類の固定変換基底との内積を計算することができる。一方で、従来において、ＫＬ変換があまり使われないのは、画像によって基底が変化するので逐一計算する必要があり、その処理量が増加し、かつ変換行列を復号側に伝送しなければならない等の欠点があるためである。
【００８０】
つまり、従来では、例えば８種類の固定変換基底から一つを選択するための比較計算として、先ず、ブロックごとに、実際の直交変換・量子化・符号化により、符号量及び歪み量の見積を算出しなければならず（処理量大）、次に、これらの符号量及び歪み量の見積りについて８種類の固定変換基底を比較して最適なものを決定することになる（処理量軽）。
【００８１】
一方、本発明では、先ず、１画面に対してＫＬ変換を１回だけ実行し、次に、ブロックごとに、求めたＫＬ変換との内積計算により８種類の固定変換基底を比較して最も類似したものを決定する（処理量軽）。このため、本発明では、従来と比較して、ＫＬ変換の１回分の処理量が増えるが、ブロックごとの処理量が減るため、複数種類の固定変換基底から一つを選択するための計算全体での処理量を低減させることができ、さらに、基本的にはＫＬ変換基底を伝送しないように構成しているため、伝送効率が悪化することもない。特に、従来のようなＲＤ最適化を用いることなくとも、任意の信号に対して最適な直交変換が実現可能なＫＬ変換を基準変換としているため、符号量低減に伴う画質向上が期待できる。
【産業上の利用可能性】
【００８２】
本発明によれば、ＲＤ最適化の計算量を削減でき、またＫＬ変換そのものを利用する場合のパラメータ符号化・伝送を不要とし、計算負荷の低減を図ることができるため、複数種類の直交変換から１つの直交変換を選択し、ブロック単位の画像信号を周波数領域に直交変換して圧縮を行う用途に有用である。
【符号の説明】
【００８３】
１０ 画像符号化装置
２０ 直交変換・量子化部
３０ エントロピー符号化部
５０ 画像符号化装置
５１ 分離部
５２ エントロピー復号部
５３ 逆量子化・逆直交変換部
５４ 逆固定変換基底生成部
１００ 画像符号化装置
１０１ 固定変換部
１０２ 量子化部
１０３ エントロピー符号化部
１０４ 出力部
１０５ 固定変換基底蓄積部
１０６ 選択制御部
２０１ 基準変換基底算出部
２０２ 固定変換基底選択部
２０３ 固定変換基底蓄積部
１０１１ 歪み量算出部
１０３１ 符号量算出部
【技術分野】
【０００１】
本発明は、画像の圧縮符号化技術に関するものであり、特に、画像の圧縮符号化において、複数種類の直交変換から１つの直交変換を選択し、ブロック単位の画像信号を周波数領域に直交変換して圧縮を行う画像符号化装置、画像復号装置、及びこれらのプログラムに関する。
【背景技術】
【０００２】
ＭＰＥＧ−２やＡＶＣ／Ｈ.２６４（ISO/IEC 14496-10, Advanced Video Coding/ITU-T Rec. H. 264）などの近年多く利用されている画像の圧縮符号化方式では、画像の各フレームをブロックと呼ばれる矩形領域に分割し、ブロックを単位として画像信号を周波数領域の信号に変換する変換符号化が採用されている。多くの方式では、この周波数変換としてＤＣＴ(Discrete Cosine Transform：離散コサイン変換)と呼ばれる直交変換が採用されている。ＤＣＴは、画素間相関が高いという画像信号の性質に非常に適しており、簡単な回路計算で画像信号を周波数領域の信号に変換し、できるだけ低周波成分に信号を偏らせることが可能である（例えば、非特許文献１参照）。
【０００３】
ＡＶＣ／Ｈ.２６４などの方式では、周波数変換処理を施す前に、画面内予測や動き補償予測といった高度な予測処理がなされる。そのため、変換対象の信号は予測後の誤差信号（以下、「予測誤差信号」と称する）となり、元の画像信号の性質とは異なった相関の低い信号になっている可能性もある。このような信号に対応するため、ＤＳＴ（Discrete Sine Transform：離散サイン変換）が利用されることがある。或いは、任意の変換対象の信号に対して最適な変換であるＫＬ（カルーネン・レーベ）変換を利用する試みもある（例えば、特許文献１参照）。ただしＫＬ変換の場合は、信号ごとに最適な変換を計算するとともに変換処理の計算式を構成するパラメータ値（例えば、基底）も符号化して復号側に伝送する必要がある。
【０００４】
また、ＤＣＴやＤＳＴには計算式の違いにより複数のタイプが定義されている。それぞれのタイプには一長一短があり、変換対象の信号などに応じて使い分けられる。
【０００５】
このように、周波数への変換には種々の方式があり、それぞれ変換対象の信号に応じた得失があるため、近年の符号化方式では、多くの周波数変換方式の中から適したものを選択する方式がとられることがある。選択の方法としては、変換対象の信号に対して候補である周波数変換を施し、量子化及びエントロピー符号化の処理を実際に行い、それぞれの周波数変換における符号量（Rate）と画質（Distortion：原画像との差分による歪み量）の両方を鑑みて最適化するＲＤ（Rate- Distortion）最適化によることが多い。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−３０９３８０号公報
【非特許文献】
【０００７】
【非特許文献１】貴家仁志、「よくわかるディジタル画像処理」、ＣＱ出版社、第６章、１９９６年２月２０日発行
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したように、多くの周波数変換方式から適したものを選択する処理としてＲＤ最適化が用いられることが多いが、変換対象の信号に対して直交変換、量子化及びエントロピー符号化の一通りの処理を施した上で選択するため非常に処理量が多くなるという問題がある。
【０００９】
例えば、図６に、直交変換の選択を行う従来の画像符号化装置１００のブロック図を示す。画像符号化装置１００は、ＤＣＴやＤＳＴなどの固定の直交変換の基底を有する直交変換（以下、「固定変換」と称する）の基底（以下、「固定変換基底」と称する）を複数用意して、ＲＤ最適化に基づく直交変換の選択を行う装置である。尚、本願明細書中、固定変換基底とは対照的に、ＫＬ変換などの、画像信号ごとに異なりうる直交変換の基底を算出する直交変換を「基準変換」と称し、この基底を「基準変換基底」と称することにする。尚、基準変換としては、ＫＬ変換のほかに、ＳＶＤ（特異値展開）があり、固定変換としてはＤＣＴ、ＤＳＴ、ＤＦＴ（離散フーリエ変換）、ＷＨＴ（アダマール変換）又はＳＬＴ（スラント変換）などがある。また、固定変換及び基準変換を含む周波数変換について、２次元周波数変換を総括して直交変換と称する。
【００１０】
画像符号化装置１００は、固定変換部１０１と、歪み量算出部１０１１を有する量子化部１０２と、符号量算出部１０３１を有するエントロピー符号化部１０３と、出力部１０４と、固定変換基底蓄積部１０５と、選択制御部１０６とを備える。固定変換基底蓄積部１０５は、ＤＣＴやＤＳＴなどの固定の直交変換の基底を有する固定変換基底を複数種類蓄積している。
【００１１】
固定変換部１０１は、画像信号である予測誤差信号を入力して、選択制御部１０６からの選択信号により固定変換基底蓄積部１０５から候補選択された１つの直交変換の基底候補を用いて直交変換を施す。
【００１２】
量子化部１０２は、直交変換を施した予測誤差信号の直交変換係数を量子化するとともに、歪み量算出部１０１１によって量子化された信号の歪み量を算出する。
【００１３】
エントロピー符号化部１０３は、量子化された信号に対してエントロピー符号化を施すとともに、符号量算出部１０３１によって符号化された信号の符号量を算出する。
【００１４】
選択制御部１０６は、固定変換基底蓄積部１０５に蓄積された複数種類の直交変換について、量子化部１０２からの歪み量とエントロピー符号化部１０３からの符号量を取得し、ＲＤ（Rate- Distortion）最適化によるＲＤコストが最も小さい固定変換を選択し、選択した固定変換の基底による直交変換係数にエントロピー符号化を施した符号化信号を符号化ストリームとして外部に送出するよう出力部１０４に対して出力制御信号を送出するとともに、選択した固定変換に関する補助情報を符号化ストリームに含めて固定変換基底蓄積部１０５から出力部１０４に送出させる。尚、選択した固定変換に関する補助情報は、エントロピー符号化を施して外部に送出するように構成することもできる。
【００１５】
出力部１０４は、選択した固定変換に関する補助情報とともに、選択制御部１０６により選択された固定変換の基底による直交変換係数にエントロピー符号化を施した符号化信号の符号化ストリームを外部に送出する。復号側では、この選択した固定変換に関する補助情報を基に符号化信号の復号や逆量子化及び逆直交変換を施すことで画像信号である予測誤差信号を復元する。
【００１６】
このように、多くの周波数変換方式から適したものを選択する処理としてＲＤ最適化を用いると非常に処理量が多くなるという問題が生じる。
【００１７】
本発明は、上述の問題を鑑みて、多くの周波数変換方式から適したものを選択する計算負荷を低減させて複数種類の直交変換から１つの直交変換を選択し、ブロック単位の画像信号を周波数領域に直交変換して圧縮を行う画像符号化装置、画像復号装置、及びこれらのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記課題を解決するために、本発明による一態様では、任意の変換対象の信号に対して最適な変換である最適なＫＬ変換を行い、このＫＬ変換の基底と最も類似する固定変換基底を選択する。
【００１９】
即ち、本発明の画像符号化装置は、複数種類の直交変換から１つの直交変換を選択し、ブロック単位の画像信号を周波数領域に直交変換して圧縮を行う画像符号化装置であって、画像信号ごとに異なりうる直交変換の基底を算出する基準変換を用いて、複数のブロックを対象に周波数領域への変換を行う基準変換基底算出部と、画像信号ごとに固定の直交変換の基底を有する固定変換について、複数種類の固定変換に関する複数の固定変換基底候補を蓄積している固定変換基底蓄積部と、前記固定変換基底蓄積部に蓄積された複数の変換基底候補から、前記ブロックごとに前記基準変換による基底と最も類似する基底を選択する固定変換基底選択部と、当該選択した基底を用いて直交変換が施された前記ブロックごとの直交変換係数に対してエントロピー符号化を施し、当該選択した基底の番号を示す変換基底番号を含む符号化ストリームを生成するエントロピー符号化部と、を備えることを特徴とする。
【００２０】
また、本発明の画像符号化装置において、前記固定変換基底選択部は、前記類似する基底を選択するにあたり、直交変換の変換行列を構成する個々のベクトルの内積和によって最も大きい値を持つ基底を選択することを特徴とする。
【００２１】
また、本発明の画像符号化装置において、前記固定変換基底選択部は、前記類似する基底を選択するにあたり、当該内積和に閾値を設けるか、又は個々のベクトルの内積値に閾値を設けることで、前記閾値を超える内積和の値を持つ基底のみを類似度が高いとして決定することを特徴とする。
【００２２】
更に、本発明の画像復号装置は、本発明の画像符号化装置によって出力される符号化ビットストリームから、前記変換基底番号及び符号化されたブロックごとの直交変換係数を抽出する分離部と、前記符号化されたブロックごとの直交変換係数に対してエントロピー復号を施すエントロピー復号部と、前記変換基底番号に対応する逆固定変換基底を用いて、復号したブロックごとの直交変換係数に対して逆周波数変換を施す逆周波数変換部と、を備えることを特徴とする。
【００２３】
また、本発明のプログラムは、本発明のモード情報伝送置換装置、画像符号化装置又は画像復号装置の各構成要素をコンピュータに実行させるためのプログラムとして構成することができる。
【発明の効果】
【００２４】
本発明によれば、ＲＤ最適化の計算量を削減でき、またＫＬ変換そのものを利用する場合のパラメータ符号化・伝送を不要とするため、計算負荷の低減を図ることができ、さらには、符号量低減に伴う画質向上が期待できる。
【図面の簡単な説明】
【００２５】
【図１】本発明による一実施形態の画像符号化装置のブロック図である。
【図２】本発明による一実施形態の画像復号装置のブロック図である。
【図３】本発明による一実施形態の画像符号化装置の動作を示すフロー図である。
【図４】本発明による一実施形態の画像復号装置の動作を示すフロー図である。
【図５】本発明による一実施形態の画像符号化装置におけるベクトルの内積に関する説明図である。
【図６】従来の画像符号化装置の一例を示すブロック図である。
【発明を実施するための形態】
【００２６】
以下、本発明による一実施形態の画像符号化装置及び画像復号装置について、図面を参照しながら説明する。
【００２７】
〔装置構成〕
（画像符号化装置）
図１は、本発明による一実施形態の画像符号化装置のブロック図である。本実施形態の画像符号化装置１０は、複数種類の直交変換から１つの直交変換を選択し、ブロック単位の画像信号を周波数領域に直交変換して圧縮を行う装置である。画像符号化装置１０は、直交変換・量子化部２０と、エントロピー符号化部３０とを備える。
【００２８】
直交変換・量子化部２０は、複数種類の直交変換から１つの直交変換を選択し、ブロック単位の画像信号を周波数領域に直交変換して量子化を施す機能部であり、基準変換基底算出部２０１と、固定変換基底選択部２０２と、固定変換基底蓄積部２０３とを備える。
【００２９】
基準変換基底算出部２０１は、画像信号ごとに異なりうる直交変換の基底を算出する基準変換（例えば、ＫＬ変換）を用いて、複数のブロックを対象に周波数領域への変換を行い、この基準変換基底を変換対象の画像信号とともに固定変換基底選択部２０２に送出する。
【００３０】
固定変換基底選択部２０２は、固定変換基底蓄積部２０３に蓄積された複数の固定変換基底候補（例えば、ＤＣＴ又はＤＳＴのタイプ別の基底候補）から、ブロックごとに基準変換（例えば、ＫＬ変換）による基底と最も類似する基底を選択する。また、固定変換基底選択部２０２は、類似する基底を選択するにあたり、直交変換の変換行列を構成する個々のベクトルの内積和（内積値の総和）によって最も大きい値を持つ基底を選択するのが好適である。さらに、固定変換基底選択部２０２は、類似する基底を選択するにあたり、内積和に対して閾値を設けるか、又は個々のベクトルの内積値に閾値を設けることで、この閾値を超える内積和の値を持つ基底のみを類似度が高いとして決定するのが好適である。また、固定変換基底選択部２０２は、選択した基底を用いて変換対象の画像信号のブロックに対して直交変換及び量子化を施し、選択された固定変換の直交変換係数のブロックをエントロピー符号化部３０に送出する。
【００３１】
固定変換基底蓄積部２０３は、画像信号ごとに固定の直交変換の基底を有する固定変換について、複数種類の固定変換（例えば、ＤＣＴ又はＤＳＴ）に関する複数の固定変換基底候補（例えば、ＤＣＴ又はＤＳＴのタイプ別の基底候補）を蓄積している。したがって、固定変換基底選択部２０２は、固定変換基底蓄積部２０３から、複数の固定変換基底候補を取り出し、ブロックごとに基準変換（例えば、ＫＬ変換）による基底と最も類似する基底を選択することができる。
【００３２】
エントロピー符号化部３０は、固定変換基底選択部２０２によって選択した基底を用いて直交変換が施されたブロックごとの直交変換係数に対してエントロピー符号化（例えば、可変長符号化）を施し、当該選択した基底の番号を示す変換基底番号を含む符号化ストリームを生成する。
【００３３】
（画像復号装置）
図２は、本発明による一実施形態の画像復号装置のブロック図である。本実施形態の画像復号装置５０は、本実施形態の画像符号化装置１０によって符号化された直交変換係数を復号する装置である。画像復号装置５０は、分離部５１と、エントロピー復号部５２と、逆量子化・逆直交変換部５３と、逆固定変換基底生成部５４とを備える。
【００３４】
分離部５１は、画像符号化装置１０によって出力される符号化ビットストリームから、変換基底番号及び符号化されたブロックごとの直交変換係数を分離して抽出する。
【００３５】
エントロピー復号部５２は、符号化されたブロックごとの直交変換係数に対してエントロピー復号を施す。尚、変換基底番号についてもエントロピー符号化が施されている場合には、同様にエントロピー復号を施す（図示せず）。
【００３６】
逆量子化・逆直交変換部５３は、逆周波数変換部として機能し、復号したブロックごとの直交変換係数に対して、逆量子化後に変換基底番号に対応する逆固定変換基底を用いて逆直交変換を施す。
【００３７】
逆固定変換基底生成部５４は、変換基底番号に対応する逆固定変換基底を生成する。例えば、画像符号化装置１０における固定変換基底蓄積部２０３と同様に、画像信号ごとに固定の直交変換の基底を有する固定変換について、複数種類の固定変換（例えば、ＤＣＴ又はＤＳＴ）に関する複数の固定変換基底候補（例えば、ＤＣＴ又はＤＳＴのタイプ別の基底候補）を蓄積しておき、変換基底番号に対応する逆固定変換基底を選出するように構成することができる。
【００３８】
本実施形態の画像符号化装置１０又は画像復号装置５０をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ（図示せず）に記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、本実施形態の画像符号化装置１０又は画像復号装置５０の各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。
【００３９】
以下、より具体的に、本発明による一実施形態の画像符号化装置１０及び画像復号装置５０の動作について説明する。
【００４０】
〔装置動作〕
（画像符号化処理）
図３は、本発明による一実施形態の画像符号化装置の動作を示すフロー図である。先ず、変換対象の画像信号（本例では、画面内予測や動き補償予測後の予測誤差信号）は、基準変換基底算出部２０１に供給される。基準変換として、ＫＬ変換により、変換対象の画像信号に最適な直交変換が計算される。基準変換基底（ＫＬ変換基底）を求めるために、複数の信号の集合を用いる。この集合は、画像信号の１フレーム、フレームを分割した１スライス、或いは複数の変換ブロックからなる符号化ユニットなどとすることができる。つまり、基準変換基底算出部２０１によって、画像信号に対する基準変換基底（ＫＬ変換基底）の計算集合を複数のブロックとして決定する（ステップＳ１１）。
【００４１】
次に、基準変換基底算出部２０１によって、ＫＬ変換を用いて、決定した複数のブロックを対象に周波数領域への変換を行ない、複数のブロックを対象にした基準変換基底を生成する（ステップＳ１２）。
【００４２】
ＫＬ変換は、直交変換ブロック内の画素を無相関化するという意味において最適である。その導出について述べる。直交変換のブロックの数をＭ、各ブロック内の画素数をＮとする。
【００４３】
各ブロックの画素値ｘ（ｍ）をベクトルの要素とし、
ｘ（ｍ）＝[ｘ１（ｍ）, ｘ２（ｍ）,．．．,ｘＮ（ｍ）]ｔ ｍ＝１,．．．,Ｍ
とする。尚、ｔは転置行列を示す。
【００４４】
ＫＬ変換は、各ｘ（ｍ）に対する平均的に最適な直交変換Ｖを次式から求めることになる。尚、ｙ（ｍ）は直交変換後の無相関な信号である。
ｙ（ｍ）＝Ｖｔｘ（ｍ）
【００４５】
ｘ（ｍ），ｙ（ｍ）の共分散行列をＣｘｘ, Ｃｙｙとすると、次式の関係が導かれる。
Ｃｙｙ＝ＶｔＣｘｘＶ
【００４６】
ｙ（ｍ）は無相関な信号であるため、その共分散行列Ｃｙｙは対角行列になる。よって、ＶはＣｘｘを対角化する行列となる。対角化する行列ＶはＣｘｘの固有ベクトルを並べた行列となる。Ｃｘｘの固有値を求め、Ｃｘｘの固有値を大きさの順（寄与率の高い順）に並べて固有ベクトルを導出し、ノルムが１となるよう正規化することにより、直交変換Ｖを正規直交変換行列として得る。求められたＫＬ変換基底に対応する第１主成分の固有値の寄与率が低い場合（例えば、５０％程度）、基底計算に用いられた集合が多様で、集合自体の相関が低すぎることが想定される。この場合は、ＫＬ変換の基底計算に用いる集合を狭めることで対処する。即ち、仮に変換対象の複数のブロックとして１フレーム分を集合としていたならば、この集合を１スライス分に変更する。或いは変換対象の複数のブロックとして１スライス分を集合としていたならば、この集合を１スライス分以下の複数ブロックからなる符号化ユニットとする。
【００４７】
計算されたＫＬ変換の基準変換基底は、固定変換基底選択部２０２に供給される。固定変換基底選択部２０２では、固定変換基底蓄積部２０３に予め蓄えられた複数種類の固定変換（例えば、ＤＣＴ又はＤＳＴ）の基底の中から、ブロックごとに基準変換基底に最も類似したものを選択する（ステップＳ１３，Ｓ１４）。蓄積されている複数種類の固定変換の基底の候補（固定変換基底候補）としては、例えば、下記に示す８タイプ（種類）のＤＣＴ（離散コサイン変換）や８タイプ（種類）ＤＳＴ（離散サイン変換）などの基底を候補とする。
【００４８】
例えば、ＤＣＴ Ｔｙｐｅ Ｉは式（１）で与えられる。尚、正規化係数Ｃ（ｎ）,Ｃ（ｋ）に関して、ｎ＝ｋ＝０，Ｎのとき、Ｃ（ｎ）,Ｃ（ｋ）＝１／√２とし、ｎ，ｋ≠０，Ｎのとき、Ｃ（ｎ）,Ｃ（ｋ）＝１とする。また、Ｎ個の実数列（画素値列）のうちｎ番目の画素値ｘｉ（ｎ）を用いて累積して得られるＮ個の実数列（周波数成分列）のうち周波数ｋに変換する変換係数が、Ｘｉ（ｋ）で与えられるものとする。
【００４９】
【数１】
【００５０】
ＤＣＴ Ｔｙｐｅ ＩＩは式（２）で与えられる。
【００５１】
【数２】
【００５２】
ＤＣＴ Ｔｙｐｅ ＩＩＩは式（３）で与えられる。
【００５３】
【数３】
【００５４】
ＤＣＴ Ｔｙｐｅ ＩＶは式（４）で与えられる。
【００５５】
【数４】
【００５６】
ＤＣＴにおけるＴｙｐｅ Ｖ〜ＶＩＩＩは、ｃｏｓ関数の引数の分母にＮ＋１／２の係数がある。
【００５７】
また、ＤＳＴ Ｔｙｐｅ Ｉは式（５）で与えられる。
【００５８】
【数５】
【００５９】
ＤＳＴ Ｔｙｐｅ ＩＩは式（６）で与えられる。
【００６０】
【数６】
【００６１】
ＤＳＴ Ｔｙｐｅ ＩＩＩは式（７）で与えられる。
【００６２】
【数７】
【００６３】
ＤＳＴ Ｔｙｐｅ ＩＶは式（８）で与えられる。
【００６４】
【数８】
【００６５】
ＤＳＴにおけるＴｙｐｅ Ｖ〜ＶＩＩＩは、ｓｉｎ関数の引数の分母にＮ＋１／２の係数がある。
【００６６】
このように、固定変換基底選択部２０２は、基準変換基底（本例では、ＫＬ変換基底）と固定変換基底侯補との間でブロックごとに類似度を計算する（ステップＳ１３）。つまり、類似度として変換基底であるベクトル間の内積を計算し、その総和が最大となるものを基準変換基底に最も類似した固定変換基底とする。
【００６７】
例えば、図５に示すように、原点Ｏから固定変換基底のベクトルｕとＫＬ変換基底のベクトルｖとで表すとき、これらのベクトルは、元の画像信号のベクトルからの回転行列で表すことができ、固定変換基底のベクトルｕとＫＬ変換基底のベクトルｖの回転角をθとし、正規化された２つのベクトルｕ，ｖ（｜ｕ｜＝｜ｖ｜＝１）同士の内積を計算すると、ベクトルが同一方向の場合（θ＝０）は｜ｕ｜｜ｖ｜ｃｏｓ０＝１＊１＊１＝１、逆方向の場合（θ＝１８０°）は｜ｕ｜｜ｖ｜ｃｏｓ１８０°＝−１、直交している場合（θ＝９０°）は｜ｕ｜｜ｖ｜ｃｏｓ９０°＝０となる。尚、図５において、単に変換行列の回転角の大小によって類似度を判別するよりも、内積計算を用いることにより、類似度の判定における精度を高めることができ、さらに、類似度の判定における高精度化に伴う計算負担を低減させることができる。
【００６８】
このため、個々のベクトルの類似度は、個々のベクトルの内積により計算でき、個々のベクトルの内積の総和が最大になるものを類似度が最も高い基底であると定義する（ステップＳ１４）。ただし、単純に総和を取るだけでは、基準変換基底との類似度の絶対値が低い場合でも選択されてしまう恐れがあるため、寄与率閾値処理による制約を設ける。
【００６９】
具体的には、固定変換基底選択部２０２は、類似する基底を選択するにあたり、当該内積和に関して閾値を設け、この閾値を超える内積和の値を持つ基底のみを類似度が高いとして決定する（ステップＳ１５〜Ｓ１７）。つまり、個々のベクトルの内積値の総和の最も大きい基底に対し、個々のベクトルの内積値の総和に対して閾値を設けるか、又は個々の内積値に閾値を設けることで、ＫＬ変換による基準変換基底に類似した基底を高精度で選択するようにする（ステップＳ１６のＹｅｓ）。
【００７０】
尚、固定変換基底選択部２０２は、類似度の算出に伴い、ＫＬ変換による基準変換基底と、固定変換基底蓄積部２０３に蓄えられている固定変換基底の双方とも、直交変換における各主成分の固有値の総和に対する寄与率が最も高いものから順に並べて一時メモリ（図示せず）に保存するのが閾値の設定に便利である。
【００７１】
前述したように、ＤＣＴやＤＳＴに限らず、ＫＬ変換においても正規直交変換行列として得られ、類似度を求める際に得られる内積値もＮ個のベクトルの要素となり、共分散行列はＮ個の内積値の総和となる。ここで、変数全体のもつ変動（内積値の総和）についていわゆる主成分分析を行うと、Ｎ個の内積値の総和を構成する主成分を、その総和に対する寄与率の高い順に、第１主成分、第２主成分、・・・、第５主成分などのように分析することができる。個々のベクトルの内積値の総和においても、各主成分の係数が固有ベクトルとなり、各主成分の変動の大きさが固有値となる。個々のベクトルの内積値の総和に対して閾値を設ける場合には、閾値判定の主成分分析を行う必要はないが、より高精度の閾値判定を行うために、個々の内積値（主成分）ごとに閾値を設けるのが好適である。
【００７２】
特に、類似度が高い第１主成分の寄与率は８０〜９０％となることが多いため、第１主成分の内積値に対する閾値は大きめの閾値（例えば、５０％）とし、第２主成分以降については小さい値の閾値（例えば、０〜１０％）を設定する。仮に、全ての固定変換基底の候補について、設定した閾値より内積値が小さい場合、固定変換基底選択部２０２は、選択する基底がないものとし、ＫＬ変換自体の基底を変換基底として選択する（ステップＳ１６のＮｏ）。
【００７３】
選択された変換基底は、エントロピー符号化部３０に供給される。固定変換基底の候補は予め定められたものであるため、選択された基底は番号などによって特定することができる。そこで、エントロピー符号化部３０は、選択された基底を特定する番号（変換基底番号）を符号化・伝送することで符号量を削減することができる（ステップＳ１７）。
【００７４】
ただし、ＫＬ変換自体が変換基底となった場合、即ち変換基底蓄積部に蓄えられた変換基底が使われない場合は、エントロピー符号化部３０は、ＫＬ変換の基底を符号化する（ステップＳ１８）。
【００７５】
（画像復号処理）
図４は、本発明による一実施形態の画像復号装置の動作を示すフロー図である。画像復号装置５０では、分離部５１によって、符号化ビットストリームから変換基底番号を分離する（ステップＳ２１）。変換基底番号についてエントロピー符号化されていた場合は、エントロピー復号を施して抽出する。
【００７６】
続いて、逆固定変換基底生成部５４によって、変換基底番号に対応する逆固定変換基底を生成し（ステップＳ２２）、エントロピー復号部５２によって、符号化された直交変換係数の符号化信号に対してエントロピー復号を施す（ステップＳ２３）。
【００７７】
続いて、逆量子化・逆直交変換部５３によって、変換基底番号に対応する逆固定変換基底を用いて、復号したブロックごとの直交変換係数に対して逆周波数変換を施す（ステップＳ２４）。尚、変換基底番号によらず、ＫＬ変換の基底が符号化・伝送されている場合には、この基底によるＫＬ逆変換を施す。
【００７８】
これにより、従来のようなＲＤ最適化を用いずに、またＫＬ変換そのものを利用する場合のパラメータ符号化・伝送を不要とし、計算負荷の低減を図ることができる。
【００７９】
本発明によれば、例えば複数のブロックからなる１フレーム（１画面）毎にＫＬ変換基底を求めて、ブロックごとに８種類の固定変換基底との内積を計算することができる。一方で、従来において、ＫＬ変換があまり使われないのは、画像によって基底が変化するので逐一計算する必要があり、その処理量が増加し、かつ変換行列を復号側に伝送しなければならない等の欠点があるためである。
【００８０】
つまり、従来では、例えば８種類の固定変換基底から一つを選択するための比較計算として、先ず、ブロックごとに、実際の直交変換・量子化・符号化により、符号量及び歪み量の見積を算出しなければならず（処理量大）、次に、これらの符号量及び歪み量の見積りについて８種類の固定変換基底を比較して最適なものを決定することになる（処理量軽）。
【００８１】
一方、本発明では、先ず、１画面に対してＫＬ変換を１回だけ実行し、次に、ブロックごとに、求めたＫＬ変換との内積計算により８種類の固定変換基底を比較して最も類似したものを決定する（処理量軽）。このため、本発明では、従来と比較して、ＫＬ変換の１回分の処理量が増えるが、ブロックごとの処理量が減るため、複数種類の固定変換基底から一つを選択するための計算全体での処理量を低減させることができ、さらに、基本的にはＫＬ変換基底を伝送しないように構成しているため、伝送効率が悪化することもない。特に、従来のようなＲＤ最適化を用いることなくとも、任意の信号に対して最適な直交変換が実現可能なＫＬ変換を基準変換としているため、符号量低減に伴う画質向上が期待できる。
【産業上の利用可能性】
【００８２】
本発明によれば、ＲＤ最適化の計算量を削減でき、またＫＬ変換そのものを利用する場合のパラメータ符号化・伝送を不要とし、計算負荷の低減を図ることができるため、複数種類の直交変換から１つの直交変換を選択し、ブロック単位の画像信号を周波数領域に直交変換して圧縮を行う用途に有用である。
【符号の説明】
【００８３】
１０ 画像符号化装置
２０ 直交変換・量子化部
３０ エントロピー符号化部
５０ 画像符号化装置
５１ 分離部
５２ エントロピー復号部
５３ 逆量子化・逆直交変換部
５４ 逆固定変換基底生成部
１００ 画像符号化装置
１０１ 固定変換部
１０２ 量子化部
１０３ エントロピー符号化部
１０４ 出力部
１０５ 固定変換基底蓄積部
１０６ 選択制御部
２０１ 基準変換基底算出部
２０２ 固定変換基底選択部
２０３ 固定変換基底蓄積部
１０１１ 歪み量算出部
１０３１ 符号量算出部
【特許請求の範囲】
【請求項１】
複数種類の直交変換から１つの直交変換を選択し、ブロック単位の画像信号を周波数領域に直交変換して圧縮を行う画像符号化装置であって、
画像信号ごとに異なりうる直交変換の基底を算出する基準変換を用いて、複数のブロックを対象に周波数領域への変換を行う基準変換基底算出部と、
画像信号ごとに固定の直交変換の基底を有する固定変換について、複数種類の固定変換に関する複数の固定変換基底候補を蓄積している固定変換基底蓄積部と、
前記固定変換基底蓄積部に蓄積された複数の変換基底候補から、前記ブロックごとに前記基準変換による基底と最も類似する基底を選択する固定変換基底選択部と、
当該選択した基底を用いて直交変換が施された前記ブロックごとの直交変換係数に対してエントロピー符号化を施し、当該選択した基底の番号を示す変換基底番号を含む符号化ストリームを生成するエントロピー符号化部と、
を備えることを特徴とする画像符号化装置。
【請求項２】
前記固定変換基底選択部は、前記類似する基底を選択するにあたり、直交変換の変換行列を構成する個々のベクトルの内積和によって最も大きい値を持つ基底を選択することを特徴とする、請求項１に記載の画像符号化装置。
【請求項３】
前記固定変換基底選択部は、前記類似する基底を選択するにあたり、当該内積和に閾値を設けるか、又は個々のベクトルの内積値に閾値を設けることで、前記閾値を超える内積和の値を持つ基底のみを類似度が高いとして決定することを特徴とする、請求項２に記載の画像符号化装置。
【請求項４】
請求項１〜３のいずれか一項に記載の画像符号化装置によって出力される符号化ビットストリームから、前記変換基底番号及び符号化されたブロックごとの直交変換係数を抽出する分離部と、
前記符号化されたブロックごとの直交変換係数に対してエントロピー復号を施すエントロピー復号部と、
前記変換基底番号に対応する逆固定変換基底を用いて、復号したブロックごとの直交変換係数に対して逆周波数変換を施す逆周波数変換部と、
を備えることを特徴とする画像復号装置。
【請求項５】
複数種類の直交変換から１つの直交変換を選択し、ブロック単位の画像信号を周波数領域に直交変換して圧縮を行う画像符号化装置として機能するコンピュータに、
画像信号ごとに異なりうる直交変換の基底を算出する基準変換を用いて、複数のブロックを対象に周波数領域への変換を行うステップと、
画像信号ごとに固定の直交変換の基底を有する固定変換について複数種類の固定変換に関する複数の固定変換基底候補を蓄積している固定変換基底蓄積部から、前記複数の固定変換基底候補を取り出し、前記ブロックごとに前記基準変換による基底と最も類似する基底を選択するステップと、
当該選択した基底を用いて直交変換が施された前記ブロックごとの直交変換係数に対してエントロピー符号化を施し、当該選択した基底の番号を示す変換基底番号を含む符号化ストリームを生成するステップと、
を実行させるためのプログラム。
【請求項６】
コンピュータに、
請求項１〜３のいずれか一項に記載の画像符号化装置によって出力される符号化ビットストリームから、前記変換基底番号及び符号化されたブロックごとの直交変換係数を抽出するステップと、
前記符号化されたブロックごとの直交変換係数に対してエントロピー復号を施すステップと、
前記変換基底番号に対応する逆固定変換基底を用いて、復号したブロックごとの直交変換係数に対して逆周波数変換を施すステップと、
を実行させるためのプログラム。
【請求項１】
複数種類の直交変換から１つの直交変換を選択し、ブロック単位の画像信号を周波数領域に直交変換して圧縮を行う画像符号化装置であって、
画像信号ごとに異なりうる直交変換の基底を算出する基準変換を用いて、複数のブロックを対象に周波数領域への変換を行う基準変換基底算出部と、
画像信号ごとに固定の直交変換の基底を有する固定変換について、複数種類の固定変換に関する複数の固定変換基底候補を蓄積している固定変換基底蓄積部と、
前記固定変換基底蓄積部に蓄積された複数の変換基底候補から、前記ブロックごとに前記基準変換による基底と最も類似する基底を選択する固定変換基底選択部と、
当該選択した基底を用いて直交変換が施された前記ブロックごとの直交変換係数に対してエントロピー符号化を施し、当該選択した基底の番号を示す変換基底番号を含む符号化ストリームを生成するエントロピー符号化部と、
を備えることを特徴とする画像符号化装置。
【請求項２】
前記固定変換基底選択部は、前記類似する基底を選択するにあたり、直交変換の変換行列を構成する個々のベクトルの内積和によって最も大きい値を持つ基底を選択することを特徴とする、請求項１に記載の画像符号化装置。
【請求項３】
前記固定変換基底選択部は、前記類似する基底を選択するにあたり、当該内積和に閾値を設けるか、又は個々のベクトルの内積値に閾値を設けることで、前記閾値を超える内積和の値を持つ基底のみを類似度が高いとして決定することを特徴とする、請求項２に記載の画像符号化装置。
【請求項４】
請求項１〜３のいずれか一項に記載の画像符号化装置によって出力される符号化ビットストリームから、前記変換基底番号及び符号化されたブロックごとの直交変換係数を抽出する分離部と、
前記符号化されたブロックごとの直交変換係数に対してエントロピー復号を施すエントロピー復号部と、
前記変換基底番号に対応する逆固定変換基底を用いて、復号したブロックごとの直交変換係数に対して逆周波数変換を施す逆周波数変換部と、
を備えることを特徴とする画像復号装置。
【請求項５】
複数種類の直交変換から１つの直交変換を選択し、ブロック単位の画像信号を周波数領域に直交変換して圧縮を行う画像符号化装置として機能するコンピュータに、
画像信号ごとに異なりうる直交変換の基底を算出する基準変換を用いて、複数のブロックを対象に周波数領域への変換を行うステップと、
画像信号ごとに固定の直交変換の基底を有する固定変換について複数種類の固定変換に関する複数の固定変換基底候補を蓄積している固定変換基底蓄積部から、前記複数の固定変換基底候補を取り出し、前記ブロックごとに前記基準変換による基底と最も類似する基底を選択するステップと、
当該選択した基底を用いて直交変換が施された前記ブロックごとの直交変換係数に対してエントロピー符号化を施し、当該選択した基底の番号を示す変換基底番号を含む符号化ストリームを生成するステップと、
を実行させるためのプログラム。
【請求項６】
コンピュータに、
請求項１〜３のいずれか一項に記載の画像符号化装置によって出力される符号化ビットストリームから、前記変換基底番号及び符号化されたブロックごとの直交変換係数を抽出するステップと、
前記符号化されたブロックごとの直交変換係数に対してエントロピー復号を施すステップと、
前記変換基底番号に対応する逆固定変換基底を用いて、復号したブロックごとの直交変換係数に対して逆周波数変換を施すステップと、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−４６２０６（Ｐ２０１３−４６２０６Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８２４８５（Ｐ２０１１−１８２４８５）
【出願日】平成２３年８月２４日（２０１１．８．２４）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２４日（２０１１．８．２４）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]