画像信号符号化装置、画像信号符号化方法、画像信号復号装置、及び、画像信号復号方法
【課題】従来の方法では、画面内予測効率は十分ではない。
【解決手段】画像信号符号化装置は、画像信号にブロック分割を施して符号化を行う装置であって、符号化対象ブロック内の所定位置の画素の推定画素値を生成する推定画素値生成部（１０９）と、推定画素値を符号化する推定画素値符号化部（１１１）と、推定画素値と符号化対象ブロックに隣接する既符号化ブロックの局部復号画像から符号化対象ブロックの予測画像を生成する予測画像生成部（１１０）とを備え、予測画像を用いて符号化を行う。
【解決手段】画像信号符号化装置は、画像信号にブロック分割を施して符号化を行う装置であって、符号化対象ブロック内の所定位置の画素の推定画素値を生成する推定画素値生成部（１０９）と、推定画素値を符号化する推定画素値符号化部（１１１）と、推定画素値と符号化対象ブロックに隣接する既符号化ブロックの局部復号画像から符号化対象ブロックの予測画像を生成する予測画像生成部（１１０）とを備え、予測画像を用いて符号化を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号にブロック分割を施して符号化を行う画像信号符号化装置および画像信号符号化方法、更に、その符号化された符号化ストリームを復号する画像信号復号装置および画像信号復号方法に関するものである。
【背景技術】
【０００２】
従来の符号化方法としてＭＰＥＧ−２符号化方式に代表されるように、画像信号にブロック分割を施して符号化処理を各ブロック単位で行うものがある。前記ブロックは１画像フレーム内の所定数の画素からなる画像領域であり、ブロックの形状としては処理が容易な矩形形状がよく使用される。このようにブロック分割を施して符号化処理を行う符号化方法では、符号化処理がブロック毎に完結するため、ブロック間の画素相関を利用するのが困難であった。
【０００３】
この問題を解決するために特許第３７３５２４４号によれば、ブロックに隣接する画素のうち符号化済の画素の画素値を用いて予測画像を生成してこの予測画像の画素値とブロックの画素値との差分を符号化することにより、ブロック内とブロックに隣接する画素との相関を利用して符号化効率の向上が可能である。
【０００４】
図２は動画像符号化方式 ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４（ＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４ ｜ ＩＳＯ／ＩＥＣ １４４９６−１０ ＡＶＣ）における４×４画素単位の画面内符号化の予測モードを示す図である。符号化対象ブロックの左方向と上方向の隣接画素を参照画素とし、図２(a)〜図２（i）に示すように、８方向＋平均値モードの計９種の予測モードを有する。
【０００５】
ここで、画面内予測符号化の動作を簡単に説明する。図３は従来の画面内予測符号化装置の構成の一例を示すブロック図である。
【０００６】
図３において、本構成では、符号化対象フレームを所定のブロック単位に分割し（３０１）、符号化対象ブロックを作成する。符号化対象ブロックを符号化するのに最適と思われる予測モードを決定し（３０９）、決定した予測モードを元に予測画像を生成する（３１０）。符号化対象ブロックの原画像から予測画像を減算する（３０２）ことにより作成した残差信号に対し、直交変換（３０３）および量子化（３０４）を行い、量子化係数を生成する。また、量子化係数を逆量子化（３０５）および逆直交変換（３０６）を行って予測画像を加算する（３０７）ことにより対象ブロックの局部復号画像を生成し、フレームバッファ（３０８）に蓄える。そして、量子化係数と、予測モード情報に対し、エントロピー符号化を施して（３１１，３１２）、多重化して（３１３）伝送する。以上の手順を符号化対象フレームのすべてのブロックについて繰り返すことにより、対象フレームの符号化を行う。
【０００７】
具体的な最適予測モードの決定手段としては、残差信号の情報量を元に決定する方法や、量子化変換係数の情報量を元に決定する方法、符号化量子化変換係数の情報量を元に決定する方法等が存在する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３７３５２４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述したようにＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４では、符号化対象ブロックに隣接する符号化済の画素との相関を利用して、予め用意した複数の予測モードのうち最適な予測モードを選択して予測画像を生成し、符号化対象ブロックとの差分である残差を符号化することにより画面内符号化効率を向上している。
【００１０】
しかしながら、符号化対象ブロック内で、符号化対象ブロックに隣接する画素からの画素間距離が遠い画素は、符号化対象ブロックに隣接する画素との相関が比較的低く、良好な予測画像が生成できない場合があり、比較的値の大きな残差が残り符号化効率が向上しない。
【００１１】
図４は、符号化対象ブロック内の画素と符号化対象ブロックに隣接する画素との画素間距離および相関を表す図である。図４（a）のP0からP6の画素は、符号化対象ブロックに隣接する画素との画素間距離が近いため一般的に相関が高いが、図４（b）のＰ７の画素は符号化対象ブロックに隣接する画素との画素間距離が遠いため一般的に相関が低い。
【００１２】
図５は、符号化対象ブロックに隣接する画素から良好な予測画像が得られない場合の例を示す図である。対象フレーム（５００）内に画像領域１（５０２）と異なる画像領域２（５０３）が存在し、符号化対象ブロック（５０１）内に２つの異なる画像領域が存在する場合、画像領域１（５０２）の部分は符号化対象ブロックに隣接する画素との相関が高いが、画像領域２（５０３）の部分は符号化対象ブロックに隣接する画素との相関が低く、良好な予測画像を生成できない。この場合、画像領域１（５０２）の部分の残差は比較的小さな値となるが、画像領域２（５０３）の部分の残差は比較的大きな値となり、直行変換／量子化を行って得られる量子化係数に比較的大きな値が発生し、エントロピー符号化後の符号量が増大してしまう。
【００１３】
そこで本発明は、符号化対象ブロック内で符号化対象ブロックに隣接する画素との画素間距離が遠い画素と符号化対象ブロックに隣接する画素との相関が低い場合に、画面内予測効率を向上させることを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するため、画像信号にブロック分割を施して符号化を行う画像信号符号化装置であって、符号化対象ブロック内の所定位置の画素の推定画素値を生成する推定画素値生成部（１０９）と、前記推定画素値を符号化する推定画素値符号化部（１１１）と、前記推定画素値と符号化対象ブロックに隣接する既符号化ブロックの局部復号画像から前記符号化対象ブロックの予測画像を生成する予測画像生成部（１１０）とを備え、前記予測画像を用いて符号化を行う画像信号符号化装置を提供するものである。
【００１５】
また、画像信号にブロック分割を施して符号化を行う画像信号符号化装置であって、符号化対象ブロックに隣接する既符号化ブロックの局部復号画像から第１の予測画像を生成する第１予測画像生成部（６０９）と、符号化対象ブロック内の所定位置の画素の推定画素値を生成する推定画素値生成部（６１０）と、前記推定画素値を符号化する推定画素値符号化部（６１３）と、前記第１の予測画像と前記推定画素値とを用いて第２の予測画像を生成する第２予測画像生成部（６１１）と、前記第１の予測画像と前記第２の予測画像とを選択して予測画像を生成する予測画像選択部（６１２）とを備え、前記予測画像選択部で選択された予測画像を用いて符号化を行う画像信号符号化装置を提供するものである。
【００１６】
また、画像信号にブロック分割を施して符号化された符号化ストリームを復号する画像信号復号装置であって、復号対象ブロック内の所定位置の画素の推定画素値を復号する推定画素値復号部（１２０２）と、前記推定画素値と復号対象ブロックに隣接する既復号ブロックの復号画像から前記復号対象ブロックの予測画像を生成する予測画像生成部（１２０８）とを備え、前記予測画像を用いて復号を行う画像信号復号装置を提供するものである。
【００１７】
更に、画像信号にブロック分割を施して符号化された符号化ストリームを復号する画像信号復号装置であって、復号対象ブロックに隣接する既復号ブロックの復号画像から第１の予測画像を生成する第１予測画像生成部（１３０９）と、復号対象ブロック内の所定位置の画素の推定画素値を復号する推定画素値復号部（１３０３）と、前記第１の予測画像と前記推定画素値とを用いて第２の予測画像を生成する第２予測画像生成部（１３１０）と、前記第１の予測画像と前記第２の予測画像とを選択して予測画像を生成する予測画像選択部（１３１１）とを備え、前記予測画像選択部で選択された予測画像を用いて復号を行う画像信号復号装置を提供するものである。
【発明の効果】
【００１８】
本発明の画像信号符号化装置によれば、符号化対象ブロックに隣接する画素から予測画像を生成して符号化を行う符号化方法において、符号化対象ブロック内で符号化対象ブロックに隣接する画素からの画素間距離が遠い画素と符号化対象ブロックに隣接する画素との相関が低い場合に、符号化対象ブロックに隣接する画素からの画素間距離が遠い画素の推定画素値を独立して符号化してブロック内部の推定値を生成して予測画像を修正することにより、良好な予測画像を生成することができ、残差信号を直交変換および量子化を行った後にＤＣ（直流）およびＤＣ周辺に存在する複数の係数値を小さくできるため、符号化対象ブロックに隣接する画素からの画素間距離が遠い画素の推定画素値を独立して符号化するための符号量の増加に比べて残差信号の係数値の符号量を大きく減少させることができ、画面内符号化効率を向上させるという効果を得ることができる。また、上述の符号化方法で符号化された符号化ストリームを正しく復号できる。
【図面の簡単な説明】
【００１９】
【図１】本発明の画像信号符号化装置の第１の実施例の構成を示すブロック図である。
【図２】画面内符号化の予測モードを示す図である。
【図３】従来の画面内予測符号化装置の構成の一例を示すブロック図である。
【図４】符号化対象ブロックに隣接する画素との画素間距離および相関を示す図である。
【図５】従来の方法で予測効率が向上しない画像の例を示す図である。
【図６】本発明の画像信号符号化装置の第２，第３の実施例の構成を示すブロック図である。
【図７】符号化対象ブロック内の所定位置の画素を示す図である。
【図８】従来の予測方法による残差信号を説明するための図である。
【図９】本発明の予測方法による残差信号を説明するための図である。
【図１０】本発明の画像信号符号化装置の第１の実施例における予測画像生成部の構成例を示すための図である。
【図１１】本発明の画像信号符号化装置の第１の実施例における第２予測画像生成部の構成例を示すための図である。
【図１２】本発明の画像信号復号装置の第1の実施例の構成を示すための図である。
【図１３】本発明の画像信号復号装置の第２，第３の実施例の構成を示すための図である。
【発明を実施するための形態】
【００２０】
以下に、発明を実施するための最良の形態について図を用いて説明する。
【実施例１】
【００２１】
＜画像信号符号化装置の第１の実施例＞
図１は、本発明の第１の実施例である画像信号符号化装置の構成を示すブロック図である。
【００２２】
図1において、入力端子（１００）より符号化対象フレームが入力される。ブロック分割部（１０１）は符号化対象フレームを所定のブロック単位に分割し符号化対象ブロックを生成する。ただし、分割する領域の大きさは、４×４画素や８×８画素、１６×１６画素あるいは他のサイズであっても構わないし、さらに矩形形状でなくとも構わない。
【００２３】
減算器（１０２）は符号化対象ブロックの原画像から予測画像を減算し残差信号を生成する。直交変換部（１０３）は残差信号に直交変換を施し変換係数を生成する。ここで行う直交変換は、離散コサイン変換（ＤＣＴ）やアダマール変換、離散サイン変換やその他の変換であっても構わない。
【００２４】
量子化部（１０４）は変換係数に量子化を施し量子化係数を生成する。逆量子化部（１０５）は量子化係数に逆量子化を施し復元変換係数を生成する。逆直交変換部（１０６）は復元変換係数に逆直交変換を施し復元残差信号を生成する。加算器（１０７）は復元残差信号と予測画像を足し合わせて復元信号を生成する。フレームバッファ（１０８）は復元信号を符号化対象ブロックの対象位置に格納する。
【００２５】
推定画素値生成部（１０９）は符号化対象ブロック内の所定位置の画素に対して符号化対象ブロックの符号化に最適と思われる推定画素値を生成する。符号化対象ブロック内の所定位置として通常はブロックの隣接画素からの画素間距離が最も遠い位置とする。つまり、図７に示すように、画像フレーム（７００）内でのブロックの符号化順が左方向から右方向および上方向から下方向である場合、符号化対象ブロック（７０１）の隣接画素（７０２）は符号化対象ブロックの上および左に存在するので、隣接画素（７０２）からの画素間距離が最も遠い右下の画素（７０３）を所定位置とする。ただし、所定位置として符号化対象ブロックの右下と限定するものでなく、他の位置であっても構わない。符号化対象ブロックの符号化に最適と思われる推定画素値の選択方法として、符号化可能な推定画素値のうち、減算器（１０２）が符号化対象ブロックの原画像から予測画像を減算して生成する残差信号が最も少なくなるものを選択するものとする。ただし、最適と思われる推定画素値の選択方法としてはこれに限定するものではなく、量子化部（１０４）が生成する量子化係数を係数符号化部（１１２）で符号化した後の符号量が最も少なくなるものを選択しても良いし、その他の方法でも構わない。
【００２６】
予測画像生成部（１１０）はフレームバッファ（１０８）に格納されている符号化対象ブロックに隣接する参照画像と推定画素値生成部（１０９）が生成した推定画素値とから予測画像を生成する。予測画像生成部（１１０）が生成した予測画像が減算器（１０２）および加算器（１０７）に供給される。
【００２７】
推定画素値符号化部（１１１）は推定画素値生成部（１０９）が生成した推定画素値を符号化する。係数符号化部（１１２）は量子化部（１０４）が生成する量子化係数を符号化する。多重化部（１１３）は推定画素値符号化部（１１１）が符号化した推定画素値符号化情報と係数符号化部（１１２）が符号化した係数符号化情報を多重化する。出力端子（１１４）は多重化部（１１３）によって多重化された符号化情報（符号化ストリーム）を生成して出力する。出力端子（１１４）より出力された符号化情報（符号化ストリーム）は記録媒体に記録することが可能であり、また伝送路を通じて伝送することも可能である。
【００２８】
図１示す画像信号符号化装置における予測画像生成部（１１０）の動作について、図を用いて説明する。図１０は予測画像生成部（１１０，１０００）の構成例を示す図である。
【００２９】
図１０において、予測画像生成部（１０００）における隣接画素値入力端子（１００１）より符号化対象ブロックに隣接する参照画像の画素値が入力される。推定画素値入力端子（１００２）より推定画素値が入力される。第１予測画像生成部（１００３）は隣接画素値入力端子（１００１）より入力された参照画像の画素値から第1の予測画像を生成する。第２予測画像生成部（１００４）は推定画素値入力端子（１００２）より入力された推定画素値と第１予測画像生成部（１００３）が生成した第１の予測画像とから第2の予測画像を生成する。予測画像出力端子（１００５）は第２予測画像生成部（１００４）が生成した第２の予測画像を出力する。
【００３０】
以下、符号化対象ブロックが４画素×４画素の矩形ブロックであると仮定して、第１予測画像生成部（１００３）と第２予測画像生成部（１００４）の動作について説明する。
【００３１】
第１予測画像生成部（１００３）の第１の予測画像の生成方法としては従来知られている方法で、例えば動画像符号化方式ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４の４ｘ４予測のモード３を例にとると、ブロック内の画素の水平位置と垂直位置をそれぞれｘ、ｙとし、参照画像をｐ［ｘ，ｙ］とすると第1の予測画像ｐｒｅｄ［ｘ，ｙ］（ｘ，ｙ＝０，１，２，３）は以下の式で表される。
【００３２】
ｘ＝３かつｙ＝３の場合
ｐｒｅｄ［ｘ，ｙ］＝（ｐ［６，−１］＋３×ｐ［７，−１］＋２）＞＞２
それ以外の場合
ｐｒｅｄ［ｘ，ｙ］＝（ｐ［ｘ＋ｙ，−１］＋２×ｐ［ｘ＋ｙ＋１，−１］＋ｐ［ｘ＋ｙ＋２，−１］＋２）＞＞２
図１０に示す予測画像生成部（１０００）における第2予測画像生成部（１００４）の動作について、図を用いて説明する。図１１は第２予測画像生成部（１００４，１１００）の構成例を示す図である。
【００３３】
図１１において、第２予測画像生成部（１００４，１１００）における第１予測画像入力端子（１１０１）より第１の予測画像が入力される。推定画素値入力端子（１１０２）より推定画素値が入力される。内部推定値生成部（１１０３）は推定画素値入力端子（１１０２）より入力された推定画素値と第１予測画像入力端子（１１０１）より入力された第1の予測画像の所定位置の画素の画素値とから内部推定値を生成する。予測画像修正部（１１０４）は第１予測画像入力端子（１１０１）より入力された第１の予測画像と内部推定値生成部（１１０３）が生成した内部推定値の各画素値に所定の演算を施して修正予測画像を生成する。クリップ部（１１０５）は予測画像修正部（１１０４）が生成した修正予測画像にクリッピング処理を施し第２の予測画像を生成する。第2予測画像出力端子（１１０６）はクリップ部（１１０５）が生成した第２の予測画像を出力する。
【００３４】
ここで、内部推定値生成部（１１０３）での内部推定値の生成方法について説明する。ブロック内の所定位置が右下の画素、つまりｘ＝３、ｙ＝３の位置であると仮定すると、推定画素値と第１の予測画像の右下の画素値との差で右下の内部推定値を求める。つまり、右下の内部推定値ｃｏｒｒ［３，３］は推定画素値をＥｐｒｅｄとすると
ｃｏｒｒ［３，３］＝Ｅｐｒｅｄ−ｐｒｅｄ［３，３］
の式で求めるものとする。この値を元にして符号化対象ブロックの内部に傾斜配分して内部推定値を求める。内部推定値ｃｏｒｒ［ｘ，ｙ］を以下の式で求めるものとする。
【００３５】
ｃｏｒｒ［ｘ，ｙ］＝（（Ｅｐｒｅｄ−ｐｒｅｄ［３，３］）×ＭＩＮ（ｘ，ｙ）＋１）／３
ここで、ＭＩＮ（ｘ，ｙ）はｘとｙのうち小さい方の値である。ここで示した内部推定値生成部（１１０３）が生成する内部推定値を求める式は一例であり、他の計算式で求めてもよい。
【００３６】
次に、予測画像修正部（１１０４）の演算処理について説明する。予測画像修正部（１１０４）によって求められる修正予測画像ｐｒｅｄ´［ｘ，ｙ］は以下の式で表される演算によって求められる。
【００３７】
ｐｒｅｄ´［ｘ，ｙ］＝（Ａ×ｐｒｅｄ［ｘ，ｙ］＋Ｂ×ｃｏｒｒ［ｘ，ｙ］＋Ｃ）／Ｄ
ここでパラメータＡ、Ｂ、Ｃ、Ｄは予め定められた値とし、Ａ＝１、Ｂ＝１、Ｃ＝０、Ｄ＝１とすると、予測画像修正部（１１０４）の演算処理は第１予測画像入力端子（１１０１）より入力された第１の予測画像と内部推定値生成部（１１０３）が生成した内部推定値とに単純な加算処理を施すことになる。
【００３８】
クリップ部（１１０５）はこの値にクリッピング処理を施す。クリッピング処理とは、クリッピング前の値が画素値の取り得る値の範囲を越えていた場合に範囲内に抑える処理で、画素値の取り得る最小値が０だとすると、画素値が０より小さい場合に値を０にし、最大値が２５５だとすると画素値が２５５より大きい場合に値を２５５とする処理である。
【００３９】
以上、符号化対象ブロックが４画素×４画素の矩形ブロックである仮定で説明したが、同様の処理は４画素×４画素の矩形ブロックに限定するものではなく、他のサイズの矩形ブロックや矩形以外の形状にも応用することができる。
【００４０】
次に、内部推定値生成部（１１０３）が生成する内部推定値で予測画像を修正することによる効果について、以下に説明する。
【００４１】
図８は従来の予測方法による符号化対象ブロック内で符号化対象ブロックに隣接する画素からの画素間距離が近い位置から遠い位置の方向に連続する画素の原画像の画素値（ａ）、予測画像の画素値（ｂ）、および残差信号の画素値（ｃ）を示している。原画像（８００）から、従来の予測方法によって符号化対象ブロックに隣接する画素の画素値（８０１）から生成される予測画像（８０２）を減算した残差信号（８０３）は、符号化対象ブロックに隣接する画素から画素間距離が遠い画素の値が比較的大きくなる。
【００４２】
これに対し、図９は本発明の予測方法による符号化対象ブロック内で符号化対象ブロックに隣接する画素からの画素間距離が近い位置から遠い位置の方向に連続する画素の原画像の画素値（ａ）、予測画像の画素値（ｂ）、および残差信号の画素値（ｃ）を示している。従来の予測方法によって符号化対象ブロックに隣接する画素の画素値（９０１）から生成される第１の予測画像（９０２）に内部推定値（９０３）を加算して得られる値を第２の予測画像として原画像（９００）から減算した残差信号（９０４）は、符号化対象ブロック内の画素全体が比較的小さな値となる。つまり良好な予測画像が生成されたことにより残差信号の発生が抑制され、符号化効率の改善が見込まれることが分かる。
【００４３】
以上のように、符号化対象ブロックに隣接する画素から生成した予測画像を修正して良好な予測画像を生成することができ、符号化対象ブロック内で符号化対象ブロックに隣接する画素からの画素間距離が遠い画素と符号化対象ブロックに隣接する画素との相関が低い場合、符号化効率を改善することができる。
【００４４】
＜画像信号復号装置の第１の実施例＞
図１２は、本発明の第１の実施例である画像信号復号装置の構成を示すブロック図である。この本発明の第１の実施例である画像信号復号装置は、図１に示す本発明の第１の実施例である画像信号符号化装置が生成する符号化ストリームを復号対象とするものである。
【００４５】
図1２において、入力端子（１２００）より復号対象となる上述の符号化ストリームが入力される。分離部（１２０１）は符号化ストリームから推定画素値符号化情報と係数符号化情報を分離する。推定画素値復号部（１２０２）は推定画素値復号情報から推定画素値を復号する。係数復号部（１２０３）は係数符号化情報から量子化係数値を復号する。逆量子化部（１２０４）は量子化係数に逆量子化を施し復元変換係数を生成する。逆直交変換部（１２０５）は復元変換係数に逆直交変換を施し復元残差信号を生成する。加算器（１２０６）は復元残差信号と予測画像を足し合わせて復元信号を生成する。フレームバッファ（１２０７）は復元信号を復号対象ブロックの対象位置に格納する。予測画像生成部（１２０８）はフレームバッファ（１２０７）に格納されている復号対象ブロックに隣接する参照画像と推定画素値復号部（１２０２）が生成した推定画素値とから予測画像を生成する。予測画像生成部（１２０８）の動作は符号化で説明した動作と同様である。予測画像生成部（１２０８）が生成した予測画像が加算器（１２０６）に供給される。出力端子（１２０９）はフレームバッファ（１２０７）に格納されている復号画像を出力する。
【実施例２】
【００４６】
＜画像信号符号化装置の第２の実施例＞
図６は、本発明の第２の実施例である画像信号符号化装置の構成を示すブロック図である。
【００４７】
図６において、入力端子（６００）、ブロック分割部（６０１）、減算器（６０２）、直交変換部（６０３）、量子化部（６０４）、逆量子化部（６０５）、逆直交変換部（６０６）、加算器（６０７）、フレームバッファ（６０８）、第1予測画像生成部（６０９）、推定画素値生成部（６１０）、第2予測画像生成部（６１１）、係数符号化部（６１５）、の動作は第1の実施例で説明した動作と同様であり、説明を省略する。
【００４８】
予測画像選択部（６１２）は、第１予測画像生成部（６０９）の生成する第１の予測画像と第２予測画像生成部（６１１）の生成する第２の予測画像のうち符号化対象ブロックの符号化に最適と思われる予測画像を選択する。予測画像選択部（６１２）によって選択された予測画像が減算器（６０２）および加算器（６０７）に供給される。推定画素値符号化部（６１３）は予測画像選択部（６１２）が第２の予測画像を選択した場合に推定画素値生成部（６１０）が生成した推定画素値を符号化する。選択情報符号化部（６１４）は予測画像選択部（６１２）が第１の予測画像と第２の予測画像のうちどちらを選択したかを示す選択情報を符号化する。多重化部（６１６）は推定画素値符号化部（６１３）が符号化した推定画素値符号化情報と選択情報符号化部（６１４）が符号化した選択符号化情報と係数符号化部（６１５）が符号化した係数符号化情報を多重化する。出力端子（６１７）は多重化部（６１６）によって多重化された符号化情報（符号化ストリーム）を生成して出力する。出力端子（６１７）より出力された符号化情報（符号化ストリーム）は記録媒体に記録することが可能であり、また伝送路を通じて伝送することも可能である。
【００４９】
予測画像選択部（６１２）が符号化対象ブロックの符号化に最適と思われる予測画像を選択する方法として、減算器（６０２）が符号化対象ブロックの原画像から第２の予測画像を減算して生成する残差信号の情報量に推定画素値符号化情報と選択情報の符号量を加味した値の小さい方を選択するものとする。ただし、最適と思われる予測画像の選択方法としてはこれに限定するものではなく、量子化部（６０４）が生成する量子化係数を係数符号化部（６１５）で符号化した後の符号量に推定画素値符号化情報と選択情報の符号量を加算した値が小さい方を選択しても良いし、その他の方法でも構わない。
【００５０】
以上のように、第１の予測画像と第２の予測画像を選択して符号化を行うことができ、符号化対象ブロック内で符号化対象ブロックに隣接する画素からの画素間距離が遠い画素と符号化対象ブロックに隣接する画素との相関が高い場合に第１の予測画像を選択することにより、付加情報量の発生を抑制して符号化効率の低下を抑えるとともに、符号化対象ブロック内で符号化対象ブロックに隣接する画素からの画素間距離が遠い画素と符号化対象ブロックに隣接する画素との相関が低い場合に第２の予測画像を選択することにより符号化対象ブロックに隣接する画素から生成した予測画像を修正して良好な予測画像を生成して符号化効率を改善することができる。
【００５１】
＜画像信号復号装置の第２の実施例＞
図１３は、本発明の第２の実施例である画像信号復号装置の構成を示すブロック図である。
【００５２】
この本発明の第２の実施例である画像信号復号装置は、図６に示す本発明の第２の実施例である画像信号符号化装置が生成する符号化ストリームを復号対象とするものである。
【００５３】
図１３において、入力端子（１３００）より復号対象となる上述の符号化ストリームが入力される。分離部（１３０１）は符号化ストリームから選択符号化情報と推定画素値符号化情報と係数符号化情報を分離する。選択情報復号部（１３０２）は選択符号化情報から選択情報を復号する。推定画素値復号部（１３０３）は推定画素値復号情報から推定画素値を復号する。なお、選択情報が第１の予測画像を選択することを示す場合、符号化ストリームには復号対象ブロックの推定画素値符号化情報は符号化されてないので、分離部（１３０１）による推定画素値符号化情報の分離および推定画素値復号部（１３０３）による推定画素値の復号は行われない。係数復号部（１３０４）は係数符号化情報から量子化係数値を復号する。逆量子化部（１３０５）は量子化係数に逆量子化を施し復元変換係数を生成する。逆直交変換部（１３０６）は復元変換係数に逆直交変換を施し復元残差信号を生成する。加算器（１３０７）は復元残差信号と予測画像を足し合わせて復元信号を生成する。フレームバッファ（１３０８）は復元信号を復号対象ブロックの対象位置に格納する。第１予測画像生成部（１３０９）はフレームバッファ（１３０８）に格納されている復号対象ブロックに隣接する参照画像から第１の予測画像を生成する。第２予測画像生成部（１３１０）は第１予測画像生成部（１３０９）が生成した第１の予測画像と推定画素値復号部（１３０３）が復号した推定画素値とから第２の予測画像を生成する。第１予測画像生成部（１３０９）および第２予測画像生成部（１３１０）の動作は符号化の動作と同様である。予測画像選択部（１３１１）は選択情報復号部（１３０２）が復号した選択情報に基づいて第１の予測画像と第２の予測画像とを選択し選択した予測画像を加算器（１３０７）に供給する。出力端子（１３１２）はフレームバッファ（１３０８）に格納されている復号画像を出力する。
【実施例３】
【００５４】
＜画像信号符号化装置の第３の実施例＞
本発明の第３の実施例である画像信号符号化装置は、図６に示す本発明の第２の実施例である画像信号符号化装置と同じ構成で実現できる。
【００５５】
本発明の第２の実施例で示した画像信号符号化装置との相違点は、予測画像選択部（６１２）および選択情報符号化部（６１４）の動作の違いである。
【００５６】
以下、本発明の第２の実施例である画像信号符号化装置と異なる動作について説明する。
【００５７】
図６において、予測画像選択部（６１２）は、予め定められた複数のブロックより構成される符号化単位毎に定めた選択方法指示情報に基づいて第１予測画像生成部（６０９）の生成する第１の予測画像と第２予測画像生成部（６１１）の生成する第２の予測画像のうちいずれかを選択する。予め定められた複数のブロックより構成される符号化単位は、マクロブロックでも良いし、スライス、ピクチャあるいはその他の符号化単位であっても構わない。予め定められた複数のブロックより構成される符号化単位毎に定めた選択方法指示情報は、第１予測画像生成部（６０９）の生成する第１の予測画像を固定的に選択するか、第２予測画像生成部（６１１）の生成する第２の予測画像を固定的に選択するか、あるいは第１予測画像生成部（６０９）の生成する第１の予測画像と第２予測画像生成部（６１１）の生成する第２の予測画像のうち符号化対象ブロックの符号化に最適と思われる予測画像を選択するか、のいずれかである。
【００５８】
選択情報符号化部（６１４）は、予め定められた複数のブロックより構成される符号化単位毎に定めた選択方法指示情報が第１予測画像生成部（６０９）の生成する第１の予測画像と第２予測画像生成部（６１１）の生成する第２の予測画像のうち符号化対象ブロックの符号化に最適と思われる予測画像を選択するという指示の場合に、予測画像選択部（６１２）が第１の予測画像と第２の予測画像のうちどちらを選択したかを示す選択情報を符号化する。
【００５９】
予め定められた複数のブロックより構成される符号化単位毎に定めた選択方法指示情報は、予め定められた複数のブロックより構成される符号化単位毎に符号化しても構わないし、予め定められた複数のブロックより構成される符号化単位毎の符号化情報から判断しても構わない。予め定められた複数のブロックより構成される符号化単位毎の符号化情報としてはスライス単位の符号化モードやマクロブロックの符号化モードでも良いし、あるいはマクロブロックに隣接する符号化済みマクロブロックの情報を用いても構わない。
【００６０】
以上のように、第１の予測画像と第２の予測画像を選択して符号化を行うことができ、第１の予測画像と第２の予測画像を固定的に選択することができることにより、付加情報量の発生を抑制して符号化効率の低下を抑えるとともに、予め定められた複数のブロックより構成される符号化単位毎に符号化に最適な予測画像を選択可能とすることにより、良好な予測画像を生成して符号化効率を改善することができる。
【００６１】
＜画像信号復号装置の第３の実施例＞
本発明の第３の実施例である画像信号復号装置は、図１３に示す本発明の第２の実施例である画像信号復号装置と同じ構成で実現できる。
【００６２】
この本発明の第３の実施例である画像信号復号装置は、図１３に示す本発明の第２の実施例である画像信号復号装置と同じく、図６に示す本発明の第３の実施例である画像信号符号化装置が生成する符号化ストリームを復号対象とするものである。
【００６３】
本発明の第２の実施例で示した画像信号復号装置との相違点は、分離部（１３０１）と選択情報復号部（１３０２）および予測画像選択部（１３１１）の動作の違いである。
【００６４】
図１３において、予測画像選択部（１３１１）は、予め定められた複数のブロックより構成される符号化単位毎に定めた選択方法指示情報に基づいて第１予測画像生成部（１３０９）の生成する第１の予測画像と第２予測画像生成部（１３１０）の生成する第２の予測画像のうちいずれかを選択する。予め定められた複数のブロックより構成される符号化単位および選択方法指示情報は符号化と同様である。
【００６５】
予め定められた複数のブロックより構成される符号化単位毎に定めた選択方法指示情報が第１予測画像生成部（１３０９）の生成する第１の予測画像と第２予測画像生成部（１３１０）の生成する第２の予測画像から予測画像を選択するという指示の場合にかぎり、分離部（１３０１）による選択符号化情報の分離および選択情報復号部（１３０２）による選択情報の復号が行われる。
【符号の説明】
【００６６】
１００ 入力端子
１０１ ブロック分割部
１０２ 減算器
１０３ 直交変換部
１０４ 量子化部
１０５ 逆量子化部
１０６ 逆直交変換部
１０７ 加算器
１０８ フレームバッファ
１０９ 推定画素値生成部
１１０ 予測画像生成部
１１１ 推定画素値符号化部
１１２ 係数符号化部
１１３ 多重化部
１１４ 出力端子
３００ 入力端子
３０１ ブロック分割部
３０２ 減算器
３０３ 直交変換部
３０４ 量子化部
３０５ 逆量子化部
３０６ 逆直交変換部
３０７ 加算器
３０８ フレームバッファ
３０９ モード判定部
３１０ 予測画像生成部
３１１ 係数符号化部
３１２ モード符号化部
３１３ 多重化部
３１４ 出力端子
５００ 対象フレーム
５０１ 符号化対象ブロック
５０２ 画像領域１
５０３ 画像領域２
６００ 入力端子
６０１ ブロック分割部
６０２ 減算器
６０３ 直交変換部
６０４ 量子化部
６０５ 逆量子化部
６０６ 逆直交変換部
６０７ 加算器
６０８ フレームバッファ
６０９ 第１予測画像生成部
６１０ 推定画素値生成部
６１１ 第２予測画像生成部
６１２ 予測画像選択部
６１３ 推定画素値符号化部
６１４ 選択情報符号化部
６１５ 係数符号化部
６１６ 多重化部
６１７ 出力端子
７００ 画像フレーム
７０１ 符号化対象ブロック
７０２ 隣接画素
７０３ 所定位置の画素
８００ 原画像
８０１ 隣接する画素の画素値
８０２ 予測画像
８０３ 残差信号
９００ 原画像
９０１ 符号化対象ブロックに隣接する画素の画素値
９０２ 第１の予測画像
９０３ 内部推定値
９０４ 残差信号
１０００ 予測画像生成部
１００１ 隣接画素値入力端子
１００２ 推定画素値入力端子
１００３ 第１予測画像生成部
１００４ 第２予測画像生成部
１００５ 予測画像出力端子
１１００ 第２予測画像生成部
１１０１ 第１予測画像入力端子
１１０２ 推定画素値入力端子
１１０３ 内部推定値生成部
１１０４ 予測画像修正部
１１０５ クリップ部
１１０６ 第２予測画像出力端子
１２００ 入力端子
１２０１ 分離部
１２０２ 推定画素値復号部
１２０３ 係数復号部
１２０４ 逆量子化部
１２０５ 逆直交変換部
１２０６ 加算器
１２０７ フレームバッファ
１２０８ 予測画像生成部
１２０９ 出力端子
１３００ 入力端子
１３０１ 分離部
１３０２ 選択情報復号部
１３０３ 推定画素値復号部
１３０４ 係数復号部
１３０５ 逆量子化部
１３０６ 逆直交変換部
１３０７ 加算器
１３０８ フレームバッファ
１３０９ 第１予測画像生成部
１３１０ 第２予測画像生成部
１３１１ 予測画像選択部
１３１２ 出力端子
【技術分野】
【０００１】
本発明は、画像信号にブロック分割を施して符号化を行う画像信号符号化装置および画像信号符号化方法、更に、その符号化された符号化ストリームを復号する画像信号復号装置および画像信号復号方法に関するものである。
【背景技術】
【０００２】
従来の符号化方法としてＭＰＥＧ−２符号化方式に代表されるように、画像信号にブロック分割を施して符号化処理を各ブロック単位で行うものがある。前記ブロックは１画像フレーム内の所定数の画素からなる画像領域であり、ブロックの形状としては処理が容易な矩形形状がよく使用される。このようにブロック分割を施して符号化処理を行う符号化方法では、符号化処理がブロック毎に完結するため、ブロック間の画素相関を利用するのが困難であった。
【０００３】
この問題を解決するために特許第３７３５２４４号によれば、ブロックに隣接する画素のうち符号化済の画素の画素値を用いて予測画像を生成してこの予測画像の画素値とブロックの画素値との差分を符号化することにより、ブロック内とブロックに隣接する画素との相関を利用して符号化効率の向上が可能である。
【０００４】
図２は動画像符号化方式 ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４（ＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４ ｜ ＩＳＯ／ＩＥＣ １４４９６−１０ ＡＶＣ）における４×４画素単位の画面内符号化の予測モードを示す図である。符号化対象ブロックの左方向と上方向の隣接画素を参照画素とし、図２(a)〜図２（i）に示すように、８方向＋平均値モードの計９種の予測モードを有する。
【０００５】
ここで、画面内予測符号化の動作を簡単に説明する。図３は従来の画面内予測符号化装置の構成の一例を示すブロック図である。
【０００６】
図３において、本構成では、符号化対象フレームを所定のブロック単位に分割し（３０１）、符号化対象ブロックを作成する。符号化対象ブロックを符号化するのに最適と思われる予測モードを決定し（３０９）、決定した予測モードを元に予測画像を生成する（３１０）。符号化対象ブロックの原画像から予測画像を減算する（３０２）ことにより作成した残差信号に対し、直交変換（３０３）および量子化（３０４）を行い、量子化係数を生成する。また、量子化係数を逆量子化（３０５）および逆直交変換（３０６）を行って予測画像を加算する（３０７）ことにより対象ブロックの局部復号画像を生成し、フレームバッファ（３０８）に蓄える。そして、量子化係数と、予測モード情報に対し、エントロピー符号化を施して（３１１，３１２）、多重化して（３１３）伝送する。以上の手順を符号化対象フレームのすべてのブロックについて繰り返すことにより、対象フレームの符号化を行う。
【０００７】
具体的な最適予測モードの決定手段としては、残差信号の情報量を元に決定する方法や、量子化変換係数の情報量を元に決定する方法、符号化量子化変換係数の情報量を元に決定する方法等が存在する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３７３５２４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述したようにＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４では、符号化対象ブロックに隣接する符号化済の画素との相関を利用して、予め用意した複数の予測モードのうち最適な予測モードを選択して予測画像を生成し、符号化対象ブロックとの差分である残差を符号化することにより画面内符号化効率を向上している。
【００１０】
しかしながら、符号化対象ブロック内で、符号化対象ブロックに隣接する画素からの画素間距離が遠い画素は、符号化対象ブロックに隣接する画素との相関が比較的低く、良好な予測画像が生成できない場合があり、比較的値の大きな残差が残り符号化効率が向上しない。
【００１１】
図４は、符号化対象ブロック内の画素と符号化対象ブロックに隣接する画素との画素間距離および相関を表す図である。図４（a）のP0からP6の画素は、符号化対象ブロックに隣接する画素との画素間距離が近いため一般的に相関が高いが、図４（b）のＰ７の画素は符号化対象ブロックに隣接する画素との画素間距離が遠いため一般的に相関が低い。
【００１２】
図５は、符号化対象ブロックに隣接する画素から良好な予測画像が得られない場合の例を示す図である。対象フレーム（５００）内に画像領域１（５０２）と異なる画像領域２（５０３）が存在し、符号化対象ブロック（５０１）内に２つの異なる画像領域が存在する場合、画像領域１（５０２）の部分は符号化対象ブロックに隣接する画素との相関が高いが、画像領域２（５０３）の部分は符号化対象ブロックに隣接する画素との相関が低く、良好な予測画像を生成できない。この場合、画像領域１（５０２）の部分の残差は比較的小さな値となるが、画像領域２（５０３）の部分の残差は比較的大きな値となり、直行変換／量子化を行って得られる量子化係数に比較的大きな値が発生し、エントロピー符号化後の符号量が増大してしまう。
【００１３】
そこで本発明は、符号化対象ブロック内で符号化対象ブロックに隣接する画素との画素間距離が遠い画素と符号化対象ブロックに隣接する画素との相関が低い場合に、画面内予測効率を向上させることを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するため、画像信号にブロック分割を施して符号化を行う画像信号符号化装置であって、符号化対象ブロック内の所定位置の画素の推定画素値を生成する推定画素値生成部（１０９）と、前記推定画素値を符号化する推定画素値符号化部（１１１）と、前記推定画素値と符号化対象ブロックに隣接する既符号化ブロックの局部復号画像から前記符号化対象ブロックの予測画像を生成する予測画像生成部（１１０）とを備え、前記予測画像を用いて符号化を行う画像信号符号化装置を提供するものである。
【００１５】
また、画像信号にブロック分割を施して符号化を行う画像信号符号化装置であって、符号化対象ブロックに隣接する既符号化ブロックの局部復号画像から第１の予測画像を生成する第１予測画像生成部（６０９）と、符号化対象ブロック内の所定位置の画素の推定画素値を生成する推定画素値生成部（６１０）と、前記推定画素値を符号化する推定画素値符号化部（６１３）と、前記第１の予測画像と前記推定画素値とを用いて第２の予測画像を生成する第２予測画像生成部（６１１）と、前記第１の予測画像と前記第２の予測画像とを選択して予測画像を生成する予測画像選択部（６１２）とを備え、前記予測画像選択部で選択された予測画像を用いて符号化を行う画像信号符号化装置を提供するものである。
【００１６】
また、画像信号にブロック分割を施して符号化された符号化ストリームを復号する画像信号復号装置であって、復号対象ブロック内の所定位置の画素の推定画素値を復号する推定画素値復号部（１２０２）と、前記推定画素値と復号対象ブロックに隣接する既復号ブロックの復号画像から前記復号対象ブロックの予測画像を生成する予測画像生成部（１２０８）とを備え、前記予測画像を用いて復号を行う画像信号復号装置を提供するものである。
【００１７】
更に、画像信号にブロック分割を施して符号化された符号化ストリームを復号する画像信号復号装置であって、復号対象ブロックに隣接する既復号ブロックの復号画像から第１の予測画像を生成する第１予測画像生成部（１３０９）と、復号対象ブロック内の所定位置の画素の推定画素値を復号する推定画素値復号部（１３０３）と、前記第１の予測画像と前記推定画素値とを用いて第２の予測画像を生成する第２予測画像生成部（１３１０）と、前記第１の予測画像と前記第２の予測画像とを選択して予測画像を生成する予測画像選択部（１３１１）とを備え、前記予測画像選択部で選択された予測画像を用いて復号を行う画像信号復号装置を提供するものである。
【発明の効果】
【００１８】
本発明の画像信号符号化装置によれば、符号化対象ブロックに隣接する画素から予測画像を生成して符号化を行う符号化方法において、符号化対象ブロック内で符号化対象ブロックに隣接する画素からの画素間距離が遠い画素と符号化対象ブロックに隣接する画素との相関が低い場合に、符号化対象ブロックに隣接する画素からの画素間距離が遠い画素の推定画素値を独立して符号化してブロック内部の推定値を生成して予測画像を修正することにより、良好な予測画像を生成することができ、残差信号を直交変換および量子化を行った後にＤＣ（直流）およびＤＣ周辺に存在する複数の係数値を小さくできるため、符号化対象ブロックに隣接する画素からの画素間距離が遠い画素の推定画素値を独立して符号化するための符号量の増加に比べて残差信号の係数値の符号量を大きく減少させることができ、画面内符号化効率を向上させるという効果を得ることができる。また、上述の符号化方法で符号化された符号化ストリームを正しく復号できる。
【図面の簡単な説明】
【００１９】
【図１】本発明の画像信号符号化装置の第１の実施例の構成を示すブロック図である。
【図２】画面内符号化の予測モードを示す図である。
【図３】従来の画面内予測符号化装置の構成の一例を示すブロック図である。
【図４】符号化対象ブロックに隣接する画素との画素間距離および相関を示す図である。
【図５】従来の方法で予測効率が向上しない画像の例を示す図である。
【図６】本発明の画像信号符号化装置の第２，第３の実施例の構成を示すブロック図である。
【図７】符号化対象ブロック内の所定位置の画素を示す図である。
【図８】従来の予測方法による残差信号を説明するための図である。
【図９】本発明の予測方法による残差信号を説明するための図である。
【図１０】本発明の画像信号符号化装置の第１の実施例における予測画像生成部の構成例を示すための図である。
【図１１】本発明の画像信号符号化装置の第１の実施例における第２予測画像生成部の構成例を示すための図である。
【図１２】本発明の画像信号復号装置の第1の実施例の構成を示すための図である。
【図１３】本発明の画像信号復号装置の第２，第３の実施例の構成を示すための図である。
【発明を実施するための形態】
【００２０】
以下に、発明を実施するための最良の形態について図を用いて説明する。
【実施例１】
【００２１】
＜画像信号符号化装置の第１の実施例＞
図１は、本発明の第１の実施例である画像信号符号化装置の構成を示すブロック図である。
【００２２】
図1において、入力端子（１００）より符号化対象フレームが入力される。ブロック分割部（１０１）は符号化対象フレームを所定のブロック単位に分割し符号化対象ブロックを生成する。ただし、分割する領域の大きさは、４×４画素や８×８画素、１６×１６画素あるいは他のサイズであっても構わないし、さらに矩形形状でなくとも構わない。
【００２３】
減算器（１０２）は符号化対象ブロックの原画像から予測画像を減算し残差信号を生成する。直交変換部（１０３）は残差信号に直交変換を施し変換係数を生成する。ここで行う直交変換は、離散コサイン変換（ＤＣＴ）やアダマール変換、離散サイン変換やその他の変換であっても構わない。
【００２４】
量子化部（１０４）は変換係数に量子化を施し量子化係数を生成する。逆量子化部（１０５）は量子化係数に逆量子化を施し復元変換係数を生成する。逆直交変換部（１０６）は復元変換係数に逆直交変換を施し復元残差信号を生成する。加算器（１０７）は復元残差信号と予測画像を足し合わせて復元信号を生成する。フレームバッファ（１０８）は復元信号を符号化対象ブロックの対象位置に格納する。
【００２５】
推定画素値生成部（１０９）は符号化対象ブロック内の所定位置の画素に対して符号化対象ブロックの符号化に最適と思われる推定画素値を生成する。符号化対象ブロック内の所定位置として通常はブロックの隣接画素からの画素間距離が最も遠い位置とする。つまり、図７に示すように、画像フレーム（７００）内でのブロックの符号化順が左方向から右方向および上方向から下方向である場合、符号化対象ブロック（７０１）の隣接画素（７０２）は符号化対象ブロックの上および左に存在するので、隣接画素（７０２）からの画素間距離が最も遠い右下の画素（７０３）を所定位置とする。ただし、所定位置として符号化対象ブロックの右下と限定するものでなく、他の位置であっても構わない。符号化対象ブロックの符号化に最適と思われる推定画素値の選択方法として、符号化可能な推定画素値のうち、減算器（１０２）が符号化対象ブロックの原画像から予測画像を減算して生成する残差信号が最も少なくなるものを選択するものとする。ただし、最適と思われる推定画素値の選択方法としてはこれに限定するものではなく、量子化部（１０４）が生成する量子化係数を係数符号化部（１１２）で符号化した後の符号量が最も少なくなるものを選択しても良いし、その他の方法でも構わない。
【００２６】
予測画像生成部（１１０）はフレームバッファ（１０８）に格納されている符号化対象ブロックに隣接する参照画像と推定画素値生成部（１０９）が生成した推定画素値とから予測画像を生成する。予測画像生成部（１１０）が生成した予測画像が減算器（１０２）および加算器（１０７）に供給される。
【００２７】
推定画素値符号化部（１１１）は推定画素値生成部（１０９）が生成した推定画素値を符号化する。係数符号化部（１１２）は量子化部（１０４）が生成する量子化係数を符号化する。多重化部（１１３）は推定画素値符号化部（１１１）が符号化した推定画素値符号化情報と係数符号化部（１１２）が符号化した係数符号化情報を多重化する。出力端子（１１４）は多重化部（１１３）によって多重化された符号化情報（符号化ストリーム）を生成して出力する。出力端子（１１４）より出力された符号化情報（符号化ストリーム）は記録媒体に記録することが可能であり、また伝送路を通じて伝送することも可能である。
【００２８】
図１示す画像信号符号化装置における予測画像生成部（１１０）の動作について、図を用いて説明する。図１０は予測画像生成部（１１０，１０００）の構成例を示す図である。
【００２９】
図１０において、予測画像生成部（１０００）における隣接画素値入力端子（１００１）より符号化対象ブロックに隣接する参照画像の画素値が入力される。推定画素値入力端子（１００２）より推定画素値が入力される。第１予測画像生成部（１００３）は隣接画素値入力端子（１００１）より入力された参照画像の画素値から第1の予測画像を生成する。第２予測画像生成部（１００４）は推定画素値入力端子（１００２）より入力された推定画素値と第１予測画像生成部（１００３）が生成した第１の予測画像とから第2の予測画像を生成する。予測画像出力端子（１００５）は第２予測画像生成部（１００４）が生成した第２の予測画像を出力する。
【００３０】
以下、符号化対象ブロックが４画素×４画素の矩形ブロックであると仮定して、第１予測画像生成部（１００３）と第２予測画像生成部（１００４）の動作について説明する。
【００３１】
第１予測画像生成部（１００３）の第１の予測画像の生成方法としては従来知られている方法で、例えば動画像符号化方式ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４の４ｘ４予測のモード３を例にとると、ブロック内の画素の水平位置と垂直位置をそれぞれｘ、ｙとし、参照画像をｐ［ｘ，ｙ］とすると第1の予測画像ｐｒｅｄ［ｘ，ｙ］（ｘ，ｙ＝０，１，２，３）は以下の式で表される。
【００３２】
ｘ＝３かつｙ＝３の場合
ｐｒｅｄ［ｘ，ｙ］＝（ｐ［６，−１］＋３×ｐ［７，−１］＋２）＞＞２
それ以外の場合
ｐｒｅｄ［ｘ，ｙ］＝（ｐ［ｘ＋ｙ，−１］＋２×ｐ［ｘ＋ｙ＋１，−１］＋ｐ［ｘ＋ｙ＋２，−１］＋２）＞＞２
図１０に示す予測画像生成部（１０００）における第2予測画像生成部（１００４）の動作について、図を用いて説明する。図１１は第２予測画像生成部（１００４，１１００）の構成例を示す図である。
【００３３】
図１１において、第２予測画像生成部（１００４，１１００）における第１予測画像入力端子（１１０１）より第１の予測画像が入力される。推定画素値入力端子（１１０２）より推定画素値が入力される。内部推定値生成部（１１０３）は推定画素値入力端子（１１０２）より入力された推定画素値と第１予測画像入力端子（１１０１）より入力された第1の予測画像の所定位置の画素の画素値とから内部推定値を生成する。予測画像修正部（１１０４）は第１予測画像入力端子（１１０１）より入力された第１の予測画像と内部推定値生成部（１１０３）が生成した内部推定値の各画素値に所定の演算を施して修正予測画像を生成する。クリップ部（１１０５）は予測画像修正部（１１０４）が生成した修正予測画像にクリッピング処理を施し第２の予測画像を生成する。第2予測画像出力端子（１１０６）はクリップ部（１１０５）が生成した第２の予測画像を出力する。
【００３４】
ここで、内部推定値生成部（１１０３）での内部推定値の生成方法について説明する。ブロック内の所定位置が右下の画素、つまりｘ＝３、ｙ＝３の位置であると仮定すると、推定画素値と第１の予測画像の右下の画素値との差で右下の内部推定値を求める。つまり、右下の内部推定値ｃｏｒｒ［３，３］は推定画素値をＥｐｒｅｄとすると
ｃｏｒｒ［３，３］＝Ｅｐｒｅｄ−ｐｒｅｄ［３，３］
の式で求めるものとする。この値を元にして符号化対象ブロックの内部に傾斜配分して内部推定値を求める。内部推定値ｃｏｒｒ［ｘ，ｙ］を以下の式で求めるものとする。
【００３５】
ｃｏｒｒ［ｘ，ｙ］＝（（Ｅｐｒｅｄ−ｐｒｅｄ［３，３］）×ＭＩＮ（ｘ，ｙ）＋１）／３
ここで、ＭＩＮ（ｘ，ｙ）はｘとｙのうち小さい方の値である。ここで示した内部推定値生成部（１１０３）が生成する内部推定値を求める式は一例であり、他の計算式で求めてもよい。
【００３６】
次に、予測画像修正部（１１０４）の演算処理について説明する。予測画像修正部（１１０４）によって求められる修正予測画像ｐｒｅｄ´［ｘ，ｙ］は以下の式で表される演算によって求められる。
【００３７】
ｐｒｅｄ´［ｘ，ｙ］＝（Ａ×ｐｒｅｄ［ｘ，ｙ］＋Ｂ×ｃｏｒｒ［ｘ，ｙ］＋Ｃ）／Ｄ
ここでパラメータＡ、Ｂ、Ｃ、Ｄは予め定められた値とし、Ａ＝１、Ｂ＝１、Ｃ＝０、Ｄ＝１とすると、予測画像修正部（１１０４）の演算処理は第１予測画像入力端子（１１０１）より入力された第１の予測画像と内部推定値生成部（１１０３）が生成した内部推定値とに単純な加算処理を施すことになる。
【００３８】
クリップ部（１１０５）はこの値にクリッピング処理を施す。クリッピング処理とは、クリッピング前の値が画素値の取り得る値の範囲を越えていた場合に範囲内に抑える処理で、画素値の取り得る最小値が０だとすると、画素値が０より小さい場合に値を０にし、最大値が２５５だとすると画素値が２５５より大きい場合に値を２５５とする処理である。
【００３９】
以上、符号化対象ブロックが４画素×４画素の矩形ブロックである仮定で説明したが、同様の処理は４画素×４画素の矩形ブロックに限定するものではなく、他のサイズの矩形ブロックや矩形以外の形状にも応用することができる。
【００４０】
次に、内部推定値生成部（１１０３）が生成する内部推定値で予測画像を修正することによる効果について、以下に説明する。
【００４１】
図８は従来の予測方法による符号化対象ブロック内で符号化対象ブロックに隣接する画素からの画素間距離が近い位置から遠い位置の方向に連続する画素の原画像の画素値（ａ）、予測画像の画素値（ｂ）、および残差信号の画素値（ｃ）を示している。原画像（８００）から、従来の予測方法によって符号化対象ブロックに隣接する画素の画素値（８０１）から生成される予測画像（８０２）を減算した残差信号（８０３）は、符号化対象ブロックに隣接する画素から画素間距離が遠い画素の値が比較的大きくなる。
【００４２】
これに対し、図９は本発明の予測方法による符号化対象ブロック内で符号化対象ブロックに隣接する画素からの画素間距離が近い位置から遠い位置の方向に連続する画素の原画像の画素値（ａ）、予測画像の画素値（ｂ）、および残差信号の画素値（ｃ）を示している。従来の予測方法によって符号化対象ブロックに隣接する画素の画素値（９０１）から生成される第１の予測画像（９０２）に内部推定値（９０３）を加算して得られる値を第２の予測画像として原画像（９００）から減算した残差信号（９０４）は、符号化対象ブロック内の画素全体が比較的小さな値となる。つまり良好な予測画像が生成されたことにより残差信号の発生が抑制され、符号化効率の改善が見込まれることが分かる。
【００４３】
以上のように、符号化対象ブロックに隣接する画素から生成した予測画像を修正して良好な予測画像を生成することができ、符号化対象ブロック内で符号化対象ブロックに隣接する画素からの画素間距離が遠い画素と符号化対象ブロックに隣接する画素との相関が低い場合、符号化効率を改善することができる。
【００４４】
＜画像信号復号装置の第１の実施例＞
図１２は、本発明の第１の実施例である画像信号復号装置の構成を示すブロック図である。この本発明の第１の実施例である画像信号復号装置は、図１に示す本発明の第１の実施例である画像信号符号化装置が生成する符号化ストリームを復号対象とするものである。
【００４５】
図1２において、入力端子（１２００）より復号対象となる上述の符号化ストリームが入力される。分離部（１２０１）は符号化ストリームから推定画素値符号化情報と係数符号化情報を分離する。推定画素値復号部（１２０２）は推定画素値復号情報から推定画素値を復号する。係数復号部（１２０３）は係数符号化情報から量子化係数値を復号する。逆量子化部（１２０４）は量子化係数に逆量子化を施し復元変換係数を生成する。逆直交変換部（１２０５）は復元変換係数に逆直交変換を施し復元残差信号を生成する。加算器（１２０６）は復元残差信号と予測画像を足し合わせて復元信号を生成する。フレームバッファ（１２０７）は復元信号を復号対象ブロックの対象位置に格納する。予測画像生成部（１２０８）はフレームバッファ（１２０７）に格納されている復号対象ブロックに隣接する参照画像と推定画素値復号部（１２０２）が生成した推定画素値とから予測画像を生成する。予測画像生成部（１２０８）の動作は符号化で説明した動作と同様である。予測画像生成部（１２０８）が生成した予測画像が加算器（１２０６）に供給される。出力端子（１２０９）はフレームバッファ（１２０７）に格納されている復号画像を出力する。
【実施例２】
【００４６】
＜画像信号符号化装置の第２の実施例＞
図６は、本発明の第２の実施例である画像信号符号化装置の構成を示すブロック図である。
【００４７】
図６において、入力端子（６００）、ブロック分割部（６０１）、減算器（６０２）、直交変換部（６０３）、量子化部（６０４）、逆量子化部（６０５）、逆直交変換部（６０６）、加算器（６０７）、フレームバッファ（６０８）、第1予測画像生成部（６０９）、推定画素値生成部（６１０）、第2予測画像生成部（６１１）、係数符号化部（６１５）、の動作は第1の実施例で説明した動作と同様であり、説明を省略する。
【００４８】
予測画像選択部（６１２）は、第１予測画像生成部（６０９）の生成する第１の予測画像と第２予測画像生成部（６１１）の生成する第２の予測画像のうち符号化対象ブロックの符号化に最適と思われる予測画像を選択する。予測画像選択部（６１２）によって選択された予測画像が減算器（６０２）および加算器（６０７）に供給される。推定画素値符号化部（６１３）は予測画像選択部（６１２）が第２の予測画像を選択した場合に推定画素値生成部（６１０）が生成した推定画素値を符号化する。選択情報符号化部（６１４）は予測画像選択部（６１２）が第１の予測画像と第２の予測画像のうちどちらを選択したかを示す選択情報を符号化する。多重化部（６１６）は推定画素値符号化部（６１３）が符号化した推定画素値符号化情報と選択情報符号化部（６１４）が符号化した選択符号化情報と係数符号化部（６１５）が符号化した係数符号化情報を多重化する。出力端子（６１７）は多重化部（６１６）によって多重化された符号化情報（符号化ストリーム）を生成して出力する。出力端子（６１７）より出力された符号化情報（符号化ストリーム）は記録媒体に記録することが可能であり、また伝送路を通じて伝送することも可能である。
【００４９】
予測画像選択部（６１２）が符号化対象ブロックの符号化に最適と思われる予測画像を選択する方法として、減算器（６０２）が符号化対象ブロックの原画像から第２の予測画像を減算して生成する残差信号の情報量に推定画素値符号化情報と選択情報の符号量を加味した値の小さい方を選択するものとする。ただし、最適と思われる予測画像の選択方法としてはこれに限定するものではなく、量子化部（６０４）が生成する量子化係数を係数符号化部（６１５）で符号化した後の符号量に推定画素値符号化情報と選択情報の符号量を加算した値が小さい方を選択しても良いし、その他の方法でも構わない。
【００５０】
以上のように、第１の予測画像と第２の予測画像を選択して符号化を行うことができ、符号化対象ブロック内で符号化対象ブロックに隣接する画素からの画素間距離が遠い画素と符号化対象ブロックに隣接する画素との相関が高い場合に第１の予測画像を選択することにより、付加情報量の発生を抑制して符号化効率の低下を抑えるとともに、符号化対象ブロック内で符号化対象ブロックに隣接する画素からの画素間距離が遠い画素と符号化対象ブロックに隣接する画素との相関が低い場合に第２の予測画像を選択することにより符号化対象ブロックに隣接する画素から生成した予測画像を修正して良好な予測画像を生成して符号化効率を改善することができる。
【００５１】
＜画像信号復号装置の第２の実施例＞
図１３は、本発明の第２の実施例である画像信号復号装置の構成を示すブロック図である。
【００５２】
この本発明の第２の実施例である画像信号復号装置は、図６に示す本発明の第２の実施例である画像信号符号化装置が生成する符号化ストリームを復号対象とするものである。
【００５３】
図１３において、入力端子（１３００）より復号対象となる上述の符号化ストリームが入力される。分離部（１３０１）は符号化ストリームから選択符号化情報と推定画素値符号化情報と係数符号化情報を分離する。選択情報復号部（１３０２）は選択符号化情報から選択情報を復号する。推定画素値復号部（１３０３）は推定画素値復号情報から推定画素値を復号する。なお、選択情報が第１の予測画像を選択することを示す場合、符号化ストリームには復号対象ブロックの推定画素値符号化情報は符号化されてないので、分離部（１３０１）による推定画素値符号化情報の分離および推定画素値復号部（１３０３）による推定画素値の復号は行われない。係数復号部（１３０４）は係数符号化情報から量子化係数値を復号する。逆量子化部（１３０５）は量子化係数に逆量子化を施し復元変換係数を生成する。逆直交変換部（１３０６）は復元変換係数に逆直交変換を施し復元残差信号を生成する。加算器（１３０７）は復元残差信号と予測画像を足し合わせて復元信号を生成する。フレームバッファ（１３０８）は復元信号を復号対象ブロックの対象位置に格納する。第１予測画像生成部（１３０９）はフレームバッファ（１３０８）に格納されている復号対象ブロックに隣接する参照画像から第１の予測画像を生成する。第２予測画像生成部（１３１０）は第１予測画像生成部（１３０９）が生成した第１の予測画像と推定画素値復号部（１３０３）が復号した推定画素値とから第２の予測画像を生成する。第１予測画像生成部（１３０９）および第２予測画像生成部（１３１０）の動作は符号化の動作と同様である。予測画像選択部（１３１１）は選択情報復号部（１３０２）が復号した選択情報に基づいて第１の予測画像と第２の予測画像とを選択し選択した予測画像を加算器（１３０７）に供給する。出力端子（１３１２）はフレームバッファ（１３０８）に格納されている復号画像を出力する。
【実施例３】
【００５４】
＜画像信号符号化装置の第３の実施例＞
本発明の第３の実施例である画像信号符号化装置は、図６に示す本発明の第２の実施例である画像信号符号化装置と同じ構成で実現できる。
【００５５】
本発明の第２の実施例で示した画像信号符号化装置との相違点は、予測画像選択部（６１２）および選択情報符号化部（６１４）の動作の違いである。
【００５６】
以下、本発明の第２の実施例である画像信号符号化装置と異なる動作について説明する。
【００５７】
図６において、予測画像選択部（６１２）は、予め定められた複数のブロックより構成される符号化単位毎に定めた選択方法指示情報に基づいて第１予測画像生成部（６０９）の生成する第１の予測画像と第２予測画像生成部（６１１）の生成する第２の予測画像のうちいずれかを選択する。予め定められた複数のブロックより構成される符号化単位は、マクロブロックでも良いし、スライス、ピクチャあるいはその他の符号化単位であっても構わない。予め定められた複数のブロックより構成される符号化単位毎に定めた選択方法指示情報は、第１予測画像生成部（６０９）の生成する第１の予測画像を固定的に選択するか、第２予測画像生成部（６１１）の生成する第２の予測画像を固定的に選択するか、あるいは第１予測画像生成部（６０９）の生成する第１の予測画像と第２予測画像生成部（６１１）の生成する第２の予測画像のうち符号化対象ブロックの符号化に最適と思われる予測画像を選択するか、のいずれかである。
【００５８】
選択情報符号化部（６１４）は、予め定められた複数のブロックより構成される符号化単位毎に定めた選択方法指示情報が第１予測画像生成部（６０９）の生成する第１の予測画像と第２予測画像生成部（６１１）の生成する第２の予測画像のうち符号化対象ブロックの符号化に最適と思われる予測画像を選択するという指示の場合に、予測画像選択部（６１２）が第１の予測画像と第２の予測画像のうちどちらを選択したかを示す選択情報を符号化する。
【００５９】
予め定められた複数のブロックより構成される符号化単位毎に定めた選択方法指示情報は、予め定められた複数のブロックより構成される符号化単位毎に符号化しても構わないし、予め定められた複数のブロックより構成される符号化単位毎の符号化情報から判断しても構わない。予め定められた複数のブロックより構成される符号化単位毎の符号化情報としてはスライス単位の符号化モードやマクロブロックの符号化モードでも良いし、あるいはマクロブロックに隣接する符号化済みマクロブロックの情報を用いても構わない。
【００６０】
以上のように、第１の予測画像と第２の予測画像を選択して符号化を行うことができ、第１の予測画像と第２の予測画像を固定的に選択することができることにより、付加情報量の発生を抑制して符号化効率の低下を抑えるとともに、予め定められた複数のブロックより構成される符号化単位毎に符号化に最適な予測画像を選択可能とすることにより、良好な予測画像を生成して符号化効率を改善することができる。
【００６１】
＜画像信号復号装置の第３の実施例＞
本発明の第３の実施例である画像信号復号装置は、図１３に示す本発明の第２の実施例である画像信号復号装置と同じ構成で実現できる。
【００６２】
この本発明の第３の実施例である画像信号復号装置は、図１３に示す本発明の第２の実施例である画像信号復号装置と同じく、図６に示す本発明の第３の実施例である画像信号符号化装置が生成する符号化ストリームを復号対象とするものである。
【００６３】
本発明の第２の実施例で示した画像信号復号装置との相違点は、分離部（１３０１）と選択情報復号部（１３０２）および予測画像選択部（１３１１）の動作の違いである。
【００６４】
図１３において、予測画像選択部（１３１１）は、予め定められた複数のブロックより構成される符号化単位毎に定めた選択方法指示情報に基づいて第１予測画像生成部（１３０９）の生成する第１の予測画像と第２予測画像生成部（１３１０）の生成する第２の予測画像のうちいずれかを選択する。予め定められた複数のブロックより構成される符号化単位および選択方法指示情報は符号化と同様である。
【００６５】
予め定められた複数のブロックより構成される符号化単位毎に定めた選択方法指示情報が第１予測画像生成部（１３０９）の生成する第１の予測画像と第２予測画像生成部（１３１０）の生成する第２の予測画像から予測画像を選択するという指示の場合にかぎり、分離部（１３０１）による選択符号化情報の分離および選択情報復号部（１３０２）による選択情報の復号が行われる。
【符号の説明】
【００６６】
１００ 入力端子
１０１ ブロック分割部
１０２ 減算器
１０３ 直交変換部
１０４ 量子化部
１０５ 逆量子化部
１０６ 逆直交変換部
１０７ 加算器
１０８ フレームバッファ
１０９ 推定画素値生成部
１１０ 予測画像生成部
１１１ 推定画素値符号化部
１１２ 係数符号化部
１１３ 多重化部
１１４ 出力端子
３００ 入力端子
３０１ ブロック分割部
３０２ 減算器
３０３ 直交変換部
３０４ 量子化部
３０５ 逆量子化部
３０６ 逆直交変換部
３０７ 加算器
３０８ フレームバッファ
３０９ モード判定部
３１０ 予測画像生成部
３１１ 係数符号化部
３１２ モード符号化部
３１３ 多重化部
３１４ 出力端子
５００ 対象フレーム
５０１ 符号化対象ブロック
５０２ 画像領域１
５０３ 画像領域２
６００ 入力端子
６０１ ブロック分割部
６０２ 減算器
６０３ 直交変換部
６０４ 量子化部
６０５ 逆量子化部
６０６ 逆直交変換部
６０７ 加算器
６０８ フレームバッファ
６０９ 第１予測画像生成部
６１０ 推定画素値生成部
６１１ 第２予測画像生成部
６１２ 予測画像選択部
６１３ 推定画素値符号化部
６１４ 選択情報符号化部
６１５ 係数符号化部
６１６ 多重化部
６１７ 出力端子
７００ 画像フレーム
７０１ 符号化対象ブロック
７０２ 隣接画素
７０３ 所定位置の画素
８００ 原画像
８０１ 隣接する画素の画素値
８０２ 予測画像
８０３ 残差信号
９００ 原画像
９０１ 符号化対象ブロックに隣接する画素の画素値
９０２ 第１の予測画像
９０３ 内部推定値
９０４ 残差信号
１０００ 予測画像生成部
１００１ 隣接画素値入力端子
１００２ 推定画素値入力端子
１００３ 第１予測画像生成部
１００４ 第２予測画像生成部
１００５ 予測画像出力端子
１１００ 第２予測画像生成部
１１０１ 第１予測画像入力端子
１１０２ 推定画素値入力端子
１１０３ 内部推定値生成部
１１０４ 予測画像修正部
１１０５ クリップ部
１１０６ 第２予測画像出力端子
１２００ 入力端子
１２０１ 分離部
１２０２ 推定画素値復号部
１２０３ 係数復号部
１２０４ 逆量子化部
１２０５ 逆直交変換部
１２０６ 加算器
１２０７ フレームバッファ
１２０８ 予測画像生成部
１２０９ 出力端子
１３００ 入力端子
１３０１ 分離部
１３０２ 選択情報復号部
１３０３ 推定画素値復号部
１３０４ 係数復号部
１３０５ 逆量子化部
１３０６ 逆直交変換部
１３０７ 加算器
１３０８ フレームバッファ
１３０９ 第１予測画像生成部
１３１０ 第２予測画像生成部
１３１１ 予測画像選択部
１３１２ 出力端子
【特許請求の範囲】
【請求項１】
画像信号にブロック分割を施して符号化を行う画像信号符号化装置であって、
符号化対象ブロック内の所定位置の画素の推定画素値を生成する推定画素値生成部と、
前記推定画素値を符号化する推定画素値符号化部と、
前記推定画素値と符号化対象ブロックに隣接する既符号化ブロックの局部復号画像から前記符号化対象ブロックの予測画像を生成する予測画像生成部と
を備え、前記予測画像を用いて符号化を行う画像信号符号化装置。
【請求項２】
画像信号にブロック分割を施して符号化を行う画像信号符号化装置であって、
符号化対象ブロックに隣接する既符号化ブロックの局部復号画像から第１の予測画像を生成する第１予測画像生成部と、
符号化対象ブロック内の所定位置の画素の推定画素値を生成する推定画素値生成部と、
前記推定画素値を符号化する推定画素値符号化部と、
前記第１の予測画像と前記推定画素値とを用いて第２の予測画像を生成する第２予測画像生成部と、
前記第１の予測画像と前記第２の予測画像とを選択して予測画像を生成する予測画像選択部と
を備え、前記予測画像選択部で選択された予測画像を用いて符号化を行う画像信号符号化装置。
【請求項３】
請求項１または請求項２に記載の画像信号符号化装置であって、前記符号化対象ブロック内の所定位置の画素が、符号化対象ブロックに隣接する既符号化ブロックから距離が最も遠い位置の画素であることを特徴とする画像信号符号化装置。
【請求項４】
請求項２に記載の画像信号符号化装置であって、前記第２予測画像生成部は、前記推定画素値と第１の予測画像の所定位置の画素値との差を用いて内挿もしくは外挿することにより前記符号化対象ブロック内の各画素における推定値を生成し、前記第１の予測画像と前記推定値とを所定の比率で加算することにより、前記第２の予測画像を生成することを特徴とする画像信号符号化装置。
【請求項５】
請求項２に記載の画像信号符号化装置であって、前記予測画像選択部が前記第１の予測画像と前記第２の予測画像のどちらを選択したかを示す情報を符号化する選択情報符号化手段を備えたことを特徴とする画像信号符号化装置。
【請求項６】
請求項５に記載の画像信号符号化装置であって、前記予測画像選択部が前記第１の予測画像と前記第２の予測画像のどちらを選択したかを示す情報を符号化するかしないかを所定符号化単位毎に選択し、符号化しない場合に、あらかじめ決められた方の予測画像を選択することを特徴とする画像信号符号化装置。
【請求項７】
画像信号にブロック分割を施して符号化を行う画像信号符号化方法であって、
符号化対象ブロック内の所定位置の画素の推定画素値を生成する推定画素値生成ステップと、
前記推定画素値を符号化する推定画素値符号化ステップと、
前記推定画素値と符号化対象ブロックに隣接する既符号化ブロックの局部復号画像から前記符号化対象ブロックの予測画像を生成する予測画像生成ステップと
を備え、前記予測画像を用いて符号化を行う画像信号符号化方法。
【請求項８】
画像信号にブロック分割を施して符号化を行う画像信号符号化方法であって、
符号化対象ブロックに隣接する既符号化ブロックの局部復号画像から第１の予測画像を生成する第１予測画像生成ステップと、
符号化対象ブロック内の所定位置の画素の推定画素値を生成する推定画素値生成ステップと、
前記推定画素値を符号化する推定画素値符号化ステップと、
前記第１の予測画像と前記推定画素値とを用いて第２の予測画像を生成する第２予測画像生成ステップと、
前記第１の予測画像と前記第２の予測画像とを選択して予測画像を生成する予測画像選択ステップと
を備え、前記予測画像選択ステップで選択された予測画像を用いて符号化を行う画像信号符号化方法。
【請求項９】
画像信号にブロック分割を施して符号化された符号化ストリームを復号する画像信号復号装置であって、
復号対象ブロック内の所定位置の画素の推定画素値を復号する推定画素値復号部と、
前記推定画素値と復号対象ブロックに隣接する既復号ブロックの復号画像から前記復号対象ブロックの予測画像を生成する予測画像生成部と
を備え、前記予測画像を用いて復号を行う画像信号復号装置。
【請求項１０】
画像信号にブロック分割を施して符号化された符号化ストリームを復号する画像信号復号装置であって、
復号対象ブロックに隣接する既復号ブロックの復号画像から第１の予測画像を生成する第１予測画像生成部と、
復号対象ブロック内の所定位置の画素の推定画素値を復号する推定画素値復号部と、
前記第１の予測画像と前記推定画素値とを用いて第２の予測画像を生成する第２予測画像生成部と、
前記第１の予測画像と前記第２の予測画像とを選択して予測画像を生成する予測画像選択部と
を備え、前記予測画像選択部で選択された予測画像を用いて復号を行う画像信号復号装置。
【請求項１１】
請求項９または請求項１０に記載の画像信号復号装置であって、前記復号対象ブロック内の所定位置の画素が、復号対象ブロックに隣接する既復号ブロックから距離が最も遠い位置の画素であることを特徴とする画像信号復号装置。
【請求項１２】
請求項１０に記載の画像信号復号装置であって、前記第２予測画像生成部は、前記推定画素値と第１の予測画像の所定位置の画素値との差を用いて内挿もしくは外挿することにより前記復号対象ブロック内の各画素における推定値を生成し、前記第１の予測画像と前記推定値とを所定の比率で加算することにより、前記第２の予測画像を生成することを特徴とする画像信号復号装置。
【請求項１３】
請求項１０に記載の画像信号復号装置であって、前記予測画像選択部が前記第１の予測画像と前記第２の予測画像のどちらを選択したかを示す情報を復号する選択情報復号手段を備えたことを特徴とする画像信号復号装置。
【請求項１４】
請求項１３に記載の画像信号復号装置であって、前記予測画像選択部が前記第１の予測画像と前記第２の予測画像のどちらを選択したかを示す情報を復号するかしないかを所定符号化単位毎に選択し、復号しない場合に、あらかじめ決められた方の予測画像を選択することを特徴とする画像信号復号装置。
【請求項１５】
画像信号にブロック分割を施して符号化された符号化ストリームを復号する画像信号復号方法であって、
復号対象ブロック内の所定位置の画素の推定画素値を復号する推定画素値復号ステップと、
前記推定画素値と復号対象ブロックに隣接する既復号ブロックの復号画像から前記復号対象ブロックの予測画像を生成する予測画像生成ステップと
を備え、前記予測画像を用いて復号を行う画像信号復号方法。
【請求項１６】
画像信号にブロック分割を施して符号化された符号化ストリームを復号する画像信号復号方法であって、
復号対象ブロックに隣接する既復号ブロックの復号画像から第１の予測画像を生成する第１予測画像生成ステップと、
復号対象ブロック内の所定位置の画素の推定画素値を復号する推定画素値復号ステップと、
前記第１の予測画像と前記推定画素値とを用いて第２の予測画像を生成する第２予測画像生成ステップと、
前記第１の予測画像と前記第２の予測画像とを選択して予測画像を生成する予測画像選択ステップと
を備え、前記予測画像選択ステップで選択された予測画像を用いて復号を行う画像信号復号方法。
【請求項１】
画像信号にブロック分割を施して符号化を行う画像信号符号化装置であって、
符号化対象ブロック内の所定位置の画素の推定画素値を生成する推定画素値生成部と、
前記推定画素値を符号化する推定画素値符号化部と、
前記推定画素値と符号化対象ブロックに隣接する既符号化ブロックの局部復号画像から前記符号化対象ブロックの予測画像を生成する予測画像生成部と
を備え、前記予測画像を用いて符号化を行う画像信号符号化装置。
【請求項２】
画像信号にブロック分割を施して符号化を行う画像信号符号化装置であって、
符号化対象ブロックに隣接する既符号化ブロックの局部復号画像から第１の予測画像を生成する第１予測画像生成部と、
符号化対象ブロック内の所定位置の画素の推定画素値を生成する推定画素値生成部と、
前記推定画素値を符号化する推定画素値符号化部と、
前記第１の予測画像と前記推定画素値とを用いて第２の予測画像を生成する第２予測画像生成部と、
前記第１の予測画像と前記第２の予測画像とを選択して予測画像を生成する予測画像選択部と
を備え、前記予測画像選択部で選択された予測画像を用いて符号化を行う画像信号符号化装置。
【請求項３】
請求項１または請求項２に記載の画像信号符号化装置であって、前記符号化対象ブロック内の所定位置の画素が、符号化対象ブロックに隣接する既符号化ブロックから距離が最も遠い位置の画素であることを特徴とする画像信号符号化装置。
【請求項４】
請求項２に記載の画像信号符号化装置であって、前記第２予測画像生成部は、前記推定画素値と第１の予測画像の所定位置の画素値との差を用いて内挿もしくは外挿することにより前記符号化対象ブロック内の各画素における推定値を生成し、前記第１の予測画像と前記推定値とを所定の比率で加算することにより、前記第２の予測画像を生成することを特徴とする画像信号符号化装置。
【請求項５】
請求項２に記載の画像信号符号化装置であって、前記予測画像選択部が前記第１の予測画像と前記第２の予測画像のどちらを選択したかを示す情報を符号化する選択情報符号化手段を備えたことを特徴とする画像信号符号化装置。
【請求項６】
請求項５に記載の画像信号符号化装置であって、前記予測画像選択部が前記第１の予測画像と前記第２の予測画像のどちらを選択したかを示す情報を符号化するかしないかを所定符号化単位毎に選択し、符号化しない場合に、あらかじめ決められた方の予測画像を選択することを特徴とする画像信号符号化装置。
【請求項７】
画像信号にブロック分割を施して符号化を行う画像信号符号化方法であって、
符号化対象ブロック内の所定位置の画素の推定画素値を生成する推定画素値生成ステップと、
前記推定画素値を符号化する推定画素値符号化ステップと、
前記推定画素値と符号化対象ブロックに隣接する既符号化ブロックの局部復号画像から前記符号化対象ブロックの予測画像を生成する予測画像生成ステップと
を備え、前記予測画像を用いて符号化を行う画像信号符号化方法。
【請求項８】
画像信号にブロック分割を施して符号化を行う画像信号符号化方法であって、
符号化対象ブロックに隣接する既符号化ブロックの局部復号画像から第１の予測画像を生成する第１予測画像生成ステップと、
符号化対象ブロック内の所定位置の画素の推定画素値を生成する推定画素値生成ステップと、
前記推定画素値を符号化する推定画素値符号化ステップと、
前記第１の予測画像と前記推定画素値とを用いて第２の予測画像を生成する第２予測画像生成ステップと、
前記第１の予測画像と前記第２の予測画像とを選択して予測画像を生成する予測画像選択ステップと
を備え、前記予測画像選択ステップで選択された予測画像を用いて符号化を行う画像信号符号化方法。
【請求項９】
画像信号にブロック分割を施して符号化された符号化ストリームを復号する画像信号復号装置であって、
復号対象ブロック内の所定位置の画素の推定画素値を復号する推定画素値復号部と、
前記推定画素値と復号対象ブロックに隣接する既復号ブロックの復号画像から前記復号対象ブロックの予測画像を生成する予測画像生成部と
を備え、前記予測画像を用いて復号を行う画像信号復号装置。
【請求項１０】
画像信号にブロック分割を施して符号化された符号化ストリームを復号する画像信号復号装置であって、
復号対象ブロックに隣接する既復号ブロックの復号画像から第１の予測画像を生成する第１予測画像生成部と、
復号対象ブロック内の所定位置の画素の推定画素値を復号する推定画素値復号部と、
前記第１の予測画像と前記推定画素値とを用いて第２の予測画像を生成する第２予測画像生成部と、
前記第１の予測画像と前記第２の予測画像とを選択して予測画像を生成する予測画像選択部と
を備え、前記予測画像選択部で選択された予測画像を用いて復号を行う画像信号復号装置。
【請求項１１】
請求項９または請求項１０に記載の画像信号復号装置であって、前記復号対象ブロック内の所定位置の画素が、復号対象ブロックに隣接する既復号ブロックから距離が最も遠い位置の画素であることを特徴とする画像信号復号装置。
【請求項１２】
請求項１０に記載の画像信号復号装置であって、前記第２予測画像生成部は、前記推定画素値と第１の予測画像の所定位置の画素値との差を用いて内挿もしくは外挿することにより前記復号対象ブロック内の各画素における推定値を生成し、前記第１の予測画像と前記推定値とを所定の比率で加算することにより、前記第２の予測画像を生成することを特徴とする画像信号復号装置。
【請求項１３】
請求項１０に記載の画像信号復号装置であって、前記予測画像選択部が前記第１の予測画像と前記第２の予測画像のどちらを選択したかを示す情報を復号する選択情報復号手段を備えたことを特徴とする画像信号復号装置。
【請求項１４】
請求項１３に記載の画像信号復号装置であって、前記予測画像選択部が前記第１の予測画像と前記第２の予測画像のどちらを選択したかを示す情報を復号するかしないかを所定符号化単位毎に選択し、復号しない場合に、あらかじめ決められた方の予測画像を選択することを特徴とする画像信号復号装置。
【請求項１５】
画像信号にブロック分割を施して符号化された符号化ストリームを復号する画像信号復号方法であって、
復号対象ブロック内の所定位置の画素の推定画素値を復号する推定画素値復号ステップと、
前記推定画素値と復号対象ブロックに隣接する既復号ブロックの復号画像から前記復号対象ブロックの予測画像を生成する予測画像生成ステップと
を備え、前記予測画像を用いて復号を行う画像信号復号方法。
【請求項１６】
画像信号にブロック分割を施して符号化された符号化ストリームを復号する画像信号復号方法であって、
復号対象ブロックに隣接する既復号ブロックの復号画像から第１の予測画像を生成する第１予測画像生成ステップと、
復号対象ブロック内の所定位置の画素の推定画素値を復号する推定画素値復号ステップと、
前記第１の予測画像と前記推定画素値とを用いて第２の予測画像を生成する第２予測画像生成ステップと、
前記第１の予測画像と前記第２の予測画像とを選択して予測画像を生成する予測画像選択ステップと
を備え、前記予測画像選択ステップで選択された予測画像を用いて復号を行う画像信号復号方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−１６６２１８（Ｐ２０１１−１６６２１８Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２３２４３（Ｐ２０１０−２３２４３）
【出願日】平成２２年２月４日（２０１０．２．４）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月４日（２０１０．２．４）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]