動画像符号化装置及びそのプログラム
【課題】フィルタリング処理を最適化する際の処理負荷を低減することで、伝送遅延の増加をなくすと共に、回路及び装置規模の大型化を防ぐ。
【解決手段】フィルタ選定部１０のフィルタ評価手段１１は、フィルタ設計部１１３により生成された新規フィルタ情報と、フィルタバッファ１１７に保存されている過去フィルタ情報とを用いて、新規フィルタと過去フィルタとの間の類似度を算出し、類似度に基づいて、新規フィルタのフィルタタイプ毎に評価値を算出する。フィルタ評価判別手段１２は、新規フィルタのフィルタタイプ毎の評価値が閾値Ｔ1以上である場合、その新規フィルタをフィルタリング処理最適化部２０の処理対象に選定し、評価値が閾値Ｔ1よりも小さい場合、その新規フィルタをフィルタリング処理最適化部２０の処理対象から除外する。
【解決手段】フィルタ選定部１０のフィルタ評価手段１１は、フィルタ設計部１１３により生成された新規フィルタ情報と、フィルタバッファ１１７に保存されている過去フィルタ情報とを用いて、新規フィルタと過去フィルタとの間の類似度を算出し、類似度に基づいて、新規フィルタのフィルタタイプ毎に評価値を算出する。フィルタ評価判別手段１２は、新規フィルタのフィルタタイプ毎の評価値が閾値Ｔ1以上である場合、その新規フィルタをフィルタリング処理最適化部２０の処理対象に選定し、評価値が閾値Ｔ1よりも小さい場合、その新規フィルタをフィルタリング処理最適化部２０の処理対象から除外する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を符号化する際にループ内フィルタの情報を生成する動画像符号化装置及びそのプログラムに関する。
【背景技術】
【０００２】
一般に、符号化側の動画像符号化装置では、入力した動画像のフレーム１枚ずつを原画像として符号化し、符号化処理によって生成したデータを符号化データとして出力する。復号側の動画像復号装置では、符号化側の動画像符号化装置により出力された符号化データを入力し、符号化データを復号して復号画像を生成する。
【０００３】
動画像符号化装置は、それ以前に処理した過去のフレームを参照し、現フレームを符号化する。また、過去のフレームを参照するために、復号側と同様の復号処理を行う。このような、符号化側において復号画像を生成し、生成した復号画像を参照して符号化する処理を符号化ループと呼び、その符号化ループ内で使用されるフィルタをループ内フィルタと呼ぶ。
【０００４】
動画像符号化の標準規格であるＨ．２６４／ＭＰＥＧ−４ ＡＶＣでは、デブロッキングフィルタと呼ばれるループ内フィルタが利用される。デブロッキングフィルタは、符号化側において、基本的な復号処理（例えば、逆量子化、逆直交変換、予測等の処理）の後に、生成された復号画像に対して適用される。また、復号側においても、生成された復号画像に対して適用される。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの標準規格のようにブロック単位で処理する符号化方式では、ブロックの境界に歪みが生じやすい。そこで、デブロッキングフィルタを適用することにより、ブロック間の歪みを低減することができる。
【０００５】
デブロッキングフィルタ以外にも、復号画像またはデブロッキングフィルタを適用した後の画像に対して、適応的にループ内フィルタ（ＡＬＦ：Adaptive Loop Filter）を適用する符号化方式が提案されている（例えば非特許文献１）。
【０００６】
図４は、従来の、ＡＬＦを利用した動画像符号化装置の構成を示すブロック図である。この動画像符号化装置１０１は、符号化基本部１１１、局所復号部１１２、フィルタ設計部１１３、フィルタリング処理最適化部１１４及び伝送データ生成部１１５を備えている。尚、復号画像に対してデブロッキングフィルタを適用する場合、デブロッキングフィルタは局所復号部１１２の後段に設けられるが、図４では、説明を簡単にするために、それを省略してある。以下、便宜上、デブロッキングフィルタを適用した後の画像も復号画像という。
【０００７】
符号化基本部１１１は、原画像（動画像のフレーム）を入力し、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ等の符号化方式に基づいた基本的な符号化処理を行い、符号化データを生成し、生成した符号化データを局所復号部１１２及び伝送データ生成部１１５に出力する。具体的には、符号化基本部１１１は、フレーム内予測またはフレーム間予測等の予測処理、直交変換処理、量子化処理等を行う。
【０００８】
局所復号部１１２は、符号化基本部１１１から符号化データを入力し、入力した符号化データを復号して復号画像を生成し、生成した復号画像をフィルタ設計部１１３に出力する。尚、局所復号部１１２は、生成した復号画像をフィルタ設計部１１３にそのまま出力するようにしたが、デブロッキングフィルタ（局所復号部１１２の後段に設けられたデブロッキングフィルタ）を介してフィルタ設計部１１３へ出力するようにしてもよい。この場合、デブロッキングフィルタは、局所復号部１１２から復号画像を入力し、フィルタ処理によりブロック間の歪みを低減し、フィルタ処理後の復号画像をフィルタ設計部１１３に出力する。
【０００９】
一般に、ＡＬＦを利用する符号化方式では、フィルタ設計部１１３及びフィルタリング処理最適化部１１４を備える点を特徴とする。フィルタ設計部１１３は、原画像を入力すると共に、局所復号部１１２から復号画像を入力し、これら２つの画像に基づいて、現在のフレームについてＡＬＦにて使用するフィルタを設計し、設計したフィルタの情報を新規フィルタ情報としてフィルタリング処理最適化部１１４に出力する。具体的には、フィルタ設計部１１３は、フィルタを復号画像に適用した後の画像と原画像との間の差分が小さくなるように、予め設定されたフィルタタイプのフィルタ係数値を決定することでフィルタを設計し、フィルタタイプ及びフィルタ係数値を含む新規フィルタ情報をフィルタリング処理最適化部１１４に出力する。この場合、異なるフィルタタイプ、すなわち異なる形状及び／またはサイズを利用することで、複数のフィルタを設計してもよい。
【００１０】
図５は、フィルタタイプを説明する図である。フィルタタイプは、フィルタの形状及びサイズにより特定される。図５に示すように、フィルタの形状には、例えば正方形、十字型、菱形があり、フィルタのサイズには、例えば３×３＝９画素、５×５＝２５画素等がある。これらのフィルタタイプの形状及びサイズは、フィルタ処理の単位に対応しており、それぞれの形状及びサイズを単位にしてフィルタ処理が行われる。具体的には、その形状の中心に位置する画素におけるフィルタ適用後の値を算出するために、その周囲の画素が用いられる。例えば、図５の左上に示した、フィルタの形状が正方形であってフィルタのサイズが３×３＝９画素であるフィルタタイプでは、中心の画素におけるフィルタ適用後の値を算出するために、その画素及び周囲８画素を含めた合計９画素が用いられる。
【００１１】
このように、フィルタ設計部１１３は、図５に示した異なるフィルタタイプを利用することで複数のフィルタを設計し、すなわち、異なるフィルタタイプのフィルタ毎に、フィルタを復号画像に適用した後の画像と原画像との間の差分が小さくなるようにフィルタ係数値をそれぞれ決定し、フィルタタイプ毎のフィルタ係数値を含む新規フィルタ情報を生成する。
【００１２】
フィルタリング処理最適化部１１４は、フィルタ設計部１１３から新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）を入力し、ＲＤ（Rate Distortion：レート歪み）基準にて画像の領域毎に、復号画像に対するフィルタリングの有無、フィルタリング有りの場合のフィルタ情報（適用するフィルタタイプ（フィルタの形状及びサイズ）及びフィルタ係数値等）の最適な選択を行うことで、フィルタリング処理を最適化し、選択した情報（画像の領域毎のフィルタリングの有無、フィルタタイプ及びフィルタ係数値等）をフィルタリング情報として伝送データ生成部１１５に出力する。
【００１３】
ＲＤ基準とは、ある選択（例えばフィルタタイプの選択）をしたときに発生する符号化ビット量（レート）、及びそのときに生成される復号画像と原画像との間の差分（歪み）を考慮して、その選択の効果を評価する基準である。一般に、符号化処理においては、符号化ビット量を大きくした場合、そのときに生成される復号画像と原画像との間の差分が小さくなることから、ＲＤ基準では、符号化ビット量を大きくする程度と、これに伴って差分が小さくなる程度とが考慮される。具体的には、フィルタリング処理最適化部１１４は、画像の領域毎に、新規フィルタ情報に含まれる各フィルタタイプについて、発生する符号化ビット量を算出し、そのときに生成される復号画像と原画像との間の差分を算出し、符号化ビット量と差分との加重和を算出する。その一方で、フィルタリング処理最適化部１１４は、フィルタを適用しない場合についても、発生する符号化ビット量を算出し、そのときに生成される復号画像と原画像との間の差分を算出し、符号化ビット量と差分との加重和を算出する。そして、フィルタリング処理最適化部１１４は、新規フィルタ情報に含まれる各フィルタタイプについて算出した加重和と、フィルタを適用しない場合について算出した加重和とを含めて、最小となる設定を選択する。すなわち、フィルタを適用しない場合について算出した加重和が最小となる場合は、その領域についてはフィルタリング無しを判定する。また、そうでない場合は、その領域についてはフィルタリング有りを判定し、加重和が最小となるフィルタタイプとそのときのフィルタ係数値等を選択する。このようなＲＤ基準により、フィルタリング情報（画像の領域毎のフィルタリングの有無、フィルタタイプ及びフィルタ係数値等）が生成される。
【００１４】
伝送データ生成部１１５は、符号化基本部１１１から符号化データを入力すると共に、フィルタリング処理最適化部１１４からフィルタリング情報（画像の領域毎のフィルタリングの有無、フィルタタイプ及びフィルタ係数値等）を入力し、符号化データとフィルタリング情報とを統合して伝送データを生成し、生成した伝送データを出力する。このようにして出力された伝送データは、動画像符号化装置１０１から動画像復号装置へ伝送される。
【００１５】
非特許文献１の手法では、ＡＬＦに利用するフィルタを動画像のフレーム毎に設計する。符号化側は、設計したフィルタの情報を復号側へ伝送するため、伝送するデータ量が増加する。このため、非特許文献１の手法では、フィルタ情報の伝送に伴う伝送データ量の増加を抑制することが課題となる。そこで、設計したフィルタの情報を保存するフィルタバッファを導入し、フィルタ情報の代わりに、フィルタバッファに保存されているフィルタ情報を指定するフィルタインデックスを伝送することにより、伝送データ量の増加を抑制している（例えば非特許文献２）。
【００１６】
図６は、従来の、フィルタバッファを備えた動画像符号化装置の構成を示すブロック図である。この動画像符号化装置１０２は、符号化基本部１１１、局所復号部１１２、フィルタ設計部１１３、伝送データ生成部１１５、フィルタリング処理最適化部１１６及びフィルタバッファ１１７を備えている。図４に示した動画像符号化装置１０１と図６に示す動画像符号化装置１０２とを比較すると、動画像符号化装置１０２が、フィルタバッファ１１７を備えている点、及び動画像符号化装置１０１のフィルタリング処理最適化部１１４とは異なるフィルタリング処理最適化部１１６を備えている点で相違する。図６において、図４と共通する部分には図４と同一の符号を付し、その詳しい説明は省略する。
【００１７】
図７は、図６に示したフィルタバッファ１１７の構成を示す図である。フィルタバッファ１１７は、Ｎ個のフィルタタイプのそれぞれに対して、フィルタ設計部１１３により過去のフレームで設計され、かつフィルタリング処理最適化部１１６により最適なフィルタリング処理として選択された最大Ｍ個のフィルタに関する情報を過去フィルタ情報として保存する。具体的には、フィルタタイプ「Ｔｙｐｅ１」に対し、フィルタインデックス＃１〜＃Ｍにて特定されるＭ個のフィルタに関する情報Ｆprev11（ｋ1）〜Ｆprev1M（ｋ1）を保存する。同様に、フィルタタイプ「ＴｙｐｅＮ」に対し、フィルタインデックス＃１〜＃Ｍにて特定されるＭ個のフィルタに関する情報ＦprevN1（ｋN）〜ＦprevNM（ｋN）を保存する。ここで、フィルタに関する情報ＦprevAB（ｋA）は、例えば、フィルタタイプ「ＴｙｐｅＡ」及びフィルタインデックス＃Ｂのフィルタに関するｋA番目のフィルタ係数値を示す。これらのフィルタタイプ、フィルタインデックス及びフィルタ情報は、フィルタリング処理最適化部１１６により、過去フィルタ情報として書き込まれ、読み出される。尚、復号側の動画像復号装置においても、フィルタバッファ１１７と同様のバッファを備えているものとする。また、フィルタタイプには、フィルタの形状及びサイズが含まれるものとし、フィルタに関する情報には、フィルタ係数値が含まれるものとする。
【００１８】
図６に戻って、フィルタリング処理最適化部１１６は、フィルタ設計部１１３から新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）を入力すると共に、フィルタバッファ１１７から過去フィルタ情報（フィルタタイプ毎のフィルタ係数値等及びフィルタインデックス）を読み出し、新規フィルタ情報及び過去フィルタ情報を用いて、図４に示したフィルタリング処理最適化部１１４と同様に、ＲＤ基準にて画像の領域毎に、フィルタリングの有無、適用するフィルタタイプ及びフィルタ係数値等の最適な選択を行うことで、フィルタリング処理を最適化する。そして、フィルタリング処理最適化部１１６は、選択したフィルタタイプ及びフィルタ係数値等の情報がフィルタ設計部１１３から入力した新規フィルタ情報の一部である場合、画像の領域毎のフィルタリングの有無、フィルタタイプ及びフィルタ係数値等をフィルタリング情報として伝送データ生成部１１５に出力する。一方、フィルタリング処理最適化部１１６は、選択したフィルタタイプ及びフィルタ係数値等の情報がフィルタバッファ１１７から読み出した過去フィルタ情報の一部である場合、画像の領域毎のフィルタリングの有無、選択したフィルタタイプ、及び、過去フィルタ情報に含まれるそのフィルタタイプ及びフィルタ係数値等に対応するフィルタインデックスをフィルタリング情報として伝送データ生成部１１５に出力する。
【００１９】
また、フィルタリング処理最適化部１１６は、最適なフィルタリング処理として新規フィルタを選択した場合、そのフィルタタイプ及びフィルタ係数値等をフィルタバッファ１１７に書き込む。この場合、フィルタバッファ１１７は、フィルタ係数値等を、対応するフィルタタイプの箇所に保存する。フィルタリング処理最適化部１１６は、新たなフィルタ係数値等を書き込む際に、フィルタバッファ１１７に保存されているフィルタ係数値等がその上限（フィルタタイプ毎に最大Ｍ個）を超える場合、そのフィルタタイプについて保存されているフィルタ係数値等のうち最も古いフィルタ係数値等を削除した後、新たなフィルタ係数値等を書き込む。
【００２０】
伝送データ生成部１１５は、符号化基本部１１１から符号化データを入力すると共に、フィルタリング処理最適化部１１６からフィルタリング情報（画像の領域毎のフィルタリングの有無、フィルタタイプ、フィルタ係数値等またはフィルタインデックス）を入力し、符号化データとフィルタリング情報とを統合して伝送データを生成し、動画像復号装置へ伝送する。このように、フィルタリング処理最適化部１１６において過去フィルタ情報が選択された場合、伝送データ生成部１１５は、フィルタ係数値等の代わりに、フィルタタイプ及びそのフィルタを特定するためのフィルタインデックスのみを伝送すればよい。したがって、フィルタ係数値の伝送が不要となるため、伝送データ量の増加を抑制することができる。
【先行技術文献】
【非特許文献】
【００２１】
【非特許文献１】Marta Karczewicz, Peisong Chen, Rajan Joshi, Xianglin Wang, Wei-Jung Chien, Rahul Panchal, “Video coding technology proposal by Qualcomm Inc,”JCTVC Contribution JCTVC-A121, p.12, Dresden, Apr. 2010.
【非特許文献２】Chia-Yang Tsai, Chih-Ming Fu, Ching-Yeh Chen, Yu-Wen Huang, and Shawmin Lei, “TE10 Subtest2: Coding Unit Synchronous Picture Quadtree-based Adaptive Loop Filter,” JCTVC Contribution JCTVC-C143, Guangzhou, Oct. 2010.
【発明の概要】
【発明が解決しようとする課題】
【００２２】
前述のとおり、ＡＬＦを利用する符号化手法では、ＲＤ基準に基づいてフィルタリング処理を最適化する。最適化処理では、各フィルタリングの設定（フィルタリングの有無、フィルタタイプ及びフィルタ係数値等の設定）において、発生する符号化ビット量と、そのときに生成される復号画像の歪み量（原画像との間の差分）を算出し、フィルタリングの効果を評価する。
【００２３】
しかしながら、この最適化処理は計算量が多く、メモリアクセスの回数も多い。そのため、従来の動画像符号化装置１０１，１０２では、伝送遅延が増加したり、回路及び装置が大型化したりする等の問題があった。
【００２４】
図６に示した、フィルタバッファ１１７を備えた動画像符号化装置１０２では、新たに設計したフィルタの情報に加えて、フィルタバッファ１１７に保存されている過去のフィルタの情報も、最適化処理の対象としてフィルタリング処理の評価を行う。フィルタバッファ１１７には複数のフィルタタイプの情報が保存されているため、その各々に対してフィルタリング処理の評価を行う必要がある。その結果、処理コストが大きく増加する。例えば、非特許文献２の手法では、７個のフィルタタイプのそれぞれに対して、最大で８個のフィルタ情報がフィルタバッファ１１７に保存される。そのため、動画像符号化装置１０２のフィルタリング処理最適化部１１６では、最大で５６個の過去フィルタ情報、及び新たに設計した７個のフィルタの情報（７個のフィルタタイプに対応した新規のフィルタ情報）のそれぞれに対してフィルタリング処理の評価が必要となる。
【００２５】
このように、ＡＬＦを利用する符号化手法では、フィルタバッファ１１７を備えることによって処理コストが増大するという問題があった。
【００２６】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、フィルタリング処理を最適化する際の処理負荷を低減することで、伝送遅延の増加をなくすと共に、回路及び装置規模の大型化を防ぐことが可能な動画像符号化装置及びそのプログラムを提供することにある。
【課題を解決するための手段】
【００２７】
前記目的を達成するために、本発明による動画像符号化装置は、動画像を符号化し、該符号化された動画像を復号した復号画像に適用するフィルタのフィルタリング情報を動画像符号化データと共に伝送する動画像符号化装置において、前記動画像の原画像を入力して符号化し、符号化データを生成する符号化基本部と、前記符号化データを復号し、復号画像を生成する局所復号部と、複数のフィルタタイプのフィルタを前記復号画像にそれぞれ適用した後の画像と前記原画像との間の差分に基づいて、前記複数のフィルタタイプのそれぞれに対するフィルタ係数値を決定し、前記フィルタタイプ及びフィルタ係数値を含む情報を新規フィルタの情報として生成するフィルタ設計部と、フィルタタイプ及びフィルタ係数値を含む情報を、過去フィルタの情報として保存するフィルタバッファと、前記フィルタ設計部により生成された新規フィルタの情報と前記フィルタバッファに保存された過去フィルタの情報とを用いて、前記新規フィルタと過去フィルタとの間の類似度を算出し、前記類似度に基づいて、前記過去フィルタに類似しない新規フィルタを選定するフィルタ選定部と、前記フィルタ選定部により選定された新規フィルタの情報と前記フィルタバッファに保存された過去フィルタの情報とを用いて、前記復号画像に対するフィルタリングの有無、フィルタリング有りの場合は適用するフィルタタイプ及びフィルタ係数値を含む情報をフィルタリング情報として選択するフィルタリング処理最適化部と、前記符号化基本部により生成された符号化データと、前記フィルタリング処理最適化部により選択されたフィルタリング情報とを統合し、伝送データを生成する伝送データ生成部と、を備えることを特徴とする。
【００２８】
また、本発明による動画像符号化装置は、前記フィルタ選定部が、前記フィルタ設計部により生成された新規フィルタの情報と前記フィルタバッファに保存された過去フィルタの情報とに基づいて、前記新規フィルタと過去フィルタとの間の類似度を算出し、前記類似度が高い場合は小さくなるように、前記類似度が低い場合は大きくなるように、前記新規フィルタの評価値を算出するフィルタ評価手段と、前記フィルタ評価手段により算出された新規フィルタの評価値と所定の閾値とを比較し、前記評価値が閾値以上である場合、前記評価値の新規フィルタを前記フィルタリング処理最適化部の処理対象に選定し、前記評価値が閾値よりも小さい場合、前記評価値の新規フィルタを前記フィルタリング処理最適化部の処理対象から除外するフィルタ評価判別手段と、を備えることを特徴とする。
【００２９】
また、本発明による動画像符号化装置は、前記フィルタ評価判別手段の代わりに、新たなフィルタ評価判別手段が、前記フィルタ設計部にて用いる復号画像及び原画像について、前記復号画像と原画像との間の差分、及び前記フィルタタイプのフィルタを前記復号画像に適用した後の画像と原画像との間の差分から得られる画質改善幅が大きい場合は小さくなるように、前記画質改善幅が小さい場合は大きくなるように、新たな閾値を設定し、前記フィルタ評価手段により算出された新規フィルタの評価値と前記閾値とを比較し、前記評価値が閾値以上である場合、前記評価値の新規フィルタを前記フィルタリング処理最適化部の処理対象に選定し、前記評価値が閾値よりも小さい場合、前記評価値の新規フィルタを前記フィルタリング処理最適化部の処理対象から除外することを特徴とする。
【００３０】
また、本発明による動画像符号化装置は、前記フィルタ評価手段が、前記新規フィルタの情報に含まれるフィルタ係数値と、前記過去フィルタの情報に含まれるフィルタ係数値との間の誤差に基づいて、前記新規フィルタと過去フィルタとの間の類似度を算出することを特徴とする。
【００３１】
さらに、本発明による動画像符号化プログラムは、コンピュータを、前記動画像符号化装置として機能させることを特徴とする。
【発明の効果】
【００３２】
以上のように、本発明によれば、フィルタリング処理の最適化対象となるフィルタの数を削減するようにした。これにより、フィルタリング処理を最適化する際の処理負荷を低減することができ、伝送遅延の増加をなくすと共に、回路及び装置規模の大型化を防ぐことが可能となる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施形態による動画像符号化装置の構成を示すブロック図である。
【図２】実施例１によるフィルタ選定部の処理を示すフローチャートである。
【図３】実施例２によるフィルタ選定部の処理を示すフローチャートである。
【図４】従来の、ＡＬＦを利用した動画像符号化装置の構成を示すブロック図である。
【図５】フィルタタイプを説明する図である。
【図６】従来の、フィルタバッファを備えた動画像符号化装置の構成を示すブロック図である。
【図７】フィルタバッファの構成を示す図である。
【発明を実施するための形態】
【００３４】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、ＡＬＦを利用し、フィルタバッファを導入して動画像の符号化を行う動画像符号化装置において、フィルタリング処理を最適化する際の処理負荷を低減するために、フィルタリング処理の最適化対象となるフィルタの数を削減する。フィルタは動画像のフレーム毎に設計するが、設計した全てのフィルタを最適化対象とはしない。最適化対象のフィルタを選定し、選定したフィルタに対してのみフィルタリング処理の最適化を行う。フィルタの選定にはフィルタ間の類似性を考慮する。類似したフィルタは、フィルタリング処理を適用した結果も類似していると推定できる。そこで、現フレームにおいて設計したフィルタとフィルタバッファに保存されている過去のフィルタとの間の類似度を算出し、類似度が高い場合は、過去のフィルタを現フレームで設計したフィルタの代用とし、現フレームで設計したフィルタを最適化対象から除外する。このように、フィルタリング処理の最適化を行う前に、最適化対象のフィルタを選定しその数を削減することにより、処理負荷を低減することができる。
【００３５】
〔動画像符号化装置〕
まず、本発明の実施形態による動画像符号化装置について説明する。図１は、動画像符号化装置の構成を示すブロック図である。この動画像符号化装置１は、符号化基本部１１１、局所復号部１１２、フィルタ設計部１１３、伝送データ生成部１１５、フィルタバッファ１１７、フィルタ選定部１０及びフィルタリング処理最適化部２０を備えている。動画像符号化装置１は、ＡＬＦを利用する装置であり、原画像を入力し、原画像の符号化データとフィルタリング情報とを統合した伝送データを生成し、生成した伝送データを出力する。
【００３６】
図６に示した従来の動画像符号化装置１０２と図１に示す動画像符号化装置１とを比較すると、両動画像符号化装置１，１０２共に、符号化基本部１１１、局所復号部１１２、フィルタ設計部１１３、伝送データ生成部１１５及びフィルタバッファ１１７を備えている点で同一である。これに対し、動画像符号化装置１は、動画像符号化装置１０２のフィルタリング処理最適化部１１６とは異なるフィルタリング処理最適化部２０を備え、さらに、フィルタ設計部１１３とフィルタリング処理最適化部２０との間にフィルタ選定部１０を備えている点で相違する。
【００３７】
以下、本発明の実施形態による動画像符号化装置１において特徴を有するフィルタ選定部１０及びフィルタリング処理最適化部２０の概略について説明する。フィルタ選定部１０は、フィルタ評価手段１１及びフィルタ評価判別手段１２を備えており、フィルタバッファ１１７に保存されている過去フィルタ情報を用いて、現フレームにおいて新たに設計したフィルタを評価し、評価したフィルタ各々に対して、後段のフィルタリング処理最適化部２０において最適化処理を適用するか否か（最適化対象とするか否か）を判別する。
【００３８】
フィルタ評価手段１１は、フィルタ設計部１１３から現フレームにおいて新たに設計されたフィルタの新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）を入力すると共に、フィルタバッファ１１７から過去のフィルタの過去フィルタ情報（フィルタタイプ毎のフィルタ係数値等）を読み出し、同一のフィルタタイプについて新規フィルタ情報と過去フィルタ情報とを比較し、両情報の類似度の高さに応じて新規フィルタを評価して評価値を算出し、新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）及び新規フィルタ評価値（フィルタタイプ毎の新規フィルタ評価値）をフィルタ評価判別手段１２に出力する。例えば、類似度が高い場合は評価値が小さくなるように算出し、類似度が低い場合は評価値が大きくなるように算出する。
【００３９】
フィルタ評価判別手段１２は、フィルタ評価手段１１から新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）及び新規フィルタ評価値（フィルタタイプ毎の評価値）を入力し、新規フィルタ評価値に基づいて、後段のフィルタリング処理最適化部２０において最適化処理を適用するか否かを判別し（新規フィルタを選定し）、新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）及び判別結果（新規フィルタのフィルタタイプ毎に最適化処理を適用するか否かを示す情報）をフィルタ選定結果としてフィルタリング処理最適化部２０に出力する。例えば、新規フィルタの評価値と予め設定された閾値とを比較し、新規フィルタの評価値が閾値以上である場合は最適化処理を適用すると判別し、新規フィルタの評価値が閾値よりも小さい場合は最適化処理を適用しないと判別する。
【００４０】
フィルタリング処理最適化部２０は、フィルタ選定部１０のフィルタ評価判別手段１２から新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）及び判別結果（新規フィルタのフィルタタイプ毎に最適化処理を適用するか否かを示す情報）を入力すると共に、フィルタバッファ１１７から過去フィルタ情報（フィルタタイプ毎のフィルタ係数値等及びフィルタインデックス）を入力し、判別結果により最適化処理を適用するとして選定された新規フィルタの新規フィルタ情報及び過去フィルタ情報を用いて、ＲＤ基準にて画像の領域毎に、フィルタリングの有無、適用するフィルタタイプ及びフィルタ係数値等の最適な選択を行うことで、フィルタリング処理を最適化する。そして、フィルタリング処理最適化部２０は、選択したフィルタタイプ及びフィルタ係数値等の情報が新規フィルタ情報の一部である場合、画像の領域毎のフィルタリングの有無、フィルタタイプ及びフィルタ係数値等をフィルタリング情報として伝送データ生成部１１５に出力し、選択したフィルタタイプ及びフィルタ係数値等の情報が過去フィルタ情報の一部である場合、画像の領域毎のフィルタリングの有無、選択したフィルタタイプ、及び、過去フィルタ情報に含まれるそのフィルタタイプ及びフィルタ係数値等に対応するフィルタインデックスをフィルタリング情報として伝送データ生成部１１５に出力する。
【００４１】
このように、動画像符号化装置１のフィルタリング処理最適化部２０は、全ての新規フィルタタ情報及び過去フィルタ情報に対して最適化処理を行うのではなく、フィルタ選定部１０により選定された新規フィルタの新規フィルタ情報及び過去フィルタ情報に対してのみ最適化処理を行うようにした。これにより、最適化対象となるフィルタの数を削減したため、フィルタリング処理を最適化する際の処理負荷を低減することができ、伝送遅延の増加をなくすと共に、回路及び装置規模の大型化を防ぐことが可能となる。
【００４２】
〔実施例１〕
次に、実施例１の動画像符号化装置１について説明する。実施例１は、予め設定された固定の閾値Ｔ1を用いて、Ｎ個の新規フィルタのうち、フィルタリング処理最適化部２０の処理対象を選定する。
【００４３】
図１を参照して、実施例１による動画像符号化装置１の符号化基本部１１１及び局所復号部１１２は、図４及び図６に示したこれらの構成部と同様の処理を行う。フィルタ設計部１１３も、図４及び図６に示した構成部と同様の処理を行う。具体的には、フィルタ設計部１１３は、原画像を入力すると共に、局所復号部１１２から復号画像を入力し、Ｎ個のフィルタタイプを使用する場合、これら２つの画像に基づいて、各フィルタタイプに対応したＮ個のフィルタを設計する。この場合、設計するＮ個のフィルタタイプには、例えば図５に示した異なる形状（正方形、菱形、十字型等）及び異なるサイズのフィルタタイプを含める。
【００４４】
フィルタ設計部１１３は、フィルタの設計に伴って、設計するフィルタを復号画像に適用した後の画像と原画像との間の差分が小さくなるように、フィルタタイプ毎にフィルタ係数値を決定する。例えば、以下の式を用いて、設計するフィルタを復号画像に適用した後の画像と原画像との間の二乗誤差を最小化するフィルタ係数値Ｆを決定する。
【数１】
ここで、Ｋはフィルタ係数値の数を示し、ｆ（ｋ）はｋ番目のフィルタ係数値を示す。また、Ａは、原画像の画素値と復号画像の画素値のＫ×Ｋ共分散行列を示し、Ｃは、復号画像の画素値のＫ×Ｋ自己相関行列を示す。
【００４５】
そして、フィルタ設計部１１３は、設計したＮ個の新規フィルタについて、フィルタタイプ毎のフィルタ係数値を含む情報を新規フィルタ情報としてフィルタ選定部１０に出力する。
【００４６】
図７に示したように、フィルタバッファ１１７には、Ｎ個のフィルタタイプのそれぞれに対して、フィルタ設計部１１３により過去のフレームで設計され、かつフィルタリング処理最適化部２０により最適なフィルタリング処理として選択された最大Ｍ個のフィルタに関する情報が、過去フィルタ情報として保存されている。つまり、フィルタバッファ１１７全体で、最大Ｎ×Ｍ個のフィルタに関する情報が保存されている。初期状態では、フィルタバッファ１１７には何も保存されていない。フィルタリング処理最適化部２０は、最適なフィルタリング処理として新規フィルタを選択し、伝送データ生成部１１５に出力するフィルタリング情報を決定したとき、その新規フィルタに関するフィルタタイプ及びフィルタ係数値等の情報を過去フィルタ情報として、フィルタバッファ１１７に書き込む。また、フィルタリング処理最適化部２０は、新たな過去フィルタ情報をフィルタバッファ１１７に書き込む際に、フィルタバッファ１１７に保存されている過去フィルタ情報がその上限（フィルタタイプ毎に最大Ｍ個）を超える場合、そのフィルタタイプについて保存されている過去フィルタ情報のうち最も古い過去フィルタ情報を削除した後、新たな過去フィルタ情報を書き込む。
【００４７】
フィルタ選定部１０は、フィルタバッファ１１７に保存されている最大Ｎ×Ｍ個の過去フィルタ情報を用いて、フィルタ設計部１１３により設計されたＮ個の新規フィルタを評価し、その評価に基づいて、後段のフィルタリング処理最適化部２０における処理対象となる新規フィルタを選定する。
【００４８】
図２は、実施例１によるフィルタ選定部１０の処理を示すフローチャートである。フィルタ選定部１０のフィルタ評価手段１１は、フィルタ設計部１１３から現フレームにおいて設計されたＮ個の新規フィルタの情報（新規フィルタ情報）を入力すると共に、フィルタバッファ１１７から最大Ｎ×Ｍ個の過去フィルタ情報を読み出す（ステップＳ２０１）。そして、フィルタ評価手段１１は、新規フィルタ情報及び過去フィルタ情報を用いて、新規フィルタと過去フィルタとの間の類似度を算出し（ステップＳ２０２）、類似度に基づいて、Ｎ個の新規フィルタのフィルタタイプ毎に、新規フィルタ評価値を算出する（ステップＳ２０３）。フィルタ評価手段１１は、新規フィルタに類似した過去フィルタの情報がフィルタバッファ１１７に保存されている場合、その新規フィルタに小さい評価値を与え、新規フィルタに類似した過去フィルタの情報がフィルタバッファ１１７に保存されていない場合、その新規フィルタに大きい評価値を与える。
【００４９】
新規フィルタ評価値として、例えば、新規フィルタと過去フィルタのフィルタ係数値の誤差を利用する。フィルタ評価手段１１は、新規フィルタと過去フィルタのフィルタ係数値の絶対誤差を利用する場合、以下の式により、フィルタタイプｉ（＝１，・・・，Ｎ）の新規フィルタ評価値Ｖi_1を算出する。
【数２】
【００５０】
ここで、Ｆprev_iは、フィルタバッファ１１７に保存されている過去フィルタ情報に対応するフィルタタイプｉの過去フィルタの集合を示し、Ｋiは、新規フィルタにおけるフィルタタイプｉのフィルタ係数値の個数を示す。ｆnew_i（ｋ）は、フィルタタイプｉの新規フィルタにおけるｋ番目のフィルタ係数値を示し、ｆprev_i_j（ｋ）は、フィルタタイプｉの過去フィルタにおけるｋ番目のフィルタ係数値を示す。｜・｜は絶対値記号を示す。
【００５１】
前記式（２）より、フィルタバッファ１１７に保存されている過去フィルタ情報に関する過去フィルタの中で、新規フィルタと過去フィルタのフィルタ係数値の誤差が最小となる値が、新規フィルタ評価値となる。
【００５２】
また、フィルタ評価手段１１は、新規フィルタと過去フィルタのフィルタ係数値の二乗誤差を利用する場合、以下の式により、フィルタタイプｉ（＝１，・・・，Ｎ）の新規フィルタの評価値Ｖi_2を算出する。
【数３】
【００５３】
また、フィルタ評価手段１１は、新規フィルタと過去フィルタのフィルタ係数値における相関の逆数を利用する場合、以下の式により、フィルタタイプｉ（＝１，・・・，Ｎ）の新規フィルタの評価値Ｖi_3を算出する。
【数４】
【００５４】
フィルタ評価手段１１は、Ｎ個の新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）、及び前記式（２）〜（４）により算出したＮ個の新規フィルタ評価値（フィルタタイプ毎の新規フィルタ評価値）をフィルタ評価判別手段１２に出力する。
【００５５】
フィルタ評価判別手段１２は、フィルタ評価手段１１により算出されたＮ個の新規フィルタ評価値（フィルタタイプ毎の新規フィルタ評価値）に基づいて、Ｎ個の新規フィルタのうち、フィルタリング処理最適化部２０の処理対象となる新規フィルタを選定する。選定方法としては、例えば閾値を利用する。フィルタ評価判別手段１２は、新規フィルタ評価値と予め設定された閾値Ｔ1とを比較し（ステップＳ２０４）、新規フィルタ評価値が閾値Ｔ1以上である場合（ステップＳ２０４：Ｙ）、その新規フィルタをフィルタリング処理最適化部２０の処理対象であると判別し（ステップＳ２０５）、新規フィルタ評価値が閾値Ｔ1よりも小さい場合（ステップＳ２０４：Ｎ）、その新規フィルタをフィルタリング処理最適化部２０の処理対象でないと判別する（ステップＳ２０６）。そして、フィルタ評価判別手段１２は、Ｎ個の新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）及びＮ個の判別結果（新規フィルタのフィルタタタイプ毎に最適化処理を適用するか否かを示す情報）をフィルタリング処理最適化部２０に出力する（ステップＳ２０７）。
【００５６】
フィルタリング処理最適化部２０は、フィルタ選定部１０のフィルタ評価判別手段１２からＮ個の新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）及びＮ個の判別結果（新規フィルタのフィルタタタイプ毎に最適化処理を適用するか否かを示す情報）を入力する。これにより、Ｎ個の新規フィルタの中から、処理対象とする新規フィルタを識別することができる。フィルタリング処理最適化部２０による処理は、処理対象とする新規フィルタの数が減少するだけで、図６に示したフィルタリング処理最適化部１１６の処理と同様である。すなわち、フィルタリング処理最適化部２０は、Ｎ個の判別結果が示す処理対象となる新規フィルタの新規フィルタ情報、及びフィルタバッファ１１７から読み出した過去フィルタ情報を用いて、ＲＤ基準にて画像の領域毎に、フィルタリングの有無、適用するフィルタタイプ及びフィルタ係数値等の最適な選択を行うことで、フィルタリング処理を最適化する。新規フィルタを選択した場合は、画像の領域毎のフィルタリングの有無、フィルタタイプ及びフィルタ係数値等をフィルタリング情報として伝送データ生成部１１５に出力し、前述のフィルタリング処理最適化部１１６と同様に、選択した新規のフィルタタイプ及びフィルタ係数値等を、フィルタバッファ１１７に書き込む。一方、過去フィルタを選択した場合は、画像の領域毎のフィルタリングの有無、選択したフィルタタイプ、及び、過去フィルタ情報に含まれるそのフィルタタイプ及びフィルタ係数値等に対応するフィルタインデックスを伝送データ生成部１１５に出力する。また、フィルタを適用しないことを選択した場合は、フィルタリング無しを伝送データ生成部１１５に出力する。尚、動画像復号装置においても動画像符号化装置１と同様に、新規フィルタが選択されフィルタリング情報が伝送されたときは、フィルタバッファの同じ場所にその情報が書き込まれる。
【００５７】
伝送データ生成部１１５は、図４及び図６に示した構成部と同様の処理を行い、符号化データとフィルタリング情報とを統合した伝送データを出力する。このようにして出力された伝送データは、動画像符号化装置１から動画像復号装置へ伝送される。
【００５８】
以上のように、実施例１の動画像符号化装置１によれば、フィルタ選定部１０のフィルタ評価手段１１が、フィルタ設計部１１３により生成された新規フィルタ情報と、フィルタバッファ１１７に保存されている過去フィルタ情報とを用いて、新規フィルタと過去フィルタとの間の類似度を算出し、類似度に基づいて、新規フィルタのフィルタタイプ毎に評価値を算出するようにした。そして、フィルタ評価判別手段１２が、新規フィルタのフィルタタイプ毎の評価値が予め設定された閾値Ｔ1以上である場合、その新規フィルタを、フィルタリング処理最適化部２０の処理対象に選定し、評価値が閾値Ｔ1よりも小さい場合、その新規フィルタをフィルタリング処理最適化部２０の処理対象から除外するようにした。そして、フィルタリング処理最適化部２０が、フィルタ評価判別手段１２により判別された処理対象となる新規フィルタの新規フィルタ情報、及びフィルタバッファ１１７から読み出した過去フィルタ情報を用いて、ＲＤ基準にて画像の領域毎に、フィルタリングの有無、適用するフィルタタイプ及びフィルタ係数値等の最適な選択を行うことで、フィルタリング処理を最適化するようにした。これにより、フィルタリング処理最適化部２０の処理対象となる新規フィルタの数を削減したため、フィルタリング処理を最適化する際の処理負荷を低減することができ、伝送遅延の増加をなくすと共に、回路及び装置規模の大型化を防ぐことが可能となる。
【００５９】
〔実施例２〕
次に、実施例２の動画像符号化装置１について説明する。前記実施例１では、予め設定された固定の閾値Ｔ1を用いて、Ｎ個の新規フィルタのうち、フィルタリング処理最適化部２０の処理対象を選定するようにした。しかし、新規フィルタの適用効果が大きい場合には（新規フィルタを復号画像に適用したときに、適用後の画像と原画像との間の差分を大幅に低減することが可能な場合には）、新規フィルタをフィルタリング処理最適化部２０の処理対象に含めることが望ましい。そこで、実施例２では、実施例１における固定の閾値Ｔ1を用いるのではなく、新規フィルタ毎にその適用効果に応じて変化する閾値Ｔ2を用いて、Ｎ個の新規フィルタのうち、フィルタリング処理最適化部２０の処理対象を選定する。
【００６０】
図１を参照して、実施例２による動画像符号化装置１の符号化基本部１１１、局所復号部１１２、フィルタ選定部１０のフィルタ評価手段１１、フィルタリング処理最適化部２０、伝送データ生成部１１５及びフィルタバッファ１１７は、実施例１と同様の処理を行う。フィルタ選定部１０のフィルタ評価判別手段１２及びフィルタ設計部１１３は、実施例１と異なる処理を行う。
【００６１】
図３は、実施例２によるフィルタ選定部１０の処理を示すフローチャートである。フィルタ選定部１０のフィルタ評価手段１１は、図２に示したステップＳ２０１〜ステップＳ２０３の処理を行う（ステップＳ３０１〜ステップＳ３０３）。
【００６２】
フィルタ選定部１０のフィルタ評価判別手段１２は、フィルタ評価手段１１により算出されたＮ個の新規フィルタ評価値（フィルタタイプ毎の新規フィルタ評価値）に基づいて、Ｎ個の新規フィルタのうち、フィルタリング処理最適化部２０の処理対象となる新規フィルタを選定する際に、例えば、フィルタ設計部１１３から差分（復号画像と原画像との間の差分、及び、フィルタ適用後の画像（フィルタを復号画像に適用した後の画像）と原画像との間の差分）を入力する（ステップＳ３０４）。
【００６３】
フィルタ評価判別手段１２は、入力したこれらの差分から得られる画質改善幅に基づいて、フィルタリング処理最適化部２０の適用効果が大きい場合は閾値が小さくなり、適用効果が小さい場合は閾値が大きくなるように、以下の式により閾値Ｔ2を設定する（ステップＳ３０５）。この閾値Ｔ2は、新規フィルタ毎に設定される。
【数５】
ここで、
は、フィルタ適用前の復号画像Ｒと原画像Ｏとの間の差分を示し、
は、フィルタ適用後の画像（フィルタを復号画像Ｒに適用した後の画像）Ｒ’と原画像Ｏとの間の差分を示す。フィルタ評価判別手段１２は、これらの差分をフィルタ設計部１１３から入力するようにしたが、復号画像Ｒ及び原画像Ｏをフィルタ設計部１１３から入力し、これらの差分を求めるようにしてもよい。Ｔ0は、予め設定された調整用パラメータを示す。
【００６４】
また、
は画質改善幅を示す。フィルタ評価判別手段１２は、例えば画質改善幅に反比例するように、閾値Ｔ2を設定する。すなわち、画質改善幅が大きい場合は、フィルタリング処理最適化部２０の適用効果が大きいとして、閾値Ｔ2が小さくなるように設定し、画質改善幅が小さい場合は、フィルタリング処理最適化部２０の適用効果が小さいとして、閾値Ｔ2が大きくなるように設定する。
【００６５】
そして、フィルタ評価判別手段１２は、新規フィルタ評価値と設定した閾値Ｔ2とを比較し（ステップＳ３０６）、新規フィルタ評価値が閾値Ｔ2以上である場合（ステップＳ３０６：Ｙ）、その新規フィルタをフィルタリング処理最適化部２０の処理対象であると判別し（ステップＳ３０７）、新規フィルタ評価値が閾値Ｔ2よりも小さい場合（ステップＳ３０６：Ｎ）、その新規フィルタをフィルタリング処理最適化部２０の処理対象でないと判別する（ステップＳ３０８）。そして、フィルタ評価判別手段１２は、Ｎ個の新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）及びＮ個の判別結果（新規フィルタのフィルタタタイプ毎に最適化処理を適用するか否かを示す情報）をフィルタリング処理最適化部２０に出力する（ステップＳ３０９）。
【００６６】
フィルタ設計部１１３は、実施例１の処理に加え、生成した新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）の新規フィルタ毎に、入力した原画像及び復号画像に基づいて、前記式（５）の差分をそれぞれ求め、これらの差分をフィルタ評価手段１１のフィルタ評価判別手段１２に出力する。尚、フィルタ評価判別手段１２がこれらの差分を求める場合、フィルタ設計部１１３は、原画像及び復号画像をフィルタ評価判別手段１２に出力する。
【００６７】
以上のように、実施例２の動画像符号化装置１によれば、フィルタ選定部１０のフィルタ評価判別手段１２が、前記式（５）により、復号画像と原画像の間の差分、及びフィルタを復号画像に適用した後の画像と原画像との間の差分から、フィルタリング処理最適化部２０の適用効果が大きい場合は閾値が小さくなり、適用効果が小さい場合は閾値が大きくなるような閾値Ｔ2を設定し、新規フィルタのフィルタタイプ毎の評価値が閾値Ｔ2以上である場合、その新規フィルタを、フィルタリング処理最適化部２０の処理対象に選定し、評価値が閾値Ｔ2よりも小さい場合、その新規フィルタをフィルタリング処理最適化部２０の処理対象から除外するようにした。これにより、実施例１と同様に、フィルタリング処理を最適化する際の処理負荷を低減することができ、伝送遅延の増加をなくすと共に、回路及び装置規模の大型化を防ぐことが可能となる。また、閾値Ｔ2を新規フィルタ毎に変化させることで、適用効果の大きい新規フィルタがフィルタリング処理最適化部２０の処理対象に選定され易くなるため、一層効果的にフィルタリング処理を最適化することができ、復号画像と原画像との間の差分を大幅に低減することが可能となる。
【００６８】
以上、実施例１，２を挙げて本発明を説明したが、本発明は前記実施例１，２に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施例１，２では、フィルタ選定部１０のフィルタ評価手段１１は、新規フィルタと過去フィルタのフィルタ係数値の絶対誤差を利用した前記式（２）による新規フィルタ評価値Ｖi_1、二乗誤差を利用した前記式（３）による新規フィルタ評価値Ｖi_2、または新規フィルタと過去フィルタのフィルタ係数値の相関の逆数を利用した前記式（４）による新規フィルタ評価値Ｖi_3を算出するようにしたが、これらの算出手法は例示であり、本発明はこれらの算出手法に限定されるものではない。
【００６９】
尚、本発明の実施例１，２による動画像符号化装置１のハードウェア構成としては、通常のコンピュータを使用することができる。動画像符号化装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。動画像符号化装置１に備えた符号化基本部１１１、局所復号部１１２、フィルタ設計部１１３、フィルタ選定部１０、フィルタリング処理最適化部２０、伝送データ生成部１１５及びフィルタバッファ１１７の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【符号の説明】
【００７０】
１，１０１，１０２ 動画像符号化装置
１０ フィルタ選定部
１１ フィルタ評価手段
１２ フィルタ評価判別手段
２０，１１４，１１６ フィルタリング処理最適化部
１１１ 符号化基本部
１１２ 局所復号部
１１３ フィルタ設計部
１１５ 伝送データ生成部
１１７ フィルタバッファ
【技術分野】
【０００１】
本発明は、動画像を符号化する際にループ内フィルタの情報を生成する動画像符号化装置及びそのプログラムに関する。
【背景技術】
【０００２】
一般に、符号化側の動画像符号化装置では、入力した動画像のフレーム１枚ずつを原画像として符号化し、符号化処理によって生成したデータを符号化データとして出力する。復号側の動画像復号装置では、符号化側の動画像符号化装置により出力された符号化データを入力し、符号化データを復号して復号画像を生成する。
【０００３】
動画像符号化装置は、それ以前に処理した過去のフレームを参照し、現フレームを符号化する。また、過去のフレームを参照するために、復号側と同様の復号処理を行う。このような、符号化側において復号画像を生成し、生成した復号画像を参照して符号化する処理を符号化ループと呼び、その符号化ループ内で使用されるフィルタをループ内フィルタと呼ぶ。
【０００４】
動画像符号化の標準規格であるＨ．２６４／ＭＰＥＧ−４ ＡＶＣでは、デブロッキングフィルタと呼ばれるループ内フィルタが利用される。デブロッキングフィルタは、符号化側において、基本的な復号処理（例えば、逆量子化、逆直交変換、予測等の処理）の後に、生成された復号画像に対して適用される。また、復号側においても、生成された復号画像に対して適用される。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの標準規格のようにブロック単位で処理する符号化方式では、ブロックの境界に歪みが生じやすい。そこで、デブロッキングフィルタを適用することにより、ブロック間の歪みを低減することができる。
【０００５】
デブロッキングフィルタ以外にも、復号画像またはデブロッキングフィルタを適用した後の画像に対して、適応的にループ内フィルタ（ＡＬＦ：Adaptive Loop Filter）を適用する符号化方式が提案されている（例えば非特許文献１）。
【０００６】
図４は、従来の、ＡＬＦを利用した動画像符号化装置の構成を示すブロック図である。この動画像符号化装置１０１は、符号化基本部１１１、局所復号部１１２、フィルタ設計部１１３、フィルタリング処理最適化部１１４及び伝送データ生成部１１５を備えている。尚、復号画像に対してデブロッキングフィルタを適用する場合、デブロッキングフィルタは局所復号部１１２の後段に設けられるが、図４では、説明を簡単にするために、それを省略してある。以下、便宜上、デブロッキングフィルタを適用した後の画像も復号画像という。
【０００７】
符号化基本部１１１は、原画像（動画像のフレーム）を入力し、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ等の符号化方式に基づいた基本的な符号化処理を行い、符号化データを生成し、生成した符号化データを局所復号部１１２及び伝送データ生成部１１５に出力する。具体的には、符号化基本部１１１は、フレーム内予測またはフレーム間予測等の予測処理、直交変換処理、量子化処理等を行う。
【０００８】
局所復号部１１２は、符号化基本部１１１から符号化データを入力し、入力した符号化データを復号して復号画像を生成し、生成した復号画像をフィルタ設計部１１３に出力する。尚、局所復号部１１２は、生成した復号画像をフィルタ設計部１１３にそのまま出力するようにしたが、デブロッキングフィルタ（局所復号部１１２の後段に設けられたデブロッキングフィルタ）を介してフィルタ設計部１１３へ出力するようにしてもよい。この場合、デブロッキングフィルタは、局所復号部１１２から復号画像を入力し、フィルタ処理によりブロック間の歪みを低減し、フィルタ処理後の復号画像をフィルタ設計部１１３に出力する。
【０００９】
一般に、ＡＬＦを利用する符号化方式では、フィルタ設計部１１３及びフィルタリング処理最適化部１１４を備える点を特徴とする。フィルタ設計部１１３は、原画像を入力すると共に、局所復号部１１２から復号画像を入力し、これら２つの画像に基づいて、現在のフレームについてＡＬＦにて使用するフィルタを設計し、設計したフィルタの情報を新規フィルタ情報としてフィルタリング処理最適化部１１４に出力する。具体的には、フィルタ設計部１１３は、フィルタを復号画像に適用した後の画像と原画像との間の差分が小さくなるように、予め設定されたフィルタタイプのフィルタ係数値を決定することでフィルタを設計し、フィルタタイプ及びフィルタ係数値を含む新規フィルタ情報をフィルタリング処理最適化部１１４に出力する。この場合、異なるフィルタタイプ、すなわち異なる形状及び／またはサイズを利用することで、複数のフィルタを設計してもよい。
【００１０】
図５は、フィルタタイプを説明する図である。フィルタタイプは、フィルタの形状及びサイズにより特定される。図５に示すように、フィルタの形状には、例えば正方形、十字型、菱形があり、フィルタのサイズには、例えば３×３＝９画素、５×５＝２５画素等がある。これらのフィルタタイプの形状及びサイズは、フィルタ処理の単位に対応しており、それぞれの形状及びサイズを単位にしてフィルタ処理が行われる。具体的には、その形状の中心に位置する画素におけるフィルタ適用後の値を算出するために、その周囲の画素が用いられる。例えば、図５の左上に示した、フィルタの形状が正方形であってフィルタのサイズが３×３＝９画素であるフィルタタイプでは、中心の画素におけるフィルタ適用後の値を算出するために、その画素及び周囲８画素を含めた合計９画素が用いられる。
【００１１】
このように、フィルタ設計部１１３は、図５に示した異なるフィルタタイプを利用することで複数のフィルタを設計し、すなわち、異なるフィルタタイプのフィルタ毎に、フィルタを復号画像に適用した後の画像と原画像との間の差分が小さくなるようにフィルタ係数値をそれぞれ決定し、フィルタタイプ毎のフィルタ係数値を含む新規フィルタ情報を生成する。
【００１２】
フィルタリング処理最適化部１１４は、フィルタ設計部１１３から新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）を入力し、ＲＤ（Rate Distortion：レート歪み）基準にて画像の領域毎に、復号画像に対するフィルタリングの有無、フィルタリング有りの場合のフィルタ情報（適用するフィルタタイプ（フィルタの形状及びサイズ）及びフィルタ係数値等）の最適な選択を行うことで、フィルタリング処理を最適化し、選択した情報（画像の領域毎のフィルタリングの有無、フィルタタイプ及びフィルタ係数値等）をフィルタリング情報として伝送データ生成部１１５に出力する。
【００１３】
ＲＤ基準とは、ある選択（例えばフィルタタイプの選択）をしたときに発生する符号化ビット量（レート）、及びそのときに生成される復号画像と原画像との間の差分（歪み）を考慮して、その選択の効果を評価する基準である。一般に、符号化処理においては、符号化ビット量を大きくした場合、そのときに生成される復号画像と原画像との間の差分が小さくなることから、ＲＤ基準では、符号化ビット量を大きくする程度と、これに伴って差分が小さくなる程度とが考慮される。具体的には、フィルタリング処理最適化部１１４は、画像の領域毎に、新規フィルタ情報に含まれる各フィルタタイプについて、発生する符号化ビット量を算出し、そのときに生成される復号画像と原画像との間の差分を算出し、符号化ビット量と差分との加重和を算出する。その一方で、フィルタリング処理最適化部１１４は、フィルタを適用しない場合についても、発生する符号化ビット量を算出し、そのときに生成される復号画像と原画像との間の差分を算出し、符号化ビット量と差分との加重和を算出する。そして、フィルタリング処理最適化部１１４は、新規フィルタ情報に含まれる各フィルタタイプについて算出した加重和と、フィルタを適用しない場合について算出した加重和とを含めて、最小となる設定を選択する。すなわち、フィルタを適用しない場合について算出した加重和が最小となる場合は、その領域についてはフィルタリング無しを判定する。また、そうでない場合は、その領域についてはフィルタリング有りを判定し、加重和が最小となるフィルタタイプとそのときのフィルタ係数値等を選択する。このようなＲＤ基準により、フィルタリング情報（画像の領域毎のフィルタリングの有無、フィルタタイプ及びフィルタ係数値等）が生成される。
【００１４】
伝送データ生成部１１５は、符号化基本部１１１から符号化データを入力すると共に、フィルタリング処理最適化部１１４からフィルタリング情報（画像の領域毎のフィルタリングの有無、フィルタタイプ及びフィルタ係数値等）を入力し、符号化データとフィルタリング情報とを統合して伝送データを生成し、生成した伝送データを出力する。このようにして出力された伝送データは、動画像符号化装置１０１から動画像復号装置へ伝送される。
【００１５】
非特許文献１の手法では、ＡＬＦに利用するフィルタを動画像のフレーム毎に設計する。符号化側は、設計したフィルタの情報を復号側へ伝送するため、伝送するデータ量が増加する。このため、非特許文献１の手法では、フィルタ情報の伝送に伴う伝送データ量の増加を抑制することが課題となる。そこで、設計したフィルタの情報を保存するフィルタバッファを導入し、フィルタ情報の代わりに、フィルタバッファに保存されているフィルタ情報を指定するフィルタインデックスを伝送することにより、伝送データ量の増加を抑制している（例えば非特許文献２）。
【００１６】
図６は、従来の、フィルタバッファを備えた動画像符号化装置の構成を示すブロック図である。この動画像符号化装置１０２は、符号化基本部１１１、局所復号部１１２、フィルタ設計部１１３、伝送データ生成部１１５、フィルタリング処理最適化部１１６及びフィルタバッファ１１７を備えている。図４に示した動画像符号化装置１０１と図６に示す動画像符号化装置１０２とを比較すると、動画像符号化装置１０２が、フィルタバッファ１１７を備えている点、及び動画像符号化装置１０１のフィルタリング処理最適化部１１４とは異なるフィルタリング処理最適化部１１６を備えている点で相違する。図６において、図４と共通する部分には図４と同一の符号を付し、その詳しい説明は省略する。
【００１７】
図７は、図６に示したフィルタバッファ１１７の構成を示す図である。フィルタバッファ１１７は、Ｎ個のフィルタタイプのそれぞれに対して、フィルタ設計部１１３により過去のフレームで設計され、かつフィルタリング処理最適化部１１６により最適なフィルタリング処理として選択された最大Ｍ個のフィルタに関する情報を過去フィルタ情報として保存する。具体的には、フィルタタイプ「Ｔｙｐｅ１」に対し、フィルタインデックス＃１〜＃Ｍにて特定されるＭ個のフィルタに関する情報Ｆprev11（ｋ1）〜Ｆprev1M（ｋ1）を保存する。同様に、フィルタタイプ「ＴｙｐｅＮ」に対し、フィルタインデックス＃１〜＃Ｍにて特定されるＭ個のフィルタに関する情報ＦprevN1（ｋN）〜ＦprevNM（ｋN）を保存する。ここで、フィルタに関する情報ＦprevAB（ｋA）は、例えば、フィルタタイプ「ＴｙｐｅＡ」及びフィルタインデックス＃Ｂのフィルタに関するｋA番目のフィルタ係数値を示す。これらのフィルタタイプ、フィルタインデックス及びフィルタ情報は、フィルタリング処理最適化部１１６により、過去フィルタ情報として書き込まれ、読み出される。尚、復号側の動画像復号装置においても、フィルタバッファ１１７と同様のバッファを備えているものとする。また、フィルタタイプには、フィルタの形状及びサイズが含まれるものとし、フィルタに関する情報には、フィルタ係数値が含まれるものとする。
【００１８】
図６に戻って、フィルタリング処理最適化部１１６は、フィルタ設計部１１３から新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）を入力すると共に、フィルタバッファ１１７から過去フィルタ情報（フィルタタイプ毎のフィルタ係数値等及びフィルタインデックス）を読み出し、新規フィルタ情報及び過去フィルタ情報を用いて、図４に示したフィルタリング処理最適化部１１４と同様に、ＲＤ基準にて画像の領域毎に、フィルタリングの有無、適用するフィルタタイプ及びフィルタ係数値等の最適な選択を行うことで、フィルタリング処理を最適化する。そして、フィルタリング処理最適化部１１６は、選択したフィルタタイプ及びフィルタ係数値等の情報がフィルタ設計部１１３から入力した新規フィルタ情報の一部である場合、画像の領域毎のフィルタリングの有無、フィルタタイプ及びフィルタ係数値等をフィルタリング情報として伝送データ生成部１１５に出力する。一方、フィルタリング処理最適化部１１６は、選択したフィルタタイプ及びフィルタ係数値等の情報がフィルタバッファ１１７から読み出した過去フィルタ情報の一部である場合、画像の領域毎のフィルタリングの有無、選択したフィルタタイプ、及び、過去フィルタ情報に含まれるそのフィルタタイプ及びフィルタ係数値等に対応するフィルタインデックスをフィルタリング情報として伝送データ生成部１１５に出力する。
【００１９】
また、フィルタリング処理最適化部１１６は、最適なフィルタリング処理として新規フィルタを選択した場合、そのフィルタタイプ及びフィルタ係数値等をフィルタバッファ１１７に書き込む。この場合、フィルタバッファ１１７は、フィルタ係数値等を、対応するフィルタタイプの箇所に保存する。フィルタリング処理最適化部１１６は、新たなフィルタ係数値等を書き込む際に、フィルタバッファ１１７に保存されているフィルタ係数値等がその上限（フィルタタイプ毎に最大Ｍ個）を超える場合、そのフィルタタイプについて保存されているフィルタ係数値等のうち最も古いフィルタ係数値等を削除した後、新たなフィルタ係数値等を書き込む。
【００２０】
伝送データ生成部１１５は、符号化基本部１１１から符号化データを入力すると共に、フィルタリング処理最適化部１１６からフィルタリング情報（画像の領域毎のフィルタリングの有無、フィルタタイプ、フィルタ係数値等またはフィルタインデックス）を入力し、符号化データとフィルタリング情報とを統合して伝送データを生成し、動画像復号装置へ伝送する。このように、フィルタリング処理最適化部１１６において過去フィルタ情報が選択された場合、伝送データ生成部１１５は、フィルタ係数値等の代わりに、フィルタタイプ及びそのフィルタを特定するためのフィルタインデックスのみを伝送すればよい。したがって、フィルタ係数値の伝送が不要となるため、伝送データ量の増加を抑制することができる。
【先行技術文献】
【非特許文献】
【００２１】
【非特許文献１】Marta Karczewicz, Peisong Chen, Rajan Joshi, Xianglin Wang, Wei-Jung Chien, Rahul Panchal, “Video coding technology proposal by Qualcomm Inc,”JCTVC Contribution JCTVC-A121, p.12, Dresden, Apr. 2010.
【非特許文献２】Chia-Yang Tsai, Chih-Ming Fu, Ching-Yeh Chen, Yu-Wen Huang, and Shawmin Lei, “TE10 Subtest2: Coding Unit Synchronous Picture Quadtree-based Adaptive Loop Filter,” JCTVC Contribution JCTVC-C143, Guangzhou, Oct. 2010.
【発明の概要】
【発明が解決しようとする課題】
【００２２】
前述のとおり、ＡＬＦを利用する符号化手法では、ＲＤ基準に基づいてフィルタリング処理を最適化する。最適化処理では、各フィルタリングの設定（フィルタリングの有無、フィルタタイプ及びフィルタ係数値等の設定）において、発生する符号化ビット量と、そのときに生成される復号画像の歪み量（原画像との間の差分）を算出し、フィルタリングの効果を評価する。
【００２３】
しかしながら、この最適化処理は計算量が多く、メモリアクセスの回数も多い。そのため、従来の動画像符号化装置１０１，１０２では、伝送遅延が増加したり、回路及び装置が大型化したりする等の問題があった。
【００２４】
図６に示した、フィルタバッファ１１７を備えた動画像符号化装置１０２では、新たに設計したフィルタの情報に加えて、フィルタバッファ１１７に保存されている過去のフィルタの情報も、最適化処理の対象としてフィルタリング処理の評価を行う。フィルタバッファ１１７には複数のフィルタタイプの情報が保存されているため、その各々に対してフィルタリング処理の評価を行う必要がある。その結果、処理コストが大きく増加する。例えば、非特許文献２の手法では、７個のフィルタタイプのそれぞれに対して、最大で８個のフィルタ情報がフィルタバッファ１１７に保存される。そのため、動画像符号化装置１０２のフィルタリング処理最適化部１１６では、最大で５６個の過去フィルタ情報、及び新たに設計した７個のフィルタの情報（７個のフィルタタイプに対応した新規のフィルタ情報）のそれぞれに対してフィルタリング処理の評価が必要となる。
【００２５】
このように、ＡＬＦを利用する符号化手法では、フィルタバッファ１１７を備えることによって処理コストが増大するという問題があった。
【００２６】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、フィルタリング処理を最適化する際の処理負荷を低減することで、伝送遅延の増加をなくすと共に、回路及び装置規模の大型化を防ぐことが可能な動画像符号化装置及びそのプログラムを提供することにある。
【課題を解決するための手段】
【００２７】
前記目的を達成するために、本発明による動画像符号化装置は、動画像を符号化し、該符号化された動画像を復号した復号画像に適用するフィルタのフィルタリング情報を動画像符号化データと共に伝送する動画像符号化装置において、前記動画像の原画像を入力して符号化し、符号化データを生成する符号化基本部と、前記符号化データを復号し、復号画像を生成する局所復号部と、複数のフィルタタイプのフィルタを前記復号画像にそれぞれ適用した後の画像と前記原画像との間の差分に基づいて、前記複数のフィルタタイプのそれぞれに対するフィルタ係数値を決定し、前記フィルタタイプ及びフィルタ係数値を含む情報を新規フィルタの情報として生成するフィルタ設計部と、フィルタタイプ及びフィルタ係数値を含む情報を、過去フィルタの情報として保存するフィルタバッファと、前記フィルタ設計部により生成された新規フィルタの情報と前記フィルタバッファに保存された過去フィルタの情報とを用いて、前記新規フィルタと過去フィルタとの間の類似度を算出し、前記類似度に基づいて、前記過去フィルタに類似しない新規フィルタを選定するフィルタ選定部と、前記フィルタ選定部により選定された新規フィルタの情報と前記フィルタバッファに保存された過去フィルタの情報とを用いて、前記復号画像に対するフィルタリングの有無、フィルタリング有りの場合は適用するフィルタタイプ及びフィルタ係数値を含む情報をフィルタリング情報として選択するフィルタリング処理最適化部と、前記符号化基本部により生成された符号化データと、前記フィルタリング処理最適化部により選択されたフィルタリング情報とを統合し、伝送データを生成する伝送データ生成部と、を備えることを特徴とする。
【００２８】
また、本発明による動画像符号化装置は、前記フィルタ選定部が、前記フィルタ設計部により生成された新規フィルタの情報と前記フィルタバッファに保存された過去フィルタの情報とに基づいて、前記新規フィルタと過去フィルタとの間の類似度を算出し、前記類似度が高い場合は小さくなるように、前記類似度が低い場合は大きくなるように、前記新規フィルタの評価値を算出するフィルタ評価手段と、前記フィルタ評価手段により算出された新規フィルタの評価値と所定の閾値とを比較し、前記評価値が閾値以上である場合、前記評価値の新規フィルタを前記フィルタリング処理最適化部の処理対象に選定し、前記評価値が閾値よりも小さい場合、前記評価値の新規フィルタを前記フィルタリング処理最適化部の処理対象から除外するフィルタ評価判別手段と、を備えることを特徴とする。
【００２９】
また、本発明による動画像符号化装置は、前記フィルタ評価判別手段の代わりに、新たなフィルタ評価判別手段が、前記フィルタ設計部にて用いる復号画像及び原画像について、前記復号画像と原画像との間の差分、及び前記フィルタタイプのフィルタを前記復号画像に適用した後の画像と原画像との間の差分から得られる画質改善幅が大きい場合は小さくなるように、前記画質改善幅が小さい場合は大きくなるように、新たな閾値を設定し、前記フィルタ評価手段により算出された新規フィルタの評価値と前記閾値とを比較し、前記評価値が閾値以上である場合、前記評価値の新規フィルタを前記フィルタリング処理最適化部の処理対象に選定し、前記評価値が閾値よりも小さい場合、前記評価値の新規フィルタを前記フィルタリング処理最適化部の処理対象から除外することを特徴とする。
【００３０】
また、本発明による動画像符号化装置は、前記フィルタ評価手段が、前記新規フィルタの情報に含まれるフィルタ係数値と、前記過去フィルタの情報に含まれるフィルタ係数値との間の誤差に基づいて、前記新規フィルタと過去フィルタとの間の類似度を算出することを特徴とする。
【００３１】
さらに、本発明による動画像符号化プログラムは、コンピュータを、前記動画像符号化装置として機能させることを特徴とする。
【発明の効果】
【００３２】
以上のように、本発明によれば、フィルタリング処理の最適化対象となるフィルタの数を削減するようにした。これにより、フィルタリング処理を最適化する際の処理負荷を低減することができ、伝送遅延の増加をなくすと共に、回路及び装置規模の大型化を防ぐことが可能となる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施形態による動画像符号化装置の構成を示すブロック図である。
【図２】実施例１によるフィルタ選定部の処理を示すフローチャートである。
【図３】実施例２によるフィルタ選定部の処理を示すフローチャートである。
【図４】従来の、ＡＬＦを利用した動画像符号化装置の構成を示すブロック図である。
【図５】フィルタタイプを説明する図である。
【図６】従来の、フィルタバッファを備えた動画像符号化装置の構成を示すブロック図である。
【図７】フィルタバッファの構成を示す図である。
【発明を実施するための形態】
【００３４】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、ＡＬＦを利用し、フィルタバッファを導入して動画像の符号化を行う動画像符号化装置において、フィルタリング処理を最適化する際の処理負荷を低減するために、フィルタリング処理の最適化対象となるフィルタの数を削減する。フィルタは動画像のフレーム毎に設計するが、設計した全てのフィルタを最適化対象とはしない。最適化対象のフィルタを選定し、選定したフィルタに対してのみフィルタリング処理の最適化を行う。フィルタの選定にはフィルタ間の類似性を考慮する。類似したフィルタは、フィルタリング処理を適用した結果も類似していると推定できる。そこで、現フレームにおいて設計したフィルタとフィルタバッファに保存されている過去のフィルタとの間の類似度を算出し、類似度が高い場合は、過去のフィルタを現フレームで設計したフィルタの代用とし、現フレームで設計したフィルタを最適化対象から除外する。このように、フィルタリング処理の最適化を行う前に、最適化対象のフィルタを選定しその数を削減することにより、処理負荷を低減することができる。
【００３５】
〔動画像符号化装置〕
まず、本発明の実施形態による動画像符号化装置について説明する。図１は、動画像符号化装置の構成を示すブロック図である。この動画像符号化装置１は、符号化基本部１１１、局所復号部１１２、フィルタ設計部１１３、伝送データ生成部１１５、フィルタバッファ１１７、フィルタ選定部１０及びフィルタリング処理最適化部２０を備えている。動画像符号化装置１は、ＡＬＦを利用する装置であり、原画像を入力し、原画像の符号化データとフィルタリング情報とを統合した伝送データを生成し、生成した伝送データを出力する。
【００３６】
図６に示した従来の動画像符号化装置１０２と図１に示す動画像符号化装置１とを比較すると、両動画像符号化装置１，１０２共に、符号化基本部１１１、局所復号部１１２、フィルタ設計部１１３、伝送データ生成部１１５及びフィルタバッファ１１７を備えている点で同一である。これに対し、動画像符号化装置１は、動画像符号化装置１０２のフィルタリング処理最適化部１１６とは異なるフィルタリング処理最適化部２０を備え、さらに、フィルタ設計部１１３とフィルタリング処理最適化部２０との間にフィルタ選定部１０を備えている点で相違する。
【００３７】
以下、本発明の実施形態による動画像符号化装置１において特徴を有するフィルタ選定部１０及びフィルタリング処理最適化部２０の概略について説明する。フィルタ選定部１０は、フィルタ評価手段１１及びフィルタ評価判別手段１２を備えており、フィルタバッファ１１７に保存されている過去フィルタ情報を用いて、現フレームにおいて新たに設計したフィルタを評価し、評価したフィルタ各々に対して、後段のフィルタリング処理最適化部２０において最適化処理を適用するか否か（最適化対象とするか否か）を判別する。
【００３８】
フィルタ評価手段１１は、フィルタ設計部１１３から現フレームにおいて新たに設計されたフィルタの新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）を入力すると共に、フィルタバッファ１１７から過去のフィルタの過去フィルタ情報（フィルタタイプ毎のフィルタ係数値等）を読み出し、同一のフィルタタイプについて新規フィルタ情報と過去フィルタ情報とを比較し、両情報の類似度の高さに応じて新規フィルタを評価して評価値を算出し、新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）及び新規フィルタ評価値（フィルタタイプ毎の新規フィルタ評価値）をフィルタ評価判別手段１２に出力する。例えば、類似度が高い場合は評価値が小さくなるように算出し、類似度が低い場合は評価値が大きくなるように算出する。
【００３９】
フィルタ評価判別手段１２は、フィルタ評価手段１１から新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）及び新規フィルタ評価値（フィルタタイプ毎の評価値）を入力し、新規フィルタ評価値に基づいて、後段のフィルタリング処理最適化部２０において最適化処理を適用するか否かを判別し（新規フィルタを選定し）、新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）及び判別結果（新規フィルタのフィルタタイプ毎に最適化処理を適用するか否かを示す情報）をフィルタ選定結果としてフィルタリング処理最適化部２０に出力する。例えば、新規フィルタの評価値と予め設定された閾値とを比較し、新規フィルタの評価値が閾値以上である場合は最適化処理を適用すると判別し、新規フィルタの評価値が閾値よりも小さい場合は最適化処理を適用しないと判別する。
【００４０】
フィルタリング処理最適化部２０は、フィルタ選定部１０のフィルタ評価判別手段１２から新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）及び判別結果（新規フィルタのフィルタタイプ毎に最適化処理を適用するか否かを示す情報）を入力すると共に、フィルタバッファ１１７から過去フィルタ情報（フィルタタイプ毎のフィルタ係数値等及びフィルタインデックス）を入力し、判別結果により最適化処理を適用するとして選定された新規フィルタの新規フィルタ情報及び過去フィルタ情報を用いて、ＲＤ基準にて画像の領域毎に、フィルタリングの有無、適用するフィルタタイプ及びフィルタ係数値等の最適な選択を行うことで、フィルタリング処理を最適化する。そして、フィルタリング処理最適化部２０は、選択したフィルタタイプ及びフィルタ係数値等の情報が新規フィルタ情報の一部である場合、画像の領域毎のフィルタリングの有無、フィルタタイプ及びフィルタ係数値等をフィルタリング情報として伝送データ生成部１１５に出力し、選択したフィルタタイプ及びフィルタ係数値等の情報が過去フィルタ情報の一部である場合、画像の領域毎のフィルタリングの有無、選択したフィルタタイプ、及び、過去フィルタ情報に含まれるそのフィルタタイプ及びフィルタ係数値等に対応するフィルタインデックスをフィルタリング情報として伝送データ生成部１１５に出力する。
【００４１】
このように、動画像符号化装置１のフィルタリング処理最適化部２０は、全ての新規フィルタタ情報及び過去フィルタ情報に対して最適化処理を行うのではなく、フィルタ選定部１０により選定された新規フィルタの新規フィルタ情報及び過去フィルタ情報に対してのみ最適化処理を行うようにした。これにより、最適化対象となるフィルタの数を削減したため、フィルタリング処理を最適化する際の処理負荷を低減することができ、伝送遅延の増加をなくすと共に、回路及び装置規模の大型化を防ぐことが可能となる。
【００４２】
〔実施例１〕
次に、実施例１の動画像符号化装置１について説明する。実施例１は、予め設定された固定の閾値Ｔ1を用いて、Ｎ個の新規フィルタのうち、フィルタリング処理最適化部２０の処理対象を選定する。
【００４３】
図１を参照して、実施例１による動画像符号化装置１の符号化基本部１１１及び局所復号部１１２は、図４及び図６に示したこれらの構成部と同様の処理を行う。フィルタ設計部１１３も、図４及び図６に示した構成部と同様の処理を行う。具体的には、フィルタ設計部１１３は、原画像を入力すると共に、局所復号部１１２から復号画像を入力し、Ｎ個のフィルタタイプを使用する場合、これら２つの画像に基づいて、各フィルタタイプに対応したＮ個のフィルタを設計する。この場合、設計するＮ個のフィルタタイプには、例えば図５に示した異なる形状（正方形、菱形、十字型等）及び異なるサイズのフィルタタイプを含める。
【００４４】
フィルタ設計部１１３は、フィルタの設計に伴って、設計するフィルタを復号画像に適用した後の画像と原画像との間の差分が小さくなるように、フィルタタイプ毎にフィルタ係数値を決定する。例えば、以下の式を用いて、設計するフィルタを復号画像に適用した後の画像と原画像との間の二乗誤差を最小化するフィルタ係数値Ｆを決定する。
【数１】
ここで、Ｋはフィルタ係数値の数を示し、ｆ（ｋ）はｋ番目のフィルタ係数値を示す。また、Ａは、原画像の画素値と復号画像の画素値のＫ×Ｋ共分散行列を示し、Ｃは、復号画像の画素値のＫ×Ｋ自己相関行列を示す。
【００４５】
そして、フィルタ設計部１１３は、設計したＮ個の新規フィルタについて、フィルタタイプ毎のフィルタ係数値を含む情報を新規フィルタ情報としてフィルタ選定部１０に出力する。
【００４６】
図７に示したように、フィルタバッファ１１７には、Ｎ個のフィルタタイプのそれぞれに対して、フィルタ設計部１１３により過去のフレームで設計され、かつフィルタリング処理最適化部２０により最適なフィルタリング処理として選択された最大Ｍ個のフィルタに関する情報が、過去フィルタ情報として保存されている。つまり、フィルタバッファ１１７全体で、最大Ｎ×Ｍ個のフィルタに関する情報が保存されている。初期状態では、フィルタバッファ１１７には何も保存されていない。フィルタリング処理最適化部２０は、最適なフィルタリング処理として新規フィルタを選択し、伝送データ生成部１１５に出力するフィルタリング情報を決定したとき、その新規フィルタに関するフィルタタイプ及びフィルタ係数値等の情報を過去フィルタ情報として、フィルタバッファ１１７に書き込む。また、フィルタリング処理最適化部２０は、新たな過去フィルタ情報をフィルタバッファ１１７に書き込む際に、フィルタバッファ１１７に保存されている過去フィルタ情報がその上限（フィルタタイプ毎に最大Ｍ個）を超える場合、そのフィルタタイプについて保存されている過去フィルタ情報のうち最も古い過去フィルタ情報を削除した後、新たな過去フィルタ情報を書き込む。
【００４７】
フィルタ選定部１０は、フィルタバッファ１１７に保存されている最大Ｎ×Ｍ個の過去フィルタ情報を用いて、フィルタ設計部１１３により設計されたＮ個の新規フィルタを評価し、その評価に基づいて、後段のフィルタリング処理最適化部２０における処理対象となる新規フィルタを選定する。
【００４８】
図２は、実施例１によるフィルタ選定部１０の処理を示すフローチャートである。フィルタ選定部１０のフィルタ評価手段１１は、フィルタ設計部１１３から現フレームにおいて設計されたＮ個の新規フィルタの情報（新規フィルタ情報）を入力すると共に、フィルタバッファ１１７から最大Ｎ×Ｍ個の過去フィルタ情報を読み出す（ステップＳ２０１）。そして、フィルタ評価手段１１は、新規フィルタ情報及び過去フィルタ情報を用いて、新規フィルタと過去フィルタとの間の類似度を算出し（ステップＳ２０２）、類似度に基づいて、Ｎ個の新規フィルタのフィルタタイプ毎に、新規フィルタ評価値を算出する（ステップＳ２０３）。フィルタ評価手段１１は、新規フィルタに類似した過去フィルタの情報がフィルタバッファ１１７に保存されている場合、その新規フィルタに小さい評価値を与え、新規フィルタに類似した過去フィルタの情報がフィルタバッファ１１７に保存されていない場合、その新規フィルタに大きい評価値を与える。
【００４９】
新規フィルタ評価値として、例えば、新規フィルタと過去フィルタのフィルタ係数値の誤差を利用する。フィルタ評価手段１１は、新規フィルタと過去フィルタのフィルタ係数値の絶対誤差を利用する場合、以下の式により、フィルタタイプｉ（＝１，・・・，Ｎ）の新規フィルタ評価値Ｖi_1を算出する。
【数２】
【００５０】
ここで、Ｆprev_iは、フィルタバッファ１１７に保存されている過去フィルタ情報に対応するフィルタタイプｉの過去フィルタの集合を示し、Ｋiは、新規フィルタにおけるフィルタタイプｉのフィルタ係数値の個数を示す。ｆnew_i（ｋ）は、フィルタタイプｉの新規フィルタにおけるｋ番目のフィルタ係数値を示し、ｆprev_i_j（ｋ）は、フィルタタイプｉの過去フィルタにおけるｋ番目のフィルタ係数値を示す。｜・｜は絶対値記号を示す。
【００５１】
前記式（２）より、フィルタバッファ１１７に保存されている過去フィルタ情報に関する過去フィルタの中で、新規フィルタと過去フィルタのフィルタ係数値の誤差が最小となる値が、新規フィルタ評価値となる。
【００５２】
また、フィルタ評価手段１１は、新規フィルタと過去フィルタのフィルタ係数値の二乗誤差を利用する場合、以下の式により、フィルタタイプｉ（＝１，・・・，Ｎ）の新規フィルタの評価値Ｖi_2を算出する。
【数３】
【００５３】
また、フィルタ評価手段１１は、新規フィルタと過去フィルタのフィルタ係数値における相関の逆数を利用する場合、以下の式により、フィルタタイプｉ（＝１，・・・，Ｎ）の新規フィルタの評価値Ｖi_3を算出する。
【数４】
【００５４】
フィルタ評価手段１１は、Ｎ個の新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）、及び前記式（２）〜（４）により算出したＮ個の新規フィルタ評価値（フィルタタイプ毎の新規フィルタ評価値）をフィルタ評価判別手段１２に出力する。
【００５５】
フィルタ評価判別手段１２は、フィルタ評価手段１１により算出されたＮ個の新規フィルタ評価値（フィルタタイプ毎の新規フィルタ評価値）に基づいて、Ｎ個の新規フィルタのうち、フィルタリング処理最適化部２０の処理対象となる新規フィルタを選定する。選定方法としては、例えば閾値を利用する。フィルタ評価判別手段１２は、新規フィルタ評価値と予め設定された閾値Ｔ1とを比較し（ステップＳ２０４）、新規フィルタ評価値が閾値Ｔ1以上である場合（ステップＳ２０４：Ｙ）、その新規フィルタをフィルタリング処理最適化部２０の処理対象であると判別し（ステップＳ２０５）、新規フィルタ評価値が閾値Ｔ1よりも小さい場合（ステップＳ２０４：Ｎ）、その新規フィルタをフィルタリング処理最適化部２０の処理対象でないと判別する（ステップＳ２０６）。そして、フィルタ評価判別手段１２は、Ｎ個の新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）及びＮ個の判別結果（新規フィルタのフィルタタタイプ毎に最適化処理を適用するか否かを示す情報）をフィルタリング処理最適化部２０に出力する（ステップＳ２０７）。
【００５６】
フィルタリング処理最適化部２０は、フィルタ選定部１０のフィルタ評価判別手段１２からＮ個の新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）及びＮ個の判別結果（新規フィルタのフィルタタタイプ毎に最適化処理を適用するか否かを示す情報）を入力する。これにより、Ｎ個の新規フィルタの中から、処理対象とする新規フィルタを識別することができる。フィルタリング処理最適化部２０による処理は、処理対象とする新規フィルタの数が減少するだけで、図６に示したフィルタリング処理最適化部１１６の処理と同様である。すなわち、フィルタリング処理最適化部２０は、Ｎ個の判別結果が示す処理対象となる新規フィルタの新規フィルタ情報、及びフィルタバッファ１１７から読み出した過去フィルタ情報を用いて、ＲＤ基準にて画像の領域毎に、フィルタリングの有無、適用するフィルタタイプ及びフィルタ係数値等の最適な選択を行うことで、フィルタリング処理を最適化する。新規フィルタを選択した場合は、画像の領域毎のフィルタリングの有無、フィルタタイプ及びフィルタ係数値等をフィルタリング情報として伝送データ生成部１１５に出力し、前述のフィルタリング処理最適化部１１６と同様に、選択した新規のフィルタタイプ及びフィルタ係数値等を、フィルタバッファ１１７に書き込む。一方、過去フィルタを選択した場合は、画像の領域毎のフィルタリングの有無、選択したフィルタタイプ、及び、過去フィルタ情報に含まれるそのフィルタタイプ及びフィルタ係数値等に対応するフィルタインデックスを伝送データ生成部１１５に出力する。また、フィルタを適用しないことを選択した場合は、フィルタリング無しを伝送データ生成部１１５に出力する。尚、動画像復号装置においても動画像符号化装置１と同様に、新規フィルタが選択されフィルタリング情報が伝送されたときは、フィルタバッファの同じ場所にその情報が書き込まれる。
【００５７】
伝送データ生成部１１５は、図４及び図６に示した構成部と同様の処理を行い、符号化データとフィルタリング情報とを統合した伝送データを出力する。このようにして出力された伝送データは、動画像符号化装置１から動画像復号装置へ伝送される。
【００５８】
以上のように、実施例１の動画像符号化装置１によれば、フィルタ選定部１０のフィルタ評価手段１１が、フィルタ設計部１１３により生成された新規フィルタ情報と、フィルタバッファ１１７に保存されている過去フィルタ情報とを用いて、新規フィルタと過去フィルタとの間の類似度を算出し、類似度に基づいて、新規フィルタのフィルタタイプ毎に評価値を算出するようにした。そして、フィルタ評価判別手段１２が、新規フィルタのフィルタタイプ毎の評価値が予め設定された閾値Ｔ1以上である場合、その新規フィルタを、フィルタリング処理最適化部２０の処理対象に選定し、評価値が閾値Ｔ1よりも小さい場合、その新規フィルタをフィルタリング処理最適化部２０の処理対象から除外するようにした。そして、フィルタリング処理最適化部２０が、フィルタ評価判別手段１２により判別された処理対象となる新規フィルタの新規フィルタ情報、及びフィルタバッファ１１７から読み出した過去フィルタ情報を用いて、ＲＤ基準にて画像の領域毎に、フィルタリングの有無、適用するフィルタタイプ及びフィルタ係数値等の最適な選択を行うことで、フィルタリング処理を最適化するようにした。これにより、フィルタリング処理最適化部２０の処理対象となる新規フィルタの数を削減したため、フィルタリング処理を最適化する際の処理負荷を低減することができ、伝送遅延の増加をなくすと共に、回路及び装置規模の大型化を防ぐことが可能となる。
【００５９】
〔実施例２〕
次に、実施例２の動画像符号化装置１について説明する。前記実施例１では、予め設定された固定の閾値Ｔ1を用いて、Ｎ個の新規フィルタのうち、フィルタリング処理最適化部２０の処理対象を選定するようにした。しかし、新規フィルタの適用効果が大きい場合には（新規フィルタを復号画像に適用したときに、適用後の画像と原画像との間の差分を大幅に低減することが可能な場合には）、新規フィルタをフィルタリング処理最適化部２０の処理対象に含めることが望ましい。そこで、実施例２では、実施例１における固定の閾値Ｔ1を用いるのではなく、新規フィルタ毎にその適用効果に応じて変化する閾値Ｔ2を用いて、Ｎ個の新規フィルタのうち、フィルタリング処理最適化部２０の処理対象を選定する。
【００６０】
図１を参照して、実施例２による動画像符号化装置１の符号化基本部１１１、局所復号部１１２、フィルタ選定部１０のフィルタ評価手段１１、フィルタリング処理最適化部２０、伝送データ生成部１１５及びフィルタバッファ１１７は、実施例１と同様の処理を行う。フィルタ選定部１０のフィルタ評価判別手段１２及びフィルタ設計部１１３は、実施例１と異なる処理を行う。
【００６１】
図３は、実施例２によるフィルタ選定部１０の処理を示すフローチャートである。フィルタ選定部１０のフィルタ評価手段１１は、図２に示したステップＳ２０１〜ステップＳ２０３の処理を行う（ステップＳ３０１〜ステップＳ３０３）。
【００６２】
フィルタ選定部１０のフィルタ評価判別手段１２は、フィルタ評価手段１１により算出されたＮ個の新規フィルタ評価値（フィルタタイプ毎の新規フィルタ評価値）に基づいて、Ｎ個の新規フィルタのうち、フィルタリング処理最適化部２０の処理対象となる新規フィルタを選定する際に、例えば、フィルタ設計部１１３から差分（復号画像と原画像との間の差分、及び、フィルタ適用後の画像（フィルタを復号画像に適用した後の画像）と原画像との間の差分）を入力する（ステップＳ３０４）。
【００６３】
フィルタ評価判別手段１２は、入力したこれらの差分から得られる画質改善幅に基づいて、フィルタリング処理最適化部２０の適用効果が大きい場合は閾値が小さくなり、適用効果が小さい場合は閾値が大きくなるように、以下の式により閾値Ｔ2を設定する（ステップＳ３０５）。この閾値Ｔ2は、新規フィルタ毎に設定される。
【数５】
ここで、
は、フィルタ適用前の復号画像Ｒと原画像Ｏとの間の差分を示し、
は、フィルタ適用後の画像（フィルタを復号画像Ｒに適用した後の画像）Ｒ’と原画像Ｏとの間の差分を示す。フィルタ評価判別手段１２は、これらの差分をフィルタ設計部１１３から入力するようにしたが、復号画像Ｒ及び原画像Ｏをフィルタ設計部１１３から入力し、これらの差分を求めるようにしてもよい。Ｔ0は、予め設定された調整用パラメータを示す。
【００６４】
また、
は画質改善幅を示す。フィルタ評価判別手段１２は、例えば画質改善幅に反比例するように、閾値Ｔ2を設定する。すなわち、画質改善幅が大きい場合は、フィルタリング処理最適化部２０の適用効果が大きいとして、閾値Ｔ2が小さくなるように設定し、画質改善幅が小さい場合は、フィルタリング処理最適化部２０の適用効果が小さいとして、閾値Ｔ2が大きくなるように設定する。
【００６５】
そして、フィルタ評価判別手段１２は、新規フィルタ評価値と設定した閾値Ｔ2とを比較し（ステップＳ３０６）、新規フィルタ評価値が閾値Ｔ2以上である場合（ステップＳ３０６：Ｙ）、その新規フィルタをフィルタリング処理最適化部２０の処理対象であると判別し（ステップＳ３０７）、新規フィルタ評価値が閾値Ｔ2よりも小さい場合（ステップＳ３０６：Ｎ）、その新規フィルタをフィルタリング処理最適化部２０の処理対象でないと判別する（ステップＳ３０８）。そして、フィルタ評価判別手段１２は、Ｎ個の新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）及びＮ個の判別結果（新規フィルタのフィルタタタイプ毎に最適化処理を適用するか否かを示す情報）をフィルタリング処理最適化部２０に出力する（ステップＳ３０９）。
【００６６】
フィルタ設計部１１３は、実施例１の処理に加え、生成した新規フィルタ情報（フィルタタイプ毎のフィルタ係数値等）の新規フィルタ毎に、入力した原画像及び復号画像に基づいて、前記式（５）の差分をそれぞれ求め、これらの差分をフィルタ評価手段１１のフィルタ評価判別手段１２に出力する。尚、フィルタ評価判別手段１２がこれらの差分を求める場合、フィルタ設計部１１３は、原画像及び復号画像をフィルタ評価判別手段１２に出力する。
【００６７】
以上のように、実施例２の動画像符号化装置１によれば、フィルタ選定部１０のフィルタ評価判別手段１２が、前記式（５）により、復号画像と原画像の間の差分、及びフィルタを復号画像に適用した後の画像と原画像との間の差分から、フィルタリング処理最適化部２０の適用効果が大きい場合は閾値が小さくなり、適用効果が小さい場合は閾値が大きくなるような閾値Ｔ2を設定し、新規フィルタのフィルタタイプ毎の評価値が閾値Ｔ2以上である場合、その新規フィルタを、フィルタリング処理最適化部２０の処理対象に選定し、評価値が閾値Ｔ2よりも小さい場合、その新規フィルタをフィルタリング処理最適化部２０の処理対象から除外するようにした。これにより、実施例１と同様に、フィルタリング処理を最適化する際の処理負荷を低減することができ、伝送遅延の増加をなくすと共に、回路及び装置規模の大型化を防ぐことが可能となる。また、閾値Ｔ2を新規フィルタ毎に変化させることで、適用効果の大きい新規フィルタがフィルタリング処理最適化部２０の処理対象に選定され易くなるため、一層効果的にフィルタリング処理を最適化することができ、復号画像と原画像との間の差分を大幅に低減することが可能となる。
【００６８】
以上、実施例１，２を挙げて本発明を説明したが、本発明は前記実施例１，２に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施例１，２では、フィルタ選定部１０のフィルタ評価手段１１は、新規フィルタと過去フィルタのフィルタ係数値の絶対誤差を利用した前記式（２）による新規フィルタ評価値Ｖi_1、二乗誤差を利用した前記式（３）による新規フィルタ評価値Ｖi_2、または新規フィルタと過去フィルタのフィルタ係数値の相関の逆数を利用した前記式（４）による新規フィルタ評価値Ｖi_3を算出するようにしたが、これらの算出手法は例示であり、本発明はこれらの算出手法に限定されるものではない。
【００６９】
尚、本発明の実施例１，２による動画像符号化装置１のハードウェア構成としては、通常のコンピュータを使用することができる。動画像符号化装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。動画像符号化装置１に備えた符号化基本部１１１、局所復号部１１２、フィルタ設計部１１３、フィルタ選定部１０、フィルタリング処理最適化部２０、伝送データ生成部１１５及びフィルタバッファ１１７の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【符号の説明】
【００７０】
１，１０１，１０２ 動画像符号化装置
１０ フィルタ選定部
１１ フィルタ評価手段
１２ フィルタ評価判別手段
２０，１１４，１１６ フィルタリング処理最適化部
１１１ 符号化基本部
１１２ 局所復号部
１１３ フィルタ設計部
１１５ 伝送データ生成部
１１７ フィルタバッファ
【特許請求の範囲】
【請求項１】
動画像を符号化し、該符号化された動画像を復号した復号画像に適用するフィルタのフィルタリング情報を動画像符号化データと共に伝送する動画像符号化装置において、
前記動画像の原画像を入力して符号化し、符号化データを生成する符号化基本部と、
前記符号化データを復号し、復号画像を生成する局所復号部と、
複数のフィルタタイプのフィルタを前記復号画像にそれぞれ適用した後の画像と前記原画像との間の差分に基づいて、前記複数のフィルタタイプのそれぞれに対するフィルタ係数値を決定し、前記フィルタタイプ及びフィルタ係数値を含む情報を新規フィルタの情報として生成するフィルタ設計部と、
フィルタタイプ及びフィルタ係数値を含む情報を、過去フィルタの情報として保存するフィルタバッファと、
前記フィルタ設計部により生成された新規フィルタの情報と前記フィルタバッファに保存された過去フィルタの情報とを用いて、前記新規フィルタと過去フィルタとの間の類似度を算出し、前記類似度に基づいて、前記過去フィルタに類似しない新規フィルタを選定するフィルタ選定部と、
前記フィルタ選定部により選定された新規フィルタの情報と前記フィルタバッファに保存された過去フィルタの情報とを用いて、前記復号画像に対するフィルタリングの有無、フィルタリング有りの場合は適用するフィルタタイプ及びフィルタ係数値を含む情報をフィルタリング情報として選択するフィルタリング処理最適化部と、
前記符号化基本部により生成された符号化データと、前記フィルタリング処理最適化部により選択されたフィルタリング情報とを統合し、伝送データを生成する伝送データ生成部と、を備えることを特徴とする動画像符号化装置。
【請求項２】
請求項１に記載の動画像符号化装置において、
前記フィルタ選定部は、
前記フィルタ設計部により生成された新規フィルタの情報と前記フィルタバッファに保存された過去フィルタの情報とに基づいて、前記新規フィルタと過去フィルタとの間の類似度を算出し、前記類似度が高い場合は小さくなるように、前記類似度が低い場合は大きくなるように、前記新規フィルタの評価値を算出するフィルタ評価手段と、
前記フィルタ評価手段により算出された新規フィルタの評価値と所定の閾値とを比較し、前記評価値が閾値以上である場合、前記評価値の新規フィルタを前記フィルタリング処理最適化部の処理対象に選定し、前記評価値が閾値よりも小さい場合、前記評価値の新規フィルタを前記フィルタリング処理最適化部の処理対象から除外するフィルタ評価判別手段と、を備えることを特徴とする動画像符号化装置。
【請求項３】
請求項２に記載の動画像符号化装置において、
前記フィルタ評価判別手段の代わりに、新たなフィルタ評価判別手段は、
前記フィルタ設計部にて用いる復号画像及び原画像について、前記復号画像と原画像との間の差分、及び前記フィルタタイプのフィルタを前記復号画像に適用した後の画像と原画像との間の差分から得られる画質改善幅が大きい場合は小さくなるように、前記画質改善幅が小さい場合は大きくなるように、新たな閾値を設定し、前記フィルタ評価手段により算出された新規フィルタの評価値と前記閾値とを比較し、前記評価値が閾値以上である場合、前記評価値の新規フィルタを前記フィルタリング処理最適化部の処理対象に選定し、前記評価値が閾値よりも小さい場合、前記評価値の新規フィルタを前記フィルタリング処理最適化部の処理対象から除外することを特徴とする動画像符号化装置。
【請求項４】
請求項２または３に記載の動画像符号化装置において、
前記フィルタ評価手段は、
前記新規フィルタの情報に含まれるフィルタ係数値と、前記過去フィルタの情報に含まれるフィルタ係数値との間の誤差に基づいて、前記新規フィルタと過去フィルタとの間の類似度を算出することを特徴とする動画像符号化装置。
【請求項５】
コンピュータを、請求項１から４までのいずれか一項に記載の動画像符号化装置として機能させるための動画像符号化プログラム。
【請求項１】
動画像を符号化し、該符号化された動画像を復号した復号画像に適用するフィルタのフィルタリング情報を動画像符号化データと共に伝送する動画像符号化装置において、
前記動画像の原画像を入力して符号化し、符号化データを生成する符号化基本部と、
前記符号化データを復号し、復号画像を生成する局所復号部と、
複数のフィルタタイプのフィルタを前記復号画像にそれぞれ適用した後の画像と前記原画像との間の差分に基づいて、前記複数のフィルタタイプのそれぞれに対するフィルタ係数値を決定し、前記フィルタタイプ及びフィルタ係数値を含む情報を新規フィルタの情報として生成するフィルタ設計部と、
フィルタタイプ及びフィルタ係数値を含む情報を、過去フィルタの情報として保存するフィルタバッファと、
前記フィルタ設計部により生成された新規フィルタの情報と前記フィルタバッファに保存された過去フィルタの情報とを用いて、前記新規フィルタと過去フィルタとの間の類似度を算出し、前記類似度に基づいて、前記過去フィルタに類似しない新規フィルタを選定するフィルタ選定部と、
前記フィルタ選定部により選定された新規フィルタの情報と前記フィルタバッファに保存された過去フィルタの情報とを用いて、前記復号画像に対するフィルタリングの有無、フィルタリング有りの場合は適用するフィルタタイプ及びフィルタ係数値を含む情報をフィルタリング情報として選択するフィルタリング処理最適化部と、
前記符号化基本部により生成された符号化データと、前記フィルタリング処理最適化部により選択されたフィルタリング情報とを統合し、伝送データを生成する伝送データ生成部と、を備えることを特徴とする動画像符号化装置。
【請求項２】
請求項１に記載の動画像符号化装置において、
前記フィルタ選定部は、
前記フィルタ設計部により生成された新規フィルタの情報と前記フィルタバッファに保存された過去フィルタの情報とに基づいて、前記新規フィルタと過去フィルタとの間の類似度を算出し、前記類似度が高い場合は小さくなるように、前記類似度が低い場合は大きくなるように、前記新規フィルタの評価値を算出するフィルタ評価手段と、
前記フィルタ評価手段により算出された新規フィルタの評価値と所定の閾値とを比較し、前記評価値が閾値以上である場合、前記評価値の新規フィルタを前記フィルタリング処理最適化部の処理対象に選定し、前記評価値が閾値よりも小さい場合、前記評価値の新規フィルタを前記フィルタリング処理最適化部の処理対象から除外するフィルタ評価判別手段と、を備えることを特徴とする動画像符号化装置。
【請求項３】
請求項２に記載の動画像符号化装置において、
前記フィルタ評価判別手段の代わりに、新たなフィルタ評価判別手段は、
前記フィルタ設計部にて用いる復号画像及び原画像について、前記復号画像と原画像との間の差分、及び前記フィルタタイプのフィルタを前記復号画像に適用した後の画像と原画像との間の差分から得られる画質改善幅が大きい場合は小さくなるように、前記画質改善幅が小さい場合は大きくなるように、新たな閾値を設定し、前記フィルタ評価手段により算出された新規フィルタの評価値と前記閾値とを比較し、前記評価値が閾値以上である場合、前記評価値の新規フィルタを前記フィルタリング処理最適化部の処理対象に選定し、前記評価値が閾値よりも小さい場合、前記評価値の新規フィルタを前記フィルタリング処理最適化部の処理対象から除外することを特徴とする動画像符号化装置。
【請求項４】
請求項２または３に記載の動画像符号化装置において、
前記フィルタ評価手段は、
前記新規フィルタの情報に含まれるフィルタ係数値と、前記過去フィルタの情報に含まれるフィルタ係数値との間の誤差に基づいて、前記新規フィルタと過去フィルタとの間の類似度を算出することを特徴とする動画像符号化装置。
【請求項５】
コンピュータを、請求項１から４までのいずれか一項に記載の動画像符号化装置として機能させるための動画像符号化プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−６２７６７（Ｐ２０１３−６２７６７Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１１−２０１６１３（Ｐ２０１１−２０１６１３）
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]