画像処理装置、画像処理方法、およびプログラム
【課題】圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることが可能な画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するノイズ検出部と、入力画像信号に対して、入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するスケーリング部と、ノイズ情報とスケーリング情報とに基づいて、補正の度合いを示す調整信号を出力する調整信号生成部と、調整信号に基づいて、スケーリング処理が行われた画像信号を補正する補正部と、を備える画像処理装置が提供される。
【解決手段】圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するノイズ検出部と、入力画像信号に対して、入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するスケーリング部と、ノイズ情報とスケーリング情報とに基づいて、補正の度合いを示す調整信号を出力する調整信号生成部と、調整信号に基づいて、スケーリング処理が行われた画像信号を補正する補正部と、を備える画像処理装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
例えば離散コサイン変換（Discrete Cosine Transform；ＤＣＴ）などを用いた符号化方式を用いて画像を圧縮する場合には、ブロック歪（以下、「ブロックノイズ」と示す。）が発生する場合がある。このような中、ブロックノイズを低減して画像信号を補正することによって、高画質化を図る技術が開発されている。ブロックノイズを低減して画像信号を補正することによって高画質化を図る技術としては、例えば、特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２２９５４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば特許文献１のような高画質化を図る従来の技術（以下、単に「従来の技術」と示す場合がある。）は、例えば離散コサイン変換などを用いて圧縮符号化された画像を示す画像信号（以下、「圧縮符号化された画像信号」と示す場合がある。）のブロックノイズを低減し、ブロックノイズが低減された画像信号に対して輪郭強調処理などの画像処理を行う。よって、ブロックノイズを低減するノイズ低減処理と、画質を向上させるための画像処理とが行われるので、従来の技術を用いることによって、高画質化を図ることができる可能性がある。
【０００５】
ここで、例えば、ノイズ低減処理を行った後画像処理を行う前に、画像信号が示す画像の拡大または縮小を行うスケーリング処理が行われた場合には、ブロックノイズが存在していた位置が変化する可能性が高い。従来の技術では、上記スケーリング処理によるブロックノイズの位置が変化することについて考慮がされていないので、輪郭強調処理などの画像処理を行った結果、低減したブロックノイズが強調されることが起こりうる。したがって、従来の技術を用いたとしても、高画質化を図ることができるとは限らない。
【０００６】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の第１の観点によれば、圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するノイズ検出部と、上記入力画像信号に対して、上記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するスケーリング部と、上記ノイズ情報と上記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力する調整信号生成部と、上記調整信号に基づいて、上記スケーリング処理が行われた画像信号を補正する補正部と、を備える画像処理装置が提供される。
【０００８】
かかる構成により、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【０００９】
また、上記調整信号生成部は、上記ノイズ情報と上記スケーリング情報とに基づいて、拡大または縮小された画像におけるブロックノイズのブロック境界からの距離を特定するノイズ計測部と、特定された上記ブロック境界からの距離に対応する上記調整信号を出力する調整信号出力部とを備えてもよい。
【００１０】
また、ノイズ計測部は、水平方向の上記ブロック境界からの距離、および／または、垂直方向の上記ブロック境界からの距離を特定してもよい。
【００１１】
また、上記調整信号生成部は、上記ノイズ情報に含まれる上記ブロックノイズの強さを示す情報に基づいて、上記調整信号が示す補正の度合いを調整する調整部をさらに備えてもよい。
【００１２】
また、上記補正部は、上記スケーリング処理が行われた上記画像信号に基づいて局所的なブロックノイズを判定し、判定結果に応じて上記調整信号が示す補正の度合いを調整し、補正の度合いが調整された調整信号に基づいて、上記スケーリング処理が行われた上記画像信号を補正してもよい。
【００１３】
上記調整信号生成部は、画像信号のゲインを調整する調整信号を出力し、上記補正部は、上記調整信号に基づいて、上記スケーリング処理が行われた上記画像信号のゲインを調整してもよい。
【００１４】
また、入力画像信号のブロックノイズを低減するノイズ低減部をさらに備え、上記スケーリング部は、ブロックノイズが低減された入力画像信号に対して、上記スケーリング処理を行ってもよい。
【００１５】
また、上記目的を達成するために、本発明の第２の観点によれば、圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するステップと、上記入力画像信号に対して、上記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するステップと、上記ノイズ情報と上記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力するステップと、上記調整信号に基づいて、上記スケーリング処理が行われた画像信号を補正するステップと、を有する画像処理方法が提供される。
【００１６】
かかる方法を用いることにより、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【００１７】
また、上記目的を達成するために、本発明の第３の観点によれば、圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するステップ、上記入力画像信号に対して、上記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するステップ、上記ノイズ情報と上記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力するステップ、上記調整信号に基づいて、上記スケーリング処理が行われた画像信号を補正するステップ、をコンピュータに実行させるためのプログラムが提供される。
【００１８】
かかるプログラムを用いることにより、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【発明の効果】
【００１９】
本発明によれば、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図２】本発明の実施形態に係る画像処理装置におけるブロックノイズ強度の検出方法の一例を示す説明図である。
【図３】本発明の実施形態に係る画像処理装置におけるブロックノイズ強度の検出方法の一例を示す説明図である。
【図４】本発明の実施形態に係る画像処理装置におけるブロックノイズ強度の検出方法の一例を示す説明図である。
【図５】本発明の実施形態に係る画像処理装置における調整信号生成部の第１の構成例を示す説明図である。
【図６】本発明の実施形態に係る画像処理装置における調整信号の生成方法の一例を説明するための説明図である。
【図７】本発明の実施形態に係る画像処理装置における調整信号生成部の第２の構成例を示す説明図である。
【図８Ａ】本発明の実施形態に係る画像処理装置における局所補正処理の一例を説明するための説明図である。
【図８Ｂ】本発明の実施形態に係る画像処理装置における局所補正処理の一例を説明するための説明図である。
【図８Ｃ】本発明の実施形態に係る画像処理装置における局所補正処理の一例を説明するための説明図である。
【図９】本発明の実施形態に係る画像処理装置における局所補正処理の一例を説明するための説明図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
また、以下では、下記に示す順序で説明を行う。
１．本発明の実施形態に係る画像処理方法
２．本発明の実施形態に係る画像処理装置
３．本発明の実施形態に係るプログラム
【００２３】
（本発明の実施形態に係る画像処理方法）
本発明の実施形態に係る画像処理装置（以下、「画像処理装置１００」と示す場合がある。）の構成について説明する前に、本発明の実施形態に係る画像処理方法の概要について説明する。以下では、画像処理装置１００が、本発明の実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【００２４】
上述したように、ノイズ低減処理を行った後画像処理を行う前に、画像信号が示す画像（静止画像または動画像。以下、同様とする。）の拡大または縮小を行うスケーリング処理が行われた場合には、ブロックノイズが存在していた位置が変化する可能性が高い。そこで、本発明の実施形態に係る画像処理装置１００は、処理対象の圧縮符号化された画像信号（以下、「入力画像信号」と示す場合がある。）に基づいて検出されたブロックノイズを示すノイズ情報と、スケーリング処理における拡大率または縮小率を示すスケーリング情報とに基づいて、補正の度合いを示す調整信号を生成する。そして、画像処理装置１００は、調整信号に基づいて、入力画像信号に対してスケーリング処理が行われた画像信号（以下、「スケーリング画像信号」と示す場合がある。）を補正する。
【００２５】
ここで、本発明の実施形態に係る入力画像信号としては、例えば、画像処理装置１００がテレビ塔などから送信された放送波を（直接的、またはセットトップボックスなどを介して間接的に）受信してデコードした結果得られる画像信号が挙げられるが、本発明の実施形態に係る入力画像信号は、上記に限られない。例えば、画像処理装置１００は、ネットワークを介して（または直接的に）外部装置から送信された画像信号を、入力画像信号として処理することも可能である。また、画像処理装置１００は、例えば、記憶部（後述する）や、画像処理装置１００から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を、入力画像信号として処理してもよい。また、本発明の実施形態に係る入力画像信号としては、例えば、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ １４４９６）や、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）、ＭＰＥＧ−１、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４などのように、複数の画素からなるブロック単位で圧縮符号化する符号化方式で符号化された画像信号が挙げられる。以下では、本発明の実施形態に係る入力画像信号が、８×８画素のブロック単位で符号化された画像信号である場合、すなわち、ブロック単位となる画素数が“８”である場合を例に挙げて説明する。
【００２６】
また、本発明の実施形態に係るノイズ情報としては、例えば、ブロック境界の位置を示す情報と、ブロックノイズ強度を示す情報（ブロックノイズの強さを示す情報）とが挙げられる。より具体的には、画像処理装置１００は、例えば、画像におけるブロックの開始位置を示すデータ（以下、「ｂ_ｐｏｓ」と示す場合がある。）と、ブロックのサイズを示すデータ（以下、「ｂ_ｓｉｚｅ」と示す場合がある。）をブロック境界の位置を示す情報とする。ここで、ｂ_ｐｏｓとしては、例えば、画像の所定の位置（例えば画像の左下など）を原点としたときにおける画素の座標を示す座標データが挙げられる。また、ｂ_ｓｉｚｅとしては、例えば、ブロック単位となる画素数を示すデータが挙げられる。なお、画像処理装置１００は、例えば、後述するブロック境界の位置の検出方法を用いて、ブロックのサイズを判定することが可能である。画像処理装置１００は、入力画像信号の符号化方式に基づいて、各ブロックに対応するｂ_ｐｏｓと、ｂ_ｓｉｚｅとを特定することが可能である。また、画像処理装置１００は、例えば、ブロックノイズの強度を示すデータ（以下、「ｂ_ｓｔｒ」と示す場合がある。）をブロックノイズ強度を示す情報とする。本発明の実施形態に係るブロックノイズ強度の検出方法については、後述する。
【００２７】
また、本発明の実施形態に係る調整信号としては、例えば、画像信号のゲインを調整する信号（マスクゲイン信号）が挙げられる。なお、本発明の実施形態に係る調整信号は、画像信号のゲインを調整する信号に限られない。例えば、本発明の実施形態に係る調整信号としては、画像処理装置１００が備える補正部（後述する）における画像信号の補正に係る任意の画像処理の度合いを規定する信号（例えば、補正部における画像処理に対応する処理のレベルを規定する信号）が挙げられる。以下では、本発明の実施形態に係る画像処理装置１００が、画像信号のゲインを調整する調整信号を生成する場合を主に例に挙げて説明する。
【００２８】
本発明の実施形態に係る画像処理装置１００は、上記のようにノイズ情報とスケーリング情報とに基づいて調整信号を生成し、調整信号に基づいてスケーリング画像信号を補正する。よって、画像処理装置１００では、例えば、線形なスケーリングや、非線形なスケーリング（例えば、パノラマワイドやオーバースキャン）が入力画像信号に対して行われたとしても、画像処理（補正処理）によってブロックノイズが強調されることはない。つまり、画像処理装置１００は、ブロックノイズが発生した画像に対しても、より自然な画像処理を実現することができる。
【００２９】
したがって、画像処理装置１００は、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【００３０】
以下、本発明の実施形態に係る画像処理装置１００の構成の一例について説明をすると共に、本発明の実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。
【００３１】
（本発明の実施形態に係る画像処理装置）
図１は、本発明の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。
【００３２】
画像処理装置１００は、例えば、ノイズ検出部１０２と、ノイズ低減部１０４と、スケーリング部１０６と、調整信号生成部１０８と、補正部１１０とを備える。
【００３３】
また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory；図示せず）、ＲＡＭ（Random Access Memory；図示せず）、記憶部（図示せず）、デコーダ、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。
【００３４】
ここで、制御部（図示せず）は、例えば、ＭＰＵ（Micro Processing Unit）や、各種処理回路などで構成され画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、デコーダや、後述するノイズ検出部１０２、ノイズ低減部１０４、スケーリング部１０６、調整信号生成部１０８、補正部１１０の役目を果たしてもよい。また、制御部（図示せず）は、例えば、補正部１１０が画像処理を行った画像信号をエンコードして、記憶部（図示せず）に記録するなど、各種画像処理が行われた画像信号に対する処理を行う役目を果たしてもよい。
【００３５】
ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
【００３６】
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。
【００３７】
操作部（図示せず）としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することもできる。
【００３８】
表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。
【００３９】
通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００４０】
以下、図１に示す本発明の実施形態に係る画像処理装置１００の構成例について説明しつつ、画像処理装置１００における処理（画像処理方法に係る処理）の一例について説明する。
【００４１】
ノイズ検出部１０２は、入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力する。ここで、ノイズ情報としては、例えば、ブロック境界の位置を示す情報（ｂ_ｐｏｓ、ｂ_ｓｉｚｅ）と、ブロックノイズ強度を示す情報（ｂ_ｓｔｒ）とが挙げられる。また、ノイズ検出部１０２は、ブロックノイズが検出されたか否かによらず全てのブロックに対応するノイズ情報を出力するが、ノイズ検出部１０２における処理は、上記に限られない。例えば、ノイズ検出部１０２は、ブロックノイズが検出されたと判定されたブロックに対応するノイズ情報を選択的に出力することも可能である。ノイズ検出部１０２は、例えば、後述するブロックノイズ強度の検出方法により算出されたブロックの段差特徴を示す値（ｗｏｒｋ（ｘ））の値が０以下である場合に、ブロックノイズが検出されなかったと判定する。
【００４２】
［ブロック境界の位置の検出方法の一例］
ここで、本発明の実施形態に係る画像処理装置１００におけるブロック境界の位置の検出方法の一例について説明する。以下では、画像処理装置１００が、入力画像信号が示す画像における水平方向のブロック境界の位置を判定する場合を例に挙げて説明する。なお、画像処理装置１００は、入力画像信号が示す画像における垂直方向のブロック境界の位置についても、同様の方法を用いることによって、検出することが可能である。
【００４３】
画像処理装置１００は、例えば、入力画像信号における水平方向の隣接画素間の差分信号を画面内で積算することによって、ブロック境界の位置を検出する。
【００４４】
より具体的には、画像処理装置１００は、例えば、水平方向の隣接する画素における画素値Ｄ（例えば輝度値）の差分絶対値（｜Ｄ（ｘ）−Ｄ（ｘ＋１）｜）を算出する。また、画像処理装置１００は、算出した差分絶対値を垂直方向に累計して、水平方向の位置ごとの累計値を算出する。ここで、画像処理装置１００は、累計値を度数、水平方向の位置を階級とするヒストグラムを算出してもよい。また、画像処理装置１００は、算出された水平方向の位置ごとの累計値と、ブロック位置を判定するための所定の閾値とを用いて、当該閾値以上の水平方向の位置（または、閾値より大きい水平方向の位置）を判定する。ここで、上記閾値としては、例えば、予め設定された固定値が挙げられるが、調整可能な可変値であってもよい。そして、画像処理装置１００は、判定された位置（例えばヒストグラムにおけるピーク位置に該当する。）をブロックの開始位置（ブロック境界の位置）として判定し、判定された位置間の距離をブロックのサイズと判定する。
【００４５】
画像処理装置１００は、例えば上記のような方法を用いることによって、ブロック境界の位置を検出する。なお、本発明の実施形態に係る画像処理装置１００におけるブロック境界の位置の検出方法が、上記に限られないことは、言うまでもない。
【００４６】
［ブロックノイズ強度の検出方法の一例］
次に、本発明の実施形態に係る画像処理装置１００におけるブロックノイズ強度の検出方法の一例について説明する。図２、図３、図４は、本発明の実施形態に係る画像処理装置１００におけるブロックノイズ強度の検出方法の一例を示す説明図である。以下では、画像処理装置１００が、入力画像信号が示す画像における水平方向のブロックノイズの強度を検出する場合を例に挙げて、ブロックノイズ強度の検出方法の一例を説明する。なお、画像処理装置１００は、入力画像信号が示す画像における垂直方向のブロックノイズの強度についても、同様の方法を用いることによって、検出することが可能である。
【００４７】
画像処理装置１００は、例えば、注目画素ｘにおける画素値Ｄ（例えば輝度値）と注目画素ｘの近傍の画素における画素値Ｄとに基づく差分絶対値を算出する。図２に示す例では、画像処理装置１００は、例えば下記の数式１〜数式５によって、差分絶対値ａ〜ｅを算出する。なお、画像処理装置１００は、例えば、注目画素ｘの近傍の画素がない（または、検出を行うために十分な数の画素がない）場合には、当該注目画素ｘについてのブロックノイズ強度の検出に係る処理を行わなくてもよい。
【００４８】
【数１】
【数２】
【数３】
【数４】
【数５】
【００４９】
差分絶対値ａ〜ｅを算出すると、画像処理装置１００は、例えば下記の数式６によって、注目画素ｘに対応するブロックの段差特徴を示す値（ｗｏｒｋ（ｘ））を算出する。ここで、数式６は、注目画素ｘの位置に対応する段差ｃと周辺段差の平均値とを比較する演算である。
【００５０】
ｗｏｒｋ（ｘ）＝ｃ−（ａ＋ｂ＋ｄ＋ｅ）／４
・・・（数式６）
【００５１】
画像処理装置１００は、例えば、ｗｏｒｋ（ｘ）の値が０（ゼロ）以下のときは、ブロックノイズが検出されなかったと判定し、ｗｏｒｋ（ｘ）の値が０（ゼロ）より大きい場合には、ブロックノイズが検出されたと判定する。
【００５２】
画像処理装置１００は、画像全体におけるｗｏｒｋ（ｘ）をレベル別に集計した値ｃｎｔ_ａｌｌ（｜Ｖ｜）と、ブロック境界の座標におけるｗｏｒｋ（ｘ）をレベル別に集計した値ｃｎｔ_ｂｂ（｜Ｖ｜）とを、レベルごとに算出する（図３）。そして、画像処理装置１００は、レベルごとに“ｃｎｔ_ｂｂ（｜Ｖ｜）／ｃｎｔ_ａｌｌ（｜Ｖ｜）”を算出して、算出した“ｃｎｔ_ｂｂ（｜Ｖ｜）／ｃｎｔ_ａｌｌ（｜Ｖ｜）”が所定の閾値ｔｈ_ｂｎｄを超える最大のレベルを、ブロックノイズ強度として検出する。
する（図４）。
【００５３】
ここで、画像処理装置１００は、例えば、検出されたブロックノイズに対応するレベルを示す値（例えばレベルを識別する番号）をｂ_ｓｔｒとするが、画像処理装置１００における処理は、上記に限られない。例えば、画像処理装置１００は、レベルを識別する番号と対応付けられた値を、ｂ_ｓｔｒとすることも可能である。また、所定の閾値ｔｈ_ｂｎｄとしては、例えば、予め規定された値が挙げられるが、所定の閾値ｔｈ_ｂｎｄは、上記に限られない。例えば、所定の閾値ｔｈ_ｂｎｄは、画像処理装置１００のユーザ（以下、単に「ユーザ」と示す場合がある。）により設定された値であってもよい。
【００５４】
画像処理装置１００は、例えば上記のような処理を行うことによって、ブロックノイズ強度を検出する。なお、本発明の実施形態に係る画像処理装置１００におけるブロックノイズ強度の検出方法が、上記に限られないことは、言うまでもない。
【００５５】
再度図１を参照して、本発明の実施形態に係る画像処理装置１００の構成例について説明する。ノイズ検出部１０２は、例えば上記のような検出方法に係る処理を行うことによって、ノイズ情報を出力する。また、ノイズ検出部１０２は、入力画像信号をノイズ低減部１０４へ伝達する。なお、本発明の実施形態に係る画像処理装置１００の構成は、ノイズ検出部１０２が入力画像信号をノイズ低減部１０４へ伝達する構成に限られない。例えば、画像処理装置１００は、ノイズ検出部１０２を介さずに入力画像信号をノイズ低減部１０４に入力させてもよい。
【００５６】
ノイズ検出部１０２は、例えば、上記のような検出方法に係る処理を行うための任意の構成を有する専用の処理回路で実現可能であるが、ノイズ検出部１０２の構成は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置１００では制御部（図示せず）がノイズ検出部１０２の役目を果たしてもよく、また、ノイズ検出部１０２は、他の処理も可能な汎用の処理回路であってもよい。
【００５７】
ノイズ低減部１０４は、例えばフィルタ回路などで構成され、入力画像信号に含まれうるブロックノイズを低減する。また、ノイズ低減部１０４は、ブロックノイズを低減させた入力画像信号をスケーリング部１０６へ伝達する。
【００５８】
ここで、ノイズ低減部１０４は、例えば、ノイズ検出部１０２におけるブロックノイズの検出結果によらずに処理を行うが、ノイズ低減部１０４における処理は、上記に限られない。例えば、ノイズ低減部１０４は、ノイズ検出部１０２から伝達されるノイズ情報に基づいて、選択的にブロックノイズの低減を行ってもよい。上記の場合、ノイズ低減部１０４は、例えば、ノイズ情報に基づいてフィルタ回路などのノイズ低減に係る回路に入力画像信号を選択的に入力する構成や、ノイズ情報に基づいてノイズ低減に係る回路を選択的に有効化する構成をとる。
【００５９】
スケーリング部１０６は、伝達される入力画像信号に対して、入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行う。そして、スケーリング部１０６は、スケーリング情報を調整信号生成部１０８へ伝達し、また、スケーリング画像信号を補正部１１０へ伝達する。
【００６０】
ここで、スケーリング部１０６におけるスケーリング処理としては、例えば、線形なスケーリングを行う処理や、非線形なスケーリング（例えば、パノラマワイドやオーバースキャン）を行う処理が挙げられる。また、スケーリング部１０６は、上記のようなスケーリング処理を行うための任意の構成を有する専用の処理回路で実現可能であるが、スケーリング部１０６の構成は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置１００では制御部（図示せず）がスケーリング部１０６の役目を果たしてもよく、また、スケーリング部１０６は、他の処理も可能な汎用の処理回路であってもよい。
【００６１】
調整信号生成部１０８は、ノイズ検出部１０２から伝達されるノイズ情報と、スケーリング部１０６から伝達されるスケーリング情報とに基づいて、調整信号を生成する。そして、調整信号生成部１０８は、生成した調整信号を補正部１１０へ伝達する。
【００６２】
なお、調整信号生成部１０８における処理は、ノイズ検出部１０２から伝達されるノイズ情報に基づいて調整信号を生成する処理に限られない。例えば、デコーダはデコード処理の際にブロックノイズの位置や強度を特定することが可能である。よって、調整信号生成部１０８は、例えば、画像処理装置１００が備えるデコーダ、または、画像処理装置１００の外部のデコーダが特定したブロックノイズの位置や強度を示すノイズ情報が伝達される場合には、ノイズ検出部１０２から伝達されるノイズ情報の代わりに、デコーダから伝達されるノイズ情報を用いて処理を行ってもよい。以下では、調整信号生成部１０８が、ノイズ検出部１０２から伝達されるノイズ情報を用いて調整信号を生成する場合を例に挙げて、調整信号生成部１０８のより具体的な処理について説明する。
【００６３】
［調整信号生成部１０８の構成例］
（１）第１の構成例
図５は、本発明の実施形態に係る画像処理装置１００における調整信号生成部１０８の第１の構成例を示す説明図である。
【００６４】
第１の構成例に係る調整信号生成部１０８は、例えば、ノイズ計測部１１２と、フィルタ部１１４と、最小値判定部１１６と、調整信号出力部１１８とを備える。
【００６５】
ノイズ計測部１１２は、ノイズ情報とスケーリング情報とに基づいて、スケーリング処理によって拡大または縮小された画像における、ブロックノイズのブロック境界からの距離（以下、「ｂ_ｄｉｓｔ」と示す場合がある。）を特定する。ここで、図５では、ノイズ計測部１１２が、水平方向のブロック境界からの距離を特定する第１ノイズ計測部１１２Ａと、垂直方向のブロック境界からの距離を特定する第２ノイズ計測部１１２Ｂとを備える構成を示している。
【００６６】
なお、本発明の実施形態に係るノイズ計測部１１２は、水平方向のブロック境界からの距離と、垂直方向のブロック境界からの距離との双方を特定する構成に限られない。例えば、本発明の実施形態に係るノイズ計測部１１２は、補正部１１０における処理に対応して、水平方向のブロック境界からの距離、または、垂直方向のブロック境界からの距離のいずれか一方を特定する構成であってもよい。
【００６７】
〔ブロック境界からの距離の特定方法の一例〕
ここで、本発明の実施形態に係る画像処理装置１００におけるブロック境界からの距離の特定方法の一例について説明する。以下では、画像処理装置１００が、水平方向のブロック境界からの距離を特定する場合を例に挙げて、ブロック境界からの距離の特定方法の一例を説明する。なお、画像処理装置１００は、垂直方向のブロック境界からの距離についても、同様の方法を用いることによって、特定することが可能である。
【００６８】
画像処理装置１００は、例えば、ノイズ情報に含まれるブロック境界の位置を示す情報（ｂ_ｐｏｓ、ｂ_ｓｉｚｅ）を用いて、例えば下記の数式７、数式８の演算を行うことによって、ｂ_ｄｉｓｔを算出する。ここで、数式７、数式８は、ブロック単位となる画素数が“８”である場合におけるｂ_ｄｉｓｔの算出方法の一例を示している。また、数式７に示す“ｍｏｄ（ｄ，Ｘ）”は、ｄを法とするＸの剰余であり、“ｒａｔｅ”は、スケーリング情報が示す拡大率または縮小率である。また、数式８は、ブロック単位となる画素数“８”に対応する距離（０〜７）を、後述する調整信号出力部１１８における処理の例に対応する距離（０〜３）に変換する演算を示している。
【００６９】
【数６】
【数７】
【００７０】
画像処理装置１００は、例えば上記のような処理を行うことによって、ブロック境界からの距離を特定する。なお、本発明の実施形態に係る画像処理装置１００におけるブロック境界からの距離の特定方法が、上記に限られないことは、言うまでもない。
【００７１】
ノイズ計測部１１２は、第１ノイズ計測部１１２Ａ、第２ノイズ計測部１１２Ｂそれぞれにおいて例えば上記の処理を行う。そして、第１ノイズ計測部１１２Ａは、特定された水平方向のブロック境界からの距離を示すｂ_ｄｉｓｔ_Ｈを出力し、第２ノイズ計測部１１２Ｂは、特定された垂直方向のブロック境界からの距離を示すｂ_ｄｉｓｔ_Ｖを出力する。ここで、ｂ_ｄｉｓｔ_Ｈ、ｂ_ｄｉｓｔ_Ｖとしては、例えば、２ビットのデジタルデータが挙げられるが、ｂ_ｄｉｓｔ_Ｈ、ｂ_ｄｉｓｔ_Ｖは、上記に限られない。
【００７２】
また、ノイズ計測部１１２は、例えば、上記のような特定方法に係る処理を行うための任意の構成を有する専用の処理回路で実現可能であるが、ノイズ計測部１１２の構成は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置１００では制御部（図示せず）がノイズ計測部１１２の役目を果たしてもよく、また、ノイズ計測部１１２は、他の処理も可能な汎用の処理回路であってもよい。
【００７３】
フィルタ部１１４は、例えばローパス・フィルタなどのフィルタ回路で構成され、ノイズ計測部１１２から伝達されるｂ_ｄｉｓｔをフィルタリングする。
【００７４】
ここで、図５では、フィルタ部１１４が、第１ノイズ計測部１１２Ａに対応する第１フィルタ部１１４Ａと、第２ノイズ計測部１１２Ｂに対応する第２フィルタ部１１４Ｂとを備える構成を示しているが、本発明の実施形態に係るフィルタ部１１４の構成は、上記に限られない。例えば、ノイズ計測部１１２が水平方向のブロック境界からの距離、または、垂直方向のブロック境界からの距離のいずれか一方を特定する構成である場合には、フィルタ部１１４は、ノイズ計測部１１２に対応する第１フィルタ部１１４Ａまたは第２フィルタ部１１４Ｂのいずれか一方で構成されていてもよい。
【００７５】
また、調整信号生成部１０８は、例えば、フィルタ部１１４を備えない構成をとることも可能である。
【００７６】
最小値判定部１１６は、例えば比較回路などで構成され、対応するブロックにおけるｂ_ｄｉｓｔ_Ｈおよびｂ_ｄｉｓｔ_Ｖの最小値を判定し、最小値を調整信号出力部１１８へ伝達する。なお、例えば、ノイズ計測部１１２が水平方向のブロック境界からの距離、または、垂直方向のブロック境界からの距離のいずれか一方を特定する構成である場合には、調整信号生成部１０８は、最小値判定部１１６を備えていなくてもよい。
【００７７】
調整信号出力部１１８は、伝達されるｂ_ｄｉｓｔ_Ｈ、ｂ_ｄｉｓｔ_Ｖ、最小値に対応する調整信号を生成して出力する。
【００７８】
図６は、本発明の実施形態に係る画像処理装置１００における調整信号の生成方法の一例を説明するための説明図である。ここで、図６は、画像処理装置１００が画像信号のゲインを調整する調整信号を出力する場合における、調整信号生成部１０８（調整信号出力部１１８）が調整信号の生成に用いるゲインカーブの一例を示している。
【００７９】
画像処理装置１００は、図６に示すようなゲインカーブを示すデータや、ｂ_ｄｉｓｔとゲインの調整量とが一対一に対応付けられたルックアップテーブルを、例えば、補正部１１０における処理ごとや、スケーリング部１０６において行われるスケーリング処理の種別ごとに記憶部（図示せず）やＲＯＭなどに記憶する。また、画像処理装置１００は、例えば補正部１１０において周波数分離型輪郭強調処理を行う場合には、周波数帯域ごとに、ゲインカーブやルックアップテーブルを記憶してもよい。上記の場合には、画像処理装置１００は、例えば低域や高域における輪郭強調処理を弱めるなど、入力画像信号のノイズの周波数特性に基づく画像の補正が可能となる。
【００８０】
調整信号出力部１１８は、上記ゲインカーブなどを用いて、伝達されるｂ_ｄｉｓｔ_Ｈ、ｂ_ｄｉｓｔ_Ｖ、最小値に対応する調整信号を、例えば、補正部１１０における処理ごとや、周波数帯域ごとに生成する。そして、調整信号出力部１１８は、生成した調整信号を出力する。
【００８１】
なお、上述したように、本発明の実施形態に係る画像処理装置１００は、画像信号のゲインを調整する調整信号に限られず、例えば、ゲインの調整以外の画像処理の度合いを示す調整信号を生成することも可能である。画像処理の度合いを示す調整信号を生成する場合には、画像処理装置１００は、例えば、ｂ_ｄｉｓｔと画像処理の度合いを示す値とが一対一に対応付けられたルックアップテーブルを、補正部１１０における処理ごとや、周波数帯域ごと、スケーリング部１０６において行われるスケーリング処理の種別ごとに記憶部（図示せず）やＲＯＭなどに記憶する。そして、画像処理装置１００は、画像信号のゲインを調整する調整信号を生成する場合と同様に、ルックアップテーブルなどを用いて、伝達されるｂ_ｄｉｓｔ_Ｈ、ｂ_ｄｉｓｔ_Ｖ、最小値に対応する調整信号を、例えば、補正部１１０における処理ごとや、周波数帯域ごとに生成する。
【００８２】
第１の構成例に係る調整信号生成部１０８は、例えば図５に示す構成によって、ノイズ情報とスケーリング情報とに基づいて、調整信号を生成することができる。なお、本発明の実施形態に係る調整信号生成部１０８の構成は、図５に示す構成に限られない。
【００８３】
（２）第２の構成例
図７は、本発明の実施形態に係る画像処理装置１００における調整信号生成部１０８の第２の構成例を示す説明図である。
【００８４】
図７に示す第２の構成例に係る調整信号生成部１０８は、図５に示す第１の構成例に係る調整信号生成部１０８と基本的に同様の構成を有するが、図５に示す第１の構成例に係る調整信号生成部１０８と比較すると、第２の構成例に係る調整信号生成部１０８は、調整部１２０をさらに備えている。
【００８５】
調整部１２０は、ノイズ情報に含まれるブロックノイズの強さを示す情報（ｂ_ｓｔｒ）に基づいて、調整信号が示す補正の度合いを調整する。より具体的には、調整部１２０は、例えば、ｂ_ｓｔｒの値（ブロックノイズの強さを示す値）が、所定の閾値よりも大きい場合に、より補正の度合いが大きくなるように調整信号を調整する。また、調整部１２０は、例えば、ｂ_ｓｔｒの値が小さいほど、補正の度合いが小さくなるように調整信号を調整してもよい。
【００８６】
第２の構成例に係る調整信号生成部１０８は、図５に示す第１の構成例に係る調整信号生成部１０８と基本的に同様の構成を有する。よって、第２の構成例に係る調整信号生成部１０８は、図７に示す構成によって、図５に示す第１の構成例に係る調整信号生成部１０８と同様に、ノイズ情報とスケーリング情報とに基づいて、調整信号を生成することができる。
【００８７】
また、第２の構成例に係る調整信号生成部１０８は、さらに調整部１２０を備えることによって、ノイズ検出部１０２において検出されたブロックノイズの強さに基づいて調整信号が示す補正の度合いを調整する。よって、第２の構成例に係る調整信号生成部１０８から出力される調整信号に基づいて、補正部１１０において画像信号の補正が行われることによって、よりノイズ検出部１０２における検出結果が反映された画像信号の補正を行うことが可能となる。
【００８８】
画像処理装置１００は、例えば図５、図７に示す構成を有する調整信号生成部１０８を備える。なお、本発明の実施形態に係る調整信号生成部１０８の構成は、図５、図７に示す構成に限られない。例えば、以下では、補正部１１０における処理の例として説明するが、調整信号生成部１０８は、さらにブロック境界ごとにのブロック歪強度を評価する関数に基づいて調整信号を調整し、調整された調整信号を出力することも可能である。上記の場合には、画像処理装置１００は、よりきめ細かな補正を行うことができる。
【００８９】
再度図１を参照して、本発明の実施形態に係る画像処理装置１００の構成例について説明する。補正部１１０は、調整信号生成部１０８から伝達される調整信号に基づいて、スケーリング処理部１０６から伝達されるスケーリング画像信号を補正する。例えば、伝達される調整信号が、画像信号のゲインを調整する調整信号である場合には、補正部１１０は、乗算器などを用いてスケーリング画像信号のゲインを調整する。また、伝達される調整信号が、ゲインの調整以外の画像処理の度合いを示す調整信号である場合には、補正部１１０は、調整信号が示す処理のレベル（例えば処理の強弱に係るレベル）に応じて、画像処理を行う。
【００９０】
補正部１１０は、例えば上記のように、ノイズ情報とスケーリング情報に基づき生成された調整信号に基づいてスケーリング画像信号を補正することによって、ブロックノイズが強調されることを防止することができる。
【００９１】
なお、補正部１１０における処理は、上記に限らない。例えば、補正部１１０は、スケーリング画像信号に基づいて、局所的なブロックノイズを判定して、判定結果に応じて伝達される調整信号が示す補正の度合いを調整することも可能である。ここで、局所的なブロックノイズとしては、例えば、ブロック境界において発生するブロックノイズが挙げられる。そして、補正部１１０は、調整された調整信号に基づいて、スケーリング画像信号を補正する。上記の場合には、画像処理装置１００は、よりきめ細かな補正を行うことができる。
【００９２】
［局所補正処理の一例］
図８Ａ〜図８Ｃ、図９は、本発明の実施形態に係る画像処理装置１００における局所補正処理の一例を説明するための説明図である。ここで、図８Ａ〜図８Ｂは、画像処理装置１００における、ブロック境界において発生する局所的なブロックノイズの判定方法の一例を説明するための説明図である。また、図９は、画像処理装置１００における、局所的なブロックノイズの判定結果に応じた調整信号の調整の一例を示す説明図である。以下では、調整信号生成部１０８から伝達される調整信号が、画像信号のゲインを調整する調整信号である場合を例に挙げて、補正部１１０における局所補正処理の一例について説明する。
【００９３】
補正部１１０は、例えば、スケーリング画像信号におけるブロック境界の画素（注目画素ｘ）について、上記数式６の演算を行う。そして、補正部１１０は、数式６における演算結果であるｂｂ_ｒａｎｇｅ（数式６に示すｗｏｒｋ（ｘ）に該当）と、閾値ｔｈｔｅｘと、閾値ｔｈｅｄｇｅ（ｔｈｔｅｘ＜ｔｈｅｄｇｅ）とに基づいて、ブロック境界におけるブロックノイズを判定する。ここで、ｔｈｔｅｘは、テクスチャを判定するための閾値であり、例えばｂｂ_ｒａｎｇｅがｔｈｔｅｘ以下（または、ｔｈｔｅｘ未満。以下同様とする。）の場合には、補正部１１０は、注目画素に対応する差分絶対値ｃをテクスチャとみなす。また、ｔｈｅｄｇｅは、エッジを判定するための閾値であり、例えばｂｂ_ｒａｎｇｅがｔｈｅｄｇｅ以上（または、ｔｈｅｄｇｅより大きい。以下同様とする。）の場合には、補正部１１０は、注目画素に対応する差分絶対値ｃをエッジとみなす。テクスチャを判定するための閾値ｔｈｔｅｘとエッジを判定するための閾値ｔｈｅｄｇｅとしては、例えば、予め規定された値が挙げられるが、閾値ｔｈｔｅｘと閾値ｔｈｅｄｇｅとは、上記に限られない。例えば、閾値ｔｈｔｅｘと閾値ｔｈｅｄｇｅとは、ユーザにより設定された値であってもよい。
【００９４】
より具体的には、補正部１１０は、例えば図８Ａに示すようにブロック境界における段差（差分絶対値ｃ）がブロック周辺における段差（差分絶対値ａ、ｂ、ｄ、ｅ）のよりも大きい場合、すなわち、例えばｔｈｔｅｘ≦ｂｂ_ｒａｎｇｅ＜ｔｈｅｄｇｅの場合には、ブロックノイズと判定する。また、補正部１１０は、例えば図８Ｂに示すようにブロック境界における段差がブロック周辺における段差よりも大きくない場合、すなわち、例えばｂｂ_ｒａｎｇｅ＜ｔｈｔｅｘの場合には、テクスチャとみなしてブロックノイズとは判定しない。また、補正部１１０は、例えば図８Ｃに示すようにブロック境界における段差がブロック周辺における段差よりも十分に大きい場合、すなわち、例えばｔｈｅｄｇｅ≦ｂｂ_ｒａｎｇｅの場合には、エッジとみなしてブロックノイズとは判定しない。
【００９５】
また、補正部１１０は、上記の判定結果に基づいて、ブロックノイズと判定されたブロック境界に対応する調整信号を、例えば図９に示すようにｂｂ_ｒａｎｇｅに基づいて調整する。ここで、図９に示すゲインカーブのデータは、例えば記憶部（図示せず）やＲＯＭなどに記憶され、補正部１１０により適宜読み出される。
【００９６】
補正部１１０は、例えば、上記のように調整信号が示す補正の度合いを調整し、調整された調整信号に基づいてスケーリング画像信号を補正することによって、局所補正処理を実現する。なお、本発明の実施形態に係る画像処理装置１００における局所補正処理が、上記に限られないことは、言うまでもない。
【００９７】
また、補正部１１０は、局所補正処理を行う場合には、例えば、乗算器などの画像信号の補正に係る構成に加え、さらに上記のような局所補正処理を行うための任意の構成を有する専用の処理回路を備えるが、補正部１１０の構成は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置１００では制御部（図示せず）が補正部１１０の役目を果たしてもよく、また、補正部１１０は、他の処理も可能な汎用の処理回路で構成されてもよい。
【００９８】
画像処理装置１００は、例えば図１に示す構成によって、（Ａ）入力画像信号に基づいてブロックノイズを検出し、ノイズ情報を出力する処理、（Ｂ）入力画像信号に対してスケーリング処理を行い、スケーリング情報を出力する処理、（Ｃ）ノイズ情報とスケーリング情報とに基づいて調整信号を出力する処理、（Ｄ）調整信号に基づいてスケーリング画像信号を補正する処理、を行う。ここで、上記（Ａ）の処理〜（Ｄ）の処理を行うことによって、ノイズ情報とスケーリング情報とに基づいて調整信号を生成し、調整信号に基づいてスケーリング画像信号を補正することが実現される。つまり、上記（Ａ）の処理〜（Ｄ）の処理は、上述した本発明の実施形態に係る画像処理方法に係る処理に該当する。よって、画像処理装置１００は、例えば図１に示す構成によって、上述した本発明の実施形態に係る画像処理方法を実行することができる。
【００９９】
したがって、画像処理装置１００は、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【０１００】
なお、本発明の実施形態に係る画像処理装置１００の構成は、図１に示す構成に限られない。例えば、図１では、画像処理装置１００がノイズ低減部１０４を備える構成を示しているが、本発明の実施形態に係る画像処理装置１００は、ノイズ低減部１０４を備えない構成をとることも可能である。上記の構成であっても、本発明の実施形態に係る画像処理装置１００は、ノイズ情報とスケーリング情報に基づき生成された調整信号に基づいてスケーリング画像信号を補正することが可能であるので、ブロックノイズが強調されることが防止される。よって、従来の技術が用いられる場合に生じうるブロックノイズが強調されることによる画質の低下を防止することができるので、従来の技術を用いる場合よりも高画質化を図ることができる。
【０１０１】
以上のように、本発明の実施形態に係る画像処理装置１００は、入力画像信号に基づいて検出されたブロックノイズを示すノイズ情報と、スケーリング処理における拡大率または縮小率を示すスケーリング情報とに基づいて調整信号を生成し、調整信号に基づいてスケーリング画像信号を補正する。ここで、画像処理装置１００は、ブロックノイズを検出するノイズ検出部と、画質の向上に係る画像処理を行う補正部との間において、スケーリングなどの他の処理が行われたとしても、当該他の処理の影響を考慮して画像処理を行う。よって、画像処理装置１００では、例えば、線形なスケーリングや非線形なスケーリングが入力画像信号に対して行われたとしても、画像処理（補正処理）によってブロックノイズが強調されることはない。つまり、画像処理装置１００は、ブロックノイズが発生した画像に対しても、より自然な画像処理を実現することができる。
【０１０２】
したがって、画像処理装置１００は、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【０１０３】
以上、本発明の実施形態として画像処理装置１００を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、ＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistants）などのコンピュータ、テレビ受像機などの表示装置、携帯電話などの携帯型通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像信号の処理が可能な様々な機器に適用することができる。
【０１０４】
（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、上記（Ａ）の処理〜（Ｄ）の処理を実現するためのプログラムなど、本発明の実施形態に係る画像処理方法に係る処理を実現するためのプログラム）によって、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【０１０５】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１０６】
例えば、図１では、画像処理装置１００が、ノイズ情報とスケーリング情報とに基づいて調整信号を生成する構成を示したが、本発明の実施形態に係る画像処理装置は、上記に限らない。例えば、本発明の実施形態に係る画像処理装置が、ノイズ検出部と補正部との間において検出されたブロックノイズの位置が変化する他の処理を行う場合には、本発明の実施形態に係る画像処理装置は、ノイズ情報と当該他の処理に係る情報とを用いて（または、ノイズ情報、スケーリング情報、および当該他の処理に係る情報を用いて）調整信号を生成する構成をとることが可能である。上記の構成であっても、画像処理（補正処理）によってブロックノイズが強調されることを防止することが可能であるので、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【０１０７】
また、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【０１０８】
上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的範囲に属するものである。
【符号の説明】
【０１０９】
１００ 画像処理装置
１０２ ノイズ検出部
１０４ ノイズ低減部
１０６ スケーリング部
１０８ 調整信号生成部
１１０ 補正部
１１２、１１２Ａ、１１２Ｂ ノイズ計測部
１１４ フィルタ部
１１６ 最小値判定部
１１８ 調整信号出力部
１２０ 調整部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
例えば離散コサイン変換（Discrete Cosine Transform；ＤＣＴ）などを用いた符号化方式を用いて画像を圧縮する場合には、ブロック歪（以下、「ブロックノイズ」と示す。）が発生する場合がある。このような中、ブロックノイズを低減して画像信号を補正することによって、高画質化を図る技術が開発されている。ブロックノイズを低減して画像信号を補正することによって高画質化を図る技術としては、例えば、特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２２９５４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば特許文献１のような高画質化を図る従来の技術（以下、単に「従来の技術」と示す場合がある。）は、例えば離散コサイン変換などを用いて圧縮符号化された画像を示す画像信号（以下、「圧縮符号化された画像信号」と示す場合がある。）のブロックノイズを低減し、ブロックノイズが低減された画像信号に対して輪郭強調処理などの画像処理を行う。よって、ブロックノイズを低減するノイズ低減処理と、画質を向上させるための画像処理とが行われるので、従来の技術を用いることによって、高画質化を図ることができる可能性がある。
【０００５】
ここで、例えば、ノイズ低減処理を行った後画像処理を行う前に、画像信号が示す画像の拡大または縮小を行うスケーリング処理が行われた場合には、ブロックノイズが存在していた位置が変化する可能性が高い。従来の技術では、上記スケーリング処理によるブロックノイズの位置が変化することについて考慮がされていないので、輪郭強調処理などの画像処理を行った結果、低減したブロックノイズが強調されることが起こりうる。したがって、従来の技術を用いたとしても、高画質化を図ることができるとは限らない。
【０００６】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の第１の観点によれば、圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するノイズ検出部と、上記入力画像信号に対して、上記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するスケーリング部と、上記ノイズ情報と上記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力する調整信号生成部と、上記調整信号に基づいて、上記スケーリング処理が行われた画像信号を補正する補正部と、を備える画像処理装置が提供される。
【０００８】
かかる構成により、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【０００９】
また、上記調整信号生成部は、上記ノイズ情報と上記スケーリング情報とに基づいて、拡大または縮小された画像におけるブロックノイズのブロック境界からの距離を特定するノイズ計測部と、特定された上記ブロック境界からの距離に対応する上記調整信号を出力する調整信号出力部とを備えてもよい。
【００１０】
また、ノイズ計測部は、水平方向の上記ブロック境界からの距離、および／または、垂直方向の上記ブロック境界からの距離を特定してもよい。
【００１１】
また、上記調整信号生成部は、上記ノイズ情報に含まれる上記ブロックノイズの強さを示す情報に基づいて、上記調整信号が示す補正の度合いを調整する調整部をさらに備えてもよい。
【００１２】
また、上記補正部は、上記スケーリング処理が行われた上記画像信号に基づいて局所的なブロックノイズを判定し、判定結果に応じて上記調整信号が示す補正の度合いを調整し、補正の度合いが調整された調整信号に基づいて、上記スケーリング処理が行われた上記画像信号を補正してもよい。
【００１３】
上記調整信号生成部は、画像信号のゲインを調整する調整信号を出力し、上記補正部は、上記調整信号に基づいて、上記スケーリング処理が行われた上記画像信号のゲインを調整してもよい。
【００１４】
また、入力画像信号のブロックノイズを低減するノイズ低減部をさらに備え、上記スケーリング部は、ブロックノイズが低減された入力画像信号に対して、上記スケーリング処理を行ってもよい。
【００１５】
また、上記目的を達成するために、本発明の第２の観点によれば、圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するステップと、上記入力画像信号に対して、上記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するステップと、上記ノイズ情報と上記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力するステップと、上記調整信号に基づいて、上記スケーリング処理が行われた画像信号を補正するステップと、を有する画像処理方法が提供される。
【００１６】
かかる方法を用いることにより、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【００１７】
また、上記目的を達成するために、本発明の第３の観点によれば、圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するステップ、上記入力画像信号に対して、上記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するステップ、上記ノイズ情報と上記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力するステップ、上記調整信号に基づいて、上記スケーリング処理が行われた画像信号を補正するステップ、をコンピュータに実行させるためのプログラムが提供される。
【００１８】
かかるプログラムを用いることにより、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【発明の効果】
【００１９】
本発明によれば、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図２】本発明の実施形態に係る画像処理装置におけるブロックノイズ強度の検出方法の一例を示す説明図である。
【図３】本発明の実施形態に係る画像処理装置におけるブロックノイズ強度の検出方法の一例を示す説明図である。
【図４】本発明の実施形態に係る画像処理装置におけるブロックノイズ強度の検出方法の一例を示す説明図である。
【図５】本発明の実施形態に係る画像処理装置における調整信号生成部の第１の構成例を示す説明図である。
【図６】本発明の実施形態に係る画像処理装置における調整信号の生成方法の一例を説明するための説明図である。
【図７】本発明の実施形態に係る画像処理装置における調整信号生成部の第２の構成例を示す説明図である。
【図８Ａ】本発明の実施形態に係る画像処理装置における局所補正処理の一例を説明するための説明図である。
【図８Ｂ】本発明の実施形態に係る画像処理装置における局所補正処理の一例を説明するための説明図である。
【図８Ｃ】本発明の実施形態に係る画像処理装置における局所補正処理の一例を説明するための説明図である。
【図９】本発明の実施形態に係る画像処理装置における局所補正処理の一例を説明するための説明図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
また、以下では、下記に示す順序で説明を行う。
１．本発明の実施形態に係る画像処理方法
２．本発明の実施形態に係る画像処理装置
３．本発明の実施形態に係るプログラム
【００２３】
（本発明の実施形態に係る画像処理方法）
本発明の実施形態に係る画像処理装置（以下、「画像処理装置１００」と示す場合がある。）の構成について説明する前に、本発明の実施形態に係る画像処理方法の概要について説明する。以下では、画像処理装置１００が、本発明の実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【００２４】
上述したように、ノイズ低減処理を行った後画像処理を行う前に、画像信号が示す画像（静止画像または動画像。以下、同様とする。）の拡大または縮小を行うスケーリング処理が行われた場合には、ブロックノイズが存在していた位置が変化する可能性が高い。そこで、本発明の実施形態に係る画像処理装置１００は、処理対象の圧縮符号化された画像信号（以下、「入力画像信号」と示す場合がある。）に基づいて検出されたブロックノイズを示すノイズ情報と、スケーリング処理における拡大率または縮小率を示すスケーリング情報とに基づいて、補正の度合いを示す調整信号を生成する。そして、画像処理装置１００は、調整信号に基づいて、入力画像信号に対してスケーリング処理が行われた画像信号（以下、「スケーリング画像信号」と示す場合がある。）を補正する。
【００２５】
ここで、本発明の実施形態に係る入力画像信号としては、例えば、画像処理装置１００がテレビ塔などから送信された放送波を（直接的、またはセットトップボックスなどを介して間接的に）受信してデコードした結果得られる画像信号が挙げられるが、本発明の実施形態に係る入力画像信号は、上記に限られない。例えば、画像処理装置１００は、ネットワークを介して（または直接的に）外部装置から送信された画像信号を、入力画像信号として処理することも可能である。また、画像処理装置１００は、例えば、記憶部（後述する）や、画像処理装置１００から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を、入力画像信号として処理してもよい。また、本発明の実施形態に係る入力画像信号としては、例えば、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ １４４９６）や、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）、ＭＰＥＧ−１、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４などのように、複数の画素からなるブロック単位で圧縮符号化する符号化方式で符号化された画像信号が挙げられる。以下では、本発明の実施形態に係る入力画像信号が、８×８画素のブロック単位で符号化された画像信号である場合、すなわち、ブロック単位となる画素数が“８”である場合を例に挙げて説明する。
【００２６】
また、本発明の実施形態に係るノイズ情報としては、例えば、ブロック境界の位置を示す情報と、ブロックノイズ強度を示す情報（ブロックノイズの強さを示す情報）とが挙げられる。より具体的には、画像処理装置１００は、例えば、画像におけるブロックの開始位置を示すデータ（以下、「ｂ_ｐｏｓ」と示す場合がある。）と、ブロックのサイズを示すデータ（以下、「ｂ_ｓｉｚｅ」と示す場合がある。）をブロック境界の位置を示す情報とする。ここで、ｂ_ｐｏｓとしては、例えば、画像の所定の位置（例えば画像の左下など）を原点としたときにおける画素の座標を示す座標データが挙げられる。また、ｂ_ｓｉｚｅとしては、例えば、ブロック単位となる画素数を示すデータが挙げられる。なお、画像処理装置１００は、例えば、後述するブロック境界の位置の検出方法を用いて、ブロックのサイズを判定することが可能である。画像処理装置１００は、入力画像信号の符号化方式に基づいて、各ブロックに対応するｂ_ｐｏｓと、ｂ_ｓｉｚｅとを特定することが可能である。また、画像処理装置１００は、例えば、ブロックノイズの強度を示すデータ（以下、「ｂ_ｓｔｒ」と示す場合がある。）をブロックノイズ強度を示す情報とする。本発明の実施形態に係るブロックノイズ強度の検出方法については、後述する。
【００２７】
また、本発明の実施形態に係る調整信号としては、例えば、画像信号のゲインを調整する信号（マスクゲイン信号）が挙げられる。なお、本発明の実施形態に係る調整信号は、画像信号のゲインを調整する信号に限られない。例えば、本発明の実施形態に係る調整信号としては、画像処理装置１００が備える補正部（後述する）における画像信号の補正に係る任意の画像処理の度合いを規定する信号（例えば、補正部における画像処理に対応する処理のレベルを規定する信号）が挙げられる。以下では、本発明の実施形態に係る画像処理装置１００が、画像信号のゲインを調整する調整信号を生成する場合を主に例に挙げて説明する。
【００２８】
本発明の実施形態に係る画像処理装置１００は、上記のようにノイズ情報とスケーリング情報とに基づいて調整信号を生成し、調整信号に基づいてスケーリング画像信号を補正する。よって、画像処理装置１００では、例えば、線形なスケーリングや、非線形なスケーリング（例えば、パノラマワイドやオーバースキャン）が入力画像信号に対して行われたとしても、画像処理（補正処理）によってブロックノイズが強調されることはない。つまり、画像処理装置１００は、ブロックノイズが発生した画像に対しても、より自然な画像処理を実現することができる。
【００２９】
したがって、画像処理装置１００は、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【００３０】
以下、本発明の実施形態に係る画像処理装置１００の構成の一例について説明をすると共に、本発明の実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。
【００３１】
（本発明の実施形態に係る画像処理装置）
図１は、本発明の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。
【００３２】
画像処理装置１００は、例えば、ノイズ検出部１０２と、ノイズ低減部１０４と、スケーリング部１０６と、調整信号生成部１０８と、補正部１１０とを備える。
【００３３】
また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory；図示せず）、ＲＡＭ（Random Access Memory；図示せず）、記憶部（図示せず）、デコーダ、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。
【００３４】
ここで、制御部（図示せず）は、例えば、ＭＰＵ（Micro Processing Unit）や、各種処理回路などで構成され画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、デコーダや、後述するノイズ検出部１０２、ノイズ低減部１０４、スケーリング部１０６、調整信号生成部１０８、補正部１１０の役目を果たしてもよい。また、制御部（図示せず）は、例えば、補正部１１０が画像処理を行った画像信号をエンコードして、記憶部（図示せず）に記録するなど、各種画像処理が行われた画像信号に対する処理を行う役目を果たしてもよい。
【００３５】
ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
【００３６】
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。
【００３７】
操作部（図示せず）としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することもできる。
【００３８】
表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。
【００３９】
通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００４０】
以下、図１に示す本発明の実施形態に係る画像処理装置１００の構成例について説明しつつ、画像処理装置１００における処理（画像処理方法に係る処理）の一例について説明する。
【００４１】
ノイズ検出部１０２は、入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力する。ここで、ノイズ情報としては、例えば、ブロック境界の位置を示す情報（ｂ_ｐｏｓ、ｂ_ｓｉｚｅ）と、ブロックノイズ強度を示す情報（ｂ_ｓｔｒ）とが挙げられる。また、ノイズ検出部１０２は、ブロックノイズが検出されたか否かによらず全てのブロックに対応するノイズ情報を出力するが、ノイズ検出部１０２における処理は、上記に限られない。例えば、ノイズ検出部１０２は、ブロックノイズが検出されたと判定されたブロックに対応するノイズ情報を選択的に出力することも可能である。ノイズ検出部１０２は、例えば、後述するブロックノイズ強度の検出方法により算出されたブロックの段差特徴を示す値（ｗｏｒｋ（ｘ））の値が０以下である場合に、ブロックノイズが検出されなかったと判定する。
【００４２】
［ブロック境界の位置の検出方法の一例］
ここで、本発明の実施形態に係る画像処理装置１００におけるブロック境界の位置の検出方法の一例について説明する。以下では、画像処理装置１００が、入力画像信号が示す画像における水平方向のブロック境界の位置を判定する場合を例に挙げて説明する。なお、画像処理装置１００は、入力画像信号が示す画像における垂直方向のブロック境界の位置についても、同様の方法を用いることによって、検出することが可能である。
【００４３】
画像処理装置１００は、例えば、入力画像信号における水平方向の隣接画素間の差分信号を画面内で積算することによって、ブロック境界の位置を検出する。
【００４４】
より具体的には、画像処理装置１００は、例えば、水平方向の隣接する画素における画素値Ｄ（例えば輝度値）の差分絶対値（｜Ｄ（ｘ）−Ｄ（ｘ＋１）｜）を算出する。また、画像処理装置１００は、算出した差分絶対値を垂直方向に累計して、水平方向の位置ごとの累計値を算出する。ここで、画像処理装置１００は、累計値を度数、水平方向の位置を階級とするヒストグラムを算出してもよい。また、画像処理装置１００は、算出された水平方向の位置ごとの累計値と、ブロック位置を判定するための所定の閾値とを用いて、当該閾値以上の水平方向の位置（または、閾値より大きい水平方向の位置）を判定する。ここで、上記閾値としては、例えば、予め設定された固定値が挙げられるが、調整可能な可変値であってもよい。そして、画像処理装置１００は、判定された位置（例えばヒストグラムにおけるピーク位置に該当する。）をブロックの開始位置（ブロック境界の位置）として判定し、判定された位置間の距離をブロックのサイズと判定する。
【００４５】
画像処理装置１００は、例えば上記のような方法を用いることによって、ブロック境界の位置を検出する。なお、本発明の実施形態に係る画像処理装置１００におけるブロック境界の位置の検出方法が、上記に限られないことは、言うまでもない。
【００４６】
［ブロックノイズ強度の検出方法の一例］
次に、本発明の実施形態に係る画像処理装置１００におけるブロックノイズ強度の検出方法の一例について説明する。図２、図３、図４は、本発明の実施形態に係る画像処理装置１００におけるブロックノイズ強度の検出方法の一例を示す説明図である。以下では、画像処理装置１００が、入力画像信号が示す画像における水平方向のブロックノイズの強度を検出する場合を例に挙げて、ブロックノイズ強度の検出方法の一例を説明する。なお、画像処理装置１００は、入力画像信号が示す画像における垂直方向のブロックノイズの強度についても、同様の方法を用いることによって、検出することが可能である。
【００４７】
画像処理装置１００は、例えば、注目画素ｘにおける画素値Ｄ（例えば輝度値）と注目画素ｘの近傍の画素における画素値Ｄとに基づく差分絶対値を算出する。図２に示す例では、画像処理装置１００は、例えば下記の数式１〜数式５によって、差分絶対値ａ〜ｅを算出する。なお、画像処理装置１００は、例えば、注目画素ｘの近傍の画素がない（または、検出を行うために十分な数の画素がない）場合には、当該注目画素ｘについてのブロックノイズ強度の検出に係る処理を行わなくてもよい。
【００４８】
【数１】
【数２】
【数３】
【数４】
【数５】
【００４９】
差分絶対値ａ〜ｅを算出すると、画像処理装置１００は、例えば下記の数式６によって、注目画素ｘに対応するブロックの段差特徴を示す値（ｗｏｒｋ（ｘ））を算出する。ここで、数式６は、注目画素ｘの位置に対応する段差ｃと周辺段差の平均値とを比較する演算である。
【００５０】
ｗｏｒｋ（ｘ）＝ｃ−（ａ＋ｂ＋ｄ＋ｅ）／４
・・・（数式６）
【００５１】
画像処理装置１００は、例えば、ｗｏｒｋ（ｘ）の値が０（ゼロ）以下のときは、ブロックノイズが検出されなかったと判定し、ｗｏｒｋ（ｘ）の値が０（ゼロ）より大きい場合には、ブロックノイズが検出されたと判定する。
【００５２】
画像処理装置１００は、画像全体におけるｗｏｒｋ（ｘ）をレベル別に集計した値ｃｎｔ_ａｌｌ（｜Ｖ｜）と、ブロック境界の座標におけるｗｏｒｋ（ｘ）をレベル別に集計した値ｃｎｔ_ｂｂ（｜Ｖ｜）とを、レベルごとに算出する（図３）。そして、画像処理装置１００は、レベルごとに“ｃｎｔ_ｂｂ（｜Ｖ｜）／ｃｎｔ_ａｌｌ（｜Ｖ｜）”を算出して、算出した“ｃｎｔ_ｂｂ（｜Ｖ｜）／ｃｎｔ_ａｌｌ（｜Ｖ｜）”が所定の閾値ｔｈ_ｂｎｄを超える最大のレベルを、ブロックノイズ強度として検出する。
する（図４）。
【００５３】
ここで、画像処理装置１００は、例えば、検出されたブロックノイズに対応するレベルを示す値（例えばレベルを識別する番号）をｂ_ｓｔｒとするが、画像処理装置１００における処理は、上記に限られない。例えば、画像処理装置１００は、レベルを識別する番号と対応付けられた値を、ｂ_ｓｔｒとすることも可能である。また、所定の閾値ｔｈ_ｂｎｄとしては、例えば、予め規定された値が挙げられるが、所定の閾値ｔｈ_ｂｎｄは、上記に限られない。例えば、所定の閾値ｔｈ_ｂｎｄは、画像処理装置１００のユーザ（以下、単に「ユーザ」と示す場合がある。）により設定された値であってもよい。
【００５４】
画像処理装置１００は、例えば上記のような処理を行うことによって、ブロックノイズ強度を検出する。なお、本発明の実施形態に係る画像処理装置１００におけるブロックノイズ強度の検出方法が、上記に限られないことは、言うまでもない。
【００５５】
再度図１を参照して、本発明の実施形態に係る画像処理装置１００の構成例について説明する。ノイズ検出部１０２は、例えば上記のような検出方法に係る処理を行うことによって、ノイズ情報を出力する。また、ノイズ検出部１０２は、入力画像信号をノイズ低減部１０４へ伝達する。なお、本発明の実施形態に係る画像処理装置１００の構成は、ノイズ検出部１０２が入力画像信号をノイズ低減部１０４へ伝達する構成に限られない。例えば、画像処理装置１００は、ノイズ検出部１０２を介さずに入力画像信号をノイズ低減部１０４に入力させてもよい。
【００５６】
ノイズ検出部１０２は、例えば、上記のような検出方法に係る処理を行うための任意の構成を有する専用の処理回路で実現可能であるが、ノイズ検出部１０２の構成は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置１００では制御部（図示せず）がノイズ検出部１０２の役目を果たしてもよく、また、ノイズ検出部１０２は、他の処理も可能な汎用の処理回路であってもよい。
【００５７】
ノイズ低減部１０４は、例えばフィルタ回路などで構成され、入力画像信号に含まれうるブロックノイズを低減する。また、ノイズ低減部１０４は、ブロックノイズを低減させた入力画像信号をスケーリング部１０６へ伝達する。
【００５８】
ここで、ノイズ低減部１０４は、例えば、ノイズ検出部１０２におけるブロックノイズの検出結果によらずに処理を行うが、ノイズ低減部１０４における処理は、上記に限られない。例えば、ノイズ低減部１０４は、ノイズ検出部１０２から伝達されるノイズ情報に基づいて、選択的にブロックノイズの低減を行ってもよい。上記の場合、ノイズ低減部１０４は、例えば、ノイズ情報に基づいてフィルタ回路などのノイズ低減に係る回路に入力画像信号を選択的に入力する構成や、ノイズ情報に基づいてノイズ低減に係る回路を選択的に有効化する構成をとる。
【００５９】
スケーリング部１０６は、伝達される入力画像信号に対して、入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行う。そして、スケーリング部１０６は、スケーリング情報を調整信号生成部１０８へ伝達し、また、スケーリング画像信号を補正部１１０へ伝達する。
【００６０】
ここで、スケーリング部１０６におけるスケーリング処理としては、例えば、線形なスケーリングを行う処理や、非線形なスケーリング（例えば、パノラマワイドやオーバースキャン）を行う処理が挙げられる。また、スケーリング部１０６は、上記のようなスケーリング処理を行うための任意の構成を有する専用の処理回路で実現可能であるが、スケーリング部１０６の構成は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置１００では制御部（図示せず）がスケーリング部１０６の役目を果たしてもよく、また、スケーリング部１０６は、他の処理も可能な汎用の処理回路であってもよい。
【００６１】
調整信号生成部１０８は、ノイズ検出部１０２から伝達されるノイズ情報と、スケーリング部１０６から伝達されるスケーリング情報とに基づいて、調整信号を生成する。そして、調整信号生成部１０８は、生成した調整信号を補正部１１０へ伝達する。
【００６２】
なお、調整信号生成部１０８における処理は、ノイズ検出部１０２から伝達されるノイズ情報に基づいて調整信号を生成する処理に限られない。例えば、デコーダはデコード処理の際にブロックノイズの位置や強度を特定することが可能である。よって、調整信号生成部１０８は、例えば、画像処理装置１００が備えるデコーダ、または、画像処理装置１００の外部のデコーダが特定したブロックノイズの位置や強度を示すノイズ情報が伝達される場合には、ノイズ検出部１０２から伝達されるノイズ情報の代わりに、デコーダから伝達されるノイズ情報を用いて処理を行ってもよい。以下では、調整信号生成部１０８が、ノイズ検出部１０２から伝達されるノイズ情報を用いて調整信号を生成する場合を例に挙げて、調整信号生成部１０８のより具体的な処理について説明する。
【００６３】
［調整信号生成部１０８の構成例］
（１）第１の構成例
図５は、本発明の実施形態に係る画像処理装置１００における調整信号生成部１０８の第１の構成例を示す説明図である。
【００６４】
第１の構成例に係る調整信号生成部１０８は、例えば、ノイズ計測部１１２と、フィルタ部１１４と、最小値判定部１１６と、調整信号出力部１１８とを備える。
【００６５】
ノイズ計測部１１２は、ノイズ情報とスケーリング情報とに基づいて、スケーリング処理によって拡大または縮小された画像における、ブロックノイズのブロック境界からの距離（以下、「ｂ_ｄｉｓｔ」と示す場合がある。）を特定する。ここで、図５では、ノイズ計測部１１２が、水平方向のブロック境界からの距離を特定する第１ノイズ計測部１１２Ａと、垂直方向のブロック境界からの距離を特定する第２ノイズ計測部１１２Ｂとを備える構成を示している。
【００６６】
なお、本発明の実施形態に係るノイズ計測部１１２は、水平方向のブロック境界からの距離と、垂直方向のブロック境界からの距離との双方を特定する構成に限られない。例えば、本発明の実施形態に係るノイズ計測部１１２は、補正部１１０における処理に対応して、水平方向のブロック境界からの距離、または、垂直方向のブロック境界からの距離のいずれか一方を特定する構成であってもよい。
【００６７】
〔ブロック境界からの距離の特定方法の一例〕
ここで、本発明の実施形態に係る画像処理装置１００におけるブロック境界からの距離の特定方法の一例について説明する。以下では、画像処理装置１００が、水平方向のブロック境界からの距離を特定する場合を例に挙げて、ブロック境界からの距離の特定方法の一例を説明する。なお、画像処理装置１００は、垂直方向のブロック境界からの距離についても、同様の方法を用いることによって、特定することが可能である。
【００６８】
画像処理装置１００は、例えば、ノイズ情報に含まれるブロック境界の位置を示す情報（ｂ_ｐｏｓ、ｂ_ｓｉｚｅ）を用いて、例えば下記の数式７、数式８の演算を行うことによって、ｂ_ｄｉｓｔを算出する。ここで、数式７、数式８は、ブロック単位となる画素数が“８”である場合におけるｂ_ｄｉｓｔの算出方法の一例を示している。また、数式７に示す“ｍｏｄ（ｄ，Ｘ）”は、ｄを法とするＸの剰余であり、“ｒａｔｅ”は、スケーリング情報が示す拡大率または縮小率である。また、数式８は、ブロック単位となる画素数“８”に対応する距離（０〜７）を、後述する調整信号出力部１１８における処理の例に対応する距離（０〜３）に変換する演算を示している。
【００６９】
【数６】
【数７】
【００７０】
画像処理装置１００は、例えば上記のような処理を行うことによって、ブロック境界からの距離を特定する。なお、本発明の実施形態に係る画像処理装置１００におけるブロック境界からの距離の特定方法が、上記に限られないことは、言うまでもない。
【００７１】
ノイズ計測部１１２は、第１ノイズ計測部１１２Ａ、第２ノイズ計測部１１２Ｂそれぞれにおいて例えば上記の処理を行う。そして、第１ノイズ計測部１１２Ａは、特定された水平方向のブロック境界からの距離を示すｂ_ｄｉｓｔ_Ｈを出力し、第２ノイズ計測部１１２Ｂは、特定された垂直方向のブロック境界からの距離を示すｂ_ｄｉｓｔ_Ｖを出力する。ここで、ｂ_ｄｉｓｔ_Ｈ、ｂ_ｄｉｓｔ_Ｖとしては、例えば、２ビットのデジタルデータが挙げられるが、ｂ_ｄｉｓｔ_Ｈ、ｂ_ｄｉｓｔ_Ｖは、上記に限られない。
【００７２】
また、ノイズ計測部１１２は、例えば、上記のような特定方法に係る処理を行うための任意の構成を有する専用の処理回路で実現可能であるが、ノイズ計測部１１２の構成は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置１００では制御部（図示せず）がノイズ計測部１１２の役目を果たしてもよく、また、ノイズ計測部１１２は、他の処理も可能な汎用の処理回路であってもよい。
【００７３】
フィルタ部１１４は、例えばローパス・フィルタなどのフィルタ回路で構成され、ノイズ計測部１１２から伝達されるｂ_ｄｉｓｔをフィルタリングする。
【００７４】
ここで、図５では、フィルタ部１１４が、第１ノイズ計測部１１２Ａに対応する第１フィルタ部１１４Ａと、第２ノイズ計測部１１２Ｂに対応する第２フィルタ部１１４Ｂとを備える構成を示しているが、本発明の実施形態に係るフィルタ部１１４の構成は、上記に限られない。例えば、ノイズ計測部１１２が水平方向のブロック境界からの距離、または、垂直方向のブロック境界からの距離のいずれか一方を特定する構成である場合には、フィルタ部１１４は、ノイズ計測部１１２に対応する第１フィルタ部１１４Ａまたは第２フィルタ部１１４Ｂのいずれか一方で構成されていてもよい。
【００７５】
また、調整信号生成部１０８は、例えば、フィルタ部１１４を備えない構成をとることも可能である。
【００７６】
最小値判定部１１６は、例えば比較回路などで構成され、対応するブロックにおけるｂ_ｄｉｓｔ_Ｈおよびｂ_ｄｉｓｔ_Ｖの最小値を判定し、最小値を調整信号出力部１１８へ伝達する。なお、例えば、ノイズ計測部１１２が水平方向のブロック境界からの距離、または、垂直方向のブロック境界からの距離のいずれか一方を特定する構成である場合には、調整信号生成部１０８は、最小値判定部１１６を備えていなくてもよい。
【００７７】
調整信号出力部１１８は、伝達されるｂ_ｄｉｓｔ_Ｈ、ｂ_ｄｉｓｔ_Ｖ、最小値に対応する調整信号を生成して出力する。
【００７８】
図６は、本発明の実施形態に係る画像処理装置１００における調整信号の生成方法の一例を説明するための説明図である。ここで、図６は、画像処理装置１００が画像信号のゲインを調整する調整信号を出力する場合における、調整信号生成部１０８（調整信号出力部１１８）が調整信号の生成に用いるゲインカーブの一例を示している。
【００７９】
画像処理装置１００は、図６に示すようなゲインカーブを示すデータや、ｂ_ｄｉｓｔとゲインの調整量とが一対一に対応付けられたルックアップテーブルを、例えば、補正部１１０における処理ごとや、スケーリング部１０６において行われるスケーリング処理の種別ごとに記憶部（図示せず）やＲＯＭなどに記憶する。また、画像処理装置１００は、例えば補正部１１０において周波数分離型輪郭強調処理を行う場合には、周波数帯域ごとに、ゲインカーブやルックアップテーブルを記憶してもよい。上記の場合には、画像処理装置１００は、例えば低域や高域における輪郭強調処理を弱めるなど、入力画像信号のノイズの周波数特性に基づく画像の補正が可能となる。
【００８０】
調整信号出力部１１８は、上記ゲインカーブなどを用いて、伝達されるｂ_ｄｉｓｔ_Ｈ、ｂ_ｄｉｓｔ_Ｖ、最小値に対応する調整信号を、例えば、補正部１１０における処理ごとや、周波数帯域ごとに生成する。そして、調整信号出力部１１８は、生成した調整信号を出力する。
【００８１】
なお、上述したように、本発明の実施形態に係る画像処理装置１００は、画像信号のゲインを調整する調整信号に限られず、例えば、ゲインの調整以外の画像処理の度合いを示す調整信号を生成することも可能である。画像処理の度合いを示す調整信号を生成する場合には、画像処理装置１００は、例えば、ｂ_ｄｉｓｔと画像処理の度合いを示す値とが一対一に対応付けられたルックアップテーブルを、補正部１１０における処理ごとや、周波数帯域ごと、スケーリング部１０６において行われるスケーリング処理の種別ごとに記憶部（図示せず）やＲＯＭなどに記憶する。そして、画像処理装置１００は、画像信号のゲインを調整する調整信号を生成する場合と同様に、ルックアップテーブルなどを用いて、伝達されるｂ_ｄｉｓｔ_Ｈ、ｂ_ｄｉｓｔ_Ｖ、最小値に対応する調整信号を、例えば、補正部１１０における処理ごとや、周波数帯域ごとに生成する。
【００８２】
第１の構成例に係る調整信号生成部１０８は、例えば図５に示す構成によって、ノイズ情報とスケーリング情報とに基づいて、調整信号を生成することができる。なお、本発明の実施形態に係る調整信号生成部１０８の構成は、図５に示す構成に限られない。
【００８３】
（２）第２の構成例
図７は、本発明の実施形態に係る画像処理装置１００における調整信号生成部１０８の第２の構成例を示す説明図である。
【００８４】
図７に示す第２の構成例に係る調整信号生成部１０８は、図５に示す第１の構成例に係る調整信号生成部１０８と基本的に同様の構成を有するが、図５に示す第１の構成例に係る調整信号生成部１０８と比較すると、第２の構成例に係る調整信号生成部１０８は、調整部１２０をさらに備えている。
【００８５】
調整部１２０は、ノイズ情報に含まれるブロックノイズの強さを示す情報（ｂ_ｓｔｒ）に基づいて、調整信号が示す補正の度合いを調整する。より具体的には、調整部１２０は、例えば、ｂ_ｓｔｒの値（ブロックノイズの強さを示す値）が、所定の閾値よりも大きい場合に、より補正の度合いが大きくなるように調整信号を調整する。また、調整部１２０は、例えば、ｂ_ｓｔｒの値が小さいほど、補正の度合いが小さくなるように調整信号を調整してもよい。
【００８６】
第２の構成例に係る調整信号生成部１０８は、図５に示す第１の構成例に係る調整信号生成部１０８と基本的に同様の構成を有する。よって、第２の構成例に係る調整信号生成部１０８は、図７に示す構成によって、図５に示す第１の構成例に係る調整信号生成部１０８と同様に、ノイズ情報とスケーリング情報とに基づいて、調整信号を生成することができる。
【００８７】
また、第２の構成例に係る調整信号生成部１０８は、さらに調整部１２０を備えることによって、ノイズ検出部１０２において検出されたブロックノイズの強さに基づいて調整信号が示す補正の度合いを調整する。よって、第２の構成例に係る調整信号生成部１０８から出力される調整信号に基づいて、補正部１１０において画像信号の補正が行われることによって、よりノイズ検出部１０２における検出結果が反映された画像信号の補正を行うことが可能となる。
【００８８】
画像処理装置１００は、例えば図５、図７に示す構成を有する調整信号生成部１０８を備える。なお、本発明の実施形態に係る調整信号生成部１０８の構成は、図５、図７に示す構成に限られない。例えば、以下では、補正部１１０における処理の例として説明するが、調整信号生成部１０８は、さらにブロック境界ごとにのブロック歪強度を評価する関数に基づいて調整信号を調整し、調整された調整信号を出力することも可能である。上記の場合には、画像処理装置１００は、よりきめ細かな補正を行うことができる。
【００８９】
再度図１を参照して、本発明の実施形態に係る画像処理装置１００の構成例について説明する。補正部１１０は、調整信号生成部１０８から伝達される調整信号に基づいて、スケーリング処理部１０６から伝達されるスケーリング画像信号を補正する。例えば、伝達される調整信号が、画像信号のゲインを調整する調整信号である場合には、補正部１１０は、乗算器などを用いてスケーリング画像信号のゲインを調整する。また、伝達される調整信号が、ゲインの調整以外の画像処理の度合いを示す調整信号である場合には、補正部１１０は、調整信号が示す処理のレベル（例えば処理の強弱に係るレベル）に応じて、画像処理を行う。
【００９０】
補正部１１０は、例えば上記のように、ノイズ情報とスケーリング情報に基づき生成された調整信号に基づいてスケーリング画像信号を補正することによって、ブロックノイズが強調されることを防止することができる。
【００９１】
なお、補正部１１０における処理は、上記に限らない。例えば、補正部１１０は、スケーリング画像信号に基づいて、局所的なブロックノイズを判定して、判定結果に応じて伝達される調整信号が示す補正の度合いを調整することも可能である。ここで、局所的なブロックノイズとしては、例えば、ブロック境界において発生するブロックノイズが挙げられる。そして、補正部１１０は、調整された調整信号に基づいて、スケーリング画像信号を補正する。上記の場合には、画像処理装置１００は、よりきめ細かな補正を行うことができる。
【００９２】
［局所補正処理の一例］
図８Ａ〜図８Ｃ、図９は、本発明の実施形態に係る画像処理装置１００における局所補正処理の一例を説明するための説明図である。ここで、図８Ａ〜図８Ｂは、画像処理装置１００における、ブロック境界において発生する局所的なブロックノイズの判定方法の一例を説明するための説明図である。また、図９は、画像処理装置１００における、局所的なブロックノイズの判定結果に応じた調整信号の調整の一例を示す説明図である。以下では、調整信号生成部１０８から伝達される調整信号が、画像信号のゲインを調整する調整信号である場合を例に挙げて、補正部１１０における局所補正処理の一例について説明する。
【００９３】
補正部１１０は、例えば、スケーリング画像信号におけるブロック境界の画素（注目画素ｘ）について、上記数式６の演算を行う。そして、補正部１１０は、数式６における演算結果であるｂｂ_ｒａｎｇｅ（数式６に示すｗｏｒｋ（ｘ）に該当）と、閾値ｔｈｔｅｘと、閾値ｔｈｅｄｇｅ（ｔｈｔｅｘ＜ｔｈｅｄｇｅ）とに基づいて、ブロック境界におけるブロックノイズを判定する。ここで、ｔｈｔｅｘは、テクスチャを判定するための閾値であり、例えばｂｂ_ｒａｎｇｅがｔｈｔｅｘ以下（または、ｔｈｔｅｘ未満。以下同様とする。）の場合には、補正部１１０は、注目画素に対応する差分絶対値ｃをテクスチャとみなす。また、ｔｈｅｄｇｅは、エッジを判定するための閾値であり、例えばｂｂ_ｒａｎｇｅがｔｈｅｄｇｅ以上（または、ｔｈｅｄｇｅより大きい。以下同様とする。）の場合には、補正部１１０は、注目画素に対応する差分絶対値ｃをエッジとみなす。テクスチャを判定するための閾値ｔｈｔｅｘとエッジを判定するための閾値ｔｈｅｄｇｅとしては、例えば、予め規定された値が挙げられるが、閾値ｔｈｔｅｘと閾値ｔｈｅｄｇｅとは、上記に限られない。例えば、閾値ｔｈｔｅｘと閾値ｔｈｅｄｇｅとは、ユーザにより設定された値であってもよい。
【００９４】
より具体的には、補正部１１０は、例えば図８Ａに示すようにブロック境界における段差（差分絶対値ｃ）がブロック周辺における段差（差分絶対値ａ、ｂ、ｄ、ｅ）のよりも大きい場合、すなわち、例えばｔｈｔｅｘ≦ｂｂ_ｒａｎｇｅ＜ｔｈｅｄｇｅの場合には、ブロックノイズと判定する。また、補正部１１０は、例えば図８Ｂに示すようにブロック境界における段差がブロック周辺における段差よりも大きくない場合、すなわち、例えばｂｂ_ｒａｎｇｅ＜ｔｈｔｅｘの場合には、テクスチャとみなしてブロックノイズとは判定しない。また、補正部１１０は、例えば図８Ｃに示すようにブロック境界における段差がブロック周辺における段差よりも十分に大きい場合、すなわち、例えばｔｈｅｄｇｅ≦ｂｂ_ｒａｎｇｅの場合には、エッジとみなしてブロックノイズとは判定しない。
【００９５】
また、補正部１１０は、上記の判定結果に基づいて、ブロックノイズと判定されたブロック境界に対応する調整信号を、例えば図９に示すようにｂｂ_ｒａｎｇｅに基づいて調整する。ここで、図９に示すゲインカーブのデータは、例えば記憶部（図示せず）やＲＯＭなどに記憶され、補正部１１０により適宜読み出される。
【００９６】
補正部１１０は、例えば、上記のように調整信号が示す補正の度合いを調整し、調整された調整信号に基づいてスケーリング画像信号を補正することによって、局所補正処理を実現する。なお、本発明の実施形態に係る画像処理装置１００における局所補正処理が、上記に限られないことは、言うまでもない。
【００９７】
また、補正部１１０は、局所補正処理を行う場合には、例えば、乗算器などの画像信号の補正に係る構成に加え、さらに上記のような局所補正処理を行うための任意の構成を有する専用の処理回路を備えるが、補正部１１０の構成は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置１００では制御部（図示せず）が補正部１１０の役目を果たしてもよく、また、補正部１１０は、他の処理も可能な汎用の処理回路で構成されてもよい。
【００９８】
画像処理装置１００は、例えば図１に示す構成によって、（Ａ）入力画像信号に基づいてブロックノイズを検出し、ノイズ情報を出力する処理、（Ｂ）入力画像信号に対してスケーリング処理を行い、スケーリング情報を出力する処理、（Ｃ）ノイズ情報とスケーリング情報とに基づいて調整信号を出力する処理、（Ｄ）調整信号に基づいてスケーリング画像信号を補正する処理、を行う。ここで、上記（Ａ）の処理〜（Ｄ）の処理を行うことによって、ノイズ情報とスケーリング情報とに基づいて調整信号を生成し、調整信号に基づいてスケーリング画像信号を補正することが実現される。つまり、上記（Ａ）の処理〜（Ｄ）の処理は、上述した本発明の実施形態に係る画像処理方法に係る処理に該当する。よって、画像処理装置１００は、例えば図１に示す構成によって、上述した本発明の実施形態に係る画像処理方法を実行することができる。
【００９９】
したがって、画像処理装置１００は、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【０１００】
なお、本発明の実施形態に係る画像処理装置１００の構成は、図１に示す構成に限られない。例えば、図１では、画像処理装置１００がノイズ低減部１０４を備える構成を示しているが、本発明の実施形態に係る画像処理装置１００は、ノイズ低減部１０４を備えない構成をとることも可能である。上記の構成であっても、本発明の実施形態に係る画像処理装置１００は、ノイズ情報とスケーリング情報に基づき生成された調整信号に基づいてスケーリング画像信号を補正することが可能であるので、ブロックノイズが強調されることが防止される。よって、従来の技術が用いられる場合に生じうるブロックノイズが強調されることによる画質の低下を防止することができるので、従来の技術を用いる場合よりも高画質化を図ることができる。
【０１０１】
以上のように、本発明の実施形態に係る画像処理装置１００は、入力画像信号に基づいて検出されたブロックノイズを示すノイズ情報と、スケーリング処理における拡大率または縮小率を示すスケーリング情報とに基づいて調整信号を生成し、調整信号に基づいてスケーリング画像信号を補正する。ここで、画像処理装置１００は、ブロックノイズを検出するノイズ検出部と、画質の向上に係る画像処理を行う補正部との間において、スケーリングなどの他の処理が行われたとしても、当該他の処理の影響を考慮して画像処理を行う。よって、画像処理装置１００では、例えば、線形なスケーリングや非線形なスケーリングが入力画像信号に対して行われたとしても、画像処理（補正処理）によってブロックノイズが強調されることはない。つまり、画像処理装置１００は、ブロックノイズが発生した画像に対しても、より自然な画像処理を実現することができる。
【０１０２】
したがって、画像処理装置１００は、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【０１０３】
以上、本発明の実施形態として画像処理装置１００を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、ＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistants）などのコンピュータ、テレビ受像機などの表示装置、携帯電話などの携帯型通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像信号の処理が可能な様々な機器に適用することができる。
【０１０４】
（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、上記（Ａ）の処理〜（Ｄ）の処理を実現するためのプログラムなど、本発明の実施形態に係る画像処理方法に係る処理を実現するためのプログラム）によって、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【０１０５】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１０６】
例えば、図１では、画像処理装置１００が、ノイズ情報とスケーリング情報とに基づいて調整信号を生成する構成を示したが、本発明の実施形態に係る画像処理装置は、上記に限らない。例えば、本発明の実施形態に係る画像処理装置が、ノイズ検出部と補正部との間において検出されたブロックノイズの位置が変化する他の処理を行う場合には、本発明の実施形態に係る画像処理装置は、ノイズ情報と当該他の処理に係る情報とを用いて（または、ノイズ情報、スケーリング情報、および当該他の処理に係る情報を用いて）調整信号を生成する構成をとることが可能である。上記の構成であっても、画像処理（補正処理）によってブロックノイズが強調されることを防止することが可能であるので、圧縮符号化された画像信号に対してスケーリング処理が行われる場合において、高画質化を図ることができる。
【０１０７】
また、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【０１０８】
上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的範囲に属するものである。
【符号の説明】
【０１０９】
１００ 画像処理装置
１０２ ノイズ検出部
１０４ ノイズ低減部
１０６ スケーリング部
１０８ 調整信号生成部
１１０ 補正部
１１２、１１２Ａ、１１２Ｂ ノイズ計測部
１１４ フィルタ部
１１６ 最小値判定部
１１８ 調整信号出力部
１２０ 調整部
【特許請求の範囲】
【請求項１】
圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するノイズ検出部と、
前記入力画像信号に対して、前記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するスケーリング部と、
前記ノイズ情報と前記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力する調整信号生成部と、
前記調整信号に基づいて、前記スケーリング処理が行われた画像信号を補正する補正部と、
を備える、画像処理装置。
【請求項２】
前記調整信号生成部は、
前記ノイズ情報と前記スケーリング情報とに基づいて、拡大または縮小された画像におけるブロックノイズのブロック境界からの距離を特定するノイズ計測部と、
特定された前記ブロック境界からの距離に対応する前記調整信号を出力する調整信号出力部と、
を備える、請求項１に記載の画像処理装置。
【請求項３】
ノイズ計測部は、水平方向の前記ブロック境界からの距離、および／または、垂直方向の前記ブロック境界からの距離を特定する、請求項２に記載の画像処理装置。
【請求項４】
前記調整信号生成部は、前記ノイズ情報に含まれる前記ブロックノイズの強さを示す情報に基づいて、前記調整信号が示す補正の度合いを調整する調整部をさらに備える、請求項２に記載の画像処理装置。
【請求項５】
前記補正部は、
前記スケーリング処理が行われた前記画像信号に基づいて局所的なブロックノイズを判定し、判定結果に応じて前記調整信号が示す補正の度合いを調整し、
補正の度合いが調整された調整信号に基づいて、前記スケーリング処理が行われた前記画像信号を補正する、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記調整信号生成部は、画像信号のゲインを調整する調整信号を出力し、
前記補正部は、前記調整信号に基づいて、前記スケーリング処理が行われた前記画像信号のゲインを調整する、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項７】
入力画像信号のブロックノイズを低減するノイズ低減部をさらに備え、
前記スケーリング部は、ブロックノイズが低減された入力画像信号に対して、前記スケーリング処理を行う、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項８】
圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するステップと、
前記入力画像信号に対して、前記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するステップと、
前記ノイズ情報と前記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力するステップと、
前記調整信号に基づいて、前記スケーリング処理が行われた画像信号を補正するステップと、
を有する、画像処理方法。
【請求項９】
圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するステップ、
前記入力画像信号に対して、前記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するステップ、
前記ノイズ情報と前記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力するステップ、
前記調整信号に基づいて、前記スケーリング処理が行われた画像信号を補正するステップ、
をコンピュータに実行させるためのプログラム。
【請求項１】
圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するノイズ検出部と、
前記入力画像信号に対して、前記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するスケーリング部と、
前記ノイズ情報と前記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力する調整信号生成部と、
前記調整信号に基づいて、前記スケーリング処理が行われた画像信号を補正する補正部と、
を備える、画像処理装置。
【請求項２】
前記調整信号生成部は、
前記ノイズ情報と前記スケーリング情報とに基づいて、拡大または縮小された画像におけるブロックノイズのブロック境界からの距離を特定するノイズ計測部と、
特定された前記ブロック境界からの距離に対応する前記調整信号を出力する調整信号出力部と、
を備える、請求項１に記載の画像処理装置。
【請求項３】
ノイズ計測部は、水平方向の前記ブロック境界からの距離、および／または、垂直方向の前記ブロック境界からの距離を特定する、請求項２に記載の画像処理装置。
【請求項４】
前記調整信号生成部は、前記ノイズ情報に含まれる前記ブロックノイズの強さを示す情報に基づいて、前記調整信号が示す補正の度合いを調整する調整部をさらに備える、請求項２に記載の画像処理装置。
【請求項５】
前記補正部は、
前記スケーリング処理が行われた前記画像信号に基づいて局所的なブロックノイズを判定し、判定結果に応じて前記調整信号が示す補正の度合いを調整し、
補正の度合いが調整された調整信号に基づいて、前記スケーリング処理が行われた前記画像信号を補正する、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記調整信号生成部は、画像信号のゲインを調整する調整信号を出力し、
前記補正部は、前記調整信号に基づいて、前記スケーリング処理が行われた前記画像信号のゲインを調整する、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項７】
入力画像信号のブロックノイズを低減するノイズ低減部をさらに備え、
前記スケーリング部は、ブロックノイズが低減された入力画像信号に対して、前記スケーリング処理を行う、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項８】
圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するステップと、
前記入力画像信号に対して、前記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するステップと、
前記ノイズ情報と前記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力するステップと、
前記調整信号に基づいて、前記スケーリング処理が行われた画像信号を補正するステップと、
を有する、画像処理方法。
【請求項９】
圧縮符号化された入力画像信号に基づいてブロックノイズを検出し、検出されたブロックノイズを示すノイズ情報を出力するステップ、
前記入力画像信号に対して、前記入力画像信号が示す画像の拡大または縮小を行うスケーリング処理を行い、拡大率または縮小率を示すスケーリング情報を出力するステップ、
前記ノイズ情報と前記スケーリング情報とに基づいて、補正の度合いを示す調整信号を出力するステップ、
前記調整信号に基づいて、前記スケーリング処理が行われた画像信号を補正するステップ、
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９】
【公開番号】特開２０１２−１９１２５０（Ｐ２０１２−１９１２５０Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５０４７９（Ｐ２０１１−５０４７９）
【出願日】平成２３年３月８日（２０１１．３．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月８日（２０１１．３．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]