説明

画像処理方法及び装置

【課題】画像の高周波成分を維持しつつノイズ成分を除去する。
【解決手段】実施形態によれば、画像処理装置は、平均化部105と、相関係数算出部111と、フィルタ部112と、合成部113とを含む。平均化部105は、第1の高周波画像15及び第2の高周波画像16を平均化し、平均高周波画像17を得る。相関係数算出部111は、第1の高周波画像15の各画素の近傍領域と第2の高周波画像16の各画素の近傍領域との間の相関係数24を算出する。フィルタ部112は、平均高周波画像17に対して空間フィルタ処理を相関係数24に基づいて行い、フィルタ処理画像25を得る。合成部113は、フィルタ処理画像25と平滑化画像14とを合成し、出力画像26を得る。

【発明の詳細な説明】
【技術分野】
【0001】
実施形態は、画像のノイズ除去に関する。
【背景技術】
【0002】
電子部品などの検査を自動的に行う外観検査システムは、検査画像に含まれるノイズ成分を適切に除去(抑圧)することによって、高精度な検査が可能となる。同様に、X線検査システムもまた、検査画像に含まれるノイズ成分を適切に除去することによって、高精度な検査が可能となる。また、画像処理(例えば撮影、符号化、復号化、再生など)を行うときに、画像に含まれるノイズ成分を適切に除去することによって、様々な効果(例えば、符号化効率の向上、再生画像品質の向上など)が得られる。
【0003】
通常、画像に含まれるノイズ成分は、様々なフィルタリング処理によって除去される。しかしながら、係るフィルタリング処理によって、画像に含まれるノイズ成分だけでなく高周波成分までも除去されることがある。高周波成分が除去されると、ノイズ除去による有利な効果が阻害されるおそれがある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−226646号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従って、実施形態は、画像の高周波成分を維持しつつノイズ成分を除去することを目的とする。
【課題を解決するための手段】
【0006】
実施形態によれば、画像処理装置は、平滑化部と、第1の減算部と、第2の減算部と、平均化部と、算出部と、フィルタ部と、合成部とを含む。平滑化部は、第1の入力画像及び第2の入力画像の平均画像を平滑化し、平滑化画像を得る。第1の減算部は、第1の入力画像から平滑化画像を減算し、第1の高周波画像を得る。第2の減算部は、第2の入力画像から平滑化画像を減算し、第2の高周波画像を得る。平均化部は、第1の高周波画像及び第2の高周波画像を平均化し、平均高周波画像を得る。算出部は、第1の高周波画像の各画素の近傍領域と第2の高周波画像の各画素の近傍領域との間の相関係数を算出する。フィルタ部は、平均高周波画像に対して空間フィルタ処理を相関係数に基づいて行い、フィルタ処理画像を得る。合成部は、フィルタ処理画像と平滑化画像とを合成し、出力画像を得る。
【図面の簡単な説明】
【0007】
【図1】第1の実施形態に係る画像処理装置を例示するブロック図。
【図2】図1の水平方向フィルタ部の説明図。
【図3】図1の画像処理装置の動作を例示するフローチャート。
【図4】第3の実施形態に係る外観検査システムを例示するブロック図。
【図5A】フィルタ係数関数の一例の説明図。
【図5B】フィルタ係数関数の別の例の説明図。
【図5C】フィルタ係数関数の別の例の説明図。
【図6】第4の実施形態に係るX線検査システムを例示するブロック図。
【図7】図1の画像処理装置の効果の説明図。
【図8】第2の実施形態に係る画像処理装置を例示するブロック図。
【図9】図1の水平方向フィルタ部の説明図。
【図10】図1の垂直方向フィルタ部の説明図。
【図11】図1の平均化部(109)の説明図。
【図12】図8のフィルタ部の説明図。
【図13】図8の画像処理装置の動作を例示するフローチャート。
【発明を実施するための形態】
【0008】
以下、図面を参照して、実施形態について説明する。尚、各実施形態において、説明済みの要素と同一または類似の要素には同一または類似の符号を付し、重複する説明を基本的に省略する。
(第1の実施形態)
第1の実施形態に係る画像処理装置は、図1に示されるように、平均化部101、平滑化部102、減算部103,104、平均化部105、相関係数算出部106、水平方向フィルタ部107、垂直方向フィルタ部108、平均化部109及び加算部110を含む。
【0009】
図1の画像処理装置は、外部から第1の入力画像11及び第2の入力画像12を取得する。第1の入力画像11及び第2の入力画像12は、典型的には同一の被写体を連続撮影した2枚の画像であるが、これに限られない。また、図1の画像処理装置は、3枚以上の入力画像を取得してもよい。3枚以上の入力画像を取得する場合には、例えば、2枚ずつの入力画像の組み合わせを作成し、これらの各々に対して後述する本実施形態に係る画像処理(フィルタ処理)を行ってから統合(平均化)することによって出力画像を得ることができる。
【0010】
平均化部101は、第1の入力画像11及び第2の入力画像12を取得する。平均化部101は、第1の入力画像11及び第2の入力画像12を平均化し、平均画像13を得る。例えば、平均化部101は、第1の入力画像11の各画素と第2の入力画像12の各画素との算術平均を算出することにより、平均画像13を得る。平均化部101は、平均画像13を平滑化部102に出力する。
【0011】
平滑化部102は、平均化部101から平均画像13を入力する。平滑化部102は、平均画像13に対して平滑化処理(例えば、公知の平滑化オペレータを用いた平滑化処理)を行い、平滑化画像14を得る。平滑化画像14において、入力画像(即ち、第1の入力画像11及び第2の入力画像12)の高周波成分及びノイズ成分は抑圧され、入力画像の低周波成分は維持されている。平滑化部102は、平滑化画像14を減算部103,104及び加算部110にそれぞれ出力する。
【0012】
減算部103は、第1の入力画像11を取得し、平滑化部102から平滑化画像14を入力する。減算部103は、第1の入力画像11から平滑化画像14を減算し、第1の高周波画像15を得る。第1の高周波画像15において、第1の入力画像11の高周波成分及びノイズ成分は維持され、第1の入力画像11の低周波成分は抑圧されている。減算部103は、第1の高周波画像15を平均化部105及び相関係数算出部106にそれぞれ出力する。
【0013】
減算部104は、第2の入力画像12を取得し、平滑化部102から平滑化画像14を入力する。減算部104は、第2の入力画像12から平滑化画像14を減算し、第2の高周波画像16を得る。第2の高周波画像16において、第2の入力画像12の高周波成分及びノイズ成分は維持され、第2の入力画像12の低周波成分は抑圧されている。減算部104は、第2の高周波画像16を平均化部105及び相関係数算出部106にそれぞれ出力する。
【0014】
平均化部105は、減算部103から第1の高周波画像15を入力し、減算部104から第2の高周波画像16を入力する。平均化部105は、第1の高周波画像15及び第2の高周波画像16を平均化し、平均高周波画像17を得る。例えば、平均化部105は、第1の高周波画像15の各画素と第2の高周波画像16の各画素との算術平均を算出することにより、平均高周波画像17を得る。平均高周波画像17において、入力画像の高周波成分及びノイズ成分は維持され、入力画像の低周波成分は抑圧されている。平均化部105は、平均高周波画像17を水平方向フィルタ部107及び垂直方向フィルタ部108にそれぞれ出力する。
【0015】
相関係数算出部106は、減算部103から第1の高周波画像15を入力し、減算部104から第2の高周波画像16を入力する。相関係数算出部106は、第1の高周波画像15の各画素と第2の高周波画像16の各画素との間の水平方向の相関係数18及び垂直方向の相関係数19を算出する。尚、本実施形態において相関とは、画素の濃度変化(例えば、輝度値、色差値、色相値などの変化)の相関の意味で用いられる。相関係数算出部106は、各方向の相関係数を対応するフィルタ部に出力する。具体的には、相関係数算出部106は、水平方向の相関係数18を水平方向フィルタ部107に出力し、垂直方向の相関係数19を垂直方向フィルタ部108に出力する。
【0016】
以下、水平方向の相関係数18の算出手法について具体例を説明する。垂直方向の相関係数19は、下記説明を適宜読み替えることで算出することができる。また、下記説明は、他の方向の相関係数を算出する場合にも一般化して適用できる。
水平方向の相関係数18は、第1の高周波画像15及び第2の高周波画像16の各画素の座標に対して算出される。相関係数算出部106は、注目座標の画素と、この注目座標の左右で(即ち、水平方向上で)隣接する各2画素とからなる計5画素の画素列を第1の高周波画像15及び第2の高周波画像16からそれぞれ抽出する。相関係数算出部106は、第1の高周波画像15から抽出した第1の画素列内の第1の濃度平均値を算出し、同様に、第2の高周波画像16から抽出した第2の画素列内の第2の濃度平均値を算出する。相関係数算出部106は、第1の画素列内の各画素の濃度値から第1の濃度平均値を減算して残差濃度値を求め、第2の画素列内の各画素の濃度値から第2の濃度平均値を減算して残差濃度値を求める。そして、相関係数算出部106は、第1の画素列及び第2の画素列の残差濃度値の相互相関値を注目座標における水平方向の相関係数18として算出する。以上の処理を全ての座標に対して実施すれば、任意の座標(i,j)における水平方向の相関係数18を算出することができる。
【0017】
尚、上記説明において、例えば画素列のサイズ(即ち、画素列を構成する画素数)などの細部を変更してよいことは勿論である。例えば、注目座標の画素と、この注目座標の左右で隣接する各1画素とからなる計3画素の画素列を用いてもよい。また、濃度平均値の減算は、標準化に置き換えられても良い。ここで標準化とは、画素列内の各画素から濃度平均値を減算してから標準偏差で除する演算を意味する。
【0018】
尚、相関係数算出部106を複数の機能部の集合とみなすこともできる。具体的には、相関係数算出部106は、水平方向の相関係数18を算出する第1の算出部と、垂直方向の相関係数19を算出する第2の算出部との集合であるとみなすことができる。
【0019】
水平方向フィルタ部107は、平均化部105から平均高周波画像17を入力し、相関係数算出部106から水平方向の相関係数18を入力する。水平方向フィルタ部107は、水平方向の相関係数18に基づいて、平均高周波画像17に対して水平方向の空間フィルタ処理を行う。具体的には、水平方向フィルタ部107は、水平方向の相関係数18によって決まるフィルタ係数を用いて平均高周波画像17に対して水平方向の空間フィルタ処理を行う。水平方向フィルタ部107は、水平方向の空間フィルタ処理の結果、水平方向のフィルタ処理画像20を得る。フィルタ処理画像20において、入力画像の水平方向の高周波成分は維持されるが、入力画像の他の成分は抑圧されている。水平方向フィルタ部107は、フィルタ処理画像20を平均化部109に出力する。
【0020】
以下、水平方向フィルタ部107における水平方向の空間フィルタ処理を具体的に説明する。尚、後述する垂直方向フィルタ部108における垂直方向の空間フィルタ処理は、下記説明を適宜読み替えることで実施することができる。また、下記説明は、他の方向の空間フィルタ処理を実施する場合にも一般化して適用できる。
水平方向フィルタ部107は、フィルタ処理画像20の座標(i,j)の濃度値F1ijを下記の数式(1)に従って生成する。
【数1】

【0021】
数式(1)において、Aijは平均高周波画像17の座標(i,j)の濃度値を表す。R1ijは、水平方向の相関係数18のうち座標(i,j)の値を表す。f(x)は、入力された相関係数値(=x)に応じたフィルタ係数を設定するフィルタ係数関数を表す。即ち、水平方向フィルタ部107は、図2または図9に示されるように、第1の高周波画像15及び第2の高周波画像16から生成された平均高周波画像17及び水平方向の相関係数18に基づいて数式(1)を演算することによって、フィルタ処理画像20を得る。
【0022】
一般に、第1の入力画像11のノイズ成分と第2の入力画像12のノイズ成分との空間的な相関は比較的低いとみなすことができる。一方、第1の入力画像11の高周波成分と第2の入力画像12の高周波成分との空間的な相関は比較的高いとみなすことができる。従って、相関係数の小さな画素には小さなフィルタ係数を設定し、相関係数の大きな画素には大きなフィルタ係数を設定することによって、高周波成分を維持しつつノイズ成分を除去することができる。従って、フィルタ係数関数f(x)は、一般的には、相関係数の増加に応じてフィルタ係数を増加または維持する(即ち、減少させない)単調増加関数であればよい。
【0023】
フィルタ係数関数f(x)は、例えば下記数式(2)及び図5Aに示されるように、線形関数を用いて規定されてもよい。
【数2】

【0024】
また、フィルタ係数関数f(x)は、例えば下記の数式(3)及び図5Bに示されるように、シグモイド関数によって規定されてもよい。
【数3】

【0025】
数式(3)に示されるフィルタ関数f(x)についてパラメータa,bを適切に設計すれば、より効果的に高周波成分を維持しつつノイズ成分を除去することができる。図5Bの例であれば、相関係数の絶対値が0.8から1.0程度であればAijは殆ど維持され、相関係数の絶対値が0.0から0.5程度であればAijは殆ど除去される。
【0026】
また、フィルタ係数関数f(x)は、例えば下記の数式(4)及び図5Cに示されるように、2値関数によって規定されてもよい。
【数4】

【0027】
数式(4)に示されるフィルタ関数f(x)について閾値aを適切に設計すれば、より効果的に高周波成分を維持しつつノイズ成分を除去することができる。具体的には、相関係数の絶対値がa以上1.0未満であればAijは完全に維持され、相関係数の絶対値が0.0以上a未満であればAijは完全に除去される。
【0028】
垂直方向フィルタ部108は、平均化部105から平均高周波画像17を入力し、相関係数算出部106から垂直方向の相関係数19を入力する。垂直方向フィルタ部108は、垂直方向の相関係数19に基づいて、平均高周波画像17に対して垂直方向の空間フィルタ処理を行う。具体的には、垂直方向フィルタ部108は、図10に示されるように、垂直方向の相関係数19によって決まるフィルタ係数を用いて平均高周波画像17に対して垂直方向の空間フィルタ処理を行う。垂直方向フィルタ部108は、垂直方向の空間フィルタ処理の結果、垂直方向のフィルタ処理画像21を得る。フィルタ処理画像21において、入力画像の垂直方向の高周波成分は維持されるが、入力画像の他の成分は抑圧されている。垂直方向フィルタ部108は、フィルタ処理画像21を平均化部109に出力する。具体的には、垂直方向フィルタ部108は、フィルタ処理画像21の座標(i,j)の濃度値F2ijを下記の数式(5)に従って生成する。
【数5】

【0029】
数式(5)において、Aijは平均高周波画像17の座標(i,j)の濃度値を表す。R2ijは、垂直方向の相関係数19のうち座標(i,j)の値を表す。f(x)は、入力された相関係数値(=x)に応じたフィルタ係数を設定するフィルタ係数関数を表す。尚、数式(1)におけるフィルタ係数関数f(x)と、数式(5)におけるフィルタ係数関数f(x)とは同一であってもよいし、異なっていてもよい。
【0030】
平均化部109は、水平方向フィルタ部107からフィルタ処理画像20を入力し、垂直方向フィルタ部108からフィルタ処理画像21を入力する。平均化部109は、フィルタ処理画像20,21を平均化し、平均画像22を得る。例えば、平均化部109は、フィルタ処理画像20の各画素とフィルタ処理画像21の各画素との二乗平均平方根(RMS;Root Mean Square)を算出することにより、平均画像22を得る。即ち、平均化部109は、平均画像22の座標(i,j)の濃度値Favgijを下記の数式(6)に従って生成する。
【数6】

【0031】
平均画像22において、入力画像の水平方向の高周波成分と、入力画像の垂直方向の高周波成分とが維持されている。平均化部109は、平均画像22を加算部110に出力する。尚、算術平均の代わりにRMSを利用することの技術的意義は、以下の通りである。
【0032】
水平方向の相関係数をrで表し、垂直方向の相関係数をrで表すとする。例えば、注目座標周辺にノイズが混入していない場合、相関係数r及び相関係数rは共に1に近い値となる。係る場合には、算術平均によってもRMSによっても同様の平均画像22が得られる。一方、ノイズの混入によって注目座標周辺の濃度変化が水平方向の相関が強いものの垂直方向の相関が弱い場合、相関係数rは1に近い値となるが、相関係数rは0に近い値となる。即ち、フィルタ処理画像21における注目座標の濃度値は抑圧されることになる。係る場合に、算術平均を利用すると、フィルタ処理画像21の影響でフィルタ処理画像20における注目座標の濃度値(高周波成分)も必要以上に抑圧される(およそ半減する)。一方、RMSを利用すると、水平方向(または垂直方向)の相関が垂直方向(または水平方向)の相関に比べて弱い場合であっても、図11に示されるように、垂直方向(または水平方向)の空間フィルタ処理画像において維持される垂直方向(または水平方向)の高周波成分が平均画像22において必要以上に抑圧される事態を防ぐことができる。但し、平均化部109は、RMS以外の方法(例えば、算術平均)を利用することも可能である。
【0033】
加算部110は、平滑化部102から平滑化画像14を入力し、平均化部109から平均画像22を入力する。加算部110は、平滑化画像14及び平均画像22を加算し、出力画像23を生成する。出力画像23において、入力画像の低周波成分と水平方向及び垂直方向の高周波成分とは維持され、ノイズ成分は除去されている。
【0034】
尚、平均化部109及び加算部110をまとめて合成部とみなすこともできる。合成部は、各フィルタ処理画像20,21と平滑化画像14とを合成し、出力画像23を生成する。
【0035】
以下、図3を用いて図1の画像処理装置の動作例を説明する。図3の処理が開始すると、図1の画像処理装置は、第1の入力画像11及び第2の入力画像12を取り込む(ステップS301)。
【0036】
平均化部101は、ステップS301において取り込まれた第1の入力画像11及び第2の入力画像12を平均化する(ステップS302)。平滑化部102は、ステップS302において得られた平均画像13に対して平滑化処理を行う(ステップS303)。ステップS303に続いて、処理はステップS304に進む。
【0037】
ステップS304において、第1の減算部103は、ステップS301において取り込まれた第1の入力画像11からステップS303において得られた平滑化画像14を減算する。同様にステップS304において、第2の減算部104は、ステップS301において取り込まれた第2の入力画像12からステップS303において得られた平滑化画像14を減算する。
【0038】
平均化部105は、ステップS304において得られた第1の高周波画像15及び第2の高周波画像16を平均化する(ステップS305)。相関係数算出部106は、ステップS304において得られた第1の高周波画像15及び第2の高周波画像16の間の水平方向の相関係数18及び垂直方向の相関係数19を算出する(ステップS306)。尚、ステップS305及びステップS306は、逆順で実施されてもよいし、並行して実施されてもよい。ステップS305及びステップS306に続いて、処理はステップS307に進む。
【0039】
ステップS307において、水平方向フィルタ部107は、ステップS306において算出された水平方向の相関係数18に基づいて、ステップS305において得られた平均高周波画像17に対して水平方向の空間フィルタ処理を行う。同様にステップS307において、垂直方向フィルタ部108は、ステップS306において算出された垂直方向の相関係数19に基づいて、ステップS305において得られた平均高周波画像17に対して垂直方向の空間フィルタ処理を行う。
【0040】
平均化部109は、ステップS307において得られたフィルタ処理画像20,21を平均化する(ステップS308)。加算部110は、ステップS303において得られた平滑化画像14と、ステップS308において得られた平均画像22を加算し、出力画像23を生成する(ステップS309)。図3の処理はステップS309で終了する。
【0041】
図1の画像処理装置は、水平方向及び垂直方向の相関係数を用いて水平方向及び垂直方向のフィルタ処理を実施し、両フィルタ処理画像と平滑化画像とを合成している。係る処理を実施することによって、高周波成分とノイズ成分とを効果的に分離し、高周波成分を維持しつつノイズ成分を除去することが可能となる。図7は、図1の画像処理装置の効果を示している。ノイズ成分を含んだ入力画像について、平均化、平滑化及び本実施形態に係る画像処理をそれぞれ行うとする。平均化によって得られる画像30は、ノイズ成分が十分に抑圧されていない。平滑化によって得られる画像31は、入力画像の高周波成分の減衰が目立つ。一方、本実施形骸に係る画像処理によって得られる画像32は、ノイズ成分が十分に抑圧されていると共に入力画像の高周波成分が維持されている。
【0042】
以上説明したように、第1の実施形態に係る画像処理装置は、複数の入力画像から低周波成分を除去した複数の画像間の1次元方向の相関係数を算出し、係る相関係数を用いて当該複数の画像の平均画像に上記1次元方向の空間フィルタ処理を行う。従って、本実施形態に係る画像処理装置によれば、入力画像に含まれる高周波成分及びノイズ成分を分離して、高周波成分を維持しつつノイズ成分を除去することが可能である。
【0043】
尚、上記説明では、水平方向の空間フィルタ処理と垂直方向の空間フィルタ処理とを組み合わせて画像の高周波成分を維持しつつノイズ成分を除去することについて述べた。しかしながら、本実施形態はこれに限らず様々な変形が可能である。例えば、水平方向を第1の方向とみなし、垂直方向を第2の方向(第2の方向は、好ましくは第1の方向に略直交するが、略直交しなくてもよい)とみなすことで、本実施形態を一般化してもよい。例えば、第1の方向を右上がり方向とし、第2の方向を右下がり方向と置き換えても本実施形態は適用可能である。更に、被写体の濃度分布次第では、単一方向の空間フィルタ処理を実施してもよいし、3以上の方向の空間フィルタ処理を実施してもよい。
【0044】
(第2の実施形態)
第2の実施形態に係る画像処理装置は、図8に示されるように、平均化部101、平滑化部102、減算部103,104、平均化部105、相関係数算出部111、フィルタ部112及び加算部113を含む。
【0045】
相関係数算出部111は、減算部103から第1の高周波画像15を入力し、減算部104から第2の高周波画像16を入力する。相関係数算出部111は、第1の高周波画像15と第2の高周波画像16との間の各画素の近傍領域の相関係数24を算出する。相関係数算出部111は、相関係数24をフィルタ部112へ出力する。
【0046】
相関係数24は、第1の高周波画像15及び第2の高周波画像16の各画素の座標に対して算出される。相関係数算出部111は、注目座標の画素を中心とする3×3画素からなる計9画素の画素領域(近傍領域)を第1の高周波画像15及び第2の高周波画像16からそれぞれ抽出する。相関係数算出部111は、第1の高周波画像15から抽出した第1の近傍領域内の第1の濃度平均値を算出し、同様に、第2の高周波画像16から抽出した第2の近傍領域内の第2の濃度平均値を算出する。相関係数算出部111は、第1の近傍領域内の各画素の濃度値から第1の濃度平均値を減算して残差濃度値を求め、第2の近傍領域内の各画素の濃度値から第2の濃度平均値を減算して残差濃度値を求める。そして、相関係数算出部111は、第1の近傍領域及び第2の近傍領域の残差濃度値の相互相関値を注目座標における相関係数24として算出する。以上の処理を全ての座標に対して実施すれば、任意の座標(i,j)における相関係数24を算出することができる。
【0047】
尚、上記説明において、例えば近傍領域のサイズ(即ち、近傍領域を構成する画素数)または形状などの細部を変更してよいことは勿論である。例えば、近傍領域は、第1の実施形態と同様に1×N画素(Nは2以上の整数)からなる画素列であってもよい。また、濃度平均値の減算は、標準化に置き換えられても良い。
【0048】
フィルタ部112は、平均化部105から平均高周波画像17を入力し、相関係数算出部111から相関係数24を入力する。フィルタ部112は、相関係数24に基づいて、平均高周波画像17に対して空間フィルタ処理を行う。具体的には、フィルタ部112は、図12に示されるように、相関係数24によって決まるフィルタ係数を用いて平均高周波画像17に対して空間フィルタ処理を行う。フィルタ部112は、空間フィルタ処理の結果、フィルタ処理画像25を得る。フィルタ処理画像25において、入力画像の高周波成分は維持されるが、入力画像の他の成分は抑圧されている。フィルタ部112は、フィルタ処理画像25を加算部113へ出力する。具体的には、フィルタ部112は、フィルタ処理画像25の座標(i,j)の濃度値F3ijを下記の数式(7)に従って生成する。
【数7】

【0049】
数式(7)において、Aijは平均高周波画像17の座標(i,j)の濃度値を表す。R3ijは、相関係数24のうち座標(i,j)の値を表す。f(x)は、入力された相関係数値(=x)に応じたフィルタ係数を設定するフィルタ係数関数を表す。尚、数式(1)または数式(5)におけるフィルタ係数関数f(x)と、数式(7)におけるフィルタ係数関数f(x)とは同一であってもよいし、異なっていてもよい。
【0050】
加算部113は、平滑化部102から平滑化画像14を入力し、フィルタ部112からフィルタ処理画像25を入力する。加算部113は、平滑化画像14及びフィルタ処理画像25を加算し、出力画像26を生成する。出力画像26において、入力画像の低周波成分と高周波成分とは維持され、ノイズ成分は除去されている。
【0051】
以下、図13を用いて図8の画像処理装置の動作例を説明する。図13の処理のうちステップS301からステップS305までの処理は図3のものと同様である。
相関係数算出部111は、ステップS304において得られた第1の高周波画像15及び第2の高周波画像16の間の各画素の近傍領域の相関係数24を算出する(ステップS316)。尚、ステップS305及びステップS316は、逆順で実施されてもよいし、並行して実施されてもよい。ステップS305及びステップS316に続いて、処理はステップS317に進む。
【0052】
ステップS317において、フィルタ部112は、ステップS316において算出された相関係数24に基づいて、ステップS305において得られた平均高周波画像17に対して空間フィルタ処理を行う。
【0053】
加算部113は、ステップS303において得られた平滑化画像14と、ステップS317において得られたフィルタ処理画像25を加算し、出力画像26を生成する(ステップS319)。図13の処理はステップS319で終了する。
【0054】
以上説明したように、第2の実施形態に係る画像処理装置は、複数の入力画像から低周波成分を除去した複数の画像間の各画素の近傍領域の相関係数を算出し、係る相関係数を用いて当該複数の画像の平均画像に空間フィルタ処理を行う。従って、本実施形態に係る画像処理装置によれば、入力画像に含まれる高周波成分及びノイズ成分を分離して、高周波成分を維持しつつノイズ成分を除去することが可能である。
【0055】
(第3の実施形態)
第3の実施形態に係る外観検査システムは、図4に示されるように、画像処理装置100、画像検査装置200、カメラ210及びステージ220を含む。
【0056】
カメラ210は、例えばCCD(Charge−Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子を用いたデジタルカメラである。カメラ210は、後述するステージ220の上方から、ステージ220の上面を電子撮影する。カメラ210は、撮像素子によって得られた画素情報をマトリックス状(格子状)に配列して映像化した画像データを生成し、後段の画像処理装置100に出力する。
【0057】
ステージ220は、外観検査の対象となる被測定物OJ(例えば、液晶パネル、集積回路などの電子部品)を載置するためのテーブル状の平面を有するステージである。被測定物OJは、ステージ220においてカメラ210によって撮影される範囲に載置される。被測定物OJがステージ220上で静止した状態で、カメラ210による撮影が行われる。
【0058】
画像処理装置100は、カメラ210によって得られた画像データに対して、第1の実施形態または第2の実施形態と同様のノイズ除去処理を施す。例えば、画像処理装置100は例えば図1または図8の画像処理装置と同一または類似の構成を備える。即ち、画像処理装置100は、カメラ210によって撮影された2枚分の画像データを第1の入力画像11及び第2の入力画像12としてそれぞれ取り込み、画像処理を行って出力画像23または出力画像26を得る。画像処理装置100は、出力画像23または出力画像26を画像検査装置200に供給する。
【0059】
画像検査装置200は、画像処理装置100によってノイズ除去された画像を検査画像として入力する。画像検査装置200は、検査画像の画像解析を行う。画像検査装置200は、係る画像解析の結果、被測定物OJの異常(例えば、被測定物OJの欠陥、被測定物OJに付着した異物など)を検出する。
【0060】
以上説明したように、第3の実施形態に係る外観検査システムは、第1の実施形態または第2の実施形態に係る画像処理装置と同様のノイズ処理を行って検査画像を得る。従って、本実施形態に係る外観検査システムによれば、高周波成分が維持され、かつ、ノイズが除去された検査画像を利用できるので、高精度な検査が可能となる。
【0061】
(第4の実施形態)
第4の実施形態に係るX線検査システムは、図6に示されるように、画像処理装置100、画像検査装置400、X線源410、カーボンステージ420及びX線イメージセンサ430を含む。
【0062】
カーボンステージ420は、X線検査の対象となる被測定物OJを載置するためのテーブル状の平面を有するステージである。被測定物OJは、カーボンステージ420においてX線源410によってX線が照射される範囲に載置される。被測定物OJがカーボンステージ420上で静止した状態で、X線源410及びX線イメージセンサ430によるX線撮影が行われる。
【0063】
X線源410は、カーボンステージ420に載置された被測定物OJに対してX線を照射する。X線イメージセンサ430は、X線源410によって照射されて被測定物OJを透過したX線を検出し、画像データを生成する。X線イメージセンサ430は、画像データを後段の画像処理装置100に出力する。
【0064】
画像処理装置100は、X線イメージセンサ430によって得られた画像データに対して、第1の実施形態または第2の実施形態と同様のノイズ除去処理を施す。例えば、画像処理装置100は例えば図1または図8の画像処理装置と同一または類似の構成を備える。即ち、画像処理装置100は、X線イメージセンサ430によって撮影された2枚分の画像データを第1の入力画像11及び第2の入力画像12としてそれぞれ取り込み、画像処理を行って出力画像23または出力画像26を得る。画像処理装置100は、出力画像23または出力画像26を画像検査装置400に供給する。
【0065】
画像検査装置400は、画像処理装置100によってノイズ除去された画像を検査画像として入力する。画像検査装置400は、検査画像の画像解析を行う。画像検査装置400は、係る画像解析の結果、被測定物OJの異常を検出する。
【0066】
以上説明したように、第4の実施形態に係るX線検査システムは、第1の実施形態または第2の実施形態に係る画像処理装置と同様のノイズ処理を行って検査画像を得る。従って、本実施形態に係るX線検査システムによれば、高周波成分が維持され、かつ、ノイズが除去された検査画像を利用できるので、高精度な検査が可能となる。
【0067】
尚、本実施形態に係るX線検査システムを医療診断などのために適用し、人間(例えば医師)が検査画像の解析を行う場合も考えられる。係る場合には、画像検査装置400は不要である。人間が検査画像の解析を行う場合にも、高周波成分が維持され、かつ、ノイズが除去された検査画像を利用できるので、高精度な検査が可能となることは明らかである。
【0068】
上記各実施形態の処理は、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。上記各実施形態の処理を実現するプログラムは、コンピュータで読み取り可能な記憶媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記憶媒体に記憶される。記憶媒体としては、磁気ディスク、光ディスク(CD−ROM、CD−R、DVD等)、光磁気ディスク(MO等)、半導体メモリなど、プログラムを記憶でき、かつ、コンピュータが読み取り可能な記憶媒体であれば、何れの形態であってもよい。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ(サーバ)上に格納し、ネットワーク経由でコンピュータ(クライアント)にダウンロードさせてもよい。
【0069】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0070】
11・・・第1の入力画像、12・・・第2の入力画像、13・・・平均画像、14・・・平滑化画像、15・・・第1の高周波画像、16・・・第2の高周波画像、17・・・平均高周波画像、18・・・水平方向の相関係数、19・・・垂直方向の相関係数、20,21・・・フィルタ処理画像、22・・・平均画像、23・・・出力画像、24・・・相関係数、25・・・フィルタ処理画像、26・・・出力画像、30,31,32・・・画像、100・・・画像処理装置、101・・・平均化部、102・・・平滑化部、103,104・・・減算部、105・・・平均化部、106・・・相関係数算出部、107・・・水平方向フィルタ部、108・・・垂直方向フィルタ部、109・・・平均化部、110・・・加算部、111・・・相関係数算出部、112・・・フィルタ部、113・・・加算部、200・・・画像検査装置、210・・・カメラ、OJ・・・被測定物、220・・・ステージ、400・・・画像検査装置、410・・・X線源、420・・・カーボンステージ、430・・・X線イメージセンサ

【特許請求の範囲】
【請求項1】
第1の入力画像及び第2の入力画像の平均画像を平滑化し、平滑化画像を得ることと、
前記第1の入力画像から前記平滑化画像を減算し、第1の高周波画像を得ることと、
前記第2の入力画像から前記平滑化画像を減算し、第2の高周波画像を得ることと、
前記第1の高周波画像及び前記第2の高周波画像を平均化し、平均高周波画像を得ることと、
前記第1の高周波画像の各画素の近傍領域と前記第2の高周波画像の各画素の近傍領域との間の相関係数を算出することと、
前記平均高周波画像に対して空間フィルタ処理を前記相関係数に基づいて行い、フィルタ処理画像を得ることと、
前記フィルタ処理画像と前記平滑化画像とを合成し、出力画像を得ることと
を具備する、画像処理方法。
【請求項2】
第1の入力画像及び第2の入力画像の平均画像を平滑化し、平滑化画像を得ることと、
前記第1の入力画像から前記平滑化画像を減算し、第1の高周波画像を得ることと、
前記第2の入力画像から前記平滑化画像を減算し、第2の高周波画像を得ることと、
前記第1の高周波画像及び前記第2の高周波画像を平均化し、平均高周波画像を得ることと、
前記第1の高周波画像の各画素と前記第2の高周波画像の各画素との間の第1の方向の相関係数を算出することと、
前記平均高周波画像に対して前記第1の方向の空間フィルタ処理を前記第1の方向の相関係数によって決まるフィルタ係数を用いて行い、第1のフィルタ処理画像を得ることと、
前記第1のフィルタ処理画像と前記平滑化画像とを合成し、出力画像を得ることと
を具備する、画像処理方法。
【請求項3】
前記第1の高周波画像の各画素と前記第2の高周波画像の各画素との間の第2の方向の相関係数を算出することと、
前記平均高周波画像に対して前記第2の方向の空間フィルタ処理を前記第2の方向の相関係数に基づいて行い、第2のフィルタ処理画像を得ることと
を更に具備し、
前記出力画像は、前記第1のフィルタ処理画像及び前記第2のフィルタ処理画像を平均化してから前記平滑化画像を合成することによって得られる、
請求項2記載の画像処理方法。
【請求項4】
前記第2の方向は、前記第1の方向に略直交する、請求項3記載の画像処理方法。
【請求項5】
前記出力画像は、前記第1のフィルタ処理画像及び前記第2のフィルタ処理画像の二乗平均平方根に前記平滑化画像を合成することによって得られる、請求項4記載の画像処理方法。
【請求項6】
被測定物を撮影して得られた第1の入力画像及び第2の入力画像の平均画像を平滑化し、平滑化画像を得る平滑化部と、
前記第1の入力画像から前記平滑化画像を減算し、第1の高周波画像を得る第1の減算部と、
前記第2の入力画像から前記平滑化画像を減算し、第2の高周波画像を得る第2の減算部と、
前記第1の高周波画像及び前記第2の高周波画像を平均化し、平均高周波画像を得る平均化部と、
前記第1の高周波画像の各画素と前記第2の高周波画像の各画素との間の第1の方向の相関係数を算出する第1の算出部と、
前記平均高周波画像に対して前記第1の方向の空間フィルタ処理を前記第1の方向の相関係数に基づいて行い、第1のフィルタ処理画像を得る第1のフィルタ部と、
前記第1のフィルタ処理画像と前記平滑化画像とを合成し、前記被測定物の外観検査のための出力画像を得る合成部と
を具備する、画像処理装置。
【請求項7】
被測定物をX線撮影して得られた第1の入力画像及び第2の入力画像の平均画像を平滑化し、平滑化画像を得る平滑化部と、
前記第1の入力画像から前記平滑化画像を減算し、第1の高周波画像を得る第1の減算部と、
前記第2の入力画像から前記平滑化画像を減算し、第2の高周波画像を得る第2の減算部と、
前記第1の高周波画像及び前記第2の高周波画像を平均化し、平均高周波画像を得る平均化部と、
前記第1の高周波画像の各画素と前記第2の高周波画像の各画素との間の第1の方向の相関係数を算出する第1の算出部と、
前記平均高周波画像に対して前記第1の方向の空間フィルタ処理を前記第1の方向の相関係数に基づいて行い、第1のフィルタ処理画像を得る第1のフィルタ部と、
前記第1のフィルタ処理画像と前記平滑化画像とを合成し、前記被測定物のX線検査のための出力画像を得る合成部と
を具備する、画像処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5A】
image rotate

【図5B】
image rotate

【図5C】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate