画像処理方法及び装置
【課題】
シンプルな構成で空間分解能を向上させることができ、低コストで汎用性を備えたイメージング手法を提供する。
【解決手段】
対象の位置を固定して、対象の 画像をベース画像として取得するステップと、対象あるいは／および画像取得装置の測定系を移動させることで、前記ベース画像に対して結像面内で所定量シフトしたＮ枚のシフト画像（Ｎ≧１）を取得するステップと、前記ベース画像と各シフト画像の同じ座標の画素同士の差分からＮ枚の差分画像（Ｎ≧１）を取得するステップと、前記Ｎ枚の差分画像を加算して対象の差分積算画像を取得するステップと、からなる。
シンプルな構成で空間分解能を向上させることができ、低コストで汎用性を備えたイメージング手法を提供する。
【解決手段】
対象の位置を固定して、対象の 画像をベース画像として取得するステップと、対象あるいは／および画像取得装置の測定系を移動させることで、前記ベース画像に対して結像面内で所定量シフトしたＮ枚のシフト画像（Ｎ≧１）を取得するステップと、前記ベース画像と各シフト画像の同じ座標の画素同士の差分からＮ枚の差分画像（Ｎ≧１）を取得するステップと、前記Ｎ枚の差分画像を加算して対象の差分積算画像を取得するステップと、からなる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法及び装置に係り、より詳しくは、対象の情報（位置、明るさ、色、磁化等の物理的情報）を、画像化、視覚化する、計測技術としてのイメージング分野に関するものである。
【背景技術】
【０００２】
ナノスケール、マイクロスケールといった微細な構造からの信号や、マクロなスケールであっても、微弱な信号の変化を捉えるためには、特殊な光学系や検出器を組み合わせる必要がある。例えば、一原子層の炭素膜であるグラフェンは、マイクロメートルのサイズスケールであり、さらに反射率が低いことから、高倍率、高精度の光学顕微鏡やＣＣＤカメラ、特殊なフィルタ等を組み合わせることにより、はじめて観察が可能となる。
【０００３】
すなわち、通常、見えないものを見えるようにする、いわゆるイメージング技術は、概して高価で特殊な装置に頼らざるを得ない状況にある。このことは、経済性の面で問題が多く、既存の装置に組み込む等の柔軟性や、新たな分野への利用する際の汎用性にも課題がある。
【０００４】
本発明は、計測対象と測定系との相対的位置をシフトさせて取得した複数の画像を用いてかかる課題に対処しようとするものである。従来、デジタルカメラの手ぶれ補正等に代表されるように、対象を精密に測定するためには対象ないし測定系をしっかりと固定させるという固定観念があった。本発明は、計測対象と測定系との相対的位置をシフトさせて画像を取得するという、従来の固定観念とは逆の発想に基づくものである。
【０００５】
対象や画像取得装置の測定系を移動させることで、シフトした画像を得ること自体は、例えば、いわゆる画素ずらし手法（特許文献１〜３）においても行われている。画素ずらし手法は、CCDカメラやCMOSカメラ等の、受光セルを敷き詰めたイメージセンサを用いて画像を取得する際に、本来セルの大きさや配置で左右される解像度を向上させるべく、画素の位置を例えば半画素分ずらして撮像し、取得された画像を加算処理する手法である。本発明と画素ずらし手法とが互いに異質の技術思想であることは、本明細書を読み進めて行くことで明らかになる。
【０００６】
画像解析において、微分フィルタを用いたエッジ検出が知られている。微分フィルタとしては、１次微分（差分）フィルタとしてソーベルフィルタや、２次微分（差分）フィルタとしてラプラシアンフィルタが知られている。ソーベルフィルタは、１つの画像に基づいて着目画素の近傍画素（２方向や６方向）の画素値、ラプラシアンフィルタは、１つの画像に基づいて着目画素の近傍画素（４方向や８方向）の画素値をそれぞれ用いる数値演算である。本発明の１つの態様でも、対象の輪郭を検出することができるが、本発明と微分フィルタを用いたエッジ検出とは互いに異質の技術思想であることは、本明細書を読み進めて行くことで明らかになる。
【０００７】
一般に空間分解能が高い顕微鏡として走査型顕微鏡が知られており、光学顕微鏡においても走査型のものがある（特許文献４）。走査型光学顕微鏡では、例えば、スポット光の照射位置に対して試料ステージをＸＹ平面内で移動させながら得られた２次元マッピングデータから２次元画像を取得するものであり、つまり、走査型顕微鏡における走査は、１枚の２次元画像を取得するために行われるものである。本発明の１つの態様においても、ＸＹ平面内で移動可能な試料ステージを用いるが、本発明における試料ステージの移動が、走査型顕微鏡における試料ステージの移動と技術思想において異なるものであることは、本明細書を読み進めて行くことで明らかになる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平７−２１２６６０号
【特許文献２】特開平８−９５１５３号
【特許文献３】特開２００１−２５１４９１号
【特許文献４】特開２００３−２５５２３１号
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述のように、通常では観測が困難な微弱な画像情報を得るために、光学系や検出器は、とかく特殊で高価なものにならざるを得ない状況にある。このことが、コストの問題を生み、また、新たな観測システムへの応用を阻害する要因となっている。
本発明は、シンプルな構成で空間分解能を向上させることができ、低コストで汎用性を備えたイメージング手法を提供することを目的とするものである。
【課題を解決するための手段】
【００１０】
かかる課題を解決するべく本発明が採用した技術手段は、
対象の画像を取得する画像取得装置を用いた画像処理方法であって、
対象の画像をベース画像として取得するステップと、
前記ベース画像に対して結像面内で前記対象が所定量シフトしたＮ枚のシフト画像（Ｎ≧１）を取得するステップと、
前記ベース画像と各シフト画像の同じ座標の 画素同士の差分からＮ枚の差分画像（Ｎ≧１）を取得するステップと、
前記Ｎ枚の差分画像を加算して対象の差分積算画像を取得するステップと、
からなる画像処理方法、である。
【００１１】
１つの態様では、前記差分積算画像は、各シフト画像からベース画像を減算して積算することで得られる。
１つの態様では、前記画像処理方法は、さらに、ベース画像から前記差分積算画像を減算して対象の鮮鋭化画像を取得するステップを備える。
鮮鋭化画像を取得する際に、ベース画像に重みを付けてもよい。重みは、例えば、１倍〜２０倍の範囲から選択される。
【００１２】
シフト画像からベース画像を引いて積算して得られた差分積算画像が２次微分画像となる。そして、ベース画像からこの２次微分画像を引くことにより、高強度はより強く、弱強度はより弱くなり、輪郭が強調され、鮮鋭化された画像が得られる。
なお、差分画像のみを用いる場合、ある対象の輪郭のみを抽出するのであれば、差分画像の各画素の値の符号は問わない（白で強調するか、黒で強調するかの違い）ので、差分画像の符号反転を行い得ることが当業者に理解される。同様に、鮮鋭化画像の符号反転を適宜行い得ることも当業者に理解される。本明細書、特許請求の範囲の記載において、「加算すること」と「減算すること」は符号反転に応じて置換可能であることが当業者に理解される。
【００１３】
１つの態様では、前記所定量は、前記画像取得装置の空間分解能の１／１０〜２倍の範囲の量である。
１つの態様では、前記所定量は、前記画像取得装置の空間分解能の１／５〜１倍の範囲の量である。
画像取得装置の空間分解能は、重要なスペックであり、既知ないし当該装置の構成から見積もることができる。例えば、実験で用いた光ファイバーイメージング装置では、ファイバ素線の直径である２〜３μｍが空間分解能であると考えられ、実験で用いたノマルスキ微分干渉 光学顕微鏡（ＢＸ６０）では、ほぼ１μｍと見積もることができる。
【００１４】
１つの態様では、前記シフト画像は、対象あるいは／および画像取得装置の測定系を移動させることで取得される。
対象の移動は、典型的には移動機構（例えば、ピエゾ駆動ステージ、ベルトコンベア）上の対象を当該移動機構により移動させるものであるが、対象自身が機械的な移動手段や振動手段を有している場合、対象（典型的には生物）が自己運動する場合も含む。
画像取得装置の測定系を移動させる場合には、測定系全体を移動させる場合、測定系の一部を移動させる場合を含む。例えば、光学系の画像取得装置の測定系が、光学系と検出器を備えている場合に、「光学系＋検出器」を移動させる場合、「検出器」を移動させる場合がある。
１つの態様では、前記Ｎ枚のシフト画像は、ベース画像に対してｘ方向に２方向、ｙ方向に２方向、斜め方向に４方向シフトした８つの画像である。
１つの態様では、前記Ｎ枚のシフト画像は、ベース画像に対してｘ方向に２方向、ｙ方向に２方向シフトした４つの画像である。
１つの態様では、前記Ｎ枚のシフト画像は、ベース画像に対してｘ方向あるいはｙ方向の２方向にシフトした２つの画像である。
シフト方向は、反対方向のペア（ｘ方向に２方向のように）の場合に限定されるものではなく、１方向を含む奇数方向でもよく、また、回転も含む。
【００１５】
本発明は、対象の画像を取得する画像取得装置を用いた画像処理装置としても実現され、当該画像処理装置は、
対象の画像をベース画像として取得する手段と、
前記ベース画像に対して結像面内で前記対象が所定量シフトしたＮ枚のシフト画像（Ｎ≧１）を取得する手段と、
画像処理部と、を備え、
前記画像処理部は、前記ベース画像と各シフト画像の同じ座標の画素同士の差分からＮ枚の差分画像（Ｎ≧１）を取得し、前記Ｎ枚の差分画像を加算して対象の差分積算画像を取得する。
【００１６】
１つの態様では、前記画像処理部は、各シフト画像からベース画像を減算して積算することで差分積算画像を取得し、ベース画像から前記差分積算画像を減算して対象の鮮鋭化画像を取得する。
【００１７】
本発明において、対象の画像を取得する画像取得装置は、対象のベース画像およびシフト画像を取得できるものであればよく、具体的には、光学顕微鏡（実体顕微鏡、位相差顕微鏡、微分干渉顕微鏡、偏光顕微鏡、蛍光顕微鏡を含む）、透過型電子顕微鏡、超音波顕微鏡、デジタルカメラ、ファイバースコープ、サーモグラフィ、磁気共鳴（MR）イメージング装置、超音波イメージング装置、光超音波イメージング装置、ラマン分光装置、顕微ラマン分光装置、放射線イメージング装置（X線、アルファ線、ベータ線、ガンマ線、中性子線を含む）が例示される。
後述する実施形態では、光ファイバーイメージング装置、ノマルスキ微分干渉光学顕微鏡の２種類の画像取得装置を用いて実験を行った。本手法を光ファイバーイメージング装置、ノマルスキ微分干渉光学顕微鏡以外の他の画像取得装置に適用することは、当業者において適宜実行できることが理解される。
本発明における、対象あるいは／および画像取得装置の測定系のシフト方向は、結像面に対して平行する方向である。すなわち、対象を移動させる場合において、シフト方向は、光学的な画像取得装置においては光軸に対して垂直方向、電子線や放射線を用いた画像取得装置においてはビーム軸に対して垂直方向である。
【発明の効果】
【００１８】
本発明では、対象の位置を測定系に対して相対的にシフトさせて撮影してシフト画像を取得し、ベース画像とシフト画像の差分画像を取得する（シフト画像からベース画像を差し引く）という簡便な演算操作で、検出すべき信号以外のノイズのかなりの部分（測定系の時間的・空間的揺らぎ、より具体的には、光源の揺らぎ、光学系の揺らぎ、検出器の揺らぎ等）を除去することができ、信号強度の試料位置依存性のみを差分画像として高感度に検出できる。得られた差分画像を加算してなる差分積算画像は、対象の空間２次微分イメージであり、空間２次微分イメージをベース画像から減算することで、空間分解能が向上された画像を得ることができる。
【００１９】
既存のイメージング装置（各種顕微鏡、カメラ、検査装置等）の試料ステージの位置をシフトしながら撮影し、演算するという簡便な方法で空間分解能を向上させることができる。既に可動ステージを備えている装置においては、撮影プロセスや演算方法を変更するのみでよく、また、可動ステージを備えていない既存の装置に本発明を適用する場合であっても、可動ステージを追加するだけでよく、低コストでイメージング装置を実現することができる。
【００２０】
本発明の効果は上記記載に限定されるものではなく、その他の効果は、本明細書の記載から明らかになる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態を示すブロック図である。
【図２】本発明の概念を説明する図である。
【図３】シフト画像の取得（空間2次微分イメージングプロセス）を示す図である。ベース画像Ｃ０と、４方向にシフトした４つのシフト画像Ｃ１〜４を示す。ノイズ成分はゼロである。画像は、中央にグレースケールの印（画素値０．９）を備えた白色（画素値１）の十字形であり、シフト量は１画素である。
【図４】図３を画素値で表示した図である。
【図５】イメージングプロセス例（１方向の場合）を示す図であり、上図はベース画像、中央図は差分画像、下図は鮮鋭化画像である。
【図６】イメージングプロセス例（２方向の場合）を示す図であり、上図はベース画像、中央図は差分積算画像、下図は鮮鋭化画像である。
【図７】イメージングプロセス例（４方向の場合）を示す図であり、上図はベース画像、中央図は差分積算画像、下図は鮮鋭化画像である。
【図８】鮮鋭化画像におけるベース画像の重みの効果を示す図である。
【図９】シフト量が1/5画素の場合のシフト画像の取得（4方向の場合）示す図である。ベース画像Ｃ０と、４方向にシフトした４つのシフト画像Ｃ１〜４を示す。ノイズ成分はゼロである。
【図１０】シフト量が１/5画素の場合のイメージングプロセス例（４方向の場合）を示す図であり、上図はベース画像、中央図は差分積算画像、下図は鮮鋭化画像である。
【図１１】鮮鋭化画像におけるベース画像の重みの効果を示す図である。シフト量は１/5画素分である。
【図１２】実験に用いた光ファイバーイメージング装置を示す図である。
【図１３】８方向のシフト画像の取得を示す図である。
【図１４】差分積算画像と鮮鋭化画像のシフト量依存性（シフト量：０μｍ、０．２５μｍ、０．５μｍ）を示す図である。
【図１５】差分積算画像と鮮鋭化画像のシフト量依存性（シフト量：１μｍ、２μｍ、３μｍ）を示す図である。
【図１６】差分積算画像と鮮鋭化画像のシフト量依存性（シフト量：４μｍ、５μｍ）を示す図である。
【図１７】グラフェンホールバーの観測結果を示す図である。
【図１８】単層グラフェン/グラファイトの観察結果を示す図である。
【図１９】単層/二層グラフェンの観察結果を示す図である。
【図２０】単層/多層グラフェンの観察結果を示す図である。
【図２１】単層/多層グラフェンの観察結果を示す図である。
【図２２】単層/多層グラフェンの観察結果を示す図である。
【図２３】単層/多層グラフェンの観察結果を示す図である。
【図２４】鮮鋭化画像におけるベース画像の重みの効果（観察結果）を示す図である。
【図２５】鮮鋭化画像におけるベース画像の重みの効果（観察結果）を示す図である。
【図２６】鮮鋭化画像におけるベース画像の重みの効果（観察結果）を示す図である。
【図２７】鮮鋭化画像におけるベース画像の重みの効果（観察結果）を示す図である。
【図２８】観察対象（Olympus Microscope BX-60により取得されたもの）を示す図である。
【図２９】ベルトコンベアを用いた検査装置としての実施形態（適用１）を示す図である。
【図３０】ベルトコンベアを用いた検査装置としての実施形態（適用２）を示す図である。
【図３１】ベルトコンベアを用いた検査装置としての実施形態（適用３）を示す図である。
【発明を実施するための形態】
【００２２】
[Ａ]イメージング装置
[Ａ−１]イメージング装置における画像処理の概要
本発明の画像処理装置（イメージング装置）の実施形態のブロック図を図１に示す。画像処理装置は、対象の画像を取得する画像取得部（測定系）と、測定系に対して対象を相対的に移動させる手段と、を備えている。以下の説明においては、光学的な画像取得装置に基づいて本発明の実施形態を説明するが、本発明に適用され得る画像取得装置は、光学的な画像取得装置に限定されない。
【００２３】
画像取得部と移動手段とによって、ベース画像と、シフト画像と、が取得される。すなわち、画像取得部と移動手段とから、対象の位置を固定して、対象の画像をベース画像として取得する手段と、対象あるいは／および画像取得装置の測定系を移動させることで、前記ベース画像に対して結像面内で当該対象が所定量シフトしたＮ枚のシフト画像（Ｎ≧１）を取得する手段と、が構成される。
【００２４】
画像処理装置は、画像処理部を備えている。画像処理部は、ベース画像と各シフト画像の同じ座標の 画素同士の画素値（信号強度）の差分からＮ枚の差分画像（Ｎ≧１）を取得し、当該Ｎ枚の差分画像の同じ座標の画素同士の画素値（信号強度）を加算して対象の差分積算画像を取得する。Ｎ＝１の場合は、差分画像＝差分積算画像となる。画像処理部は、各シフト画像からベース画像を減算して積算することで差分積算画像を取得し、ベース画像から前記差分積算画像を減算して対象の鮮鋭化画像を取得する。
【００２５】
画像処理装置は、表示部を備えており、取得した画像（すなわち、ベース画像、シフト画像）、取得した画像を用いて計算したデータ等は表示部に適宜表示可能となっている。
【００２６】
画像処理部は、汎用コンピュータ（入力部、出力部、演算部、記憶部、表示部等を備える）から構成することができる。取得した画像データ、計算データは記憶部に記憶され、各種計算は演算部によって実行される。画像処理装置の表示部は、汎用コンピュータの表示部から構成することができる。
【００２７】
本実施形態に係る画像処理方法は、対象の位置を固定して、対象の画像をベース画像として取得するステップと、対象あるいは／および画像取得装置の測定系を移動させることで、前記ベース画像に対して結像面内で当該対象が所定量シフトした１つあるいは複数のシフト画像を取得するステップと、前記ベース画像と各シフト画像の同じ座標の画素同士の差分から１つあるいは複数の差分画像を取得するステップと、前記１つあるいは複数の差分画像の同じ座標の画素同士を加算して対象の差分積算画像を取得するステップと、を備えている。
【００２８】
各ステップにおいて取得された画像は、画像データとして数値で取得されていればよく、必ずしも表示装置に表示される必要はない。例えば、最終的に得られる差分積算画像のみを表示し、他の画像は表示しなくてもよい。
【００２９】
各ステップは、必ずしも時系列を特定するものではなく、 一部のステップが同時に実行されてもよい。例えば、複数の差分画像を取得するステップと、対象の差分積算画像を取得するステップとは、同時に実行されてもよい。複数の差分画像を取得するステップと、対象の差分積算画像を取得するステップと、差分積算画像にベース画像を加算するステップと、を同時に実行してもよい。また、時系列的にベース画像の取得の前にシフト画像を取得してもよい。例えば、１方向に移動する対象を連続的に撮影し、連続する３枚の画像のセットにおいて、画像ｔをベース画像とし、画像ｔ−１、画像ｔ＋１をそれぞれシフト画像としてもよい。これについては、後述するベルトコンベアを用いた検査装置への適用１、２を参照することができる。
【００３０】
本発明の概念図を図２に示す。図２に示すように、ベース画像は、真の信号と試料位置に依存しないノイズとからなる。シフト画像もまた、試料位置に依存しないノイズを含んでいる。シフト画像が、ベース画像に対して左側にシフトした第１シフト画像と、ベース画像に対して右側にシフトした第２シフト画像と、からなるとすると、ベース画像から第１シフト画像を減算した差分画像と、ベース画像から第２シフト画像を減算した差分画像とを加算することで、差分積算画像を取得する。差分積算画像が、シフト方向における光強度の空間2次微分マッピングとなっている。差分積算画像は、対象の輪郭の情報である。
【００３１】
本実施形態の特徴は、光学系と検出器を含めた測定系全部を、試料に対して相対的に微少量シフトすることで、信号強度の試料位置依存性のみを抽出できる（差分法）こと、この操作により生成される差分積算画像が空間２次微分イメージとなること、にある。イメージング装置において、対象の位置をシフトして撮影し、画像間の演算（足し引き）を行うと、差分法による観測装置となる。ここで、装置の空間分解能に相当する程度の距離だけ対象をシフトさせると、検出すべき信号以外のノイズのかなりの部分（光源の揺らぎ、光学系の揺らぎ、検出器の揺らぎ等）を除去することができ、装置の空間分解能を向上できる。すなわち、「信号の揺らぎ（ノイズ）」＝「光源の揺らぎ」＋「光学系の揺らぎ」＋「スキャニングの揺らぎ」＋「検出器の揺らぎ」＋「その他の揺らぎ」とすると、位置シフトにより変化しないノイズは、ほぼキャンセルできる。
【００３２】
図２の下側に、微分フィルタによる処理を比較のために示す。微分フィルタが、着目画素の近傍画素の画素値を用いる数値演算であるのに対して、本発明では、対象に対して光学系、検出器を含む測定系を、あるいは結像に対して検出器を、所定量シフトし、実際に取得した複数の画像の同じ 座標の画素間の画素値を用いるものであり、両者は全く異なる。これらの手法によって得られる結果が全く異なるものであることは、後述する実験結果から明らかである。
【００３３】
典型的には、上記画像処理方法は、さらに、ベース画像から前記差分積算画像を減算して対象の鮮鋭化画像を取得するステップを備えている。すなわち、差分積算画像にベース画像を加算する。この場合、ベース画像に重み（例えば、１〜２０倍）を付けてもよい。シフト画像からベース画像を引いて積算すると差分積算画像が2次微分画像となる。そして、ベース画像からこの2次微分画像を引くことにより、高強度はより強く、弱強度はより弱くなり、輪郭が強調され、鮮鋭化された画像が得られる。なお、差分画像のみを用いる場合、ある対象の輪郭のみを抽出するのであれば、 差分画像の符号反転を行い得ることが当業者に理解される。同様に、鮮鋭化画像の符号反転を適宜行い得ることも当業者に理解される。２次微分画像は数学的には、シフト画像からベース画像を差し引くことで得られ、その意味において、差分積算画像は、シフト画像からベース画像を引いたものを積算したものと定義することができ、鮮鋭化画像は、ベース画像からこの差分積算画像を引くことにより得られる。この定義に従うと、差分積算画像では、輪郭の明るい側が暗く、暗い側が明るくなってしまい、不自然な印象となる。実際の実験データの差分積算画像では、符号反転して、明るい側をより明るく、暗い側を暗くし、見やすくしている。
【００３４】
[Ａ−２]画像処理部における演算
画像処理部が実行する画像の足し引きについて説明する。本実施形態において、複数の画像の足し引きは、各画像の同じ座標の画素の画素値（信号強度）同士の足し引きである。試料を載置したステージを移動させる前の画像（すなわち取得したい画像）をベース画像０として、ステージを上下左右斜めの8方向に移動した際に取得した画像をシフト画像１〜８とすると、差分積算画像の計算は2次元画像の足し引きになる。式で表せば、（シフト画像１＋シフト画像２＋シフト画像３＋シフト画像４＋シフト画像５＋シフト画像６＋シフト画像７＋シフト画像８）−ベース画像０×８、となる。例えば、画素（M5,N5）に着目すると、｛シフト画像１の画素（M5,N5）の値＋シフト画像２の画素（M5,N5）の値＋シフト画像３の画素（M5,N5）の値＋シフト画像４の画素（M5,N5）の値＋シフト画像５の画素（M5,N5）の値＋シフト画像６の画素（M5,N5）の値＋シフト画像７の画素（M5,N5）の値＋シフト画像８の画素（M5,N5）の値｝−ベース画像０の画素（M5,N5）の値×８、となる。このように、数値演算（ラプラシアンフィルタ）が、近接する画素間の演算であるのに対して、本実施形態では、複数の画像上の同じ位置（座標）の画素間の演算となる。
【００３５】
画像処理部が実行する処理を、図３〜図１１に示す画像データに基づいて説明する。図３は、シフト画像の取得（空間2次微分イメージングプロセス）を示す図であり、ベース画像Ｃ０と、４方向にシフトした４つのシフト画像Ｃ１〜４を示す。ノイズ成分はゼロである。画像は、中央にグレースケールの印（画素値０．９）を備えた白色（画素値１）の十字形であり、十字形の周囲の画素値は０となっている。処理を簡略化するべく、便宜上、シフト量は１画素とした。図４は、図３を画素値で表示した図である。ベース画像Ｃ０、４つのシフト画像Ｃ１〜４の各座標の画素の値を比較することで、シフト画像Ｃ１〜４が、それぞれ、ベース画像Ｃ０を左方向、右方向、上方、下方に１画素分シフトさせた画像であることが読み取れる。ベース画像Ｃ０がＸＹ平面内にあるとすると、シフト画像Ｃ１、Ｃ２はＸ方向に２方向シフトした画像、シフト画像Ｃ３、Ｃ４はＹ方向に２方向シフトした画像ということができる。
【００３６】
図５は、イメージングプロセス例（１方向の場合）を示す図であり、上図はベース画像、中央図は差分画像、下図は鮮鋭化画像である。シフト画像は、ベース画像Ｃ０を左方向に１画素分シフトさせたシフト画像Ｃ１である。差分画像は、シフト画像Ｃ１からベース画像Ｃ０を減算することで得られる。鮮鋭化画像は、ベース画像Ｃ０から上記差分画像を減算することで得られる。
【００３７】
図６は、イメージングプロセス例（２方向の場合）を示す図であり、上図はベース画像、中央図は差分積算画像、下図は鮮鋭化画像である。シフト画像は、ベース画像Ｃ０を左方向に１画素分シフトさせたシフト画像Ｃ１、ベース画像Ｃ０を右方向に１画素分シフトさせたシフト画像Ｃ２である。差分積算画像は、シフト画像Ｃ１、Ｃ２を加算し、ベース画像Ｃ０×２を減算することで得られる。鮮鋭化画像は、ベース画像Ｃ０から上記差分積算画像を減算することで得られる。
【００３８】
図７は、イメージングプロセス例（４方向の場合）を示す図であり、上図はベース画像、中央図は差分積算画像、下図は鮮鋭化画像である。シフト画像は、ベース画像Ｃ０を左方向、右方向、上方向、下方向にそれぞれ１画素分シフトさせてなるシフト画像Ｃ１〜４である。差分積算画像は、シフト画像Ｃ１、Ｃ２、Ｃ３、Ｃ４を加算し、ベース画像Ｃ０×４を減算することで得られる。鮮鋭化画像は、ベース画像Ｃ０から上記差分積算画像を減算することで得られる。
【００３９】
図８は、鮮鋭化画像の取得におけるベース画像Ｃ０の重みの効果を示す図である。左から順に、重みが、−１、−０．５、１、１０、２０となっている。
【００４０】
シフト量が画素の整数倍でない場合は、面積比で信号強度を分割する。図９は、シフト量が１／５画素の場合のシフト画像の取得（4方向の場合）を示す図である。ベース画像Ｃ０と、４方向にシフトした４つのシフト画像Ｃ１〜４を示す。ノイズ成分はゼロである。
【００４１】
図１０は、シフト量が１／５画素の場合のイメージングプロセス例（４方向の場合）を示す図であり、上図はベース画像、中央図は差分積算画像、下図は鮮鋭化画像である。シフト画像は、ベース画像Ｃ０を左方向、右方向、上方向、下方向にそれぞれ１／５画素分シフトさせてなるシフト画像Ｃ１〜４である。差分積算画像は、シフト画像Ｃ１、Ｃ２、Ｃ３、Ｃ４を加算し、ベース画像Ｃ０×４を減算することで得られる。鮮鋭化画像は、ベース画像Ｃ０から上記差分積算画像を減算することで得られる。シフト量が小さくなった分、差分積算画像、鮮鋭化画像の各画素の値の絶対値は小さくなっているが、シフト量＝１の場合と同様の画像パターンが得られた。
【００４２】
図１１は、鮮鋭化画像におけるベース画像の重みの効果を示す図である。シフト量は１／５画素分である。左から順に、重みが、−１、−０．５、１、１０、２０となっている。シフト量＝１の場合に比べると、ベース画像に重みを加えると、輪郭が目立たなくなる傾向がある。
【００４３】
[Ａ−３] 対象／画像取得装置の測定系の移動
対象を移動させる手段としては、典型的には、ピエゾ素子を用いたピエゾ駆動ステージを例示することができる。このようなピエゾ駆動ステージは、光学顕微鏡において、試料を探索したり、見やすい位置に移動させる等の目的で広く 使用されている。また、ピエゾ駆動ステージは、特許文献４に例示されるように走査型顕微鏡において、２次元画像を取得するための走査ステージとしても用いられている。しかしながら、これらのピエゾ駆動ステージの利用は、本実施形態における複数のシフトした画像を処理し、 画像の鮮鋭化に利用するための移動とは技術思想が異なる。
【００４４】
対象や画像取得装置の測定系を移動させること自体は、特許文献１〜３においても行われており、本発明におけるシフト画像を取得する際に、これらの文献に開示された手法を採用してもよい。しかしながら、画素ずらし手法は、CCDカメラやCMOSカメラ等の、セルを敷き詰めたイメージセンサを用いて画像を取得する際に、本来、受光セルの大きさや配置で左右される空間分解能を向上させるべく、画素の位置を例えば半画素分ずらして撮像し、取得された画像を加算処理する手法であり、したがって、ノイズも加算されるものであり、本願発明とは異なる点に留意されたい。特許文献２、３にもピエゾ駆動ステージが開示されているが、特許文献２、３に開示された画素ずらし法は、取得された画像を加算処理するものであり、本発明における差分画像の取得、差分積算画像の取得という構成を備えておらず、両者は全く異質の技術思想に基づくものである。本発明と画素ずらし法とは、前者がシフト量として空間分解能を基準としているのに対して、後者の移動量は画素サイズを基準としているという点において異なる。画素ずらし法は、CCDカメラやCMOSカメラ等の、受光セルを敷き詰めてなるイメージセンサを備えた画像取得装置に有効に適用されるものであり、例えば、空間分解能がファイバ素線の直径で決まっている光ファイバーイメージング装置や、レンズの収差、光の波長で決まっている光学装置では、画素ずらし手法を適用する意義は無い。測定系の空間分解能が画素サイズで決まっている場合、結果的に本発明と画素ずらし法における移動量はオーバーラップし得るが、両者の全体構成が異なることは上述の通りである。
【００４５】
対象を移動させることに代えて、あるいは、それに加えて、画像取得装置の測定系を移動させてもよい。例えば、先端が周期的に振動したイメージングファイバと、それに同期して画像を取得するようにしてもよい。画像取得装置の測定系を移動させることには、測定系全体を移動させる場合、測定系の一部の要素のみを移動させる場合が含まれる。より具体的には、測定系が光学系と検出器を備えている場合に、測定系全部を対象に対して微少量シフトする場合、あるいは、光学系による結像に対して、検出器を微少量シフトする場合が含まれる。
【００４６】
対象あるいは／および画像取得装置の測定系（光学系＋検出器）の移動について、さらに、説明を加える。画像取得装置を、対象＋光学系＋検出器として捉えると、まず、光学系と検出器が固定された、「対象」＋「光学系＋検出器」については、シフトは相対的であり、「対象」、「光学系＋検出器」どちらをシフトさせても効果は同じである。また、対象と光学系が固定された、「対象＋光学系」＋「検出器」についても、「検出器」のみをシフトさせても、「対象＋光学系」をシフトさせても同じ効果が得られる。
【００４７】
ここで、光学系と検出器が固定された場合と、対象と光学系が固定された場合では、除去できるノイズが異なる点に留意されたい。前者は主に光学系と検出器によるノイズを除去できるのに対して、後者は、主に検出器によるノイズのみを除去できると考えられる。例えば、画像取得装置としてデジタルカメラを用いた場合、後者の手法を用いることが考えられ、「対象＋光学系」と「検出器」の相対的な位置のシフトにより本発明を実現でき、対象と光学系が固定されていれば、対象の光学系による結像を新たな対象とし、検出器に転写する装置とみなすことができる。カメラ内のイメージセンサを微少量シフトさせつつ連続的に撮像し、内部演算して記録・表示する装置が考えられる。シャッタースピードに対して、通常の対象は動いていないと見なせるので、移動させるのは測定系のイメージセンサのみとなる。このとき、対象、カメラ内部のレンズ系に対して、CCDあるいはCMOSイメージセンサのみが動くことになる。シフト量は空間分解能、すなわちイメージセンサのセルサイズ程度である。デジタルカメラのノイズの多くを占めているCCDあるいはCMOSイメージセンサの素子の不均一による感度のばらつき等を改善できると考えられる。
【００４８】
[Ａ−４]ベース画像とシフト画像との距離
ベース画像に対するシフト画像の移動量は、画像取得装置の空間分解能程度が望ましいと考えられる。しかしながら、空間分解能の定義自体が識別可能な２点間の距離という曖昧なものであり、「見える」・「見えない」の判断は、脳の高度の計算により行われ、画像として輪郭をどの程度強調した方が見やすいか、物の質感を損なわないかは、見る側の個人差があり、また、画像となっている対象によっても異なる。したがって、本実施形態で採用し得る移動量には幅があり、１つの態様では、ベース画像に対するシフト画像の移動量は、画像取得装置の空間分解能の１／１０〜２倍である。さらに好ましい範囲では、空間分解能の１／５〜１倍である。移動量のかかる範囲は、後述する実験結果から裏付けられる範囲である。空間分解能の１／１０程度では実際に、微弱であるもののエッジ情報が得られている。一方、移動量は、空間分解能よりも大きな値の場合も含まれ、空間分解能の数倍、例えば２倍程度までであれば、ベース画像に比べてより明瞭に見える場合もあり得る。
【００４９】
画像取得装置の空間分解能は、重要なスペックであり、既知ないし当該装置の構成から見積もることができる。例えば、実験で用いた光ファイバーイメージング装置では、ファイバ素線の直径である２〜３μｍが空間分解能であると考えられ、実験で用いたノマルスキ微分干渉光学顕微鏡（ＢＸ６０）では、ほぼ１μｍと見積もることができる。したがって、当業者であれば、用いられる画像取得装置の空間分解能に基づいて当該空間分解能の１／１０〜２倍の範囲から適当なシフト量（典型的には、空間分解能程度）を設定することができる。
【００５０】
典型的には、移動量は、各方向において実質的に同じ量（なるべく誤差を最小とする）に設定される。例えば、４方向の４つのシフト画像において、ベース画像に対する各シフト画像の移動量は実質的に同じである。なお、通常、イメージング装置は定量的な解析に用いるというより、見えるか見えないかの判断に用いられているため、シフト画像間で移動量にばらつきがあっても、移動量が上記所定の範囲に入っていれば効果はある。なお、移動量が異なる場合に、輪郭の強度を合わせるために移動量に応じて差分画像に重みを付けてもよい。
【００５１】
[Ａ−５]画像の重み付け
差分積算画像を取得する際、特定の差分画像のみ加算する、あるいは重み付けをしてもよい。例えば、ベース画像０と上下左右斜めの８方向の８枚のシフト画像１〜８がある場合に、８枚の差分画像の一部のみを選択して加算してもよい（この場合、選択されなかった差分画像の重みは０である。）。また、例えば、４方向シフト画像において、シフト量が上下左右で異なる場合等に、差分画像に重みを付けてもよい。厳密には、（画像１−画像０）/（画像１のシフト量）＋（画像２−画像０）/（画像２のシフト量）＋・・・とすることで、輪郭の強度（画素強度の傾き）を同じにすることができる。また、特殊な用途で、たとえば縦方向の輪郭のみを強調したいというような場合に、重みを変えてもよい。どのように重みを付けるかは、目的や用途等に応じて当業者において適宜設定し得る。
【００５２】
差分積算画像にベース画像を加算して対象の鮮鋭化画像を取得する際に、ベース画像に重み付けをしてもよい。どのように重み付けを行うかは、目的や用途等に応じて、例えば１倍〜２０倍の範囲から当業者において適宜選択し得る。
【００５３】
[Ａ―６]ベース画像に対するシフト画像の移動方向
１つの態様では、複数のシフト画像は、ベース画像に対してｘ方向に２方向、ｙ方向に２方向、斜め方向に４方向にシフトした８つの画像である。この場合、８方向２次微分イメージが得られ、全角度の変化をほぼ均等に強調することができる。なお、１つのベース画像に対して９つ以上のシフト画像を取得してもよい。
【００５４】
１つの態様では、複数のシフト画像は、ベース画像に対してｘ方向に２方向、ｙ方向に２方向シフトした４つの画像である。この場合、４方向２次微分イメージが得られ、縦、横の変化を強調することができる。
【００５５】
１つの態様では、複数のシフト画像は、ベース画像に対してｘ方向あるいはｙ方向の２方向にシフトした２つの画像である。この場合、２方向２次微分イメージが得られ、縦あるいは横の変化を強調することができる。
【００５６】
単に輪郭を強調したい場合には、特に、対象の輪郭の一部だけ抽出したいという用途においては、１方向のみのシフト画像を用いて、１枚のベース画像と１枚のシフト画像から差分画像（＝差分積算画像）を求めてもよい。実際には、左右にシフトするとして、例えば対象の左がプラス（白）、右がマイナス（黒）となって強調される。つまり、斜めから日が指して、より立体的に見えるような効果もある。１方向シフト画像の計算例を図５に示す。
【００５７】
シフト画像は、ベース画像に対して回転するものでもよい。例えば、ある角速度で等速円運動している対象に対しては、撮像のタイミングを調整することによって、「装置の空間分解能」程度（所定量の範囲内）でシフトしている対象の領域のみ、有効になると考えられる。すなわち、撮像のタイミングを制御することによって、すべての領域におけるイメージングが可能となる。この時、２次微分されるのはあくまで接線方向のみであり、特定のパターンのみ観測したいというような用途に用いられ得るものである点に留意されたい。撮像のタイミングの調整については、たとえば、ステッピングモータやサーボモータを用いて、一定の角度で回転を止めて撮像し、また次の角度にシフトして撮像するという方法と、一定速度で回転する対象を連続撮影する方法がある。後者の場合、検出器の露光時間（検出時間）内では、対象がほぼ静止していると考えられるくらいに低速で回転させるか、あるいは、検出時間を短くする必要がある。ここで言う静止とは、検出時間内では、空間分解能程度で規定されるシフト量に対して、無視できる範囲内でしか、対象が移動しない、という意味である。検出時間を短くするためには、シャッタースピードを上げ、露光時間を短くしても良いし、シャッターが開いた状態で充分に短いパルス光を照射することで、実際上の露光時間を短くしても良い。ステッピングモータ等で一定の角度で回転を止めて撮像する方法であれば、ベース画像とその両側の２つのシフト画像をとれば良いので、回転方向としては、ベース画像を取得した後、２方向に往復回転して、両側のシフト画像を取得する（ベース画像→右シフト画像→左シフト画像）場合、１方向で連続的に取得する（右シフト画像→ベース画像→左シフト画像）の場合がある。また、一定速度で回転する対象を連続的に撮像する場合は、低速であれば１方向に回転しつつ、ベース画像とその両側の２つのシフト画像を連続的に取得すればよい。
[Ａ―７]他の実施形態
【００５８】
光学的に２次元画像を取得する方法としては、大きく分けて、
１．センサ部を1個（0次元）もつ検出器（光電子増倍管等）を用い、2次元面で走査する手法、
２．1次元のセンサアレイを用いて、アレイ（長軸）に対して垂直方向に走査する手法、
３．2次元イメージセンサをもつ検出器（CCDなど）を用いて、一度に画像を取得する方法、などがあり、本実施形態は、典型的には手法３に適用される。しかしながら、本発明の他の実施形態は、手法２にも適用し得る。具体的には、センサアレイをアレイ（長軸）方向に空間分解能程度シフトし、その後、垂直方向に対象物をアレイによる検出幅程度一方向にシフトする、この動作を繰り返すことで、上下方向のみ２次微分された２次元イメージが取得できる。これに関連して、後述するベルトコンベアを用いた検査装置への適用３を参照することができる。
【００５９】
本発明の画像処理装置を、ベルトコンベアを用いた検査装置としての実施形態に基づいて説明する。このような検査装置は、液晶パネルやシリコン基板、電子デバイスなど、およそベルトコンベアに乗る対象の形状や表面のデリケートな傷の有無等を検査することに用いられ得る。例えば、ベース画像およびシフト画像を取得する速度に対して、ベルトコンベアが十分に遅いのであれば、単に対象をベルトコンベアで検査装置の画像取得部の直下に運び、それを静止している物として、画像取得部の「光学系＋検出器」をシフトし、取得した画像を差分積算することができる。以下に、より具体的に説明する。
【００６０】
ベルトコンベアを用いた検査装置への適用１において、シフト画像の取得のためのシフトは、ベルトコンベアの移動（移動方向をＸとする）により行う。適用１について、図２９に基づいて説明する。対象をベルトコンベア上に載置して搬送し、検査装置の画像取得部の直下でベルトコンベアの移動を停止して対象を静止させ、２次元画像を撮像する。次いで、対象をベルトコンベアで空間分解能程度一方向にシフトし、静止、撮像する。これを繰り返しおこない、ベース画像とシフト画像（１枚または２枚）を取得する。あるいは、対象が静止していると見なせる程度に撮像を高速でおこなうことにより、ベルトコンベア上を移動している対象を連続的に撮像し、ベース画像とシフト画像（１枚または２枚）を取得する。ベース画像とシフト画像の差分画像を取得することで、左右方向（Ｘ方向）のみ２次微分された２次元イメージが取得できる。
【００６１】
ベルトコンベアを用いた検査装置への適用２において、シフト画像の取得のためのシフトは、ベルトコンベアの移動（Ｘ方向）及び２次元イメージセンサのシフト（Ｙ方向）により行う。適用２について、図３０に基づいて説明する。適用１と同様に、対象をベルトコンベア上に載置して搬送し、検査装置の画像取得部の直下でベルトコンベアの移動を停止して対象を静止させ、２次元画像を撮像する。次いで、対象をベルトコンベアで空間分解能程度一方向にシフトし、静止、撮像する。次いで、静止した対象に対して、画像取得部の２次元イメージセンサをベルトコンベアの進行方向に対して垂直方向（Ｙ方向）に空間分解能程度の微少量シフトしつつ当該対象を撮像したのち、ベルトコンベアで対象を空間解像度程度一方向にシフトし、ベース画像とシフト画像（４枚）を取得する。あるいは、２次元イメージセンサのシフトと撮像を高速でおこなうことにより、ベルトコンベア上を移動している対象を連続的に撮像し、ベース画像とシフト画像（４枚）を取得する。これにより、ＸＹ方向に２次微分された２次元イメージが取得できる。
【００６２】
ベルトコンベアを用いた検査装置への適用３において、シフト画像の取得のためのシフトは、センサアレイの長軸方向のシフト（Ｙ方向）により行う。適用３について、図３１に基づいて説明する。センサアレイを空間分解能程度アレイの長軸方向にシフトしつつ対象の部分を撮像し、ベース画像とシフト画像（１枚または２枚）を取得する。さらに、アレイに対し垂直方向にベルトコンベアで対象をアレイによる検出幅程度一方向にシフトし、同様の操作を繰り返す。あるいは、センサアレイのシフトと撮像を高速でおこなうことにより、ベルトコンベア上を移動している対象を連続的に撮像し、複数枚のベース画像とシフト画像を取得する。これにより、Ｙ方向のみ２次微分された２次元イメージが取得できる。適用３において、ベース画像、シフト画像は、センサアレイに対応する細幅画像である。センサアレイによるベース細幅画像と、アレイ方向に片側あるいは両側シフトして得られたシフト細幅画像の差分積算画像は、シフト方向の２次微分細幅画像となる。この操作を、ベルトコンベヤをセンサアレイによる検出幅分動かして、繰り返し行い、２次微分細幅画像をつなぎあわせることで、２次元の差分積算画像（アレイ方向の２次微分イメージ）が得られる。センサアレイの幅は、１列あるいは複数列である。適用３では、細幅画像をつなぎ合わせるためだけにベルトコンベアによる対象のシフトを行っている。特に、長尺の対象の検査等において有利であると考えられる。
【００６３】
次に、対象が移動している場合（例えば、生物が運動している場合）について考察する。本発明の移動する対象への適用については、２通りのアプローチが考えられる。第１のアプローチは、生物の移動速度に対して、充分速く、シフト画像を取得する方法である。この方法は、「光学系＋検出器」をシフトさせることになるが、対象の速さに対して、シフト及び撮像の速さが充分速く、対象がほぼ静止していると見なせることが重要である。第２のアプローチは、対象の運動を、シフト量に置き換える方法である。この場合、対象のシフトは当該対象の自己運動によって実現され、装置のシフトは必要がなく、検出のタイミングを制御し、取得画像の演算（方向という概念がなくなるので、異なる時間に取得した画像間の演算）を行うことになる。ただし、対象の静止画像が取得出来る程度に検出時間（露光時間）は短い必要がある。この方法を応用すれば、無秩序に動いている複数の生物の中から、ある一定範囲の速度で動いている物だけの輪郭を強調し、抽出することができる。この場合の速度は、シフト画像の時間間隔により、間隔が短ければ、速く動くもの、長ければ、ゆっくり動く物の輪郭が強調される。静止している物は、差分積算画像で見ると、完全に消去される。すなわち、ある時間間隔で撮像を行い、差分画像をとると、その時間間隔でちょうど装置の空間分解能程度移動した物の輪郭のみ強調され、それより速い物はボケた背景となり、遅い物は消去されることになる。
【００６４】
[Ｂ]実験例１
[Ｂ−１]実験概要
ピエゾ駆動ステージを用いた空間２次微分イメージング装置を製作した。図１２に実験装置を示す。CCDカメラ、イメージファイバ光学系、ピエゾ素子駆動ステージを結合させて、試料表面からの光信号の変化を二次元画像として高感度に検出するための装置である。イメージファイバは、非整列タイプであるが、整列タイプのイメージファイバを用いてもよい。駆動ステージとして、フォーカス調整のZ軸を加えた、高精度3軸ピエゾ素子駆動ステージ、およびコントローラを選定した。また、検出器として、ノイズの少ない天体観測用のペルチェ冷却CCDカメラを採用した。光源は、ハロゲンランプを選定し、バンドパスフィルタにより赤色光を選択、照射した。イメージファイバ直下の試料の位置をピエゾ素子駆動ステージにより微少量変化させ、取得イメージの差分をとることにより、光源、ファイバ光学系、検出器の時間的・空間的揺らぎをほぼキャンセルしつつ、試料からの光信号の位置依存性のみを高感度に検出する。
【００６５】
光学系と検出器を含めた測定系全部を、試料に対して相対的に微少量シフトすることで、信号強度の試料位置依存性のみを抽出する。この操作により生成される差分積算画像が空間２次微分イメージとなる。試料はピエゾ駆動ステージ上にあり、ピエゾ駆動ステージによってXY面内を微少量移動させることができる。光学系、検出器に対して、試料のみを4回（あるいは８回）一定量シフトし、それぞれの画像データ（４回シフトの場合は４枚のシフト画像、８回シフトの場合は８枚のシフト画像）を取得する。図１３に、ベース画像Ｃ０と上下左右斜めの８方向の８枚のシフト画像Ｃ１〜８を示す。ベース画像Ｃ０がＸＹ平面内にあるとすると、シフト画像Ｃ１、Ｃ２はＸ方向に２方向シフトした画像、シフト画像Ｃ３、Ｃ４はＹ方向に２方向シフトした画像、シフト画像Ｃ５〜８は斜め方向に４方向シフトした画像であるということができる。図１３におけるハニーカム状を構成する各六角形はファイバ素線を示す。図１３におけるシフト量は、イメージファイバのファイバ素線の直径に相当する量である。ベース画像の信号強度を、４枚のシフト画像の場合は４倍（あるいは、８枚のシフト画像の場合は８倍）し、シフトして得られた４枚（あるいは８枚）のシフト画像の信号強度の積算から差し引くことにより、ベース画像の空間2次微分イメージが得られる。
【００６６】
[Ｂ−２]実験結果
差分積算画像と鮮鋭化画像のシフト量依存性を、図１４（シフト量：０μｍ、０．２５μｍ、０．５μｍ）、図１５（シフト量：１μｍ、２μｍ、３μｍ）、図１６（シフト量：４μｍ、５μｍ）に示す。図１４〜図１６において、上図（−2nd derivative）は、差分積算画像、下図（0th−2nd derivative）は鮮鋭化画像である。空間分解能の1/10程度（０．２５μm）のシフト量でも、エッジの情報が得られている。２または３μm あたりが最適だと思われる。それ以上のシフト量（４μｍ、５μｍ）では、輪郭が太くなり、やや不自然な印象を受けるものの、中央部グラフェンは判別出来る。最適なシフト量は分解能程度２−３μm(ファイバ素線の直径）であると考えられる。
【００６７】
図１７のグラフェンホールバーの観測結果に示すように、ファイバの直径と同程度の幅の単層グラフェンが識別できた。ラプラシアンフィルタを用いた数値演算では、当該単層グラフェンは判別不能である。
【００６８】
図１８の単層グラフェン/グラファイトの観察結果に示すように、単層グラフェンや、複雑な積層状態が明瞭に観察できた。マーカーも判別できた。ラプラシアンフィルタを用いた数値演算では、当該マーカーは判別不能である。
【００６９】
図１９の単層/二層グラフェンの観察結果に示すように、単層および２層グラフェンの積層状態が明瞭に観察できた。ラプラシアンフィルタを用いた数値演算では、当該積層状態は判別不能である。
【００７０】
[Ｂ−３]まとめ
・ピエゾ駆動ステージを用いた空間２次微分イメージング装置を製作した。
・単層および多層グラフェン試料を用いて、反射光による観察を行った。
・その結果、本手法による明らかな解像度の向上が確認された。
・駆動ステージの最適なシフト量は、本装置では空間分解能を決めているイメージングファイバのファイバ素線の直径程度であった。
・この解像度の向上は、数値演算による２次微分画像処理（ラプラシアンフィルタ）では実現されないことを確認した。
【００７１】
[Ｃ]実験例２
[Ｃ−１]実験概要
位置シフトによる空間２次微分イメージング手法を一般的な光学顕微鏡に適用した。光学顕微鏡としては、オリンパスBX60を用いた。ネジ式手動ステージのために、厳密なシフトは出来ない。今回のシフト量は、おおよそ1±0.5μm程度である。
【００７２】
今回使用した顕微鏡の分解能を見積もると、CCDのRGB出力のR成分（赤）を用いたこと、対物レンズの開口数が0.4であること、から、
となり、ほぼ1μm程度であると考えられる。
【００７３】
[Ｃ−２]実験結果
図２０、図２１に、単層/多層グラフェンの観察を示す。
・単層グラフェンはベース画像と比較してより明瞭に観察できた。
・多層グラフェンについては、積層状態がベース画像と比較してより明瞭になった。
・多層グラフェン中のマーカーが明瞭に観察できた。従来の方法では、ラプラシアンフィルタを用いた数値演算を実行してようやく、見える程度である。
・ラプラシアンフィルタを用いた数値演算よりも、明らかに明瞭なイメージが得られた。
【００７４】
図２２、図２３に、単層/多層グラフェンの観察を示す。
・単層/2層グラフェンはベース画像と比較してより明瞭に観察できた。
・多層グラフェンについては、積層によると思われる模様が見えた。従来の方法では、ラプラシアンフィルタを用いた数値演算しても、ほとんど見えない。
・ラプラシアンフィルタを用いた数値演算よりも、明らかに明瞭なイメージが得られた。
【００７５】
[Ｃ−３]まとめ
・位置シフトによる空間２次微分イメージング手法を光学顕微鏡に適用した。
・ネジ式手動ステージを用いたため、正確なシフトは出来なかったにもかかわらず（おおよそ1±0.5μm）、本手法による明らかな解像度の向上が確認された。
・ラプラシアンフィルタを用いた数値演算では得られない情報が、確かに得られることを確認した。
・装置の空間分解能程度で正確にシフトすれば、より解像度が向上すると考えられる。
【００７６】
[Ｄ]実験例３
鮮鋭化画像Ｃを取得する際（Ｃ＝ｋＣ０−Ｃ差分積算）のベース画像Ｃ０の重みｋについて比較実験を行った。実験結果を図２４〜図２７に示す。
１≦ｋ：ｋ＝20程度までは輪郭が強調され、それ以上では位置シフトの効果があまりない。
０≦ｋ＜１：差分積算画像と大きな違いは見られなかった。
ｋ＜０：画素強度が相対的に変化し、凸凹の形状も変化する。有効性はあまりないと考えられる。
本発明を限定するものではないが、１≦ｋ≦２０が適当であると考えられる。
【技術分野】
【０００１】
本発明は、画像処理方法及び装置に係り、より詳しくは、対象の情報（位置、明るさ、色、磁化等の物理的情報）を、画像化、視覚化する、計測技術としてのイメージング分野に関するものである。
【背景技術】
【０００２】
ナノスケール、マイクロスケールといった微細な構造からの信号や、マクロなスケールであっても、微弱な信号の変化を捉えるためには、特殊な光学系や検出器を組み合わせる必要がある。例えば、一原子層の炭素膜であるグラフェンは、マイクロメートルのサイズスケールであり、さらに反射率が低いことから、高倍率、高精度の光学顕微鏡やＣＣＤカメラ、特殊なフィルタ等を組み合わせることにより、はじめて観察が可能となる。
【０００３】
すなわち、通常、見えないものを見えるようにする、いわゆるイメージング技術は、概して高価で特殊な装置に頼らざるを得ない状況にある。このことは、経済性の面で問題が多く、既存の装置に組み込む等の柔軟性や、新たな分野への利用する際の汎用性にも課題がある。
【０００４】
本発明は、計測対象と測定系との相対的位置をシフトさせて取得した複数の画像を用いてかかる課題に対処しようとするものである。従来、デジタルカメラの手ぶれ補正等に代表されるように、対象を精密に測定するためには対象ないし測定系をしっかりと固定させるという固定観念があった。本発明は、計測対象と測定系との相対的位置をシフトさせて画像を取得するという、従来の固定観念とは逆の発想に基づくものである。
【０００５】
対象や画像取得装置の測定系を移動させることで、シフトした画像を得ること自体は、例えば、いわゆる画素ずらし手法（特許文献１〜３）においても行われている。画素ずらし手法は、CCDカメラやCMOSカメラ等の、受光セルを敷き詰めたイメージセンサを用いて画像を取得する際に、本来セルの大きさや配置で左右される解像度を向上させるべく、画素の位置を例えば半画素分ずらして撮像し、取得された画像を加算処理する手法である。本発明と画素ずらし手法とが互いに異質の技術思想であることは、本明細書を読み進めて行くことで明らかになる。
【０００６】
画像解析において、微分フィルタを用いたエッジ検出が知られている。微分フィルタとしては、１次微分（差分）フィルタとしてソーベルフィルタや、２次微分（差分）フィルタとしてラプラシアンフィルタが知られている。ソーベルフィルタは、１つの画像に基づいて着目画素の近傍画素（２方向や６方向）の画素値、ラプラシアンフィルタは、１つの画像に基づいて着目画素の近傍画素（４方向や８方向）の画素値をそれぞれ用いる数値演算である。本発明の１つの態様でも、対象の輪郭を検出することができるが、本発明と微分フィルタを用いたエッジ検出とは互いに異質の技術思想であることは、本明細書を読み進めて行くことで明らかになる。
【０００７】
一般に空間分解能が高い顕微鏡として走査型顕微鏡が知られており、光学顕微鏡においても走査型のものがある（特許文献４）。走査型光学顕微鏡では、例えば、スポット光の照射位置に対して試料ステージをＸＹ平面内で移動させながら得られた２次元マッピングデータから２次元画像を取得するものであり、つまり、走査型顕微鏡における走査は、１枚の２次元画像を取得するために行われるものである。本発明の１つの態様においても、ＸＹ平面内で移動可能な試料ステージを用いるが、本発明における試料ステージの移動が、走査型顕微鏡における試料ステージの移動と技術思想において異なるものであることは、本明細書を読み進めて行くことで明らかになる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平７−２１２６６０号
【特許文献２】特開平８−９５１５３号
【特許文献３】特開２００１−２５１４９１号
【特許文献４】特開２００３−２５５２３１号
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述のように、通常では観測が困難な微弱な画像情報を得るために、光学系や検出器は、とかく特殊で高価なものにならざるを得ない状況にある。このことが、コストの問題を生み、また、新たな観測システムへの応用を阻害する要因となっている。
本発明は、シンプルな構成で空間分解能を向上させることができ、低コストで汎用性を備えたイメージング手法を提供することを目的とするものである。
【課題を解決するための手段】
【００１０】
かかる課題を解決するべく本発明が採用した技術手段は、
対象の画像を取得する画像取得装置を用いた画像処理方法であって、
対象の画像をベース画像として取得するステップと、
前記ベース画像に対して結像面内で前記対象が所定量シフトしたＮ枚のシフト画像（Ｎ≧１）を取得するステップと、
前記ベース画像と各シフト画像の同じ座標の 画素同士の差分からＮ枚の差分画像（Ｎ≧１）を取得するステップと、
前記Ｎ枚の差分画像を加算して対象の差分積算画像を取得するステップと、
からなる画像処理方法、である。
【００１１】
１つの態様では、前記差分積算画像は、各シフト画像からベース画像を減算して積算することで得られる。
１つの態様では、前記画像処理方法は、さらに、ベース画像から前記差分積算画像を減算して対象の鮮鋭化画像を取得するステップを備える。
鮮鋭化画像を取得する際に、ベース画像に重みを付けてもよい。重みは、例えば、１倍〜２０倍の範囲から選択される。
【００１２】
シフト画像からベース画像を引いて積算して得られた差分積算画像が２次微分画像となる。そして、ベース画像からこの２次微分画像を引くことにより、高強度はより強く、弱強度はより弱くなり、輪郭が強調され、鮮鋭化された画像が得られる。
なお、差分画像のみを用いる場合、ある対象の輪郭のみを抽出するのであれば、差分画像の各画素の値の符号は問わない（白で強調するか、黒で強調するかの違い）ので、差分画像の符号反転を行い得ることが当業者に理解される。同様に、鮮鋭化画像の符号反転を適宜行い得ることも当業者に理解される。本明細書、特許請求の範囲の記載において、「加算すること」と「減算すること」は符号反転に応じて置換可能であることが当業者に理解される。
【００１３】
１つの態様では、前記所定量は、前記画像取得装置の空間分解能の１／１０〜２倍の範囲の量である。
１つの態様では、前記所定量は、前記画像取得装置の空間分解能の１／５〜１倍の範囲の量である。
画像取得装置の空間分解能は、重要なスペックであり、既知ないし当該装置の構成から見積もることができる。例えば、実験で用いた光ファイバーイメージング装置では、ファイバ素線の直径である２〜３μｍが空間分解能であると考えられ、実験で用いたノマルスキ微分干渉 光学顕微鏡（ＢＸ６０）では、ほぼ１μｍと見積もることができる。
【００１４】
１つの態様では、前記シフト画像は、対象あるいは／および画像取得装置の測定系を移動させることで取得される。
対象の移動は、典型的には移動機構（例えば、ピエゾ駆動ステージ、ベルトコンベア）上の対象を当該移動機構により移動させるものであるが、対象自身が機械的な移動手段や振動手段を有している場合、対象（典型的には生物）が自己運動する場合も含む。
画像取得装置の測定系を移動させる場合には、測定系全体を移動させる場合、測定系の一部を移動させる場合を含む。例えば、光学系の画像取得装置の測定系が、光学系と検出器を備えている場合に、「光学系＋検出器」を移動させる場合、「検出器」を移動させる場合がある。
１つの態様では、前記Ｎ枚のシフト画像は、ベース画像に対してｘ方向に２方向、ｙ方向に２方向、斜め方向に４方向シフトした８つの画像である。
１つの態様では、前記Ｎ枚のシフト画像は、ベース画像に対してｘ方向に２方向、ｙ方向に２方向シフトした４つの画像である。
１つの態様では、前記Ｎ枚のシフト画像は、ベース画像に対してｘ方向あるいはｙ方向の２方向にシフトした２つの画像である。
シフト方向は、反対方向のペア（ｘ方向に２方向のように）の場合に限定されるものではなく、１方向を含む奇数方向でもよく、また、回転も含む。
【００１５】
本発明は、対象の画像を取得する画像取得装置を用いた画像処理装置としても実現され、当該画像処理装置は、
対象の画像をベース画像として取得する手段と、
前記ベース画像に対して結像面内で前記対象が所定量シフトしたＮ枚のシフト画像（Ｎ≧１）を取得する手段と、
画像処理部と、を備え、
前記画像処理部は、前記ベース画像と各シフト画像の同じ座標の画素同士の差分からＮ枚の差分画像（Ｎ≧１）を取得し、前記Ｎ枚の差分画像を加算して対象の差分積算画像を取得する。
【００１６】
１つの態様では、前記画像処理部は、各シフト画像からベース画像を減算して積算することで差分積算画像を取得し、ベース画像から前記差分積算画像を減算して対象の鮮鋭化画像を取得する。
【００１７】
本発明において、対象の画像を取得する画像取得装置は、対象のベース画像およびシフト画像を取得できるものであればよく、具体的には、光学顕微鏡（実体顕微鏡、位相差顕微鏡、微分干渉顕微鏡、偏光顕微鏡、蛍光顕微鏡を含む）、透過型電子顕微鏡、超音波顕微鏡、デジタルカメラ、ファイバースコープ、サーモグラフィ、磁気共鳴（MR）イメージング装置、超音波イメージング装置、光超音波イメージング装置、ラマン分光装置、顕微ラマン分光装置、放射線イメージング装置（X線、アルファ線、ベータ線、ガンマ線、中性子線を含む）が例示される。
後述する実施形態では、光ファイバーイメージング装置、ノマルスキ微分干渉光学顕微鏡の２種類の画像取得装置を用いて実験を行った。本手法を光ファイバーイメージング装置、ノマルスキ微分干渉光学顕微鏡以外の他の画像取得装置に適用することは、当業者において適宜実行できることが理解される。
本発明における、対象あるいは／および画像取得装置の測定系のシフト方向は、結像面に対して平行する方向である。すなわち、対象を移動させる場合において、シフト方向は、光学的な画像取得装置においては光軸に対して垂直方向、電子線や放射線を用いた画像取得装置においてはビーム軸に対して垂直方向である。
【発明の効果】
【００１８】
本発明では、対象の位置を測定系に対して相対的にシフトさせて撮影してシフト画像を取得し、ベース画像とシフト画像の差分画像を取得する（シフト画像からベース画像を差し引く）という簡便な演算操作で、検出すべき信号以外のノイズのかなりの部分（測定系の時間的・空間的揺らぎ、より具体的には、光源の揺らぎ、光学系の揺らぎ、検出器の揺らぎ等）を除去することができ、信号強度の試料位置依存性のみを差分画像として高感度に検出できる。得られた差分画像を加算してなる差分積算画像は、対象の空間２次微分イメージであり、空間２次微分イメージをベース画像から減算することで、空間分解能が向上された画像を得ることができる。
【００１９】
既存のイメージング装置（各種顕微鏡、カメラ、検査装置等）の試料ステージの位置をシフトしながら撮影し、演算するという簡便な方法で空間分解能を向上させることができる。既に可動ステージを備えている装置においては、撮影プロセスや演算方法を変更するのみでよく、また、可動ステージを備えていない既存の装置に本発明を適用する場合であっても、可動ステージを追加するだけでよく、低コストでイメージング装置を実現することができる。
【００２０】
本発明の効果は上記記載に限定されるものではなく、その他の効果は、本明細書の記載から明らかになる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態を示すブロック図である。
【図２】本発明の概念を説明する図である。
【図３】シフト画像の取得（空間2次微分イメージングプロセス）を示す図である。ベース画像Ｃ０と、４方向にシフトした４つのシフト画像Ｃ１〜４を示す。ノイズ成分はゼロである。画像は、中央にグレースケールの印（画素値０．９）を備えた白色（画素値１）の十字形であり、シフト量は１画素である。
【図４】図３を画素値で表示した図である。
【図５】イメージングプロセス例（１方向の場合）を示す図であり、上図はベース画像、中央図は差分画像、下図は鮮鋭化画像である。
【図６】イメージングプロセス例（２方向の場合）を示す図であり、上図はベース画像、中央図は差分積算画像、下図は鮮鋭化画像である。
【図７】イメージングプロセス例（４方向の場合）を示す図であり、上図はベース画像、中央図は差分積算画像、下図は鮮鋭化画像である。
【図８】鮮鋭化画像におけるベース画像の重みの効果を示す図である。
【図９】シフト量が1/5画素の場合のシフト画像の取得（4方向の場合）示す図である。ベース画像Ｃ０と、４方向にシフトした４つのシフト画像Ｃ１〜４を示す。ノイズ成分はゼロである。
【図１０】シフト量が１/5画素の場合のイメージングプロセス例（４方向の場合）を示す図であり、上図はベース画像、中央図は差分積算画像、下図は鮮鋭化画像である。
【図１１】鮮鋭化画像におけるベース画像の重みの効果を示す図である。シフト量は１/5画素分である。
【図１２】実験に用いた光ファイバーイメージング装置を示す図である。
【図１３】８方向のシフト画像の取得を示す図である。
【図１４】差分積算画像と鮮鋭化画像のシフト量依存性（シフト量：０μｍ、０．２５μｍ、０．５μｍ）を示す図である。
【図１５】差分積算画像と鮮鋭化画像のシフト量依存性（シフト量：１μｍ、２μｍ、３μｍ）を示す図である。
【図１６】差分積算画像と鮮鋭化画像のシフト量依存性（シフト量：４μｍ、５μｍ）を示す図である。
【図１７】グラフェンホールバーの観測結果を示す図である。
【図１８】単層グラフェン/グラファイトの観察結果を示す図である。
【図１９】単層/二層グラフェンの観察結果を示す図である。
【図２０】単層/多層グラフェンの観察結果を示す図である。
【図２１】単層/多層グラフェンの観察結果を示す図である。
【図２２】単層/多層グラフェンの観察結果を示す図である。
【図２３】単層/多層グラフェンの観察結果を示す図である。
【図２４】鮮鋭化画像におけるベース画像の重みの効果（観察結果）を示す図である。
【図２５】鮮鋭化画像におけるベース画像の重みの効果（観察結果）を示す図である。
【図２６】鮮鋭化画像におけるベース画像の重みの効果（観察結果）を示す図である。
【図２７】鮮鋭化画像におけるベース画像の重みの効果（観察結果）を示す図である。
【図２８】観察対象（Olympus Microscope BX-60により取得されたもの）を示す図である。
【図２９】ベルトコンベアを用いた検査装置としての実施形態（適用１）を示す図である。
【図３０】ベルトコンベアを用いた検査装置としての実施形態（適用２）を示す図である。
【図３１】ベルトコンベアを用いた検査装置としての実施形態（適用３）を示す図である。
【発明を実施するための形態】
【００２２】
[Ａ]イメージング装置
[Ａ−１]イメージング装置における画像処理の概要
本発明の画像処理装置（イメージング装置）の実施形態のブロック図を図１に示す。画像処理装置は、対象の画像を取得する画像取得部（測定系）と、測定系に対して対象を相対的に移動させる手段と、を備えている。以下の説明においては、光学的な画像取得装置に基づいて本発明の実施形態を説明するが、本発明に適用され得る画像取得装置は、光学的な画像取得装置に限定されない。
【００２３】
画像取得部と移動手段とによって、ベース画像と、シフト画像と、が取得される。すなわち、画像取得部と移動手段とから、対象の位置を固定して、対象の画像をベース画像として取得する手段と、対象あるいは／および画像取得装置の測定系を移動させることで、前記ベース画像に対して結像面内で当該対象が所定量シフトしたＮ枚のシフト画像（Ｎ≧１）を取得する手段と、が構成される。
【００２４】
画像処理装置は、画像処理部を備えている。画像処理部は、ベース画像と各シフト画像の同じ座標の 画素同士の画素値（信号強度）の差分からＮ枚の差分画像（Ｎ≧１）を取得し、当該Ｎ枚の差分画像の同じ座標の画素同士の画素値（信号強度）を加算して対象の差分積算画像を取得する。Ｎ＝１の場合は、差分画像＝差分積算画像となる。画像処理部は、各シフト画像からベース画像を減算して積算することで差分積算画像を取得し、ベース画像から前記差分積算画像を減算して対象の鮮鋭化画像を取得する。
【００２５】
画像処理装置は、表示部を備えており、取得した画像（すなわち、ベース画像、シフト画像）、取得した画像を用いて計算したデータ等は表示部に適宜表示可能となっている。
【００２６】
画像処理部は、汎用コンピュータ（入力部、出力部、演算部、記憶部、表示部等を備える）から構成することができる。取得した画像データ、計算データは記憶部に記憶され、各種計算は演算部によって実行される。画像処理装置の表示部は、汎用コンピュータの表示部から構成することができる。
【００２７】
本実施形態に係る画像処理方法は、対象の位置を固定して、対象の画像をベース画像として取得するステップと、対象あるいは／および画像取得装置の測定系を移動させることで、前記ベース画像に対して結像面内で当該対象が所定量シフトした１つあるいは複数のシフト画像を取得するステップと、前記ベース画像と各シフト画像の同じ座標の画素同士の差分から１つあるいは複数の差分画像を取得するステップと、前記１つあるいは複数の差分画像の同じ座標の画素同士を加算して対象の差分積算画像を取得するステップと、を備えている。
【００２８】
各ステップにおいて取得された画像は、画像データとして数値で取得されていればよく、必ずしも表示装置に表示される必要はない。例えば、最終的に得られる差分積算画像のみを表示し、他の画像は表示しなくてもよい。
【００２９】
各ステップは、必ずしも時系列を特定するものではなく、 一部のステップが同時に実行されてもよい。例えば、複数の差分画像を取得するステップと、対象の差分積算画像を取得するステップとは、同時に実行されてもよい。複数の差分画像を取得するステップと、対象の差分積算画像を取得するステップと、差分積算画像にベース画像を加算するステップと、を同時に実行してもよい。また、時系列的にベース画像の取得の前にシフト画像を取得してもよい。例えば、１方向に移動する対象を連続的に撮影し、連続する３枚の画像のセットにおいて、画像ｔをベース画像とし、画像ｔ−１、画像ｔ＋１をそれぞれシフト画像としてもよい。これについては、後述するベルトコンベアを用いた検査装置への適用１、２を参照することができる。
【００３０】
本発明の概念図を図２に示す。図２に示すように、ベース画像は、真の信号と試料位置に依存しないノイズとからなる。シフト画像もまた、試料位置に依存しないノイズを含んでいる。シフト画像が、ベース画像に対して左側にシフトした第１シフト画像と、ベース画像に対して右側にシフトした第２シフト画像と、からなるとすると、ベース画像から第１シフト画像を減算した差分画像と、ベース画像から第２シフト画像を減算した差分画像とを加算することで、差分積算画像を取得する。差分積算画像が、シフト方向における光強度の空間2次微分マッピングとなっている。差分積算画像は、対象の輪郭の情報である。
【００３１】
本実施形態の特徴は、光学系と検出器を含めた測定系全部を、試料に対して相対的に微少量シフトすることで、信号強度の試料位置依存性のみを抽出できる（差分法）こと、この操作により生成される差分積算画像が空間２次微分イメージとなること、にある。イメージング装置において、対象の位置をシフトして撮影し、画像間の演算（足し引き）を行うと、差分法による観測装置となる。ここで、装置の空間分解能に相当する程度の距離だけ対象をシフトさせると、検出すべき信号以外のノイズのかなりの部分（光源の揺らぎ、光学系の揺らぎ、検出器の揺らぎ等）を除去することができ、装置の空間分解能を向上できる。すなわち、「信号の揺らぎ（ノイズ）」＝「光源の揺らぎ」＋「光学系の揺らぎ」＋「スキャニングの揺らぎ」＋「検出器の揺らぎ」＋「その他の揺らぎ」とすると、位置シフトにより変化しないノイズは、ほぼキャンセルできる。
【００３２】
図２の下側に、微分フィルタによる処理を比較のために示す。微分フィルタが、着目画素の近傍画素の画素値を用いる数値演算であるのに対して、本発明では、対象に対して光学系、検出器を含む測定系を、あるいは結像に対して検出器を、所定量シフトし、実際に取得した複数の画像の同じ 座標の画素間の画素値を用いるものであり、両者は全く異なる。これらの手法によって得られる結果が全く異なるものであることは、後述する実験結果から明らかである。
【００３３】
典型的には、上記画像処理方法は、さらに、ベース画像から前記差分積算画像を減算して対象の鮮鋭化画像を取得するステップを備えている。すなわち、差分積算画像にベース画像を加算する。この場合、ベース画像に重み（例えば、１〜２０倍）を付けてもよい。シフト画像からベース画像を引いて積算すると差分積算画像が2次微分画像となる。そして、ベース画像からこの2次微分画像を引くことにより、高強度はより強く、弱強度はより弱くなり、輪郭が強調され、鮮鋭化された画像が得られる。なお、差分画像のみを用いる場合、ある対象の輪郭のみを抽出するのであれば、 差分画像の符号反転を行い得ることが当業者に理解される。同様に、鮮鋭化画像の符号反転を適宜行い得ることも当業者に理解される。２次微分画像は数学的には、シフト画像からベース画像を差し引くことで得られ、その意味において、差分積算画像は、シフト画像からベース画像を引いたものを積算したものと定義することができ、鮮鋭化画像は、ベース画像からこの差分積算画像を引くことにより得られる。この定義に従うと、差分積算画像では、輪郭の明るい側が暗く、暗い側が明るくなってしまい、不自然な印象となる。実際の実験データの差分積算画像では、符号反転して、明るい側をより明るく、暗い側を暗くし、見やすくしている。
【００３４】
[Ａ−２]画像処理部における演算
画像処理部が実行する画像の足し引きについて説明する。本実施形態において、複数の画像の足し引きは、各画像の同じ座標の画素の画素値（信号強度）同士の足し引きである。試料を載置したステージを移動させる前の画像（すなわち取得したい画像）をベース画像０として、ステージを上下左右斜めの8方向に移動した際に取得した画像をシフト画像１〜８とすると、差分積算画像の計算は2次元画像の足し引きになる。式で表せば、（シフト画像１＋シフト画像２＋シフト画像３＋シフト画像４＋シフト画像５＋シフト画像６＋シフト画像７＋シフト画像８）−ベース画像０×８、となる。例えば、画素（M5,N5）に着目すると、｛シフト画像１の画素（M5,N5）の値＋シフト画像２の画素（M5,N5）の値＋シフト画像３の画素（M5,N5）の値＋シフト画像４の画素（M5,N5）の値＋シフト画像５の画素（M5,N5）の値＋シフト画像６の画素（M5,N5）の値＋シフト画像７の画素（M5,N5）の値＋シフト画像８の画素（M5,N5）の値｝−ベース画像０の画素（M5,N5）の値×８、となる。このように、数値演算（ラプラシアンフィルタ）が、近接する画素間の演算であるのに対して、本実施形態では、複数の画像上の同じ位置（座標）の画素間の演算となる。
【００３５】
画像処理部が実行する処理を、図３〜図１１に示す画像データに基づいて説明する。図３は、シフト画像の取得（空間2次微分イメージングプロセス）を示す図であり、ベース画像Ｃ０と、４方向にシフトした４つのシフト画像Ｃ１〜４を示す。ノイズ成分はゼロである。画像は、中央にグレースケールの印（画素値０．９）を備えた白色（画素値１）の十字形であり、十字形の周囲の画素値は０となっている。処理を簡略化するべく、便宜上、シフト量は１画素とした。図４は、図３を画素値で表示した図である。ベース画像Ｃ０、４つのシフト画像Ｃ１〜４の各座標の画素の値を比較することで、シフト画像Ｃ１〜４が、それぞれ、ベース画像Ｃ０を左方向、右方向、上方、下方に１画素分シフトさせた画像であることが読み取れる。ベース画像Ｃ０がＸＹ平面内にあるとすると、シフト画像Ｃ１、Ｃ２はＸ方向に２方向シフトした画像、シフト画像Ｃ３、Ｃ４はＹ方向に２方向シフトした画像ということができる。
【００３６】
図５は、イメージングプロセス例（１方向の場合）を示す図であり、上図はベース画像、中央図は差分画像、下図は鮮鋭化画像である。シフト画像は、ベース画像Ｃ０を左方向に１画素分シフトさせたシフト画像Ｃ１である。差分画像は、シフト画像Ｃ１からベース画像Ｃ０を減算することで得られる。鮮鋭化画像は、ベース画像Ｃ０から上記差分画像を減算することで得られる。
【００３７】
図６は、イメージングプロセス例（２方向の場合）を示す図であり、上図はベース画像、中央図は差分積算画像、下図は鮮鋭化画像である。シフト画像は、ベース画像Ｃ０を左方向に１画素分シフトさせたシフト画像Ｃ１、ベース画像Ｃ０を右方向に１画素分シフトさせたシフト画像Ｃ２である。差分積算画像は、シフト画像Ｃ１、Ｃ２を加算し、ベース画像Ｃ０×２を減算することで得られる。鮮鋭化画像は、ベース画像Ｃ０から上記差分積算画像を減算することで得られる。
【００３８】
図７は、イメージングプロセス例（４方向の場合）を示す図であり、上図はベース画像、中央図は差分積算画像、下図は鮮鋭化画像である。シフト画像は、ベース画像Ｃ０を左方向、右方向、上方向、下方向にそれぞれ１画素分シフトさせてなるシフト画像Ｃ１〜４である。差分積算画像は、シフト画像Ｃ１、Ｃ２、Ｃ３、Ｃ４を加算し、ベース画像Ｃ０×４を減算することで得られる。鮮鋭化画像は、ベース画像Ｃ０から上記差分積算画像を減算することで得られる。
【００３９】
図８は、鮮鋭化画像の取得におけるベース画像Ｃ０の重みの効果を示す図である。左から順に、重みが、−１、−０．５、１、１０、２０となっている。
【００４０】
シフト量が画素の整数倍でない場合は、面積比で信号強度を分割する。図９は、シフト量が１／５画素の場合のシフト画像の取得（4方向の場合）を示す図である。ベース画像Ｃ０と、４方向にシフトした４つのシフト画像Ｃ１〜４を示す。ノイズ成分はゼロである。
【００４１】
図１０は、シフト量が１／５画素の場合のイメージングプロセス例（４方向の場合）を示す図であり、上図はベース画像、中央図は差分積算画像、下図は鮮鋭化画像である。シフト画像は、ベース画像Ｃ０を左方向、右方向、上方向、下方向にそれぞれ１／５画素分シフトさせてなるシフト画像Ｃ１〜４である。差分積算画像は、シフト画像Ｃ１、Ｃ２、Ｃ３、Ｃ４を加算し、ベース画像Ｃ０×４を減算することで得られる。鮮鋭化画像は、ベース画像Ｃ０から上記差分積算画像を減算することで得られる。シフト量が小さくなった分、差分積算画像、鮮鋭化画像の各画素の値の絶対値は小さくなっているが、シフト量＝１の場合と同様の画像パターンが得られた。
【００４２】
図１１は、鮮鋭化画像におけるベース画像の重みの効果を示す図である。シフト量は１／５画素分である。左から順に、重みが、−１、−０．５、１、１０、２０となっている。シフト量＝１の場合に比べると、ベース画像に重みを加えると、輪郭が目立たなくなる傾向がある。
【００４３】
[Ａ−３] 対象／画像取得装置の測定系の移動
対象を移動させる手段としては、典型的には、ピエゾ素子を用いたピエゾ駆動ステージを例示することができる。このようなピエゾ駆動ステージは、光学顕微鏡において、試料を探索したり、見やすい位置に移動させる等の目的で広く 使用されている。また、ピエゾ駆動ステージは、特許文献４に例示されるように走査型顕微鏡において、２次元画像を取得するための走査ステージとしても用いられている。しかしながら、これらのピエゾ駆動ステージの利用は、本実施形態における複数のシフトした画像を処理し、 画像の鮮鋭化に利用するための移動とは技術思想が異なる。
【００４４】
対象や画像取得装置の測定系を移動させること自体は、特許文献１〜３においても行われており、本発明におけるシフト画像を取得する際に、これらの文献に開示された手法を採用してもよい。しかしながら、画素ずらし手法は、CCDカメラやCMOSカメラ等の、セルを敷き詰めたイメージセンサを用いて画像を取得する際に、本来、受光セルの大きさや配置で左右される空間分解能を向上させるべく、画素の位置を例えば半画素分ずらして撮像し、取得された画像を加算処理する手法であり、したがって、ノイズも加算されるものであり、本願発明とは異なる点に留意されたい。特許文献２、３にもピエゾ駆動ステージが開示されているが、特許文献２、３に開示された画素ずらし法は、取得された画像を加算処理するものであり、本発明における差分画像の取得、差分積算画像の取得という構成を備えておらず、両者は全く異質の技術思想に基づくものである。本発明と画素ずらし法とは、前者がシフト量として空間分解能を基準としているのに対して、後者の移動量は画素サイズを基準としているという点において異なる。画素ずらし法は、CCDカメラやCMOSカメラ等の、受光セルを敷き詰めてなるイメージセンサを備えた画像取得装置に有効に適用されるものであり、例えば、空間分解能がファイバ素線の直径で決まっている光ファイバーイメージング装置や、レンズの収差、光の波長で決まっている光学装置では、画素ずらし手法を適用する意義は無い。測定系の空間分解能が画素サイズで決まっている場合、結果的に本発明と画素ずらし法における移動量はオーバーラップし得るが、両者の全体構成が異なることは上述の通りである。
【００４５】
対象を移動させることに代えて、あるいは、それに加えて、画像取得装置の測定系を移動させてもよい。例えば、先端が周期的に振動したイメージングファイバと、それに同期して画像を取得するようにしてもよい。画像取得装置の測定系を移動させることには、測定系全体を移動させる場合、測定系の一部の要素のみを移動させる場合が含まれる。より具体的には、測定系が光学系と検出器を備えている場合に、測定系全部を対象に対して微少量シフトする場合、あるいは、光学系による結像に対して、検出器を微少量シフトする場合が含まれる。
【００４６】
対象あるいは／および画像取得装置の測定系（光学系＋検出器）の移動について、さらに、説明を加える。画像取得装置を、対象＋光学系＋検出器として捉えると、まず、光学系と検出器が固定された、「対象」＋「光学系＋検出器」については、シフトは相対的であり、「対象」、「光学系＋検出器」どちらをシフトさせても効果は同じである。また、対象と光学系が固定された、「対象＋光学系」＋「検出器」についても、「検出器」のみをシフトさせても、「対象＋光学系」をシフトさせても同じ効果が得られる。
【００４７】
ここで、光学系と検出器が固定された場合と、対象と光学系が固定された場合では、除去できるノイズが異なる点に留意されたい。前者は主に光学系と検出器によるノイズを除去できるのに対して、後者は、主に検出器によるノイズのみを除去できると考えられる。例えば、画像取得装置としてデジタルカメラを用いた場合、後者の手法を用いることが考えられ、「対象＋光学系」と「検出器」の相対的な位置のシフトにより本発明を実現でき、対象と光学系が固定されていれば、対象の光学系による結像を新たな対象とし、検出器に転写する装置とみなすことができる。カメラ内のイメージセンサを微少量シフトさせつつ連続的に撮像し、内部演算して記録・表示する装置が考えられる。シャッタースピードに対して、通常の対象は動いていないと見なせるので、移動させるのは測定系のイメージセンサのみとなる。このとき、対象、カメラ内部のレンズ系に対して、CCDあるいはCMOSイメージセンサのみが動くことになる。シフト量は空間分解能、すなわちイメージセンサのセルサイズ程度である。デジタルカメラのノイズの多くを占めているCCDあるいはCMOSイメージセンサの素子の不均一による感度のばらつき等を改善できると考えられる。
【００４８】
[Ａ−４]ベース画像とシフト画像との距離
ベース画像に対するシフト画像の移動量は、画像取得装置の空間分解能程度が望ましいと考えられる。しかしながら、空間分解能の定義自体が識別可能な２点間の距離という曖昧なものであり、「見える」・「見えない」の判断は、脳の高度の計算により行われ、画像として輪郭をどの程度強調した方が見やすいか、物の質感を損なわないかは、見る側の個人差があり、また、画像となっている対象によっても異なる。したがって、本実施形態で採用し得る移動量には幅があり、１つの態様では、ベース画像に対するシフト画像の移動量は、画像取得装置の空間分解能の１／１０〜２倍である。さらに好ましい範囲では、空間分解能の１／５〜１倍である。移動量のかかる範囲は、後述する実験結果から裏付けられる範囲である。空間分解能の１／１０程度では実際に、微弱であるもののエッジ情報が得られている。一方、移動量は、空間分解能よりも大きな値の場合も含まれ、空間分解能の数倍、例えば２倍程度までであれば、ベース画像に比べてより明瞭に見える場合もあり得る。
【００４９】
画像取得装置の空間分解能は、重要なスペックであり、既知ないし当該装置の構成から見積もることができる。例えば、実験で用いた光ファイバーイメージング装置では、ファイバ素線の直径である２〜３μｍが空間分解能であると考えられ、実験で用いたノマルスキ微分干渉光学顕微鏡（ＢＸ６０）では、ほぼ１μｍと見積もることができる。したがって、当業者であれば、用いられる画像取得装置の空間分解能に基づいて当該空間分解能の１／１０〜２倍の範囲から適当なシフト量（典型的には、空間分解能程度）を設定することができる。
【００５０】
典型的には、移動量は、各方向において実質的に同じ量（なるべく誤差を最小とする）に設定される。例えば、４方向の４つのシフト画像において、ベース画像に対する各シフト画像の移動量は実質的に同じである。なお、通常、イメージング装置は定量的な解析に用いるというより、見えるか見えないかの判断に用いられているため、シフト画像間で移動量にばらつきがあっても、移動量が上記所定の範囲に入っていれば効果はある。なお、移動量が異なる場合に、輪郭の強度を合わせるために移動量に応じて差分画像に重みを付けてもよい。
【００５１】
[Ａ−５]画像の重み付け
差分積算画像を取得する際、特定の差分画像のみ加算する、あるいは重み付けをしてもよい。例えば、ベース画像０と上下左右斜めの８方向の８枚のシフト画像１〜８がある場合に、８枚の差分画像の一部のみを選択して加算してもよい（この場合、選択されなかった差分画像の重みは０である。）。また、例えば、４方向シフト画像において、シフト量が上下左右で異なる場合等に、差分画像に重みを付けてもよい。厳密には、（画像１−画像０）/（画像１のシフト量）＋（画像２−画像０）/（画像２のシフト量）＋・・・とすることで、輪郭の強度（画素強度の傾き）を同じにすることができる。また、特殊な用途で、たとえば縦方向の輪郭のみを強調したいというような場合に、重みを変えてもよい。どのように重みを付けるかは、目的や用途等に応じて当業者において適宜設定し得る。
【００５２】
差分積算画像にベース画像を加算して対象の鮮鋭化画像を取得する際に、ベース画像に重み付けをしてもよい。どのように重み付けを行うかは、目的や用途等に応じて、例えば１倍〜２０倍の範囲から当業者において適宜選択し得る。
【００５３】
[Ａ―６]ベース画像に対するシフト画像の移動方向
１つの態様では、複数のシフト画像は、ベース画像に対してｘ方向に２方向、ｙ方向に２方向、斜め方向に４方向にシフトした８つの画像である。この場合、８方向２次微分イメージが得られ、全角度の変化をほぼ均等に強調することができる。なお、１つのベース画像に対して９つ以上のシフト画像を取得してもよい。
【００５４】
１つの態様では、複数のシフト画像は、ベース画像に対してｘ方向に２方向、ｙ方向に２方向シフトした４つの画像である。この場合、４方向２次微分イメージが得られ、縦、横の変化を強調することができる。
【００５５】
１つの態様では、複数のシフト画像は、ベース画像に対してｘ方向あるいはｙ方向の２方向にシフトした２つの画像である。この場合、２方向２次微分イメージが得られ、縦あるいは横の変化を強調することができる。
【００５６】
単に輪郭を強調したい場合には、特に、対象の輪郭の一部だけ抽出したいという用途においては、１方向のみのシフト画像を用いて、１枚のベース画像と１枚のシフト画像から差分画像（＝差分積算画像）を求めてもよい。実際には、左右にシフトするとして、例えば対象の左がプラス（白）、右がマイナス（黒）となって強調される。つまり、斜めから日が指して、より立体的に見えるような効果もある。１方向シフト画像の計算例を図５に示す。
【００５７】
シフト画像は、ベース画像に対して回転するものでもよい。例えば、ある角速度で等速円運動している対象に対しては、撮像のタイミングを調整することによって、「装置の空間分解能」程度（所定量の範囲内）でシフトしている対象の領域のみ、有効になると考えられる。すなわち、撮像のタイミングを制御することによって、すべての領域におけるイメージングが可能となる。この時、２次微分されるのはあくまで接線方向のみであり、特定のパターンのみ観測したいというような用途に用いられ得るものである点に留意されたい。撮像のタイミングの調整については、たとえば、ステッピングモータやサーボモータを用いて、一定の角度で回転を止めて撮像し、また次の角度にシフトして撮像するという方法と、一定速度で回転する対象を連続撮影する方法がある。後者の場合、検出器の露光時間（検出時間）内では、対象がほぼ静止していると考えられるくらいに低速で回転させるか、あるいは、検出時間を短くする必要がある。ここで言う静止とは、検出時間内では、空間分解能程度で規定されるシフト量に対して、無視できる範囲内でしか、対象が移動しない、という意味である。検出時間を短くするためには、シャッタースピードを上げ、露光時間を短くしても良いし、シャッターが開いた状態で充分に短いパルス光を照射することで、実際上の露光時間を短くしても良い。ステッピングモータ等で一定の角度で回転を止めて撮像する方法であれば、ベース画像とその両側の２つのシフト画像をとれば良いので、回転方向としては、ベース画像を取得した後、２方向に往復回転して、両側のシフト画像を取得する（ベース画像→右シフト画像→左シフト画像）場合、１方向で連続的に取得する（右シフト画像→ベース画像→左シフト画像）の場合がある。また、一定速度で回転する対象を連続的に撮像する場合は、低速であれば１方向に回転しつつ、ベース画像とその両側の２つのシフト画像を連続的に取得すればよい。
[Ａ―７]他の実施形態
【００５８】
光学的に２次元画像を取得する方法としては、大きく分けて、
１．センサ部を1個（0次元）もつ検出器（光電子増倍管等）を用い、2次元面で走査する手法、
２．1次元のセンサアレイを用いて、アレイ（長軸）に対して垂直方向に走査する手法、
３．2次元イメージセンサをもつ検出器（CCDなど）を用いて、一度に画像を取得する方法、などがあり、本実施形態は、典型的には手法３に適用される。しかしながら、本発明の他の実施形態は、手法２にも適用し得る。具体的には、センサアレイをアレイ（長軸）方向に空間分解能程度シフトし、その後、垂直方向に対象物をアレイによる検出幅程度一方向にシフトする、この動作を繰り返すことで、上下方向のみ２次微分された２次元イメージが取得できる。これに関連して、後述するベルトコンベアを用いた検査装置への適用３を参照することができる。
【００５９】
本発明の画像処理装置を、ベルトコンベアを用いた検査装置としての実施形態に基づいて説明する。このような検査装置は、液晶パネルやシリコン基板、電子デバイスなど、およそベルトコンベアに乗る対象の形状や表面のデリケートな傷の有無等を検査することに用いられ得る。例えば、ベース画像およびシフト画像を取得する速度に対して、ベルトコンベアが十分に遅いのであれば、単に対象をベルトコンベアで検査装置の画像取得部の直下に運び、それを静止している物として、画像取得部の「光学系＋検出器」をシフトし、取得した画像を差分積算することができる。以下に、より具体的に説明する。
【００６０】
ベルトコンベアを用いた検査装置への適用１において、シフト画像の取得のためのシフトは、ベルトコンベアの移動（移動方向をＸとする）により行う。適用１について、図２９に基づいて説明する。対象をベルトコンベア上に載置して搬送し、検査装置の画像取得部の直下でベルトコンベアの移動を停止して対象を静止させ、２次元画像を撮像する。次いで、対象をベルトコンベアで空間分解能程度一方向にシフトし、静止、撮像する。これを繰り返しおこない、ベース画像とシフト画像（１枚または２枚）を取得する。あるいは、対象が静止していると見なせる程度に撮像を高速でおこなうことにより、ベルトコンベア上を移動している対象を連続的に撮像し、ベース画像とシフト画像（１枚または２枚）を取得する。ベース画像とシフト画像の差分画像を取得することで、左右方向（Ｘ方向）のみ２次微分された２次元イメージが取得できる。
【００６１】
ベルトコンベアを用いた検査装置への適用２において、シフト画像の取得のためのシフトは、ベルトコンベアの移動（Ｘ方向）及び２次元イメージセンサのシフト（Ｙ方向）により行う。適用２について、図３０に基づいて説明する。適用１と同様に、対象をベルトコンベア上に載置して搬送し、検査装置の画像取得部の直下でベルトコンベアの移動を停止して対象を静止させ、２次元画像を撮像する。次いで、対象をベルトコンベアで空間分解能程度一方向にシフトし、静止、撮像する。次いで、静止した対象に対して、画像取得部の２次元イメージセンサをベルトコンベアの進行方向に対して垂直方向（Ｙ方向）に空間分解能程度の微少量シフトしつつ当該対象を撮像したのち、ベルトコンベアで対象を空間解像度程度一方向にシフトし、ベース画像とシフト画像（４枚）を取得する。あるいは、２次元イメージセンサのシフトと撮像を高速でおこなうことにより、ベルトコンベア上を移動している対象を連続的に撮像し、ベース画像とシフト画像（４枚）を取得する。これにより、ＸＹ方向に２次微分された２次元イメージが取得できる。
【００６２】
ベルトコンベアを用いた検査装置への適用３において、シフト画像の取得のためのシフトは、センサアレイの長軸方向のシフト（Ｙ方向）により行う。適用３について、図３１に基づいて説明する。センサアレイを空間分解能程度アレイの長軸方向にシフトしつつ対象の部分を撮像し、ベース画像とシフト画像（１枚または２枚）を取得する。さらに、アレイに対し垂直方向にベルトコンベアで対象をアレイによる検出幅程度一方向にシフトし、同様の操作を繰り返す。あるいは、センサアレイのシフトと撮像を高速でおこなうことにより、ベルトコンベア上を移動している対象を連続的に撮像し、複数枚のベース画像とシフト画像を取得する。これにより、Ｙ方向のみ２次微分された２次元イメージが取得できる。適用３において、ベース画像、シフト画像は、センサアレイに対応する細幅画像である。センサアレイによるベース細幅画像と、アレイ方向に片側あるいは両側シフトして得られたシフト細幅画像の差分積算画像は、シフト方向の２次微分細幅画像となる。この操作を、ベルトコンベヤをセンサアレイによる検出幅分動かして、繰り返し行い、２次微分細幅画像をつなぎあわせることで、２次元の差分積算画像（アレイ方向の２次微分イメージ）が得られる。センサアレイの幅は、１列あるいは複数列である。適用３では、細幅画像をつなぎ合わせるためだけにベルトコンベアによる対象のシフトを行っている。特に、長尺の対象の検査等において有利であると考えられる。
【００６３】
次に、対象が移動している場合（例えば、生物が運動している場合）について考察する。本発明の移動する対象への適用については、２通りのアプローチが考えられる。第１のアプローチは、生物の移動速度に対して、充分速く、シフト画像を取得する方法である。この方法は、「光学系＋検出器」をシフトさせることになるが、対象の速さに対して、シフト及び撮像の速さが充分速く、対象がほぼ静止していると見なせることが重要である。第２のアプローチは、対象の運動を、シフト量に置き換える方法である。この場合、対象のシフトは当該対象の自己運動によって実現され、装置のシフトは必要がなく、検出のタイミングを制御し、取得画像の演算（方向という概念がなくなるので、異なる時間に取得した画像間の演算）を行うことになる。ただし、対象の静止画像が取得出来る程度に検出時間（露光時間）は短い必要がある。この方法を応用すれば、無秩序に動いている複数の生物の中から、ある一定範囲の速度で動いている物だけの輪郭を強調し、抽出することができる。この場合の速度は、シフト画像の時間間隔により、間隔が短ければ、速く動くもの、長ければ、ゆっくり動く物の輪郭が強調される。静止している物は、差分積算画像で見ると、完全に消去される。すなわち、ある時間間隔で撮像を行い、差分画像をとると、その時間間隔でちょうど装置の空間分解能程度移動した物の輪郭のみ強調され、それより速い物はボケた背景となり、遅い物は消去されることになる。
【００６４】
[Ｂ]実験例１
[Ｂ−１]実験概要
ピエゾ駆動ステージを用いた空間２次微分イメージング装置を製作した。図１２に実験装置を示す。CCDカメラ、イメージファイバ光学系、ピエゾ素子駆動ステージを結合させて、試料表面からの光信号の変化を二次元画像として高感度に検出するための装置である。イメージファイバは、非整列タイプであるが、整列タイプのイメージファイバを用いてもよい。駆動ステージとして、フォーカス調整のZ軸を加えた、高精度3軸ピエゾ素子駆動ステージ、およびコントローラを選定した。また、検出器として、ノイズの少ない天体観測用のペルチェ冷却CCDカメラを採用した。光源は、ハロゲンランプを選定し、バンドパスフィルタにより赤色光を選択、照射した。イメージファイバ直下の試料の位置をピエゾ素子駆動ステージにより微少量変化させ、取得イメージの差分をとることにより、光源、ファイバ光学系、検出器の時間的・空間的揺らぎをほぼキャンセルしつつ、試料からの光信号の位置依存性のみを高感度に検出する。
【００６５】
光学系と検出器を含めた測定系全部を、試料に対して相対的に微少量シフトすることで、信号強度の試料位置依存性のみを抽出する。この操作により生成される差分積算画像が空間２次微分イメージとなる。試料はピエゾ駆動ステージ上にあり、ピエゾ駆動ステージによってXY面内を微少量移動させることができる。光学系、検出器に対して、試料のみを4回（あるいは８回）一定量シフトし、それぞれの画像データ（４回シフトの場合は４枚のシフト画像、８回シフトの場合は８枚のシフト画像）を取得する。図１３に、ベース画像Ｃ０と上下左右斜めの８方向の８枚のシフト画像Ｃ１〜８を示す。ベース画像Ｃ０がＸＹ平面内にあるとすると、シフト画像Ｃ１、Ｃ２はＸ方向に２方向シフトした画像、シフト画像Ｃ３、Ｃ４はＹ方向に２方向シフトした画像、シフト画像Ｃ５〜８は斜め方向に４方向シフトした画像であるということができる。図１３におけるハニーカム状を構成する各六角形はファイバ素線を示す。図１３におけるシフト量は、イメージファイバのファイバ素線の直径に相当する量である。ベース画像の信号強度を、４枚のシフト画像の場合は４倍（あるいは、８枚のシフト画像の場合は８倍）し、シフトして得られた４枚（あるいは８枚）のシフト画像の信号強度の積算から差し引くことにより、ベース画像の空間2次微分イメージが得られる。
【００６６】
[Ｂ−２]実験結果
差分積算画像と鮮鋭化画像のシフト量依存性を、図１４（シフト量：０μｍ、０．２５μｍ、０．５μｍ）、図１５（シフト量：１μｍ、２μｍ、３μｍ）、図１６（シフト量：４μｍ、５μｍ）に示す。図１４〜図１６において、上図（−2nd derivative）は、差分積算画像、下図（0th−2nd derivative）は鮮鋭化画像である。空間分解能の1/10程度（０．２５μm）のシフト量でも、エッジの情報が得られている。２または３μm あたりが最適だと思われる。それ以上のシフト量（４μｍ、５μｍ）では、輪郭が太くなり、やや不自然な印象を受けるものの、中央部グラフェンは判別出来る。最適なシフト量は分解能程度２−３μm(ファイバ素線の直径）であると考えられる。
【００６７】
図１７のグラフェンホールバーの観測結果に示すように、ファイバの直径と同程度の幅の単層グラフェンが識別できた。ラプラシアンフィルタを用いた数値演算では、当該単層グラフェンは判別不能である。
【００６８】
図１８の単層グラフェン/グラファイトの観察結果に示すように、単層グラフェンや、複雑な積層状態が明瞭に観察できた。マーカーも判別できた。ラプラシアンフィルタを用いた数値演算では、当該マーカーは判別不能である。
【００６９】
図１９の単層/二層グラフェンの観察結果に示すように、単層および２層グラフェンの積層状態が明瞭に観察できた。ラプラシアンフィルタを用いた数値演算では、当該積層状態は判別不能である。
【００７０】
[Ｂ−３]まとめ
・ピエゾ駆動ステージを用いた空間２次微分イメージング装置を製作した。
・単層および多層グラフェン試料を用いて、反射光による観察を行った。
・その結果、本手法による明らかな解像度の向上が確認された。
・駆動ステージの最適なシフト量は、本装置では空間分解能を決めているイメージングファイバのファイバ素線の直径程度であった。
・この解像度の向上は、数値演算による２次微分画像処理（ラプラシアンフィルタ）では実現されないことを確認した。
【００７１】
[Ｃ]実験例２
[Ｃ−１]実験概要
位置シフトによる空間２次微分イメージング手法を一般的な光学顕微鏡に適用した。光学顕微鏡としては、オリンパスBX60を用いた。ネジ式手動ステージのために、厳密なシフトは出来ない。今回のシフト量は、おおよそ1±0.5μm程度である。
【００７２】
今回使用した顕微鏡の分解能を見積もると、CCDのRGB出力のR成分（赤）を用いたこと、対物レンズの開口数が0.4であること、から、
となり、ほぼ1μm程度であると考えられる。
【００７３】
[Ｃ−２]実験結果
図２０、図２１に、単層/多層グラフェンの観察を示す。
・単層グラフェンはベース画像と比較してより明瞭に観察できた。
・多層グラフェンについては、積層状態がベース画像と比較してより明瞭になった。
・多層グラフェン中のマーカーが明瞭に観察できた。従来の方法では、ラプラシアンフィルタを用いた数値演算を実行してようやく、見える程度である。
・ラプラシアンフィルタを用いた数値演算よりも、明らかに明瞭なイメージが得られた。
【００７４】
図２２、図２３に、単層/多層グラフェンの観察を示す。
・単層/2層グラフェンはベース画像と比較してより明瞭に観察できた。
・多層グラフェンについては、積層によると思われる模様が見えた。従来の方法では、ラプラシアンフィルタを用いた数値演算しても、ほとんど見えない。
・ラプラシアンフィルタを用いた数値演算よりも、明らかに明瞭なイメージが得られた。
【００７５】
[Ｃ−３]まとめ
・位置シフトによる空間２次微分イメージング手法を光学顕微鏡に適用した。
・ネジ式手動ステージを用いたため、正確なシフトは出来なかったにもかかわらず（おおよそ1±0.5μm）、本手法による明らかな解像度の向上が確認された。
・ラプラシアンフィルタを用いた数値演算では得られない情報が、確かに得られることを確認した。
・装置の空間分解能程度で正確にシフトすれば、より解像度が向上すると考えられる。
【００７６】
[Ｄ]実験例３
鮮鋭化画像Ｃを取得する際（Ｃ＝ｋＣ０−Ｃ差分積算）のベース画像Ｃ０の重みｋについて比較実験を行った。実験結果を図２４〜図２７に示す。
１≦ｋ：ｋ＝20程度までは輪郭が強調され、それ以上では位置シフトの効果があまりない。
０≦ｋ＜１：差分積算画像と大きな違いは見られなかった。
ｋ＜０：画素強度が相対的に変化し、凸凹の形状も変化する。有効性はあまりないと考えられる。
本発明を限定するものではないが、１≦ｋ≦２０が適当であると考えられる。
【特許請求の範囲】
【請求項１】
対象の画像を取得する画像取得装置を用いた画像処理方法であって、
対象の画像をベース画像として取得するステップと、
前記ベース画像に対して結像面内で前記対象が所定量シフトしたＮ枚のシフト画像（Ｎ≧１）を取得するステップと、
前記ベース画像と各シフト画像の同じ座標の 画素同士の差分からＮ枚の差分画像（Ｎ≧１）を取得するステップと、
前記Ｎ枚の差分画像を加算して対象の差分積算画像を取得するステップと、
からなる画像処理方法。
【請求項２】
前記差分積算画像は、各シフト画像からベース画像を減算して積算することで得られる、請求項１に記載の画像処理方法。
【請求項３】
さらに、ベース画像から前記差分積算画像を減算して対象の鮮鋭化画像を取得するステップを備える、請求項２に記載の画像処理方法。
【請求項４】
前記所定量は、前記画像取得装置の空間分解能の１／１０〜２倍の範囲の量である、請求項１〜３いずれか１項に記載の画像処理方法。
【請求項５】
前記所定量は、前記画像取得装置の空間分解能の１／５〜１倍の範囲の量である、請求項４に記載の画像処理方法。
【請求項６】
前記シフト画像は、対象あるいは／および画像取得装置の測定系を移動させることで取得される、請求項１〜５いずれか１項に記載の画像処理方法。
【請求項７】
前記Ｎ枚のシフト画像は、
ベース画像に対してｘ方向に２方向、ｙ方向に２方向、斜め方向に４方向シフトした８つの画像、あるいは、
ベース画像に対してｘ方向に２方向、ｙ方向に２方向シフトした４つの画像、あるいは、
ベース画像に対してｘ方向に２方向あるいはｙ方向に２方向シフトした２つの画像、あるいは、
ベース画像に対してｘ方向に１方向あるいはｙ方向に１方向シフトした１つの画像、である、請求項１〜６いずれか１項に記載の画像処理方法。
【請求項８】
前記シフト画像は、ベース画像を回転させた画像である、請求項１〜４いずれか１項に記載の画像処理方法。
【請求項９】
対象の画像を取得する画像取得装置を用いた画像処理装置であって、
対象の画像をベース画像として取得する手段と、
前記ベース画像に対して結像面内で前記対象が所定量シフトしたＮ枚のシフト画像（Ｎ≧１）を取得する手段と、
画像処理部と、を備え、
前記画像処理部は、前記ベース画像と各シフト画像の同じ座標の画素同士の差分からＮ枚の差分画像（Ｎ≧１）を取得し、前記Ｎ枚の差分画像を加算して対象の差分積算画像を取得する、画像処理装置。
【請求項１０】
前記画像処理部は、各シフト画像からベース画像を減算して積算することで差分積算画像を取得する、請求項９に記載の画像処理装置。
【請求項１１】
前記画像処理部は、ベース画像から前記差分積算画像を減算して対象の鮮鋭化画像を取得する、請求項１０に記載の画像処理装置。
【請求項１２】
前記所定量は、前記画像取得装置の空間分解能の１／１０〜２倍の範囲の量である、請求項９〜１１いずれか１項に記載の画像処理装置。
【請求項１３】
前記所定量は、前記画像取得装置の空間分解能の１／５〜１倍の範囲の量である、請求項１２に記載の画像処理装置。
【請求項１】
対象の画像を取得する画像取得装置を用いた画像処理方法であって、
対象の画像をベース画像として取得するステップと、
前記ベース画像に対して結像面内で前記対象が所定量シフトしたＮ枚のシフト画像（Ｎ≧１）を取得するステップと、
前記ベース画像と各シフト画像の同じ座標の 画素同士の差分からＮ枚の差分画像（Ｎ≧１）を取得するステップと、
前記Ｎ枚の差分画像を加算して対象の差分積算画像を取得するステップと、
からなる画像処理方法。
【請求項２】
前記差分積算画像は、各シフト画像からベース画像を減算して積算することで得られる、請求項１に記載の画像処理方法。
【請求項３】
さらに、ベース画像から前記差分積算画像を減算して対象の鮮鋭化画像を取得するステップを備える、請求項２に記載の画像処理方法。
【請求項４】
前記所定量は、前記画像取得装置の空間分解能の１／１０〜２倍の範囲の量である、請求項１〜３いずれか１項に記載の画像処理方法。
【請求項５】
前記所定量は、前記画像取得装置の空間分解能の１／５〜１倍の範囲の量である、請求項４に記載の画像処理方法。
【請求項６】
前記シフト画像は、対象あるいは／および画像取得装置の測定系を移動させることで取得される、請求項１〜５いずれか１項に記載の画像処理方法。
【請求項７】
前記Ｎ枚のシフト画像は、
ベース画像に対してｘ方向に２方向、ｙ方向に２方向、斜め方向に４方向シフトした８つの画像、あるいは、
ベース画像に対してｘ方向に２方向、ｙ方向に２方向シフトした４つの画像、あるいは、
ベース画像に対してｘ方向に２方向あるいはｙ方向に２方向シフトした２つの画像、あるいは、
ベース画像に対してｘ方向に１方向あるいはｙ方向に１方向シフトした１つの画像、である、請求項１〜６いずれか１項に記載の画像処理方法。
【請求項８】
前記シフト画像は、ベース画像を回転させた画像である、請求項１〜４いずれか１項に記載の画像処理方法。
【請求項９】
対象の画像を取得する画像取得装置を用いた画像処理装置であって、
対象の画像をベース画像として取得する手段と、
前記ベース画像に対して結像面内で前記対象が所定量シフトしたＮ枚のシフト画像（Ｎ≧１）を取得する手段と、
画像処理部と、を備え、
前記画像処理部は、前記ベース画像と各シフト画像の同じ座標の画素同士の差分からＮ枚の差分画像（Ｎ≧１）を取得し、前記Ｎ枚の差分画像を加算して対象の差分積算画像を取得する、画像処理装置。
【請求項１０】
前記画像処理部は、各シフト画像からベース画像を減算して積算することで差分積算画像を取得する、請求項９に記載の画像処理装置。
【請求項１１】
前記画像処理部は、ベース画像から前記差分積算画像を減算して対象の鮮鋭化画像を取得する、請求項１０に記載の画像処理装置。
【請求項１２】
前記所定量は、前記画像取得装置の空間分解能の１／１０〜２倍の範囲の量である、請求項９〜１１いずれか１項に記載の画像処理装置。
【請求項１３】
前記所定量は、前記画像取得装置の空間分解能の１／５〜１倍の範囲の量である、請求項１２に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公開番号】特開２０１３−１１４３６０（Ｐ２０１３−１１４３６０Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５８３３７（Ｐ２０１１−２５８３３７）
【出願日】平成２３年１１月２５日（２０１１．１１．２５）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２０１１年５月３１日 ｈｔｔｐ：／／ｋａｋｅｎ．ｎｉｉ．ａｃ．ｊｐ／ｊａ／ｐ／２１５４０３１６／２００９／３／ｊａを通じて発表、２０１１年８月２９日〜９月２日 公益社団法人応用物理学会主催の「第７２回応用物理学会学術講演会」において文書をもって発表
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２５日（２０１１．１１．２５）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２０１１年５月３１日 ｈｔｔｐ：／／ｋａｋｅｎ．ｎｉｉ．ａｃ．ｊｐ／ｊａ／ｐ／２１５４０３１６／２００９／３／ｊａを通じて発表、２０１１年８月２９日〜９月２日 公益社団法人応用物理学会主催の「第７２回応用物理学会学術講演会」において文書をもって発表
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【Ｆターム（参考）】
[ Back to top ]