画像解析方法および画像解析装置
【課題】多成分解析可能な画像解析方法を提供する。
【解決手段】S1:試料の観察領域の1フレームまたは複数フレームの蛍光画像を取得する。S2:取得した1フレームまたは複数フレームのおのおのの観察領域の蛍光画像に対して1つまたは複数の解析領域を設定する。S3:各解析領域に対応するピクセルのデータを抽出する。S4:複数の相関計算のそれぞれに使用するピクセルのデータペアの複数の時間間隔を設定する。S5:抽出したピクセルのデータを使用して相関計算をおこなう。S6:相関計算の結果に対してフィッティングをおこなう。S7:解析結果を保存する。S8:S4で設定した複数の時間間隔のおのおのについてS5〜S7の操作を繰り返す。
【解決手段】S1:試料の観察領域の1フレームまたは複数フレームの蛍光画像を取得する。S2:取得した1フレームまたは複数フレームのおのおのの観察領域の蛍光画像に対して1つまたは複数の解析領域を設定する。S3:各解析領域に対応するピクセルのデータを抽出する。S4:複数の相関計算のそれぞれに使用するピクセルのデータペアの複数の時間間隔を設定する。S5:抽出したピクセルのデータを使用して相関計算をおこなう。S6:相関計算の結果に対してフィッティングをおこなう。S7:解析結果を保存する。S8:S4で設定した複数の時間間隔のおのおのについてS5〜S7の操作を繰り返す。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像解析方法および画像解析装置に関する。
【背景技術】
【0002】
従来、蛍光相関分光分析法(FCCS)と呼ばれる画像解析の手法が知られている。FCCSは、たとえば特許文献1に示されている。FCCSでは、試料中の一つまたは複数の測定点に対して、ある程度の時間のあいだ(たとえば10秒間)励起光を継続的に照射し、測定点から発する蛍光の強度の揺らぎを検出して相関解析をおこなうことによって分子数や拡散定数の推定をおこなう。
【0003】
また、ラスターイメージ相関分光法(RICS:Raster Image Correlation Spectroscopy)と呼ばれる画像解析の手法も知られている。RICSは、たとえば非特許文献2に示されている。RICSでは、1フレーム以上のラスター走査画像を取得する。ラスター走査画像はたとえば蛍光画像であってよい。蛍光画像の各ピクセルのデータは、対応する試料中の点から発生した蛍光の強度の情報を表す。ピクセルのデータは、それぞれ取得された時間および取得された位置が異なる。
【0004】
これらのピクセルのデータを用いて空間自己相関解析することによって分子の揺らぎによる相関特性が得られる。分子の相関特性からは拡散定数や分子数を求めることができる。拡散定数からは分子拡散時間を求めることができる。分子拡散時間からは分子量を求めることができる。
【0005】
このように、空間自己相関解析をすることによって分子量や分子数等を評価することができるため、分子間の相互作用を観察することが可能である。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2007−093277号公報
【非特許文献】
【0007】
【非特許文献1】「Measuring Fast Dynamics in Solutions and Cells with a Laser Scanning Microscope」, Michelle A. Digman, Claire M. Brown, Parijat Sengupta, Paul W. Wiseman, Alan R. Horwitz, and Enrico Gratton, Biophysical Journal, Vol.89, P1317-1327, August 2005.
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来のRICSの解析処理は、分子の拡散時間(または分子数など)を主な解析パラメータとして扱うが、解析可能な成分は2成分にとどまる。また、フィッティング用パラメータの設定が難しく、2成分解析も難しい。そのため、複数の分子種からなるサンプルにおいて、事実上、多成分解析はほとんどおこなわれていない。
【0009】
本発明は、多成分解析可能な画像解析方法および画像解析装置を提供する。
【課題を解決するための手段】
【0010】
本発明による画像解析方法は、複数のピクセルから構成された少なくとも1フレームの画像を取得する画像取得ステップと、前記少なくとも1フレームの画像に対して少なくとも1つの解析領域を設定する解析領域設定ステップと、各解析領域に対応するピクセルのデータを抽出するデータ抽出ステップと、複数の相関計算にそれぞれ使用するデータペアの複数の時間間隔を設定する時間間隔設定ステップと、抽出データを使用して前記複数の時間間隔のおのおのに対して相関計算をおこなう相関計算ステップと、前記相関計算ステップによる複数の相関計算結果のおのおのに対してフィッティングをおこなうフィッティングステップを有している。
【発明の効果】
【0011】
本発明によれば、多成分解析可能な画像解析方法および画像解析装置が提供される。
【図面の簡単な説明】
【0012】
【図1】一実施形態による画像解析装置を概略的に示している。
【図2】図1に示される制御部の機能ブロックを示している。
【図3】一実施形態による画像解析のフローチャートである。
【図4】1フレームの二次元画像の蛍光画像を示している。
【図5】1フレームの三次元画像の蛍光画像を示している。
【図6】複数フレームの観察領域の画像と1つの解析領域の抽出画像を示している。
【図7】複数フレームの観察領域の画像と2つの解析領域の抽出画像を示している。
【図8】同じフレームの画像内の同じ解析領域に対する相関計算を模式的に示している。
【図9】異なるフレームの画像内の同じ解析領域に対する相関計算を模式的に示している。
【図10】同じフレームの画像内の異なる解析領域に対する相関計算を模式的に示している。
【図11】異なるフレームの画像内の異なる解析領域に対する相関計算を模式的に示している。
【図12】試料中の分子に関する空間相互相関値の計算結果を輝度で示した画像である。
【図13】図12の空間相互相関値の計算結果のフィッティング結果を示している。
【発明を実施するための形態】
【0013】
以下、図面を参照しながら本発明の実施形態について説明する。
【0014】
[装置構成]
図1は、一実施形態による画像解析装置を概略的に示している。この画像解析装置は、試料の蛍光観察のための走査型共焦点光学顕微鏡をベースに構成されている。
【0015】
図1に示すように、画像解析装置100は、試料Sに光たとえば励起光を照射する光照射部110と、試料Sからの光たとえば蛍光を検出する光検出部130と、画像解析に必要な制御をおこなう制御部160と、試料Sを支持する試料ステージ190とを有している。
【0016】
試料Sはマイクロプレートやスライドガラスなどの試料容器に収容され、試料ステージ190に載置される。試料ステージ190は、たとえば、試料Sを光照射部110および光検出部130に対して横方向(xy方向)および高さ方向(z方向)に移動可能に支持する。たとえば、試料ステージ190は、出力軸が互いに直交する三つのステッピング・モーターを含んでおり、これらのステッピング・モーターによって試料Sをxyz方向に移動し得る。
【0017】
画像解析装置100は、たとえば、多重光照射・多重光検出型である。このため、光照射部110はnチャンネルの光源ユニット111を含み、光検出部130はmチャンネルの光検出ユニット131を含んでいる。光源ユニット111は、n個のチャンネルを有し、n種類の異なる波長の励起光を射出し得る。また光検出ユニット131は、m個のチャンネルを有し、m種類の異なる波長の蛍光を検出し得る。光源ユニット111は必ずしも複数のチャンネルを有している必要はなく、1つのチャンネルだけを有していてもよい。また光検出ユニット131も必ずしも複数のチャンネルを有している必要はなく、1つのチャンネルだけを有していてもよい。
【0018】
光照射部110のnチャンネルの光源ユニット111は、光源112a,…,112nとコリメートレンズ114a,…,114nとダイクロイックミラー116a,…,116nとを含んでいる。光源112a,…,112nは、試料Sに含まれる蛍光色素を励起して試料Sから光(蛍光)を発せさせるための励起光を発する。光源112a,…,112nから発せられる励起光の波長は、試料Sに含まれる蛍光色素の種類に対応して、互いに相違している。光源112a,…,112nは、たとえば、試料S中の蛍光色素に合った発振波長のレーザー光源で構成される。コリメートレンズ114a,…,114nは、それぞれ、光源112a,…,112nから発せられた励起光をコリメートする。ダイクロイックミラー116a,…,116nは、それぞれ、コリメートレンズ114a,…,114nを通過した励起光を同じ方向に反射する。ダイクロイックミラー116a,…,116nは、それぞれ、図1の上方から入射する励起光を透過し、図1の右方から入射する励起光を反射する。その結果、光源112a,…,112nからそれぞれ射出された異なる波長の励起光は、ダイクロイックミラー116aの通過後に一本のビームに合成される。ダイクロイックミラー116nは、励起光を透過する必要がないので、単なるミラーに変更されてもよい。
【0019】
光照射部110はさらに、ダイクロイックミラー122とガルバノミラー124と対物レンズ126と対物レンズ駆動機構128を含んでいる。ダイクロイックミラー122は、光源ユニット111からの励起光をガルバノミラー124に向けて反射し、試料Sから発せられる蛍光を透過する。ガルバノミラー124は、励起光を対物レンズ126に向けて反射するとともに、その反射方向を変更する。対物レンズ126は、励起光を収束して試料S内の測定点に照射するとともに、試料S内の測定点からの光を取り込む。対物レンズ126には、微小な共焦点領域(測定点)の形成のために、NA(開口数)の大きいものが使用される。これにより得られる共焦点領域の大きさは、直径0.6μm程度(xy面内)、長さ2μm程度(z方向)の略円筒状となる。ガルバノミラー124は、測定点をxy方向に走査するxy走査機構を構成している。xy走査機構は、ガルバノミラーを使用して構成するほかに、音響光学変調素子(AOM)やポリゴンミラー、ホログラムスキャナーなどを使用して構成してもよい。対物レンズ駆動機構128は、対物レンズ126を光軸に沿って移動させる。これにより、測定点がz方向に移動される。つまり、対物レンズ駆動機構128は、測定点をz方向に走査するz走査機構を構成している。
【0020】
光検出部130は、対物レンズ126とガルバノミラー124とダイクロイックミラー122を光照射部110と共有している。光検出部130はさらに、収束レンズ132とピンホール134とコリメートレンズ136とを含んでいる。収束レンズ132は、ダイクロイックミラー122を透過した光を収束する。ピンホール134は、収束レンズ132の焦点に配置されている。つまり、ピンホール134は、試料S内の測定点に対して共役な位置にあり、測定点からの光だけを選択的に通す。コリメートレンズ136は、ピンホール134を通過した光を平行にする。コリメートレンズ136を通過した光は、mチャンネルの光検出ユニット131に入射する。
【0021】
mチャンネルの光検出ユニット131は、ダイクロイックミラー138a,…,138mと蛍光フィルター140a,…,140mと光検出器142a,…,142mとを含んでいる。ダイクロイックミラー138a,…,138mは、それぞれ、検出対象の蛍光の波長域付近の波長の光を選択的に反射する。ダイクロイックミラー138mは、光を透過する必要がないので、単なるミラーに変更されてもよい。蛍光フィルター140a,…,140mは、それぞれ、ダイクロイックミラー138a,…,138mによって反射された光から、不所望な波長成分の光を遮断し、光源112a,…,112nからの励起光によって生成された蛍光だけを選択的に透過する。蛍光フィルター140a,…,140mを透過した蛍光はそれぞれ光検出器142a,…,142mに入射する。光検出器142a,…,142mは、入射した光の強度に対応した信号を出力する。すなわち、光検出器142a,…,142mは、試料S内の測定点からの蛍光強度信号を出力する。
【0022】
制御部160はたとえばパーソナルコンピューターで構成される。制御部160は、試料Sの観察領域の蛍光画像の取得・記憶・表示、解析領域の設定などの入力待ち、画像の解析処理(相関値の計算や分子数・拡散時間の推定など)をおこなう。また制御部160は、xy走査機構であるガルバノミラー124、z走査機構である対物レンズ駆動機構128、試料ステージ190などの制御をおこなう。
【0023】
図1に示される制御部の機能ブロックを図2に示す。制御部160は、図2に示すように、走査制御部162と画像形成部164と記憶部166と表示部168と入力部170と解析領域設定部172とデータ抽出部174と解析処理部178と時間間隔設定部178とステージ制御部180とを含んでいる。走査制御部162と画像形成部164と記憶部166とステージ制御部180は、上述した光照射部110と光検出部130と共働して画像取得部を構成する。
【0024】
走査制御部162は、試料Sの蛍光画像を取得する際、励起光の照射位置を試料Sに対してラスター走査するようにガルバノミラー124を制御する。走査制御部162はまた、必要であれば、励起光の照射位置を試料Sに対してz走査するように対物レンズ駆動機構128を制御する。画像形成部164は、走査制御部162から入力される励起光の照射位置の情報と光検出器142a,…,142mの出力信号とから試料Sの蛍光画像を形成する。これにより、蛍光画像が取得される。記憶部166は、画像形成部164で形成された蛍光画像を記憶する。表示部168は、試料Sの蛍光画像や解析処理結果を表示する。入力部170は、たとえばマウスやキーボードを含み、表示部168と共同してGUIを構成する。このGUIは、観察領域や解析領域の設定などに利用される。ステージ制御部180は、たとえば観察領域を設定するために、入力部170からの入力情報にしたがって試料ステージ190を制御する。解析領域設定部172は、入力部170からの入力情報にしたがって解析領域を設定する。データ抽出部174は、相関計算をおこなう解析領域のデータを抽出する。時間間隔設定部176は、複数の相関計算にそれぞれ使用するデータのペアの複数の時間間隔を設定する。解析処理部178は、解析領域の画像のピクセルのデータを使用して相関計算をおこなう。解析処理部178の処理の詳細は後述する。
【0025】
図1において、光源112a,…,112nから発せられた励起光は、コリメートレンズ114a,…,114nとダイクロイックミラー116a,…,116nとダイクロイックミラー122とガルバノミラー124と対物レンズ126を経て試料S内の測定点に照射される。励起光が照射される測定点は、ガルバノミラー124によってxy方向にラスター走査される。また必要であれば、一回のラスター走査が終了するたびに、対物レンズ駆動機構128によってz走査される。測定点は観察領域の全体にわたって走査される。励起光を受けた試料Sは測定点から蛍光を発する。試料Sからの光(蛍光のほかに不所望な反射光などを含む)は、対物レンズ126とガルバノミラー124とダイクロイックミラー122と収束レンズ132を経てピンホール134に至る。ピンホール134は測定点と共役な位置にあるため、試料S内の測定点からの光だけがピンホール134を通過する。ピンホール134を通過した光すなわち試料S内の測定点からの光はコリメートレンズ136を経てmチャンネルの光検出ユニット131に入射する。mチャンネルの光検出ユニット131に入射した光は、ダイクロイックミラー138a,…,138mによって波長にしたがって分離される(つまり分光される)とともに、蛍光フィルター140a,…,140mによって不所望な成分が除去される。蛍光フィルター140a,…,140mを通過した蛍光は光検出器142a,…,142mにそれぞれ入射する。光検出器142a,…,142mは、それぞれ、入射光すなわち試料S内の測定点から発せられた蛍光の強度を示す蛍光強度信号を出力する。この蛍光強度信号は画像形成部164に入力される。画像形成部164は、入力される蛍光強度信号をxy方向(およびz方向)の位置情報に同期させて処理して、試料S内の観察領域の蛍光画像を形成する。形成された蛍光画像は、記憶部166に保存される。記憶部166に保存された蛍光画像は、そのまま表示部168に表示されるか、解析処理部178によって処理され、解析処理結果が表示部168に表示される。
【0026】
[解析手順]
以下、図3を参照しながら画像解析の手順について説明する。また、各ステップについて、適宜、図4〜図11を参照しながら説明する。
【0027】
(ステップS1)
試料Sの観察領域の1フレームまたは複数フレームの画像たとえば蛍光画像を取得する。蛍光画像は、光源ユニット111の1つのチャンネルと、それに対応する光検出ユニット131の1つのチャンネルとを介して取得したものである。各フレームの蛍光画像は、励起光の走査によって時系列的にデータが取得された複数のピクセルから構成されている。測定点は、実際には、xyz方向に空間的広がりを有しており、ピクセルは、この測定点の空間的広がりに対応した大きさを有する。蛍光画像の各ピクセルのデータは、たとえば、対応する測定点から発せられる蛍光の強度である。
【0028】
観察領域は二次元の領域または三次元の領域あり、それに対応して蛍光画像は二次元画像または三次元画像である。観察領域が二次元的領域である場合、蛍光画像は、xy方向に大きさを持つピクセルが二次元的に配列された二次元画像である。また観察領域が三次元的領域である場合、蛍光画像は、xyz方向に大きさを持つピクセルが三次元的に配列された三次元画像である。三次元画像はまた、別の見方をすれば、z位置の異なる複数フレームの二次元画像から構成される。
【0029】
1フレームの二次元画像の蛍光画像を図4に示す。図4において、τpは、あるピクセルとこれに隣接する次のピクセルとの間の取得時間のずれ(ピクセル時間)である。すなわち、ピクセル時間τpは、1ピクセルのデータを取得するのに要する時間である。またτlは、あるラインの最初のピクセルとその次のラインの最初のピクセルとの間の取得時間のずれ(ライン時間)である。すなわち、ライン時間τlは、1ラインを走査するのに要する時間を意味する。
【0030】
1フレームの三次元画像を図5に示す。図5において、τpはピクセル時間、τlはライン時間、τfは、あるフレームの最初のピクセルとその次のフレームの最初のピクセルとの間の取得時間のずれ(フレーム時間)である。すなわち、フレーム時間τfは、1フレームを走査するのに要する時間を意味する。
【0031】
(ステップS2)
取得した1フレームまたは複数フレームのおのおのの観察領域の画像たとえば蛍光画像に対して1つまたは複数の解析領域を設定する。複数の解析領域は、空間的に異なる領域であり、通常、互いに離れていて重複していない。解析領域は、二次元の観察領域に対しては二次元の領域であり、三次元の観察領域に対しては、通常、三次元の領域であるが、二次元の領域であってもよい。図6では、複数フレームf1〜f100のおのおのの観察領域の蛍光画像に対して1つの解析領域A1が設定されており、解析領域A1は細胞の核外に位置している。また図7では、複数フレームf1〜f100のおのおのの観察領域の蛍光画像に対して2つの解析領域A1,A2が設定されており、解析領域A1は細胞の核外に位置し、解析領域A2は細胞の核内に位置している。
【0032】
(ステップS3)
各解析領域に対応するピクセルのデータを抽出する。図6には、抽出された複数フレームf1〜f100の解析領域A1のピクセルのデータすなわち画像が示されている。また図7には、抽出された複数フレームf1〜f100の解析領域A1,A2のピクセルのデータすなわち画像が示されている。
【0033】
(ステップS4)
複数の相関計算にそれぞれ使用するデータペアの複数の時間間隔(遅延時間)を設定する。各時間間隔は、各相関計算のための積和計算に使用する複数ペアのピクセルのデータの取得時間の差に対応している。たとえば、ある時間間隔は、同じフレームの同じまたは異なる解析領域内の2つのピクセルに対応し、別の時間間隔は、異なるフレームの同じまたは異なる解析領域内の2つのピクセルに対応する。これらの時間間隔は、好ましくは、十分な回数の積和計算をおこなえるように設定される。
【0034】
(ステップS5)
抽出したピクセルのデータを使用して相関計算をおこなう。相関計算に適用する計算式は、解析領域の画像が二次元画像か三次元画像かで異なる。さらに、相関計算の積和計算に使用する複数のデータペアのおのおのの2つのピクセルが同じ解析領域に属するか異なる解析領域に属するかで異なる。加えて、相関計算の積和計算に使用する複数のデータペアのおのおのの2つのピクセルが同じフレームの画像に属するか異なるフレームの画像に属するかで異なる。
【0035】
二次元画像に対する適用計算式は次の通りである。
【0036】
1.各データペアの2つのピクセルが同じ解析領域の画像に属し、同じフレームの画像に属する場合。この場合、同じフレームの画像内の同じ解析領域内のピクセルのデータのペアを使用して相関計算をおこなう。この相関計算は自己相関計算となる。図8は、この場合の相関計算を模式的に示している。
【0037】
【数1】
【0038】
ここで、G2ssaは、同じフレームfiの同じ解析領域A1の間の自己相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、Miiは、フレームfiの解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数である。
【0039】
2.各データペアの2つのピクセルが同じ解析領域の画像に属し、異なるフレームの画像に属する場合。この場合、異なるフレームの画像内の同じ解析領域内のピクセルのデータのペアを使用して相関計算をおこなう。この相関計算は相互相関計算となる。図9は、この場合の相関計算を模式的に示している。
【0040】
【数2】
【0041】
ここで、G2sdcは、異なるフレームfiとフレームfjの同じ解析領域A1の間の相互相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、Ifjは、フレームfjの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、Mijは、フレームfiとフレームfjの同じ解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数、Mjは、フレームfjの解析領域A1の画像のピクセルのデータの総数である。
【0042】
3.各データペアの2つのピクセルが異なる解析領域の画像に属し、同じフレームの画像に属する場合。この場合、同じフレームの画像内の異なる解析領域内のピクセルのデータのペアを使用して相関計算をおこなう。この相関計算は相互相関計算となる。図10は、この場合の相関計算を模式的に示している。
【0043】
【数3】
【0044】
ここで、G2dscは、同じフレームfiの異なる解析領域A1,A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fiは、フレームfiの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、M12iiは、フレームfiの異なる解析領域A1,A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2iは、フレームfiの解析領域A2の画像のピクセルのデータの総数である。
【0045】
4.各データペアの2つのピクセルが異なる解析領域の画像に属し、同じフレームの画像に属する場合。この場合、異なるフレームの画像内の異なる解析領域内のピクセルのデータのペアを使用して相関計算をおこなう。この相関計算は相互相関計算となる。図11は、この場合の相関計算を模式的に示している。
【0046】
【数4】
【0047】
ここで、G2ddcは、フレームfiの解析領域A1とフレームfjの解析領域A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fjは、フレームfjの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、M12ijは、フレームfiの解析領域A1とフレームfjの解析領域A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2jは、フレームfjの解析領域A2の画像のピクセルのデータの総数である。
【0048】
三次元画像に対する適用計算式は次の通りである。
【0049】
1.各データペアの2つのピクセルが同じ解析領域の画像に属し、同じフレームの画像に属する場合。この場合、同じフレームの画像内の同じ解析領域内のピクセルのデータのペアを使用して相関計算をおこなう。この相関計算は自己相関計算となる。図8は、この場合の相関計算を模式的に示している。
【0050】
【数5】
【0051】
ここで、G2ssaは、同じフレームfiの同じ解析領域A1の間の自己相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、Miiは、フレームfiの解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数である。
【0052】
2.各データペアの2つのピクセルが同じ解析領域の画像に属し、異なるフレームの画像に属する場合。この場合、異なるフレームの画像内の同じ解析領域内のピクセルのデータのペアを使用して相関計算をおこなう。この相関計算は相互相関計算となる。図9は、この場合の相関計算を模式的に示している。
【0053】
【数6】
【0054】
ここで、G2sdcは、異なるフレームfiとフレームfjの同じ解析領域A1の間の相互相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、Ifjは、フレームfjの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、Mijは、フレームfiとフレームfjの同じ解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数、Mjは、フレームfjの解析領域A1の画像のピクセルのデータの総数である。
【0055】
3.各データペアの2つのピクセルが異なる解析領域の画像に属し、同じフレームの画像に属する場合。この場合、同じフレームの画像内の異なる解析領域内のピクセルのデータのペアを使用して相関計算をおこなう。この相関計算は相互相関計算となる。図10は、この場合の相関計算を模式的に示している。
【0056】
【数7】
【0057】
ここで、G2dscは、同じフレームfiの異なる解析領域A1,A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fiは、フレームfiの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、M12iiは、フレームfiの異なる解析領域A1,A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2iは、フレームfiの解析領域A2の画像のピクセルのデータの総数である。
【0058】
4.各データペアの2つのピクセルが異なる解析領域の画像に属し、同じフレームの画像に属する場合。この場合、異なるフレームの画像内の異なる解析領域内のピクセルのデータのペアを使用して相関計算をおこなう。この相関計算は相互相関計算となる。図11は、この場合の相関計算を模式的に示している。
【0059】
【数8】
【0060】
ここで、G2ddcは、フレームfiの解析領域A1とフレームfjの解析領域A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fjは、フレームfjの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、M12ijは、フレームfiの解析領域A1とフレームfjの解析領域A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2jは、フレームfjの解析領域A2の画像のピクセルのデータの総数である。
【0061】
相関計算に使用する各ピクセルのデータは、そのピクセルのデータそのものであってもよいし、そのピクセルを含む複数のピクセルのデータの統計値であってもよい。複数のピクセルは、たとえば、注目のピクセルおよびこれに隣接するピクセルであってよい。統計値は、たとえば、ピクセルのデータの平均値、最大値、最小値、相対差、絶対差、相対比のいずれかであってよい。どのような統計値を使用するかは、RICSの解析によってどのような情報を得たいかによって決める。
【0062】
また相関計算に使用するデータは、ピクセル時間、ライン時間、フレーム時間、ピクセル位置関係、ピクセルサイズまたはそれについての統計値であってもよい。
【0063】
また相関計算は、ピクセルのデータに基づいて画像をそれぞれ再構成し、再構成した画像について相関計算してもよい。たとえば、隣のピクセルのデータ同士を足して、ピクセルのデータの数を半分にする。または、一つのピクセルのデータを複数に分割する。本来ならば、一度画像を取得するとピクセルのデータの数は増えないが、取得したピクセルのデータの強度がそのピクセルのデータの周囲にガウシアン分布で広がっていると仮定して、本来取得できていないピクセルのデータを補う。本質的にピクセルのデータの数が増えている訳ではないが、見た目が良くなる。
【0064】
(ステップS6)
ステップS5の相関計算の結果に対してフィッティングをおこなう。これにより、分子数と拡散時間の少なくとも一方を推定する。フィッティングに適用する計算式は、解析領域の画像が二次元画像か三次元画像かで異なる。
【0065】
二次元画像に対する適用計算式は次の通りである。
【0066】
【数9】
【0067】
ここで、Gsは、RICSの空間相関値、Sは、RICSの解析におけるスキャンの影響、Gは、RICSの解析における時間遅延の影響、Dは拡散定数、δrはピクセルサイズ、Nは分子数、ξ,ψは、空間的座標の変化量、W0は、励起レーザビームの横方向の半径、WZは、励起レーザビームの縦方向の半径、τpはピクセル時間、τlはライン時間、τfはフレーム時間である。
【0068】
三次元画像に対する適用計算式は次の通りである。
【0069】
【数10】
【0070】
ここで、Gsは、RICSの空間相関値、Sは、RICSの解析におけるスキャンの影響、Gは、RICSの解析における時間遅延の影響、Dは拡散定数、δrはピクセルサイズ、Nは分子数、ξ,ψ,ηは、空間的座標の変化量、W0は、励起レーザビームの横方向の半径、WZは、励起レーザビームの縦方向の半径、τpはピクセル時間、τlはライン時間、τfはフレーム時間である。
【0071】
分子数と拡散定数は、式(1)〜式(8)の理論値を、測定値を使った相関演算の結果と残差比較すること(フィッティング)により求める。フィッティングでは、まず、(a)所定の拡散定数Dと分子数Nを用いて、理論値として得られるGs(以下、理論相関値Gsとする)を算出する。次に、(b)理論相関値Gsと測定値として得られる相関値Gs(以下、測定相関値Gsとする)との比較をおこない、両者の残差を算出する。続いて、(c)理論相関値Gsにおける拡散定数Dと分子数Nを変化させて、新たな理論相関値Gsを算出する。続いて、(d)新たな理論相関値Gsと測定相関値Gsとの比較をおこない、両者の残差を算出する。続いて、(e)上記の(b)で得られた残差と(d)で得られた残差を比較して、残差が大きくなったか小さくなったかを判定する。このように、フィッティングでは、理論相関値Gsにおける拡散定数Dと分子数Nを変化させながら(b)〜(e)を繰り返しおこない、測定相関値Gsと理論相関値Gsとの残差が最小となる理論相関値Gsを最終的に求める。最終的に得られた理論相関値Gsにおける拡散定数Dと分子数Nが、測定相関値Gsにおける拡散定数Dと分子数Nとなる。このように、式(9)または式(10)によるフィッティングとは、理論相関値Gsにおける拡散定数Dと分子数Nを変動させながら、二次元または三次元の観察領域における最適な分子数または拡散定数を推定することである。
【0072】
拡散定数と拡散時間との間には、次式(11)で表される関係がある。したがって、求めた拡散定数から拡散時間を求めることができる。
【0073】
【数11】
【0074】
(ステップS7)
解析結果たとえば分子数または拡散定数の画像を保存する。必要であれば、分子数または拡散定数の画像を表示してよい。解析結果の表示は、すべての時間間隔に対する解析が終了した後におこなってもよい。解析結果の一例を図12と図13に示す。図12は、試料S中のある分子に関する空間相関値の計算結果を画像としてCRTに表示した例であり、図13は、図12の空間相関値の計算結果のフィッティング結果を示している。図12では、空間相互相関値の大きさをCRTの輝度で示している。
【0075】
(ステップS8)
ステップS5〜ステップS7の操作によって一つの時間間隔に対する解析が終了する。ステップS4で設定した複数の時間間隔のおのおのについてステップS5〜ステップS7の操作を繰り返す。つまり、解析にまだ適用していない時間間隔が残っている間は、解析に適用する時間間隔を変更してステップS5に戻る。言い換えれば、複数の時間間隔のおのおのに対して相関計算をおこない、その複数の相関計算結果のおのおのに対してフィッティングをおこなう。
【0076】
短い時間間隔に対する解析結果は、小さい分子量の分子種の変化を強く反映しており、長い時間間隔に対する解析結果は、大きい分子量の分子種の変化を強く反映している。つまり、ある一つの時間間隔に対する相関結果は、その時間間隔に対応した分子種の変化を強く反映している。したがって、複数の時間間隔のおのおのに対して相関解析をおこなっているため、複数の分子種のおのおのに関する変化を知ることができる。すなわち、多成分解析をおこなうことができる。
【0077】
(ステップS9)
必要であれば、解析領域内の分子種の割合を計算する。計算に適用する式は次の通りである。
【0078】
【数12】
【0079】
ここで、Niは、i成分の分子種の分子数、PNiは、i成分の分子種の分子数Niの割合、Nkは、k成分の分子種の分子数、mは、多成分解析の成分数である。
【0080】
本実施形態によれば、試料S内の異なる複数の分子について、たとえば動きを評価することが可能になる。つまり、多成分解析が可能になる。たとえば、移動速度が速い分子や遅い分子や中間的な分子などのそれぞれについて、その動きを評価することができる。
【0081】
これまで、図面を参照しながら本発明の実施形態を述べたが、本発明は、これらの実施形態に限定されるものではなく、その要旨を逸脱しない範囲において様々な変形や変更が施されてもよい。
【0082】
たとえば、実施形態では、試料Sからの発生する蛍光を検出して構築した画像つまり蛍光画像の解析について説明したが、解析対象の画像は蛍光画像に限らない。解析対象の画像は、蛍光画像のほかに、たとえば、りん光、反射光、可視光、化学発光、生物発光、散乱光を検出して構築した画像であってもよい。
【0083】
また実施形態では、ラスター走査によって取得された画像について説明したが、画像は、ラスター走査によって取得されたものに限定されるものではなく、ピクセルのデータが時系列的に取得された複数のピクセルからなる画像であればよく、他の走査方法によって取得されたものであってもよい。さらには、画像は、CCDやCMOSなどの二次元撮像素子によって撮像されたものであってもよい。この場合、1フレームの画像は、同時にデータが取得された複数のピクセルで構成され、ステップS1において、複数フレームの画像を取得することが前提になる。
【符号の説明】
【0084】
100…画像解析装置、110…光照射部、111…光源ユニット、112a,…,112n…光源、114a,…,114n…コリメートレンズ、116a,…,116n…ダイクロイックミラー、122…ダイクロイックミラー、124…ガルバノミラー、126…対物レンズ、128…対物レンズ駆動機構、130…光検出部、131…光検出ユニット、132…収束レンズ、134…ピンホール、136…コリメートレンズ、138a,…,138m…ダイクロイックミラー、140a,…,140m…蛍光フィルター、142a,…,142m…光検出器、160…制御部、162…走査制御部、164…画像形成部、166…記憶部、168…表示部、170…入力部、172…解析領域設定部、174…データ抽出部、176…時間間隔設定部、178…解析処理部、180…ステージ制御部、190…試料ステージ。
【技術分野】
【0001】
本発明は、画像解析方法および画像解析装置に関する。
【背景技術】
【0002】
従来、蛍光相関分光分析法(FCCS)と呼ばれる画像解析の手法が知られている。FCCSは、たとえば特許文献1に示されている。FCCSでは、試料中の一つまたは複数の測定点に対して、ある程度の時間のあいだ(たとえば10秒間)励起光を継続的に照射し、測定点から発する蛍光の強度の揺らぎを検出して相関解析をおこなうことによって分子数や拡散定数の推定をおこなう。
【0003】
また、ラスターイメージ相関分光法(RICS:Raster Image Correlation Spectroscopy)と呼ばれる画像解析の手法も知られている。RICSは、たとえば非特許文献2に示されている。RICSでは、1フレーム以上のラスター走査画像を取得する。ラスター走査画像はたとえば蛍光画像であってよい。蛍光画像の各ピクセルのデータは、対応する試料中の点から発生した蛍光の強度の情報を表す。ピクセルのデータは、それぞれ取得された時間および取得された位置が異なる。
【0004】
これらのピクセルのデータを用いて空間自己相関解析することによって分子の揺らぎによる相関特性が得られる。分子の相関特性からは拡散定数や分子数を求めることができる。拡散定数からは分子拡散時間を求めることができる。分子拡散時間からは分子量を求めることができる。
【0005】
このように、空間自己相関解析をすることによって分子量や分子数等を評価することができるため、分子間の相互作用を観察することが可能である。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2007−093277号公報
【非特許文献】
【0007】
【非特許文献1】「Measuring Fast Dynamics in Solutions and Cells with a Laser Scanning Microscope」, Michelle A. Digman, Claire M. Brown, Parijat Sengupta, Paul W. Wiseman, Alan R. Horwitz, and Enrico Gratton, Biophysical Journal, Vol.89, P1317-1327, August 2005.
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来のRICSの解析処理は、分子の拡散時間(または分子数など)を主な解析パラメータとして扱うが、解析可能な成分は2成分にとどまる。また、フィッティング用パラメータの設定が難しく、2成分解析も難しい。そのため、複数の分子種からなるサンプルにおいて、事実上、多成分解析はほとんどおこなわれていない。
【0009】
本発明は、多成分解析可能な画像解析方法および画像解析装置を提供する。
【課題を解決するための手段】
【0010】
本発明による画像解析方法は、複数のピクセルから構成された少なくとも1フレームの画像を取得する画像取得ステップと、前記少なくとも1フレームの画像に対して少なくとも1つの解析領域を設定する解析領域設定ステップと、各解析領域に対応するピクセルのデータを抽出するデータ抽出ステップと、複数の相関計算にそれぞれ使用するデータペアの複数の時間間隔を設定する時間間隔設定ステップと、抽出データを使用して前記複数の時間間隔のおのおのに対して相関計算をおこなう相関計算ステップと、前記相関計算ステップによる複数の相関計算結果のおのおのに対してフィッティングをおこなうフィッティングステップを有している。
【発明の効果】
【0011】
本発明によれば、多成分解析可能な画像解析方法および画像解析装置が提供される。
【図面の簡単な説明】
【0012】
【図1】一実施形態による画像解析装置を概略的に示している。
【図2】図1に示される制御部の機能ブロックを示している。
【図3】一実施形態による画像解析のフローチャートである。
【図4】1フレームの二次元画像の蛍光画像を示している。
【図5】1フレームの三次元画像の蛍光画像を示している。
【図6】複数フレームの観察領域の画像と1つの解析領域の抽出画像を示している。
【図7】複数フレームの観察領域の画像と2つの解析領域の抽出画像を示している。
【図8】同じフレームの画像内の同じ解析領域に対する相関計算を模式的に示している。
【図9】異なるフレームの画像内の同じ解析領域に対する相関計算を模式的に示している。
【図10】同じフレームの画像内の異なる解析領域に対する相関計算を模式的に示している。
【図11】異なるフレームの画像内の異なる解析領域に対する相関計算を模式的に示している。
【図12】試料中の分子に関する空間相互相関値の計算結果を輝度で示した画像である。
【図13】図12の空間相互相関値の計算結果のフィッティング結果を示している。
【発明を実施するための形態】
【0013】
以下、図面を参照しながら本発明の実施形態について説明する。
【0014】
[装置構成]
図1は、一実施形態による画像解析装置を概略的に示している。この画像解析装置は、試料の蛍光観察のための走査型共焦点光学顕微鏡をベースに構成されている。
【0015】
図1に示すように、画像解析装置100は、試料Sに光たとえば励起光を照射する光照射部110と、試料Sからの光たとえば蛍光を検出する光検出部130と、画像解析に必要な制御をおこなう制御部160と、試料Sを支持する試料ステージ190とを有している。
【0016】
試料Sはマイクロプレートやスライドガラスなどの試料容器に収容され、試料ステージ190に載置される。試料ステージ190は、たとえば、試料Sを光照射部110および光検出部130に対して横方向(xy方向)および高さ方向(z方向)に移動可能に支持する。たとえば、試料ステージ190は、出力軸が互いに直交する三つのステッピング・モーターを含んでおり、これらのステッピング・モーターによって試料Sをxyz方向に移動し得る。
【0017】
画像解析装置100は、たとえば、多重光照射・多重光検出型である。このため、光照射部110はnチャンネルの光源ユニット111を含み、光検出部130はmチャンネルの光検出ユニット131を含んでいる。光源ユニット111は、n個のチャンネルを有し、n種類の異なる波長の励起光を射出し得る。また光検出ユニット131は、m個のチャンネルを有し、m種類の異なる波長の蛍光を検出し得る。光源ユニット111は必ずしも複数のチャンネルを有している必要はなく、1つのチャンネルだけを有していてもよい。また光検出ユニット131も必ずしも複数のチャンネルを有している必要はなく、1つのチャンネルだけを有していてもよい。
【0018】
光照射部110のnチャンネルの光源ユニット111は、光源112a,…,112nとコリメートレンズ114a,…,114nとダイクロイックミラー116a,…,116nとを含んでいる。光源112a,…,112nは、試料Sに含まれる蛍光色素を励起して試料Sから光(蛍光)を発せさせるための励起光を発する。光源112a,…,112nから発せられる励起光の波長は、試料Sに含まれる蛍光色素の種類に対応して、互いに相違している。光源112a,…,112nは、たとえば、試料S中の蛍光色素に合った発振波長のレーザー光源で構成される。コリメートレンズ114a,…,114nは、それぞれ、光源112a,…,112nから発せられた励起光をコリメートする。ダイクロイックミラー116a,…,116nは、それぞれ、コリメートレンズ114a,…,114nを通過した励起光を同じ方向に反射する。ダイクロイックミラー116a,…,116nは、それぞれ、図1の上方から入射する励起光を透過し、図1の右方から入射する励起光を反射する。その結果、光源112a,…,112nからそれぞれ射出された異なる波長の励起光は、ダイクロイックミラー116aの通過後に一本のビームに合成される。ダイクロイックミラー116nは、励起光を透過する必要がないので、単なるミラーに変更されてもよい。
【0019】
光照射部110はさらに、ダイクロイックミラー122とガルバノミラー124と対物レンズ126と対物レンズ駆動機構128を含んでいる。ダイクロイックミラー122は、光源ユニット111からの励起光をガルバノミラー124に向けて反射し、試料Sから発せられる蛍光を透過する。ガルバノミラー124は、励起光を対物レンズ126に向けて反射するとともに、その反射方向を変更する。対物レンズ126は、励起光を収束して試料S内の測定点に照射するとともに、試料S内の測定点からの光を取り込む。対物レンズ126には、微小な共焦点領域(測定点)の形成のために、NA(開口数)の大きいものが使用される。これにより得られる共焦点領域の大きさは、直径0.6μm程度(xy面内)、長さ2μm程度(z方向)の略円筒状となる。ガルバノミラー124は、測定点をxy方向に走査するxy走査機構を構成している。xy走査機構は、ガルバノミラーを使用して構成するほかに、音響光学変調素子(AOM)やポリゴンミラー、ホログラムスキャナーなどを使用して構成してもよい。対物レンズ駆動機構128は、対物レンズ126を光軸に沿って移動させる。これにより、測定点がz方向に移動される。つまり、対物レンズ駆動機構128は、測定点をz方向に走査するz走査機構を構成している。
【0020】
光検出部130は、対物レンズ126とガルバノミラー124とダイクロイックミラー122を光照射部110と共有している。光検出部130はさらに、収束レンズ132とピンホール134とコリメートレンズ136とを含んでいる。収束レンズ132は、ダイクロイックミラー122を透過した光を収束する。ピンホール134は、収束レンズ132の焦点に配置されている。つまり、ピンホール134は、試料S内の測定点に対して共役な位置にあり、測定点からの光だけを選択的に通す。コリメートレンズ136は、ピンホール134を通過した光を平行にする。コリメートレンズ136を通過した光は、mチャンネルの光検出ユニット131に入射する。
【0021】
mチャンネルの光検出ユニット131は、ダイクロイックミラー138a,…,138mと蛍光フィルター140a,…,140mと光検出器142a,…,142mとを含んでいる。ダイクロイックミラー138a,…,138mは、それぞれ、検出対象の蛍光の波長域付近の波長の光を選択的に反射する。ダイクロイックミラー138mは、光を透過する必要がないので、単なるミラーに変更されてもよい。蛍光フィルター140a,…,140mは、それぞれ、ダイクロイックミラー138a,…,138mによって反射された光から、不所望な波長成分の光を遮断し、光源112a,…,112nからの励起光によって生成された蛍光だけを選択的に透過する。蛍光フィルター140a,…,140mを透過した蛍光はそれぞれ光検出器142a,…,142mに入射する。光検出器142a,…,142mは、入射した光の強度に対応した信号を出力する。すなわち、光検出器142a,…,142mは、試料S内の測定点からの蛍光強度信号を出力する。
【0022】
制御部160はたとえばパーソナルコンピューターで構成される。制御部160は、試料Sの観察領域の蛍光画像の取得・記憶・表示、解析領域の設定などの入力待ち、画像の解析処理(相関値の計算や分子数・拡散時間の推定など)をおこなう。また制御部160は、xy走査機構であるガルバノミラー124、z走査機構である対物レンズ駆動機構128、試料ステージ190などの制御をおこなう。
【0023】
図1に示される制御部の機能ブロックを図2に示す。制御部160は、図2に示すように、走査制御部162と画像形成部164と記憶部166と表示部168と入力部170と解析領域設定部172とデータ抽出部174と解析処理部178と時間間隔設定部178とステージ制御部180とを含んでいる。走査制御部162と画像形成部164と記憶部166とステージ制御部180は、上述した光照射部110と光検出部130と共働して画像取得部を構成する。
【0024】
走査制御部162は、試料Sの蛍光画像を取得する際、励起光の照射位置を試料Sに対してラスター走査するようにガルバノミラー124を制御する。走査制御部162はまた、必要であれば、励起光の照射位置を試料Sに対してz走査するように対物レンズ駆動機構128を制御する。画像形成部164は、走査制御部162から入力される励起光の照射位置の情報と光検出器142a,…,142mの出力信号とから試料Sの蛍光画像を形成する。これにより、蛍光画像が取得される。記憶部166は、画像形成部164で形成された蛍光画像を記憶する。表示部168は、試料Sの蛍光画像や解析処理結果を表示する。入力部170は、たとえばマウスやキーボードを含み、表示部168と共同してGUIを構成する。このGUIは、観察領域や解析領域の設定などに利用される。ステージ制御部180は、たとえば観察領域を設定するために、入力部170からの入力情報にしたがって試料ステージ190を制御する。解析領域設定部172は、入力部170からの入力情報にしたがって解析領域を設定する。データ抽出部174は、相関計算をおこなう解析領域のデータを抽出する。時間間隔設定部176は、複数の相関計算にそれぞれ使用するデータのペアの複数の時間間隔を設定する。解析処理部178は、解析領域の画像のピクセルのデータを使用して相関計算をおこなう。解析処理部178の処理の詳細は後述する。
【0025】
図1において、光源112a,…,112nから発せられた励起光は、コリメートレンズ114a,…,114nとダイクロイックミラー116a,…,116nとダイクロイックミラー122とガルバノミラー124と対物レンズ126を経て試料S内の測定点に照射される。励起光が照射される測定点は、ガルバノミラー124によってxy方向にラスター走査される。また必要であれば、一回のラスター走査が終了するたびに、対物レンズ駆動機構128によってz走査される。測定点は観察領域の全体にわたって走査される。励起光を受けた試料Sは測定点から蛍光を発する。試料Sからの光(蛍光のほかに不所望な反射光などを含む)は、対物レンズ126とガルバノミラー124とダイクロイックミラー122と収束レンズ132を経てピンホール134に至る。ピンホール134は測定点と共役な位置にあるため、試料S内の測定点からの光だけがピンホール134を通過する。ピンホール134を通過した光すなわち試料S内の測定点からの光はコリメートレンズ136を経てmチャンネルの光検出ユニット131に入射する。mチャンネルの光検出ユニット131に入射した光は、ダイクロイックミラー138a,…,138mによって波長にしたがって分離される(つまり分光される)とともに、蛍光フィルター140a,…,140mによって不所望な成分が除去される。蛍光フィルター140a,…,140mを通過した蛍光は光検出器142a,…,142mにそれぞれ入射する。光検出器142a,…,142mは、それぞれ、入射光すなわち試料S内の測定点から発せられた蛍光の強度を示す蛍光強度信号を出力する。この蛍光強度信号は画像形成部164に入力される。画像形成部164は、入力される蛍光強度信号をxy方向(およびz方向)の位置情報に同期させて処理して、試料S内の観察領域の蛍光画像を形成する。形成された蛍光画像は、記憶部166に保存される。記憶部166に保存された蛍光画像は、そのまま表示部168に表示されるか、解析処理部178によって処理され、解析処理結果が表示部168に表示される。
【0026】
[解析手順]
以下、図3を参照しながら画像解析の手順について説明する。また、各ステップについて、適宜、図4〜図11を参照しながら説明する。
【0027】
(ステップS1)
試料Sの観察領域の1フレームまたは複数フレームの画像たとえば蛍光画像を取得する。蛍光画像は、光源ユニット111の1つのチャンネルと、それに対応する光検出ユニット131の1つのチャンネルとを介して取得したものである。各フレームの蛍光画像は、励起光の走査によって時系列的にデータが取得された複数のピクセルから構成されている。測定点は、実際には、xyz方向に空間的広がりを有しており、ピクセルは、この測定点の空間的広がりに対応した大きさを有する。蛍光画像の各ピクセルのデータは、たとえば、対応する測定点から発せられる蛍光の強度である。
【0028】
観察領域は二次元の領域または三次元の領域あり、それに対応して蛍光画像は二次元画像または三次元画像である。観察領域が二次元的領域である場合、蛍光画像は、xy方向に大きさを持つピクセルが二次元的に配列された二次元画像である。また観察領域が三次元的領域である場合、蛍光画像は、xyz方向に大きさを持つピクセルが三次元的に配列された三次元画像である。三次元画像はまた、別の見方をすれば、z位置の異なる複数フレームの二次元画像から構成される。
【0029】
1フレームの二次元画像の蛍光画像を図4に示す。図4において、τpは、あるピクセルとこれに隣接する次のピクセルとの間の取得時間のずれ(ピクセル時間)である。すなわち、ピクセル時間τpは、1ピクセルのデータを取得するのに要する時間である。またτlは、あるラインの最初のピクセルとその次のラインの最初のピクセルとの間の取得時間のずれ(ライン時間)である。すなわち、ライン時間τlは、1ラインを走査するのに要する時間を意味する。
【0030】
1フレームの三次元画像を図5に示す。図5において、τpはピクセル時間、τlはライン時間、τfは、あるフレームの最初のピクセルとその次のフレームの最初のピクセルとの間の取得時間のずれ(フレーム時間)である。すなわち、フレーム時間τfは、1フレームを走査するのに要する時間を意味する。
【0031】
(ステップS2)
取得した1フレームまたは複数フレームのおのおのの観察領域の画像たとえば蛍光画像に対して1つまたは複数の解析領域を設定する。複数の解析領域は、空間的に異なる領域であり、通常、互いに離れていて重複していない。解析領域は、二次元の観察領域に対しては二次元の領域であり、三次元の観察領域に対しては、通常、三次元の領域であるが、二次元の領域であってもよい。図6では、複数フレームf1〜f100のおのおのの観察領域の蛍光画像に対して1つの解析領域A1が設定されており、解析領域A1は細胞の核外に位置している。また図7では、複数フレームf1〜f100のおのおのの観察領域の蛍光画像に対して2つの解析領域A1,A2が設定されており、解析領域A1は細胞の核外に位置し、解析領域A2は細胞の核内に位置している。
【0032】
(ステップS3)
各解析領域に対応するピクセルのデータを抽出する。図6には、抽出された複数フレームf1〜f100の解析領域A1のピクセルのデータすなわち画像が示されている。また図7には、抽出された複数フレームf1〜f100の解析領域A1,A2のピクセルのデータすなわち画像が示されている。
【0033】
(ステップS4)
複数の相関計算にそれぞれ使用するデータペアの複数の時間間隔(遅延時間)を設定する。各時間間隔は、各相関計算のための積和計算に使用する複数ペアのピクセルのデータの取得時間の差に対応している。たとえば、ある時間間隔は、同じフレームの同じまたは異なる解析領域内の2つのピクセルに対応し、別の時間間隔は、異なるフレームの同じまたは異なる解析領域内の2つのピクセルに対応する。これらの時間間隔は、好ましくは、十分な回数の積和計算をおこなえるように設定される。
【0034】
(ステップS5)
抽出したピクセルのデータを使用して相関計算をおこなう。相関計算に適用する計算式は、解析領域の画像が二次元画像か三次元画像かで異なる。さらに、相関計算の積和計算に使用する複数のデータペアのおのおのの2つのピクセルが同じ解析領域に属するか異なる解析領域に属するかで異なる。加えて、相関計算の積和計算に使用する複数のデータペアのおのおのの2つのピクセルが同じフレームの画像に属するか異なるフレームの画像に属するかで異なる。
【0035】
二次元画像に対する適用計算式は次の通りである。
【0036】
1.各データペアの2つのピクセルが同じ解析領域の画像に属し、同じフレームの画像に属する場合。この場合、同じフレームの画像内の同じ解析領域内のピクセルのデータのペアを使用して相関計算をおこなう。この相関計算は自己相関計算となる。図8は、この場合の相関計算を模式的に示している。
【0037】
【数1】
【0038】
ここで、G2ssaは、同じフレームfiの同じ解析領域A1の間の自己相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、Miiは、フレームfiの解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数である。
【0039】
2.各データペアの2つのピクセルが同じ解析領域の画像に属し、異なるフレームの画像に属する場合。この場合、異なるフレームの画像内の同じ解析領域内のピクセルのデータのペアを使用して相関計算をおこなう。この相関計算は相互相関計算となる。図9は、この場合の相関計算を模式的に示している。
【0040】
【数2】
【0041】
ここで、G2sdcは、異なるフレームfiとフレームfjの同じ解析領域A1の間の相互相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、Ifjは、フレームfjの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、Mijは、フレームfiとフレームfjの同じ解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数、Mjは、フレームfjの解析領域A1の画像のピクセルのデータの総数である。
【0042】
3.各データペアの2つのピクセルが異なる解析領域の画像に属し、同じフレームの画像に属する場合。この場合、同じフレームの画像内の異なる解析領域内のピクセルのデータのペアを使用して相関計算をおこなう。この相関計算は相互相関計算となる。図10は、この場合の相関計算を模式的に示している。
【0043】
【数3】
【0044】
ここで、G2dscは、同じフレームfiの異なる解析領域A1,A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fiは、フレームfiの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、M12iiは、フレームfiの異なる解析領域A1,A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2iは、フレームfiの解析領域A2の画像のピクセルのデータの総数である。
【0045】
4.各データペアの2つのピクセルが異なる解析領域の画像に属し、同じフレームの画像に属する場合。この場合、異なるフレームの画像内の異なる解析領域内のピクセルのデータのペアを使用して相関計算をおこなう。この相関計算は相互相関計算となる。図11は、この場合の相関計算を模式的に示している。
【0046】
【数4】
【0047】
ここで、G2ddcは、フレームfiの解析領域A1とフレームfjの解析領域A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fjは、フレームfjの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、M12ijは、フレームfiの解析領域A1とフレームfjの解析領域A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2jは、フレームfjの解析領域A2の画像のピクセルのデータの総数である。
【0048】
三次元画像に対する適用計算式は次の通りである。
【0049】
1.各データペアの2つのピクセルが同じ解析領域の画像に属し、同じフレームの画像に属する場合。この場合、同じフレームの画像内の同じ解析領域内のピクセルのデータのペアを使用して相関計算をおこなう。この相関計算は自己相関計算となる。図8は、この場合の相関計算を模式的に示している。
【0050】
【数5】
【0051】
ここで、G2ssaは、同じフレームfiの同じ解析領域A1の間の自己相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、Miiは、フレームfiの解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数である。
【0052】
2.各データペアの2つのピクセルが同じ解析領域の画像に属し、異なるフレームの画像に属する場合。この場合、異なるフレームの画像内の同じ解析領域内のピクセルのデータのペアを使用して相関計算をおこなう。この相関計算は相互相関計算となる。図9は、この場合の相関計算を模式的に示している。
【0053】
【数6】
【0054】
ここで、G2sdcは、異なるフレームfiとフレームfjの同じ解析領域A1の間の相互相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、Ifjは、フレームfjの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、Mijは、フレームfiとフレームfjの同じ解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数、Mjは、フレームfjの解析領域A1の画像のピクセルのデータの総数である。
【0055】
3.各データペアの2つのピクセルが異なる解析領域の画像に属し、同じフレームの画像に属する場合。この場合、同じフレームの画像内の異なる解析領域内のピクセルのデータのペアを使用して相関計算をおこなう。この相関計算は相互相関計算となる。図10は、この場合の相関計算を模式的に示している。
【0056】
【数7】
【0057】
ここで、G2dscは、同じフレームfiの異なる解析領域A1,A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fiは、フレームfiの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、M12iiは、フレームfiの異なる解析領域A1,A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2iは、フレームfiの解析領域A2の画像のピクセルのデータの総数である。
【0058】
4.各データペアの2つのピクセルが異なる解析領域の画像に属し、同じフレームの画像に属する場合。この場合、異なるフレームの画像内の異なる解析領域内のピクセルのデータのペアを使用して相関計算をおこなう。この相関計算は相互相関計算となる。図11は、この場合の相関計算を模式的に示している。
【0059】
【数8】
【0060】
ここで、G2ddcは、フレームfiの解析領域A1とフレームfjの解析領域A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fjは、フレームfjの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、M12ijは、フレームfiの解析領域A1とフレームfjの解析領域A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2jは、フレームfjの解析領域A2の画像のピクセルのデータの総数である。
【0061】
相関計算に使用する各ピクセルのデータは、そのピクセルのデータそのものであってもよいし、そのピクセルを含む複数のピクセルのデータの統計値であってもよい。複数のピクセルは、たとえば、注目のピクセルおよびこれに隣接するピクセルであってよい。統計値は、たとえば、ピクセルのデータの平均値、最大値、最小値、相対差、絶対差、相対比のいずれかであってよい。どのような統計値を使用するかは、RICSの解析によってどのような情報を得たいかによって決める。
【0062】
また相関計算に使用するデータは、ピクセル時間、ライン時間、フレーム時間、ピクセル位置関係、ピクセルサイズまたはそれについての統計値であってもよい。
【0063】
また相関計算は、ピクセルのデータに基づいて画像をそれぞれ再構成し、再構成した画像について相関計算してもよい。たとえば、隣のピクセルのデータ同士を足して、ピクセルのデータの数を半分にする。または、一つのピクセルのデータを複数に分割する。本来ならば、一度画像を取得するとピクセルのデータの数は増えないが、取得したピクセルのデータの強度がそのピクセルのデータの周囲にガウシアン分布で広がっていると仮定して、本来取得できていないピクセルのデータを補う。本質的にピクセルのデータの数が増えている訳ではないが、見た目が良くなる。
【0064】
(ステップS6)
ステップS5の相関計算の結果に対してフィッティングをおこなう。これにより、分子数と拡散時間の少なくとも一方を推定する。フィッティングに適用する計算式は、解析領域の画像が二次元画像か三次元画像かで異なる。
【0065】
二次元画像に対する適用計算式は次の通りである。
【0066】
【数9】
【0067】
ここで、Gsは、RICSの空間相関値、Sは、RICSの解析におけるスキャンの影響、Gは、RICSの解析における時間遅延の影響、Dは拡散定数、δrはピクセルサイズ、Nは分子数、ξ,ψは、空間的座標の変化量、W0は、励起レーザビームの横方向の半径、WZは、励起レーザビームの縦方向の半径、τpはピクセル時間、τlはライン時間、τfはフレーム時間である。
【0068】
三次元画像に対する適用計算式は次の通りである。
【0069】
【数10】
【0070】
ここで、Gsは、RICSの空間相関値、Sは、RICSの解析におけるスキャンの影響、Gは、RICSの解析における時間遅延の影響、Dは拡散定数、δrはピクセルサイズ、Nは分子数、ξ,ψ,ηは、空間的座標の変化量、W0は、励起レーザビームの横方向の半径、WZは、励起レーザビームの縦方向の半径、τpはピクセル時間、τlはライン時間、τfはフレーム時間である。
【0071】
分子数と拡散定数は、式(1)〜式(8)の理論値を、測定値を使った相関演算の結果と残差比較すること(フィッティング)により求める。フィッティングでは、まず、(a)所定の拡散定数Dと分子数Nを用いて、理論値として得られるGs(以下、理論相関値Gsとする)を算出する。次に、(b)理論相関値Gsと測定値として得られる相関値Gs(以下、測定相関値Gsとする)との比較をおこない、両者の残差を算出する。続いて、(c)理論相関値Gsにおける拡散定数Dと分子数Nを変化させて、新たな理論相関値Gsを算出する。続いて、(d)新たな理論相関値Gsと測定相関値Gsとの比較をおこない、両者の残差を算出する。続いて、(e)上記の(b)で得られた残差と(d)で得られた残差を比較して、残差が大きくなったか小さくなったかを判定する。このように、フィッティングでは、理論相関値Gsにおける拡散定数Dと分子数Nを変化させながら(b)〜(e)を繰り返しおこない、測定相関値Gsと理論相関値Gsとの残差が最小となる理論相関値Gsを最終的に求める。最終的に得られた理論相関値Gsにおける拡散定数Dと分子数Nが、測定相関値Gsにおける拡散定数Dと分子数Nとなる。このように、式(9)または式(10)によるフィッティングとは、理論相関値Gsにおける拡散定数Dと分子数Nを変動させながら、二次元または三次元の観察領域における最適な分子数または拡散定数を推定することである。
【0072】
拡散定数と拡散時間との間には、次式(11)で表される関係がある。したがって、求めた拡散定数から拡散時間を求めることができる。
【0073】
【数11】
【0074】
(ステップS7)
解析結果たとえば分子数または拡散定数の画像を保存する。必要であれば、分子数または拡散定数の画像を表示してよい。解析結果の表示は、すべての時間間隔に対する解析が終了した後におこなってもよい。解析結果の一例を図12と図13に示す。図12は、試料S中のある分子に関する空間相関値の計算結果を画像としてCRTに表示した例であり、図13は、図12の空間相関値の計算結果のフィッティング結果を示している。図12では、空間相互相関値の大きさをCRTの輝度で示している。
【0075】
(ステップS8)
ステップS5〜ステップS7の操作によって一つの時間間隔に対する解析が終了する。ステップS4で設定した複数の時間間隔のおのおのについてステップS5〜ステップS7の操作を繰り返す。つまり、解析にまだ適用していない時間間隔が残っている間は、解析に適用する時間間隔を変更してステップS5に戻る。言い換えれば、複数の時間間隔のおのおのに対して相関計算をおこない、その複数の相関計算結果のおのおのに対してフィッティングをおこなう。
【0076】
短い時間間隔に対する解析結果は、小さい分子量の分子種の変化を強く反映しており、長い時間間隔に対する解析結果は、大きい分子量の分子種の変化を強く反映している。つまり、ある一つの時間間隔に対する相関結果は、その時間間隔に対応した分子種の変化を強く反映している。したがって、複数の時間間隔のおのおのに対して相関解析をおこなっているため、複数の分子種のおのおのに関する変化を知ることができる。すなわち、多成分解析をおこなうことができる。
【0077】
(ステップS9)
必要であれば、解析領域内の分子種の割合を計算する。計算に適用する式は次の通りである。
【0078】
【数12】
【0079】
ここで、Niは、i成分の分子種の分子数、PNiは、i成分の分子種の分子数Niの割合、Nkは、k成分の分子種の分子数、mは、多成分解析の成分数である。
【0080】
本実施形態によれば、試料S内の異なる複数の分子について、たとえば動きを評価することが可能になる。つまり、多成分解析が可能になる。たとえば、移動速度が速い分子や遅い分子や中間的な分子などのそれぞれについて、その動きを評価することができる。
【0081】
これまで、図面を参照しながら本発明の実施形態を述べたが、本発明は、これらの実施形態に限定されるものではなく、その要旨を逸脱しない範囲において様々な変形や変更が施されてもよい。
【0082】
たとえば、実施形態では、試料Sからの発生する蛍光を検出して構築した画像つまり蛍光画像の解析について説明したが、解析対象の画像は蛍光画像に限らない。解析対象の画像は、蛍光画像のほかに、たとえば、りん光、反射光、可視光、化学発光、生物発光、散乱光を検出して構築した画像であってもよい。
【0083】
また実施形態では、ラスター走査によって取得された画像について説明したが、画像は、ラスター走査によって取得されたものに限定されるものではなく、ピクセルのデータが時系列的に取得された複数のピクセルからなる画像であればよく、他の走査方法によって取得されたものであってもよい。さらには、画像は、CCDやCMOSなどの二次元撮像素子によって撮像されたものであってもよい。この場合、1フレームの画像は、同時にデータが取得された複数のピクセルで構成され、ステップS1において、複数フレームの画像を取得することが前提になる。
【符号の説明】
【0084】
100…画像解析装置、110…光照射部、111…光源ユニット、112a,…,112n…光源、114a,…,114n…コリメートレンズ、116a,…,116n…ダイクロイックミラー、122…ダイクロイックミラー、124…ガルバノミラー、126…対物レンズ、128…対物レンズ駆動機構、130…光検出部、131…光検出ユニット、132…収束レンズ、134…ピンホール、136…コリメートレンズ、138a,…,138m…ダイクロイックミラー、140a,…,140m…蛍光フィルター、142a,…,142m…光検出器、160…制御部、162…走査制御部、164…画像形成部、166…記憶部、168…表示部、170…入力部、172…解析領域設定部、174…データ抽出部、176…時間間隔設定部、178…解析処理部、180…ステージ制御部、190…試料ステージ。
【特許請求の範囲】
【請求項1】
複数のピクセルから構成された少なくとも1フレームの画像を取得する画像取得ステップと、
前記少なくとも1フレームの画像に対して少なくとも1つの解析領域を設定する解析領域設定ステップと、
各解析領域に対応するピクセルのデータを抽出するデータ抽出ステップと、
複数の相関計算にそれぞれ使用するデータペアの複数の時間間隔を設定する時間間隔設定ステップと、
抽出データを使用して前記複数の時間間隔のおのおのに対して相関計算をおこなう相関計算ステップと、
前記相関計算ステップによる複数の相関計算結果のおのおのに対してフィッティングをおこなうフィッティングステップを有している、画像解析方法。
【請求項2】
前記画像取得ステップは、複数フレームの画像を取得し、
前記解析領域設定ステップは、各フレームの画像に対して1つの解析領域を設定し、前記解析領域は、各フレームの画像内の同じ領域である、請求項1に記載の画像解析方法。
【請求項3】
前記相関計算ステップは、同じフレームの画像内の同じ解析領域内のピクセルのデータのペアを使用して相関計算をおこなうことを含む、請求項2に記載の画像解析方法。
【請求項4】
前記相関計算ステップは、異なるフレームの画像内の同じ解析領域内のピクセルのデータのペアを使用して相関計算をおこなうことを含む、請求項2に記載の画像解析方法。
【請求項5】
前記画像取得ステップは、複数フレームの画像を取得し、
前記解析領域設定ステップは、各フレームの画像に複数の解析領域を設定し、前記複数の解析領域は、それぞれ、各フレームの画像内の同じ領域である、請求項1に記載の画像解析方法。
【請求項6】
前記相関計算ステップは、同じフレームの画像内の異なる解析領域内のピクセルのデータのペアを使用して相関計算をおこなうことを含む、請求項5に記載の画像解析方法。
【請求項7】
前記相関計算ステップは、異なるフレームの画像内の異なる解析領域内のピクセルのデータのペアを使用して相関計算をおこなうことを含む、請求項5に記載の画像解析方法。
【請求項8】
前記解析領域の画像は、二次元画像であり、
前記相関計算ステップは、次式を使用して相関計算をおこなう、
【数1】
ここで、G2ssaは、同じフレームfiの同じ解析領域A1の間の自己相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、Miiは、フレームfiの解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数である、請求項3に記載の画像解析方法。
【請求項9】
前記解析領域の画像は、二次元画像であり、
前記相関計算ステップは、次式を使用して相関計算をおこなう、
【数2】
ここで、G2sdcは、異なるフレームfiとフレームfjの同じ解析領域A1の間の相互相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、Ifjは、フレームfjの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、Mijは、フレームfiとフレームfjの同じ解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数、Mjは、フレームfjの解析領域A1の画像のピクセルのデータの総数である、請求項4に記載の画像解析方法。
【請求項10】
前記解析領域の画像は、二次元画像であり、
前記相関計算ステップは、次式を使用して相関計算をおこなう、
【数3】
ここで、G2dscは、同じフレームfiの異なる解析領域A1,A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fiは、フレームfiの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、M12iiは、フレームfiの異なる解析領域A1,A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2iは、フレームfiの解析領域A2の画像のピクセルのデータの総数である、請求項6に記載の画像解析方法。
【請求項11】
前記解析領域の画像は、二次元画像であり、
前記相関計算ステップは、次式を使用して相関計算をおこなう、
【数4】
ここで、G2ddcは、フレームfiの解析領域A1とフレームfjの解析領域A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fjは、フレームfjの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、M12ijは、フレームfiの解析領域A1とフレームfjの解析領域A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2jは、フレームfjの解析領域A2の画像のピクセルのデータの総数である、請求項7に記載の画像解析方法。
【請求項12】
前記フィッティングステップは、次式を使用してフィッティングをおこなう、
【数5】
ここで、Gsは、RICSの空間相関値、Sは、RICSの解析におけるスキャンの影響、Gは、RICSの解析における時間遅延の影響、Dは拡散定数、δrはピクセルサイズ、Nは分子数、ξ,ψは、空間的座標の変化量、W0は、励起レーザビームの横方向の半径、WZは、励起レーザビームの縦方向の半径、τpはピクセル時間、τlはライン時間、τfはフレーム時間である、請求項8〜11のいずれかひとつに記載の画像解析方法。
【請求項13】
前記解析領域の画像は、三次元画像であり、
前記相関計算ステップは、次式を使用して相関計算をおこなう、
【数6】
ここで、G2ssaは、同じフレームfiの同じ解析領域A1の間の自己相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、Miiは、フレームfiの解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数である、請求項3に記載の画像解析方法。
【請求項14】
前記解析領域の画像は、三次元画像であり、
前記相関計算ステップは、次式を使用して相関計算をおこなう、
【数7】
ここで、G2sdcは、異なるフレームfiとフレームfjの同じ解析領域A1の間の相互相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、Ifjは、フレームfjの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、Mijは、フレームfiとフレームfjの同じ解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数、Mjは、フレームfjの解析領域A1の画像のピクセルのデータの総数である、請求項4に記載の画像解析方法。
【請求項15】
前記解析領域の画像は、三次元画像であり、
前記相関計算ステップは、次式を使用して相関計算をおこなう、
【数8】
ここで、G2dscは、同じフレームfiの異なる解析領域A1,A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fiは、フレームfiの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、M12iiは、フレームfiの異なる解析領域A1,A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2iは、フレームfiの解析領域A2の画像のピクセルのデータの総数である、請求項6に記載の画像解析方法。
【請求項16】
前記解析領域の画像は、三次元画像であり、
【数9】
ここで、G2ddcは、フレームfiの解析領域A1とフレームfjの解析領域A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fjは、フレームfjの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、M12ijは、フレームfiの解析領域A1とフレームfjの解析領域A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2jは、フレームfjの解析領域A2の画像のピクセルのデータの総数である、請求項7に記載の画像解析方法。
【請求項17】
前記フィッティングステップは、次式を使用してフィッティングをおこなう、
【数10】
ここで、Gsは、RICSの空間相関値、Sは、RICSの解析におけるスキャンの影響、Gは、RICSの解析における時間遅延の影響、Dは拡散定数、δrはピクセルサイズ、Nは分子数、ξ,ψ,ηは、空間的座標の変化量、W0は、励起レーザビームの横方向の半径、WZは、励起レーザビームの縦方向の半径、τpはピクセル時間、τlはライン時間、τfはフレーム時間である、請求項13〜16のいずれかひとつに記載の画像解析方法。
【請求項18】
前記フィッティングをおこなうことにより前記解析領域内の各成分の分子種の分子数を推定し、次式を使用して分子種の割合を計算するステップをさらに有している、
【数11】
ここで、Niは、i成分の分子種の分子数、PNiは、i成分の分子種の分子数Niの割合、Nkは、k成分の分子種の分子数、mは、多成分解析の成分数である、請求項1〜17のいずれかひとつに記載の画像解析方法。
【請求項19】
前記解析領域内のピクセルのデータを再構成するステップをさらに有しており、前記相関計算ステップは、再構成されたデータを使用して相関計算をおこなう、請求項1〜18のいずれかひとつに記載の画像解析方法。
【請求項20】
各フレームの画像は、光走査によって時系列的にデータが取得された複数のピクセルから構成されている、請求項1〜19のいずれかひとつに記載の画像解析方法。
【請求項21】
相関解析結果を表示するステップをさらに有している、請求項1〜20のいずれかひとつに記載の画像解析方法。
【請求項22】
複数のピクセルから構成された少なくとも1フレームの画像を取得する画像取得部と、
前記少なくとも1フレームの画像に対して少なくとも1つの解析領域を設定する解析領域設定部と、
各解析領域に対応するピクセルのデータを抽出するデータ抽出部と、
複数の相関計算にそれぞれ使用するデータペアの複数の時間間隔を設定する時間間隔設定部と、
抽出データを使用して前記複数の時間間隔のおのおのに対して相関計算をおこなうとともに、複数の相関計算結果のおのおのに対してフィッティングをおこなう解析処理部を有している、画像解析装置。
【請求項23】
前記画像取得部は、複数フレームの画像を取得し、
前記解析領域設定部は、各フレームの画像に対して1つの解析領域を設定し、前記解析領域は、各フレームの画像内の同じ領域である、請求項22に記載の画像解析装置。
【請求項24】
前記解析処理部は、同じフレームの画像内の同じ解析領域内のピクセルのデータのペアを使用して相関計算をおこなう、請求項23に記載の画像解析装置。
【請求項25】
前記解析処理部は、異なるフレームの画像内の同じ解析領域内のピクセルのデータのペアを使用して相関計算をおこなう、請求項23に記載の画像解析装置。
【請求項26】
前記画像取得部は、複数フレームの画像を取得し、
前記解析領域設定部は、各フレームの画像に複数の解析領域を設定し、前記複数の解析領域は、それぞれ、各フレームの画像内の同じ領域である、請求項22に記載の画像解析装置。
【請求項27】
前記解析処理部は、同じフレームの画像内の異なる解析領域内のピクセルのデータのペアを使用して相関計算をおこなう、請求項26に記載の画像解析装置。
【請求項28】
前記解析処理部は、異なるフレームの画像内の異なる解析領域内のピクセルのデータのペアを使用して相関計算をおこなう、請求項26に記載の画像解析装置。
【請求項29】
前記解析領域の画像は、二次元画像であり、
前記解析処理部は、次式を使用して相関計算をおこなう、
【数12】
ここで、G2ssaは、同じフレームfiの同じ解析領域A1の間の自己相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、Miiは、フレームfiの解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数である、請求項24に記載の画像解析装置。
【請求項30】
前記解析領域の画像は、二次元画像であり、
前記解析処理部は、次式を使用して相関計算をおこなう、
【数13】
ここで、G2sdcは、異なるフレームfiとフレームfjの同じ解析領域A1の間の相互相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、Ifjは、フレームfjの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、Mijは、フレームfiとフレームfjの同じ解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数、Mjは、フレームfjの解析領域A1の画像のピクセルのデータの総数である、請求項25に記載の画像解析装置。
【請求項31】
前記解析領域の画像は、二次元画像であり、
前記解析処理部は、次式を使用して相関計算をおこなう、
【数14】
ここで、G2dscは、同じフレームfiの異なる解析領域A1,A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fiは、フレームfiの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、M12iiは、フレームfiの異なる解析領域A1,A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2iは、フレームfiの解析領域A2の画像のピクセルのデータの総数である、請求項27に記載の画像解析装置。
【請求項32】
前記解析領域の画像は、二次元画像であり、
前記解析処理部は、次式を使用して相関計算をおこなう、
【数15】
ここで、G2ddcは、フレームfiの解析領域A1とフレームfjの解析領域A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fjは、フレームfjの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、M12ijは、フレームfiの解析領域A1とフレームfjの解析領域A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2jは、フレームfjの解析領域A2の画像のピクセルのデータの総数である、請求項28に記載の画像解析装置。
【請求項33】
前記解析処理部は、次式を使用してフィッティングをおこなう、
【数16】
ここで、Gsは、RICSの空間相関値、Sは、RICSの解析におけるスキャンの影響、Gは、RICSの解析における時間遅延の影響、Dは拡散定数、δrはピクセルサイズ、Nは分子数、ξ,ψは、空間的座標の変化量、W0は、励起レーザビームの横方向の半径、WZは、励起レーザビームの縦方向の半径、τpはピクセル時間、τlはライン時間、τfはフレーム時間である、請求項29〜請求項32のいずれかひとつに記載の画像解析装置。
【請求項34】
前記解析領域の画像は、三次元画像であり、
前記解析処理部は、次式を使用して相関計算をおこなう、
【数17】
ここで、G2ssaは、同じフレームfiの同じ解析領域A1の間の自己相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、Miiは、フレームfiの解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数である、請求項24に記載の画像解析装置。
【請求項35】
前記解析領域の画像は、三次元画像であり、
前記解析処理部は、次式を使用して相関計算をおこなう、
【数18】
ここで、G2sdcは、異なるフレームfiとフレームfjの同じ解析領域A1の間の相互相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、Ifjは、フレームfjの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、Mijは、フレームfiとフレームfjの同じ解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数、Mjは、フレームfjの解析領域A1の画像のピクセルのデータの総数である、請求項25に記載の画像解析装置。
【請求項36】
前記解析領域の画像は、三次元画像であり、
前記解析処理部は、次式を使用して相関計算をおこなう、
【数19】
ここで、G2dscは、同じフレームfiの異なる解析領域A1,A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fiは、フレームfiの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、M12iiは、フレームfiの異なる解析領域A1,A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2iは、フレームfiの解析領域A2の画像のピクセルのデータの総数である、請求項27に記載の画像解析装置。
【請求項37】
前記解析領域の画像は、三次元画像であり、
【数20】
ここで、G2ddcは、フレームfiの解析領域A1とフレームfjの解析領域A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fjは、フレームfjの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、M12ijは、フレームfiの解析領域A1とフレームfjの解析領域A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2jは、フレームfjの解析領域A2の画像のピクセルのデータの総数である、請求項28に記載の画像解析装置。
【請求項38】
前記解析処理部は、次式を使用してフィッティングをおこなう、
【数21】
ここで、Gsは、RICSの空間相関値、Sは、RICSの解析におけるスキャンの影響、Gは、RICSの解析における時間遅延の影響、Dは拡散定数、δrはピクセルサイズ、Nは分子数、ξ,ψ,ηは、空間的座標の変化量、W0は、励起レーザビームの横方向の半径、WZは、励起レーザビームの縦方向の半径、τpはピクセル時間、τlはライン時間、τfはフレーム時間である、請求項34〜請求項37のいずれかひとつに記載の画像解析装置。
【請求項39】
前記解析処理部は、前記フィッティングをおこなうことにより前記解析領域内の各成分の分子種の分子数を推定し、次式を使用して分子種の割合を計算する、
【数22】
ここで、Niは、i成分の分子種の分子数、PNiは、i成分の分子種の分子数Niの割合、Nkは、k成分の分子種の分子数、mは、多成分解析の成分数である、請求項22〜請求項38のいずれかひとつに記載の画像解析装置。
【請求項40】
前記解析処理部は、前記解析領域内のピクセルのデータを再構成し、再構成したデータを使用して相関計算をおこなう、請求項22〜請求項39のいずれかひとつに記載の画像解析装置。
【請求項41】
各フレームの画像は、光走査によって時系列的にデータが取得された複数のピクセルから構成されている、請求項22〜請求項40のいずれかひとつに記載の画像解析装置。
【請求項42】
相関解析結果を表示する表示部をさらに有している、請求項22〜請求項41のいずれかひとつに記載の画像解析装置。
【請求項1】
複数のピクセルから構成された少なくとも1フレームの画像を取得する画像取得ステップと、
前記少なくとも1フレームの画像に対して少なくとも1つの解析領域を設定する解析領域設定ステップと、
各解析領域に対応するピクセルのデータを抽出するデータ抽出ステップと、
複数の相関計算にそれぞれ使用するデータペアの複数の時間間隔を設定する時間間隔設定ステップと、
抽出データを使用して前記複数の時間間隔のおのおのに対して相関計算をおこなう相関計算ステップと、
前記相関計算ステップによる複数の相関計算結果のおのおのに対してフィッティングをおこなうフィッティングステップを有している、画像解析方法。
【請求項2】
前記画像取得ステップは、複数フレームの画像を取得し、
前記解析領域設定ステップは、各フレームの画像に対して1つの解析領域を設定し、前記解析領域は、各フレームの画像内の同じ領域である、請求項1に記載の画像解析方法。
【請求項3】
前記相関計算ステップは、同じフレームの画像内の同じ解析領域内のピクセルのデータのペアを使用して相関計算をおこなうことを含む、請求項2に記載の画像解析方法。
【請求項4】
前記相関計算ステップは、異なるフレームの画像内の同じ解析領域内のピクセルのデータのペアを使用して相関計算をおこなうことを含む、請求項2に記載の画像解析方法。
【請求項5】
前記画像取得ステップは、複数フレームの画像を取得し、
前記解析領域設定ステップは、各フレームの画像に複数の解析領域を設定し、前記複数の解析領域は、それぞれ、各フレームの画像内の同じ領域である、請求項1に記載の画像解析方法。
【請求項6】
前記相関計算ステップは、同じフレームの画像内の異なる解析領域内のピクセルのデータのペアを使用して相関計算をおこなうことを含む、請求項5に記載の画像解析方法。
【請求項7】
前記相関計算ステップは、異なるフレームの画像内の異なる解析領域内のピクセルのデータのペアを使用して相関計算をおこなうことを含む、請求項5に記載の画像解析方法。
【請求項8】
前記解析領域の画像は、二次元画像であり、
前記相関計算ステップは、次式を使用して相関計算をおこなう、
【数1】
ここで、G2ssaは、同じフレームfiの同じ解析領域A1の間の自己相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、Miiは、フレームfiの解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数である、請求項3に記載の画像解析方法。
【請求項9】
前記解析領域の画像は、二次元画像であり、
前記相関計算ステップは、次式を使用して相関計算をおこなう、
【数2】
ここで、G2sdcは、異なるフレームfiとフレームfjの同じ解析領域A1の間の相互相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、Ifjは、フレームfjの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、Mijは、フレームfiとフレームfjの同じ解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数、Mjは、フレームfjの解析領域A1の画像のピクセルのデータの総数である、請求項4に記載の画像解析方法。
【請求項10】
前記解析領域の画像は、二次元画像であり、
前記相関計算ステップは、次式を使用して相関計算をおこなう、
【数3】
ここで、G2dscは、同じフレームfiの異なる解析領域A1,A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fiは、フレームfiの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、M12iiは、フレームfiの異なる解析領域A1,A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2iは、フレームfiの解析領域A2の画像のピクセルのデータの総数である、請求項6に記載の画像解析方法。
【請求項11】
前記解析領域の画像は、二次元画像であり、
前記相関計算ステップは、次式を使用して相関計算をおこなう、
【数4】
ここで、G2ddcは、フレームfiの解析領域A1とフレームfjの解析領域A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fjは、フレームfjの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、M12ijは、フレームfiの解析領域A1とフレームfjの解析領域A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2jは、フレームfjの解析領域A2の画像のピクセルのデータの総数である、請求項7に記載の画像解析方法。
【請求項12】
前記フィッティングステップは、次式を使用してフィッティングをおこなう、
【数5】
ここで、Gsは、RICSの空間相関値、Sは、RICSの解析におけるスキャンの影響、Gは、RICSの解析における時間遅延の影響、Dは拡散定数、δrはピクセルサイズ、Nは分子数、ξ,ψは、空間的座標の変化量、W0は、励起レーザビームの横方向の半径、WZは、励起レーザビームの縦方向の半径、τpはピクセル時間、τlはライン時間、τfはフレーム時間である、請求項8〜11のいずれかひとつに記載の画像解析方法。
【請求項13】
前記解析領域の画像は、三次元画像であり、
前記相関計算ステップは、次式を使用して相関計算をおこなう、
【数6】
ここで、G2ssaは、同じフレームfiの同じ解析領域A1の間の自己相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、Miiは、フレームfiの解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数である、請求項3に記載の画像解析方法。
【請求項14】
前記解析領域の画像は、三次元画像であり、
前記相関計算ステップは、次式を使用して相関計算をおこなう、
【数7】
ここで、G2sdcは、異なるフレームfiとフレームfjの同じ解析領域A1の間の相互相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、Ifjは、フレームfjの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、Mijは、フレームfiとフレームfjの同じ解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数、Mjは、フレームfjの解析領域A1の画像のピクセルのデータの総数である、請求項4に記載の画像解析方法。
【請求項15】
前記解析領域の画像は、三次元画像であり、
前記相関計算ステップは、次式を使用して相関計算をおこなう、
【数8】
ここで、G2dscは、同じフレームfiの異なる解析領域A1,A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fiは、フレームfiの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、M12iiは、フレームfiの異なる解析領域A1,A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2iは、フレームfiの解析領域A2の画像のピクセルのデータの総数である、請求項6に記載の画像解析方法。
【請求項16】
前記解析領域の画像は、三次元画像であり、
【数9】
ここで、G2ddcは、フレームfiの解析領域A1とフレームfjの解析領域A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fjは、フレームfjの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、M12ijは、フレームfiの解析領域A1とフレームfjの解析領域A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2jは、フレームfjの解析領域A2の画像のピクセルのデータの総数である、請求項7に記載の画像解析方法。
【請求項17】
前記フィッティングステップは、次式を使用してフィッティングをおこなう、
【数10】
ここで、Gsは、RICSの空間相関値、Sは、RICSの解析におけるスキャンの影響、Gは、RICSの解析における時間遅延の影響、Dは拡散定数、δrはピクセルサイズ、Nは分子数、ξ,ψ,ηは、空間的座標の変化量、W0は、励起レーザビームの横方向の半径、WZは、励起レーザビームの縦方向の半径、τpはピクセル時間、τlはライン時間、τfはフレーム時間である、請求項13〜16のいずれかひとつに記載の画像解析方法。
【請求項18】
前記フィッティングをおこなうことにより前記解析領域内の各成分の分子種の分子数を推定し、次式を使用して分子種の割合を計算するステップをさらに有している、
【数11】
ここで、Niは、i成分の分子種の分子数、PNiは、i成分の分子種の分子数Niの割合、Nkは、k成分の分子種の分子数、mは、多成分解析の成分数である、請求項1〜17のいずれかひとつに記載の画像解析方法。
【請求項19】
前記解析領域内のピクセルのデータを再構成するステップをさらに有しており、前記相関計算ステップは、再構成されたデータを使用して相関計算をおこなう、請求項1〜18のいずれかひとつに記載の画像解析方法。
【請求項20】
各フレームの画像は、光走査によって時系列的にデータが取得された複数のピクセルから構成されている、請求項1〜19のいずれかひとつに記載の画像解析方法。
【請求項21】
相関解析結果を表示するステップをさらに有している、請求項1〜20のいずれかひとつに記載の画像解析方法。
【請求項22】
複数のピクセルから構成された少なくとも1フレームの画像を取得する画像取得部と、
前記少なくとも1フレームの画像に対して少なくとも1つの解析領域を設定する解析領域設定部と、
各解析領域に対応するピクセルのデータを抽出するデータ抽出部と、
複数の相関計算にそれぞれ使用するデータペアの複数の時間間隔を設定する時間間隔設定部と、
抽出データを使用して前記複数の時間間隔のおのおのに対して相関計算をおこなうとともに、複数の相関計算結果のおのおのに対してフィッティングをおこなう解析処理部を有している、画像解析装置。
【請求項23】
前記画像取得部は、複数フレームの画像を取得し、
前記解析領域設定部は、各フレームの画像に対して1つの解析領域を設定し、前記解析領域は、各フレームの画像内の同じ領域である、請求項22に記載の画像解析装置。
【請求項24】
前記解析処理部は、同じフレームの画像内の同じ解析領域内のピクセルのデータのペアを使用して相関計算をおこなう、請求項23に記載の画像解析装置。
【請求項25】
前記解析処理部は、異なるフレームの画像内の同じ解析領域内のピクセルのデータのペアを使用して相関計算をおこなう、請求項23に記載の画像解析装置。
【請求項26】
前記画像取得部は、複数フレームの画像を取得し、
前記解析領域設定部は、各フレームの画像に複数の解析領域を設定し、前記複数の解析領域は、それぞれ、各フレームの画像内の同じ領域である、請求項22に記載の画像解析装置。
【請求項27】
前記解析処理部は、同じフレームの画像内の異なる解析領域内のピクセルのデータのペアを使用して相関計算をおこなう、請求項26に記載の画像解析装置。
【請求項28】
前記解析処理部は、異なるフレームの画像内の異なる解析領域内のピクセルのデータのペアを使用して相関計算をおこなう、請求項26に記載の画像解析装置。
【請求項29】
前記解析領域の画像は、二次元画像であり、
前記解析処理部は、次式を使用して相関計算をおこなう、
【数12】
ここで、G2ssaは、同じフレームfiの同じ解析領域A1の間の自己相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、Miiは、フレームfiの解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数である、請求項24に記載の画像解析装置。
【請求項30】
前記解析領域の画像は、二次元画像であり、
前記解析処理部は、次式を使用して相関計算をおこなう、
【数13】
ここで、G2sdcは、異なるフレームfiとフレームfjの同じ解析領域A1の間の相互相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、Ifjは、フレームfjの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、Mijは、フレームfiとフレームfjの同じ解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数、Mjは、フレームfjの解析領域A1の画像のピクセルのデータの総数である、請求項25に記載の画像解析装置。
【請求項31】
前記解析領域の画像は、二次元画像であり、
前記解析処理部は、次式を使用して相関計算をおこなう、
【数14】
ここで、G2dscは、同じフレームfiの異なる解析領域A1,A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fiは、フレームfiの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、M12iiは、フレームfiの異なる解析領域A1,A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2iは、フレームfiの解析領域A2の画像のピクセルのデータの総数である、請求項27に記載の画像解析装置。
【請求項32】
前記解析領域の画像は、二次元画像であり、
前記解析処理部は、次式を使用して相関計算をおこなう、
【数15】
ここで、G2ddcは、フレームfiの解析領域A1とフレームfjの解析領域A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fjは、フレームfjの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,yは、測定点の空間的座標、ξ,ψは、測定点からの空間的座標の変化量、M12ijは、フレームfiの解析領域A1とフレームfjの解析領域A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2jは、フレームfjの解析領域A2の画像のピクセルのデータの総数である、請求項28に記載の画像解析装置。
【請求項33】
前記解析処理部は、次式を使用してフィッティングをおこなう、
【数16】
ここで、Gsは、RICSの空間相関値、Sは、RICSの解析におけるスキャンの影響、Gは、RICSの解析における時間遅延の影響、Dは拡散定数、δrはピクセルサイズ、Nは分子数、ξ,ψは、空間的座標の変化量、W0は、励起レーザビームの横方向の半径、WZは、励起レーザビームの縦方向の半径、τpはピクセル時間、τlはライン時間、τfはフレーム時間である、請求項29〜請求項32のいずれかひとつに記載の画像解析装置。
【請求項34】
前記解析領域の画像は、三次元画像であり、
前記解析処理部は、次式を使用して相関計算をおこなう、
【数17】
ここで、G2ssaは、同じフレームfiの同じ解析領域A1の間の自己相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、Miiは、フレームfiの解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数である、請求項24に記載の画像解析装置。
【請求項35】
前記解析領域の画像は、三次元画像であり、
前記解析処理部は、次式を使用して相関計算をおこなう、
【数18】
ここで、G2sdcは、異なるフレームfiとフレームfjの同じ解析領域A1の間の相互相関値、Ifiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、Ifjは、フレームfjの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、Mijは、フレームfiとフレームfjの同じ解析領域A1の画像のピクセルのデータの積和計算の回数、Miは、フレームfiの解析領域A1の画像のピクセルのデータの総数、Mjは、フレームfjの解析領域A1の画像のピクセルのデータの総数である、請求項25に記載の画像解析装置。
【請求項36】
前記解析領域の画像は、三次元画像であり、
前記解析処理部は、次式を使用して相関計算をおこなう、
【数19】
ここで、G2dscは、同じフレームfiの異なる解析領域A1,A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fiは、フレームfiの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、M12iiは、フレームfiの異なる解析領域A1,A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2iは、フレームfiの解析領域A2の画像のピクセルのデータの総数である、請求項27に記載の画像解析装置。
【請求項37】
前記解析領域の画像は、三次元画像であり、
【数20】
ここで、G2ddcは、フレームfiの解析領域A1とフレームfjの解析領域A2の間の相互相関値、I1fiは、フレームfiの解析領域A1の画像のピクセルのデータたとえば蛍光強度データ、I2fjは、フレームfjの解析領域A2の画像のピクセルのデータたとえば蛍光強度データ、x,y,zは、測定点の空間的座標、ξ,ψ,ηは、測定点からの空間的座標の変化量、M12ijは、フレームfiの解析領域A1とフレームfjの解析領域A2の画像のピクセルのデータの積和計算の回数、M1iは、フレームfiの解析領域A1の画像のピクセルのデータの総数、M2jは、フレームfjの解析領域A2の画像のピクセルのデータの総数である、請求項28に記載の画像解析装置。
【請求項38】
前記解析処理部は、次式を使用してフィッティングをおこなう、
【数21】
ここで、Gsは、RICSの空間相関値、Sは、RICSの解析におけるスキャンの影響、Gは、RICSの解析における時間遅延の影響、Dは拡散定数、δrはピクセルサイズ、Nは分子数、ξ,ψ,ηは、空間的座標の変化量、W0は、励起レーザビームの横方向の半径、WZは、励起レーザビームの縦方向の半径、τpはピクセル時間、τlはライン時間、τfはフレーム時間である、請求項34〜請求項37のいずれかひとつに記載の画像解析装置。
【請求項39】
前記解析処理部は、前記フィッティングをおこなうことにより前記解析領域内の各成分の分子種の分子数を推定し、次式を使用して分子種の割合を計算する、
【数22】
ここで、Niは、i成分の分子種の分子数、PNiは、i成分の分子種の分子数Niの割合、Nkは、k成分の分子種の分子数、mは、多成分解析の成分数である、請求項22〜請求項38のいずれかひとつに記載の画像解析装置。
【請求項40】
前記解析処理部は、前記解析領域内のピクセルのデータを再構成し、再構成したデータを使用して相関計算をおこなう、請求項22〜請求項39のいずれかひとつに記載の画像解析装置。
【請求項41】
各フレームの画像は、光走査によって時系列的にデータが取得された複数のピクセルから構成されている、請求項22〜請求項40のいずれかひとつに記載の画像解析装置。
【請求項42】
相関解析結果を表示する表示部をさらに有している、請求項22〜請求項41のいずれかひとつに記載の画像解析装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2013−104674(P2013−104674A)
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2011−246462(P2011−246462)
【出願日】平成23年11月10日(2011.11.10)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願日】平成23年11月10日(2011.11.10)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]