画像計測装置、画像計測方法および画像計測プログラム
【課題】課題ごとに免疫機構や進化の仕組みを設計することなく、精度の高い画像計測を実行する画像計測装置等を提供する。
【解決手段】画像計測装置1は、免疫記憶データベース25を参照し、処理対象の画像の現在の状態に対して動作条件を満たす抗体を実行する(ステップ12)。免疫記憶データベース25は、各種の画像処理を実行する動作条件、各種の画像処理を実行することによって得られる効果の期待値、各種の画像処理に対応する抗体プログラムの所在を含む免疫記憶情報を保持する。次に、画像計測装置1は、抗体プログラム27の実行結果に基づいて、計測対象の状態を更新し(ステップ13)、計測対象が現在の状態で終了条件を満たすかどうか等の評価を行う(ステップ14)。終了条件を満たす場合(ステップ14のYes)、計測対象の現在の状態の中から最適な解を決定し(ステップ15)、目的とする画像計測を実行する(ステップ16)。
【解決手段】画像計測装置1は、免疫記憶データベース25を参照し、処理対象の画像の現在の状態に対して動作条件を満たす抗体を実行する(ステップ12)。免疫記憶データベース25は、各種の画像処理を実行する動作条件、各種の画像処理を実行することによって得られる効果の期待値、各種の画像処理に対応する抗体プログラムの所在を含む免疫記憶情報を保持する。次に、画像計測装置1は、抗体プログラム27の実行結果に基づいて、計測対象の状態を更新し(ステップ13)、計測対象が現在の状態で終了条件を満たすかどうか等の評価を行う(ステップ14)。終了条件を満たす場合(ステップ14のYes)、計測対象の現在の状態の中から最適な解を決定し(ステップ15)、目的とする画像計測を実行する(ステップ16)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、免疫を模擬して画像に含まれる計測対象を計測する画像計測装置等に関するものである。
【背景技術】
【0002】
従来から、画像に含まれる計測対象をコンピュータによって計測するための画像計測ソフトウエアが開発され、実用化されている。ここで、画像とは、2次元空間又は3次元空間に投影可能な形状を持つもの全般を指す。従って、カメラによって撮影された写真などの他、音や光なども、波形データに変換することで2次元又はそれ以上の次元のデータとして表すことができ、画像計測の対象に含まれる。その他、色、明るさ、材質など様々な物理量の計測データも、適切なデータに変換することで、画像計測の対象に含まれる。
【0003】
画像計測ソフトウエアの一つとして、未知の抗原に感染することにより後天的に得られる獲得免疫の仕組みを模倣した最適化問題の解法である免疫アルゴリズム(Immune Algorithm)などを導入したものがある(非特許文献1参照)。一般に、免疫アルゴリズムでは、最適化問題における目的関数や前提条件を抗原、問題に対する解候補を抗体として捉え、抗原と抗体の親和性、つまり目的関数に対する解候補の評価値である親和度を算出して評価することで、解を導出する。また、免疫アルゴリズムは、解を導出した後、抗原の排除に有効な抗体を記憶し再感染に備えるシステム(免疫記憶)を有する。
【0004】
非特許文献1では、対象画像内から複数種類のテンプレート画像と一致性の高い部分画像領域を効率的に探索するため、テンプレート画像を識別するためのIDを遺伝子として組込んだ整数型免疫アルゴリズムが提案されている。提案手法では、抗体の遺伝子として、部分画像を囲む矩形の位置(tx、ty)、縮尺(sx、sy)、傾きθに加えて、テンプレート画像を識別するためのid遺伝子を組込む。多様なidを持つ抗体を生成し探索を行うことで、一度の試行で複数種類のテンプレート画像を同時に探索することができる。また、生殖ステップでの交叉、突然変異を適用する際、id遺伝子を積極的に変化させることで、進化が進むにつれて各抗体の近傍に存在する解に適したidが選択されると考えられるため探索効率の向上が期待できる。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】森山賀文著 「最適化問題における免疫アルゴリズムの研究」鹿児島大学理工学研究科博士論文 2008年
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、非特許文献1が提案する整数型免疫アルゴリズムを含め、従来の免疫アルゴリズムでは、課題ごとに免疫機構や進化の仕組みを注意深く設計しなければ、精度の高い画像計測を行うことができない。免疫機構や進化の仕組みの設計は高度な専門知識を必要とする為、課題ごとに免疫機構や進化の仕組みを設計することなく、様々な課題に対して汎用的に適用できる画像計測装置が望まれる。
【0007】
本発明は前述した問題点に鑑みてなされたもので、その目的とすることは、課題ごとに免疫機構や進化の仕組みを設計することなく、精度の高い画像計測を実行する画像計測装置等を提供することである。特に、本発明は、フラクタル的類似性を有する工業的または科学的な画像、たとえば、生体組織、細胞などの電子顕微鏡写真、鉱物組織、織布・不織布繊維のミクロ構造解析、樹脂のミクロ相分離、金属組織解析などに幅広く用いることができる。
【課題を解決するための手段】
【0008】
前述した目的を達成するために第1の発明は、画像に含まれる計測対象を計測する画像計測装置であって、各種処理の条件を定義する為の指標の意味を示す指標情報を保持する意味データベースと、所定の画像処理を実行する動作条件、所定の画像処理を実行することによって得られる効果の期待値、および所定の画像処理が記述された抗体プログラムの所在を含む免疫記憶情報を保持する免疫記憶データベースと、計測対象を含む元画像を取得する取得手段と、元画像の状態または所定の画像処理が施された中間画像の現在の状態を保持する状態情報を保持する保持手段と、前記状態情報に対して動作条件を満たす免疫記憶情報を検索し、検索された免疫記憶情報に係る抗体プログラムを呼び出し、検索された免疫記憶情報に係る期待値に基づく実行条件に従って所定の画像処理を実行する抗体実行手段と、前記状態情報を更新する状態更新手段と、予め定められた終了条件を満たすまで前記抗体実行手段および前記状態更新手段による処理を繰り返し、画像計測が可能な計測画像を生成する計測画像生成手段と、計測画像に対して所定の画像計測を行う画像計測手段と、を具備することを特徴とする画像計測装置である。
第1の発明によって、課題ごとに免疫機構や進化の仕組みを設計する必要がない画像計測装置を提供することができる。これによって、新たな課題に対するプログラミング作業を大幅に減らすことができる。
【0009】
また、第1の発明における前記抗体実行手段は、抗体プログラムの実行結果を評価し、期待値に基づく実行条件を更新することが望ましい。
これによって、1つの計測対象を処理する中で抗体をダイナミックに進化させることができる。従って、解が存在しないという事態を回避することができる。
【0010】
また、第1の発明は、前記計測画像生成手段による実行結果を評価し、免疫記憶情報に係る動作条件と期待値を更新する免疫記憶更新手段、を更に具備することが望ましい。
これによって、効果のあった抗体の動作条件と期待値を記憶することができる。従って、既に実行済の計測対象と類似する計測対象に対する画像計測を短時間で行うことができる。
【0011】
また、第1の発明における前記抗体実行手段は、期待値の大きい順に複数の抗体プログラムを呼び出すことが望ましい。
これによって、複数の抗体プログラムを実行することで、広大な解空間を効率よく探索することができる。従って、袋小路に入り込み、処理が終わらないという事態を回避することができる。また、期待値の大きい順に抗体プログラムを呼び出すことで、同時に実行する抗体の数を制限する場合であっても、高い効果が望まれる抗体から実行することができる。
【0012】
また、第1の発明における前記計測画像生成手段は、中間画像を計測画像として良いかどうかを判定する為の画像であるテンプレート画像を保持し、前記終了条件は、テンプレート画像と中間画像との親和度を用いて定義されることが望ましい。
これによって、課題ごとに適切なテンプレート画像を準備すれば、様々な課題に対して精度の高い画像計測を実行することができる。本発明は、フラクタル的類似性を有する工業的、科学的な画像処理を主目的としているので、特に適切なテンプレート画像を用意することが処理を効率的に行う上で重要である。
【0013】
また、第1の発明は、前記免疫記憶データベースに既に登録されている第1の計測対象に係る免疫記憶情報を複製し、第2の計測対象に係る免疫記憶情報として登録する免疫記憶登録手段、を更に具備することが望ましい。
これによって、ある計測対象に対して効果のあった抗体を他の計測対象に対しても実行させることができる。
【0014】
また、前記意味データベースは、更に、計測対象同士の関係を保持するものであり、前記免疫記憶登録手段は、前記第1の計測対象と前記第2の計測対象との間の関係に応じて前記第1の計測対象に係る免疫記憶情報の期待値を変更して、前記第2の計測対象に係る免疫記憶情報の期待値として登録することが望ましい。
これによって、免疫記憶情報を適切に複製することができ、より効率的な処理が実行できる。
【0015】
第2の発明は、画像に含まれる計測対象を計測する画像計測方法であって、各種処理の条件を定義する為の指標の意味を示す指標情報を保持する意味データベースと、所定の画像処理を実行する動作条件、所定の画像処理を実行することによって得られる効果の期待値、および所定の画像処理が記述された抗体プログラムの所在を含む免疫記憶情報を保持する免疫記憶データベースと、を記憶するステップと、計測対象を含む元画像を取得する取得ステップと、前記免疫記憶データベースから元画像の状態または元画像に対して所定の画像処理が施された中間画像の状態を保持する状態情報に対して動作条件を満たす免疫記憶情報を検索し、検索された免疫記憶情報に係る抗体プログラムを呼び出し、検索された免疫記憶情報に係る期待値に基づく実行条件に従って所定の画像処理を実行する抗体実行ステップと、前記状態情報を更新する状態更新ステップと、予め定められた終了条件を満たすまで前記抗体実行ステップおよび前記状態更新ステップによる処理を繰り返し、画像計測が可能な計測画像を生成する計測画像生成ステップと、計測画像に対して所定の画像計測を行う画像計測ステップと、を含むことを特徴とする画像計測方法である。
【0016】
第3の発明は、コンピュータを第1の発明の画像計測装置として機能させるための画像計測プログラムである。
【発明の効果】
【0017】
本発明により、課題ごとに免疫機構や進化の仕組みを設計することなく、精度の高い画像計測を実行する画像計測装置等を提供することができる。
【図面の簡単な説明】
【0018】
【図1】画像計測装置1のハードウエア構成図
【図2】画像計測装置1のソフトウエア構成図
【図3】画像計測処理の流れを示すフローチャート
【図4】画像計測処理の第1の例を説明する図
【図5】第1の例における抗体作用順序を示す図
【図6】第1の例における状態情報の変化を示す図
【図7】第1の例における免疫記憶情報の更新を示す図
【図8】画像計測処理の第2の例を説明する図
【図9】画像計測処理の第2の例を説明する図
【図10】第2の例における1回目の抗体実行を示す図
【図11】第2の例における2回目の抗体実行を示す図
【図12】第2の例における3回目の抗体実行を示す図
【図13】第2の例における4回目の抗体実行を示す図
【図14】第3の例における計測対象の関係の一例を示す図
【図15】第3の例における免疫記憶情報の更新を説明する図
【図16】面積による親和度の算出の一例を示す図
【図17】微分による親和度の算出の一例を示す図
【図18】フーリエ変換による親和度の算出を説明する図
【発明を実施するための形態】
【0019】
以下図面に基づいて、本発明の実施形態を詳細に説明する。
本発明の実施形態における画像計測装置は、元画像から所定の画像処理を施して中間画像を作成し、中間画像に対して所定の画像処理を施して計測対象を抽出し、計測対象を含む計測画像を生成し、抽出した計測対象に対して目的とする計測を行う。これらの一連の画像処理が、免疫を模擬したアルゴリズムによって実行される。
計測対象は、フラクタル的類似性を有する工業的または科学的な画像、たとえば、生体組織、細胞などの電子顕微鏡写真、鉱物組織、織布・不織布繊維のミクロ構造解析画像、樹脂のミクロ相分離画像、金属組織画像などである。また、フラクタル的類似性を有さない画像であっても同様に本発明を適用できる。
目的とする計測とは、単位面積におけるパターン数、計測対象内部に含まれる要素(点、線分、閉空間など)の数など様々である。
以下では、計測対象と目的とする画像計測の組み合わせを「課題」と称する。
【0020】
最初に、図1、図2を参照しながら、画像計測装置1の概略構成について説明する。
図1は、画像計測装置1のハードウエア構成図である。尚、図1のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
【0021】
画像計測装置1は、制御部11、記憶部12、メディア入出力部13、通信制御部14、入力部15、表示部16、周辺機器I/F部17等が、バス18を介して接続される。
【0022】
制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等で構成される。
【0023】
CPUは、記憶部12、ROM、記録媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、バス18を介して接続された各装置を駆動制御し、画像計測装置1が行う後述する処理を実現する。
ROMは、不揮発性メモリであり、コンピュータのブートプログラムやBIOS等のプログラム、データ等を恒久的に保持している。
RAMは、揮発性メモリであり、記憶部12、ROM、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部11が各種処理を行う為に使用するワークエリアを備える。
【0024】
記憶部12は、HDD(ハードディスクドライブ)であり、制御部11が実行するプログラム、プログラム実行に必要なデータ、OS(オペレーティングシステム)等が格納される。プログラムに関しては、OS(オペレーティングシステム)に相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。
これらの各プログラムコードは、制御部11により必要に応じて読み出されてRAMに移され、CPUに読み出されて各種の手段として実行される。
【0025】
メディア入出力部13(ドライブ装置)は、データの入出力を行い、例えば、CDドライブ(−ROM、−R、−RW等)、DVDドライブ(−ROM、−R、−RW等)等のメディア入出力装置を有する。
通信制御部14は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。ネットワークは、有線、無線を問わない。
【0026】
入力部15は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。
入力部15を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。
表示部16は、CRTモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等(ビデオアダプタ等)を有する。
【0027】
周辺機器I/F(インタフェース)部17は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器I/F部17を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器I/F部17は、USBやIEEE1394やRS−232C等で構成されており、通常複数の周辺機器I/Fを有する。周辺機器との接続形態は有線、無線を問わない。
バス18は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【0028】
図2は、画像計測装置1のソフトウエア構成図である。
画像計測装置1は、免疫型画像計測プログラム21、意味データベース23、免疫記憶データベース25、抗体プログラム27を有する。また、画像計測装置1は、ネットワーク5を介して、外部コンピュータ3a、3b等と接続されている。
【0029】
免疫型画像計測プログラム21は、免疫を模擬し、画像計測を行うためのプログラムである。免疫型画像計測プログラム21は、免疫記憶データベース25に格納される情報に基づいて抗体プログラム27を呼び出し、目的に応じた画像処理を実行させる。
【0030】
抗体プログラム27は、比較的小規模な画像処理を実行するプログラムであって、図3の説明にて後述する画像計測処理の中で抗体として扱われる。抗体プログラム27は、画像計測装置1に記憶されていても良いし、外部コンピュータ3a、3bに記憶されていても良い。
【0031】
意味データベース23は、各種処理の条件を定義する為の指標の意味を示す指標情報、計測対象同士の関係などを保持する。
【0032】
免疫記憶データベース25は、各種の画像処理を小さな処理単位に分割し、免疫記憶として管理する。免疫記憶データベース25は、後述する免疫記憶情報を保持する。免疫記憶情報は、各種の画像処理を実行する動作条件、各種の画像処理を実行することによって得られる効果の期待値、各種の画像処理に対応する抗体プログラムの所在を示す情報である。
【0033】
以下では、図3を参照しながら、画像計測装置1が実行する画像計測処理の概要を説明する。
図3は、画像計測処理の流れを示すフローチャートである。
【0034】
画像計測装置1の制御部11は、計測対象の画像を取得する(ステップ11)。ここでは、必要に応じて、ユーザが入力部15を介して計測対象の属性(計測対象の材質など)を入力する。
【0035】
次に、制御部11は、免疫記憶データベース25を参照し、処理対象の画像の現在の状態に対して動作条件を満たす抗体を実行する(ステップ12)。動作条件を満たす抗体が複数存在すれば複数実行される。抗体を複数実行させることで、広大な解空間を効率良く探索することが可能となる。但し、無制限に抗体を実行させてしまうと処理速度が遅くなってしまう。そこで、例えば、同時に実行させる抗体数について上限を設けるようにしても良い。また、例えば、同時に実行させる抗体の期待値の合計について上限を設けるようにしても良い。ここで、期待値の合計に上限を設けることについて、簡単な例を挙げて説明する。例えば、抗体の期待値の合計の上限を0.9とする。最初に実行した抗体の期待値が0.5であれば、次の抗体を実行する。次に実行した抗体の期待値が0.4であれば、合計が上限に達しているので、次の抗体は実行しない。
【0036】
また、制御部11は、動作条件を満たす抗体の中で、期待値が現在処理対象の画像の状態を上回る抗体のみを実行するようにしても良い。
また、制御部11は、動作条件を満たす抗体の中で、期待値の大きい抗体を優先して実行するようにしても良い。これによって、同時に実行させる抗体に上限を設けた場合であっても、高い効果が望まれる抗体から優先して実行させることができる。
【0037】
実行された複数の抗体は、並列的に処理を行う。従って、計測対象は、並列的に複数の状態へと変化していく。このような動作は、例えば、マルチスレッド処理によって実現可能である。マルチスレッド処理とは、スレッドと呼ばれる処理単位を複数起動し、並行して複数の処理を行うことである。ここでは、1つの抗体プログラム27を実行することが1つのスレッドを起動することに相当する。
【0038】
次に、制御部11は、抗体プログラム27の実行結果に基づいて、計測対象の状態を更新する(ステップ13)。計測対象の状態は、RAM等に記憶する。
【0039】
次に、制御部11は、計測対象が現在の状態で終了条件を満たすかどうか等の評価を行う(ステップ14)。終了条件は予め定義されている。終了条件の評価等は、実行された複数の抗体が処理を終了するごとに個別に行われる。従って、ある抗体の実行結果を評価しても終了条件を満たしていないが、他の抗体の実行結果を評価すると終了条件を満たしている場合がある。このような場合、制御部11は、いずれかの抗体の実行結果が終了条件を満たしていれば、最適解を算出したと判断し、繰り返し処理(ステップ12からステップ14)を終了する。
【0040】
終了条件を満たさない場合(ステップ14のNo)、制御部11は、ステップ12から繰り返す。
終了条件を満たす場合(ステップ14のYes)、制御部11は、計測対象の現在の状態の中から最適な解を決定し(ステップ15)、目的とする画像計測を実行する(ステップ16)。例えば、制御部11は、単位面積におけるパターン数、計測対象内部に含まれる要素(点、線分、閉空間など)の数などの画像計測を行う。
【0041】
次に、制御部11は、免疫記憶データベース25を更新することによって処理結果を保存し(ステップ17)、処理を終了する。免疫記憶データベース25の更新は、効果のあった抗体を免疫として記憶することを意味する。
【0042】
以上説明した通り、画像計測装置1は、抗体プログラム27の所在を記憶させた免疫記憶データベース25を保持する。そして、画像計測装置1は、免疫記憶データベース25を参照し、動作条件を満たす抗体プログラム27を呼び出して実行するようにしたので、課題ごとに免疫記憶や進化の仕組みを設計する必要がない。従って、新たな課題に対して画像計測を行うプログラムを作成する場合であっても、プログラミングの対象は抗体プログラム27のみとなるので、プログラミング作業を大幅に減らすことができる。特に、免疫機構や進化の仕組みの設計は高度な専門知識を必要とする為、量だけではなく質の面でも大幅に負荷を軽減することができる。
尚、前述した説明では、ステップ16において実行される画像計測処理がどのように選択されるかについて言及していないが、最適な画像計測処理の選択を行うプログラムを抗体プログラム27として免疫記憶データベース25に登録することもできる。
【0043】
次に、図4から図7を参照しながら、画像計測処理の第1の例について説明する。
図4は、画像計測処理の第1の例を説明する図である。図4に示すように、第1の例では、3段階の画像処理を行う。第1段階は、ラスター画像をベクター化し、ベクター画像を生成する。第2段階は、ベクター画像から要素抽出を行い、要素画像を生成する。第3段階は、要素画像に対してパターン認識を行い、パターン画像を生成する。
【0044】
ラスター画像は、画像処理を何も施していない状態の画像であって、計測対象を含む元画像である。
ベクター画像は、ラスター画像(元画像)に対して、輪郭抽出、細線化などの画像処理を施した画像(第1の中間画像)である。ベクター画像は、複数のベクトルの集合体として表現される。ベクター化の画像処理は、抗体Aが行う。
要素画像は、ベクター画像(第1の中間画像)に対して、線分や領域の抽出、線分列の曲線へのフィッティングなどの画像処理を施した画像(第2の中間画像)である。要素画像は、複数の基本的な図形(=要素)の集合体として表現される。要素抽出の画像処理は、抗体Bが行う。
パターン画像は、要素画像(第2の中間画像)に対して、画像計測の対象外の要素(例えば、背景領域など)の削除、欠損箇所の補正などの画像処理を施した画像(計測画像)である。パターン画像は、画像計測を行う際、画像計測の対象となる要素のみが含まれているものとして扱われる。従って、画像計測の対象とならない要素を削除したり、欠損箇所を補正したりすることで、画像計測を正確に行うことができる。パターン認識の画像処理は、抗体Cが行う。
【0045】
図4に示す指標情報31aは、意味データベース23に保持されている。指標情報31aは、画像処理に用いる指標の内容を示すものである。
指標aは、ラスター画像が存在するか否かを示すフラグ(ラスター画像が存在する場合は1、存在しない場合は0を取る。)である。
指標bは、ベクター画像におけるベクトルの測度である。ここでの測度とは、所定の単位面積当たりのベクトルの数である。
指標cは、要素画像における要素数である。要素とは、前述した通り、線分、開曲線、閉曲線、多角形、楕円などの基本的な図形を意味する。
指標dは、パターン画像とテンプレート画像の親和度である。ここで、テンプレート画像は、中間画像が画像計測可能な程度まで画像処理が進行したかどうかを判定する画像である。すなわちテンプレート画像は、中間画像を計測画像として良いかを判定する為の画像である。従って、テンプレート画像は、課題ごとに異なる画像である。特に、フラクタル的類似性を有する工業的、科学的な画像では、適切なテンプレート画像を用意することで効率的な処理となる。
【0046】
図4に示す終了条件40aは、図3のステップ14において繰り返し処理を終了するかどうかの条件である。第1の例では、指標d、すなわち親和度が0.9以上になれば最適解が見つかったと判断し、繰り返し処理を終了する。
【0047】
図4に示す免疫記憶情報41aは、免疫記憶データベース25に保持されている。免疫記憶情報41aは、免疫記憶を一意に識別する免疫記憶ID42、各種の画像処理に対応する抗体プログラムの所在43、各種の画像処理を実行する動作条件44、各種の画像処理を実行することによって得られる効果の期待値45を含む。抗体プログラムの所在43は、例えば、URL(Uniform Resource Locator)等で定義される。従って、抗体プログラムは簡単に追加することができる。免疫記憶情報41には、同じ抗体プログラムであっても、動作条件44、期待値45が異なる毎に別の免疫記憶として登録される。これによって、ある計測対象に対して効果のあった抗体が、他の計測対象に対しても実行可能な仕組みとなっている。
【0048】
免疫記憶情報41aは、図3のステップ12において参照される。制御部11は、ステップ12において、処理対象の画像の現在の状態が動作条件44を満たす免疫記憶を検索し、検索された免疫記憶の抗体プログラムを呼び出して実行する。
例えば、抗体Aは、処理対象の画像の現在の状態が、指標a=1、かつ指標b<10、かつ指標d<0.9を満たす場合に実行される。
【0049】
図5は、第1の例における抗体作用順序を示す図である。図5では、図4に示した免疫記憶情報41aに基づいて画像計測処理を実行したときの抗体実行順序61aと抗体実行結果62aを示している。
図5に示す(1)〜(9)の番号は、抗体の実行順序を示している。以下、(1)〜(9)の番号を「抗体実行No」と呼ぶこととする。
各抗体は、期待値に基づく実行条件に従って各種の画像処理を実行する。例えば、抗体実行No(1)の抗体Aは、図4の免疫記憶情報41aに示すように、期待値45が「指標b=10」であるから、生成するベクター画像の測度が10以上となるように画像処理を実行する。
【0050】
抗体の実行結果が期待値通りにならず、終了条件を満たさなかった場合、制御部11は、前の段階まで遡って処理を繰り返す。このとき、各抗体は、期待値に基づく実行条件を変更して各種の画像処理を実行する。
例えば、図5の抗体実行結果62aに示すように、抗体実行No(2)の抗体Bの実行結果は「要素数=3」であり、期待値通りではない。そこで、抗体実行No(3)の抗体Aは、実行条件を「測度≧10」から「測度≧30」に変更し、画像処理を実行する。その他、抗体実行No(6)、(7)において実行条件が変更されている。
図5に示す例では、最終的に、抗体Aの実行条件が「測度≧50」(抗体実行No(7))、抗体Bの実行条件が「要素数≧10」(抗体実行No(8))、抗体Cの実行条件が「親和度≧0.9」(抗体実行No(9))によって各抗体を実行したときに、終了条件を満たしている。
【0051】
このように、抗体を実行するごとに抗体の効果を評価し、必要があれば実行条件を変更していくことで、1つの計測対象を処理する中でも抗体をダイナミックに進化させることができる。これによって、最適解が存在しないという事態を回避することができる。
【0052】
図6は、第1の例における状態情報の変化を示す図である。図6では、画像処理中の状態を保持する状態情報の変化を示している。図6に示す状態情報51a、51b、51cはRAM等に記憶され、抗体を実行するごとに更新する。状態情報は、状態を一意に識別する状態ID52、直前の状態を示す直前の状態ID53、実行した抗体を示す実行抗体54、画像処理を開始する時の指標値を示す開始時の指標値55、画像処理を終了した時の指標値を示す終了時の指標値56を含む。
【0053】
状態情報51aは、抗体実行No(2)が終了した時点の状態情報を示している。状態情報51aの状態3は、期待値通りの結果が得られていないので、制御部11は、前の段階まで遡って処理を繰り返す。
また、状態情報51bは、抗体実行No(5)が終了した時点の状態情報を示している。状態情報51bの状態4は、終了条件40aを満たしていないことから、制御部11は、前の段階まで遡って処理を繰り返す。
また、状態情報51cは、抗体実行No(9)が終了した時点の状態情報を示している。状態情報51cの状態4は、終了条件40aを満たしていることから、制御部11は、最適な解を算出したと判断し、処理を終了する。
【0054】
図7は、第1の例における免疫記憶情報の更新を示す図である。図7では、処理結果に基づいて更新された免疫記憶情報41bを示している。前述したように、制御部11は、図3のステップ17において処理結果を保存する。このとき、制御部11は、処理結果に基づいて、免疫記憶情報の動作条件と期待値を更新する。図7では、更新された箇所を下線で示している。
免疫記憶情報41bにおける免疫記憶1では、動作条件44の指標bの条件と期待値45の指標bの値が更新されている。また、免疫記憶2では、動作条件44の指標b、cの条件と期待値45の指標cの値が更新されている。また、免疫記憶3では、動作条件44の指標cの条件が更新されている。
【0055】
また、図7では、更新された免疫記憶情報41bに基づいて、類似画像に対する画像計測処理を実行した場合の抗体実行順序61bと抗体実行結果62bを示している。図7に示すように、免疫記憶情報41bに基づいて画像計測処理を実行すると、抗体A〜Cを1回ずつ実行するだけで終了条件40aを満たす。
このように、画像計測装置1は、効果のあった抗体の動作条件と期待値を記憶することができるので、類似画像に対する画像計測処理の実行時間を短縮することができる。
【0056】
尚、前述した例では、既に存在する免疫記憶情報の動作条件や期待値を変更したが、免疫記憶情報を新たに登録したり、既存の免疫記憶情報を削除したりしても良い。これによって、抗原の排除に有効な抗体を新たに記憶し、無効な抗体を統廃合する免疫記憶の機構を実現することができる。
【0057】
次に、図8から図13を参照しながら、画像計測処理の第2の例について説明する。第2の例は、並列的に複数の抗体が実行される例である。
図8、図9は、画像計測処理の第2の例を説明する図である。
図8では、テンプレート画像71a、パターン画像73a〜73e、抗体D〜Gを示している。テンプレート画像71aは、形状、回転角、横スケール、縦スケールのパラメータによって特定される。同様に、パターン画像73a〜73eも、形状、回転角、横スケール、縦スケールのパラメータによって特定される。
【0058】
抗体Dは、1次判定プログラムであって、パターン画像73a〜73eとテンプレート画像71aとの親和度を算出する。第2の例では、形状の相似性に加えて、回転角、横スケール、縦スケールのパラメータを比較することで、親和度を算出する。
抗体Eは、拡大縮小プログラムであって、テンプレート画像71aの横スケールと縦スケールに合わせて、解候補(パターン画像)の横スケールと縦スケールを変更する。
抗体Fは、回転プログラムであって、テンプレート画像71aの回転角に合わせて、解候補の回転角を変更する。
抗体Gは、辺増加プログラムであって、テンプレート画像71aの辺の数に合わせて、解候補の辺の数を増やす。
【0059】
図9では、第2の例における指標情報31cと免疫記憶情報41cを示している。第2の例では、解候補に対して繰り返し画像処理を施すことで親和度の高い解候補を得る。図9に示すように、指標eは、パターン画像とテンプレート画像の親和度である。終了条件40cは、指標e≧0.95である。また、第2の例では、淘汰条件60cも与える。淘汰条件60cを満たす解候補は淘汰され、その後の画像処理の対象としない。また、免疫記憶情報41cには、抗体D〜Gに関する免疫記憶が登録されている。
【0060】
図10は、第2の例における1回目の抗体実行を示す図である。
制御部11は、図3のステップ12を実行する。すなわち、制御部11は、免疫記憶情報41cを参照し、動作条件を満たす抗体を実行する。
初期状態では親和度の値を0とする。従って、免疫記憶情報41cを参照すると、免疫記憶11が動作条件を満たすので、抗体Dが実行される。
抗体Dは、パターン画像73a〜73eとテンプレート画像71aとの親和度を算出する。
【0061】
次に、制御部11は、図3のステップ14を実行する。すなわち、制御部11は、終了条件40c、淘汰条件60cを評価する。終了条件40cを満たす抗体は存在しないので、制御部11は処理を続行する。また、パターン画像73a、73b、73d、73eは淘汰条件60cを満たす。従って、パターン画像73a、73b、73d、73eは淘汰され、その後の画像処理の対象とはならない。一方、パターン画像73cは、淘汰条件60cを満たさないので、解候補73fとして次の処理の対象とする。
【0062】
図11は、第2の例における2回目の抗体実行を示す図である。図10に示したように、解候補73fは親和度が「0.5」である。従って、免疫記憶情報41cを参照すると、免疫記憶12〜14が動作条件を満たすので、抗体E〜Gが実行される。
抗体Eは、解候補73fに対して拡大縮小の画像処理を行い、解候補73gを生成する。また、抗体Fは、解候補73fに対して回転の画像処理を行い、解候補73hを生成する。また、抗体Gは、解候補73fに対して辺増加の画像処理を行い、解候補73iを生成する。
そして、各解候補の親和度を算出すると、解候補73g〜解候補73iは、全て終了条件40cを満たさない。また、淘汰条件60cも満たさない。従って、制御部11は、処理を続行し、解候補73g〜解候補73iを次の処理の対象とする。
【0063】
図12は、第2の例における3回目の抗体実行を示す図である。図11に示したように、解候補73g〜解候補73iの親和度は全て0.5以上である。従って、免疫記憶情報41cを参照すると、各解候補に対して免疫記憶12〜14が動作条件を満たす。但し、抗体E〜Gは、テンプレート画像71aに合わせて各パラメータを変更するので、同じ画像処理を2回実行しても意味がない。例えば、解候補73gに対しては、2回目の抗体実行によって拡大縮小の画像処理を実行しているので、横スケールと縦スケールの値がテンプレート画像71aと一致している。そこで、解候補73gに対しては、拡大縮小の画像処理を実行せず、回転と辺増加の画像処理を実行する。解候補73h、73iに対しても同様である。
そして、各解候補の親和度を算出すると、生成された解候補73j〜73oは、全て終了条件40cを満たさない。また、淘汰条件60cも満たさない。従って、制御部11は、処理を続行し、解候補73j〜73oを次の処理の対象とする。
【0064】
図13は、第2の例における4回目の抗体実行を示す図である。図12に示したように、解候補73j〜解候補73oの親和度は全て0.5以上である。従って、免疫記憶情報41cを参照すると、各解候補に対して免疫記憶12〜14が動作条件を満たす。但し、同じ画像処理は2回実行しないので、例えば、解候補73jに対しては、拡大縮小と回転の画像処理を実行せず、辺増加の画像処理を実行する。解候補73k〜73oに対しても同様である。
そして、各解候補の親和度を算出すると、生成された解候補73p〜73uは、全て終了条件40cを満たす。従って、制御部11は、処理を終了し、解候補73p〜73uのいずれか一つを最適解73vとして決定する。尚、この例では解候補73p〜73uの全てが終了条件40cを満たしているが、前述したように、いずれか一つが終了条件40cを満たせば、制御部11は処理を終了する。
【0065】
このように、画像計測装置1は、複数の抗体を並列的に実行するので、広大な解空間を効率良く探索することができる。従って、同じような画像処理を繰り返し、解空間の中から最適解を探すことができないという事態を回避することができる。
尚、前述した第2の例では抗体E〜Gの期待値が同じ値であったが、一般にはそれぞれ異なる期待値を有するので、前述したように、画像計測装置1は、期待値が大きい順に抗体を実行させる。
【0066】
次に、図14、図15を参照しながら、画像計測処理の第3の例について説明する。第3の例は、計測対象の関係が定義されている場合の例である。
図14は、第3の例における計測対象の関係の一例を示す図である。図14では、例えば、「樹脂」が「熱可塑性樹脂」と「熱硬化性樹脂」の上位概念であることを示している。また、例えば、「熱可塑性樹脂」が「一般汎用樹脂」と「汎用エンプラ」と「スーパーエンプラ」の上位概念であることを示している。
図14に示す計測対象の関係は、意味データベース23に保持される。
【0067】
図15は、第3の例における免疫記憶情報の更新を説明する図である。図15では、指標情報31d、免疫記憶情報41d、41eを示している。
指標情報31dによれば、指標fが「計測対象の材質」、指標gが「パターン画像とテンプレート画像の親和度」である。また、免疫記憶情報41dによれば、「樹脂」に対して抗体Hを実行させる免疫記憶21、「スーパーエンプラ」に対して抗体Iを実行させる免疫記憶22が登録されている。
【0068】
免疫記憶情報41eは、免疫記憶情報41dを基に所定のルールに従って新たに登録された免疫記憶を含む。
例えば、第1のルールは、上下関係のある計測対象同士において、上位概念の計測対象に関する免疫記憶を複製し、下位概念の計測対象に関する免疫記憶を登録するというものである。第1のルールでは、新たに登録する期待値は、上位概念の値をそのまま適用する。
第1のルールに従った例として、免疫記憶情報41eには、上位概念の「樹脂」に関する免疫記憶21を複製し、下位概念の「一般汎用樹脂」に関する免疫記憶23が登録されている。
【0069】
また、例えば、第2のルールは、上下関係のない計測対象同士において、一方の計測対象に関する免疫記憶を複製し、他方の計測対象に関する免疫記憶を登録するというものである。第2のルールでは、新たに登録する期待値は、複製元の免疫記憶の値を距離で除した値を適用する。
ここで、距離とは、図14に示す関係図において、一方の計測対象から他方の計測対象に到達するまでに通る枝の数とする。例えば、「スーパーエンプラ」から「汎用エンプラ」までの距離は「2」となる。また、例えば、「スーパーエンプラ」から「熱硬化性樹脂」までの距離は「3」となる。
第2のルールに従った例として、免疫記憶情報41eには、「スーパーエンプラ」に関する免疫記憶22を複製し、「汎用エンプラ」に関する免疫記憶24が登録されている。免疫記憶24の期待値45は、免疫記憶22の期待値45である「指標g=0.8」を距離「2」で除した値の「指標g=0.4」となる。
また、同様に第2のルールに従った例として、免疫記憶情報41eには、「スーパーエンプラ」に関する免疫記憶22を複製し、「熱硬化性樹脂」に関する免疫記憶25が登録されている。免疫記憶25の期待値45は、免疫記憶22の期待値45である「指標g=0.8」を距離「3」で除して、小数第3位で四捨五入した値の「指標g=0.27」となる。
尚、距離の算出は、階層に応じて重みを付けるようにしても良い。
【0070】
このように、ある計測対象の免疫記憶情報を複製し、他の免疫記憶情報として登録することで、未知の計測対象に対しても既知の計測対象に関する抗体を実行し、最適解を効率良く算出することができる。
新たな免疫記憶の登録は、図3のステップ13またはステップ17において行う。ステップ13において行うことで、1つの計測対象を処理する中でも抗体をダイナミックに増やすことができる。また、ステップ17において行うことで、効果のあった抗体を免疫記憶として新たに登録することができる。
【0071】
最後に、親和度の算出について説明する。親和度の算出は、対象とする画像によって様々である。対象が単純な形状である場合には、例えば面積を用いる。また、対象の境界形状が複雑である場合には、例えば境界線の微分値やフーリエ変換などを用いる。また、対象が繰り返し要素の集合体である場合には、単位面積当たりの繰り返し要素数などを用いる。また、これらを複数用いても良い。
【0072】
図16は、面積による親和度の算出の一例を示す図である。図16では、矩形の形状を有するパターン画像73w、円形の形状を有するテンプレート画像71wが示されている。パターン画像73wの面積とテンプレート画像71wの面積は同じであるが、形状は異なる。このような場合を考慮し、単なる面積の比較ではなく、過剰領域75と不足領域77の面積の総和に基づいて親和度を算出する。例えば、親和度=1−(過剰領域75と不足領域77の面積の総和)/(テンプレート画像71wの面積)である。過剰領域75と不足領域77の面積は、パターン画像73wとテンプレート画像71wの重心の位置を合わせることによって算出する。
【0073】
図17は、微分による親和度の算出の一例を示す図である。
図17に示す例では、パターン画像73xが12個の角を有する形状を有している。微分による親和度の算出では、パターン画像73xに対して、境界線上の各位置における微分値を算出し、グラフを作成する。また、テンプレート画像(不図示)に対しても同様に、境界線の各位置における微分値を算出し、グラフを作成する。そして、パターン画像73xのグラフとテンプレート画像のグラフをパターンマッチングすることで親和度を算出する。
尚、グラフの開始位置に依存して親和度が異なる値とならないように、例えば、微分値を境界線の2周分程度算出する。このように算出すると、パターン画像のグラフの横方向の大きさは、テンプレート画像のグラフの横方向の大きさの2倍程度となる。そして、テンプレート画像のグラフの特徴部分をパターン画像のグラフの特徴部分に重ねて位置合わせすることで、グラフの開始位置に依存して親和度が変化することはない。
【0074】
図18は、フーリエ変換による親和度の算出を説明する図である。
図18には、2つのパターン画像73y、73zと、対応するパワースペクトル79y、79zが示されている。パワースペクトル79y、79zは、パターン画像73y、73zの外形線を一種の波と考えて、フーリエ変換を施した結果である。
【0075】
図18に示すように、細かい変動が多いパターン画像73yに対応するパワースペクトル79yは、高周波数成分の値が高くなる。一方、細かい変動が少ないパターン画像73zに対応するパワースペクトル79zは、高周波数成分がない、または高周波数成分の値が低くなる。従って、パワースペクトルの高周波成分の値が大きいときは、細かい変動が多く、パターン画像の外形線が複雑であると評価できる。
そこで、フーリエ変換によって算出された高周波成分の値に基づいて、親和度を算出するようにしても良い。
【0076】
フーリエ変換による親和度の算出を行う抗体は、(1)テンプレート画像(またはテンプレート画像のフーリエ解析結果)が存在する、かつ(2)他の方法では親和度が所定の閾値に達していない場合に実行される。(1)の条件が必要な理由は、比較対象が存在しなければ親和度の算出ができないためである。(2)の条件が必要な理由は、色や境界線の微分値など他の方法によって算出された親和度が所定の閾値に達している場合には、計測対象のパターン画像が十分に認識されていることになり、フーリエ変換による方法は不要となるためである。
【0077】
尚、フーリエ変換は、親和度の算出だけではなく、パターン画像(計測画像)を生成するための画像処理にも用いることができる。例えば、フーリエ変換によって算出された高周波領域を削除した後にフーリエ逆変換を行うことで、計測対象のラフな形状を算出することができる。
【0078】
以上説明した通り、本実施の形態では、様々な課題に対して適用可能な免疫機構や進化の仕組みを提供する。本実施の形態の仕組みでは、免疫型画像計測プログラム21によって免疫機構や進化の仕組みが提供され、課題ごとに特有な処理は免疫型画像計測プログラム21が抗体プログラム27として呼び出すので、課題ごとに免疫機構や進化の仕組みを設計する必要がない。
【0079】
以上、添付図面を参照しながら、本発明に係る画像計測装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0080】
1………画像計測装置
21………免疫型画像計測プログラム
23………意味データベース
25………免疫記憶データベース
27………抗体プログラム
【技術分野】
【0001】
本発明は、免疫を模擬して画像に含まれる計測対象を計測する画像計測装置等に関するものである。
【背景技術】
【0002】
従来から、画像に含まれる計測対象をコンピュータによって計測するための画像計測ソフトウエアが開発され、実用化されている。ここで、画像とは、2次元空間又は3次元空間に投影可能な形状を持つもの全般を指す。従って、カメラによって撮影された写真などの他、音や光なども、波形データに変換することで2次元又はそれ以上の次元のデータとして表すことができ、画像計測の対象に含まれる。その他、色、明るさ、材質など様々な物理量の計測データも、適切なデータに変換することで、画像計測の対象に含まれる。
【0003】
画像計測ソフトウエアの一つとして、未知の抗原に感染することにより後天的に得られる獲得免疫の仕組みを模倣した最適化問題の解法である免疫アルゴリズム(Immune Algorithm)などを導入したものがある(非特許文献1参照)。一般に、免疫アルゴリズムでは、最適化問題における目的関数や前提条件を抗原、問題に対する解候補を抗体として捉え、抗原と抗体の親和性、つまり目的関数に対する解候補の評価値である親和度を算出して評価することで、解を導出する。また、免疫アルゴリズムは、解を導出した後、抗原の排除に有効な抗体を記憶し再感染に備えるシステム(免疫記憶)を有する。
【0004】
非特許文献1では、対象画像内から複数種類のテンプレート画像と一致性の高い部分画像領域を効率的に探索するため、テンプレート画像を識別するためのIDを遺伝子として組込んだ整数型免疫アルゴリズムが提案されている。提案手法では、抗体の遺伝子として、部分画像を囲む矩形の位置(tx、ty)、縮尺(sx、sy)、傾きθに加えて、テンプレート画像を識別するためのid遺伝子を組込む。多様なidを持つ抗体を生成し探索を行うことで、一度の試行で複数種類のテンプレート画像を同時に探索することができる。また、生殖ステップでの交叉、突然変異を適用する際、id遺伝子を積極的に変化させることで、進化が進むにつれて各抗体の近傍に存在する解に適したidが選択されると考えられるため探索効率の向上が期待できる。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】森山賀文著 「最適化問題における免疫アルゴリズムの研究」鹿児島大学理工学研究科博士論文 2008年
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、非特許文献1が提案する整数型免疫アルゴリズムを含め、従来の免疫アルゴリズムでは、課題ごとに免疫機構や進化の仕組みを注意深く設計しなければ、精度の高い画像計測を行うことができない。免疫機構や進化の仕組みの設計は高度な専門知識を必要とする為、課題ごとに免疫機構や進化の仕組みを設計することなく、様々な課題に対して汎用的に適用できる画像計測装置が望まれる。
【0007】
本発明は前述した問題点に鑑みてなされたもので、その目的とすることは、課題ごとに免疫機構や進化の仕組みを設計することなく、精度の高い画像計測を実行する画像計測装置等を提供することである。特に、本発明は、フラクタル的類似性を有する工業的または科学的な画像、たとえば、生体組織、細胞などの電子顕微鏡写真、鉱物組織、織布・不織布繊維のミクロ構造解析、樹脂のミクロ相分離、金属組織解析などに幅広く用いることができる。
【課題を解決するための手段】
【0008】
前述した目的を達成するために第1の発明は、画像に含まれる計測対象を計測する画像計測装置であって、各種処理の条件を定義する為の指標の意味を示す指標情報を保持する意味データベースと、所定の画像処理を実行する動作条件、所定の画像処理を実行することによって得られる効果の期待値、および所定の画像処理が記述された抗体プログラムの所在を含む免疫記憶情報を保持する免疫記憶データベースと、計測対象を含む元画像を取得する取得手段と、元画像の状態または所定の画像処理が施された中間画像の現在の状態を保持する状態情報を保持する保持手段と、前記状態情報に対して動作条件を満たす免疫記憶情報を検索し、検索された免疫記憶情報に係る抗体プログラムを呼び出し、検索された免疫記憶情報に係る期待値に基づく実行条件に従って所定の画像処理を実行する抗体実行手段と、前記状態情報を更新する状態更新手段と、予め定められた終了条件を満たすまで前記抗体実行手段および前記状態更新手段による処理を繰り返し、画像計測が可能な計測画像を生成する計測画像生成手段と、計測画像に対して所定の画像計測を行う画像計測手段と、を具備することを特徴とする画像計測装置である。
第1の発明によって、課題ごとに免疫機構や進化の仕組みを設計する必要がない画像計測装置を提供することができる。これによって、新たな課題に対するプログラミング作業を大幅に減らすことができる。
【0009】
また、第1の発明における前記抗体実行手段は、抗体プログラムの実行結果を評価し、期待値に基づく実行条件を更新することが望ましい。
これによって、1つの計測対象を処理する中で抗体をダイナミックに進化させることができる。従って、解が存在しないという事態を回避することができる。
【0010】
また、第1の発明は、前記計測画像生成手段による実行結果を評価し、免疫記憶情報に係る動作条件と期待値を更新する免疫記憶更新手段、を更に具備することが望ましい。
これによって、効果のあった抗体の動作条件と期待値を記憶することができる。従って、既に実行済の計測対象と類似する計測対象に対する画像計測を短時間で行うことができる。
【0011】
また、第1の発明における前記抗体実行手段は、期待値の大きい順に複数の抗体プログラムを呼び出すことが望ましい。
これによって、複数の抗体プログラムを実行することで、広大な解空間を効率よく探索することができる。従って、袋小路に入り込み、処理が終わらないという事態を回避することができる。また、期待値の大きい順に抗体プログラムを呼び出すことで、同時に実行する抗体の数を制限する場合であっても、高い効果が望まれる抗体から実行することができる。
【0012】
また、第1の発明における前記計測画像生成手段は、中間画像を計測画像として良いかどうかを判定する為の画像であるテンプレート画像を保持し、前記終了条件は、テンプレート画像と中間画像との親和度を用いて定義されることが望ましい。
これによって、課題ごとに適切なテンプレート画像を準備すれば、様々な課題に対して精度の高い画像計測を実行することができる。本発明は、フラクタル的類似性を有する工業的、科学的な画像処理を主目的としているので、特に適切なテンプレート画像を用意することが処理を効率的に行う上で重要である。
【0013】
また、第1の発明は、前記免疫記憶データベースに既に登録されている第1の計測対象に係る免疫記憶情報を複製し、第2の計測対象に係る免疫記憶情報として登録する免疫記憶登録手段、を更に具備することが望ましい。
これによって、ある計測対象に対して効果のあった抗体を他の計測対象に対しても実行させることができる。
【0014】
また、前記意味データベースは、更に、計測対象同士の関係を保持するものであり、前記免疫記憶登録手段は、前記第1の計測対象と前記第2の計測対象との間の関係に応じて前記第1の計測対象に係る免疫記憶情報の期待値を変更して、前記第2の計測対象に係る免疫記憶情報の期待値として登録することが望ましい。
これによって、免疫記憶情報を適切に複製することができ、より効率的な処理が実行できる。
【0015】
第2の発明は、画像に含まれる計測対象を計測する画像計測方法であって、各種処理の条件を定義する為の指標の意味を示す指標情報を保持する意味データベースと、所定の画像処理を実行する動作条件、所定の画像処理を実行することによって得られる効果の期待値、および所定の画像処理が記述された抗体プログラムの所在を含む免疫記憶情報を保持する免疫記憶データベースと、を記憶するステップと、計測対象を含む元画像を取得する取得ステップと、前記免疫記憶データベースから元画像の状態または元画像に対して所定の画像処理が施された中間画像の状態を保持する状態情報に対して動作条件を満たす免疫記憶情報を検索し、検索された免疫記憶情報に係る抗体プログラムを呼び出し、検索された免疫記憶情報に係る期待値に基づく実行条件に従って所定の画像処理を実行する抗体実行ステップと、前記状態情報を更新する状態更新ステップと、予め定められた終了条件を満たすまで前記抗体実行ステップおよび前記状態更新ステップによる処理を繰り返し、画像計測が可能な計測画像を生成する計測画像生成ステップと、計測画像に対して所定の画像計測を行う画像計測ステップと、を含むことを特徴とする画像計測方法である。
【0016】
第3の発明は、コンピュータを第1の発明の画像計測装置として機能させるための画像計測プログラムである。
【発明の効果】
【0017】
本発明により、課題ごとに免疫機構や進化の仕組みを設計することなく、精度の高い画像計測を実行する画像計測装置等を提供することができる。
【図面の簡単な説明】
【0018】
【図1】画像計測装置1のハードウエア構成図
【図2】画像計測装置1のソフトウエア構成図
【図3】画像計測処理の流れを示すフローチャート
【図4】画像計測処理の第1の例を説明する図
【図5】第1の例における抗体作用順序を示す図
【図6】第1の例における状態情報の変化を示す図
【図7】第1の例における免疫記憶情報の更新を示す図
【図8】画像計測処理の第2の例を説明する図
【図9】画像計測処理の第2の例を説明する図
【図10】第2の例における1回目の抗体実行を示す図
【図11】第2の例における2回目の抗体実行を示す図
【図12】第2の例における3回目の抗体実行を示す図
【図13】第2の例における4回目の抗体実行を示す図
【図14】第3の例における計測対象の関係の一例を示す図
【図15】第3の例における免疫記憶情報の更新を説明する図
【図16】面積による親和度の算出の一例を示す図
【図17】微分による親和度の算出の一例を示す図
【図18】フーリエ変換による親和度の算出を説明する図
【発明を実施するための形態】
【0019】
以下図面に基づいて、本発明の実施形態を詳細に説明する。
本発明の実施形態における画像計測装置は、元画像から所定の画像処理を施して中間画像を作成し、中間画像に対して所定の画像処理を施して計測対象を抽出し、計測対象を含む計測画像を生成し、抽出した計測対象に対して目的とする計測を行う。これらの一連の画像処理が、免疫を模擬したアルゴリズムによって実行される。
計測対象は、フラクタル的類似性を有する工業的または科学的な画像、たとえば、生体組織、細胞などの電子顕微鏡写真、鉱物組織、織布・不織布繊維のミクロ構造解析画像、樹脂のミクロ相分離画像、金属組織画像などである。また、フラクタル的類似性を有さない画像であっても同様に本発明を適用できる。
目的とする計測とは、単位面積におけるパターン数、計測対象内部に含まれる要素(点、線分、閉空間など)の数など様々である。
以下では、計測対象と目的とする画像計測の組み合わせを「課題」と称する。
【0020】
最初に、図1、図2を参照しながら、画像計測装置1の概略構成について説明する。
図1は、画像計測装置1のハードウエア構成図である。尚、図1のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
【0021】
画像計測装置1は、制御部11、記憶部12、メディア入出力部13、通信制御部14、入力部15、表示部16、周辺機器I/F部17等が、バス18を介して接続される。
【0022】
制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等で構成される。
【0023】
CPUは、記憶部12、ROM、記録媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、バス18を介して接続された各装置を駆動制御し、画像計測装置1が行う後述する処理を実現する。
ROMは、不揮発性メモリであり、コンピュータのブートプログラムやBIOS等のプログラム、データ等を恒久的に保持している。
RAMは、揮発性メモリであり、記憶部12、ROM、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部11が各種処理を行う為に使用するワークエリアを備える。
【0024】
記憶部12は、HDD(ハードディスクドライブ)であり、制御部11が実行するプログラム、プログラム実行に必要なデータ、OS(オペレーティングシステム)等が格納される。プログラムに関しては、OS(オペレーティングシステム)に相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。
これらの各プログラムコードは、制御部11により必要に応じて読み出されてRAMに移され、CPUに読み出されて各種の手段として実行される。
【0025】
メディア入出力部13(ドライブ装置)は、データの入出力を行い、例えば、CDドライブ(−ROM、−R、−RW等)、DVDドライブ(−ROM、−R、−RW等)等のメディア入出力装置を有する。
通信制御部14は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。ネットワークは、有線、無線を問わない。
【0026】
入力部15は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。
入力部15を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。
表示部16は、CRTモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等(ビデオアダプタ等)を有する。
【0027】
周辺機器I/F(インタフェース)部17は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器I/F部17を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器I/F部17は、USBやIEEE1394やRS−232C等で構成されており、通常複数の周辺機器I/Fを有する。周辺機器との接続形態は有線、無線を問わない。
バス18は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【0028】
図2は、画像計測装置1のソフトウエア構成図である。
画像計測装置1は、免疫型画像計測プログラム21、意味データベース23、免疫記憶データベース25、抗体プログラム27を有する。また、画像計測装置1は、ネットワーク5を介して、外部コンピュータ3a、3b等と接続されている。
【0029】
免疫型画像計測プログラム21は、免疫を模擬し、画像計測を行うためのプログラムである。免疫型画像計測プログラム21は、免疫記憶データベース25に格納される情報に基づいて抗体プログラム27を呼び出し、目的に応じた画像処理を実行させる。
【0030】
抗体プログラム27は、比較的小規模な画像処理を実行するプログラムであって、図3の説明にて後述する画像計測処理の中で抗体として扱われる。抗体プログラム27は、画像計測装置1に記憶されていても良いし、外部コンピュータ3a、3bに記憶されていても良い。
【0031】
意味データベース23は、各種処理の条件を定義する為の指標の意味を示す指標情報、計測対象同士の関係などを保持する。
【0032】
免疫記憶データベース25は、各種の画像処理を小さな処理単位に分割し、免疫記憶として管理する。免疫記憶データベース25は、後述する免疫記憶情報を保持する。免疫記憶情報は、各種の画像処理を実行する動作条件、各種の画像処理を実行することによって得られる効果の期待値、各種の画像処理に対応する抗体プログラムの所在を示す情報である。
【0033】
以下では、図3を参照しながら、画像計測装置1が実行する画像計測処理の概要を説明する。
図3は、画像計測処理の流れを示すフローチャートである。
【0034】
画像計測装置1の制御部11は、計測対象の画像を取得する(ステップ11)。ここでは、必要に応じて、ユーザが入力部15を介して計測対象の属性(計測対象の材質など)を入力する。
【0035】
次に、制御部11は、免疫記憶データベース25を参照し、処理対象の画像の現在の状態に対して動作条件を満たす抗体を実行する(ステップ12)。動作条件を満たす抗体が複数存在すれば複数実行される。抗体を複数実行させることで、広大な解空間を効率良く探索することが可能となる。但し、無制限に抗体を実行させてしまうと処理速度が遅くなってしまう。そこで、例えば、同時に実行させる抗体数について上限を設けるようにしても良い。また、例えば、同時に実行させる抗体の期待値の合計について上限を設けるようにしても良い。ここで、期待値の合計に上限を設けることについて、簡単な例を挙げて説明する。例えば、抗体の期待値の合計の上限を0.9とする。最初に実行した抗体の期待値が0.5であれば、次の抗体を実行する。次に実行した抗体の期待値が0.4であれば、合計が上限に達しているので、次の抗体は実行しない。
【0036】
また、制御部11は、動作条件を満たす抗体の中で、期待値が現在処理対象の画像の状態を上回る抗体のみを実行するようにしても良い。
また、制御部11は、動作条件を満たす抗体の中で、期待値の大きい抗体を優先して実行するようにしても良い。これによって、同時に実行させる抗体に上限を設けた場合であっても、高い効果が望まれる抗体から優先して実行させることができる。
【0037】
実行された複数の抗体は、並列的に処理を行う。従って、計測対象は、並列的に複数の状態へと変化していく。このような動作は、例えば、マルチスレッド処理によって実現可能である。マルチスレッド処理とは、スレッドと呼ばれる処理単位を複数起動し、並行して複数の処理を行うことである。ここでは、1つの抗体プログラム27を実行することが1つのスレッドを起動することに相当する。
【0038】
次に、制御部11は、抗体プログラム27の実行結果に基づいて、計測対象の状態を更新する(ステップ13)。計測対象の状態は、RAM等に記憶する。
【0039】
次に、制御部11は、計測対象が現在の状態で終了条件を満たすかどうか等の評価を行う(ステップ14)。終了条件は予め定義されている。終了条件の評価等は、実行された複数の抗体が処理を終了するごとに個別に行われる。従って、ある抗体の実行結果を評価しても終了条件を満たしていないが、他の抗体の実行結果を評価すると終了条件を満たしている場合がある。このような場合、制御部11は、いずれかの抗体の実行結果が終了条件を満たしていれば、最適解を算出したと判断し、繰り返し処理(ステップ12からステップ14)を終了する。
【0040】
終了条件を満たさない場合(ステップ14のNo)、制御部11は、ステップ12から繰り返す。
終了条件を満たす場合(ステップ14のYes)、制御部11は、計測対象の現在の状態の中から最適な解を決定し(ステップ15)、目的とする画像計測を実行する(ステップ16)。例えば、制御部11は、単位面積におけるパターン数、計測対象内部に含まれる要素(点、線分、閉空間など)の数などの画像計測を行う。
【0041】
次に、制御部11は、免疫記憶データベース25を更新することによって処理結果を保存し(ステップ17)、処理を終了する。免疫記憶データベース25の更新は、効果のあった抗体を免疫として記憶することを意味する。
【0042】
以上説明した通り、画像計測装置1は、抗体プログラム27の所在を記憶させた免疫記憶データベース25を保持する。そして、画像計測装置1は、免疫記憶データベース25を参照し、動作条件を満たす抗体プログラム27を呼び出して実行するようにしたので、課題ごとに免疫記憶や進化の仕組みを設計する必要がない。従って、新たな課題に対して画像計測を行うプログラムを作成する場合であっても、プログラミングの対象は抗体プログラム27のみとなるので、プログラミング作業を大幅に減らすことができる。特に、免疫機構や進化の仕組みの設計は高度な専門知識を必要とする為、量だけではなく質の面でも大幅に負荷を軽減することができる。
尚、前述した説明では、ステップ16において実行される画像計測処理がどのように選択されるかについて言及していないが、最適な画像計測処理の選択を行うプログラムを抗体プログラム27として免疫記憶データベース25に登録することもできる。
【0043】
次に、図4から図7を参照しながら、画像計測処理の第1の例について説明する。
図4は、画像計測処理の第1の例を説明する図である。図4に示すように、第1の例では、3段階の画像処理を行う。第1段階は、ラスター画像をベクター化し、ベクター画像を生成する。第2段階は、ベクター画像から要素抽出を行い、要素画像を生成する。第3段階は、要素画像に対してパターン認識を行い、パターン画像を生成する。
【0044】
ラスター画像は、画像処理を何も施していない状態の画像であって、計測対象を含む元画像である。
ベクター画像は、ラスター画像(元画像)に対して、輪郭抽出、細線化などの画像処理を施した画像(第1の中間画像)である。ベクター画像は、複数のベクトルの集合体として表現される。ベクター化の画像処理は、抗体Aが行う。
要素画像は、ベクター画像(第1の中間画像)に対して、線分や領域の抽出、線分列の曲線へのフィッティングなどの画像処理を施した画像(第2の中間画像)である。要素画像は、複数の基本的な図形(=要素)の集合体として表現される。要素抽出の画像処理は、抗体Bが行う。
パターン画像は、要素画像(第2の中間画像)に対して、画像計測の対象外の要素(例えば、背景領域など)の削除、欠損箇所の補正などの画像処理を施した画像(計測画像)である。パターン画像は、画像計測を行う際、画像計測の対象となる要素のみが含まれているものとして扱われる。従って、画像計測の対象とならない要素を削除したり、欠損箇所を補正したりすることで、画像計測を正確に行うことができる。パターン認識の画像処理は、抗体Cが行う。
【0045】
図4に示す指標情報31aは、意味データベース23に保持されている。指標情報31aは、画像処理に用いる指標の内容を示すものである。
指標aは、ラスター画像が存在するか否かを示すフラグ(ラスター画像が存在する場合は1、存在しない場合は0を取る。)である。
指標bは、ベクター画像におけるベクトルの測度である。ここでの測度とは、所定の単位面積当たりのベクトルの数である。
指標cは、要素画像における要素数である。要素とは、前述した通り、線分、開曲線、閉曲線、多角形、楕円などの基本的な図形を意味する。
指標dは、パターン画像とテンプレート画像の親和度である。ここで、テンプレート画像は、中間画像が画像計測可能な程度まで画像処理が進行したかどうかを判定する画像である。すなわちテンプレート画像は、中間画像を計測画像として良いかを判定する為の画像である。従って、テンプレート画像は、課題ごとに異なる画像である。特に、フラクタル的類似性を有する工業的、科学的な画像では、適切なテンプレート画像を用意することで効率的な処理となる。
【0046】
図4に示す終了条件40aは、図3のステップ14において繰り返し処理を終了するかどうかの条件である。第1の例では、指標d、すなわち親和度が0.9以上になれば最適解が見つかったと判断し、繰り返し処理を終了する。
【0047】
図4に示す免疫記憶情報41aは、免疫記憶データベース25に保持されている。免疫記憶情報41aは、免疫記憶を一意に識別する免疫記憶ID42、各種の画像処理に対応する抗体プログラムの所在43、各種の画像処理を実行する動作条件44、各種の画像処理を実行することによって得られる効果の期待値45を含む。抗体プログラムの所在43は、例えば、URL(Uniform Resource Locator)等で定義される。従って、抗体プログラムは簡単に追加することができる。免疫記憶情報41には、同じ抗体プログラムであっても、動作条件44、期待値45が異なる毎に別の免疫記憶として登録される。これによって、ある計測対象に対して効果のあった抗体が、他の計測対象に対しても実行可能な仕組みとなっている。
【0048】
免疫記憶情報41aは、図3のステップ12において参照される。制御部11は、ステップ12において、処理対象の画像の現在の状態が動作条件44を満たす免疫記憶を検索し、検索された免疫記憶の抗体プログラムを呼び出して実行する。
例えば、抗体Aは、処理対象の画像の現在の状態が、指標a=1、かつ指標b<10、かつ指標d<0.9を満たす場合に実行される。
【0049】
図5は、第1の例における抗体作用順序を示す図である。図5では、図4に示した免疫記憶情報41aに基づいて画像計測処理を実行したときの抗体実行順序61aと抗体実行結果62aを示している。
図5に示す(1)〜(9)の番号は、抗体の実行順序を示している。以下、(1)〜(9)の番号を「抗体実行No」と呼ぶこととする。
各抗体は、期待値に基づく実行条件に従って各種の画像処理を実行する。例えば、抗体実行No(1)の抗体Aは、図4の免疫記憶情報41aに示すように、期待値45が「指標b=10」であるから、生成するベクター画像の測度が10以上となるように画像処理を実行する。
【0050】
抗体の実行結果が期待値通りにならず、終了条件を満たさなかった場合、制御部11は、前の段階まで遡って処理を繰り返す。このとき、各抗体は、期待値に基づく実行条件を変更して各種の画像処理を実行する。
例えば、図5の抗体実行結果62aに示すように、抗体実行No(2)の抗体Bの実行結果は「要素数=3」であり、期待値通りではない。そこで、抗体実行No(3)の抗体Aは、実行条件を「測度≧10」から「測度≧30」に変更し、画像処理を実行する。その他、抗体実行No(6)、(7)において実行条件が変更されている。
図5に示す例では、最終的に、抗体Aの実行条件が「測度≧50」(抗体実行No(7))、抗体Bの実行条件が「要素数≧10」(抗体実行No(8))、抗体Cの実行条件が「親和度≧0.9」(抗体実行No(9))によって各抗体を実行したときに、終了条件を満たしている。
【0051】
このように、抗体を実行するごとに抗体の効果を評価し、必要があれば実行条件を変更していくことで、1つの計測対象を処理する中でも抗体をダイナミックに進化させることができる。これによって、最適解が存在しないという事態を回避することができる。
【0052】
図6は、第1の例における状態情報の変化を示す図である。図6では、画像処理中の状態を保持する状態情報の変化を示している。図6に示す状態情報51a、51b、51cはRAM等に記憶され、抗体を実行するごとに更新する。状態情報は、状態を一意に識別する状態ID52、直前の状態を示す直前の状態ID53、実行した抗体を示す実行抗体54、画像処理を開始する時の指標値を示す開始時の指標値55、画像処理を終了した時の指標値を示す終了時の指標値56を含む。
【0053】
状態情報51aは、抗体実行No(2)が終了した時点の状態情報を示している。状態情報51aの状態3は、期待値通りの結果が得られていないので、制御部11は、前の段階まで遡って処理を繰り返す。
また、状態情報51bは、抗体実行No(5)が終了した時点の状態情報を示している。状態情報51bの状態4は、終了条件40aを満たしていないことから、制御部11は、前の段階まで遡って処理を繰り返す。
また、状態情報51cは、抗体実行No(9)が終了した時点の状態情報を示している。状態情報51cの状態4は、終了条件40aを満たしていることから、制御部11は、最適な解を算出したと判断し、処理を終了する。
【0054】
図7は、第1の例における免疫記憶情報の更新を示す図である。図7では、処理結果に基づいて更新された免疫記憶情報41bを示している。前述したように、制御部11は、図3のステップ17において処理結果を保存する。このとき、制御部11は、処理結果に基づいて、免疫記憶情報の動作条件と期待値を更新する。図7では、更新された箇所を下線で示している。
免疫記憶情報41bにおける免疫記憶1では、動作条件44の指標bの条件と期待値45の指標bの値が更新されている。また、免疫記憶2では、動作条件44の指標b、cの条件と期待値45の指標cの値が更新されている。また、免疫記憶3では、動作条件44の指標cの条件が更新されている。
【0055】
また、図7では、更新された免疫記憶情報41bに基づいて、類似画像に対する画像計測処理を実行した場合の抗体実行順序61bと抗体実行結果62bを示している。図7に示すように、免疫記憶情報41bに基づいて画像計測処理を実行すると、抗体A〜Cを1回ずつ実行するだけで終了条件40aを満たす。
このように、画像計測装置1は、効果のあった抗体の動作条件と期待値を記憶することができるので、類似画像に対する画像計測処理の実行時間を短縮することができる。
【0056】
尚、前述した例では、既に存在する免疫記憶情報の動作条件や期待値を変更したが、免疫記憶情報を新たに登録したり、既存の免疫記憶情報を削除したりしても良い。これによって、抗原の排除に有効な抗体を新たに記憶し、無効な抗体を統廃合する免疫記憶の機構を実現することができる。
【0057】
次に、図8から図13を参照しながら、画像計測処理の第2の例について説明する。第2の例は、並列的に複数の抗体が実行される例である。
図8、図9は、画像計測処理の第2の例を説明する図である。
図8では、テンプレート画像71a、パターン画像73a〜73e、抗体D〜Gを示している。テンプレート画像71aは、形状、回転角、横スケール、縦スケールのパラメータによって特定される。同様に、パターン画像73a〜73eも、形状、回転角、横スケール、縦スケールのパラメータによって特定される。
【0058】
抗体Dは、1次判定プログラムであって、パターン画像73a〜73eとテンプレート画像71aとの親和度を算出する。第2の例では、形状の相似性に加えて、回転角、横スケール、縦スケールのパラメータを比較することで、親和度を算出する。
抗体Eは、拡大縮小プログラムであって、テンプレート画像71aの横スケールと縦スケールに合わせて、解候補(パターン画像)の横スケールと縦スケールを変更する。
抗体Fは、回転プログラムであって、テンプレート画像71aの回転角に合わせて、解候補の回転角を変更する。
抗体Gは、辺増加プログラムであって、テンプレート画像71aの辺の数に合わせて、解候補の辺の数を増やす。
【0059】
図9では、第2の例における指標情報31cと免疫記憶情報41cを示している。第2の例では、解候補に対して繰り返し画像処理を施すことで親和度の高い解候補を得る。図9に示すように、指標eは、パターン画像とテンプレート画像の親和度である。終了条件40cは、指標e≧0.95である。また、第2の例では、淘汰条件60cも与える。淘汰条件60cを満たす解候補は淘汰され、その後の画像処理の対象としない。また、免疫記憶情報41cには、抗体D〜Gに関する免疫記憶が登録されている。
【0060】
図10は、第2の例における1回目の抗体実行を示す図である。
制御部11は、図3のステップ12を実行する。すなわち、制御部11は、免疫記憶情報41cを参照し、動作条件を満たす抗体を実行する。
初期状態では親和度の値を0とする。従って、免疫記憶情報41cを参照すると、免疫記憶11が動作条件を満たすので、抗体Dが実行される。
抗体Dは、パターン画像73a〜73eとテンプレート画像71aとの親和度を算出する。
【0061】
次に、制御部11は、図3のステップ14を実行する。すなわち、制御部11は、終了条件40c、淘汰条件60cを評価する。終了条件40cを満たす抗体は存在しないので、制御部11は処理を続行する。また、パターン画像73a、73b、73d、73eは淘汰条件60cを満たす。従って、パターン画像73a、73b、73d、73eは淘汰され、その後の画像処理の対象とはならない。一方、パターン画像73cは、淘汰条件60cを満たさないので、解候補73fとして次の処理の対象とする。
【0062】
図11は、第2の例における2回目の抗体実行を示す図である。図10に示したように、解候補73fは親和度が「0.5」である。従って、免疫記憶情報41cを参照すると、免疫記憶12〜14が動作条件を満たすので、抗体E〜Gが実行される。
抗体Eは、解候補73fに対して拡大縮小の画像処理を行い、解候補73gを生成する。また、抗体Fは、解候補73fに対して回転の画像処理を行い、解候補73hを生成する。また、抗体Gは、解候補73fに対して辺増加の画像処理を行い、解候補73iを生成する。
そして、各解候補の親和度を算出すると、解候補73g〜解候補73iは、全て終了条件40cを満たさない。また、淘汰条件60cも満たさない。従って、制御部11は、処理を続行し、解候補73g〜解候補73iを次の処理の対象とする。
【0063】
図12は、第2の例における3回目の抗体実行を示す図である。図11に示したように、解候補73g〜解候補73iの親和度は全て0.5以上である。従って、免疫記憶情報41cを参照すると、各解候補に対して免疫記憶12〜14が動作条件を満たす。但し、抗体E〜Gは、テンプレート画像71aに合わせて各パラメータを変更するので、同じ画像処理を2回実行しても意味がない。例えば、解候補73gに対しては、2回目の抗体実行によって拡大縮小の画像処理を実行しているので、横スケールと縦スケールの値がテンプレート画像71aと一致している。そこで、解候補73gに対しては、拡大縮小の画像処理を実行せず、回転と辺増加の画像処理を実行する。解候補73h、73iに対しても同様である。
そして、各解候補の親和度を算出すると、生成された解候補73j〜73oは、全て終了条件40cを満たさない。また、淘汰条件60cも満たさない。従って、制御部11は、処理を続行し、解候補73j〜73oを次の処理の対象とする。
【0064】
図13は、第2の例における4回目の抗体実行を示す図である。図12に示したように、解候補73j〜解候補73oの親和度は全て0.5以上である。従って、免疫記憶情報41cを参照すると、各解候補に対して免疫記憶12〜14が動作条件を満たす。但し、同じ画像処理は2回実行しないので、例えば、解候補73jに対しては、拡大縮小と回転の画像処理を実行せず、辺増加の画像処理を実行する。解候補73k〜73oに対しても同様である。
そして、各解候補の親和度を算出すると、生成された解候補73p〜73uは、全て終了条件40cを満たす。従って、制御部11は、処理を終了し、解候補73p〜73uのいずれか一つを最適解73vとして決定する。尚、この例では解候補73p〜73uの全てが終了条件40cを満たしているが、前述したように、いずれか一つが終了条件40cを満たせば、制御部11は処理を終了する。
【0065】
このように、画像計測装置1は、複数の抗体を並列的に実行するので、広大な解空間を効率良く探索することができる。従って、同じような画像処理を繰り返し、解空間の中から最適解を探すことができないという事態を回避することができる。
尚、前述した第2の例では抗体E〜Gの期待値が同じ値であったが、一般にはそれぞれ異なる期待値を有するので、前述したように、画像計測装置1は、期待値が大きい順に抗体を実行させる。
【0066】
次に、図14、図15を参照しながら、画像計測処理の第3の例について説明する。第3の例は、計測対象の関係が定義されている場合の例である。
図14は、第3の例における計測対象の関係の一例を示す図である。図14では、例えば、「樹脂」が「熱可塑性樹脂」と「熱硬化性樹脂」の上位概念であることを示している。また、例えば、「熱可塑性樹脂」が「一般汎用樹脂」と「汎用エンプラ」と「スーパーエンプラ」の上位概念であることを示している。
図14に示す計測対象の関係は、意味データベース23に保持される。
【0067】
図15は、第3の例における免疫記憶情報の更新を説明する図である。図15では、指標情報31d、免疫記憶情報41d、41eを示している。
指標情報31dによれば、指標fが「計測対象の材質」、指標gが「パターン画像とテンプレート画像の親和度」である。また、免疫記憶情報41dによれば、「樹脂」に対して抗体Hを実行させる免疫記憶21、「スーパーエンプラ」に対して抗体Iを実行させる免疫記憶22が登録されている。
【0068】
免疫記憶情報41eは、免疫記憶情報41dを基に所定のルールに従って新たに登録された免疫記憶を含む。
例えば、第1のルールは、上下関係のある計測対象同士において、上位概念の計測対象に関する免疫記憶を複製し、下位概念の計測対象に関する免疫記憶を登録するというものである。第1のルールでは、新たに登録する期待値は、上位概念の値をそのまま適用する。
第1のルールに従った例として、免疫記憶情報41eには、上位概念の「樹脂」に関する免疫記憶21を複製し、下位概念の「一般汎用樹脂」に関する免疫記憶23が登録されている。
【0069】
また、例えば、第2のルールは、上下関係のない計測対象同士において、一方の計測対象に関する免疫記憶を複製し、他方の計測対象に関する免疫記憶を登録するというものである。第2のルールでは、新たに登録する期待値は、複製元の免疫記憶の値を距離で除した値を適用する。
ここで、距離とは、図14に示す関係図において、一方の計測対象から他方の計測対象に到達するまでに通る枝の数とする。例えば、「スーパーエンプラ」から「汎用エンプラ」までの距離は「2」となる。また、例えば、「スーパーエンプラ」から「熱硬化性樹脂」までの距離は「3」となる。
第2のルールに従った例として、免疫記憶情報41eには、「スーパーエンプラ」に関する免疫記憶22を複製し、「汎用エンプラ」に関する免疫記憶24が登録されている。免疫記憶24の期待値45は、免疫記憶22の期待値45である「指標g=0.8」を距離「2」で除した値の「指標g=0.4」となる。
また、同様に第2のルールに従った例として、免疫記憶情報41eには、「スーパーエンプラ」に関する免疫記憶22を複製し、「熱硬化性樹脂」に関する免疫記憶25が登録されている。免疫記憶25の期待値45は、免疫記憶22の期待値45である「指標g=0.8」を距離「3」で除して、小数第3位で四捨五入した値の「指標g=0.27」となる。
尚、距離の算出は、階層に応じて重みを付けるようにしても良い。
【0070】
このように、ある計測対象の免疫記憶情報を複製し、他の免疫記憶情報として登録することで、未知の計測対象に対しても既知の計測対象に関する抗体を実行し、最適解を効率良く算出することができる。
新たな免疫記憶の登録は、図3のステップ13またはステップ17において行う。ステップ13において行うことで、1つの計測対象を処理する中でも抗体をダイナミックに増やすことができる。また、ステップ17において行うことで、効果のあった抗体を免疫記憶として新たに登録することができる。
【0071】
最後に、親和度の算出について説明する。親和度の算出は、対象とする画像によって様々である。対象が単純な形状である場合には、例えば面積を用いる。また、対象の境界形状が複雑である場合には、例えば境界線の微分値やフーリエ変換などを用いる。また、対象が繰り返し要素の集合体である場合には、単位面積当たりの繰り返し要素数などを用いる。また、これらを複数用いても良い。
【0072】
図16は、面積による親和度の算出の一例を示す図である。図16では、矩形の形状を有するパターン画像73w、円形の形状を有するテンプレート画像71wが示されている。パターン画像73wの面積とテンプレート画像71wの面積は同じであるが、形状は異なる。このような場合を考慮し、単なる面積の比較ではなく、過剰領域75と不足領域77の面積の総和に基づいて親和度を算出する。例えば、親和度=1−(過剰領域75と不足領域77の面積の総和)/(テンプレート画像71wの面積)である。過剰領域75と不足領域77の面積は、パターン画像73wとテンプレート画像71wの重心の位置を合わせることによって算出する。
【0073】
図17は、微分による親和度の算出の一例を示す図である。
図17に示す例では、パターン画像73xが12個の角を有する形状を有している。微分による親和度の算出では、パターン画像73xに対して、境界線上の各位置における微分値を算出し、グラフを作成する。また、テンプレート画像(不図示)に対しても同様に、境界線の各位置における微分値を算出し、グラフを作成する。そして、パターン画像73xのグラフとテンプレート画像のグラフをパターンマッチングすることで親和度を算出する。
尚、グラフの開始位置に依存して親和度が異なる値とならないように、例えば、微分値を境界線の2周分程度算出する。このように算出すると、パターン画像のグラフの横方向の大きさは、テンプレート画像のグラフの横方向の大きさの2倍程度となる。そして、テンプレート画像のグラフの特徴部分をパターン画像のグラフの特徴部分に重ねて位置合わせすることで、グラフの開始位置に依存して親和度が変化することはない。
【0074】
図18は、フーリエ変換による親和度の算出を説明する図である。
図18には、2つのパターン画像73y、73zと、対応するパワースペクトル79y、79zが示されている。パワースペクトル79y、79zは、パターン画像73y、73zの外形線を一種の波と考えて、フーリエ変換を施した結果である。
【0075】
図18に示すように、細かい変動が多いパターン画像73yに対応するパワースペクトル79yは、高周波数成分の値が高くなる。一方、細かい変動が少ないパターン画像73zに対応するパワースペクトル79zは、高周波数成分がない、または高周波数成分の値が低くなる。従って、パワースペクトルの高周波成分の値が大きいときは、細かい変動が多く、パターン画像の外形線が複雑であると評価できる。
そこで、フーリエ変換によって算出された高周波成分の値に基づいて、親和度を算出するようにしても良い。
【0076】
フーリエ変換による親和度の算出を行う抗体は、(1)テンプレート画像(またはテンプレート画像のフーリエ解析結果)が存在する、かつ(2)他の方法では親和度が所定の閾値に達していない場合に実行される。(1)の条件が必要な理由は、比較対象が存在しなければ親和度の算出ができないためである。(2)の条件が必要な理由は、色や境界線の微分値など他の方法によって算出された親和度が所定の閾値に達している場合には、計測対象のパターン画像が十分に認識されていることになり、フーリエ変換による方法は不要となるためである。
【0077】
尚、フーリエ変換は、親和度の算出だけではなく、パターン画像(計測画像)を生成するための画像処理にも用いることができる。例えば、フーリエ変換によって算出された高周波領域を削除した後にフーリエ逆変換を行うことで、計測対象のラフな形状を算出することができる。
【0078】
以上説明した通り、本実施の形態では、様々な課題に対して適用可能な免疫機構や進化の仕組みを提供する。本実施の形態の仕組みでは、免疫型画像計測プログラム21によって免疫機構や進化の仕組みが提供され、課題ごとに特有な処理は免疫型画像計測プログラム21が抗体プログラム27として呼び出すので、課題ごとに免疫機構や進化の仕組みを設計する必要がない。
【0079】
以上、添付図面を参照しながら、本発明に係る画像計測装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0080】
1………画像計測装置
21………免疫型画像計測プログラム
23………意味データベース
25………免疫記憶データベース
27………抗体プログラム
【特許請求の範囲】
【請求項1】
画像に含まれる計測対象を計測する画像計測装置であって、
各種処理の条件を定義する為の指標の意味を示す指標情報を保持する意味データベースと、
所定の画像処理を実行する動作条件、所定の画像処理を実行することによって得られる効果の期待値、および所定の画像処理が記述された抗体プログラムの所在を含む免疫記憶情報を保持する免疫記憶データベースと、
計測対象を含む元画像を取得する取得手段と、
元画像の状態または所定の画像処理が施された中間画像の現在の状態を保持する状態情報を保持する保持手段と、
前記状態情報に対して動作条件を満たす免疫記憶情報を検索し、検索された免疫記憶情報に係る抗体プログラムを呼び出し、検索された免疫記憶情報に係る期待値に基づく実行条件に従って所定の画像処理を実行する抗体実行手段と、
前記状態情報を更新する状態更新手段と、
予め定められた終了条件を満たすまで前記抗体実行手段および前記状態更新手段による処理を繰り返し、画像計測が可能な計測画像を生成する計測画像生成手段と、
計測画像に対して所定の画像計測を行う画像計測手段と、
を具備することを特徴とする画像計測装置。
【請求項2】
前記抗体実行手段は、抗体プログラムの実行結果を評価し、期待値に基づく実行条件を更新することを特徴とする請求項1に記載の画像計測装置。
【請求項3】
前記計測画像生成手段による実行結果を評価し、免疫記憶情報に係る動作条件と期待値を更新する免疫記憶更新手段、
を更に具備することを特徴とする請求項1に記載の画像計測装置。
【請求項4】
前記抗体実行手段は、期待値の大きい順に複数の抗体プログラムを呼び出すことを特徴とする請求項1に記載の画像計測装置。
【請求項5】
前記計測画像生成手段は、中間画像を計測画像として良いかどうかを判定する為の画像であるテンプレート画像を保持し、
前記終了条件は、テンプレート画像と中間画像との親和度を用いて定義されることを特徴とする請求項1に記載の画像計測装置。
【請求項6】
前記免疫記憶データベースに既に登録されている第1の計測対象に係る免疫記憶情報を複製し、第2の計測対象に係る免疫記憶情報として登録する免疫記憶登録手段、
を更に具備することを特徴とする請求項1に記載の画像計測装置。
【請求項7】
前記意味データベースは、更に、計測対象同士の関係を保持するものであり、
前記免疫記憶登録手段は、前記第1の計測対象と前記第2の計測対象との間の関係に応じて前記第1の計測対象に係る免疫記憶情報の期待値を変更して、前記第2の計測対象に係る免疫記憶情報の期待値として登録することを特徴とする請求項6に記載の画像計測装置。
【請求項8】
画像に含まれる計測対象を計測する画像計測方法であって、
各種処理の条件を定義する為の指標の意味を示す指標情報を保持する意味データベースと、所定の画像処理を実行する動作条件、所定の画像処理を実行することによって得られる効果の期待値、および所定の画像処理が記述された抗体プログラムの所在を含む免疫記憶情報を保持する免疫記憶データベースと、を記憶するステップと、
計測対象を含む元画像を取得する取得ステップと、
前記免疫記憶データベースから元画像の状態または元画像に対して所定の画像処理が施された中間画像の状態を保持する状態情報に対して動作条件を満たす免疫記憶情報を検索し、検索された免疫記憶情報に係る抗体プログラムを呼び出し、検索された免疫記憶情報に係る期待値に基づく実行条件に従って所定の画像処理を実行する抗体実行ステップと、
前記状態情報を更新する状態更新ステップと、
予め定められた終了条件を満たすまで前記抗体実行ステップおよび前記状態更新ステップによる処理を繰り返し、画像計測が可能な計測画像を生成する計測画像生成ステップと、
計測画像に対して所定の画像計測を行う画像計測ステップと、
を含むことを特徴とする画像計測方法。
【請求項9】
コンピュータを請求項1に記載の画像計測装置として機能させるための画像計測プログラム。
【請求項1】
画像に含まれる計測対象を計測する画像計測装置であって、
各種処理の条件を定義する為の指標の意味を示す指標情報を保持する意味データベースと、
所定の画像処理を実行する動作条件、所定の画像処理を実行することによって得られる効果の期待値、および所定の画像処理が記述された抗体プログラムの所在を含む免疫記憶情報を保持する免疫記憶データベースと、
計測対象を含む元画像を取得する取得手段と、
元画像の状態または所定の画像処理が施された中間画像の現在の状態を保持する状態情報を保持する保持手段と、
前記状態情報に対して動作条件を満たす免疫記憶情報を検索し、検索された免疫記憶情報に係る抗体プログラムを呼び出し、検索された免疫記憶情報に係る期待値に基づく実行条件に従って所定の画像処理を実行する抗体実行手段と、
前記状態情報を更新する状態更新手段と、
予め定められた終了条件を満たすまで前記抗体実行手段および前記状態更新手段による処理を繰り返し、画像計測が可能な計測画像を生成する計測画像生成手段と、
計測画像に対して所定の画像計測を行う画像計測手段と、
を具備することを特徴とする画像計測装置。
【請求項2】
前記抗体実行手段は、抗体プログラムの実行結果を評価し、期待値に基づく実行条件を更新することを特徴とする請求項1に記載の画像計測装置。
【請求項3】
前記計測画像生成手段による実行結果を評価し、免疫記憶情報に係る動作条件と期待値を更新する免疫記憶更新手段、
を更に具備することを特徴とする請求項1に記載の画像計測装置。
【請求項4】
前記抗体実行手段は、期待値の大きい順に複数の抗体プログラムを呼び出すことを特徴とする請求項1に記載の画像計測装置。
【請求項5】
前記計測画像生成手段は、中間画像を計測画像として良いかどうかを判定する為の画像であるテンプレート画像を保持し、
前記終了条件は、テンプレート画像と中間画像との親和度を用いて定義されることを特徴とする請求項1に記載の画像計測装置。
【請求項6】
前記免疫記憶データベースに既に登録されている第1の計測対象に係る免疫記憶情報を複製し、第2の計測対象に係る免疫記憶情報として登録する免疫記憶登録手段、
を更に具備することを特徴とする請求項1に記載の画像計測装置。
【請求項7】
前記意味データベースは、更に、計測対象同士の関係を保持するものであり、
前記免疫記憶登録手段は、前記第1の計測対象と前記第2の計測対象との間の関係に応じて前記第1の計測対象に係る免疫記憶情報の期待値を変更して、前記第2の計測対象に係る免疫記憶情報の期待値として登録することを特徴とする請求項6に記載の画像計測装置。
【請求項8】
画像に含まれる計測対象を計測する画像計測方法であって、
各種処理の条件を定義する為の指標の意味を示す指標情報を保持する意味データベースと、所定の画像処理を実行する動作条件、所定の画像処理を実行することによって得られる効果の期待値、および所定の画像処理が記述された抗体プログラムの所在を含む免疫記憶情報を保持する免疫記憶データベースと、を記憶するステップと、
計測対象を含む元画像を取得する取得ステップと、
前記免疫記憶データベースから元画像の状態または元画像に対して所定の画像処理が施された中間画像の状態を保持する状態情報に対して動作条件を満たす免疫記憶情報を検索し、検索された免疫記憶情報に係る抗体プログラムを呼び出し、検索された免疫記憶情報に係る期待値に基づく実行条件に従って所定の画像処理を実行する抗体実行ステップと、
前記状態情報を更新する状態更新ステップと、
予め定められた終了条件を満たすまで前記抗体実行ステップおよび前記状態更新ステップによる処理を繰り返し、画像計測が可能な計測画像を生成する計測画像生成ステップと、
計測画像に対して所定の画像計測を行う画像計測ステップと、
を含むことを特徴とする画像計測方法。
【請求項9】
コンピュータを請求項1に記載の画像計測装置として機能させるための画像計測プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2011−165029(P2011−165029A)
【公開日】平成23年8月25日(2011.8.25)
【国際特許分類】
【出願番号】特願2010−28584(P2010−28584)
【出願日】平成22年2月12日(2010.2.12)
【出願人】(598018786)古河インフォメーション・テクノロジー株式会社 (9)
【出願人】(000005290)古河電気工業株式会社 (4,457)
【Fターム(参考)】
【公開日】平成23年8月25日(2011.8.25)
【国際特許分類】
【出願日】平成22年2月12日(2010.2.12)
【出願人】(598018786)古河インフォメーション・テクノロジー株式会社 (9)
【出願人】(000005290)古河電気工業株式会社 (4,457)
【Fターム(参考)】
[ Back to top ]