画像処理装置、画像処理方法、及び画像処理プログラム
【課題】異常部と、該異常部と同種の色情報を有する他の被写体とを精度良く識別できる画像処理装置、画像処理方法、及び画像処理プログラムを提供する。
【解決手段】画像処理装置は、被検体の管腔内を撮像した画像を構成する各画素の色情報を基に異常部の候補領域を検出する異常部候補領域検出部１１０と、候補領域の境界近傍に存在する画素である境界近傍画素を特定する境界近傍画素特定部１２０と、境界近傍画素の画素値に基づき特徴量を算出する特徴量算出部１３０と、特徴量を基に異常部領域を識別する異常部領域識別部１４０とを備える。
【解決手段】画像処理装置は、被検体の管腔内を撮像した画像を構成する各画素の色情報を基に異常部の候補領域を検出する異常部候補領域検出部１１０と、候補領域の境界近傍に存在する画素である境界近傍画素を特定する境界近傍画素特定部１２０と、境界近傍画素の画素値に基づき特徴量を算出する特徴量算出部１３０と、特徴量を基に異常部領域を識別する異常部領域識別部１４０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検体の体内を撮像した画像から異常部を検出する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、内視鏡等の医用観察装置により被検体の管腔内を撮像した管腔内画像（以下、単に画像ともいう）から異常部を検出するために、種々の方法が検討されている。例えば、特許文献１には、画像内の各画素の画素値を各画素の色情報に基づく特徴空間に写像し、特徴空間内でクラスタリングを行った後、各クラスタの大きさや重心座標等の情報を基に正常粘膜クラスタや異常部クラスタを特定し、異常部クラスタに属する画素を異常部として検出する画像処理方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１９２８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、内視鏡によって撮像される画像には、アフタ性病変や潰瘍といった白色調の病変部（異常部）に対し、食物残渣や、鏡面反射や、内視鏡に近接して撮像された粘膜面のように、異常部と同種の色情報を有する他の被写体が写っている場合がある。このため、従来のように、色情報のみに基づいて異常部を検出しようとすると、異常部とこれら他の被写体を識別することができないという問題があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、異常部と、該異常部と同種の色情報を有する他の被写体とを精度良く識別できる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被検体の管腔内を撮像した画像を構成する各画素の色情報を基に異常部の候補領域を検出する異常部候補領域検出部と、前記候補領域の境界近傍に存在する画素である境界近傍画素を特定する境界近傍画素特定部と、前記境界近傍画素の画素値に基づく特徴量を算出する特徴量算出部と、前記特徴量を基に異常部領域を識別する異常部領域識別部とを備えることを特徴とする。
【０００７】
本発明に係る画像処理方法は、被検体の管腔内を撮像した画像を構成する各画素の色情報を基に異常部の候補領域を検出する異常部候補領域検出ステップと、前記候補領域の境界近傍に存在する画素である境界近傍画素を特定する境界近傍画素特定ステップと、前記境界近傍画素の画素値に基づく特徴量を算出する特徴量算出ステップと、前記特徴量を基に異常部領域を識別する異常部領域識別ステップとを含むことを特徴とする。
【０００８】
本発明に係る画像処理プログラムは、被検体の管腔内を撮像した画像を構成する各画素の色情報を基に異常部の候補領域を検出する異常部候補領域検出ステップと、前記候補領域の境界近傍に存在する画素である境界近傍画素を特定する境界近傍画素特定ステップと、前記境界近傍画素の画素値に基づく特徴量を算出する特徴量算出ステップと、前記特徴量を基に異常部領域を識別する異常部領域識別ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像の色情報に基づいて異常部候補領域を検出した後、異常部候補領域の境界近傍画素の画素値に基づく特徴量を算出し、該特徴量を基に異常部領域を識別するので、異常部と、該異常部と同種の色情報を有する他の被写体とを精度良く識別することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、図１に示す画像処理装置の動作を示すフローチャートである。
【図３】図３は、図１に示す画像処理装置の処理対象である画像の一例を示す模式図である。
【図４】図４は、図３に示す画像に対応する候補領域画像を示す模式図である。
【図５】図５は、図１に示す境界近傍画素特定部の動作を示すフローチャートである。
【図６】図６は、図４に示す画像から検出された境界画素を示す模式図である。
【図７】図７は、図６に示す画像から算出された距離変換画像を示す模式図である。
【図８】図８は、図７に示す画像を距離変換領域に分割した領域ラベル画像を示す模式図である。
【図９】図９は、図７に示す画像に基づいて設定された境界近傍領域を示す模式図である。
【図１０】図１０は、図１に示す境界近傍画素の画素値に基づく特徴量の算出処理を示すフローチャートである。
【図１１】図１１は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図１２】図１２は、図１１に示す境界近傍画素特定部の動作を示すフローチャートである。
【図１３】図１３は、実施の形態２における境界近傍画素の特定方法を説明する模式図である。
【図１４】図１４は、実施の形態２における境界近傍画素の特定方法を説明する模式図である。
【図１５】図１５は、実施の形態２の変形例における外辺有効画素特定部の構成を示すブロック図である。
【図１６】図１６は、実施の形態２の変形例における境界近傍画素特定部の動作を示すフローチャートである。
【図１７】図１７は、実施の形態２の変形例における検査対象領域の判定方法を説明する模式図である。
【図１８】図１８は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。
【図１９】図１９は、図１８に示す特徴量算出部の動作を示すフローチャートである。
【図２０】図２０は、本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。
【図２１】図２１は、図２０に示す特徴量算出部の動作を示すフローチャートである。
【図２２】図２２は、画素値変化情報の算出方法を説明する模式図である。
【図２３】図２３は、図２２に示す画素群に対応する画素値の平均値を示すグラフである。
【図２４】図２４は、正規化された画素値の平均値を示すグラフである。
【図２５】図２５は、本発明の実施の形態５に係る画像処理装置の構成を示すブロック図である。
【図２６】図２６は、図２５に示す特徴量算出部の動作を示すフローチャートである。
【図２７】図２７は、画素値の変化量情報（微分値）を示すグラフである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１２】
以下の実施の形態においては、一例として、カプセル内視鏡等の医用観察装置によって被検体の管腔内を撮像することにより取得された管腔内画像（以下、単に画像ともいう）から白色調の病変部（以下、異常部ともいう）を検出する画像処理について説明する。なお、以下の実施の形態において画像処理の対象となる管腔内画像は、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分（波長成分）に対する画素レベル（画素値）を持つカラー画像である。
【００１３】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置１は、画像処理装置１全体の動作を制御する制御部１０と、カプセル内視鏡等の医用観察装置によって撮像された画像に対応する画像データを取得する画像取得部２０と、外部から入力される入力信号を受け付ける入力部３０と、各種表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。
【００１４】
制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部５０に格納された各種プログラムを読み込むことにより、画像取得部２０から入力される画像データや入力部３０から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００１５】
画像取得部２０は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル内視鏡であり、医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部２０は、この記録媒体を着脱自在に装着し、保存された管腔内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された管腔内画像の画像データを保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って管腔内画像の画像データを取得する。或いは、画像取得部２０を、内視鏡等の医用観察装置から、ケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
【００１６】
入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、受け付けた入力信号を制御部１０に出力する。
表示部４０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。
【００１７】
記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記録部５０は、画像取得部２０によって取得された管腔内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を記録する。具体的には、記録部５０は、管腔内画像から異常部を検出する画像処理を当該画像処理装置１に実行させるための画像処理プログラム５１を記録する他、予めサンプリングにより取得したアフタ性病変や潰瘍等の白色調の病変部に属する画素の色特徴量といった情報を記録する。
【００１８】
演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことによって管腔内画像に対応する画像データに画像処理を施し、管腔内画像から異常部を検出するための種々の演算処理を行う。
【００１９】
次に、演算部１００の詳細な構成について説明する。
図１に示すように、演算部１００は、管腔内画像の色情報を基に異常部の候補領域を検出する異常部候補領域検出部１１０と、該候補領域の境界近傍画素を特定する境界近傍画素特定部１２０と、境界近傍画素の画素値に基づき特徴量を算出する特徴量算出部１３０と、該特徴量を基に異常部領域を識別する異常部領域識別部１４０とを備える。
【００２０】
この内、境界近傍画素特定部１２０は、候補領域の境界近傍領域を設定する境界近傍領域設定部１２１を有し、境界近傍領域内の画素を境界近傍画素として特定する。ここで、境界近傍領域とは、候補領域の境界に位置する画素（境界画素）を挟んで候補領域の内側及び外側に設定される所定の幅以下の領域のことである。より詳細には、境界近傍領域設定部１２１は、画像内の各画素と境界画素との間の距離を表す距離変換画像を算出する距離変換画像算出部１２１ａと、距離変換画像を候補領域にそれぞれ対応する距離変換領域に分割する距離変換画像分割部１２１ｂとを含む。
また、特徴量算出部１３０は、境界近傍画素のエッジ強度を算出するエッジ強度算出部１３１を有し、エッジ強度を特徴量とすることを特徴とする。
【００２１】
次に、画像処理装置１の動作について説明する。図２は、画像処理装置１の動作を示すフローチャートである。また、図３は、画像処理装置１の処理対象である画像の一例を示す模式図である。図３に示すように、画像Ｍ１には、粘膜Ｍｅｍの表面に現れた白色調の病変部の領域Ａ１と、粘膜Ｍｅｍの画面の手前側の空間に浮遊し、又は、粘膜Ｍｅｍの表面に堆積（付着）した残渣の領域Ａ２〜Ａ５とが写されている。なお、領域Ａ２〜Ａ５は、粘膜Ｍｅｍよりも画面の手前側に突出しているため、領域Ａ２〜Ａ５の境界の周囲には影が現れている。
【００２２】
まず、ステップＳ１１において、画像取得部２０は、被検体の管腔内画像を取得して記録部５０に格納する。演算部１００は、処理対象の画像（例えば、画像Ｍ１）を記録部５０から順次読み込む。
【００２３】
続くステップＳ１２において、異常部候補領域検出部１１０は、画像を構成する各画素の色情報を基に、異常部の候補領域を検出する。ここで、アフタ性病変や潰瘍等の異常部は白色調の特定色を示す。そこで、異常部候補領域検出部１１０は、画像から白色調の特定色を示す領域を検出し、これを異常部の候補領域とする。
【００２４】
具体的には、異常部候補領域検出部１１０は、事前に記録部５０に記録しておいたアフタ性病変や潰瘍等に属する複数の画素の色特徴量を用いて、下記演算処理を行う。
ここで、色特徴量とは、Ｒ、Ｇ、Ｂ各成分の画素値や、これらの画素値を基に公知の変換により２次的に算出される値のことである。後者の具体例としては、ＹＣｂＣｒ変換により算出される色差、色相、ＨＳＩ変換により算出される彩度、Ｇ／ＲやＢ／Ｇといった色比等が挙げられる。記録部５０には、予めサンプリングした画素の色特徴量からなる特徴ベクトルＦｎ＝（ｆｎ＿１，ｆｎ＿２，…，ｆｎ＿ｊ，…，ｆｎ＿ｋ）ｔ （ｆｎ＿ｊはｎ番目のサンプリング画素のｊ番目の色特徴量、ｋは特徴量の個数。なお、右辺の肩のｔは転置ベクトルを示す）を基に、次式（１−１）及び（１−２）によって与えられる平均ベクトルμ及び分散共分散行列Ｚが記録されている。
【数１】
式（１−１）及び（１−２）において、ＮＤはサンプリングデータ数である。また、式（１−２）の右辺の（Ｆｎ−μ）tは、ベクトル（Ｆｎ−μ）の転置ベクトルである。
【００２５】
異常部候補領域検出部１１０は、処理対象の画像内の各画素の色特徴量からなる特徴ベクトルｘ＝（ｘ＿１，ｘ＿２，…，ｘ＿ｊ，…，ｘ＿ｋ）ｔ （ｘ＿ｊは、当該画素のｊ番目の色特徴量）を作成する。そして、この特徴ベクトルｘと、事前に記録部５０に記録しておいた平均ベクトルμ及び分散共分散行列Ｚとを基に、次式（１−３）に従い、各画素が特定色領域であるか否かを判定するための判定指標Ｐ(ｘ)を算出する。
【数２】
式（１−３）において、｜Ｚ｜は行列Ｚの行列式であり、Ｚ-1は行列Ｚの逆行列である。また、（ｘ−μ）tは、ベクトル（ｘ−μ）の転置ベクトルである。
【００２６】
その後、異常部候補領域検出部１１０は、判定指標Ｐ（ｘ）が所定の閾値以上となる画素を候補領域として検出する。そして、候補領域の画素に対して値１を設定し、その他の画素に対して値０を設定した候補領域画像を作成する。
図４は、画像Ｍ１に対応する候補領域画像を示す模式図である。画像Ｍ２には、領域Ａ１〜Ａ５が白抜きで示されている。これらの領域Ａ１〜Ａ５が異常部の候補領域となる。
【００２７】
なお、異常部の候補領域の検出方法としては、上述した確率モデルを用いた検出方法の他、例えば、各画素の色特徴量を成分とする特徴空間内において判別境界を設定する方法や、病変色等の代表的な色特徴量と各画素の色特徴量との色特徴空間における距離を閾値処理する方法（ｋ近傍法、参考：特許第４２６６９２０号公報、ＣＧ−ＡＲＴＳ協会 「ディジタル画像処理」、第２２８頁（ＮＮ法とｋＮＮ法））等、公知の様々な検出方法を用いることができる。また、画素単位の色特徴量を用いて候補領域を検出するのではなく、画像内のエッジ情報等を基に画像を複数の小領域に分割した後、小領域単位の色特徴量を用いて候補領域を検出しても良い。
【００２８】
ステップＳ１３において、境界近傍画素特定部１２０は、候補領域の境界の近傍に存在する画素である境界近傍画素を特定する。
図５は、境界近傍画素特定部１２０の詳細な動作を示すフローチャートである。まず、ステップＳ１３１において、境界近傍画素特定部１２０は、候補領域の境界画素を検出する。具体的には、候補領域を含む画像をラスタ走査しながら注目画素を順次設定し、注目画素が候補領域であり、且つ、その隣接画素の何れかが候補領域でない場合の注目画素を境界画素とする。或いは、候補領域を含む画像において、公知の輪郭追跡（参考：ＣＧ−ＡＲＴＳ協会 「ディジタル画像処理」、第１７８頁（輪郭追跡））を行って、境界画素を検出しても良い。
図６は、画像Ｍ２から検出された境界画素を示す模式図である。画像Ｍ３には、各候補領域Ａ１〜Ａ５に対応する境界画素群Ｂ１〜Ｂ５が示されている。
【００２９】
続くステップＳ１３２において、距離変換画像算出部１２１ａは、画像内の各画素と候補領域の境界画素との間の距離を表す距離変換画像を算出する。これは、公知の距離変換処理（参考：東京大学出版会 「画像解析ハンドブック」、第５７６頁（距離変換とスケルトン抽出））を行うことで実現することができる。
【００３０】
図７は、画像Ｍ３から算出された距離変換画像を示す模式図である。画像Ｍ４において、各画素の画素値（輝度）は、境界画素群Ｂ１〜Ｂ５から距離が離れるほど高くなるように設定されている。
【００３１】
ステップＳ１３３において、距離変換画像分割部１２１ｂは、距離変換画像を各候補領域に対応する距離変換領域に分割する。ここで、複数の候補領域が画像内に存在する場合、その距離変換画像を、画素値の尾根を境界として分割することによって、各候補領域に対応する距離変換領域に分割することができる。
【００３２】
画素値の尾根を境界とする画像分割は、例えば次のように行われる。まず、各画素の画素値の勾配方向を求める。このとき、勾配方向を画素値が低くなる方向にとる。次に、各画素が画素値の勾配方向に沿って移動した際に到達する極小値画素を求め、互いに隣接する極小値画素に到達した画素同士が同一の領域となるように画像を分割する。分割後は、各領域を識別するためのラベル値を各領域内の画素に設定して、領域ラベル画像を得る。なお、画素値の尾根を境界とする画像分割方法は、本発明者による国際公開第２００６／０８０２３９号に詳細に開示されている。
【００３３】
距離変換画像を分割する他の方法として、分水嶺（watershed）アルゴリズム（参考：Luc Vincent and Pierre Soille.“Watersheds in digital spaces：An efficient algorithm based on immersion simulations”，IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol．13， No．6，pp．583−598，June 1991）を用いても良い。分水嶺アルゴリズムは、画像の画素値情報を高度とみなした地形において水を満たしていく際に、異なるくぼみに溜まる水の間で境界ができるように画像を分割する方法である。距離変換画像に対して分水嶺アルゴリズムを実行することによっても、国際公開第２００６／０８０２３９号に開示された方法とほぼ同等の画像分割結果を得ることができる。
図８は、画像Ｍ４を距離変換領域に分割した領域ラベル画像を示す模式図である。画像Ｍ５には、各候補領域Ａ１〜Ａ５に対応する距離変換領域Ｃ１〜Ｃ５が示されている。
【００３４】
ステップＳ１３４において、境界近傍領域設定部１２１は、各候補領域の境界近傍領域を設定する。より詳細には、境界近傍領域設定部１２１は、各候補領域に対応する距離変換領域において、所定値以下の画素値を有する画素領域、即ち、境界画素からの距離が所定値以下の領域を、各候補領域の境界近傍領域とする。
【００３５】
図９は、画像Ｍ４に基づいて設定された境界近傍領域を示す模式図である。画像Ｍ６の各距離変換領域Ｃ１〜Ｃ５には、境界画素群Ｂ１〜Ｂ５に対応する境界近傍領域Ｄ１〜Ｄ５が示されている。
さらに、ステップＳ１３５において、境界近傍画素特定部１２０は、境界近傍領域内の画素を境界近傍画素として特定する。
この後、処理はメインルーチンに戻る。
【００３６】
ステップＳ１４において、特徴量算出部１３０は、境界近傍画素の画素値に基づく特徴量を算出する。
図１０は、特徴量算出部１３０の詳細な動作を示すフローチャートである。まず、ステップＳ１４１において、エッジ強度算出部１３１は、境界近傍画素のエッジ強度を算出する。これは、境界近傍画素の各波長成分（Ｒ、Ｇ、Ｂ）の画素値に対して、公知の１次微分フィルタ（参考：ＣＧ−ＡＲＴＳ協会 「ディジタル画像処理」、第１１４頁（微分フィルタ））を適用し、各画素における１次微分値を算出することで実現できる。この時、ノイズによる影響を軽減するため、平滑化を伴う１次微分であるソーベル（Sobel）フィルタ等を適用すると良い。
【００３７】
続くステップＳ１４２において、特徴量算出部１３０は、エッジ強度の平均値を境界近傍領域ごとに算出する。なお、ステップＳ１４１においては、波長成分ごとにエッジ強度を算出しているので、１つの候補領域に対し、Ｒ、Ｇ、Ｂ波長成分に対応する３つの平均値が得られる。
【００３８】
ここで、粘膜の表層に存在するアフタ性病変や潰瘍の領域（例えば、図３に示す候補領域Ａ１）は、粘膜上に浮遊又は堆積する食物残渣（例えば、図３に示す候補領域Ａ２〜Ａ５）や、粘膜から鏡面反射された領域に比べると、周辺の粘膜面との間の画素値の変化が小さい。一方、病変等が見られない（即ち連続する）粘膜面である近接粘膜面に比べると、周辺の粘膜面との間における画素値の変化が大きい。そこで、実施の形態１においては、画素値の変化を識別するための特徴量として、境界近傍画素のエッジ強度を算出する。
この後、処理はメインルーチンに戻る。
【００３９】
ステップＳ１５において、異常部領域識別部１４０は、特徴量を基に異常部領域を識別する。実施の形態１においては、ステップＳ１２において説明した方法と同様に、確率モデルを用いて識別を行う。具体的には、事前に、アフタ性病変や潰瘍、食物残渣、鏡面反射、近接粘膜等のカテゴリにそれぞれ属する複数の候補領域をサンプリングし、各候補領域の境界近傍画素の画素値に基づく特徴量（即ち、波長成分毎のエッジ強度）を求めておく。そして、サンプリングした候補領域の特徴量からなる特徴ベクトルＦｎ＝（ｆｎ＿１，ｆｎ＿２，…，ｆｎ＿ｊ，…，ｆｎ＿ｋ）ｔ （ｆｎ＿ｊ：ｎ番目のサンプリング候補領域のｊ番目の特徴量、ｋ：特徴量の個数（本実施形態においてはｋ＝３）を基に、カテゴリごとに、上式（１−１）及び（１−２）によって与えられる平均ベクトルμ及び分散共分散行列Ｚを求め、記録部５０に記録しておく。
【００４０】
そして、異常部領域識別部１４０は、処理対象の画像に含まれる候補領域の特徴量からなる特徴ベクトルｘ＝（ｘ＿１，ｘ＿２，…，ｘ＿ｊ，…，ｘ＿ｋ）ｔ （ｘ＿ｊは、当該候補領域のｊ番目の特徴量）を作成し、事前に記録部５０に記録しておいた各カテゴリの平均ベクトルμ及び分散共分散行列Ｚを基に、上式（１−３）に従い、各候補領域が各カテゴリの領域であるか否かを判定するための判定指標Ｐ（ｘ）を、カテゴリごとに算出する。その後、アフタ性病変や潰瘍のカテゴリに対する判定指標Ｐ（ｘ）が、他のカテゴリに対応する判定指標Ｐ（ｘ）よりも大きく、且つ、その判定指標Ｐ（ｘ）の値が所定の閾値以上となる候補領域を異常部領域と識別する。
【００４１】
なお、特徴量を基に異常部領域を識別する方法としては、上述した確率モデルを用いる方法の他、パターン認識で用いられる他の一般的な方法（決定木、近傍法、サポートベクターマシン等）を用いても良い。
【００４２】
そして、最後のステップＳ１６において、演算部１００は、ステップＳ１５における異常部領域の識別結果を出力する。これに応じて、制御部１０は、異常部領域の識別結果を記録部５０に記録する。この際、制御部１０は、異常部領域の識別結果を表示部４０等に表示させても良い。その後、画像処理装置１における処理は終了する。
【００４３】
以上説明したように、実施の形態１によれば、管腔内画像の色情報に基づいて異常部の候補領域を検出した後、候補領域の境界近傍画素の画素値に基づく特徴量を算出し、該特徴量を基に異常部領域を識別するので、異常部と、該異常部と同種の色情報を有する他の被写体とを精度良く識別することができる。また、実施の形態１によれば、候補領域の境界画素から所定の距離以下となる領域を各候補領域の境界近傍領域に設定し、境界近傍領域内の画素を境界近傍画素として特徴量を算出するので、候補領域の検出精度が不十分で、検出された候補領域の境界と本来の境界とに差異が生じる場合においても、その差を補うことができる。その結果、異常部を精度良く識別することが可能となる。
【００４４】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
図１１は、実施の形態２に係る画像処理装置の構成を示すブロック図である。図１１に示すように、実施の形態２に係る画像処理装置２は、図１に示す演算部１００の代わりに、演算部２００を備える。なお、画像処理装置２の演算部２００以外の構成については、図１に示すものと同様である。
【００４５】
演算部２００は、異常部候補領域検出部１１０と、境界近傍画素特定部２１０と、特徴量算出部１３０と、異常部領域識別部１４０とを備える。この内、異常部候補領域検出部１１０と、特徴量算出部１３０と、異常部領域識別部１４０の構成及び動作は、実施の形態１と同様である。
【００４６】
境界近傍画素特定部２１０は、境界近傍画素を特定する際の基となる境界を、候補領域の境界全周の内の一部に制限する対象境界制限部２１１を有し、制限した一部の境界に対して境界近傍画素を特定する。
【００４７】
より詳細には、対象境界制限部２１１は、候補領域の境界画素から外側の所定範囲である外辺領域から、特徴量の算出に有効な領域の画素（以下、有効画素という）を特定する外辺有効画素特定部２１１ａと、有効画素に対応する境界を設定する対応境界設定部２１１ｂとを含む。この内、外辺有効画素特定部２１１ａは、距離変換画像算出部２１１ａ−１と、距離変換画像分割部２１１ａ−２とを含み、各距離変換領域において、境界画素から所定の距離に位置する画素を、当該距離変換領域に対応する候補領域における有効画素として特定する。
【００４８】
一方、対応境界設定部２１１ｂは、画像内の各画素と上記有効画素との間の距離を表す距離変換画像を算出する距離変換画像算出部２１１ｂ−１を含み、有効画素から所定の距離以内にある境界を、有効画素に対応する境界に設定する。
【００４９】
次に、画像処理装置２の動作について説明する。画像処理装置２の動作は、全体として実施の形態１と同様であり、図２のステップＳ１３において境界近傍画素特定部２１０が実行する管腔内画像から検出された異常部の候補領域の境界近傍画素を特定する処理の内容が実施の形態１とは異なる。
【００５０】
図１２は、境界近傍画素特定部２１０の詳細な動作を示すフローチャートである。また、図１３及び図１４は、境界近傍画素の特定方法を説明する模式図である。
まず、ステップＳ２０１において、境界近傍画素特定部２１０は、候補領域の境界画素を検出する。なお、ステップＳ２０１における詳細な処理は、図５に示すステップＳ１３１と同様である。
【００５１】
続くステップＳ２０２において、距離変換画像算出部２１１ａ−１は、画像内の各画素と候補領域の境界画素との間の距離を表す距離変換画像を算出する。なお、ステップＳ２０２における詳細な処理は、図５に示すステップＳ１３２と同様である。
【００５２】
ステップＳ２０３において、距離変換画像分割部２１１ａ−２は、距離変換画像を各候補領域に対応する距離変換領域に分割する。なお、ステップＳ２０３における詳細な処理は、図５に示すステップＳ１３３と同様である。
【００５３】
ステップＳ２０４において、外辺有効画素特定部２１１ａは、境界画素から所定の距離にある画素である外辺画素を有効画素として特定する。ここで外辺画素とは、各候補領域に対応する距離変換領域において、候補領域の境界画素から候補領域の外側に向かって所定の距離ｄだけ離れた画素のことである。
【００５４】
このとき、例えば図１３の画像Ｍ７に示すように、候補領域Ａ６が画像Ｍ７の端部に接する場合、境界画素群Ｂ６の内、画像Ｍ７の端部近傍の画素群Ｂ６’には有効画素が特定されない。また、例えば図１４の画像Ｍ８に示すように、距離変換領域Ｃ７、Ｃ８にそれぞれ含まれる候補領域Ａ７、Ａ８同士が所定の距離ｄの２倍以下の間隔で近接する場合、境界画素群Ｂ７、Ｂ８の内、距離ｄの２倍以下で近接する境界画素群Ｂ７’、Ｂ８’には有効画素が特定されない。
【００５５】
ステップＳ２０５において、距離変換画像算出部２１１ｂ−１は、画像内の各画素の有効画素からの距離変換画像を算出する。なお、距離変換画像の算出方法については、図５に示すステップＳ１３２と同様である。
ステップＳ２０６において、対応境界設定部２１１ｂは、有効画素から所定の距離にある境界画素を検出する。
【００５６】
続くステップＳ２０７において、境界近傍画素特定部２１０は、ステップＳ２０６において検出した境界画素を境界近傍画素として特定する。これより、境界画素の内、画像の端部に接する部分の画素や、所定の距離以内で互いに近接する候補領域の部分の画素は境界近傍領域として特定されなくなる。
この後、処理はメインルーチンに戻る。
【００５７】
具体例として、画像Ｍ７の場合、ステップＳ２０５において算出された有効画素群Ｅ６からの距離変換画像を基に、ステップＳ２０６において、有効画素群Ｅ６から所定の距離ｄにある境界画素群Ｂ６（太線の部分）が検出される。この境界画素群Ｂ６のみが、ステップＳ２０７において境界近傍画素として特定される。
【００５８】
また、画像Ｍ８の場合、ステップＳ２０５において算出された有効画素群Ｅ７、Ｅ８からの距離変換画像を基に、ステップＳ２０６において、有効画素群Ｅ７、Ｅ８から所定の距離ｄにある境界画素群Ｂ７、Ｂ８（太線の部分）が検出される。これらの境界画素群Ｂ７、Ｂ８のみが、ステップＳ２０７において境界近傍画素として特定される。
【００５９】
以上説明したように、実施の形態２によれば、境界画素から所定の距離に位置する外辺画素を特徴量の算出に有効な領域の画素と特定し、該有効な領域の画素に対応する境界を基に特徴量を算出するので、候補領域の画像端に接する部分の画素値の変化や、互いに近接する候補領域間の画素値の変化を除外し、周辺の粘膜面との間の画素値の変化に基づく特徴量を算出することができる。その結果、異常部を精度良く識別することが可能となる。
【００６０】
（変形例）
次に、実施の形態２の変形例について説明する。
実施の形態２の変形例に係る画像処理装置は、図１１に示す外辺有効画素特定部２１１ａの代わりに、図１５に示す外辺有効画素特定部２１１ａ’を有する。なお、外辺有効画素特定部２１１ａ’以外の画像処理装置の構成については、図１１に示すものと同様である。
【００６１】
外辺有効画素特定部２１１ａ’は、実施の形態２と同様の距離変換画像算出部２１１ａ−１及び距離変換画像分割部２１１ａ−２に加えて、外辺領域内の画素が異常部の検出を行う対象領域（以下、検査対象領域という）に含まれるか否かを判定する検査領域判定部２１１ａ−３をさらに含み、検査対象領域に含まれると判定された外辺領域内の画素を有効画素として特定する。
【００６２】
次に、本変形例に係る画像処理装置の動作について説明する。図１６は、本変形例における境界近傍画素特定部の動作を示すフローチャートである。また、図１７は、検査対象領域の判定方法を説明する模式図である。なお、図１６に示すステップＳ２０１〜Ｓ２０３における動作は、実施の形態２と同様である。
【００６３】
ステップＳ２０３に続くステップＳ２１１において、検査領域判定部２１１ａ−３は、境界画素から所定の距離に位置する外辺画素の各々が、異常部検出のための検査対象領域に含まれるか否か判定する。ここで、候補領域の外側の周辺（外辺）に、管腔の深部（暗部）や有色残渣のように、検査対象領域である粘膜領域以外の領域（非検査対象領域）が存在する場合、この非検査対象領域と候補領域との間の境界近傍の画素に基づいて特徴量を算出することは適切でない。これは、非検査対象領域と候補領域との境界においては画素値の変化が非常に大きいので、この境界における画素値の変化が、異常部判定に用いる特徴量の平均値に影響を与えてしまうからである。
【００６４】
そこで、検査領域判定部２１１ａ−３は、外辺画素が検査対象領域である粘膜領域か否かを判定する。より詳細には、検査領域判定部２１１ａ−３は、ステップＳ１２と同様に、画像内の各画素の色情報を基に、粘膜領域の色を示す領域を特定し、この領域に含まれる外辺画素を粘膜領域（検査対象領域）と判定する。
【００６５】
例えば、図１７の画像Ｍ９に示すように、粘膜のひだ領域Ｒ１の端部において候補領域Ａ９が検出された場合、候補領域Ａ９の境界画素群Ｂ９から所定の距離ｄに位置する外辺画素群Ｅ９の内、ひだ領域Ｒ１側の外辺画素群Ｅ９−１が検査対象領域と判定され、管腔の深部領域Ｒ２側の外辺画素群Ｅ９−２は検査対象領域外と判定される。
【００６６】
続くステップＳ２１２において、外辺有効画素特定部２１１ａ’は、検査対象領域に含まれると判定された外辺画素を、特徴量の算出に有効な領域の画素（有効画素）として特定する。例えば、図１７の場合、外辺画素群Ｅ９−１が有効画素として特定される。
【００６７】
この後のステップＳ２０５〜Ｓ２０７は、実施の形態２と同様である。例えば、画像Ｍ９の場合、ステップＳ２０５において算出された外辺画素（有効画素）群Ｅ９−１からの距離変換画像を基に、ステップＳ２０６において、外辺画素群Ｅ９−１から所定の距離ｄにある境界画素群Ｂ９（太線の部分）が検出される。この境界画素群Ｂ９のみが、ステップＳ２０７において境界近傍画素として特定される。即ち、非検査領域（管腔の深部領域Ｒ２）と隣接する側の境界画素群Ｂ９’は境界近傍画素として特定されなくなる。
【００６８】
以上説明したように、実施の形態２の変形例によれば、検査対象領域に含まれると判定された外辺画素を特徴量の算出に有効な領域の画素と特定し、該有効な領域の画素に対応する境界画素の画素値を基に特徴量を算出するので、候補領域の境界画素のうち非検査対象領域と隣接する境界における画素値の変化を除外し、周辺の粘膜面との間の画素値の変化に基づく特徴量を算出することができる。その結果、異常部を精度良く識別することが可能となる。
【００６９】
（実施の形態３）
次に、本発明の実施の形態３について説明する。
図１８は、実施の形態３に係る画像処理装置の構成を示すブロック図である。図１８に示すように、実施の形態３に係る画像処理装置３は、図１に示す演算部１００の代わりに、演算部３００を備える。なお、画像処理装置３の演算部３００以外の構成については、図１に示すものと同様である。
【００７０】
演算部３００は、異常部候補領域検出部１１０と、境界近傍画素特定部１２０と、特徴量算出部３１０と、異常部領域識別部１４０とを備える。この内、異常部候補領域検出部１１０と、境界近傍画素特定部１２０と、異常部領域識別部１４０の構成及び動作は、実施の形態１と同様である。
【００７１】
特徴量算出部３１０は、生体内における吸収の度合いに応じて特定される特定波長成分を選択する特定波長成分選択部３１１と、境界近傍画素の画素値の内、選択された特定波長成分のエッジ強度を算出するエッジ強度算出部３１２とを有する。
【００７２】
次に、画像処理装置３の動作について説明する。画像処理装置３の動作は、全体として実施の形態１と同様であり、図２のステップＳ１４において特徴量算出部３１０が実行する境界近傍領域の画素値の特徴量を算出する処理の内容が実施の形態１とは異なる。
【００７３】
図１９は、特徴量算出部３１０の詳細な動作を示すフローチャートである。まず、ステップＳ３０１において、特定波長成分選択部３１１は、生体内での吸収が少ないＲ波長成分を選択する。ここで、粘膜表層に存在するアフタ性病変や潰瘍の撮像距離が、その周辺の粘膜面の撮像距離と同程度であるのに対し、粘膜上に浮遊又は堆積する食物残渣の撮像距離は、その周辺の粘膜面の撮像距離よりも短い（近い）。このような撮像距離の差は、生体内における吸収が少ないＲ波長成分により容易に確認することができる。そこで、ステップＳ３０１においては、Ｒ波長成分を特定波長成分として選択する。
【００７４】
続くステップＳ３０２において、エッジ強度算出部３１２は、境界近傍画素に対し、ステップＳ３０１において選択した特定波長成分のエッジ強度の平均値を算出する。なお、この処理の詳細は、エッジ強度の平均値の算出対象が特定波長成分のみであることを除き、図１０に示すステップＳ１４１及びＳ１４２と同様である。
【００７５】
ステップＳ３０３において、特定波長成分選択部３１１は、生体内での吸収が多いＧ波長成分又はＢ波長成分を選択する。ここで、生体組織の変化を伴うアフタ性病変や潰瘍は、撮像距離に関係なく、その周辺の粘膜面と異なる色調となるのに対し、カプセル内視鏡等の医用観察装置に近接して撮像された粘膜面（近接粘膜領域）は、撮像距離が短くなることによりＲ波長成分が飽和して周辺の粘膜面と異なる色調となる。このような撮像距離に応じた色調の差は、生体内での吸収が多いＧ波長成分又はＢ波長成分により容易に確認することができる。そこで、ステップＳ３０３においては、Ｇ波長成分又はＢ波長成分を特定波長成分として選択する。
【００７６】
ステップＳ３０４において、エッジ強度算出部３１２は、境界近傍画素に対し、ステップＳ３０３において選択した特定波長成分のエッジ強度の平均値を算出する。なお、この処理の詳細は、エッジ強度の平均値の算出対象が特定波長成分のみであることを除き、図１０に示すステップＳ１４１及びＳ１４２と同様である。
【００７７】
この後、処理はメインルーチンに戻る。この際、図２のステップＳ１５においては、ステップＳ３０２において算出されたエッジ強度の平均値と、ステップＳ３０４において算出されたエッジ強度の平均値とを別々に用いて、異常部領域の識別を行う。それにより、Ｒ波長成分に基づくエッジ強度の平均値から、食物残渣領域と異常部領域とが識別される。また、Ｇ波長成分又はＢ波長成分に基づくエッジ強度の平均値から、近接粘膜領域と異常部領域とが識別される。なお、必要に応じていずれか一方の平均値のみを用いて識別を行っても良い。
【００７８】
以上説明したように、実施の形態３によれば、生体内における吸収の度合いに応じて特定される特定波長成分を選択して特徴量を算出するので、異常部と食物残渣、或いは、異常部と近接粘膜とを識別するために適した特徴量を算出することができる。その結果、異常部を精度良く識別することが可能となる。
なお、上述した特徴量算出部３１０を、図１１に示す特徴量算出部１３０の代わりに適用しても良い。
【００７９】
（実施の形態４）
次に、本発明の実施の形態４について説明する。
図２０は、実施の形態４に係る画像処理装置の構成を示すブロック図である。図２０に示すように、実施の形態４に係る画像処理装置４は、図１に示す演算部１００の代わりに、演算部４００を備える。なお、画像処理装置４の演算部４００以外の構成については、図１に示すものと同様である。
【００８０】
演算部４００は、異常部候補領域検出部１１０と、境界近傍画素特定部１２０と、特徴量算出部４１０と、異常部領域識別部１４０とを備える。この内、異常部候補領域検出部１１０、境界近傍画素特定部１２０、及び異常部領域識別部１４０の構成及び動作は、実施の形態１と同様である。
【００８１】
特徴量算出部４１０は、候補領域の境界画素の内側と外側との間における画素値の変化を表す画素値変化情報を算出する画素値変化情報算出部４１１を有し、この画素値変化情報を特徴量とする。より詳細には、画素値変化情報算出部４１１は、画像内の各画素の境界画素からの距離を表す距離変換画像を算出する距離変換画像算出部４１１ａと、境界画素における画素値が同一の値となるように画素値変化情報を正規化する正規化部４１１ｂとを含む。
【００８２】
次に、画像処理装置４の動作について説明する。画像処理装置４の動作は、全体として実施の形態１と同様であり、図２のステップＳ１４において特徴量算出部４１０が実行する境界近傍領域の画素値の特徴量を算出する処理の内容が実施の形態１とは異なる。
【００８３】
図２１は、特徴量算出部４１０の詳細な動作を示すフローチャートである。また、図２２は、画素値変化情報の算出方法を説明する模式図である。
まず、ステップＳ４０１において、距離変換画像算出部４１１ａは、画像内の各画素と境界画素との間の距離を表す距離変換画像を算出する。なお、ステップＳ４０１における詳細な処理は、図５に示すステップＳ１３２と同様である。
【００８４】
続くステップＳ４０２において、画素値変化情報算出部４１１は、距離変換領域ごとに、距離変換画像において同一の距離となる画素群（即ち、候補領域の境界からの距離が同一の画素群）の画素値の平均値を、該距離を変更しながら順次算出することにより、画素値変化情報を算出する。
【００８５】
例えば、画像Ｍ１０の場合、境界画素群Ｂ１〜Ｂ５から距離ｄnだけ離れた各画素群Ｈ１n〜Ｈ５nに対し、画素値の平均値が算出される。ここで、ｎ＝０、±１、±２、…であり、ｎ＝０のときｄn＝０である。また、ｎが増加するについて、距離ｄnが境界画素群Ｂ１〜Ｂ５の外側方向に増加し、ｎが減少するにつれて、距離ｄnが境界画素群Ｂ１〜Ｂ５の内側方向に増加する。
【００８６】
図２３は、画素群Ｈ１n〜Ｈ５nにそれぞれ対応する画素値の平均値ｆ１（ｄn）〜ｆ５（ｄn）を示すグラフである。ここで、各平均値ｆ１（ｄn）〜ｆ５（ｄn）は、グラフの上方に位置するほど、対応する候補領域の輝度が全体的に高く、従って、撮像距離が短いと判断することができる。画像Ｍ１０の場合、平均値ｆ１（ｄn）が突出して高い候補領域Ａ１の撮像距離が短く（画面の手前側に存在）、それ以外の候補領域Ａ２〜Ａ５の撮像距離は比較的長い（画面の奥側に存在）といえる。
【００８７】
ステップＳ４０３において、正規化部４１１ｂは、境界画素における画素値の平均値が同一の値となるように画素値変化情報を正規化する。それにより、上述した撮像距離の差に起因する平均値の大きさを補正する。
【００８８】
図２４は、図２３に示す画素値の平均値ｆ１（ｄn）〜ｆ５（ｄn）を正規化したグラフである。図２４に示す正規化された各平均値ｆ１（ｄn）’〜ｆ５（ｄn）’の変化（傾き）は、各候補領域Ａ１〜Ａ５に対応する境界画素群Ｂ１〜Ｂ５近傍の画素値の変化を示している。例えば、図２４においては、平均値ｆ１（ｄn）’の変化が最も小さく、平均値ｆ４（ｄn）’、ｆ５（ｄn）’の変化が比較的大きくなっている。画素値変化情報算出部４１１は、このようにして算出した平均値ｆ１（ｄn）’〜ｆ５（ｄn）’を、画素値変化情報（画素値プロファイル）として出力する。
【００８９】
この後、処理はメインルーチンに戻り、図２に示すステップＳ１５において、異常部領域識別部１４０は、ステップＳ１４において算出された画素値変化情報に基づいて異常部領域の識別を行う。より詳細には、画素値変化情報における各距離ｄnに対応する値を特徴量として、実施の形態１と同様にして判定指標Ｐ（ｘ）を算出し、この判定指標Ｐ（ｘ）を閾値処理することにより、異常部領域を識別する。例えば、画像Ｍ１０の場合、平均値ｆ１（ｄn）の変化が小さい候補領域Ａ１が異常部領域として判定される。
【００９０】
以上説明したように、実施の形態４によれば、境界近傍画素のうち、境界画素からの距離が同一となる画素の画素値の平均値を、該距離を変更しながら順次算出した画素値変化情報を特徴量とするので、ノイズに影響され難く、且つ、候補領域周辺の粘膜面と候補領域との間の詳細な画素値の変化を示した特徴量を算出することができる。また、実施の形態４によれば、境界画素における画素値が同一の値となるように画素値変化情報を正規化するので、撮像距離に応じた画素値の大小差が補正された特徴量を算出することができる。従って、異常部を精度良く識別することが可能となる。
なお、上述した特徴量算出部４１０を、図１１に示す特徴量算出部１３０の代わりに適用しても良い。
【００９１】
（実施の形態５）
次に、本発明の実施の形態５について説明する。
図２５は、実施の形態５に係る画像処理装置の構成を示すブロック図である。図２５に示すように、実施の形態５に係る画像処理装置５は、図１に示す演算部１００の代わりに、演算部５００を備える。なお、画像処理装置５の演算部５００以外の構成については、図１に示すものと同様である。
【００９２】
演算部５００は、異常部候補領域検出部１１０と、境界近傍画素特定部１２０と、特徴量算出部５１０と、異常部領域識別部５２０とを備える。特徴量算出部５１０は、候補領域の境界画素の内側と外側との間における画素値の変化を表す画素値変化情報を算出する画素値変化情報算出部５１１と、エッジ強度算出部５１２とを有する。この内、エッジ強度算出部５１２は、画素値変化情報を基に画素値の変化量を表す変化量情報を算出する変化量情報算出部５１２ａと、変化量の最大値を算出する最大値算出部５１２ｂとを含む。異常部領域識別部５２０は、特徴量算出部５１０が特徴量として算出した上記最大値に基づいて異常部領域を識別する。なお、異常部候補領域検出部１１０及び境界近傍画素特定部１２０の構成及び動作は、実施の形態１と同様である。
【００９３】
次に、画像処理装置５の動作について説明する。画像処理装置５の動作は、全体として実施の形態１と同様であり、図２のステップＳ１４において特徴量算出部５１０が実行する境界近傍領域の画素値の特徴量を算出する処理の内容が実施の形態１とは異なる。
【００９４】
図２６は、特徴量算出部５１０の動作を示すフローチャートである。まず、ステップＳ５０１において、画素値変化情報算出部５１１は、境界画素の内側と外側との間における画素値変化情報を算出する（図２４参照）。なお、ステップＳ５０１における詳細な処理は、図２１に示すステップＳ４０１〜Ｓ４０３と同様である。
【００９５】
続くステップＳ５０２において、変化量情報算出部５１２ａは、画素値変化情報を基に画素値の変化量情報を算出する。具体的には、変化量情報算出部５１２ａは、ステップＳ５０１において算出した画素値の平均値の微分値を算出する。図２７は、図２４に示す各平均値ｆ１（ｄn）’〜ｆ５（ｄn）’に対応する微分値ｇ１（ｄn）〜ｇ５（ｄn）を示すグラフである。
【００９６】
さらに、ステップＳ５０３において、最大値算出部５１２ｂは、各候補領域Ａ１〜Ａ５に対応する変化量情報に基づき、変化量の最大値を算出する。例えば、図２７の場合、微分値ｇ１（ｄn）〜ｇ５（ｄn）から、最大値ｇ１（ｄ-2）、ｇ２（ｄ0）、ｇ３（ｄ1）、ｇ４（ｄ1）、ｇ５（ｄ1）がそれぞれ算出される。
特徴量算出部５１０は、このようにして算出された最大値を特徴量として出力する。
【００９７】
この後、処理はメインルーチンに戻り、図２に示すステップＳ１５において、異常部領域識別部５２０は、ステップＳ１４において算出された特徴量（変化量の最大値）に対して閾値処理を施すことにより、異常部領域の識別を行う。例えば、画像Ｍ１０の場合、最大値ｇ１（ｄ-2）の値が小さい候補領域Ａ１が異常部領域として判定される。
【００９８】
以上説明したように、実施の形態５によれば、境界画素の内側と外側の間の画素値変化情報を基に画素値の変化量情報を算出するので、候補領域周辺の粘膜面と候補領域との間の詳細な画素値の変化量を示す特徴量を算出することができる。また、実施の形態５によれば、変化量の最大値を算出することにより、候補領域の検出精度が不十分で、検出された候補領域の境界と本来の境界とに差異が生じる場合においても、その差を補うことができる。その結果、異常部を精度良く識別することが可能となる。
【００９９】
以上説明した実施の形態１〜５及び変形例に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜５及びその変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。
【０１００】
なお、本発明は、実施の形態１〜５及び変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【０１０１】
１〜５ 画像処理装置
１０ 制御部
２０ 画像取得部
３０ 入力部
４０ 表示部
５０ 記録部
５１ 画像処理プログラム
１００、２００、３００、４００、５００ 演算部
１１０ 異常部候補領域検出部
１２０ 境界近傍画素特定部
１２１、２１０ 境界近傍領域設定部
１２１ａ、２１１ａ−１、２１１ｂ−１、４１１ａ 距離変換画像算出部
１２１ｂ、２１１ａ−２ 距離変換画像分割部
１３０、３１０、４１０、５１０ 特徴量算出部
１３１ エッジ強度算出部
１４０ 異常部領域識別部
２１１ 対象境界制限部
２１１ａ、２１１ａ’ 外辺有効画素特定部
２１１ａ−３ 検査領域判定部
２１１ｂ 対応境界設定部
３１１ 特定波長成分選択部
３１２、５１２ エッジ強度算出部
４１１ 画素値変化情報算出部
４１１ｂ 正規化部
５１１ 画素値変化情報算出部
５１２ａ 変化量情報算出部
５１２ｂ 最大値算出部
【技術分野】
【０００１】
本発明は、被検体の体内を撮像した画像から異常部を検出する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、内視鏡等の医用観察装置により被検体の管腔内を撮像した管腔内画像（以下、単に画像ともいう）から異常部を検出するために、種々の方法が検討されている。例えば、特許文献１には、画像内の各画素の画素値を各画素の色情報に基づく特徴空間に写像し、特徴空間内でクラスタリングを行った後、各クラスタの大きさや重心座標等の情報を基に正常粘膜クラスタや異常部クラスタを特定し、異常部クラスタに属する画素を異常部として検出する画像処理方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１９２８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、内視鏡によって撮像される画像には、アフタ性病変や潰瘍といった白色調の病変部（異常部）に対し、食物残渣や、鏡面反射や、内視鏡に近接して撮像された粘膜面のように、異常部と同種の色情報を有する他の被写体が写っている場合がある。このため、従来のように、色情報のみに基づいて異常部を検出しようとすると、異常部とこれら他の被写体を識別することができないという問題があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、異常部と、該異常部と同種の色情報を有する他の被写体とを精度良く識別できる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被検体の管腔内を撮像した画像を構成する各画素の色情報を基に異常部の候補領域を検出する異常部候補領域検出部と、前記候補領域の境界近傍に存在する画素である境界近傍画素を特定する境界近傍画素特定部と、前記境界近傍画素の画素値に基づく特徴量を算出する特徴量算出部と、前記特徴量を基に異常部領域を識別する異常部領域識別部とを備えることを特徴とする。
【０００７】
本発明に係る画像処理方法は、被検体の管腔内を撮像した画像を構成する各画素の色情報を基に異常部の候補領域を検出する異常部候補領域検出ステップと、前記候補領域の境界近傍に存在する画素である境界近傍画素を特定する境界近傍画素特定ステップと、前記境界近傍画素の画素値に基づく特徴量を算出する特徴量算出ステップと、前記特徴量を基に異常部領域を識別する異常部領域識別ステップとを含むことを特徴とする。
【０００８】
本発明に係る画像処理プログラムは、被検体の管腔内を撮像した画像を構成する各画素の色情報を基に異常部の候補領域を検出する異常部候補領域検出ステップと、前記候補領域の境界近傍に存在する画素である境界近傍画素を特定する境界近傍画素特定ステップと、前記境界近傍画素の画素値に基づく特徴量を算出する特徴量算出ステップと、前記特徴量を基に異常部領域を識別する異常部領域識別ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像の色情報に基づいて異常部候補領域を検出した後、異常部候補領域の境界近傍画素の画素値に基づく特徴量を算出し、該特徴量を基に異常部領域を識別するので、異常部と、該異常部と同種の色情報を有する他の被写体とを精度良く識別することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、図１に示す画像処理装置の動作を示すフローチャートである。
【図３】図３は、図１に示す画像処理装置の処理対象である画像の一例を示す模式図である。
【図４】図４は、図３に示す画像に対応する候補領域画像を示す模式図である。
【図５】図５は、図１に示す境界近傍画素特定部の動作を示すフローチャートである。
【図６】図６は、図４に示す画像から検出された境界画素を示す模式図である。
【図７】図７は、図６に示す画像から算出された距離変換画像を示す模式図である。
【図８】図８は、図７に示す画像を距離変換領域に分割した領域ラベル画像を示す模式図である。
【図９】図９は、図７に示す画像に基づいて設定された境界近傍領域を示す模式図である。
【図１０】図１０は、図１に示す境界近傍画素の画素値に基づく特徴量の算出処理を示すフローチャートである。
【図１１】図１１は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図１２】図１２は、図１１に示す境界近傍画素特定部の動作を示すフローチャートである。
【図１３】図１３は、実施の形態２における境界近傍画素の特定方法を説明する模式図である。
【図１４】図１４は、実施の形態２における境界近傍画素の特定方法を説明する模式図である。
【図１５】図１５は、実施の形態２の変形例における外辺有効画素特定部の構成を示すブロック図である。
【図１６】図１６は、実施の形態２の変形例における境界近傍画素特定部の動作を示すフローチャートである。
【図１７】図１７は、実施の形態２の変形例における検査対象領域の判定方法を説明する模式図である。
【図１８】図１８は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。
【図１９】図１９は、図１８に示す特徴量算出部の動作を示すフローチャートである。
【図２０】図２０は、本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。
【図２１】図２１は、図２０に示す特徴量算出部の動作を示すフローチャートである。
【図２２】図２２は、画素値変化情報の算出方法を説明する模式図である。
【図２３】図２３は、図２２に示す画素群に対応する画素値の平均値を示すグラフである。
【図２４】図２４は、正規化された画素値の平均値を示すグラフである。
【図２５】図２５は、本発明の実施の形態５に係る画像処理装置の構成を示すブロック図である。
【図２６】図２６は、図２５に示す特徴量算出部の動作を示すフローチャートである。
【図２７】図２７は、画素値の変化量情報（微分値）を示すグラフである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１２】
以下の実施の形態においては、一例として、カプセル内視鏡等の医用観察装置によって被検体の管腔内を撮像することにより取得された管腔内画像（以下、単に画像ともいう）から白色調の病変部（以下、異常部ともいう）を検出する画像処理について説明する。なお、以下の実施の形態において画像処理の対象となる管腔内画像は、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分（波長成分）に対する画素レベル（画素値）を持つカラー画像である。
【００１３】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置１は、画像処理装置１全体の動作を制御する制御部１０と、カプセル内視鏡等の医用観察装置によって撮像された画像に対応する画像データを取得する画像取得部２０と、外部から入力される入力信号を受け付ける入力部３０と、各種表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。
【００１４】
制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部５０に格納された各種プログラムを読み込むことにより、画像取得部２０から入力される画像データや入力部３０から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００１５】
画像取得部２０は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル内視鏡であり、医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部２０は、この記録媒体を着脱自在に装着し、保存された管腔内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された管腔内画像の画像データを保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って管腔内画像の画像データを取得する。或いは、画像取得部２０を、内視鏡等の医用観察装置から、ケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
【００１６】
入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、受け付けた入力信号を制御部１０に出力する。
表示部４０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。
【００１７】
記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記録部５０は、画像取得部２０によって取得された管腔内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を記録する。具体的には、記録部５０は、管腔内画像から異常部を検出する画像処理を当該画像処理装置１に実行させるための画像処理プログラム５１を記録する他、予めサンプリングにより取得したアフタ性病変や潰瘍等の白色調の病変部に属する画素の色特徴量といった情報を記録する。
【００１８】
演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことによって管腔内画像に対応する画像データに画像処理を施し、管腔内画像から異常部を検出するための種々の演算処理を行う。
【００１９】
次に、演算部１００の詳細な構成について説明する。
図１に示すように、演算部１００は、管腔内画像の色情報を基に異常部の候補領域を検出する異常部候補領域検出部１１０と、該候補領域の境界近傍画素を特定する境界近傍画素特定部１２０と、境界近傍画素の画素値に基づき特徴量を算出する特徴量算出部１３０と、該特徴量を基に異常部領域を識別する異常部領域識別部１４０とを備える。
【００２０】
この内、境界近傍画素特定部１２０は、候補領域の境界近傍領域を設定する境界近傍領域設定部１２１を有し、境界近傍領域内の画素を境界近傍画素として特定する。ここで、境界近傍領域とは、候補領域の境界に位置する画素（境界画素）を挟んで候補領域の内側及び外側に設定される所定の幅以下の領域のことである。より詳細には、境界近傍領域設定部１２１は、画像内の各画素と境界画素との間の距離を表す距離変換画像を算出する距離変換画像算出部１２１ａと、距離変換画像を候補領域にそれぞれ対応する距離変換領域に分割する距離変換画像分割部１２１ｂとを含む。
また、特徴量算出部１３０は、境界近傍画素のエッジ強度を算出するエッジ強度算出部１３１を有し、エッジ強度を特徴量とすることを特徴とする。
【００２１】
次に、画像処理装置１の動作について説明する。図２は、画像処理装置１の動作を示すフローチャートである。また、図３は、画像処理装置１の処理対象である画像の一例を示す模式図である。図３に示すように、画像Ｍ１には、粘膜Ｍｅｍの表面に現れた白色調の病変部の領域Ａ１と、粘膜Ｍｅｍの画面の手前側の空間に浮遊し、又は、粘膜Ｍｅｍの表面に堆積（付着）した残渣の領域Ａ２〜Ａ５とが写されている。なお、領域Ａ２〜Ａ５は、粘膜Ｍｅｍよりも画面の手前側に突出しているため、領域Ａ２〜Ａ５の境界の周囲には影が現れている。
【００２２】
まず、ステップＳ１１において、画像取得部２０は、被検体の管腔内画像を取得して記録部５０に格納する。演算部１００は、処理対象の画像（例えば、画像Ｍ１）を記録部５０から順次読み込む。
【００２３】
続くステップＳ１２において、異常部候補領域検出部１１０は、画像を構成する各画素の色情報を基に、異常部の候補領域を検出する。ここで、アフタ性病変や潰瘍等の異常部は白色調の特定色を示す。そこで、異常部候補領域検出部１１０は、画像から白色調の特定色を示す領域を検出し、これを異常部の候補領域とする。
【００２４】
具体的には、異常部候補領域検出部１１０は、事前に記録部５０に記録しておいたアフタ性病変や潰瘍等に属する複数の画素の色特徴量を用いて、下記演算処理を行う。
ここで、色特徴量とは、Ｒ、Ｇ、Ｂ各成分の画素値や、これらの画素値を基に公知の変換により２次的に算出される値のことである。後者の具体例としては、ＹＣｂＣｒ変換により算出される色差、色相、ＨＳＩ変換により算出される彩度、Ｇ／ＲやＢ／Ｇといった色比等が挙げられる。記録部５０には、予めサンプリングした画素の色特徴量からなる特徴ベクトルＦｎ＝（ｆｎ＿１，ｆｎ＿２，…，ｆｎ＿ｊ，…，ｆｎ＿ｋ）ｔ （ｆｎ＿ｊはｎ番目のサンプリング画素のｊ番目の色特徴量、ｋは特徴量の個数。なお、右辺の肩のｔは転置ベクトルを示す）を基に、次式（１−１）及び（１−２）によって与えられる平均ベクトルμ及び分散共分散行列Ｚが記録されている。
【数１】
式（１−１）及び（１−２）において、ＮＤはサンプリングデータ数である。また、式（１−２）の右辺の（Ｆｎ−μ）tは、ベクトル（Ｆｎ−μ）の転置ベクトルである。
【００２５】
異常部候補領域検出部１１０は、処理対象の画像内の各画素の色特徴量からなる特徴ベクトルｘ＝（ｘ＿１，ｘ＿２，…，ｘ＿ｊ，…，ｘ＿ｋ）ｔ （ｘ＿ｊは、当該画素のｊ番目の色特徴量）を作成する。そして、この特徴ベクトルｘと、事前に記録部５０に記録しておいた平均ベクトルμ及び分散共分散行列Ｚとを基に、次式（１−３）に従い、各画素が特定色領域であるか否かを判定するための判定指標Ｐ(ｘ)を算出する。
【数２】
式（１−３）において、｜Ｚ｜は行列Ｚの行列式であり、Ｚ-1は行列Ｚの逆行列である。また、（ｘ−μ）tは、ベクトル（ｘ−μ）の転置ベクトルである。
【００２６】
その後、異常部候補領域検出部１１０は、判定指標Ｐ（ｘ）が所定の閾値以上となる画素を候補領域として検出する。そして、候補領域の画素に対して値１を設定し、その他の画素に対して値０を設定した候補領域画像を作成する。
図４は、画像Ｍ１に対応する候補領域画像を示す模式図である。画像Ｍ２には、領域Ａ１〜Ａ５が白抜きで示されている。これらの領域Ａ１〜Ａ５が異常部の候補領域となる。
【００２７】
なお、異常部の候補領域の検出方法としては、上述した確率モデルを用いた検出方法の他、例えば、各画素の色特徴量を成分とする特徴空間内において判別境界を設定する方法や、病変色等の代表的な色特徴量と各画素の色特徴量との色特徴空間における距離を閾値処理する方法（ｋ近傍法、参考：特許第４２６６９２０号公報、ＣＧ−ＡＲＴＳ協会 「ディジタル画像処理」、第２２８頁（ＮＮ法とｋＮＮ法））等、公知の様々な検出方法を用いることができる。また、画素単位の色特徴量を用いて候補領域を検出するのではなく、画像内のエッジ情報等を基に画像を複数の小領域に分割した後、小領域単位の色特徴量を用いて候補領域を検出しても良い。
【００２８】
ステップＳ１３において、境界近傍画素特定部１２０は、候補領域の境界の近傍に存在する画素である境界近傍画素を特定する。
図５は、境界近傍画素特定部１２０の詳細な動作を示すフローチャートである。まず、ステップＳ１３１において、境界近傍画素特定部１２０は、候補領域の境界画素を検出する。具体的には、候補領域を含む画像をラスタ走査しながら注目画素を順次設定し、注目画素が候補領域であり、且つ、その隣接画素の何れかが候補領域でない場合の注目画素を境界画素とする。或いは、候補領域を含む画像において、公知の輪郭追跡（参考：ＣＧ−ＡＲＴＳ協会 「ディジタル画像処理」、第１７８頁（輪郭追跡））を行って、境界画素を検出しても良い。
図６は、画像Ｍ２から検出された境界画素を示す模式図である。画像Ｍ３には、各候補領域Ａ１〜Ａ５に対応する境界画素群Ｂ１〜Ｂ５が示されている。
【００２９】
続くステップＳ１３２において、距離変換画像算出部１２１ａは、画像内の各画素と候補領域の境界画素との間の距離を表す距離変換画像を算出する。これは、公知の距離変換処理（参考：東京大学出版会 「画像解析ハンドブック」、第５７６頁（距離変換とスケルトン抽出））を行うことで実現することができる。
【００３０】
図７は、画像Ｍ３から算出された距離変換画像を示す模式図である。画像Ｍ４において、各画素の画素値（輝度）は、境界画素群Ｂ１〜Ｂ５から距離が離れるほど高くなるように設定されている。
【００３１】
ステップＳ１３３において、距離変換画像分割部１２１ｂは、距離変換画像を各候補領域に対応する距離変換領域に分割する。ここで、複数の候補領域が画像内に存在する場合、その距離変換画像を、画素値の尾根を境界として分割することによって、各候補領域に対応する距離変換領域に分割することができる。
【００３２】
画素値の尾根を境界とする画像分割は、例えば次のように行われる。まず、各画素の画素値の勾配方向を求める。このとき、勾配方向を画素値が低くなる方向にとる。次に、各画素が画素値の勾配方向に沿って移動した際に到達する極小値画素を求め、互いに隣接する極小値画素に到達した画素同士が同一の領域となるように画像を分割する。分割後は、各領域を識別するためのラベル値を各領域内の画素に設定して、領域ラベル画像を得る。なお、画素値の尾根を境界とする画像分割方法は、本発明者による国際公開第２００６／０８０２３９号に詳細に開示されている。
【００３３】
距離変換画像を分割する他の方法として、分水嶺（watershed）アルゴリズム（参考：Luc Vincent and Pierre Soille.“Watersheds in digital spaces：An efficient algorithm based on immersion simulations”，IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol．13， No．6，pp．583−598，June 1991）を用いても良い。分水嶺アルゴリズムは、画像の画素値情報を高度とみなした地形において水を満たしていく際に、異なるくぼみに溜まる水の間で境界ができるように画像を分割する方法である。距離変換画像に対して分水嶺アルゴリズムを実行することによっても、国際公開第２００６／０８０２３９号に開示された方法とほぼ同等の画像分割結果を得ることができる。
図８は、画像Ｍ４を距離変換領域に分割した領域ラベル画像を示す模式図である。画像Ｍ５には、各候補領域Ａ１〜Ａ５に対応する距離変換領域Ｃ１〜Ｃ５が示されている。
【００３４】
ステップＳ１３４において、境界近傍領域設定部１２１は、各候補領域の境界近傍領域を設定する。より詳細には、境界近傍領域設定部１２１は、各候補領域に対応する距離変換領域において、所定値以下の画素値を有する画素領域、即ち、境界画素からの距離が所定値以下の領域を、各候補領域の境界近傍領域とする。
【００３５】
図９は、画像Ｍ４に基づいて設定された境界近傍領域を示す模式図である。画像Ｍ６の各距離変換領域Ｃ１〜Ｃ５には、境界画素群Ｂ１〜Ｂ５に対応する境界近傍領域Ｄ１〜Ｄ５が示されている。
さらに、ステップＳ１３５において、境界近傍画素特定部１２０は、境界近傍領域内の画素を境界近傍画素として特定する。
この後、処理はメインルーチンに戻る。
【００３６】
ステップＳ１４において、特徴量算出部１３０は、境界近傍画素の画素値に基づく特徴量を算出する。
図１０は、特徴量算出部１３０の詳細な動作を示すフローチャートである。まず、ステップＳ１４１において、エッジ強度算出部１３１は、境界近傍画素のエッジ強度を算出する。これは、境界近傍画素の各波長成分（Ｒ、Ｇ、Ｂ）の画素値に対して、公知の１次微分フィルタ（参考：ＣＧ−ＡＲＴＳ協会 「ディジタル画像処理」、第１１４頁（微分フィルタ））を適用し、各画素における１次微分値を算出することで実現できる。この時、ノイズによる影響を軽減するため、平滑化を伴う１次微分であるソーベル（Sobel）フィルタ等を適用すると良い。
【００３７】
続くステップＳ１４２において、特徴量算出部１３０は、エッジ強度の平均値を境界近傍領域ごとに算出する。なお、ステップＳ１４１においては、波長成分ごとにエッジ強度を算出しているので、１つの候補領域に対し、Ｒ、Ｇ、Ｂ波長成分に対応する３つの平均値が得られる。
【００３８】
ここで、粘膜の表層に存在するアフタ性病変や潰瘍の領域（例えば、図３に示す候補領域Ａ１）は、粘膜上に浮遊又は堆積する食物残渣（例えば、図３に示す候補領域Ａ２〜Ａ５）や、粘膜から鏡面反射された領域に比べると、周辺の粘膜面との間の画素値の変化が小さい。一方、病変等が見られない（即ち連続する）粘膜面である近接粘膜面に比べると、周辺の粘膜面との間における画素値の変化が大きい。そこで、実施の形態１においては、画素値の変化を識別するための特徴量として、境界近傍画素のエッジ強度を算出する。
この後、処理はメインルーチンに戻る。
【００３９】
ステップＳ１５において、異常部領域識別部１４０は、特徴量を基に異常部領域を識別する。実施の形態１においては、ステップＳ１２において説明した方法と同様に、確率モデルを用いて識別を行う。具体的には、事前に、アフタ性病変や潰瘍、食物残渣、鏡面反射、近接粘膜等のカテゴリにそれぞれ属する複数の候補領域をサンプリングし、各候補領域の境界近傍画素の画素値に基づく特徴量（即ち、波長成分毎のエッジ強度）を求めておく。そして、サンプリングした候補領域の特徴量からなる特徴ベクトルＦｎ＝（ｆｎ＿１，ｆｎ＿２，…，ｆｎ＿ｊ，…，ｆｎ＿ｋ）ｔ （ｆｎ＿ｊ：ｎ番目のサンプリング候補領域のｊ番目の特徴量、ｋ：特徴量の個数（本実施形態においてはｋ＝３）を基に、カテゴリごとに、上式（１−１）及び（１−２）によって与えられる平均ベクトルμ及び分散共分散行列Ｚを求め、記録部５０に記録しておく。
【００４０】
そして、異常部領域識別部１４０は、処理対象の画像に含まれる候補領域の特徴量からなる特徴ベクトルｘ＝（ｘ＿１，ｘ＿２，…，ｘ＿ｊ，…，ｘ＿ｋ）ｔ （ｘ＿ｊは、当該候補領域のｊ番目の特徴量）を作成し、事前に記録部５０に記録しておいた各カテゴリの平均ベクトルμ及び分散共分散行列Ｚを基に、上式（１−３）に従い、各候補領域が各カテゴリの領域であるか否かを判定するための判定指標Ｐ（ｘ）を、カテゴリごとに算出する。その後、アフタ性病変や潰瘍のカテゴリに対する判定指標Ｐ（ｘ）が、他のカテゴリに対応する判定指標Ｐ（ｘ）よりも大きく、且つ、その判定指標Ｐ（ｘ）の値が所定の閾値以上となる候補領域を異常部領域と識別する。
【００４１】
なお、特徴量を基に異常部領域を識別する方法としては、上述した確率モデルを用いる方法の他、パターン認識で用いられる他の一般的な方法（決定木、近傍法、サポートベクターマシン等）を用いても良い。
【００４２】
そして、最後のステップＳ１６において、演算部１００は、ステップＳ１５における異常部領域の識別結果を出力する。これに応じて、制御部１０は、異常部領域の識別結果を記録部５０に記録する。この際、制御部１０は、異常部領域の識別結果を表示部４０等に表示させても良い。その後、画像処理装置１における処理は終了する。
【００４３】
以上説明したように、実施の形態１によれば、管腔内画像の色情報に基づいて異常部の候補領域を検出した後、候補領域の境界近傍画素の画素値に基づく特徴量を算出し、該特徴量を基に異常部領域を識別するので、異常部と、該異常部と同種の色情報を有する他の被写体とを精度良く識別することができる。また、実施の形態１によれば、候補領域の境界画素から所定の距離以下となる領域を各候補領域の境界近傍領域に設定し、境界近傍領域内の画素を境界近傍画素として特徴量を算出するので、候補領域の検出精度が不十分で、検出された候補領域の境界と本来の境界とに差異が生じる場合においても、その差を補うことができる。その結果、異常部を精度良く識別することが可能となる。
【００４４】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
図１１は、実施の形態２に係る画像処理装置の構成を示すブロック図である。図１１に示すように、実施の形態２に係る画像処理装置２は、図１に示す演算部１００の代わりに、演算部２００を備える。なお、画像処理装置２の演算部２００以外の構成については、図１に示すものと同様である。
【００４５】
演算部２００は、異常部候補領域検出部１１０と、境界近傍画素特定部２１０と、特徴量算出部１３０と、異常部領域識別部１４０とを備える。この内、異常部候補領域検出部１１０と、特徴量算出部１３０と、異常部領域識別部１４０の構成及び動作は、実施の形態１と同様である。
【００４６】
境界近傍画素特定部２１０は、境界近傍画素を特定する際の基となる境界を、候補領域の境界全周の内の一部に制限する対象境界制限部２１１を有し、制限した一部の境界に対して境界近傍画素を特定する。
【００４７】
より詳細には、対象境界制限部２１１は、候補領域の境界画素から外側の所定範囲である外辺領域から、特徴量の算出に有効な領域の画素（以下、有効画素という）を特定する外辺有効画素特定部２１１ａと、有効画素に対応する境界を設定する対応境界設定部２１１ｂとを含む。この内、外辺有効画素特定部２１１ａは、距離変換画像算出部２１１ａ−１と、距離変換画像分割部２１１ａ−２とを含み、各距離変換領域において、境界画素から所定の距離に位置する画素を、当該距離変換領域に対応する候補領域における有効画素として特定する。
【００４８】
一方、対応境界設定部２１１ｂは、画像内の各画素と上記有効画素との間の距離を表す距離変換画像を算出する距離変換画像算出部２１１ｂ−１を含み、有効画素から所定の距離以内にある境界を、有効画素に対応する境界に設定する。
【００４９】
次に、画像処理装置２の動作について説明する。画像処理装置２の動作は、全体として実施の形態１と同様であり、図２のステップＳ１３において境界近傍画素特定部２１０が実行する管腔内画像から検出された異常部の候補領域の境界近傍画素を特定する処理の内容が実施の形態１とは異なる。
【００５０】
図１２は、境界近傍画素特定部２１０の詳細な動作を示すフローチャートである。また、図１３及び図１４は、境界近傍画素の特定方法を説明する模式図である。
まず、ステップＳ２０１において、境界近傍画素特定部２１０は、候補領域の境界画素を検出する。なお、ステップＳ２０１における詳細な処理は、図５に示すステップＳ１３１と同様である。
【００５１】
続くステップＳ２０２において、距離変換画像算出部２１１ａ−１は、画像内の各画素と候補領域の境界画素との間の距離を表す距離変換画像を算出する。なお、ステップＳ２０２における詳細な処理は、図５に示すステップＳ１３２と同様である。
【００５２】
ステップＳ２０３において、距離変換画像分割部２１１ａ−２は、距離変換画像を各候補領域に対応する距離変換領域に分割する。なお、ステップＳ２０３における詳細な処理は、図５に示すステップＳ１３３と同様である。
【００５３】
ステップＳ２０４において、外辺有効画素特定部２１１ａは、境界画素から所定の距離にある画素である外辺画素を有効画素として特定する。ここで外辺画素とは、各候補領域に対応する距離変換領域において、候補領域の境界画素から候補領域の外側に向かって所定の距離ｄだけ離れた画素のことである。
【００５４】
このとき、例えば図１３の画像Ｍ７に示すように、候補領域Ａ６が画像Ｍ７の端部に接する場合、境界画素群Ｂ６の内、画像Ｍ７の端部近傍の画素群Ｂ６’には有効画素が特定されない。また、例えば図１４の画像Ｍ８に示すように、距離変換領域Ｃ７、Ｃ８にそれぞれ含まれる候補領域Ａ７、Ａ８同士が所定の距離ｄの２倍以下の間隔で近接する場合、境界画素群Ｂ７、Ｂ８の内、距離ｄの２倍以下で近接する境界画素群Ｂ７’、Ｂ８’には有効画素が特定されない。
【００５５】
ステップＳ２０５において、距離変換画像算出部２１１ｂ−１は、画像内の各画素の有効画素からの距離変換画像を算出する。なお、距離変換画像の算出方法については、図５に示すステップＳ１３２と同様である。
ステップＳ２０６において、対応境界設定部２１１ｂは、有効画素から所定の距離にある境界画素を検出する。
【００５６】
続くステップＳ２０７において、境界近傍画素特定部２１０は、ステップＳ２０６において検出した境界画素を境界近傍画素として特定する。これより、境界画素の内、画像の端部に接する部分の画素や、所定の距離以内で互いに近接する候補領域の部分の画素は境界近傍領域として特定されなくなる。
この後、処理はメインルーチンに戻る。
【００５７】
具体例として、画像Ｍ７の場合、ステップＳ２０５において算出された有効画素群Ｅ６からの距離変換画像を基に、ステップＳ２０６において、有効画素群Ｅ６から所定の距離ｄにある境界画素群Ｂ６（太線の部分）が検出される。この境界画素群Ｂ６のみが、ステップＳ２０７において境界近傍画素として特定される。
【００５８】
また、画像Ｍ８の場合、ステップＳ２０５において算出された有効画素群Ｅ７、Ｅ８からの距離変換画像を基に、ステップＳ２０６において、有効画素群Ｅ７、Ｅ８から所定の距離ｄにある境界画素群Ｂ７、Ｂ８（太線の部分）が検出される。これらの境界画素群Ｂ７、Ｂ８のみが、ステップＳ２０７において境界近傍画素として特定される。
【００５９】
以上説明したように、実施の形態２によれば、境界画素から所定の距離に位置する外辺画素を特徴量の算出に有効な領域の画素と特定し、該有効な領域の画素に対応する境界を基に特徴量を算出するので、候補領域の画像端に接する部分の画素値の変化や、互いに近接する候補領域間の画素値の変化を除外し、周辺の粘膜面との間の画素値の変化に基づく特徴量を算出することができる。その結果、異常部を精度良く識別することが可能となる。
【００６０】
（変形例）
次に、実施の形態２の変形例について説明する。
実施の形態２の変形例に係る画像処理装置は、図１１に示す外辺有効画素特定部２１１ａの代わりに、図１５に示す外辺有効画素特定部２１１ａ’を有する。なお、外辺有効画素特定部２１１ａ’以外の画像処理装置の構成については、図１１に示すものと同様である。
【００６１】
外辺有効画素特定部２１１ａ’は、実施の形態２と同様の距離変換画像算出部２１１ａ−１及び距離変換画像分割部２１１ａ−２に加えて、外辺領域内の画素が異常部の検出を行う対象領域（以下、検査対象領域という）に含まれるか否かを判定する検査領域判定部２１１ａ−３をさらに含み、検査対象領域に含まれると判定された外辺領域内の画素を有効画素として特定する。
【００６２】
次に、本変形例に係る画像処理装置の動作について説明する。図１６は、本変形例における境界近傍画素特定部の動作を示すフローチャートである。また、図１７は、検査対象領域の判定方法を説明する模式図である。なお、図１６に示すステップＳ２０１〜Ｓ２０３における動作は、実施の形態２と同様である。
【００６３】
ステップＳ２０３に続くステップＳ２１１において、検査領域判定部２１１ａ−３は、境界画素から所定の距離に位置する外辺画素の各々が、異常部検出のための検査対象領域に含まれるか否か判定する。ここで、候補領域の外側の周辺（外辺）に、管腔の深部（暗部）や有色残渣のように、検査対象領域である粘膜領域以外の領域（非検査対象領域）が存在する場合、この非検査対象領域と候補領域との間の境界近傍の画素に基づいて特徴量を算出することは適切でない。これは、非検査対象領域と候補領域との境界においては画素値の変化が非常に大きいので、この境界における画素値の変化が、異常部判定に用いる特徴量の平均値に影響を与えてしまうからである。
【００６４】
そこで、検査領域判定部２１１ａ−３は、外辺画素が検査対象領域である粘膜領域か否かを判定する。より詳細には、検査領域判定部２１１ａ−３は、ステップＳ１２と同様に、画像内の各画素の色情報を基に、粘膜領域の色を示す領域を特定し、この領域に含まれる外辺画素を粘膜領域（検査対象領域）と判定する。
【００６５】
例えば、図１７の画像Ｍ９に示すように、粘膜のひだ領域Ｒ１の端部において候補領域Ａ９が検出された場合、候補領域Ａ９の境界画素群Ｂ９から所定の距離ｄに位置する外辺画素群Ｅ９の内、ひだ領域Ｒ１側の外辺画素群Ｅ９−１が検査対象領域と判定され、管腔の深部領域Ｒ２側の外辺画素群Ｅ９−２は検査対象領域外と判定される。
【００６６】
続くステップＳ２１２において、外辺有効画素特定部２１１ａ’は、検査対象領域に含まれると判定された外辺画素を、特徴量の算出に有効な領域の画素（有効画素）として特定する。例えば、図１７の場合、外辺画素群Ｅ９−１が有効画素として特定される。
【００６７】
この後のステップＳ２０５〜Ｓ２０７は、実施の形態２と同様である。例えば、画像Ｍ９の場合、ステップＳ２０５において算出された外辺画素（有効画素）群Ｅ９−１からの距離変換画像を基に、ステップＳ２０６において、外辺画素群Ｅ９−１から所定の距離ｄにある境界画素群Ｂ９（太線の部分）が検出される。この境界画素群Ｂ９のみが、ステップＳ２０７において境界近傍画素として特定される。即ち、非検査領域（管腔の深部領域Ｒ２）と隣接する側の境界画素群Ｂ９’は境界近傍画素として特定されなくなる。
【００６８】
以上説明したように、実施の形態２の変形例によれば、検査対象領域に含まれると判定された外辺画素を特徴量の算出に有効な領域の画素と特定し、該有効な領域の画素に対応する境界画素の画素値を基に特徴量を算出するので、候補領域の境界画素のうち非検査対象領域と隣接する境界における画素値の変化を除外し、周辺の粘膜面との間の画素値の変化に基づく特徴量を算出することができる。その結果、異常部を精度良く識別することが可能となる。
【００６９】
（実施の形態３）
次に、本発明の実施の形態３について説明する。
図１８は、実施の形態３に係る画像処理装置の構成を示すブロック図である。図１８に示すように、実施の形態３に係る画像処理装置３は、図１に示す演算部１００の代わりに、演算部３００を備える。なお、画像処理装置３の演算部３００以外の構成については、図１に示すものと同様である。
【００７０】
演算部３００は、異常部候補領域検出部１１０と、境界近傍画素特定部１２０と、特徴量算出部３１０と、異常部領域識別部１４０とを備える。この内、異常部候補領域検出部１１０と、境界近傍画素特定部１２０と、異常部領域識別部１４０の構成及び動作は、実施の形態１と同様である。
【００７１】
特徴量算出部３１０は、生体内における吸収の度合いに応じて特定される特定波長成分を選択する特定波長成分選択部３１１と、境界近傍画素の画素値の内、選択された特定波長成分のエッジ強度を算出するエッジ強度算出部３１２とを有する。
【００７２】
次に、画像処理装置３の動作について説明する。画像処理装置３の動作は、全体として実施の形態１と同様であり、図２のステップＳ１４において特徴量算出部３１０が実行する境界近傍領域の画素値の特徴量を算出する処理の内容が実施の形態１とは異なる。
【００７３】
図１９は、特徴量算出部３１０の詳細な動作を示すフローチャートである。まず、ステップＳ３０１において、特定波長成分選択部３１１は、生体内での吸収が少ないＲ波長成分を選択する。ここで、粘膜表層に存在するアフタ性病変や潰瘍の撮像距離が、その周辺の粘膜面の撮像距離と同程度であるのに対し、粘膜上に浮遊又は堆積する食物残渣の撮像距離は、その周辺の粘膜面の撮像距離よりも短い（近い）。このような撮像距離の差は、生体内における吸収が少ないＲ波長成分により容易に確認することができる。そこで、ステップＳ３０１においては、Ｒ波長成分を特定波長成分として選択する。
【００７４】
続くステップＳ３０２において、エッジ強度算出部３１２は、境界近傍画素に対し、ステップＳ３０１において選択した特定波長成分のエッジ強度の平均値を算出する。なお、この処理の詳細は、エッジ強度の平均値の算出対象が特定波長成分のみであることを除き、図１０に示すステップＳ１４１及びＳ１４２と同様である。
【００７５】
ステップＳ３０３において、特定波長成分選択部３１１は、生体内での吸収が多いＧ波長成分又はＢ波長成分を選択する。ここで、生体組織の変化を伴うアフタ性病変や潰瘍は、撮像距離に関係なく、その周辺の粘膜面と異なる色調となるのに対し、カプセル内視鏡等の医用観察装置に近接して撮像された粘膜面（近接粘膜領域）は、撮像距離が短くなることによりＲ波長成分が飽和して周辺の粘膜面と異なる色調となる。このような撮像距離に応じた色調の差は、生体内での吸収が多いＧ波長成分又はＢ波長成分により容易に確認することができる。そこで、ステップＳ３０３においては、Ｇ波長成分又はＢ波長成分を特定波長成分として選択する。
【００７６】
ステップＳ３０４において、エッジ強度算出部３１２は、境界近傍画素に対し、ステップＳ３０３において選択した特定波長成分のエッジ強度の平均値を算出する。なお、この処理の詳細は、エッジ強度の平均値の算出対象が特定波長成分のみであることを除き、図１０に示すステップＳ１４１及びＳ１４２と同様である。
【００７７】
この後、処理はメインルーチンに戻る。この際、図２のステップＳ１５においては、ステップＳ３０２において算出されたエッジ強度の平均値と、ステップＳ３０４において算出されたエッジ強度の平均値とを別々に用いて、異常部領域の識別を行う。それにより、Ｒ波長成分に基づくエッジ強度の平均値から、食物残渣領域と異常部領域とが識別される。また、Ｇ波長成分又はＢ波長成分に基づくエッジ強度の平均値から、近接粘膜領域と異常部領域とが識別される。なお、必要に応じていずれか一方の平均値のみを用いて識別を行っても良い。
【００７８】
以上説明したように、実施の形態３によれば、生体内における吸収の度合いに応じて特定される特定波長成分を選択して特徴量を算出するので、異常部と食物残渣、或いは、異常部と近接粘膜とを識別するために適した特徴量を算出することができる。その結果、異常部を精度良く識別することが可能となる。
なお、上述した特徴量算出部３１０を、図１１に示す特徴量算出部１３０の代わりに適用しても良い。
【００７９】
（実施の形態４）
次に、本発明の実施の形態４について説明する。
図２０は、実施の形態４に係る画像処理装置の構成を示すブロック図である。図２０に示すように、実施の形態４に係る画像処理装置４は、図１に示す演算部１００の代わりに、演算部４００を備える。なお、画像処理装置４の演算部４００以外の構成については、図１に示すものと同様である。
【００８０】
演算部４００は、異常部候補領域検出部１１０と、境界近傍画素特定部１２０と、特徴量算出部４１０と、異常部領域識別部１４０とを備える。この内、異常部候補領域検出部１１０、境界近傍画素特定部１２０、及び異常部領域識別部１４０の構成及び動作は、実施の形態１と同様である。
【００８１】
特徴量算出部４１０は、候補領域の境界画素の内側と外側との間における画素値の変化を表す画素値変化情報を算出する画素値変化情報算出部４１１を有し、この画素値変化情報を特徴量とする。より詳細には、画素値変化情報算出部４１１は、画像内の各画素の境界画素からの距離を表す距離変換画像を算出する距離変換画像算出部４１１ａと、境界画素における画素値が同一の値となるように画素値変化情報を正規化する正規化部４１１ｂとを含む。
【００８２】
次に、画像処理装置４の動作について説明する。画像処理装置４の動作は、全体として実施の形態１と同様であり、図２のステップＳ１４において特徴量算出部４１０が実行する境界近傍領域の画素値の特徴量を算出する処理の内容が実施の形態１とは異なる。
【００８３】
図２１は、特徴量算出部４１０の詳細な動作を示すフローチャートである。また、図２２は、画素値変化情報の算出方法を説明する模式図である。
まず、ステップＳ４０１において、距離変換画像算出部４１１ａは、画像内の各画素と境界画素との間の距離を表す距離変換画像を算出する。なお、ステップＳ４０１における詳細な処理は、図５に示すステップＳ１３２と同様である。
【００８４】
続くステップＳ４０２において、画素値変化情報算出部４１１は、距離変換領域ごとに、距離変換画像において同一の距離となる画素群（即ち、候補領域の境界からの距離が同一の画素群）の画素値の平均値を、該距離を変更しながら順次算出することにより、画素値変化情報を算出する。
【００８５】
例えば、画像Ｍ１０の場合、境界画素群Ｂ１〜Ｂ５から距離ｄnだけ離れた各画素群Ｈ１n〜Ｈ５nに対し、画素値の平均値が算出される。ここで、ｎ＝０、±１、±２、…であり、ｎ＝０のときｄn＝０である。また、ｎが増加するについて、距離ｄnが境界画素群Ｂ１〜Ｂ５の外側方向に増加し、ｎが減少するにつれて、距離ｄnが境界画素群Ｂ１〜Ｂ５の内側方向に増加する。
【００８６】
図２３は、画素群Ｈ１n〜Ｈ５nにそれぞれ対応する画素値の平均値ｆ１（ｄn）〜ｆ５（ｄn）を示すグラフである。ここで、各平均値ｆ１（ｄn）〜ｆ５（ｄn）は、グラフの上方に位置するほど、対応する候補領域の輝度が全体的に高く、従って、撮像距離が短いと判断することができる。画像Ｍ１０の場合、平均値ｆ１（ｄn）が突出して高い候補領域Ａ１の撮像距離が短く（画面の手前側に存在）、それ以外の候補領域Ａ２〜Ａ５の撮像距離は比較的長い（画面の奥側に存在）といえる。
【００８７】
ステップＳ４０３において、正規化部４１１ｂは、境界画素における画素値の平均値が同一の値となるように画素値変化情報を正規化する。それにより、上述した撮像距離の差に起因する平均値の大きさを補正する。
【００８８】
図２４は、図２３に示す画素値の平均値ｆ１（ｄn）〜ｆ５（ｄn）を正規化したグラフである。図２４に示す正規化された各平均値ｆ１（ｄn）’〜ｆ５（ｄn）’の変化（傾き）は、各候補領域Ａ１〜Ａ５に対応する境界画素群Ｂ１〜Ｂ５近傍の画素値の変化を示している。例えば、図２４においては、平均値ｆ１（ｄn）’の変化が最も小さく、平均値ｆ４（ｄn）’、ｆ５（ｄn）’の変化が比較的大きくなっている。画素値変化情報算出部４１１は、このようにして算出した平均値ｆ１（ｄn）’〜ｆ５（ｄn）’を、画素値変化情報（画素値プロファイル）として出力する。
【００８９】
この後、処理はメインルーチンに戻り、図２に示すステップＳ１５において、異常部領域識別部１４０は、ステップＳ１４において算出された画素値変化情報に基づいて異常部領域の識別を行う。より詳細には、画素値変化情報における各距離ｄnに対応する値を特徴量として、実施の形態１と同様にして判定指標Ｐ（ｘ）を算出し、この判定指標Ｐ（ｘ）を閾値処理することにより、異常部領域を識別する。例えば、画像Ｍ１０の場合、平均値ｆ１（ｄn）の変化が小さい候補領域Ａ１が異常部領域として判定される。
【００９０】
以上説明したように、実施の形態４によれば、境界近傍画素のうち、境界画素からの距離が同一となる画素の画素値の平均値を、該距離を変更しながら順次算出した画素値変化情報を特徴量とするので、ノイズに影響され難く、且つ、候補領域周辺の粘膜面と候補領域との間の詳細な画素値の変化を示した特徴量を算出することができる。また、実施の形態４によれば、境界画素における画素値が同一の値となるように画素値変化情報を正規化するので、撮像距離に応じた画素値の大小差が補正された特徴量を算出することができる。従って、異常部を精度良く識別することが可能となる。
なお、上述した特徴量算出部４１０を、図１１に示す特徴量算出部１３０の代わりに適用しても良い。
【００９１】
（実施の形態５）
次に、本発明の実施の形態５について説明する。
図２５は、実施の形態５に係る画像処理装置の構成を示すブロック図である。図２５に示すように、実施の形態５に係る画像処理装置５は、図１に示す演算部１００の代わりに、演算部５００を備える。なお、画像処理装置５の演算部５００以外の構成については、図１に示すものと同様である。
【００９２】
演算部５００は、異常部候補領域検出部１１０と、境界近傍画素特定部１２０と、特徴量算出部５１０と、異常部領域識別部５２０とを備える。特徴量算出部５１０は、候補領域の境界画素の内側と外側との間における画素値の変化を表す画素値変化情報を算出する画素値変化情報算出部５１１と、エッジ強度算出部５１２とを有する。この内、エッジ強度算出部５１２は、画素値変化情報を基に画素値の変化量を表す変化量情報を算出する変化量情報算出部５１２ａと、変化量の最大値を算出する最大値算出部５１２ｂとを含む。異常部領域識別部５２０は、特徴量算出部５１０が特徴量として算出した上記最大値に基づいて異常部領域を識別する。なお、異常部候補領域検出部１１０及び境界近傍画素特定部１２０の構成及び動作は、実施の形態１と同様である。
【００９３】
次に、画像処理装置５の動作について説明する。画像処理装置５の動作は、全体として実施の形態１と同様であり、図２のステップＳ１４において特徴量算出部５１０が実行する境界近傍領域の画素値の特徴量を算出する処理の内容が実施の形態１とは異なる。
【００９４】
図２６は、特徴量算出部５１０の動作を示すフローチャートである。まず、ステップＳ５０１において、画素値変化情報算出部５１１は、境界画素の内側と外側との間における画素値変化情報を算出する（図２４参照）。なお、ステップＳ５０１における詳細な処理は、図２１に示すステップＳ４０１〜Ｓ４０３と同様である。
【００９５】
続くステップＳ５０２において、変化量情報算出部５１２ａは、画素値変化情報を基に画素値の変化量情報を算出する。具体的には、変化量情報算出部５１２ａは、ステップＳ５０１において算出した画素値の平均値の微分値を算出する。図２７は、図２４に示す各平均値ｆ１（ｄn）’〜ｆ５（ｄn）’に対応する微分値ｇ１（ｄn）〜ｇ５（ｄn）を示すグラフである。
【００９６】
さらに、ステップＳ５０３において、最大値算出部５１２ｂは、各候補領域Ａ１〜Ａ５に対応する変化量情報に基づき、変化量の最大値を算出する。例えば、図２７の場合、微分値ｇ１（ｄn）〜ｇ５（ｄn）から、最大値ｇ１（ｄ-2）、ｇ２（ｄ0）、ｇ３（ｄ1）、ｇ４（ｄ1）、ｇ５（ｄ1）がそれぞれ算出される。
特徴量算出部５１０は、このようにして算出された最大値を特徴量として出力する。
【００９７】
この後、処理はメインルーチンに戻り、図２に示すステップＳ１５において、異常部領域識別部５２０は、ステップＳ１４において算出された特徴量（変化量の最大値）に対して閾値処理を施すことにより、異常部領域の識別を行う。例えば、画像Ｍ１０の場合、最大値ｇ１（ｄ-2）の値が小さい候補領域Ａ１が異常部領域として判定される。
【００９８】
以上説明したように、実施の形態５によれば、境界画素の内側と外側の間の画素値変化情報を基に画素値の変化量情報を算出するので、候補領域周辺の粘膜面と候補領域との間の詳細な画素値の変化量を示す特徴量を算出することができる。また、実施の形態５によれば、変化量の最大値を算出することにより、候補領域の検出精度が不十分で、検出された候補領域の境界と本来の境界とに差異が生じる場合においても、その差を補うことができる。その結果、異常部を精度良く識別することが可能となる。
【００９９】
以上説明した実施の形態１〜５及び変形例に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜５及びその変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。
【０１００】
なお、本発明は、実施の形態１〜５及び変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【０１０１】
１〜５ 画像処理装置
１０ 制御部
２０ 画像取得部
３０ 入力部
４０ 表示部
５０ 記録部
５１ 画像処理プログラム
１００、２００、３００、４００、５００ 演算部
１１０ 異常部候補領域検出部
１２０ 境界近傍画素特定部
１２１、２１０ 境界近傍領域設定部
１２１ａ、２１１ａ−１、２１１ｂ−１、４１１ａ 距離変換画像算出部
１２１ｂ、２１１ａ−２ 距離変換画像分割部
１３０、３１０、４１０、５１０ 特徴量算出部
１３１ エッジ強度算出部
１４０ 異常部領域識別部
２１１ 対象境界制限部
２１１ａ、２１１ａ’ 外辺有効画素特定部
２１１ａ−３ 検査領域判定部
２１１ｂ 対応境界設定部
３１１ 特定波長成分選択部
３１２、５１２ エッジ強度算出部
４１１ 画素値変化情報算出部
４１１ｂ 正規化部
５１１ 画素値変化情報算出部
５１２ａ 変化量情報算出部
５１２ｂ 最大値算出部
【特許請求の範囲】
【請求項１】
被検体の管腔内を撮像した画像を構成する各画素の色情報を基に異常部の候補領域を検出する異常部候補領域検出部と、
前記候補領域の境界近傍に存在する画素である境界近傍画素を特定する境界近傍画素特定部と、
前記境界近傍画素の画素値に基づく特徴量を算出する特徴量算出部と、
前記特徴量を基に異常部領域を識別する異常部領域識別部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記境界近傍画素特定部は、
前記候補領域の境界に位置する境界画素を挟んで該候補領域の内側及び外側に所定の幅以下の前記境界近傍領域を設定する境界近傍領域設定部を有し、
前記境界近傍領域内の画素を境界近傍画素と特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記境界近傍領域設定部は、
前記画像内の各画素の前記境界画素からの距離を表す距離変換画像を算出する距離変換画像算出部と、
前記距離変換画像を前記候補領域に対応する距離変換領域に分割する距離変換画像分割部と、
を有し、
前記距離変換領域において所定の距離以下となる領域を、当該距離変換領域に対応する前記候補領域の境界近傍領域に設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記境界近傍画素特定部は、
前記境界近傍画素の特定に用いる境界を境界全周の内の一部に制限する対象境界制限部を有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記対象境界制限部は、
前記候補領域の境界に位置する境界画素から外側の所定の範囲である外辺領域から、前記特徴量の算出に有効な領域の画素である有効画素を特定する外辺有効画素特定部と、
前記有効画素に対応する境界を設定する対応境界設定部と、
を有することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記外辺有効画素特定部は、
前記画像内の各画素の前記境界画素からの距離を表す距離変換画像を算出する距離変換画像算出部と、
前記距離変換画像を前記候補領域に対応する距離変換領域に分割する距離変換画像分割部と、
を含み、
前記距離変換領域において所定の距離に位置する画素を、当該距離変換領域に対応する候補領域における前記有効画素と特定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記外辺有効画素特定部は、
前記外辺領域内の画素が前記異常部の検出を行う対象領域に含まれるか否かを判定する検査領域判定部を含み、
前記対象領域に含まれると判定された前記外辺領域内の画素を、前記有効画素と特定することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記対応境界設定部は、
前記画像内の各画素の前記有効画素からの距離を表す距離変換画像を算出する距離変換画像算出部を含み、
前記有効画素から所定の距離以内にある境界を、前記有効画素に対応する境界に設定することを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記特徴量算出部は、
生体内における吸収の度合いに応じて特定される特定波長成分を選択する特定波長成分選択部を有し、
前記境界近傍画素における前記特定波長成分の画素値に基づく特徴量を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記特定波長成分選択部は、前記生体内における吸収が少ない波長成分を特定波長成分として選択し、
前記異常部領域識別部は、前記特定波長成分に対応する画素値に基づく特徴量を基に、前記画像における食物残渣領域と異常部領域とを識別することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記特定波長成分選択部は、前記生体内における吸収が多い波長成分を特定波長成分として選択し、
前記異常部領域識別部は、前記特定波長成分の画素値に基づく特徴量を基に、前記画像における粘膜を近接して撮像した近接粘膜領域と異常部領域とを識別することを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
前記特定波長成分選択部は、互いに異なる複数の特定波長成分を選択することを特徴とする請求項９に記載の画像処理装置。
【請求項１３】
前記特徴量算出部は、
前記候補領域の境界に位置する境界画素の内側と外側との間における画素値の変化を表す画素値変化情報を算出する画素値変化情報算出部を有し、
前記画素値変化情報を特徴量とすることを特徴とする請求項１に記載の画像処理装置。
【請求項１４】
前記画素値変化情報算出部は、
前記画像内の各画素の前記境界画素からの距離を表す距離変換画像を算出する距離変換画像算出部を含み、
前記距離変換画像において同一の距離に位置する画素の画素値の平均値を、距離を変更しながら順次算出することにより、画素値変化情報を算出することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記画素値変化情報算出部は、前記境界画素における画素値が同一の値となるように画素値変化情報を正規化する正規化部を含むことを特徴とする請求項１３に記載の画像処理装置。
【請求項１６】
前記特徴量算出部は、
前記境界近傍画素のエッジ強度を算出するエッジ強度算出部を有し、
前記エッジ強度を特徴量とすることを特徴とする請求項１に記載の画像処理装置。
【請求項１７】
前記特徴量算出部は、前記候補領域の境界に位置する境界画素の内側と外側との間における画素値の変化を表す画素値変化情報を算出する画素値変化情報算出部を有し、
前記エッジ強度算出部は、前記画素値変化情報を基に画素値の変化量を表す変化量情報を算出する変化量情報算出部と、前記変化量の最大値を算出する最大値算出部とを含み、該最大値をエッジ強度とすることを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
被検体の管腔内を撮像した画像を構成する各画素の色情報を基に異常部の候補領域を検出する異常部候補領域検出ステップと、
前記候補領域の境界近傍に存在する画素である境界近傍画素を特定する境界近傍画素特定ステップと、
前記境界近傍画素の画素値に基づく特徴量を算出する特徴量算出ステップと、
前記特徴量を基に異常部領域を識別する異常部領域識別ステップと、
を含むことを特徴とする画像処理方法。
【請求項１９】
被検体の管腔内を撮像した画像を構成する各画素の色情報を基に異常部の候補領域を検出する異常部候補領域検出ステップと、
前記候補領域の境界近傍に存在する画素である境界近傍画素を特定する境界近傍画素特定ステップと、
前記境界近傍画素の画素値に基づく特徴量を算出する特徴量算出ステップと、
前記特徴量を基に異常部領域を識別する異常部領域識別ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１】
被検体の管腔内を撮像した画像を構成する各画素の色情報を基に異常部の候補領域を検出する異常部候補領域検出部と、
前記候補領域の境界近傍に存在する画素である境界近傍画素を特定する境界近傍画素特定部と、
前記境界近傍画素の画素値に基づく特徴量を算出する特徴量算出部と、
前記特徴量を基に異常部領域を識別する異常部領域識別部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記境界近傍画素特定部は、
前記候補領域の境界に位置する境界画素を挟んで該候補領域の内側及び外側に所定の幅以下の前記境界近傍領域を設定する境界近傍領域設定部を有し、
前記境界近傍領域内の画素を境界近傍画素と特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記境界近傍領域設定部は、
前記画像内の各画素の前記境界画素からの距離を表す距離変換画像を算出する距離変換画像算出部と、
前記距離変換画像を前記候補領域に対応する距離変換領域に分割する距離変換画像分割部と、
を有し、
前記距離変換領域において所定の距離以下となる領域を、当該距離変換領域に対応する前記候補領域の境界近傍領域に設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記境界近傍画素特定部は、
前記境界近傍画素の特定に用いる境界を境界全周の内の一部に制限する対象境界制限部を有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記対象境界制限部は、
前記候補領域の境界に位置する境界画素から外側の所定の範囲である外辺領域から、前記特徴量の算出に有効な領域の画素である有効画素を特定する外辺有効画素特定部と、
前記有効画素に対応する境界を設定する対応境界設定部と、
を有することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記外辺有効画素特定部は、
前記画像内の各画素の前記境界画素からの距離を表す距離変換画像を算出する距離変換画像算出部と、
前記距離変換画像を前記候補領域に対応する距離変換領域に分割する距離変換画像分割部と、
を含み、
前記距離変換領域において所定の距離に位置する画素を、当該距離変換領域に対応する候補領域における前記有効画素と特定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記外辺有効画素特定部は、
前記外辺領域内の画素が前記異常部の検出を行う対象領域に含まれるか否かを判定する検査領域判定部を含み、
前記対象領域に含まれると判定された前記外辺領域内の画素を、前記有効画素と特定することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記対応境界設定部は、
前記画像内の各画素の前記有効画素からの距離を表す距離変換画像を算出する距離変換画像算出部を含み、
前記有効画素から所定の距離以内にある境界を、前記有効画素に対応する境界に設定することを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記特徴量算出部は、
生体内における吸収の度合いに応じて特定される特定波長成分を選択する特定波長成分選択部を有し、
前記境界近傍画素における前記特定波長成分の画素値に基づく特徴量を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記特定波長成分選択部は、前記生体内における吸収が少ない波長成分を特定波長成分として選択し、
前記異常部領域識別部は、前記特定波長成分に対応する画素値に基づく特徴量を基に、前記画像における食物残渣領域と異常部領域とを識別することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記特定波長成分選択部は、前記生体内における吸収が多い波長成分を特定波長成分として選択し、
前記異常部領域識別部は、前記特定波長成分の画素値に基づく特徴量を基に、前記画像における粘膜を近接して撮像した近接粘膜領域と異常部領域とを識別することを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
前記特定波長成分選択部は、互いに異なる複数の特定波長成分を選択することを特徴とする請求項９に記載の画像処理装置。
【請求項１３】
前記特徴量算出部は、
前記候補領域の境界に位置する境界画素の内側と外側との間における画素値の変化を表す画素値変化情報を算出する画素値変化情報算出部を有し、
前記画素値変化情報を特徴量とすることを特徴とする請求項１に記載の画像処理装置。
【請求項１４】
前記画素値変化情報算出部は、
前記画像内の各画素の前記境界画素からの距離を表す距離変換画像を算出する距離変換画像算出部を含み、
前記距離変換画像において同一の距離に位置する画素の画素値の平均値を、距離を変更しながら順次算出することにより、画素値変化情報を算出することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記画素値変化情報算出部は、前記境界画素における画素値が同一の値となるように画素値変化情報を正規化する正規化部を含むことを特徴とする請求項１３に記載の画像処理装置。
【請求項１６】
前記特徴量算出部は、
前記境界近傍画素のエッジ強度を算出するエッジ強度算出部を有し、
前記エッジ強度を特徴量とすることを特徴とする請求項１に記載の画像処理装置。
【請求項１７】
前記特徴量算出部は、前記候補領域の境界に位置する境界画素の内側と外側との間における画素値の変化を表す画素値変化情報を算出する画素値変化情報算出部を有し、
前記エッジ強度算出部は、前記画素値変化情報を基に画素値の変化量を表す変化量情報を算出する変化量情報算出部と、前記変化量の最大値を算出する最大値算出部とを含み、該最大値をエッジ強度とすることを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
被検体の管腔内を撮像した画像を構成する各画素の色情報を基に異常部の候補領域を検出する異常部候補領域検出ステップと、
前記候補領域の境界近傍に存在する画素である境界近傍画素を特定する境界近傍画素特定ステップと、
前記境界近傍画素の画素値に基づく特徴量を算出する特徴量算出ステップと、
前記特徴量を基に異常部領域を識別する異常部領域識別ステップと、
を含むことを特徴とする画像処理方法。
【請求項１９】
被検体の管腔内を撮像した画像を構成する各画素の色情報を基に異常部の候補領域を検出する異常部候補領域検出ステップと、
前記候補領域の境界近傍に存在する画素である境界近傍画素を特定する境界近傍画素特定ステップと、
前記境界近傍画素の画素値に基づく特徴量を算出する特徴量算出ステップと、
前記特徴量を基に異常部領域を識別する異常部領域識別ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図７】
【公開番号】特開２０１３−１１１４２０（Ｐ２０１３−１１１４２０Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６３０９１（Ｐ２０１１−２６３０９１）
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]