画像処理装置及びプログラム
【課題】注目領域の消失の有無の判定に基づいて誘導情報を生成することで、消失した注目領域の再発見を容易にし、ドクターの負荷を低減する画像処理装置及びプログラム等を提供すること。
【解決手段】画像処理装置は、特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部３３０と、特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、注目領域の消失の有無を判定する消失有無判定部と、消失したと判定された注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、生成された誘導情報を含む情報の出力制御を行う出力制御部３６０と、を含む。
【解決手段】画像処理装置は、特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部３３０と、特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、注目領域の消失の有無を判定する消失有無判定部と、消失したと判定された注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、生成された誘導情報を含む情報の出力制御を行う出力制御部３６０と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びプログラム等に関する。
【背景技術】
【０００２】
従来、体腔内の組織に対して回転フィルタを用いてＲ１，Ｇ１，Ｂ１の３色の光を順次照射し、それらの反射光画像から作成した画像（通常光画像）を用いて診断を行う面順次式の内視鏡システムが広く使用されている。さらに、体腔内の組織に対して前述の３色の光とは特性が異なる２種類の狭帯域光Ｇ２とＢ２を順次照射し、それらの反射光画像から作成した狭帯域光画像を用いて診断を行う内視鏡システムが提案されている（例えば、特許文献１）。
【０００３】
また、体腔内の組織に対して狭帯域の励起光を照射し、励起光により組織から発生する自家蛍光もしくは薬剤蛍光を取得して作成した蛍光画像を用いて診断を行う内視鏡システムが提案されている（例えば特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−６８１１３号公報
【特許文献２】特開２００７−２２９０５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の特許文献１のような狭帯域光画像を取得する内視鏡システムを用いて診断を行うことで、例えば通常光観察による視認が困難な扁平上皮癌等の病変部が、正常部とは異なる褐色の領域として描出されるため、その発見が容易になることが知られている。
【０００６】
また、上述の特許文献２のような蛍光画像を取得する内視鏡システムを用いて診断を行う場合は、腫瘍等の病変部に特異的に集積する性質を持つ蛍光薬剤を使用することで、腫瘍等の病変部だけが蛍光を発生することでその発見が容易になる。
【０００７】
しかしこれらの狭帯域光画像や蛍光画像（これらを合わせて特殊光画像と呼ぶ）は、一般的に通常光画像と比較してかなり異なる色みを有しており、さらに照明光が不足するため非常に暗い画像となるため、特殊光画像のみを用いて診断を行うことは難しい。このような理由から、ドクターの診断精度を向上するために、例えば通常光画像と特殊光画像を同時に取得して表示することが考えられる。しかし、これらの画像を並べて同時に表示すると、ドクターが常時複数の画像に注目しながら診断を行うこととなりドクターの負荷が高くなる。また、一時的に１つの画像のみに注目してしまうことで病変部を見逃すことも考えられる。
【０００８】
本発明の幾つかの態様によれば、特殊画像における注目領域の見逃しを抑止できる画像処理装置及びプログラム等を提供できる。
【０００９】
また、本発明の幾つかの態様によれば、特殊光画像から注目領域を検出し、注目領域の消失の有無の判定に基づいて誘導情報を生成することで、消失した注目領域の再発見を容易にし、ドクターの負荷を低減する画像処理装置及びプログラム等を提供できる。
【課題を解決するための手段】
【００１０】
本発明の一態様は、特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部と、前記特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、前記注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、前記注目領域の消失の有無を判定する消失有無判定部と、消失したと判定された前記注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、生成された前記誘導情報を含む情報の出力制御を行う出力制御部と、を含む画像処理装置に関係する。
【００１１】
本発明の一態様では、特殊光画像から注目領域を検出し、注目領域の消失の有無を判定する。そして、判定に基づいて誘導情報を生成し、生成した誘導情報を出力する。これにより、消失した注目領域の発見が、誘導情報がない場合に比べて容易になり、注目領域の見逃し等を抑止することが可能になる。
【００１２】
また、本発明の他の態様は、特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部と、前記特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、前記注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、前記注目領域の消失の有無を判定する消失有無判定部と、消失したと判定された前記注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、生成された前記誘導情報を含む情報の出力制御を行う出力制御部として、コンピュータを機能させるプログラムに関係する。
【図面の簡単な説明】
【００１３】
【図１】本実施形態のシステム構成例。
【図２】色フィルタＲ，Ｇ，Ｂの分光特性。
【図３】色フィルタｇ２，ｂ２の分光特性。
【図４】色フィルタｇ２，ｂ２の説明図。
【図５】通常光画像取得部の構成例。
【図６】特殊光画像取得部の構成例。
【図７】出力画像生成部の構成例。
【図８】注目領域検出部の構成例。
【図９】局所領域の分割手法の説明図。
【図１０】注目領域群の設定の説明図。
【図１１】表示態様決定部の構成例。
【図１２】記憶部に記憶される注目領域に関する情報の例。
【図１３】図１３（Ａ）は通常光画像の例、図１３（Ｂ）は特殊光画像の例、図１３（Ｃ）、図１３（Ｄ）は通常光画像に加工を施した例。
【図１４】図１４（Ａ）〜図１４（Ｃ）は各タイミングにおける特殊光画像上での注目領域群の移動を説明する図。
【図１５】誘導情報の出力の例。
【図１６】本実施形態の処理を説明するための状態遷移図。
【図１７】複数の注目領域群が検出された場合の処理の説明図。
【図１８】本実施形態の処理を説明するためのフローチャート。
【図１９】注目領域検出処理を説明するためのフローチャート。
【図２０】表示態様決定処理を説明するためのフローチャート。
【図２１】本実施形態の他のシステム構成例。
【図２２】回転フィルタの例。
【図２３】フィルタＦ１，Ｆ２と蛍光の分光特性。
【図２４】バリアフィルタの分光特性。
【図２５】各タイミングにおけるフィルタと得られる画像の組み合わせの例。
【図２６】回転フィルタの他の例。
【発明を実施するための形態】
【００１４】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１５】
１．第１の実施形態
まず、本実施形態の手法について説明する。内視鏡を用いた観察においては、病変部を一度検出しても、病変部が表示対象範囲から外れることで、見失ってしまうことが考えられる。しかし、消失した病変部（注目領域）を再度発見することは容易ではない。特に、ドクターが他の作業に集中していた、或いは、注目領域の検出が非常に短い時間であった等、そもそもドクターが注目領域の検出に気づかなかったケース等では、消失した注目領域の発見は偶然によるものしか期待できないといってもよい。
【００１６】
そこで、本出願人は以下のような手法を提案する。後述する図１４（Ａ）〜図１４（Ｃ）に示すように、特殊光画像において検出される注目領域は、内視鏡装置の撮像部の移動に伴い画像上を移動する。そして、図１４（Ｃ）に示すように、あるタイミングにおいて表示対象範囲から外れたとする。このような場合に、消失してしまった注目領域の再発見を容易にするために、図１４（Ａ）、図１４（Ｂ）の情報を用いて、後述する図１５に示すように、誘導情報（図１５の例では矢印）を出力する。
【００１７】
第１の実施形態においては、特殊光画像がＮＢＩ（Narrow Band Imaging）画像である場合について説明する。１．１において具体的な実施例について説明し、１．２〜１．４で変形例について説明する。また１．５において本実施形態の処理の一部をソフトウェアで実現する例を、フローチャートを用いて説明し、１．６において本実施形態の詳細な構成について説明する。
【００１８】
また、第２の実施形態においては、特殊光画像が蛍光画像（例えばＡＦＩ、Auto Fluorescence Imaging等）やＩＲＩ画像である場合について説明する。
【００１９】
１．１ 本実施形態の手法
本発明の第１の実施形態に係る画像処理装置を含む内視鏡システムについて、図１を参照して説明する。本実施形態に係る内視鏡システムは、光源部１００と、挿入部２００と、画像処理部３００と、出力部４００（表示部）と、外部Ｉ／Ｆ部５００を含む。
【００２０】
光源部１００は、白色光を発生する白色光源１１０と白色光をライトガイドファイバ２１０に集光するための集光レンズ１２０を含む。
【００２１】
挿入部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。挿入部２００には、光源部で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバにより先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０と、観察対象から戻る反射光を集光する対物レンズ２３０と、集光した反射光を２つに分離するハーフミラー２４０と、分離された反射光を検出するための第１撮像素子２５０と第２撮像素子２６０を含む。
【００２２】
第１撮像素子２５０は通常光画像を撮影するためのベイヤ配列の色フィルタを持つ撮像素子である。第１撮像素子２５０の色フィルタｒ，ｇ，ｂは例えば図２に示すような分光特性を持っている。第２撮像素子２６０は狭帯域光画像を撮影するための撮像素子であり、例えば図４に示すように２種類の狭帯域光Ｇ２とＢ２をそれぞれ透過する２種類の色フィルタｇ２とｂ２を市松状に並べたような色フィルタを持つ撮像素子である。
【００２３】
第２撮像素子２６０の色フィルタｇ２，ｂ２は例えば図３に示すように、ｂ２が３９０〜４４５ｎｍ、ｇ２が５３０〜５５０ｎｍの波長帯域の光を透過させる透過率特性を有している。
【００２４】
画像処理部３００はＡ／Ｄ変換部３１０と通常光画像取得部３２０と特殊光画像取得部３３０と出力画像生成部３４０と制御部３５０を含む。制御部３５０は通常光画像取得部３２０、特殊光画像取得部３３０、出力画像生成部３４０と双方向に接続されていて、これらを制御するようになっている。
【００２５】
外部Ｉ／Ｆ部５００は、この撮像装置に対するユーザーからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を、制御部３５０へ出力するようになっている。
【００２６】
Ａ／Ｄ変換部３１０は、第１撮像素子２５０もしくは第２撮像素子２６０から出力されるアナログ信号をデジタル信号に変換して出力する。
【００２７】
通常光画像取得部３２０は、Ａ／Ｄ変換部３１０から出力されるデジタル信号から通常光画像を取得する。特殊光画像取得部３３０はＡ／Ｄ変換部３１０から出力されるデジタル信号から特殊光画像を取得する。通常光画像取得部３２０及び特殊光画像取得部３３０の詳細については後述する。
【００２８】
通常光画像取得部３２０で取得された通常光画像と、特殊光画像取得部３３０で取得された特殊光画像は出力画像生成部３４０に出力される。出力画像生成部３４０はこれら２枚の画像から１枚の出力画像を生成して出力部４００に出力する。出力画像生成部３４０の詳細については後述する。
【００２９】
次に通常光画像取得部３２０について図５を用いて説明する。通常光画像取得部３２０は通常光画像生成部３２１と通常光画像記憶部３２２を含む。通常光画像生成部３２１はＡ／Ｄ変換部３１０で変換されて入力されるデジタル信号に対して画像処理を行い、通常光画像を生成する。具体的には、既存の補間処理やホワイトバランス、色変換、階調変換等の処理を行い、通常光画像を生成して出力する。通常光画像記憶部３２２は通常光画像生成部３２１から出力された通常光画像を記憶する。
【００３０】
次に特殊光画像取得部３３０について図６を用いて説明する。特殊光画像取得部３３０は特殊光画像生成部３３１と特殊光画像記憶部３３２を含む。特殊光画像生成部３３１はＡ／Ｄ変換部３１０で変換されて入力されるデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。本実施例では特殊光画像は狭帯域光画像となる。
【００３１】
ここで、特殊光画像生成部３３１で狭帯域光画像を生成する方法について説明する。特殊光画像生成部に入力されるデジタル画像信号は、前述したように図４で示す２種類の色フィルタｇ２とｂ２を市松状に並べたような画像信号である。このような画像信号に対してまず補間処理を行い、全画素でｇ２フィルタの信号値を持つＧ２画像と、全画素でｂ２フィルタの信号値を持つＢ２画像を生成する。補間処理で算出される画素値は例えば周辺４画素の平均値とすればよく、例えば図４のｇ２（１,１）の位置でのｂ２の画素値ｂ２（１,１）、及びｂ２（１,２）位置でのｇ２の画素値ｇ２（１,２）は下式（１）、（２）により算出する。
【００３２】
b2（1,1) = [b2（0,1）+b2（1,0）+b2（1,2）+b2（2,1）] / 4 ・・・・・（１）
g2（1,2) = [g2（0,2）+g2（1,1）+g2（1,3）+g2（2,2）] / 4 ・・・・・（２）
【００３３】
次に全画素に対して補間されたＧ２画像及びＢ２画像からＲ，Ｇ，Ｂの３チャンネルを持つカラー画像を生成する。ここでは例えばカラー画像のＲチャンネルにＧ２画像を入力し、ＧチャンネルとＢチャンネルにＢ２画像を入力することでカラー画像が生成される。
【００３４】
特殊光画像生成部３３１は、生成したカラー画像に対してさらにホワイトバランス、階調変換等の処理を行い、狭帯域光画像として出力する。特殊光画像記憶部３３２は特殊光画像生成部３３１から出力された特殊光画像を記憶する。
【００３５】
次に、出力画像生成部３４０の具体的な構成について説明する。図７は、第１の実施形態における出力画像生成部３４０の構成の一例を説明するブロック図である。出力画像生成部３４０は、注目領域検出部３４１と表示態様決定部３４２とを含む。
【００３６】
ここで、通常光画像取得部３２０からの画像信号は、表示態様決定部３４２に出力される。また、特殊光画像取得部３３０からの画像信号は、注目領域検出部３４１と、表示態様決定部３４２に出力される。注目領域検出部３４１は、特殊光画像取得部３３０から出力された特殊光画像を用いて注目領域を検出し、注目領域情報を表示態様決定部３４２に出力する。注目領域検出部３４１の詳細については後述する。制御部３５０は、注目領域検出部３４１と、表示態様決定部３４２に双方向に接続されていて、これらを制御するようになっている。
【００３７】
また、表示態様決定部３４２は、通常光画像取得部３２０から出力される通常光画像及び特殊光画像取得部３３０から出力される特殊光画像から画像を選択し、出力部４００に画像を出力する。さらに表示態様決定部３４２は、注目領域検出部３４１から出力される注目領域情報に基づいて、通常光画像を加工したうえで出力部に画像を出力することもできる。表示態様決定部３４２の詳細については後述する。
【００３８】
次に、注目領域検出部３４１の具体的な構成について説明する。図８は、本実施形態における注目領域検出部３４１の構成の一例を説明するブロック図である。
【００３９】
注目領域検出部３４１は局所領域設定部３４１１と、特徴量算出部３４１２と、注目候補領域設定部３４１４と、信頼度算出部３４１５と、注目領域設定部３４１６を含む。制御部３５０は、局所領域設定部３４１１と、特徴量算出部３４１２と、注目候補領域設定部３４１４と、信頼度算出部３４１５と、注目領域設定部３４１６に双方向に接続されていて、これらを制御するようになっている。
【００４０】
局所領域設定部３４１１は、特殊光画像取得部３３０から出力された特殊光画像に対して、複数の局所領域を設定する。ここでは例えば特殊光画像を矩形領域に分割し、分割した各領域を局所領域として設定する。この矩形領域のサイズは適宜設定できるが、ここでは例えば、図９に示すように、１６×１６画素を１つの局所領域とする。ここで特殊光画像はＭ×Ｎ個の局所領域で構成されていることとし、各局所領域の座標を（ｍ，ｎ）で示すこととする。また、座標（ｍ，ｎ）の局所領域はａ（ｍ，ｎ）として示すこととする。ここでは画像の左上に位置する局所領域の座標を（０，０）とし、右方向をｍの正方向、下方向をｎの正方向として表している。
【００４１】
局所領域は必ずしも矩形である必要はなく、特殊光画像を任意の多角形に分割し、分割されたそれぞれの領域を局所領域に設定できることは言うまでもない。また、局所領域をユーザーの指示に応じて任意に設定できるようにしてもよい。また、ここでは後の計算量を削減するために、複数の隣接する画素群からなる領域を１つの局所領域としているが、１画素を１つの局所領域とすることも可能である。この場合も後の処理は全く同様である。
【００４２】
特徴量算出部３４１２はすべての局所領域に対して病変らしさを表す特徴量を算出する。ここでは特徴量の一例として色情報を利用する場合について説明する。本実施の形態で特殊光画像として使用している狭帯域光画像においては、扁平上皮癌等の病変部が褐色の領域として描出されるため、特徴量として色相Ｈを使用することで病変部を検出することができる。局所領域ａ（ｍ，ｎ）の色相をＨ（ｍ，ｎ）とする。
【００４３】
Ｈ（ｍ，ｎ）を算出するため、まずそれぞれの局所領域に含まれるすべての画素を用いて、Ｒ，Ｇ，Ｂチャンネルそれぞれに対して平均の信号値を算出する。ここで、局所領域ａ（ｍ，ｎ）におけるＲ，Ｇ，Ｂチャンネルの平均の信号値をｒ，ｇ，ｂと表記し、各信号値は８ビット（０〜２５５）であるとする。
【００４４】
次にこの平均の信号値ｒ，ｇ，ｂから例えば以下の式（３）〜（８）を用いて各局所領域の色相Ｈ（ｍ，ｎ）を算出する。
【００４５】
max = MAX（r，g，b） ・・・・・（３）
ここで、ＭＡＸ関数は複数の引数の中で最大のものを出力する関数とする。
ｍａｘが０の場合、
H = 0 ・・・・・（４）
ｍａｘが０以外の場合、
d = MAX（r，g，b）- MIN（r，g，b） ・・・・・（５）
ここで、ＭＩＮ関数は複数の引数の中で最小のものを出力する関数とする。
【００４６】
さらに、
ｒ，ｇ，ｂのうちｒが最大の場合、
H = 60 *（g-b）/ d ・・・・・（６）
ｒ，ｇ，ｂのうちｇが最大の場合、
H = 60 * {2+（b-r）} / d ・・・・・（７）
ｒ，ｇ，ｂのうちｂが最大の場合、
H = 60 * {4+（r-g）} / d ・・・・・（８）
なお、Ｈが＜０になった場合には、Ｈに３６０を加える。また、Ｈ＝３６０の場合、Ｈ＝０とする。
【００４７】
次に、注目候補領域設定部３４１４はすべての局所領域に対して算出した特徴量に対して閾値処理を行い、注目候補領域を検出する。ここでは褐色の領域を注目領域として検出したいため、例えば色相Ｈが５〜３５の範囲にある局所領域を注目候補領域とすればよい。
【００４８】
次に注目候補領域設定部３４１４は、注目候補領域として検出された複数の局所領域ａ（ｍ，ｎ）の座標から、互いに隣接する注目候補領域からなる注目候補領域群を検出し、タグ情報を付加することで複数の異なる注目候補領域群同士を識別する。例えば、図１０に示すように２つの注目候補領域群が存在する場合、注目候補領域設定部３４１４は、注目候補領域群１に属する注目候補領域に対してはタグの値を１とし、注目候補領域群２に属する注目候補領域に対してはタグの値を２とする。
【００４９】
次に注目候補領域設定部３４１４は、注目候補領域群ごとに、注目候補領域群に属する局所領域の特徴量の平均値を算出する。ここでは注目候補領域群ごとに色相の平均値Ｈ＿ａｖｅを算出する。
【００５０】
さらに注目候補領域設定部３４１４は、注目候補領域群に属する各局所領域ａ（ｍ，ｎ）の座標、および特徴量の平均値を、注目候補領域情報として信頼度算出部３４１５に出力する。
【００５１】
また、ここでは色相Ｈの替わりに公知の手法で局所領域の平均の輝度や彩度を算出し、これらの値を特徴量として注目候補領域を検出してもよい。さらにこれらの輝度、色相、彩度の情報を任意に組み合わせることで１つの特徴量を算出し、注目候補領域を検出することも可能であることは言うまでもない。
【００５２】
信頼度算出部３４１５は注目候補領域群に対して、病変であるかどうかを判定するために信頼度を算出する。ここでは各注目候補領域に付けられたタグの情報から、注目候補領域群に属する注目候補領域の数を算出することで注目候補領域群の面積を算出し、これを信頼度として使用する。例えば図１０の注目候補領域群１及び注目候補領域群２の信頼度ｄ１及びｄ２は、１つの局所領域の面積を１とすると、ｄ１＝９となりｄ２＝２となる。さらに信頼度算出部３４１５は、注目候補領域群に属する各局所領域の座標（ｍ，ｎ）、色相の平均値Ｈ＿ａｖｅ、および信頼度を注目候補領域情報として注目領域設定部３４１６に出力する。
【００５３】
注目領域設定部３４１６は注目候補領域情報に含まれる信頼度から注目領域を設定する。例えば信頼度が５以上の注目候補領域群を注目領域とすることで、注目候補領域群１だけが注目領域として設定される。このような処理を行うことで、微小な面積の注目候補領域群をノイズとして排除することが可能となり、信頼度の高い注目領域を検出することができる。
【００５４】
次に注目領域設定部３４１６は、検出された注目候補領域群（今後、注目領域群と呼ぶ）に属する各局所領域ａ（ｍ，ｎ）の座標から注目領域群の重心の座標（ｘ，ｙ）を算出し、注目領域群に属する各局所領域の座標ａ（ｍ，ｎ）および注目領域群の重心の座標（ｘ，ｙ）、色相の平均値Ｈ＿ａｖｅ、信頼度を注目領域情報として表示態様決定部３４２に出力する。また、注目領域設定部３４１６は、特殊光画像中に注目領域が検出されたか否かの制御信号を表示態様決定部３４２に出力する。
【００５５】
なお、本実施例では注目候補領域群に属する注目候補領域の数から面積を算出し、信頼度としたが、注目候補領域群に属する注目候補領域の平均の色相や彩度、輝度を算出し、これを用いて信頼度を算出してもよい。さらに、注目候補領域群の面積と色相や彩度、輝度を組み合わせて信頼度を算出することも可能なことは言うまでもない。
【００５６】
次に、表示態様決定部３４２の具体的な構成について説明する。図１１は、本実施の形態における表示態様決定部３４２の構成の一例を説明するブロック図である。表示態様決定部３４２は、加工部３４２１と誘導情報生成部３４２２と記憶部３４２３を含む。
【００５７】
通常光画像取得部３２０および特殊光画像取得部３３０から出力される画像信号は、加工部に入力される。加工部３４２１は、制御部３５０の制御に基づき、注目領域検出部３４１から出力される注目領域情報および誘導情報生成部３４２２から出力される消失方向情報を用いて、通常光画像を加工する。加工部３４２１はさらに、加工した通常光画像を出力部４００に出力する。制御部３５０は、例えば注目領域が検出された場合と検出されない場合に加工部３４２１がどのような画像を出力部４００に出力するかについて、ユーザーの指示に基づいて制御することができる。加工部３４２１と誘導情報生成部３４２２の詳細については後述する。
【００５８】
記憶部３４２３は注目領域検出部３４１から出力された注目領域情報のうち、注目領域群を表すタグ情報、注目領域群の重心の座標（ｘ，ｙ）、特徴量の平均値、信頼度を記憶する。記憶された情報の一例を図１２に示す。ここでは注目領域群として１から３の３つが記憶されているが、これは注目領域検出部３４１に入力された１フレームの特殊光画像から、３つの注目領域群が検出されたことを表している。
【００５９】
本実施例では動画を想定しているため、注目領域検出部３４１に対して１フレームの特殊光画像が順次入力されることになる。この結果、注目領域検出部３４１からは各フレームに対して検出された注目領域情報が順次出力されることになる。この場合、記憶部３４２３は特殊光画像が取得されたタイミングと関連付けて、注目領域情報を記憶する。この時、記憶部３４２３は例えば以下の処理に必要な、任意の個数の注目領域情報を記憶するリングバッファとすればよい。なお、特殊光画像から注目領域が検出されなかった場合、記憶部３４２３は注目領域無しという情報を記憶する。
【００６０】
ここで加工部３４２１及び誘導情報生成部３４２２の具体的な処理について説明する。
加工部３４２１は、注目領域検出部３４１で注目領域が検出された場合、注目領域検出部３４１から出力された注目領域情報を用いて、通常光画像取得部３２０から出力された通常光画像を加工する。図１３（Ａ）は通常光画像取得部３２０から出力された通常光画像と、注目領域検出部３４１から出力された注目領域情報を示した一例である。ここでは、点線で示した注目領域群に含まれるすべての画素の位置情報が注目領域情報として加工部３４２１に入力される。
【００６１】
加工部３４２１は例えば、通常光画像のうち注目領域情報として入力されたすべての画素に対して、以下の式（９）〜（１１）を用いて色変換処理を行う。ここでｒ（ｘ，ｙ），ｇ（ｘ，ｙ），ｂ（ｘ，ｙ）は色変換前の通常光画像の座標（ｘ，ｙ）におけるＲ，Ｇ，Ｂチャンネルの信号値であり、ｒ＿ｏｕｔ（ｘ，ｙ），ｇ＿ｏｕｔ（ｘ，ｙ），ｂ＿ｏｕｔ（ｘ，ｙ）は色変換後の通常光画像のＲ，Ｇ，Ｂチャンネルの信号値である。また、Ｔ＿ｒ，Ｔ＿ｇ，Ｔ＿ｂは任意の目標色のＲ，Ｇ，Ｂ信号値であり、ｇａｉｎは０〜１の任意の係数である。
【００６２】
r_out（x，y）= gain*r（x，y）+（1-gain）* T_r ・・・・・（９）
g_out（x，y）= gain*g（x，y）+（1-gain）* T_g ・・・・・（１０）
b_out（x，y）= gain*b（x，y）+（1-gain）* T_b ・・・・・（１１）
【００６３】
このような処理を行うことで、図１３（Ｂ）に示す特殊光画像を観察した時に病変部と疑われる注目領域群が、図１３（Ｃ）に示すように通常光画像に色の異なる領域として重畳して表示されることになり、通常光画像と特殊光画像を用いた診断を行う際にドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【００６４】
また、加工部３４２１は例えば通常光画像のうち注目領域群の境界を構成するすべての画素に対して、以下の式１２〜１４を用いて色変換処理を行ってもよい。
【００６５】
r_out（x，y）= T_r ・・・・・（１２）
g_out（x，y）= T_g ・・・・・（１３）
b_out（x，y）= T_b ・・・・・（１４）
このような処理を行うことで、図１３（Ｄ）に示すように通常光画像に対して注目領域群が任意の目標色に囲まれた部分として重畳して表示することができる。
【００６６】
図１４（Ａ）〜図１４（Ｃ）は、本実施形態における内視鏡システムの挿入部をユーザーが動かした場合に、特殊光画像取得部３３０から注目領域検出部３４１に出力される特殊光画像を示した図である。
【００６７】
タイミング１で取得された特殊光画像１では注目領域群が検出されているが、タイミング２、タイミング３と時間が経過するに従って挿入部が左方向に移動し、これに伴い注目領域群は画像に対して相対的に右方向に移動している。この結果、タイミング３で取得された特殊光画像３では、注目領域群が画像として取得される範囲から外れることで、注目領域群が検出されなくなってしまう。
【００６８】
ユーザーが画像に注目していない状態で意図せずこのような挿入部の動作を行ってしまうと、病変と疑われる領域である注目領域群を見失うことで、再度注目領域群を探すという手間が発生する。さらに、ユーザーが画像に注目している場合も、速いスピードで挿入部を移動させた場合は注目領域群が短時間しか検出されないことで、注目領域群の見落としにもつながる。
【００６９】
このような課題を解決するため、注目領域検出部３４１で注目領域群が検出されなかった場合、加工部３４２１は誘導情報生成部３４２２に対して消失方向の推定を行わせるように制御信号を出力する。誘導情報生成部３４２２は、加工部３４２１からの制御信号に応じて、記憶部３４２３に記憶されている注目領域情報から消失方向を推定する。ここでは説明を簡単にするため、特殊光画像１及び特殊光画像２で１つの注目領域群が検出されたと仮定して説明を行う。例えば、図１４（Ｃ）に示す特殊光画像３で注目領域群が検出されなかった場合、誘導情報生成部はまず図１４（Ａ）に示すタイミング１で取得された特殊光画像１と図１４（Ｂ）に示すタイミング２で取得された特殊光画像２から、注目領域群が検出されていたか否かの判定を行う。次に、特殊光画像１と特殊光画像２から注目領域群が検出されていた場合は、特殊光画像１から検出された注目領域群の重心の座標（ｘ１_Ｔ１，ｙ１_Ｔ１）と、特殊光画像２から検出された注目領域群の重心の座標（ｘ１_Ｔ２，ｙ１_Ｔ２）を用いて下式（１５）で注目領域群の動きベクトルＶを算出する。
【００７０】
V=（Vx，Vy）=（x1_T2-x1_T1，y1_T2-y1_T1） ・・・・・（１５）
次に誘導情報生成部３４２２は算出された動きベクトル（Ｖｘ，Ｖｙ）から、例えば下式（１６）で注目領域群の消失方向を決定する。
【００７１】
（Vy<０，Vx>０，|Vy|>|Vx|）の場合 消失方向 上
（Vy<０，Vx>０，|Vy|<|Vx|）の場合 消失方向 右
（Vy>０，Vx>０，|Vy|<|Vx|）の場合 消失方向 右
（Vy>０，Vx>０，|Vy|>|Vx|）の場合 消失方向 下
（Vy>０，Vx<０，|Vy|>|Vx|）の場合 消失方向 下
（Vy>０，Vx<０，|Vy|<|Vx|）の場合 消失方向 左
（Vy<０，Vx<０，|Vy|<|Vx|）の場合 消失方向 左
（Vy<０，Vx<０，|Vy|>|Vx|）の場合 消失方向 上 ・・・・・（１６）
【００７２】
その後、誘導情報生成部３４２２は決定した消失方向を、消失方向情報として加工部３４２１に出力する。本実施例の消失方向情報をＶ１とすると、Ｖ１は右という情報を持っている。加工部３４２１は受け取った消失方向情報を用いて、通常光画像取得部３２０から出力された通常光画像を加工する。ここでは例えば図１５に示すように消失方向情報Ｖ１を右向きの矢印として付加する。
【００７３】
なお、特殊光画像１または特殊光画像２で注目領域が検出されていなかった場合、誘導情報生成部３４２２では消失方向情報が決定されない。この場合、加工部３４２１は通常光画像取得部３２０から出力された通常光画像をそのまま出力部４００へ出力する。
【００７４】
本実施形態では、消失方向情報は上下左右の４方向から１つを選択しているが、例えば斜め方向を加えた８方向から１つを選択してもよい。また、本実施形態では注目領域が検出されなかった特殊光画像に対して、直前の２つのタイミングで取得された特殊光画像から検出された注目領域情報を用いて消失方向を決定しているが、過去の任意のタイミングで取得された特殊光画像から検出された注目領域情報を用いて消失方向を決定してもよい。また、本実施形態では消失方向情報を矢印として付加しているが、消失方向情報として任意の記号や文字情報等を用いることが可能であることは言うまでもない。
【００７５】
また、本実施の形態ではタイミング３の次のタイミングで取得された特殊光画像から注目領域が検出されなかった場合、誘導情報生成部３４２２は特殊光画像２と特殊光画像３から注目領域が検出されていたか否かの判定を行うことになる。ここで特殊光画像３からは注目領域が検出されていないため、誘導情報生成部３４２２では消失方向情報は決定されない。この場合、加工部３４２１は１つ前のタイミングで決定された消失方向情報Ｖ１を通常光画像に付加する。その後のタイミングで取得された特殊光画像から、注目領域が検出されなかった場合も同様である。
【００７６】
このように、一度決定された消失方向情報を一定期間通常光画像に付加し続けるような処理を行うことで、注目領域を見失った場合も容易に注目領域を探すことができる。また、ユーザーが速いスピードで挿入部を移動させ、注目領域が短時間しか検出されなかった場合も、注目領域の見落としを防止することができる。一度決定された消失方向情報を通常光画像に付加する期間については、例えばユーザーが外部Ｉ／Ｆ部５００から指示してもよいし、予め任意の時間を設定してもよい。
【００７７】
また、新たに取得された特殊光画像から注目領域が検出された場合は、消失方向情報の付加を停止するような制御を行ってもよい。
【００７８】
以上の本実施形態の手法について、図１６の状態遷移図を用いて再度説明する。図１６では、特に、一度出力した誘導情報を一定時間継続して出力する例について詳細に説明する。複数タイミング（フレーム）にわたって誘導情報の出力を継続することで、ユーザーが誘導情報の出力に気がつきやすくなり、注目領域の再発見や、見落とし抑止の効果を向上させることが可能になる。
【００７９】
図１６に示したように、状態は大別して３つであり、Ｓ０、Ｓ１−１〜Ｓ１−Ｋ及びＳ２である。Ｓ０は注目領域群が検出され（非消失であり）、かつ誘導情報が非出力になっている状態であり、Ｓ１−１〜Ｓ１−Ｋは注目領域群が消失しており、かつ誘導情報が出力されている状態である。また、Ｓ２は注目領域群が消失しており、かつ誘導情報が非出力になっている状態である。
【００８０】
ここでＫは、一度決定された消失方向情報を通常光画像に付加し続ける時間を表すパラメータである。
【００８１】
まず、注目領域群が消失している（消失し続けている）場合、Ｓ２にとどまり続ける。このとき、誘導情報は出力されない。注目領域群が検出されると、Ｓ０に遷移する。このときも誘導情報は出力されない。
【００８２】
そして、注目領域群が検出され続けている間は、Ｓ０にとどまっている。Ｓ０において、注目領域群が消失した場合には、誘導情報を出力して、Ｓ１−１に遷移する。Ｓ１−１において注目領域群が消失している（消失し続けている）とＳ１−２へ、Ｓ１−２で注目領域群が消失しているとＳ１−３へ遷移して行く。この間、誘導情報は出力され続ける。
【００８３】
Ｓ１−Ｋにおいて、注目領域群が消失していると、Ｓ２へ遷移し誘導情報を非出力にする。つまり、一度誘導情報が表示されると、Ｋフレームの間は、注目領域群が再度検出されない限り、誘導情報が出力され続けることになる。
【００８４】
また、図１６の例ではＳ１−１〜Ｓ１−Ｋにおいて注目領域群が検出されると、誘導情報を非出力にしてＳ０に遷移する。これは、注目領域群が検出された場合は誘導情報の付加を停止する制御に相当する。ただし処理はこれに限定されるものではなく、注目領域群が検出された際に、誘導情報を表示し続けてもよい。
【００８５】
１．２ 変形例１（動きベクトルの大きさに基づく付加期間制御）
次に本実施形態の変形例について説明する。以上の説明では、誘導情報として方向情報を用いていたが、これだけに限定されるものではない。動きベクトルは方向と大きさを持っているため、動きベクトルの大きさに基づいて誘導情報の出力態様を制御してもよい。動きベクトルの大きさは消失注目領域への距離に関する情報に相当するため、消失注目領域群が遠い距離にあるか、近い距離にあるかに応じて、処理を変更すること等が可能になる。
【００８６】
例えば本実施形態では、注目領域群の動きベクトルに基づいて、消失情報を通常光画像に付加する期間を制御する。具体的には、誘導情報生成部３４２２は、注目領域群の動きベクトルＶ＝（Ｖｘ，Ｖｙ）から下式（１７）で動きベクトルの大きさＶ＿ｎｏｒｍを算出する。そして、消失方向情報と合わせてＶ＿ｎｏｒｍを加工部３４２１に出力する。さらに加工部３４２１はＶ＿ｎｏｒｍに応じて消失方向情報を通常光画像に付加する期間を制御する。
【数１】
【００８７】
Ｖ＿ｎｏｒｍが大きい場合は挿入部の移動速度が速いと予測されるため、消失方向情報を通常光画像に付加する期間が長いと消失方向情報の精度が悪くなる。このため加工部３４２１は、例えばＶ＿ｎｏｒｍが大きい場合、消失方向情報を通常光画像に付加する期間を短くし、Ｖ＿ｎｏｒｍが小さい場合、消失方向情報を通常光画像に付加する期間を長くするような制御を行ってもよい。
【００８８】
１．３ 変形例２（複数の注目領域群が検出される例）
また以上では、説明を簡単にするため、特殊光画像１及び特殊光画像２で１つの注目領域群が検出されていた場合について説明したが、複数の注目領域群が検出されていた場合、誘導情報の出力態様が問題となる。複数の誘導情報を同時に出力する場合には、例えば、右の矢印と左の矢印が同時に表示されてしまうケース等が考えられ、ユーザーを混乱させてしまう。誘導情報の出力を１つに限定する場合には、どの注目領域群に関する誘導情報を出力するのか選択し、かつ、特殊光画像１と特殊光画像２で、注目領域群同士のマッチング処理を行う必要がある。そこで本実施形態では、誘導情報生成部３４２２は例えば以下のような処理を行ってもよい。
【００８９】
まず始めに、特殊光画像２で検出された複数の注目領域群のうち、最も信頼度が高い注目領域群Ｎを選択する。次に、特殊光画像１で検出された複数の注目領域群から、注目領域群Ｎに対応する注目領域群Ｍを選択する。ここでは例えば特徴量の平均値や信頼度の値が注目領域群Ｎと最も近い注目領域群を、対応する注目領域群Ｍとして選択すればよい。
【００９０】
その後、誘導情報生成部３４２２は選択された注目領域群ＮおよびＭの重心の座標から、前述の手法と同様にして消失方向を決定し、消失方向情報を加工部３４２１に出力する。加工部３４２１は受け取った消失方向情報を用いて、通常光画像取得部３２０から出力された通常光画像を加工する。
【００９１】
具体例を図１７に示す。図１７は図１２と同様に、記憶部３４２３に記憶される注目領域群に関するデータの構造例を示している。タイミング１（特殊光画像１に対応）においては１〜３の３つの注目領域群が検出され、タイミング２（特殊光画像２に対応）においては４，５の２つの注目領域群が検出されたとする。タイミング３においてＮＵＬＬであった（注目領域群が検出されなかった）場合には、上述してきた通り、特殊光画像１及び特殊光画像２から消失方向を決定する。
【００９２】
図１７の例の場合、タイミング２において、信頼度が最も高いものを選択する。ここでｂ４＞ｂ５であったとすれば、注目領域群４が上述した注目領域群Ｎに相当する注目領域群として選択される。次にタイミング１における注目領域群１〜３の中から、特徴量の平均値Ｈ＿ａｖｅもしくは信頼度ｂ、或いはその両方を用いて、注目領域群４との類似度を算出する。
【００９３】
ここでＨ＿ａｖｅ４とＨ＿ａｖｅ３、ｂ４とｂ３の類似度が高かったとすれば、注目領域群４に対応する注目領域群Ｍとして、注目領域群３が選択される。以降の処理はすでに説明したものと同様であり、（ｘ４，ｙ４）と（ｘ３，ｙ３）とから動きベクトルＶを求め、式（１６）を用いて誘導情報を生成する。
【００９４】
このような処理を行うことで、特殊光画像から複数の注目領域群が検出されていた場合も、最も信頼度が高い注目領域群の消失方向を表示することができる。さらに、消失方向の表示を１つに制限することで、ユーザーの混乱を抑止するができる。
【００９５】
１．４ 変形例３（注目領域群に関する上限数の設定）
また、注目領域群が多数同時に検出されるような場合には、同じような特徴量、信頼度をもつ注目領域群が複数存在することが考えられ、注目領域群同士のマッチング処理が適切に行われない可能性が生ずる。マッチング処理が適切に行われないと、誤った消失方向を決定してしまう可能性が高くなる。
【００９６】
そこで、誘導情報生成部３４２２は注目領域群の上限数に関する情報を保持しておく。そして、特殊光画像から上限数以上の注目領域群が検出されている場合は消失方向の決定を停止する処理を行うこのような処理を行うことで、誤った消失方向の決定を抑止することができる。
【００９７】
１．５ 本実施形態のフローチャート
また、本実施の形態では、画像処理部３００を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、カプセル内視鏡などの撮像装置を用いて予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【００９８】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と特殊光画像に対して、図７の出力画像生成部３４０の処理をソフトウェアで実現する場合の処理手順を、図１８のフローチャートを用いて説明する。
【００９９】
この場合は、まず特殊光画像をメモリに読み込み（Ｓｔｅｐ１）、次にこの特殊光画像と同時に取得された通常光画像をメモリに読み込む（Ｓｔｅｐ２）。次に読み込んだ特殊光画像を用いて、注目領域を検出し、注目領域情報を出力する（Ｓｔｅｐ３）。その後、表示態様を決定し表示画像を出力する（Ｓｔｅｐ４）。ここでは読み込んだ通常光画像及び特殊光画像から画像を選択し、表示画像として出力してもよいし、Ｓｔｅｐ３で出力された注目領域情報に基づいて、通常光画像もしくは特殊光画像を加工したうえで表示画像として出力してもよい
【０１００】
その後、すべての画像に対して一連の処理が完了した場合は処理を終了し、未処理の画像が残っている場合は同様の処理を継続する（Ｓｔｅｐ５）。
【０１０１】
次に、図１８の注目領域検出ステップ（Ｓｔｅｐ３）での詳細な処理手順について、図１９のフローチャートを用いて説明する。
【０１０２】
まず、局所領域設定ステップ（Ｓｔｅｐ３１）について説明する。局所領域検出ステップではまず特殊光画像に対して、前述の図９に示されるように複数の局所領域を設定する。
【０１０３】
次に、特徴量算出ステップ（Ｓｔｅｐ３２）について説明する。特徴量算出ステップでは設定したすべての局所領域に対して、特徴量を算出する。ここでは特徴量の一例として前述の式（３）〜（８）で示される色相Ｈを使用する。
【０１０４】
次に、注目候補領域設定ステップ（Ｓｔｅｐ３３）について説明する。注目候補領域設定ステップでは、まずすべての局所領域に対して算出した特徴量に対して閾値処理を行い、注目候補領域を検出する。ここでは褐色の領域を注目領域として検出したいため、例えば色相Ｈが５〜３５の範囲にある局所領域を注目候補領域とすればよい。次に、注目候補領域として検出された複数の局所領域ａ（ｍ，ｎ）の座標から、互いに隣接する注目候補領域からなる注目候補領域群を検出し、タグ情報を付加することで複数の異なる注目候補領域群同士を識別する。そして、検出した注目候補領域群ごとに、注目候補領域群に属する局所領域の特徴量の平均値を算出する。ここでは注目候補領域群ごとに色相の平均値Ｈ＿ａｖｅを算出する。
【０１０５】
次に、信頼度算出ステップ（Ｓｔｅｐ３４）について説明する。信頼度算出ステップでは、注目候補領域群に対して、病変であるかどうかを判定するために信頼度を算出する。ここでは例えば、前述の用に各注目候補領域群に属する注目候補領域の数を算出することで注目候補領域群の面積を算出し、これを信頼度として使用する。
【０１０６】
次に、注目領域設定ステップ（Ｓｔｅｐ３５）について説明する。注目領域設定ステップでは前述のように、注目候補領域群の信頼度から注目領域を設定する。例えば信頼度が５以上の注目候補領域群を注目領域とする。
【０１０７】
次に、注目領域情報出力ステップ（Ｓｔｅｐ３６）について説明する。注目領域情報出力ステップでは、検出された注目候補領域群（今後、注目領域群と呼ぶ）に属する各局所領域ａ（ｍ，ｎ）の座標から注目領域群の重心の座標（ｘ，ｙ）を算出し、注目領域群に属する各局所領域の座標ａ（ｍ，ｎ）および注目領域群の重心の座標（ｘ，ｙ）、色相の平均値Ｈ＿ａｖｅ、信頼度を注目領域情報として出力する。また、注目領域情報出力ステップでは、特殊光画像中に注目領域が検出されたか否かのフラグ情報も出力する。
【０１０８】
次に、図１８の表示態様決定ステップ（Ｓｔｅｐ４）での処理手順について、図２０のフローチャートを用いて説明する。
【０１０９】
まず通常光画像の加工ステップ（Ｓｔｅｐ４１）について説明する。通常光画像の加工ステップではまず、注目領域検出ステップで出力された注目領域情報を用いて、前述の式（９）〜（１１）で示される方法で通常光通常光画像を加工する。
【０１１０】
次に、消失方向の推定ステップ（Ｓｔｅｐ４２）について説明する。消失方向の推定ステップでは、注目領域検出ステップで出力されたフラグ情報に基づいて、前述の式（１５）、（１６）で示される方法で消失方向を推定する。
【０１１１】
次に、消失方向情報の付加ステップ（Ｓｔｅｐ４３）について説明する。消失方向情報の付加ステップでは、消失方向の推定ステップで推定された消失方向情報を、通常光画像に付加する。ここでは例えば、前述のように一度決定された消失方向情報を一定期間通常光画像に付加し続けるような処理を行う
【０１１２】
このような処理を行うことで、図１３（Ｂ）に示す特殊光画像を観察した時に病変部と疑われる注目領域が、図１３（Ｃ）に示すように通常光画像に色の異なる領域として重畳して表示されることになり、通常光画像と特殊光画像を用いた診断を行う際にドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【０１１３】
さらに、ユーザーが速いスピードで挿入部を移動させ、注目領域が短時間しか検出されなかった場合も、注目領域の見落としを防止することができる。
【０１１４】
１．６ 本実施形態の詳細な構成
以上の本実施形態では、画像処理装置は、図１に示すように特殊光画像を取得する特殊光画像取得部３３０を含む。また、図７に示すように注目すべき領域である注目領域を検出する注目領域検出部３４１を含む。さらに、図１１に示すように消失有無判定部及び誘導情報生成部３４２２を含む。消失有無判定部は、表示対象範囲からの注目領域の消失の有無を判定し、誘導情報生成部は、消失した注目領域への誘導情報を生成する。また、図１に示すように誘導情報を含む情報の出力制御を行う出力制御部３６０を含む。
【０１１５】
ここで、注目領域とは、ユーザーにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザーが医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。すなわち、ユーザーが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザーにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。また前述の式（３）〜（８）で説明したように、注目領域は第２の画像の画素の特徴量（本実施形態では色相であるが彩度等であってもよい）を用いて検出することができ、例えば式（６）〜（８）の特徴量に対する閾値は、注目領域の種類に応じて変化する。例えば第１の種類の注目領域に対する色相、彩度等の特徴量の閾値と、第２の種類の注目領域に対する特徴量の閾値は異なった値になる。そして、注目領域の種類が変わった場合には、この特徴量の閾値を変えるだけで済み、注目領域の検出後の処理（表示態様の設定処理等）については、本実施形態で説明した処理と同様の処理で実現するこができる
【０１１６】
これにより、特殊光画像を取得し、取得した特殊光画像の画素の特徴量に基づいて注目領域を検出するとともに、検出した注目領域の消失判定に基づいて、消失した注目領域への誘導情報を生成、出力する画像処理装置を実現することができる。よって、例えば、図１４（Ａ）〜図１４（Ｃ）及び図１５に示すような出力を行うことができる画像処理装置が実現可能になる。例えば図１４（Ａ）、図１４（Ｂ）において注目領域（ここでは注目領域群）を検出し、図１４（Ｃ）において、注目領域が消失した。このときには、図１４（Ａ）、図１４（Ｂ）から、注目領域は画面に対して右方向に移動していたものと判断し、図１５のように、具体的には例えば右方向への矢印として誘導情報を表示する。これにより、例えば、何らかの理由によりドクターが注目領域を見過ごしてしまった場合や、高速で撮像部を移動させていたために注目領域が一瞬しか写らなかった場合などに、消失した注目領域への誘導情報を出力することができるため、注目領域の再発見が容易になり、診断や治療を円滑に行うことが可能になる。
【０１１７】
また、図１１に示した誘導情報生成部３４２２は、表示対象範囲（表示部に表示される領域）に対応する生体内の場所から、消失注目領域に対応する生体内の場所への方向を示す方向情報及び距離に応じた距離情報を誘導情報として生成する。
【０１１８】
ここで、生体内の場所とは、観察対象の体内であり、具体的に例えば対象が人であれば人体の内部の場所を表す。下部消化器系の内視鏡装置においては、大腸等が生体内の場所として考えられる。本実施形態における「表示対象範囲」および「注目領域」はともに画像情報を表すものであり、画像情報間において、方向や距離といったものは考えづらい。従ってここでは、誘導情報である方向情報や距離情報は、生体内の場所の相対関係を表す情報であると定義している。
【０１１９】
これにより、誘導情報として具体的に方向情報や距離情報を用いることが可能になる。方向情報としては上述した図１５のように、消失注目領域があると考えられる方向を表す矢印等を表示することが考えられる。また、距離情報については図１４（Ａ）と図１４（Ｂ）とから求めることが可能である。例えば、画像上における注目領域の移動距離が大きければ、次のタイミングではより遠くに移動していると考えられる。このとき、等速運動等を仮定して、具体的に数値を提示してもよいし、閾値処理を行い例えば３段階（遠・中・近）等で表示してもかまわない。
【０１２０】
また、特殊光画像取得部３３０は、第１〜第３の特殊光画像を取得し、注目領域検出部３４１は、それぞれの特殊光画像において注目領域を検出し、消失有無判定部は、それぞれの特殊光画像における注目領域の検出結果に基づいて注目領域の消失判定を行う。そして、誘導情報生成部３４２２は、第３の特殊光画像において注目領域が消失し、かつ、第１、第２の特殊光画像において注目領域が消失していないと判定された場合には、第１の画像上位置と第２の画像上位置に基づいて誘導情報を生成する。
【０１２１】
ここで第１の画像上位置とは第１の特殊光画像における注目領域の画像上の位置であり、第２の画像上位置とは第２の特殊光画像における注目領域の画像上の位置である。なお、具体的には例えば、第１の画像上位置と第２の画像上位置の差分を用いてもよい。また、具体的には例えば、第１の画像上位置とは第１の特殊光画像における注目領域の重心位置であり、第２の画像上位置とは第２の特殊光画像における注目領域の重心位置であってもよい。
【０１２２】
これにより、ある特殊光画像において注目領域が消失し、注目領域が消失した特殊光画像とは別の２つの特殊光画像において、注目領域が消失していない場合には、画像上位置に基づいて、誘導情報を生成することができる。これは、図１４（Ａ）〜図１４（Ｃ）を例に取ると考えやすい。ただし、ここでは、タイミングを特に考慮していないため、時系列的に並んでいる図１４（Ａ）〜図１４（Ｃ）とは厳密には異なる話である。
【０１２３】
図１４（Ｃ）において、注目領域が消失したため、図１４（Ａ）の注目領域の画像上位置と図１４（Ｂ）の注目領域の画像上位置から誘導情報を生成する。ここで画像上位置とは、図１４（Ａ）及び図１４（Ｂ）において、楕円の点線で表された領域内の任意の点であってもよいし、正方形の点線で表された領域内の任意の点であってもよい（注目領域の重心位置を含む）。また、点ではなく、領域を表すものであってもよい。
【０１２４】
また、誘導情報生成部３４２２は、第１の画像上位置と第２の画像上位置の差分にもとづいて、注目領域間の動きベクトルを算出し、算出した動きベクトルに基づいて誘導情報を生成する。
【０１２５】
これにより、画像上位置の差分に基づく処理として、動きベクトルによる処理を行うことが可能になる。動きベクトルは方向及び大きさ（距離）を表すため、方向情報・距離情報としての誘導情報を、よりわかりやすい形で取得することができる。
【０１２６】
また、図１に示す出力制御部３６０は、動きベクトルに基づいて、誘導情報を出力する時間を制御してもよい。具体的には、動きベクトルの大きさが大きい場合には誘導情報を出力する時間を短くし、動きベクトルの大きさが小さい場合には誘導情報を出力する時間を長くする。ここで、動きベクトルの大きさが大きいか小さいかの判断は、所与の閾値との比較により行う。
【０１２７】
これにより、動きベクトルの大きさを考慮して、誘導情報の出力時間を変更することが可能になる。具体的には、動きベクトルの大きさが大きいときには注目領域は画像上で高速に移動している（内視鏡装置の撮像部が高速で移動もしくは回転等している）状態であり、消失した注目領域はかなり遠くまで移動してしまっていると考えられる。そのような状態ではなかなか消失注目領域を再発見できず、誘導情報を長時間表示しても、ユーザーを混乱させてしまうため、誘導情報の出力時間は短く設定する。逆に、動きベクトルの大きさが小さい場合には、消失注目領域はすぐ近くにあり、再発見が容易であることから長時間誘導情報を出力しても支障がない。
【０１２８】
また、図１２に示す誘導情報生成部３４２２は、動きベクトルの各座標成分に基づいて、動きベクトルを第１〜第Ｎの方向情報のいずれかに対応づけて、対応づけられた方向情報を誘導情報として出力する。
【０１２９】
これにより、方向情報として具体的にＮ種類の方向を用いることが可能になる。動きベクトルの座標成分に基づいて方向を考えたとき、そのままでは連続的に無限の方向が考えられてしまい、出力（例えば矢印の表示）に当たって非常に煩雑である。そこで、上述した式（１６）のようにＮ＝４に限定することで、上下左右の４方向のみを考慮すれば欲なり、処理を容易にできる。なお代表的なＮとして４や８が考えられるが、これに限定されるものではない。
【０１３０】
また、特殊光画像取得部３３０は、複数のタイミングのうちの各タイミングで、複数の特殊光画像のうちの各特殊光画像を取得する。そして注目領域検出部３４１は、各特殊光画像において、注目領域を検出し、消失有無判定部は、各特殊光画像において、消失の有無を判定する。そして、消失有無判定部により第ｍ（ｍは３以上の整数）のタイミングで注目領域が消失し、かつ、第ｍのタイミングより過去のタイミングにおいて、少なくとも２つ以上の特殊光画像で注目領域が検出された場合には誘導情報を生成する。
【０１３１】
また、第ｍのタイミングより過去のタイミングにおいて、注目領域が検出された特殊光画像が１つ以下の場合には誘導情報の生成を行わない。
【０１３２】
これにより、誘導情報の生成が可能な場合には誘導情報の生成を行い、誘導情報の生成が不可能な場合には誘導情報の生成を適切にスキップすることが可能になる。具体的には再度図１４（Ａ）〜図１４（Ｃ）を示して説明する。図１４（Ｃ）に示すように、あるタイミング（ここではｍ＝３）において、注目領域が消失した場合、ｍより過去のタイミング（ここではタイミング１及びタイミング２）において少なくとも２つ以上の特殊光画像で注目領域が検出されていれば、前述したように例えば差分や動きベクトル等から、第ｍのタイミングにおける注目領域の位置を推定することができる。そのため、誘導情報を生成しても問題はない。
【０１３３】
それに対し、例えば第１のタイミングにおいて、注目領域が非検出であった場合を考える。このとき第３のタイミングにおける注目領域の位置の推定に用いることができるのは第２のタイミングにおける注目領域の情報である。しかし注目領域が１つ以下では差分や動きベクトル等を算出することができず、方向や距離の推定は行えない。このような場合には、そもそも誘導情報の生成をスキップすることで、不要な誘導情報の出力を回避でき、処理負担の軽減を図ることができる。
【０１３４】
また、出力制御部３６０は、消失有無判定部による判定結果に基づいて、誘導情報の出力態様を制御する。具体的には例えば、第Ｎ（Ｎは３以上の整数）のタイミングにおいて誘導情報の出力が開始され、かつ、第Ｎ〜第Ｎ＋Ｋ（Ｋは１以上の整数）のタイミングの間で、注目領域が消失し続けている場合には、第Ｎ〜第Ｎ＋Ｋのタイミングにおいて誘導情報を出力し続ける。ここでの誘導情報は第Ｎのタイミングで生成されたものである。
【０１３５】
これにより、一度出力された誘導情報は、所与の期間（上述のケースではＫ回のタイミングが経過する間）出力が継続されることになる。このような処理を行わないと、出力された誘導情報が１タイミング、例えば毎秒３０フレームだとすれば１／３０秒という、非常に短い時間しか出力されないことになる。それでは、消失注目領域の再発見等の本実施形態によるメリットが得られなくなってしまうため、上述のように誘導情報の出力を継続する。
【０１３６】
これは図１６の例でいうと、Ｓ１−１〜Ｓ１−Ｋの状態間の遷移に相当する。Ｓ０からＳ１−０への遷移が第Ｎのタイミングにおける注目領域の消失及び誘導情報の出力開始に相当し、それ以降は、注目領域が消失し続けている限り、Ｓ１−２、Ｓ１−３と遷移を続け、Ｓ１−Ｋへ遷移するまでの間、誘導情報の出力は継続される。
【０１３７】
また、出力制御部３６０は、第Ｎ＋１〜第Ｎ＋Ｋのタイミングにおいて、注目領域が検出された場合には、誘導情報の出力を停止してもよい。
【０１３８】
これにより、誘導情報を出力している場合（つまり直前のタイミングまで注目領域が消失していた場合）に注目領域が検出されると、誘導情報の出力を停止することが可能になる。よって、注目領域の消失後、同一の注目領域を再発見した場合等に、不要となった誘導情報の出力を停止することが可能になり、ユーザー（ドクター）の診断・治療を円滑にすることができる。
【０１３９】
なお、消失した注目領域とは別の注目領域が新たに検出されるケースも考えられる。そのため、本実施形態では、誘導情報の出力を停止することに限定されず、出力を継続してもよい。マッチング手法等により、検出された誘導情報が消失したものと同一であるか否かの判定が可能であれば、同一の場合は誘導情報の出力を停止し、同一でない場合は誘導情報の出力を継続してもよい。
【０１４０】
これは図１６の例でいうと、Ｓ１−１〜Ｓ１−ＫからＳ０への遷移に相当する。誘導情報の出力継続期間内であっても、注目領域が検出された場合には、誘導情報の出力を停止する。
【０１４１】
また、出力制御部３６０は、第Ｎ＋Ｋ＋１のタイミングにおいては、注目領域の消失及び非消失に関わらず、第Ｎのタイミングで生成された誘導情報の出力を停止する。
【０１４２】
これにより、誘導情報の出力継続期間終了後は、第Ｎのタイミングで生成された誘導情報の出力を停止することができる。Ｋ回のタイミング（例えばＫフレーム）の間に、消失注目領域は遠くへ移動してしまっていること等が考えられる。または、ユーザーには注目領域を追いかける意志がないとも考えられる。そのようなときに誘導情報の出力を継続しても、ユーザーにとって不利益となるため、誘導情報の出力は停止する。
【０１４３】
これは図１６の例でいうと、Ｓ１−ＫからＳ０、あるいはＳ１−ＫからＳ２への遷移に相当する。注目領域の消失・非消失にかかわらず、誘導情報は出力されない。
【０１４４】
また、出力制御部３６０は、誘導情報の出力継続時間に対応する残存出力時間情報を設定する残存出力時間設定部を含み、残存出力時間設定部は、残存出力時間情報を設定するための情報として、Ｋを設定する。
【０１４５】
これにより、第Ｎのタイミングで生成された誘導情報の出力継続時間Ｋを任意に設定することが可能になる。ここで残存出力時間情報とは、例えばカウンタのようなものを想定すればよい。誘導情報の出力開始時に例えばＫに設定され、１フレーム出力を継続するごとに１ずつデクリメントされる。そして所与の閾値以下になった場合には、誘導情報の出力を停止する。
【０１４６】
また、特殊光画像取得部３３０は、複数のタイミングのうちの各タイミングで、複数の特殊光画像のうちの各特殊光画像を取得する。そして注目領域検出部３４１は、各特殊光画像において、注目領域を検出し、消失有無判定部は、各特殊光画像において、消失の有無を判定する。そして、出力制御部３６０は、連続したタイミングにおいて注目領域が消失し続けている場合には、連続したタイミングにおいては、過去に生成された誘導情報の提示を継続する。
【０１４７】
これにより、注目領域が消失し続けている場合には、連続したタイミングにおいて誘導情報の出力を継続することができる。これは、連続したタイミングを第Ｎ〜第Ｎ＋Ｋのタイミングととらえれば、上述した制御と同様である。
【０１４８】
また、画像処理装置は、注目領域の注目度合いを示す注目度情報を算出する注目度算出部を含み、出力制御部３６０は、注目度情報に基づいて誘導情報の出力態様を制御する。具体的には、注目度情報に基づいて、より注目すべきであると判定された注目領域に関連する誘導情報を優先的に出力する。また注目度情報とは、例えば、特殊光画像の画素の特徴量及び信頼度の少なくとも一方を含む。
【０１４９】
これにより、注目領域に対して注目度情報を設定し、より注目すべき注目領域に対応する誘導情報を優先的に出力することが可能になる。注目度算出部とは、注目度情報が信頼度である場合には図８に示した信頼度算出部３４１５に相当する。
【０１５０】
図１７を用いて具体例を説明する。タイミング３において注目領域が消失したことで誘導情報の生成が開始される。その際、タイミング２における注目度情報（ここでは信頼度）が最も高い注目領域を抽出する（ここでは注目領域群４）。そして、信頼度や特徴量の平均値の類似度から抽出した注目領域に対応する、タイミング１における注目領域を選択する（ここでは注目領域群３）。そして、注目領域群３と注目領域群４から、例えば動きベクトル等を求めて、誘導情報を生成する。
【０１５１】
このようにすることで、複数の注目領域が同時に検出されたとしても、出力される誘導情報は１つに限定される。そのため、複数の誘導情報が同時に出力される（例えば右と左の矢印が同時に出る）ケースを回避することができる。
【０１５２】
また、出力制御部３６０は、出力する誘導情報の上限数を設定する上限数設定部を含んでもよい。そして出力制御部３６０は、生成された誘導情報と設定された上限数との比較結果に基づいて、誘導情報の出力態様を制御してもよい。具体的には例えば、生成された誘導情報の数が上限数を超えた場合には誘導情報の出力をスキップする。
【０１５３】
これにより、多数の誘導情報が同時に出力されるケースを回避することが可能になる。誘導情報が多数同時に生成される場合とは、例えば、観察領域が多数の注目領域（病変部）で覆われているケース等が考えられ、このような場合、１つ１つの注目領域に注目するメリットは特にない。そのため、過度な誘導情報の出力を抑止することでドクターの診断や治療をスムーズにする。
【０１５４】
また、図１に示すように、画像処理装置は、通常光画像を取得する通常光画像取得部３２０を含んでもよい。そして、出力制御部３６０は、誘導情報を通常光画像に対応づけて出力する。
【０１５５】
これにより、図１５に示すような出力形態を取ることが可能になる。特殊光画像は病変部の視認性を高める一方、暗く、独特の色味をしているため、全体に見づらい画像になってしまう。そのため、出力の形態としては、視認性の高い通常光画像に誘導情報を対応づけて出力することが考えられる。
【０１５６】
また、図１に示すように、画像処理装置は、出力制御部３６０により制御された出力態様に従って誘導情報を含む情報を出力する出力部を含む。
【０１５７】
ここで、出力部の一例として表示部と記載したが、画像の表示に限定されるものではない。警告音や音声、ＬＥＤ等の発光等の方法により出力を行ってもよい。
【０１５８】
また、注目領域とは病変部を示す領域である。
【０１５９】
これにより、注目領域として病変部を検出することが可能になる。具体的には後述するようにＮＢＩ、ＡＦＩ、ＩＲＩ等の手法を用いることで、手法ごとに異なる病変の視認性を高め、注目領域として検出する。
【０１６０】
また、特定の波長帯域とは、白色光の波長帯域よりも狭い帯域である。具体的には特殊光画像は生体内画像であり、特定の波長帯域とは、血液中のヘモグロビンに吸収される波長の波長帯域である。さらに具体的には、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍの波長帯域である。
【０１６１】
これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｒ，Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとはヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。
【０１６２】
また、本実施形態は、特殊光画像取得部３３０と、注目領域検出部３４１と、消失有無判定部と、誘導情報生成部３４２２と、出力制御部３６０としてコンピュータを機能させるプログラムに関係する。ここで、特殊光画像取得部３３０は特殊光画像を取得し、注目領域検出部３４１は、特殊光画像から注目領域を検出する。消失有無判定部は、注目領域の消失の有無を判定し、誘導情報生成部３４２２は、消失有無判定部の判定に基づいて誘導情報を生成する。そして、出力制御部３６０は、誘導情報を含む情報の出力制御を行う。
【０１６３】
これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うことが可能になる。
【０１６４】
２．第２の実施形態
本発明の第２の実施形態にかかる画像処理装置を含む内視鏡システムについて、図２１を参照して説明する。本実施形態に係る内視鏡システムは、光源部１００と、挿入部２００と、画像処理部３００と、出力部４００と、外部Ｉ／Ｆ部５００を含む。
【０１６５】
光源部１００は、白色光を発生する白色光源１１０と、光源からの出射光をライトガイドファイバ２１０に集光するための集光レンズ１２０と、白色光から所定の波長帯域の光を抽出する回転フィルタ１３０を含む。
【０１６６】
回転フィルタ１３０は、図２２に示されるように、透過率特性の異なる２種類のフィルタＦ１,Ｆ２から構成されている。これらフィルタＦ１、Ｆ２は例えば図２３に示されるように、それぞれ、フィルタＦ１が４００〜６５０ｎｍ、フィルタＦ２が６００〜６５０ｎｍの波長帯域の光を透過させる透過率特性を有している。フィルタＦ１の光は白色光である。フィルタＦ２により抽出された６００〜６５０ｎｍの波長帯域の光は、Ｃｙ５のような蛍光薬剤を励起して、６６０〜７５０ｎｍの波長帯域の蛍光を発生させる特性を有している。ここで、この蛍光薬剤は腫瘍等の病変部に特異的に集積する性質を持つとする。
【０１６７】
挿入部２００は、例えば、体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。挿入部２００は、光源部で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０と、観察対象から戻る反射光を集光する対物レンズ２３０と、集光された反射光と蛍光とを異なる光路に分岐するダイクロイックミラー２８０と、分岐された蛍光に含まれる励起光を遮断するバリアフィルタ２７０と、分岐された反射光を検出する第１撮像素子２５０と、バリアフィルタ２７０を通過した蛍光を検出する第２撮像素子２６０を含む。
【０１６８】
バリアフィルタ２７０は図２４に示すように、ダイクロイックミラー２８０により反射光から分岐された光のうち、蛍光に相当する波長帯域６６０〜７５０ｎｍの光のみを通過させ、その他の光を遮断する透過率特性を有している。また、第１撮像素子２５０は例えば図２に示すようなＲ，Ｇ，Ｂの分光特性をベイヤ型のカラー撮像素子であり、第２撮像素子２６０は、例えば波長帯域６６０〜７５０ｎｍにおいて比較的高い感度特性を有するモノクロ撮像素子である。
【０１６９】
画像処理部３００はＡ／Ｄ変換部３１０と、通常光画像取得部３２０と、特殊光画像取得部３３０と、出力画像生成部３４０と、制御部３５０を含む。制御部３５０は通常光画像取得部３２０、特殊光画像取得部３３０、出力画像生成部３４０に双方向に接続されていて、これらを制御するようになっている。
【０１７０】
さらに、制御部３５０は前述の回転フィルタ１３０とも双方向に接続されており、回転フィルタ１３０は制御部３５０からの信号に応じてモータを回転駆動することにより、フィルタＦ１とＦ２を順次切り替えて、照明光を観察対象である体腔内組織に順次照射する。また、制御部３５０は、光路中に配置されているフィルタＦ１,Ｆ２の情報をトリガ信号として、通常光画像取得部３２０、特殊光画像取得部３３０、出力画像生成部３４０に出力するようになっている。
【０１７１】
外部Ｉ／Ｆ部５００は、この内視鏡システムに対するユーザーからの入力等を行うためのインターフェースである。
【０１７２】
Ａ／Ｄ変換部３１０は、第１撮像素子２５０及び第２撮像素子２６０から出力されるアナログ信号をデジタル信号に変換して出力する。
【０１７３】
通常光画像取得部３２０はＡ／Ｄ変換部３１０から出力されるデジタル信号から通常光画像を取得する。特殊光画像取得部３３０はＡ／Ｄ変換部３１０から出力されるデジタル信号から特殊光画像を取得する。
【０１７４】
通常光画像取得部３２０で取得された通常光画像と、特殊光画像取得部３３０で取得された特殊光画像は出力画像生成部３４０に出力される。出力画像生成部３４０はこれら２枚の画像から１枚の出力画像を生成して画像出力部に出力する。
【０１７５】
通常光画像取得部３２０は、前述の図５に示すように、通常光画像生成部３２１と通常光画像記憶部３２２を含む。通常光画像生成部３２１は制御部３５０から送られてくるトリガ信号により、フィルタＦ１が光路中に位置する期間を識別し、フィルタＦ１が光路中に位置する期間内に第１撮像素子から送られてくるアナログ信号から変換されたデジタル信号に対して画像処理を行い、通常光画像を生成する。具体的には、既存の補間処理やホワイトバランス、色変換、階調変換等の処理を行い、通常光画像を生成して出力する。通常光画像記憶部３２２は、通常光画像生成部３２１から出力された通常光画像を記憶する。
【０１７６】
特殊光画像取得部３３０は、前述の図６に示すように、特殊光画像生成部３３１と特殊光画像記憶部３３２を含む。特殊光画像生成部３３１は制御部３５０から送られてくるトリガ信号により、フィルタＦ２が光路中に位置する期間を識別し、フィルタＦ２が光路中に位置する期間内に第２撮像素子から送られてくるアナログ信号から変換されたデジタル信号に対して画像処理を行い、特殊光画像を生成する。本実施形態では特殊光画像はモノクロの蛍光画像となる。具体的には、薬剤蛍光が集積した病変部から発生する蛍光を取得した画像信号に対して、例えばゲイン調整や階調変換等の処理を行い、モノクロの特殊光画像を生成して出力する。特殊光画像記憶部３３２は、特殊光画像生成部３３１から出力された特殊光画像を記憶する。
【０１７７】
図２５は光路中に位置するフィルタの種類と、通常光画像記憶部３２２及び特殊光画像記憶部３３２で記憶される画像を示した図である。まずタイミング１で光路中にフィルタＦ１が挿入される。この時、照射される照明光は白色光であり、通常光画像記憶部３２２には通常光画像がカラー画像として記憶され、特殊光画像記憶部３３２には画像が記憶されない。次にタイミング２で光路中にフィルタＦ２が挿入される。この時、照射される照明光は励起光であり、特殊光画像記憶部３３２には薬剤蛍光が集積した病変部から発生する蛍光がモノクロ画像として記憶され、通常光画像記憶部３２２には画像が記憶されない。通常光画像記憶部３２２と特殊光画像記憶部３３２はそれぞれ複数枚の画像を記憶できるようになっている。
【０１７８】
出力画像生成部３４０の構成については、第１の実施形態と同様である。なお、本実施の形態における特殊光画像は前述のようにモノクロの蛍光画像になるため、注目領域検出部３４１で使用する特徴量としては、例えば蛍光画像の輝度値を使用すればよい。
【０１７９】
本実施の形態においては、２種類の照明光を使用しているが、３種類以上の照明を使用しても問題は無く、例えば図２６に示すような回転フィルタを使用してもよい。ここでフィルタＦ１は白色光、フィルタＦ２はＣｙ５のような蛍光薬剤に対する第１励起光、フィルタＦ３はさらに異なる蛍光薬剤に対する第２励起光をそれぞれ透過するフィルタである。この場合、例えば第１励起光照明時に第２撮像素子で取得される蛍光画像と第２励起光照明時に第２撮像素子で取得される蛍光画像の２種類の蛍光画像から疑似カラー処理を行い、特殊光画像を生成することが出来る。この時、注目領域検出部３４１で使用する特徴量としては、例えば第１の実施形態及び第２の実施形態と同様に色相Ｈの値を使用してもよいし、それ以外の輝度・色情報を使用してもよい。なお、この場合にはバリアフィルタを、第１励起光と第２励起光遮断しつつそれぞれの励起光に対する蛍光を透過するような特性に変更する必要がある。
【０１８０】
また、本実施の形態では蛍光薬剤を使用したが、例えば従来、ＡＦＩ(Auto Fluorescence Imaging)として知られている技術のように、生体中のコラーゲンから発生する自家蛍光を観察するような構成にしてもよい。この場合は励起光として３９０〜４７０ｎｍの波長帯域の光を使用し、バリアフィルタを４９０〜６２５ｎｍの波長帯域の光を透過するような特性に変更すればよい。さらにこれに加えて、血液中のヘモグロビンに吸収される５４０〜５６０ｎｍの波長帯域の光を照明光として使用し、その反射光画像と前述の自家蛍光画像から疑似カラー画像を生成し、特殊光画像として使用してもよい。
【０１８１】
さらに、例えば従来、ＩＲＩ(Infra Red Imaging)として知られている技術のように、ＩＣＧを静脈注射した上で２つの赤外光（７９０〜８２０ｎｍ及び９０５〜９７０ｎｍの波長帯域の光）を照明光として使用し、それらの反射光画像から疑似カラー画像を生成し、特殊光画像として使用してもよい。
【０１８２】
また、本実施の形態では、画像処理部３００を構成する各部をハードウェアで構成することとしたが、第１の実施形態と同様に、予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【０１８３】
以上の本実施形態では、特殊光画像は生体内を写した生体内画像であってもよい。そして生体内画像に含まれる特定の波長帯域とは、蛍光物質が発する蛍光の波長帯域であってもよい。具体的には４９０ｎｍ〜６２５ｎｍの波長帯域である。
【０１８４】
これにより、ＡＦＩと呼ばれる蛍光観察が可能となる。励起光（３９０ｎｍ〜４７０ｎｍ）を照射することで、コラーゲンなどの蛍光物質からの自家蛍光を観察することができる。このような観察では病変を正常粘膜とは異なった色調で強調表示することができ、病変部の見落としを抑止すること等が可能になる。なお４９０ｎｍ〜６２５ｎｍという数字は、前述の励起光を照射した際、コラーゲンなどの蛍光物質が発する自家蛍光の波長帯域を示したものである。ただし、この場合の波長帯域はこれに限定されず、例えば蛍光物質が発する蛍光の波長帯域に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。また、ヘモグロビンに吸収される波長帯域（５４０ｎｍ〜５６０ｎｍ）を同時に照射し、擬似カラー画像を生成してもよい。
【０１８５】
また、特殊光画像は生体内を写した生体内画像であってもよい。そして生体内画像に含まれる特定の波長帯域とは、赤外光の波長帯域であってもよい。具体的には７９０ｎｍ〜８２０ｎｍまたは９０５ｎｍ〜９７０ｎｍの波長帯域である。
【０１８６】
これにより、ＩＲＩと呼ばれる赤外光観察が可能となる。赤外光が吸収されやすい赤外指標薬剤であるＩＣＧ（インドシアニングリーン）を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお７９０ｎｍ〜８２０ｎｍという数字は赤外指標薬剤の吸収がもっとも強いという特性から、９０５ｎｍ〜９７０ｎｍという数字は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。ただし、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。
【０１８７】
以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１８８】
１００ 光源部、１１０ 白色光源、１２０ 集光レンズ、１３０ 回転フィルタ、
２００ 挿入部、２１０ ライトガイドファイバ、２２０ 照明レンズ、
２３０ 対物レンズ、２４０ ハーフミラー、２５０ 第１撮像素子、
２６０ 第２撮像素子、２７０ バリアフィルタ、２８０ ダイクロイックミラー、
３００ 画像処理部、３１０ Ａ／Ｄ変換部、３２０ 通常光画像取得部、
３２１ 通常光画像生成部、３２２ 通常光画像記憶部、３３０ 特殊光画像取得部、
３３１ 特殊光画像生成部、３３２ 特殊光画像記憶部、３４０ 出力画像生成部、
３４１ 注目領域検出部、３４２ 表示態様決定部、３５０ 制御部、
３６０ 出力制御部、４００ 出力部、５００ 外部Ｉ／Ｆ部、
３４１１ 局所領域設定部、３４１２ 特徴量算出部、３４１４ 注目候補領域設定部、
３４１５ 信頼度算出部、３４１６ 注目領域設定部、３４２１ 加工部、
３４２２ 誘導情報生成部、３４２３ 記憶部
【技術分野】
【０００１】
本発明は、画像処理装置及びプログラム等に関する。
【背景技術】
【０００２】
従来、体腔内の組織に対して回転フィルタを用いてＲ１，Ｇ１，Ｂ１の３色の光を順次照射し、それらの反射光画像から作成した画像（通常光画像）を用いて診断を行う面順次式の内視鏡システムが広く使用されている。さらに、体腔内の組織に対して前述の３色の光とは特性が異なる２種類の狭帯域光Ｇ２とＢ２を順次照射し、それらの反射光画像から作成した狭帯域光画像を用いて診断を行う内視鏡システムが提案されている（例えば、特許文献１）。
【０００３】
また、体腔内の組織に対して狭帯域の励起光を照射し、励起光により組織から発生する自家蛍光もしくは薬剤蛍光を取得して作成した蛍光画像を用いて診断を行う内視鏡システムが提案されている（例えば特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−６８１１３号公報
【特許文献２】特開２００７−２２９０５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の特許文献１のような狭帯域光画像を取得する内視鏡システムを用いて診断を行うことで、例えば通常光観察による視認が困難な扁平上皮癌等の病変部が、正常部とは異なる褐色の領域として描出されるため、その発見が容易になることが知られている。
【０００６】
また、上述の特許文献２のような蛍光画像を取得する内視鏡システムを用いて診断を行う場合は、腫瘍等の病変部に特異的に集積する性質を持つ蛍光薬剤を使用することで、腫瘍等の病変部だけが蛍光を発生することでその発見が容易になる。
【０００７】
しかしこれらの狭帯域光画像や蛍光画像（これらを合わせて特殊光画像と呼ぶ）は、一般的に通常光画像と比較してかなり異なる色みを有しており、さらに照明光が不足するため非常に暗い画像となるため、特殊光画像のみを用いて診断を行うことは難しい。このような理由から、ドクターの診断精度を向上するために、例えば通常光画像と特殊光画像を同時に取得して表示することが考えられる。しかし、これらの画像を並べて同時に表示すると、ドクターが常時複数の画像に注目しながら診断を行うこととなりドクターの負荷が高くなる。また、一時的に１つの画像のみに注目してしまうことで病変部を見逃すことも考えられる。
【０００８】
本発明の幾つかの態様によれば、特殊画像における注目領域の見逃しを抑止できる画像処理装置及びプログラム等を提供できる。
【０００９】
また、本発明の幾つかの態様によれば、特殊光画像から注目領域を検出し、注目領域の消失の有無の判定に基づいて誘導情報を生成することで、消失した注目領域の再発見を容易にし、ドクターの負荷を低減する画像処理装置及びプログラム等を提供できる。
【課題を解決するための手段】
【００１０】
本発明の一態様は、特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部と、前記特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、前記注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、前記注目領域の消失の有無を判定する消失有無判定部と、消失したと判定された前記注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、生成された前記誘導情報を含む情報の出力制御を行う出力制御部と、を含む画像処理装置に関係する。
【００１１】
本発明の一態様では、特殊光画像から注目領域を検出し、注目領域の消失の有無を判定する。そして、判定に基づいて誘導情報を生成し、生成した誘導情報を出力する。これにより、消失した注目領域の発見が、誘導情報がない場合に比べて容易になり、注目領域の見逃し等を抑止することが可能になる。
【００１２】
また、本発明の他の態様は、特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部と、前記特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、前記注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、前記注目領域の消失の有無を判定する消失有無判定部と、消失したと判定された前記注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、生成された前記誘導情報を含む情報の出力制御を行う出力制御部として、コンピュータを機能させるプログラムに関係する。
【図面の簡単な説明】
【００１３】
【図１】本実施形態のシステム構成例。
【図２】色フィルタＲ，Ｇ，Ｂの分光特性。
【図３】色フィルタｇ２，ｂ２の分光特性。
【図４】色フィルタｇ２，ｂ２の説明図。
【図５】通常光画像取得部の構成例。
【図６】特殊光画像取得部の構成例。
【図７】出力画像生成部の構成例。
【図８】注目領域検出部の構成例。
【図９】局所領域の分割手法の説明図。
【図１０】注目領域群の設定の説明図。
【図１１】表示態様決定部の構成例。
【図１２】記憶部に記憶される注目領域に関する情報の例。
【図１３】図１３（Ａ）は通常光画像の例、図１３（Ｂ）は特殊光画像の例、図１３（Ｃ）、図１３（Ｄ）は通常光画像に加工を施した例。
【図１４】図１４（Ａ）〜図１４（Ｃ）は各タイミングにおける特殊光画像上での注目領域群の移動を説明する図。
【図１５】誘導情報の出力の例。
【図１６】本実施形態の処理を説明するための状態遷移図。
【図１７】複数の注目領域群が検出された場合の処理の説明図。
【図１８】本実施形態の処理を説明するためのフローチャート。
【図１９】注目領域検出処理を説明するためのフローチャート。
【図２０】表示態様決定処理を説明するためのフローチャート。
【図２１】本実施形態の他のシステム構成例。
【図２２】回転フィルタの例。
【図２３】フィルタＦ１，Ｆ２と蛍光の分光特性。
【図２４】バリアフィルタの分光特性。
【図２５】各タイミングにおけるフィルタと得られる画像の組み合わせの例。
【図２６】回転フィルタの他の例。
【発明を実施するための形態】
【００１４】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１５】
１．第１の実施形態
まず、本実施形態の手法について説明する。内視鏡を用いた観察においては、病変部を一度検出しても、病変部が表示対象範囲から外れることで、見失ってしまうことが考えられる。しかし、消失した病変部（注目領域）を再度発見することは容易ではない。特に、ドクターが他の作業に集中していた、或いは、注目領域の検出が非常に短い時間であった等、そもそもドクターが注目領域の検出に気づかなかったケース等では、消失した注目領域の発見は偶然によるものしか期待できないといってもよい。
【００１６】
そこで、本出願人は以下のような手法を提案する。後述する図１４（Ａ）〜図１４（Ｃ）に示すように、特殊光画像において検出される注目領域は、内視鏡装置の撮像部の移動に伴い画像上を移動する。そして、図１４（Ｃ）に示すように、あるタイミングにおいて表示対象範囲から外れたとする。このような場合に、消失してしまった注目領域の再発見を容易にするために、図１４（Ａ）、図１４（Ｂ）の情報を用いて、後述する図１５に示すように、誘導情報（図１５の例では矢印）を出力する。
【００１７】
第１の実施形態においては、特殊光画像がＮＢＩ（Narrow Band Imaging）画像である場合について説明する。１．１において具体的な実施例について説明し、１．２〜１．４で変形例について説明する。また１．５において本実施形態の処理の一部をソフトウェアで実現する例を、フローチャートを用いて説明し、１．６において本実施形態の詳細な構成について説明する。
【００１８】
また、第２の実施形態においては、特殊光画像が蛍光画像（例えばＡＦＩ、Auto Fluorescence Imaging等）やＩＲＩ画像である場合について説明する。
【００１９】
１．１ 本実施形態の手法
本発明の第１の実施形態に係る画像処理装置を含む内視鏡システムについて、図１を参照して説明する。本実施形態に係る内視鏡システムは、光源部１００と、挿入部２００と、画像処理部３００と、出力部４００（表示部）と、外部Ｉ／Ｆ部５００を含む。
【００２０】
光源部１００は、白色光を発生する白色光源１１０と白色光をライトガイドファイバ２１０に集光するための集光レンズ１２０を含む。
【００２１】
挿入部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。挿入部２００には、光源部で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバにより先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０と、観察対象から戻る反射光を集光する対物レンズ２３０と、集光した反射光を２つに分離するハーフミラー２４０と、分離された反射光を検出するための第１撮像素子２５０と第２撮像素子２６０を含む。
【００２２】
第１撮像素子２５０は通常光画像を撮影するためのベイヤ配列の色フィルタを持つ撮像素子である。第１撮像素子２５０の色フィルタｒ，ｇ，ｂは例えば図２に示すような分光特性を持っている。第２撮像素子２６０は狭帯域光画像を撮影するための撮像素子であり、例えば図４に示すように２種類の狭帯域光Ｇ２とＢ２をそれぞれ透過する２種類の色フィルタｇ２とｂ２を市松状に並べたような色フィルタを持つ撮像素子である。
【００２３】
第２撮像素子２６０の色フィルタｇ２，ｂ２は例えば図３に示すように、ｂ２が３９０〜４４５ｎｍ、ｇ２が５３０〜５５０ｎｍの波長帯域の光を透過させる透過率特性を有している。
【００２４】
画像処理部３００はＡ／Ｄ変換部３１０と通常光画像取得部３２０と特殊光画像取得部３３０と出力画像生成部３４０と制御部３５０を含む。制御部３５０は通常光画像取得部３２０、特殊光画像取得部３３０、出力画像生成部３４０と双方向に接続されていて、これらを制御するようになっている。
【００２５】
外部Ｉ／Ｆ部５００は、この撮像装置に対するユーザーからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を、制御部３５０へ出力するようになっている。
【００２６】
Ａ／Ｄ変換部３１０は、第１撮像素子２５０もしくは第２撮像素子２６０から出力されるアナログ信号をデジタル信号に変換して出力する。
【００２７】
通常光画像取得部３２０は、Ａ／Ｄ変換部３１０から出力されるデジタル信号から通常光画像を取得する。特殊光画像取得部３３０はＡ／Ｄ変換部３１０から出力されるデジタル信号から特殊光画像を取得する。通常光画像取得部３２０及び特殊光画像取得部３３０の詳細については後述する。
【００２８】
通常光画像取得部３２０で取得された通常光画像と、特殊光画像取得部３３０で取得された特殊光画像は出力画像生成部３４０に出力される。出力画像生成部３４０はこれら２枚の画像から１枚の出力画像を生成して出力部４００に出力する。出力画像生成部３４０の詳細については後述する。
【００２９】
次に通常光画像取得部３２０について図５を用いて説明する。通常光画像取得部３２０は通常光画像生成部３２１と通常光画像記憶部３２２を含む。通常光画像生成部３２１はＡ／Ｄ変換部３１０で変換されて入力されるデジタル信号に対して画像処理を行い、通常光画像を生成する。具体的には、既存の補間処理やホワイトバランス、色変換、階調変換等の処理を行い、通常光画像を生成して出力する。通常光画像記憶部３２２は通常光画像生成部３２１から出力された通常光画像を記憶する。
【００３０】
次に特殊光画像取得部３３０について図６を用いて説明する。特殊光画像取得部３３０は特殊光画像生成部３３１と特殊光画像記憶部３３２を含む。特殊光画像生成部３３１はＡ／Ｄ変換部３１０で変換されて入力されるデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。本実施例では特殊光画像は狭帯域光画像となる。
【００３１】
ここで、特殊光画像生成部３３１で狭帯域光画像を生成する方法について説明する。特殊光画像生成部に入力されるデジタル画像信号は、前述したように図４で示す２種類の色フィルタｇ２とｂ２を市松状に並べたような画像信号である。このような画像信号に対してまず補間処理を行い、全画素でｇ２フィルタの信号値を持つＧ２画像と、全画素でｂ２フィルタの信号値を持つＢ２画像を生成する。補間処理で算出される画素値は例えば周辺４画素の平均値とすればよく、例えば図４のｇ２（１,１）の位置でのｂ２の画素値ｂ２（１,１）、及びｂ２（１,２）位置でのｇ２の画素値ｇ２（１,２）は下式（１）、（２）により算出する。
【００３２】
b2（1,1) = [b2（0,1）+b2（1,0）+b2（1,2）+b2（2,1）] / 4 ・・・・・（１）
g2（1,2) = [g2（0,2）+g2（1,1）+g2（1,3）+g2（2,2）] / 4 ・・・・・（２）
【００３３】
次に全画素に対して補間されたＧ２画像及びＢ２画像からＲ，Ｇ，Ｂの３チャンネルを持つカラー画像を生成する。ここでは例えばカラー画像のＲチャンネルにＧ２画像を入力し、ＧチャンネルとＢチャンネルにＢ２画像を入力することでカラー画像が生成される。
【００３４】
特殊光画像生成部３３１は、生成したカラー画像に対してさらにホワイトバランス、階調変換等の処理を行い、狭帯域光画像として出力する。特殊光画像記憶部３３２は特殊光画像生成部３３１から出力された特殊光画像を記憶する。
【００３５】
次に、出力画像生成部３４０の具体的な構成について説明する。図７は、第１の実施形態における出力画像生成部３４０の構成の一例を説明するブロック図である。出力画像生成部３４０は、注目領域検出部３４１と表示態様決定部３４２とを含む。
【００３６】
ここで、通常光画像取得部３２０からの画像信号は、表示態様決定部３４２に出力される。また、特殊光画像取得部３３０からの画像信号は、注目領域検出部３４１と、表示態様決定部３４２に出力される。注目領域検出部３４１は、特殊光画像取得部３３０から出力された特殊光画像を用いて注目領域を検出し、注目領域情報を表示態様決定部３４２に出力する。注目領域検出部３４１の詳細については後述する。制御部３５０は、注目領域検出部３４１と、表示態様決定部３４２に双方向に接続されていて、これらを制御するようになっている。
【００３７】
また、表示態様決定部３４２は、通常光画像取得部３２０から出力される通常光画像及び特殊光画像取得部３３０から出力される特殊光画像から画像を選択し、出力部４００に画像を出力する。さらに表示態様決定部３４２は、注目領域検出部３４１から出力される注目領域情報に基づいて、通常光画像を加工したうえで出力部に画像を出力することもできる。表示態様決定部３４２の詳細については後述する。
【００３８】
次に、注目領域検出部３４１の具体的な構成について説明する。図８は、本実施形態における注目領域検出部３４１の構成の一例を説明するブロック図である。
【００３９】
注目領域検出部３４１は局所領域設定部３４１１と、特徴量算出部３４１２と、注目候補領域設定部３４１４と、信頼度算出部３４１５と、注目領域設定部３４１６を含む。制御部３５０は、局所領域設定部３４１１と、特徴量算出部３４１２と、注目候補領域設定部３４１４と、信頼度算出部３４１５と、注目領域設定部３４１６に双方向に接続されていて、これらを制御するようになっている。
【００４０】
局所領域設定部３４１１は、特殊光画像取得部３３０から出力された特殊光画像に対して、複数の局所領域を設定する。ここでは例えば特殊光画像を矩形領域に分割し、分割した各領域を局所領域として設定する。この矩形領域のサイズは適宜設定できるが、ここでは例えば、図９に示すように、１６×１６画素を１つの局所領域とする。ここで特殊光画像はＭ×Ｎ個の局所領域で構成されていることとし、各局所領域の座標を（ｍ，ｎ）で示すこととする。また、座標（ｍ，ｎ）の局所領域はａ（ｍ，ｎ）として示すこととする。ここでは画像の左上に位置する局所領域の座標を（０，０）とし、右方向をｍの正方向、下方向をｎの正方向として表している。
【００４１】
局所領域は必ずしも矩形である必要はなく、特殊光画像を任意の多角形に分割し、分割されたそれぞれの領域を局所領域に設定できることは言うまでもない。また、局所領域をユーザーの指示に応じて任意に設定できるようにしてもよい。また、ここでは後の計算量を削減するために、複数の隣接する画素群からなる領域を１つの局所領域としているが、１画素を１つの局所領域とすることも可能である。この場合も後の処理は全く同様である。
【００４２】
特徴量算出部３４１２はすべての局所領域に対して病変らしさを表す特徴量を算出する。ここでは特徴量の一例として色情報を利用する場合について説明する。本実施の形態で特殊光画像として使用している狭帯域光画像においては、扁平上皮癌等の病変部が褐色の領域として描出されるため、特徴量として色相Ｈを使用することで病変部を検出することができる。局所領域ａ（ｍ，ｎ）の色相をＨ（ｍ，ｎ）とする。
【００４３】
Ｈ（ｍ，ｎ）を算出するため、まずそれぞれの局所領域に含まれるすべての画素を用いて、Ｒ，Ｇ，Ｂチャンネルそれぞれに対して平均の信号値を算出する。ここで、局所領域ａ（ｍ，ｎ）におけるＲ，Ｇ，Ｂチャンネルの平均の信号値をｒ，ｇ，ｂと表記し、各信号値は８ビット（０〜２５５）であるとする。
【００４４】
次にこの平均の信号値ｒ，ｇ，ｂから例えば以下の式（３）〜（８）を用いて各局所領域の色相Ｈ（ｍ，ｎ）を算出する。
【００４５】
max = MAX（r，g，b） ・・・・・（３）
ここで、ＭＡＸ関数は複数の引数の中で最大のものを出力する関数とする。
ｍａｘが０の場合、
H = 0 ・・・・・（４）
ｍａｘが０以外の場合、
d = MAX（r，g，b）- MIN（r，g，b） ・・・・・（５）
ここで、ＭＩＮ関数は複数の引数の中で最小のものを出力する関数とする。
【００４６】
さらに、
ｒ，ｇ，ｂのうちｒが最大の場合、
H = 60 *（g-b）/ d ・・・・・（６）
ｒ，ｇ，ｂのうちｇが最大の場合、
H = 60 * {2+（b-r）} / d ・・・・・（７）
ｒ，ｇ，ｂのうちｂが最大の場合、
H = 60 * {4+（r-g）} / d ・・・・・（８）
なお、Ｈが＜０になった場合には、Ｈに３６０を加える。また、Ｈ＝３６０の場合、Ｈ＝０とする。
【００４７】
次に、注目候補領域設定部３４１４はすべての局所領域に対して算出した特徴量に対して閾値処理を行い、注目候補領域を検出する。ここでは褐色の領域を注目領域として検出したいため、例えば色相Ｈが５〜３５の範囲にある局所領域を注目候補領域とすればよい。
【００４８】
次に注目候補領域設定部３４１４は、注目候補領域として検出された複数の局所領域ａ（ｍ，ｎ）の座標から、互いに隣接する注目候補領域からなる注目候補領域群を検出し、タグ情報を付加することで複数の異なる注目候補領域群同士を識別する。例えば、図１０に示すように２つの注目候補領域群が存在する場合、注目候補領域設定部３４１４は、注目候補領域群１に属する注目候補領域に対してはタグの値を１とし、注目候補領域群２に属する注目候補領域に対してはタグの値を２とする。
【００４９】
次に注目候補領域設定部３４１４は、注目候補領域群ごとに、注目候補領域群に属する局所領域の特徴量の平均値を算出する。ここでは注目候補領域群ごとに色相の平均値Ｈ＿ａｖｅを算出する。
【００５０】
さらに注目候補領域設定部３４１４は、注目候補領域群に属する各局所領域ａ（ｍ，ｎ）の座標、および特徴量の平均値を、注目候補領域情報として信頼度算出部３４１５に出力する。
【００５１】
また、ここでは色相Ｈの替わりに公知の手法で局所領域の平均の輝度や彩度を算出し、これらの値を特徴量として注目候補領域を検出してもよい。さらにこれらの輝度、色相、彩度の情報を任意に組み合わせることで１つの特徴量を算出し、注目候補領域を検出することも可能であることは言うまでもない。
【００５２】
信頼度算出部３４１５は注目候補領域群に対して、病変であるかどうかを判定するために信頼度を算出する。ここでは各注目候補領域に付けられたタグの情報から、注目候補領域群に属する注目候補領域の数を算出することで注目候補領域群の面積を算出し、これを信頼度として使用する。例えば図１０の注目候補領域群１及び注目候補領域群２の信頼度ｄ１及びｄ２は、１つの局所領域の面積を１とすると、ｄ１＝９となりｄ２＝２となる。さらに信頼度算出部３４１５は、注目候補領域群に属する各局所領域の座標（ｍ，ｎ）、色相の平均値Ｈ＿ａｖｅ、および信頼度を注目候補領域情報として注目領域設定部３４１６に出力する。
【００５３】
注目領域設定部３４１６は注目候補領域情報に含まれる信頼度から注目領域を設定する。例えば信頼度が５以上の注目候補領域群を注目領域とすることで、注目候補領域群１だけが注目領域として設定される。このような処理を行うことで、微小な面積の注目候補領域群をノイズとして排除することが可能となり、信頼度の高い注目領域を検出することができる。
【００５４】
次に注目領域設定部３４１６は、検出された注目候補領域群（今後、注目領域群と呼ぶ）に属する各局所領域ａ（ｍ，ｎ）の座標から注目領域群の重心の座標（ｘ，ｙ）を算出し、注目領域群に属する各局所領域の座標ａ（ｍ，ｎ）および注目領域群の重心の座標（ｘ，ｙ）、色相の平均値Ｈ＿ａｖｅ、信頼度を注目領域情報として表示態様決定部３４２に出力する。また、注目領域設定部３４１６は、特殊光画像中に注目領域が検出されたか否かの制御信号を表示態様決定部３４２に出力する。
【００５５】
なお、本実施例では注目候補領域群に属する注目候補領域の数から面積を算出し、信頼度としたが、注目候補領域群に属する注目候補領域の平均の色相や彩度、輝度を算出し、これを用いて信頼度を算出してもよい。さらに、注目候補領域群の面積と色相や彩度、輝度を組み合わせて信頼度を算出することも可能なことは言うまでもない。
【００５６】
次に、表示態様決定部３４２の具体的な構成について説明する。図１１は、本実施の形態における表示態様決定部３４２の構成の一例を説明するブロック図である。表示態様決定部３４２は、加工部３４２１と誘導情報生成部３４２２と記憶部３４２３を含む。
【００５７】
通常光画像取得部３２０および特殊光画像取得部３３０から出力される画像信号は、加工部に入力される。加工部３４２１は、制御部３５０の制御に基づき、注目領域検出部３４１から出力される注目領域情報および誘導情報生成部３４２２から出力される消失方向情報を用いて、通常光画像を加工する。加工部３４２１はさらに、加工した通常光画像を出力部４００に出力する。制御部３５０は、例えば注目領域が検出された場合と検出されない場合に加工部３４２１がどのような画像を出力部４００に出力するかについて、ユーザーの指示に基づいて制御することができる。加工部３４２１と誘導情報生成部３４２２の詳細については後述する。
【００５８】
記憶部３４２３は注目領域検出部３４１から出力された注目領域情報のうち、注目領域群を表すタグ情報、注目領域群の重心の座標（ｘ，ｙ）、特徴量の平均値、信頼度を記憶する。記憶された情報の一例を図１２に示す。ここでは注目領域群として１から３の３つが記憶されているが、これは注目領域検出部３４１に入力された１フレームの特殊光画像から、３つの注目領域群が検出されたことを表している。
【００５９】
本実施例では動画を想定しているため、注目領域検出部３４１に対して１フレームの特殊光画像が順次入力されることになる。この結果、注目領域検出部３４１からは各フレームに対して検出された注目領域情報が順次出力されることになる。この場合、記憶部３４２３は特殊光画像が取得されたタイミングと関連付けて、注目領域情報を記憶する。この時、記憶部３４２３は例えば以下の処理に必要な、任意の個数の注目領域情報を記憶するリングバッファとすればよい。なお、特殊光画像から注目領域が検出されなかった場合、記憶部３４２３は注目領域無しという情報を記憶する。
【００６０】
ここで加工部３４２１及び誘導情報生成部３４２２の具体的な処理について説明する。
加工部３４２１は、注目領域検出部３４１で注目領域が検出された場合、注目領域検出部３４１から出力された注目領域情報を用いて、通常光画像取得部３２０から出力された通常光画像を加工する。図１３（Ａ）は通常光画像取得部３２０から出力された通常光画像と、注目領域検出部３４１から出力された注目領域情報を示した一例である。ここでは、点線で示した注目領域群に含まれるすべての画素の位置情報が注目領域情報として加工部３４２１に入力される。
【００６１】
加工部３４２１は例えば、通常光画像のうち注目領域情報として入力されたすべての画素に対して、以下の式（９）〜（１１）を用いて色変換処理を行う。ここでｒ（ｘ，ｙ），ｇ（ｘ，ｙ），ｂ（ｘ，ｙ）は色変換前の通常光画像の座標（ｘ，ｙ）におけるＲ，Ｇ，Ｂチャンネルの信号値であり、ｒ＿ｏｕｔ（ｘ，ｙ），ｇ＿ｏｕｔ（ｘ，ｙ），ｂ＿ｏｕｔ（ｘ，ｙ）は色変換後の通常光画像のＲ，Ｇ，Ｂチャンネルの信号値である。また、Ｔ＿ｒ，Ｔ＿ｇ，Ｔ＿ｂは任意の目標色のＲ，Ｇ，Ｂ信号値であり、ｇａｉｎは０〜１の任意の係数である。
【００６２】
r_out（x，y）= gain*r（x，y）+（1-gain）* T_r ・・・・・（９）
g_out（x，y）= gain*g（x，y）+（1-gain）* T_g ・・・・・（１０）
b_out（x，y）= gain*b（x，y）+（1-gain）* T_b ・・・・・（１１）
【００６３】
このような処理を行うことで、図１３（Ｂ）に示す特殊光画像を観察した時に病変部と疑われる注目領域群が、図１３（Ｃ）に示すように通常光画像に色の異なる領域として重畳して表示されることになり、通常光画像と特殊光画像を用いた診断を行う際にドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【００６４】
また、加工部３４２１は例えば通常光画像のうち注目領域群の境界を構成するすべての画素に対して、以下の式１２〜１４を用いて色変換処理を行ってもよい。
【００６５】
r_out（x，y）= T_r ・・・・・（１２）
g_out（x，y）= T_g ・・・・・（１３）
b_out（x，y）= T_b ・・・・・（１４）
このような処理を行うことで、図１３（Ｄ）に示すように通常光画像に対して注目領域群が任意の目標色に囲まれた部分として重畳して表示することができる。
【００６６】
図１４（Ａ）〜図１４（Ｃ）は、本実施形態における内視鏡システムの挿入部をユーザーが動かした場合に、特殊光画像取得部３３０から注目領域検出部３４１に出力される特殊光画像を示した図である。
【００６７】
タイミング１で取得された特殊光画像１では注目領域群が検出されているが、タイミング２、タイミング３と時間が経過するに従って挿入部が左方向に移動し、これに伴い注目領域群は画像に対して相対的に右方向に移動している。この結果、タイミング３で取得された特殊光画像３では、注目領域群が画像として取得される範囲から外れることで、注目領域群が検出されなくなってしまう。
【００６８】
ユーザーが画像に注目していない状態で意図せずこのような挿入部の動作を行ってしまうと、病変と疑われる領域である注目領域群を見失うことで、再度注目領域群を探すという手間が発生する。さらに、ユーザーが画像に注目している場合も、速いスピードで挿入部を移動させた場合は注目領域群が短時間しか検出されないことで、注目領域群の見落としにもつながる。
【００６９】
このような課題を解決するため、注目領域検出部３４１で注目領域群が検出されなかった場合、加工部３４２１は誘導情報生成部３４２２に対して消失方向の推定を行わせるように制御信号を出力する。誘導情報生成部３４２２は、加工部３４２１からの制御信号に応じて、記憶部３４２３に記憶されている注目領域情報から消失方向を推定する。ここでは説明を簡単にするため、特殊光画像１及び特殊光画像２で１つの注目領域群が検出されたと仮定して説明を行う。例えば、図１４（Ｃ）に示す特殊光画像３で注目領域群が検出されなかった場合、誘導情報生成部はまず図１４（Ａ）に示すタイミング１で取得された特殊光画像１と図１４（Ｂ）に示すタイミング２で取得された特殊光画像２から、注目領域群が検出されていたか否かの判定を行う。次に、特殊光画像１と特殊光画像２から注目領域群が検出されていた場合は、特殊光画像１から検出された注目領域群の重心の座標（ｘ１_Ｔ１，ｙ１_Ｔ１）と、特殊光画像２から検出された注目領域群の重心の座標（ｘ１_Ｔ２，ｙ１_Ｔ２）を用いて下式（１５）で注目領域群の動きベクトルＶを算出する。
【００７０】
V=（Vx，Vy）=（x1_T2-x1_T1，y1_T2-y1_T1） ・・・・・（１５）
次に誘導情報生成部３４２２は算出された動きベクトル（Ｖｘ，Ｖｙ）から、例えば下式（１６）で注目領域群の消失方向を決定する。
【００７１】
（Vy<０，Vx>０，|Vy|>|Vx|）の場合 消失方向 上
（Vy<０，Vx>０，|Vy|<|Vx|）の場合 消失方向 右
（Vy>０，Vx>０，|Vy|<|Vx|）の場合 消失方向 右
（Vy>０，Vx>０，|Vy|>|Vx|）の場合 消失方向 下
（Vy>０，Vx<０，|Vy|>|Vx|）の場合 消失方向 下
（Vy>０，Vx<０，|Vy|<|Vx|）の場合 消失方向 左
（Vy<０，Vx<０，|Vy|<|Vx|）の場合 消失方向 左
（Vy<０，Vx<０，|Vy|>|Vx|）の場合 消失方向 上 ・・・・・（１６）
【００７２】
その後、誘導情報生成部３４２２は決定した消失方向を、消失方向情報として加工部３４２１に出力する。本実施例の消失方向情報をＶ１とすると、Ｖ１は右という情報を持っている。加工部３４２１は受け取った消失方向情報を用いて、通常光画像取得部３２０から出力された通常光画像を加工する。ここでは例えば図１５に示すように消失方向情報Ｖ１を右向きの矢印として付加する。
【００７３】
なお、特殊光画像１または特殊光画像２で注目領域が検出されていなかった場合、誘導情報生成部３４２２では消失方向情報が決定されない。この場合、加工部３４２１は通常光画像取得部３２０から出力された通常光画像をそのまま出力部４００へ出力する。
【００７４】
本実施形態では、消失方向情報は上下左右の４方向から１つを選択しているが、例えば斜め方向を加えた８方向から１つを選択してもよい。また、本実施形態では注目領域が検出されなかった特殊光画像に対して、直前の２つのタイミングで取得された特殊光画像から検出された注目領域情報を用いて消失方向を決定しているが、過去の任意のタイミングで取得された特殊光画像から検出された注目領域情報を用いて消失方向を決定してもよい。また、本実施形態では消失方向情報を矢印として付加しているが、消失方向情報として任意の記号や文字情報等を用いることが可能であることは言うまでもない。
【００７５】
また、本実施の形態ではタイミング３の次のタイミングで取得された特殊光画像から注目領域が検出されなかった場合、誘導情報生成部３４２２は特殊光画像２と特殊光画像３から注目領域が検出されていたか否かの判定を行うことになる。ここで特殊光画像３からは注目領域が検出されていないため、誘導情報生成部３４２２では消失方向情報は決定されない。この場合、加工部３４２１は１つ前のタイミングで決定された消失方向情報Ｖ１を通常光画像に付加する。その後のタイミングで取得された特殊光画像から、注目領域が検出されなかった場合も同様である。
【００７６】
このように、一度決定された消失方向情報を一定期間通常光画像に付加し続けるような処理を行うことで、注目領域を見失った場合も容易に注目領域を探すことができる。また、ユーザーが速いスピードで挿入部を移動させ、注目領域が短時間しか検出されなかった場合も、注目領域の見落としを防止することができる。一度決定された消失方向情報を通常光画像に付加する期間については、例えばユーザーが外部Ｉ／Ｆ部５００から指示してもよいし、予め任意の時間を設定してもよい。
【００７７】
また、新たに取得された特殊光画像から注目領域が検出された場合は、消失方向情報の付加を停止するような制御を行ってもよい。
【００７８】
以上の本実施形態の手法について、図１６の状態遷移図を用いて再度説明する。図１６では、特に、一度出力した誘導情報を一定時間継続して出力する例について詳細に説明する。複数タイミング（フレーム）にわたって誘導情報の出力を継続することで、ユーザーが誘導情報の出力に気がつきやすくなり、注目領域の再発見や、見落とし抑止の効果を向上させることが可能になる。
【００７９】
図１６に示したように、状態は大別して３つであり、Ｓ０、Ｓ１−１〜Ｓ１−Ｋ及びＳ２である。Ｓ０は注目領域群が検出され（非消失であり）、かつ誘導情報が非出力になっている状態であり、Ｓ１−１〜Ｓ１−Ｋは注目領域群が消失しており、かつ誘導情報が出力されている状態である。また、Ｓ２は注目領域群が消失しており、かつ誘導情報が非出力になっている状態である。
【００８０】
ここでＫは、一度決定された消失方向情報を通常光画像に付加し続ける時間を表すパラメータである。
【００８１】
まず、注目領域群が消失している（消失し続けている）場合、Ｓ２にとどまり続ける。このとき、誘導情報は出力されない。注目領域群が検出されると、Ｓ０に遷移する。このときも誘導情報は出力されない。
【００８２】
そして、注目領域群が検出され続けている間は、Ｓ０にとどまっている。Ｓ０において、注目領域群が消失した場合には、誘導情報を出力して、Ｓ１−１に遷移する。Ｓ１−１において注目領域群が消失している（消失し続けている）とＳ１−２へ、Ｓ１−２で注目領域群が消失しているとＳ１−３へ遷移して行く。この間、誘導情報は出力され続ける。
【００８３】
Ｓ１−Ｋにおいて、注目領域群が消失していると、Ｓ２へ遷移し誘導情報を非出力にする。つまり、一度誘導情報が表示されると、Ｋフレームの間は、注目領域群が再度検出されない限り、誘導情報が出力され続けることになる。
【００８４】
また、図１６の例ではＳ１−１〜Ｓ１−Ｋにおいて注目領域群が検出されると、誘導情報を非出力にしてＳ０に遷移する。これは、注目領域群が検出された場合は誘導情報の付加を停止する制御に相当する。ただし処理はこれに限定されるものではなく、注目領域群が検出された際に、誘導情報を表示し続けてもよい。
【００８５】
１．２ 変形例１（動きベクトルの大きさに基づく付加期間制御）
次に本実施形態の変形例について説明する。以上の説明では、誘導情報として方向情報を用いていたが、これだけに限定されるものではない。動きベクトルは方向と大きさを持っているため、動きベクトルの大きさに基づいて誘導情報の出力態様を制御してもよい。動きベクトルの大きさは消失注目領域への距離に関する情報に相当するため、消失注目領域群が遠い距離にあるか、近い距離にあるかに応じて、処理を変更すること等が可能になる。
【００８６】
例えば本実施形態では、注目領域群の動きベクトルに基づいて、消失情報を通常光画像に付加する期間を制御する。具体的には、誘導情報生成部３４２２は、注目領域群の動きベクトルＶ＝（Ｖｘ，Ｖｙ）から下式（１７）で動きベクトルの大きさＶ＿ｎｏｒｍを算出する。そして、消失方向情報と合わせてＶ＿ｎｏｒｍを加工部３４２１に出力する。さらに加工部３４２１はＶ＿ｎｏｒｍに応じて消失方向情報を通常光画像に付加する期間を制御する。
【数１】
【００８７】
Ｖ＿ｎｏｒｍが大きい場合は挿入部の移動速度が速いと予測されるため、消失方向情報を通常光画像に付加する期間が長いと消失方向情報の精度が悪くなる。このため加工部３４２１は、例えばＶ＿ｎｏｒｍが大きい場合、消失方向情報を通常光画像に付加する期間を短くし、Ｖ＿ｎｏｒｍが小さい場合、消失方向情報を通常光画像に付加する期間を長くするような制御を行ってもよい。
【００８８】
１．３ 変形例２（複数の注目領域群が検出される例）
また以上では、説明を簡単にするため、特殊光画像１及び特殊光画像２で１つの注目領域群が検出されていた場合について説明したが、複数の注目領域群が検出されていた場合、誘導情報の出力態様が問題となる。複数の誘導情報を同時に出力する場合には、例えば、右の矢印と左の矢印が同時に表示されてしまうケース等が考えられ、ユーザーを混乱させてしまう。誘導情報の出力を１つに限定する場合には、どの注目領域群に関する誘導情報を出力するのか選択し、かつ、特殊光画像１と特殊光画像２で、注目領域群同士のマッチング処理を行う必要がある。そこで本実施形態では、誘導情報生成部３４２２は例えば以下のような処理を行ってもよい。
【００８９】
まず始めに、特殊光画像２で検出された複数の注目領域群のうち、最も信頼度が高い注目領域群Ｎを選択する。次に、特殊光画像１で検出された複数の注目領域群から、注目領域群Ｎに対応する注目領域群Ｍを選択する。ここでは例えば特徴量の平均値や信頼度の値が注目領域群Ｎと最も近い注目領域群を、対応する注目領域群Ｍとして選択すればよい。
【００９０】
その後、誘導情報生成部３４２２は選択された注目領域群ＮおよびＭの重心の座標から、前述の手法と同様にして消失方向を決定し、消失方向情報を加工部３４２１に出力する。加工部３４２１は受け取った消失方向情報を用いて、通常光画像取得部３２０から出力された通常光画像を加工する。
【００９１】
具体例を図１７に示す。図１７は図１２と同様に、記憶部３４２３に記憶される注目領域群に関するデータの構造例を示している。タイミング１（特殊光画像１に対応）においては１〜３の３つの注目領域群が検出され、タイミング２（特殊光画像２に対応）においては４，５の２つの注目領域群が検出されたとする。タイミング３においてＮＵＬＬであった（注目領域群が検出されなかった）場合には、上述してきた通り、特殊光画像１及び特殊光画像２から消失方向を決定する。
【００９２】
図１７の例の場合、タイミング２において、信頼度が最も高いものを選択する。ここでｂ４＞ｂ５であったとすれば、注目領域群４が上述した注目領域群Ｎに相当する注目領域群として選択される。次にタイミング１における注目領域群１〜３の中から、特徴量の平均値Ｈ＿ａｖｅもしくは信頼度ｂ、或いはその両方を用いて、注目領域群４との類似度を算出する。
【００９３】
ここでＨ＿ａｖｅ４とＨ＿ａｖｅ３、ｂ４とｂ３の類似度が高かったとすれば、注目領域群４に対応する注目領域群Ｍとして、注目領域群３が選択される。以降の処理はすでに説明したものと同様であり、（ｘ４，ｙ４）と（ｘ３，ｙ３）とから動きベクトルＶを求め、式（１６）を用いて誘導情報を生成する。
【００９４】
このような処理を行うことで、特殊光画像から複数の注目領域群が検出されていた場合も、最も信頼度が高い注目領域群の消失方向を表示することができる。さらに、消失方向の表示を１つに制限することで、ユーザーの混乱を抑止するができる。
【００９５】
１．４ 変形例３（注目領域群に関する上限数の設定）
また、注目領域群が多数同時に検出されるような場合には、同じような特徴量、信頼度をもつ注目領域群が複数存在することが考えられ、注目領域群同士のマッチング処理が適切に行われない可能性が生ずる。マッチング処理が適切に行われないと、誤った消失方向を決定してしまう可能性が高くなる。
【００９６】
そこで、誘導情報生成部３４２２は注目領域群の上限数に関する情報を保持しておく。そして、特殊光画像から上限数以上の注目領域群が検出されている場合は消失方向の決定を停止する処理を行うこのような処理を行うことで、誤った消失方向の決定を抑止することができる。
【００９７】
１．５ 本実施形態のフローチャート
また、本実施の形態では、画像処理部３００を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、カプセル内視鏡などの撮像装置を用いて予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【００９８】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と特殊光画像に対して、図７の出力画像生成部３４０の処理をソフトウェアで実現する場合の処理手順を、図１８のフローチャートを用いて説明する。
【００９９】
この場合は、まず特殊光画像をメモリに読み込み（Ｓｔｅｐ１）、次にこの特殊光画像と同時に取得された通常光画像をメモリに読み込む（Ｓｔｅｐ２）。次に読み込んだ特殊光画像を用いて、注目領域を検出し、注目領域情報を出力する（Ｓｔｅｐ３）。その後、表示態様を決定し表示画像を出力する（Ｓｔｅｐ４）。ここでは読み込んだ通常光画像及び特殊光画像から画像を選択し、表示画像として出力してもよいし、Ｓｔｅｐ３で出力された注目領域情報に基づいて、通常光画像もしくは特殊光画像を加工したうえで表示画像として出力してもよい
【０１００】
その後、すべての画像に対して一連の処理が完了した場合は処理を終了し、未処理の画像が残っている場合は同様の処理を継続する（Ｓｔｅｐ５）。
【０１０１】
次に、図１８の注目領域検出ステップ（Ｓｔｅｐ３）での詳細な処理手順について、図１９のフローチャートを用いて説明する。
【０１０２】
まず、局所領域設定ステップ（Ｓｔｅｐ３１）について説明する。局所領域検出ステップではまず特殊光画像に対して、前述の図９に示されるように複数の局所領域を設定する。
【０１０３】
次に、特徴量算出ステップ（Ｓｔｅｐ３２）について説明する。特徴量算出ステップでは設定したすべての局所領域に対して、特徴量を算出する。ここでは特徴量の一例として前述の式（３）〜（８）で示される色相Ｈを使用する。
【０１０４】
次に、注目候補領域設定ステップ（Ｓｔｅｐ３３）について説明する。注目候補領域設定ステップでは、まずすべての局所領域に対して算出した特徴量に対して閾値処理を行い、注目候補領域を検出する。ここでは褐色の領域を注目領域として検出したいため、例えば色相Ｈが５〜３５の範囲にある局所領域を注目候補領域とすればよい。次に、注目候補領域として検出された複数の局所領域ａ（ｍ，ｎ）の座標から、互いに隣接する注目候補領域からなる注目候補領域群を検出し、タグ情報を付加することで複数の異なる注目候補領域群同士を識別する。そして、検出した注目候補領域群ごとに、注目候補領域群に属する局所領域の特徴量の平均値を算出する。ここでは注目候補領域群ごとに色相の平均値Ｈ＿ａｖｅを算出する。
【０１０５】
次に、信頼度算出ステップ（Ｓｔｅｐ３４）について説明する。信頼度算出ステップでは、注目候補領域群に対して、病変であるかどうかを判定するために信頼度を算出する。ここでは例えば、前述の用に各注目候補領域群に属する注目候補領域の数を算出することで注目候補領域群の面積を算出し、これを信頼度として使用する。
【０１０６】
次に、注目領域設定ステップ（Ｓｔｅｐ３５）について説明する。注目領域設定ステップでは前述のように、注目候補領域群の信頼度から注目領域を設定する。例えば信頼度が５以上の注目候補領域群を注目領域とする。
【０１０７】
次に、注目領域情報出力ステップ（Ｓｔｅｐ３６）について説明する。注目領域情報出力ステップでは、検出された注目候補領域群（今後、注目領域群と呼ぶ）に属する各局所領域ａ（ｍ，ｎ）の座標から注目領域群の重心の座標（ｘ，ｙ）を算出し、注目領域群に属する各局所領域の座標ａ（ｍ，ｎ）および注目領域群の重心の座標（ｘ，ｙ）、色相の平均値Ｈ＿ａｖｅ、信頼度を注目領域情報として出力する。また、注目領域情報出力ステップでは、特殊光画像中に注目領域が検出されたか否かのフラグ情報も出力する。
【０１０８】
次に、図１８の表示態様決定ステップ（Ｓｔｅｐ４）での処理手順について、図２０のフローチャートを用いて説明する。
【０１０９】
まず通常光画像の加工ステップ（Ｓｔｅｐ４１）について説明する。通常光画像の加工ステップではまず、注目領域検出ステップで出力された注目領域情報を用いて、前述の式（９）〜（１１）で示される方法で通常光通常光画像を加工する。
【０１１０】
次に、消失方向の推定ステップ（Ｓｔｅｐ４２）について説明する。消失方向の推定ステップでは、注目領域検出ステップで出力されたフラグ情報に基づいて、前述の式（１５）、（１６）で示される方法で消失方向を推定する。
【０１１１】
次に、消失方向情報の付加ステップ（Ｓｔｅｐ４３）について説明する。消失方向情報の付加ステップでは、消失方向の推定ステップで推定された消失方向情報を、通常光画像に付加する。ここでは例えば、前述のように一度決定された消失方向情報を一定期間通常光画像に付加し続けるような処理を行う
【０１１２】
このような処理を行うことで、図１３（Ｂ）に示す特殊光画像を観察した時に病変部と疑われる注目領域が、図１３（Ｃ）に示すように通常光画像に色の異なる領域として重畳して表示されることになり、通常光画像と特殊光画像を用いた診断を行う際にドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【０１１３】
さらに、ユーザーが速いスピードで挿入部を移動させ、注目領域が短時間しか検出されなかった場合も、注目領域の見落としを防止することができる。
【０１１４】
１．６ 本実施形態の詳細な構成
以上の本実施形態では、画像処理装置は、図１に示すように特殊光画像を取得する特殊光画像取得部３３０を含む。また、図７に示すように注目すべき領域である注目領域を検出する注目領域検出部３４１を含む。さらに、図１１に示すように消失有無判定部及び誘導情報生成部３４２２を含む。消失有無判定部は、表示対象範囲からの注目領域の消失の有無を判定し、誘導情報生成部は、消失した注目領域への誘導情報を生成する。また、図１に示すように誘導情報を含む情報の出力制御を行う出力制御部３６０を含む。
【０１１５】
ここで、注目領域とは、ユーザーにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザーが医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。すなわち、ユーザーが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザーにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。また前述の式（３）〜（８）で説明したように、注目領域は第２の画像の画素の特徴量（本実施形態では色相であるが彩度等であってもよい）を用いて検出することができ、例えば式（６）〜（８）の特徴量に対する閾値は、注目領域の種類に応じて変化する。例えば第１の種類の注目領域に対する色相、彩度等の特徴量の閾値と、第２の種類の注目領域に対する特徴量の閾値は異なった値になる。そして、注目領域の種類が変わった場合には、この特徴量の閾値を変えるだけで済み、注目領域の検出後の処理（表示態様の設定処理等）については、本実施形態で説明した処理と同様の処理で実現するこができる
【０１１６】
これにより、特殊光画像を取得し、取得した特殊光画像の画素の特徴量に基づいて注目領域を検出するとともに、検出した注目領域の消失判定に基づいて、消失した注目領域への誘導情報を生成、出力する画像処理装置を実現することができる。よって、例えば、図１４（Ａ）〜図１４（Ｃ）及び図１５に示すような出力を行うことができる画像処理装置が実現可能になる。例えば図１４（Ａ）、図１４（Ｂ）において注目領域（ここでは注目領域群）を検出し、図１４（Ｃ）において、注目領域が消失した。このときには、図１４（Ａ）、図１４（Ｂ）から、注目領域は画面に対して右方向に移動していたものと判断し、図１５のように、具体的には例えば右方向への矢印として誘導情報を表示する。これにより、例えば、何らかの理由によりドクターが注目領域を見過ごしてしまった場合や、高速で撮像部を移動させていたために注目領域が一瞬しか写らなかった場合などに、消失した注目領域への誘導情報を出力することができるため、注目領域の再発見が容易になり、診断や治療を円滑に行うことが可能になる。
【０１１７】
また、図１１に示した誘導情報生成部３４２２は、表示対象範囲（表示部に表示される領域）に対応する生体内の場所から、消失注目領域に対応する生体内の場所への方向を示す方向情報及び距離に応じた距離情報を誘導情報として生成する。
【０１１８】
ここで、生体内の場所とは、観察対象の体内であり、具体的に例えば対象が人であれば人体の内部の場所を表す。下部消化器系の内視鏡装置においては、大腸等が生体内の場所として考えられる。本実施形態における「表示対象範囲」および「注目領域」はともに画像情報を表すものであり、画像情報間において、方向や距離といったものは考えづらい。従ってここでは、誘導情報である方向情報や距離情報は、生体内の場所の相対関係を表す情報であると定義している。
【０１１９】
これにより、誘導情報として具体的に方向情報や距離情報を用いることが可能になる。方向情報としては上述した図１５のように、消失注目領域があると考えられる方向を表す矢印等を表示することが考えられる。また、距離情報については図１４（Ａ）と図１４（Ｂ）とから求めることが可能である。例えば、画像上における注目領域の移動距離が大きければ、次のタイミングではより遠くに移動していると考えられる。このとき、等速運動等を仮定して、具体的に数値を提示してもよいし、閾値処理を行い例えば３段階（遠・中・近）等で表示してもかまわない。
【０１２０】
また、特殊光画像取得部３３０は、第１〜第３の特殊光画像を取得し、注目領域検出部３４１は、それぞれの特殊光画像において注目領域を検出し、消失有無判定部は、それぞれの特殊光画像における注目領域の検出結果に基づいて注目領域の消失判定を行う。そして、誘導情報生成部３４２２は、第３の特殊光画像において注目領域が消失し、かつ、第１、第２の特殊光画像において注目領域が消失していないと判定された場合には、第１の画像上位置と第２の画像上位置に基づいて誘導情報を生成する。
【０１２１】
ここで第１の画像上位置とは第１の特殊光画像における注目領域の画像上の位置であり、第２の画像上位置とは第２の特殊光画像における注目領域の画像上の位置である。なお、具体的には例えば、第１の画像上位置と第２の画像上位置の差分を用いてもよい。また、具体的には例えば、第１の画像上位置とは第１の特殊光画像における注目領域の重心位置であり、第２の画像上位置とは第２の特殊光画像における注目領域の重心位置であってもよい。
【０１２２】
これにより、ある特殊光画像において注目領域が消失し、注目領域が消失した特殊光画像とは別の２つの特殊光画像において、注目領域が消失していない場合には、画像上位置に基づいて、誘導情報を生成することができる。これは、図１４（Ａ）〜図１４（Ｃ）を例に取ると考えやすい。ただし、ここでは、タイミングを特に考慮していないため、時系列的に並んでいる図１４（Ａ）〜図１４（Ｃ）とは厳密には異なる話である。
【０１２３】
図１４（Ｃ）において、注目領域が消失したため、図１４（Ａ）の注目領域の画像上位置と図１４（Ｂ）の注目領域の画像上位置から誘導情報を生成する。ここで画像上位置とは、図１４（Ａ）及び図１４（Ｂ）において、楕円の点線で表された領域内の任意の点であってもよいし、正方形の点線で表された領域内の任意の点であってもよい（注目領域の重心位置を含む）。また、点ではなく、領域を表すものであってもよい。
【０１２４】
また、誘導情報生成部３４２２は、第１の画像上位置と第２の画像上位置の差分にもとづいて、注目領域間の動きベクトルを算出し、算出した動きベクトルに基づいて誘導情報を生成する。
【０１２５】
これにより、画像上位置の差分に基づく処理として、動きベクトルによる処理を行うことが可能になる。動きベクトルは方向及び大きさ（距離）を表すため、方向情報・距離情報としての誘導情報を、よりわかりやすい形で取得することができる。
【０１２６】
また、図１に示す出力制御部３６０は、動きベクトルに基づいて、誘導情報を出力する時間を制御してもよい。具体的には、動きベクトルの大きさが大きい場合には誘導情報を出力する時間を短くし、動きベクトルの大きさが小さい場合には誘導情報を出力する時間を長くする。ここで、動きベクトルの大きさが大きいか小さいかの判断は、所与の閾値との比較により行う。
【０１２７】
これにより、動きベクトルの大きさを考慮して、誘導情報の出力時間を変更することが可能になる。具体的には、動きベクトルの大きさが大きいときには注目領域は画像上で高速に移動している（内視鏡装置の撮像部が高速で移動もしくは回転等している）状態であり、消失した注目領域はかなり遠くまで移動してしまっていると考えられる。そのような状態ではなかなか消失注目領域を再発見できず、誘導情報を長時間表示しても、ユーザーを混乱させてしまうため、誘導情報の出力時間は短く設定する。逆に、動きベクトルの大きさが小さい場合には、消失注目領域はすぐ近くにあり、再発見が容易であることから長時間誘導情報を出力しても支障がない。
【０１２８】
また、図１２に示す誘導情報生成部３４２２は、動きベクトルの各座標成分に基づいて、動きベクトルを第１〜第Ｎの方向情報のいずれかに対応づけて、対応づけられた方向情報を誘導情報として出力する。
【０１２９】
これにより、方向情報として具体的にＮ種類の方向を用いることが可能になる。動きベクトルの座標成分に基づいて方向を考えたとき、そのままでは連続的に無限の方向が考えられてしまい、出力（例えば矢印の表示）に当たって非常に煩雑である。そこで、上述した式（１６）のようにＮ＝４に限定することで、上下左右の４方向のみを考慮すれば欲なり、処理を容易にできる。なお代表的なＮとして４や８が考えられるが、これに限定されるものではない。
【０１３０】
また、特殊光画像取得部３３０は、複数のタイミングのうちの各タイミングで、複数の特殊光画像のうちの各特殊光画像を取得する。そして注目領域検出部３４１は、各特殊光画像において、注目領域を検出し、消失有無判定部は、各特殊光画像において、消失の有無を判定する。そして、消失有無判定部により第ｍ（ｍは３以上の整数）のタイミングで注目領域が消失し、かつ、第ｍのタイミングより過去のタイミングにおいて、少なくとも２つ以上の特殊光画像で注目領域が検出された場合には誘導情報を生成する。
【０１３１】
また、第ｍのタイミングより過去のタイミングにおいて、注目領域が検出された特殊光画像が１つ以下の場合には誘導情報の生成を行わない。
【０１３２】
これにより、誘導情報の生成が可能な場合には誘導情報の生成を行い、誘導情報の生成が不可能な場合には誘導情報の生成を適切にスキップすることが可能になる。具体的には再度図１４（Ａ）〜図１４（Ｃ）を示して説明する。図１４（Ｃ）に示すように、あるタイミング（ここではｍ＝３）において、注目領域が消失した場合、ｍより過去のタイミング（ここではタイミング１及びタイミング２）において少なくとも２つ以上の特殊光画像で注目領域が検出されていれば、前述したように例えば差分や動きベクトル等から、第ｍのタイミングにおける注目領域の位置を推定することができる。そのため、誘導情報を生成しても問題はない。
【０１３３】
それに対し、例えば第１のタイミングにおいて、注目領域が非検出であった場合を考える。このとき第３のタイミングにおける注目領域の位置の推定に用いることができるのは第２のタイミングにおける注目領域の情報である。しかし注目領域が１つ以下では差分や動きベクトル等を算出することができず、方向や距離の推定は行えない。このような場合には、そもそも誘導情報の生成をスキップすることで、不要な誘導情報の出力を回避でき、処理負担の軽減を図ることができる。
【０１３４】
また、出力制御部３６０は、消失有無判定部による判定結果に基づいて、誘導情報の出力態様を制御する。具体的には例えば、第Ｎ（Ｎは３以上の整数）のタイミングにおいて誘導情報の出力が開始され、かつ、第Ｎ〜第Ｎ＋Ｋ（Ｋは１以上の整数）のタイミングの間で、注目領域が消失し続けている場合には、第Ｎ〜第Ｎ＋Ｋのタイミングにおいて誘導情報を出力し続ける。ここでの誘導情報は第Ｎのタイミングで生成されたものである。
【０１３５】
これにより、一度出力された誘導情報は、所与の期間（上述のケースではＫ回のタイミングが経過する間）出力が継続されることになる。このような処理を行わないと、出力された誘導情報が１タイミング、例えば毎秒３０フレームだとすれば１／３０秒という、非常に短い時間しか出力されないことになる。それでは、消失注目領域の再発見等の本実施形態によるメリットが得られなくなってしまうため、上述のように誘導情報の出力を継続する。
【０１３６】
これは図１６の例でいうと、Ｓ１−１〜Ｓ１−Ｋの状態間の遷移に相当する。Ｓ０からＳ１−０への遷移が第Ｎのタイミングにおける注目領域の消失及び誘導情報の出力開始に相当し、それ以降は、注目領域が消失し続けている限り、Ｓ１−２、Ｓ１−３と遷移を続け、Ｓ１−Ｋへ遷移するまでの間、誘導情報の出力は継続される。
【０１３７】
また、出力制御部３６０は、第Ｎ＋１〜第Ｎ＋Ｋのタイミングにおいて、注目領域が検出された場合には、誘導情報の出力を停止してもよい。
【０１３８】
これにより、誘導情報を出力している場合（つまり直前のタイミングまで注目領域が消失していた場合）に注目領域が検出されると、誘導情報の出力を停止することが可能になる。よって、注目領域の消失後、同一の注目領域を再発見した場合等に、不要となった誘導情報の出力を停止することが可能になり、ユーザー（ドクター）の診断・治療を円滑にすることができる。
【０１３９】
なお、消失した注目領域とは別の注目領域が新たに検出されるケースも考えられる。そのため、本実施形態では、誘導情報の出力を停止することに限定されず、出力を継続してもよい。マッチング手法等により、検出された誘導情報が消失したものと同一であるか否かの判定が可能であれば、同一の場合は誘導情報の出力を停止し、同一でない場合は誘導情報の出力を継続してもよい。
【０１４０】
これは図１６の例でいうと、Ｓ１−１〜Ｓ１−ＫからＳ０への遷移に相当する。誘導情報の出力継続期間内であっても、注目領域が検出された場合には、誘導情報の出力を停止する。
【０１４１】
また、出力制御部３６０は、第Ｎ＋Ｋ＋１のタイミングにおいては、注目領域の消失及び非消失に関わらず、第Ｎのタイミングで生成された誘導情報の出力を停止する。
【０１４２】
これにより、誘導情報の出力継続期間終了後は、第Ｎのタイミングで生成された誘導情報の出力を停止することができる。Ｋ回のタイミング（例えばＫフレーム）の間に、消失注目領域は遠くへ移動してしまっていること等が考えられる。または、ユーザーには注目領域を追いかける意志がないとも考えられる。そのようなときに誘導情報の出力を継続しても、ユーザーにとって不利益となるため、誘導情報の出力は停止する。
【０１４３】
これは図１６の例でいうと、Ｓ１−ＫからＳ０、あるいはＳ１−ＫからＳ２への遷移に相当する。注目領域の消失・非消失にかかわらず、誘導情報は出力されない。
【０１４４】
また、出力制御部３６０は、誘導情報の出力継続時間に対応する残存出力時間情報を設定する残存出力時間設定部を含み、残存出力時間設定部は、残存出力時間情報を設定するための情報として、Ｋを設定する。
【０１４５】
これにより、第Ｎのタイミングで生成された誘導情報の出力継続時間Ｋを任意に設定することが可能になる。ここで残存出力時間情報とは、例えばカウンタのようなものを想定すればよい。誘導情報の出力開始時に例えばＫに設定され、１フレーム出力を継続するごとに１ずつデクリメントされる。そして所与の閾値以下になった場合には、誘導情報の出力を停止する。
【０１４６】
また、特殊光画像取得部３３０は、複数のタイミングのうちの各タイミングで、複数の特殊光画像のうちの各特殊光画像を取得する。そして注目領域検出部３４１は、各特殊光画像において、注目領域を検出し、消失有無判定部は、各特殊光画像において、消失の有無を判定する。そして、出力制御部３６０は、連続したタイミングにおいて注目領域が消失し続けている場合には、連続したタイミングにおいては、過去に生成された誘導情報の提示を継続する。
【０１４７】
これにより、注目領域が消失し続けている場合には、連続したタイミングにおいて誘導情報の出力を継続することができる。これは、連続したタイミングを第Ｎ〜第Ｎ＋Ｋのタイミングととらえれば、上述した制御と同様である。
【０１４８】
また、画像処理装置は、注目領域の注目度合いを示す注目度情報を算出する注目度算出部を含み、出力制御部３６０は、注目度情報に基づいて誘導情報の出力態様を制御する。具体的には、注目度情報に基づいて、より注目すべきであると判定された注目領域に関連する誘導情報を優先的に出力する。また注目度情報とは、例えば、特殊光画像の画素の特徴量及び信頼度の少なくとも一方を含む。
【０１４９】
これにより、注目領域に対して注目度情報を設定し、より注目すべき注目領域に対応する誘導情報を優先的に出力することが可能になる。注目度算出部とは、注目度情報が信頼度である場合には図８に示した信頼度算出部３４１５に相当する。
【０１５０】
図１７を用いて具体例を説明する。タイミング３において注目領域が消失したことで誘導情報の生成が開始される。その際、タイミング２における注目度情報（ここでは信頼度）が最も高い注目領域を抽出する（ここでは注目領域群４）。そして、信頼度や特徴量の平均値の類似度から抽出した注目領域に対応する、タイミング１における注目領域を選択する（ここでは注目領域群３）。そして、注目領域群３と注目領域群４から、例えば動きベクトル等を求めて、誘導情報を生成する。
【０１５１】
このようにすることで、複数の注目領域が同時に検出されたとしても、出力される誘導情報は１つに限定される。そのため、複数の誘導情報が同時に出力される（例えば右と左の矢印が同時に出る）ケースを回避することができる。
【０１５２】
また、出力制御部３６０は、出力する誘導情報の上限数を設定する上限数設定部を含んでもよい。そして出力制御部３６０は、生成された誘導情報と設定された上限数との比較結果に基づいて、誘導情報の出力態様を制御してもよい。具体的には例えば、生成された誘導情報の数が上限数を超えた場合には誘導情報の出力をスキップする。
【０１５３】
これにより、多数の誘導情報が同時に出力されるケースを回避することが可能になる。誘導情報が多数同時に生成される場合とは、例えば、観察領域が多数の注目領域（病変部）で覆われているケース等が考えられ、このような場合、１つ１つの注目領域に注目するメリットは特にない。そのため、過度な誘導情報の出力を抑止することでドクターの診断や治療をスムーズにする。
【０１５４】
また、図１に示すように、画像処理装置は、通常光画像を取得する通常光画像取得部３２０を含んでもよい。そして、出力制御部３６０は、誘導情報を通常光画像に対応づけて出力する。
【０１５５】
これにより、図１５に示すような出力形態を取ることが可能になる。特殊光画像は病変部の視認性を高める一方、暗く、独特の色味をしているため、全体に見づらい画像になってしまう。そのため、出力の形態としては、視認性の高い通常光画像に誘導情報を対応づけて出力することが考えられる。
【０１５６】
また、図１に示すように、画像処理装置は、出力制御部３６０により制御された出力態様に従って誘導情報を含む情報を出力する出力部を含む。
【０１５７】
ここで、出力部の一例として表示部と記載したが、画像の表示に限定されるものではない。警告音や音声、ＬＥＤ等の発光等の方法により出力を行ってもよい。
【０１５８】
また、注目領域とは病変部を示す領域である。
【０１５９】
これにより、注目領域として病変部を検出することが可能になる。具体的には後述するようにＮＢＩ、ＡＦＩ、ＩＲＩ等の手法を用いることで、手法ごとに異なる病変の視認性を高め、注目領域として検出する。
【０１６０】
また、特定の波長帯域とは、白色光の波長帯域よりも狭い帯域である。具体的には特殊光画像は生体内画像であり、特定の波長帯域とは、血液中のヘモグロビンに吸収される波長の波長帯域である。さらに具体的には、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍの波長帯域である。
【０１６１】
これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｒ，Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとはヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。
【０１６２】
また、本実施形態は、特殊光画像取得部３３０と、注目領域検出部３４１と、消失有無判定部と、誘導情報生成部３４２２と、出力制御部３６０としてコンピュータを機能させるプログラムに関係する。ここで、特殊光画像取得部３３０は特殊光画像を取得し、注目領域検出部３４１は、特殊光画像から注目領域を検出する。消失有無判定部は、注目領域の消失の有無を判定し、誘導情報生成部３４２２は、消失有無判定部の判定に基づいて誘導情報を生成する。そして、出力制御部３６０は、誘導情報を含む情報の出力制御を行う。
【０１６３】
これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うことが可能になる。
【０１６４】
２．第２の実施形態
本発明の第２の実施形態にかかる画像処理装置を含む内視鏡システムについて、図２１を参照して説明する。本実施形態に係る内視鏡システムは、光源部１００と、挿入部２００と、画像処理部３００と、出力部４００と、外部Ｉ／Ｆ部５００を含む。
【０１６５】
光源部１００は、白色光を発生する白色光源１１０と、光源からの出射光をライトガイドファイバ２１０に集光するための集光レンズ１２０と、白色光から所定の波長帯域の光を抽出する回転フィルタ１３０を含む。
【０１６６】
回転フィルタ１３０は、図２２に示されるように、透過率特性の異なる２種類のフィルタＦ１,Ｆ２から構成されている。これらフィルタＦ１、Ｆ２は例えば図２３に示されるように、それぞれ、フィルタＦ１が４００〜６５０ｎｍ、フィルタＦ２が６００〜６５０ｎｍの波長帯域の光を透過させる透過率特性を有している。フィルタＦ１の光は白色光である。フィルタＦ２により抽出された６００〜６５０ｎｍの波長帯域の光は、Ｃｙ５のような蛍光薬剤を励起して、６６０〜７５０ｎｍの波長帯域の蛍光を発生させる特性を有している。ここで、この蛍光薬剤は腫瘍等の病変部に特異的に集積する性質を持つとする。
【０１６７】
挿入部２００は、例えば、体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。挿入部２００は、光源部で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２２０と、観察対象から戻る反射光を集光する対物レンズ２３０と、集光された反射光と蛍光とを異なる光路に分岐するダイクロイックミラー２８０と、分岐された蛍光に含まれる励起光を遮断するバリアフィルタ２７０と、分岐された反射光を検出する第１撮像素子２５０と、バリアフィルタ２７０を通過した蛍光を検出する第２撮像素子２６０を含む。
【０１６８】
バリアフィルタ２７０は図２４に示すように、ダイクロイックミラー２８０により反射光から分岐された光のうち、蛍光に相当する波長帯域６６０〜７５０ｎｍの光のみを通過させ、その他の光を遮断する透過率特性を有している。また、第１撮像素子２５０は例えば図２に示すようなＲ，Ｇ，Ｂの分光特性をベイヤ型のカラー撮像素子であり、第２撮像素子２６０は、例えば波長帯域６６０〜７５０ｎｍにおいて比較的高い感度特性を有するモノクロ撮像素子である。
【０１６９】
画像処理部３００はＡ／Ｄ変換部３１０と、通常光画像取得部３２０と、特殊光画像取得部３３０と、出力画像生成部３４０と、制御部３５０を含む。制御部３５０は通常光画像取得部３２０、特殊光画像取得部３３０、出力画像生成部３４０に双方向に接続されていて、これらを制御するようになっている。
【０１７０】
さらに、制御部３５０は前述の回転フィルタ１３０とも双方向に接続されており、回転フィルタ１３０は制御部３５０からの信号に応じてモータを回転駆動することにより、フィルタＦ１とＦ２を順次切り替えて、照明光を観察対象である体腔内組織に順次照射する。また、制御部３５０は、光路中に配置されているフィルタＦ１,Ｆ２の情報をトリガ信号として、通常光画像取得部３２０、特殊光画像取得部３３０、出力画像生成部３４０に出力するようになっている。
【０１７１】
外部Ｉ／Ｆ部５００は、この内視鏡システムに対するユーザーからの入力等を行うためのインターフェースである。
【０１７２】
Ａ／Ｄ変換部３１０は、第１撮像素子２５０及び第２撮像素子２６０から出力されるアナログ信号をデジタル信号に変換して出力する。
【０１７３】
通常光画像取得部３２０はＡ／Ｄ変換部３１０から出力されるデジタル信号から通常光画像を取得する。特殊光画像取得部３３０はＡ／Ｄ変換部３１０から出力されるデジタル信号から特殊光画像を取得する。
【０１７４】
通常光画像取得部３２０で取得された通常光画像と、特殊光画像取得部３３０で取得された特殊光画像は出力画像生成部３４０に出力される。出力画像生成部３４０はこれら２枚の画像から１枚の出力画像を生成して画像出力部に出力する。
【０１７５】
通常光画像取得部３２０は、前述の図５に示すように、通常光画像生成部３２１と通常光画像記憶部３２２を含む。通常光画像生成部３２１は制御部３５０から送られてくるトリガ信号により、フィルタＦ１が光路中に位置する期間を識別し、フィルタＦ１が光路中に位置する期間内に第１撮像素子から送られてくるアナログ信号から変換されたデジタル信号に対して画像処理を行い、通常光画像を生成する。具体的には、既存の補間処理やホワイトバランス、色変換、階調変換等の処理を行い、通常光画像を生成して出力する。通常光画像記憶部３２２は、通常光画像生成部３２１から出力された通常光画像を記憶する。
【０１７６】
特殊光画像取得部３３０は、前述の図６に示すように、特殊光画像生成部３３１と特殊光画像記憶部３３２を含む。特殊光画像生成部３３１は制御部３５０から送られてくるトリガ信号により、フィルタＦ２が光路中に位置する期間を識別し、フィルタＦ２が光路中に位置する期間内に第２撮像素子から送られてくるアナログ信号から変換されたデジタル信号に対して画像処理を行い、特殊光画像を生成する。本実施形態では特殊光画像はモノクロの蛍光画像となる。具体的には、薬剤蛍光が集積した病変部から発生する蛍光を取得した画像信号に対して、例えばゲイン調整や階調変換等の処理を行い、モノクロの特殊光画像を生成して出力する。特殊光画像記憶部３３２は、特殊光画像生成部３３１から出力された特殊光画像を記憶する。
【０１７７】
図２５は光路中に位置するフィルタの種類と、通常光画像記憶部３２２及び特殊光画像記憶部３３２で記憶される画像を示した図である。まずタイミング１で光路中にフィルタＦ１が挿入される。この時、照射される照明光は白色光であり、通常光画像記憶部３２２には通常光画像がカラー画像として記憶され、特殊光画像記憶部３３２には画像が記憶されない。次にタイミング２で光路中にフィルタＦ２が挿入される。この時、照射される照明光は励起光であり、特殊光画像記憶部３３２には薬剤蛍光が集積した病変部から発生する蛍光がモノクロ画像として記憶され、通常光画像記憶部３２２には画像が記憶されない。通常光画像記憶部３２２と特殊光画像記憶部３３２はそれぞれ複数枚の画像を記憶できるようになっている。
【０１７８】
出力画像生成部３４０の構成については、第１の実施形態と同様である。なお、本実施の形態における特殊光画像は前述のようにモノクロの蛍光画像になるため、注目領域検出部３４１で使用する特徴量としては、例えば蛍光画像の輝度値を使用すればよい。
【０１７９】
本実施の形態においては、２種類の照明光を使用しているが、３種類以上の照明を使用しても問題は無く、例えば図２６に示すような回転フィルタを使用してもよい。ここでフィルタＦ１は白色光、フィルタＦ２はＣｙ５のような蛍光薬剤に対する第１励起光、フィルタＦ３はさらに異なる蛍光薬剤に対する第２励起光をそれぞれ透過するフィルタである。この場合、例えば第１励起光照明時に第２撮像素子で取得される蛍光画像と第２励起光照明時に第２撮像素子で取得される蛍光画像の２種類の蛍光画像から疑似カラー処理を行い、特殊光画像を生成することが出来る。この時、注目領域検出部３４１で使用する特徴量としては、例えば第１の実施形態及び第２の実施形態と同様に色相Ｈの値を使用してもよいし、それ以外の輝度・色情報を使用してもよい。なお、この場合にはバリアフィルタを、第１励起光と第２励起光遮断しつつそれぞれの励起光に対する蛍光を透過するような特性に変更する必要がある。
【０１８０】
また、本実施の形態では蛍光薬剤を使用したが、例えば従来、ＡＦＩ(Auto Fluorescence Imaging)として知られている技術のように、生体中のコラーゲンから発生する自家蛍光を観察するような構成にしてもよい。この場合は励起光として３９０〜４７０ｎｍの波長帯域の光を使用し、バリアフィルタを４９０〜６２５ｎｍの波長帯域の光を透過するような特性に変更すればよい。さらにこれに加えて、血液中のヘモグロビンに吸収される５４０〜５６０ｎｍの波長帯域の光を照明光として使用し、その反射光画像と前述の自家蛍光画像から疑似カラー画像を生成し、特殊光画像として使用してもよい。
【０１８１】
さらに、例えば従来、ＩＲＩ(Infra Red Imaging)として知られている技術のように、ＩＣＧを静脈注射した上で２つの赤外光（７９０〜８２０ｎｍ及び９０５〜９７０ｎｍの波長帯域の光）を照明光として使用し、それらの反射光画像から疑似カラー画像を生成し、特殊光画像として使用してもよい。
【０１８２】
また、本実施の形態では、画像処理部３００を構成する各部をハードウェアで構成することとしたが、第１の実施形態と同様に、予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【０１８３】
以上の本実施形態では、特殊光画像は生体内を写した生体内画像であってもよい。そして生体内画像に含まれる特定の波長帯域とは、蛍光物質が発する蛍光の波長帯域であってもよい。具体的には４９０ｎｍ〜６２５ｎｍの波長帯域である。
【０１８４】
これにより、ＡＦＩと呼ばれる蛍光観察が可能となる。励起光（３９０ｎｍ〜４７０ｎｍ）を照射することで、コラーゲンなどの蛍光物質からの自家蛍光を観察することができる。このような観察では病変を正常粘膜とは異なった色調で強調表示することができ、病変部の見落としを抑止すること等が可能になる。なお４９０ｎｍ〜６２５ｎｍという数字は、前述の励起光を照射した際、コラーゲンなどの蛍光物質が発する自家蛍光の波長帯域を示したものである。ただし、この場合の波長帯域はこれに限定されず、例えば蛍光物質が発する蛍光の波長帯域に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。また、ヘモグロビンに吸収される波長帯域（５４０ｎｍ〜５６０ｎｍ）を同時に照射し、擬似カラー画像を生成してもよい。
【０１８５】
また、特殊光画像は生体内を写した生体内画像であってもよい。そして生体内画像に含まれる特定の波長帯域とは、赤外光の波長帯域であってもよい。具体的には７９０ｎｍ〜８２０ｎｍまたは９０５ｎｍ〜９７０ｎｍの波長帯域である。
【０１８６】
これにより、ＩＲＩと呼ばれる赤外光観察が可能となる。赤外光が吸収されやすい赤外指標薬剤であるＩＣＧ（インドシアニングリーン）を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお７９０ｎｍ〜８２０ｎｍという数字は赤外指標薬剤の吸収がもっとも強いという特性から、９０５ｎｍ〜９７０ｎｍという数字は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。ただし、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。
【０１８７】
以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１８８】
１００ 光源部、１１０ 白色光源、１２０ 集光レンズ、１３０ 回転フィルタ、
２００ 挿入部、２１０ ライトガイドファイバ、２２０ 照明レンズ、
２３０ 対物レンズ、２４０ ハーフミラー、２５０ 第１撮像素子、
２６０ 第２撮像素子、２７０ バリアフィルタ、２８０ ダイクロイックミラー、
３００ 画像処理部、３１０ Ａ／Ｄ変換部、３２０ 通常光画像取得部、
３２１ 通常光画像生成部、３２２ 通常光画像記憶部、３３０ 特殊光画像取得部、
３３１ 特殊光画像生成部、３３２ 特殊光画像記憶部、３４０ 出力画像生成部、
３４１ 注目領域検出部、３４２ 表示態様決定部、３５０ 制御部、
３６０ 出力制御部、４００ 出力部、５００ 外部Ｉ／Ｆ部、
３４１１ 局所領域設定部、３４１２ 特徴量算出部、３４１４ 注目候補領域設定部、
３４１５ 信頼度算出部、３４１６ 注目領域設定部、３４２１ 加工部、
３４２２ 誘導情報生成部、３４２３ 記憶部
【特許請求の範囲】
【請求項１】
特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部と、
前記特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、
前記注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、前記注目領域の消失の有無を判定する消失有無判定部と、
消失したと判定された前記注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、
生成された前記誘導情報を含む情報の出力制御を行う出力制御部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記誘導情報生成部は、
前記表示対象範囲に対応する生体内の場所から、前記消失注目領域に対応する生体内の場所への方向を示す方向情報を、前記誘導情報として生成することを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記誘導情報生成部は、
前記表示対象範囲に対応する生体内の場所から、前記消失注目領域に対応する生体内の場所への距離に応じた距離情報を、前記誘導情報として生成することを特徴とする画像処理装置。
【請求項４】
請求項１において、
前記特殊光画像取得部は、
第１の特殊光画像、第２の特殊光画像及び第３の特殊光画像を取得し、
前記注目領域検出部は、
取得された前記第１の特殊光画像、前記第２の特殊光画像及び前記第３の特殊光画像のそれぞれにおいて、前記注目領域を検出し、
前記消失有無判定部は、
前記第１の特殊光画像、前記第２の特殊光画像及び前記第３の特殊光画像のそれぞれにおける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記誘導情報生成部は、
前記消失有無判定部により、前記第３の特殊光画像において、前記注目領域が前記表示対象範囲から消失したと判定され、かつ、前記第１の特殊光画像及び前記第２の特殊光画像において、前記注目領域が消失していないと判定された場合には、
前記第１の特殊光画像における前記注目領域の画像上の位置である第１の画像上位置と、前記第２の特殊光画像における前記注目領域の画像上の位置である第２の画像上位置に基づいて、前記誘導情報を生成することを特徴とする画像処理装置。
【請求項５】
請求項４において、
前記誘導情報生成部は、
前記第１の画像上位置と前記第２の画像上位置の差分に基づいて、前記誘導情報を生成することを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記誘導情報生成部は、
前記第１の特殊光画像における前記注目領域の画像上の重心位置を前記第１の画像上位置として算出するとともに、前記第２の特殊光画像における前記注目領域の画像上の重心位置を前記第２の画像上位置として算出し、算出した前記第１の画像上位置と前記第２の画像上位置の差分に基づいて、前記誘導情報を生成することを特徴とする画像処理装置。
【請求項７】
請求項５において、
前記誘導情報生成部は、
前記第１の画像上位置と前記第２の画像上位置の差分に基づいて、前記注目領域間の動きベクトルを算出し、算出した動きベクトルに基づいて前記誘導情報を生成することを特徴とする画像処理装置。
【請求項８】
請求項７において、
前記出力制御部は、
算出された前記動きベクトルに基づいて、前記誘導情報を出力する時間を制御することを特徴とする画像処理装置。
【請求項９】
請求項８において、
前記出力制御部は、
算出された前記動きベクトルの大きさが大きい場合には、前記誘導情報を出力する時間を短くする制御を行い、
前記動きベクトルの大きさが小さい場合には、前記誘導情報を出力する時間を長くする制御を行うことを特徴とする画像処理装置。
【請求項１０】
請求項７において、
前記誘導情報生成部は、
前記動きベクトルの各座標成分に基づいて、前記動きベクトルを第１〜第Ｎ（Ｎは２以上の整数）の方向情報のうちのいずれかに対応付ける消失方向決定部を含み、
前記誘導情報生成部は、
前記動きベクトルに対応づけられた方向情報を前記誘導情報として生成することを特徴とする画像処理装置。
【請求項１１】
請求項１において、
前記特殊光画像取得部は、
複数のタイミングの各タイミングにおいて、複数の特殊光画像の各特殊光画像を取得し、
前記注目領域検出部は、
前記複数の特殊光画像の各特殊光画像において、前記注目領域を検出し、
前記消失有無判定部は、
前記複数の特殊光画像の各特殊光画像おける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記誘導情報生成部は、
前記消失有無判定部により第ｍ（ｍは３以上の整数）のタイミングで取得された特殊光画像内で前記注目領域が消失したと判定され、かつ、
前記第ｍのタイミングよりも過去のタイミングで取得された少なくとも２つの特殊光画像において前記注目領域が消失していないと判定された場合に、前記誘導情報を生成することを特徴とする画像処理装置。
【請求項１２】
請求項１において、
前記特殊光画像取得部は、
複数のタイミングの各タイミングにおいて、複数の特殊光画像の各特殊光画像を取得し、
前記注目領域検出部は、
前記複数の特殊光画像の各特殊光画像において、前記注目領域を検出し、
前記消失有無判定部は、
前記複数の特殊光画像の各特殊光画像おける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記誘導情報生成部は、
前記消失有無判定部により第ｍ（ｍは３以上の整数）のタイミングで取得された特殊光画像内で前記注目領域が消失したと判定され、かつ、
前記第ｍのタイミングよりも過去のタイミングで取得された複数の特殊光画像のうち、前記注目領域が消失していないと判定された特殊光画像が１つ以下である場合には、前記誘導情報の生成をスキップすることを特徴とする画像処理装置。
【請求項１３】
請求項１において、
前記出力制御部は、
前記消失有無判定部による判定結果に基づいて、前記誘導情報の出力態様を制御することを特徴とする画像処理装置。
【請求項１４】
請求項１３において、
前記特殊光画像取得部は、
複数のタイミングの各タイミングにおいて、複数の特殊光画像の各特殊光画像を取得し、
前記注目領域検出部は、
前記複数の特殊光画像の各特殊光画像において、前記注目領域を検出し、
前記消失有無判定部は、
前記複数の特殊光画像の各特殊光画像おける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記出力制御部は、
第Ｎ（Ｎは３以上の整数）のタイミングにおいて誘導情報の出力が開始され、かつ、第Ｎ〜第Ｎ＋Ｋ（Ｋは１以上の整数）のタイミングの間で、前記注目領域が消失し続けていると判定された場合には、前記第Ｎ〜第Ｎ＋Ｋのタイミングにおいては、前記第Ｎのタイミングで生成された前記誘導情報の出力を継続することを特徴とする画像処理装置。
【請求項１５】
請求項１４において、
前記出力制御部は、
第Ｎ＋１〜第Ｎ＋Ｋのタイミングにおいて、前記注目領域が検出された場合には、前記誘導情報の出力を停止することを特徴とする画像処理装置。
【請求項１６】
請求項１４において、
前記出力制御部は、
第Ｎ＋Ｋ＋１のタイミングにおいては、前記注目領域の消失及び非消失にかかわらず、前記第Ｎのタイミングで生成された前記誘導情報の出力を停止することを特徴とする画像処理装置。
【請求項１７】
請求項１４において、
前記出力制御部は、
第Ｎ＋１〜第Ｎ＋Ｋのタイミングにおいて、前記第Ｎのタイミングにおいて生成された前記誘導情報を継続して出力する時間に対応する、残存出力時間情報を設定する残存出力時間設定部を含み、
前記残存出力時間設定部は、
前記残存出力時間情報を設定するための情報として、前記Ｋを設定することを特徴とする画像処理装置。
【請求項１８】
請求項１３において、
前記特殊光画像取得部は、
複数のタイミングの各タイミングにおいて、複数の特殊光画像の各特殊光画像を取得し、
前記注目領域検出部は、
前記複数の特殊光画像の各特殊光画像において、前記注目領域を検出し、
前記消失有無判定部は、
前記複数の特殊光画像の各特殊光画像おける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記出力制御部は、
前記消失有無判定部により、連続したタイミングにおいて前記注目領域が消失し続けていると判定された場合には、前記連続したタイミング内においては、過去に生成された誘導情報の提示を継続する制御を行うことを特徴とする画像処理装置。
【請求項１９】
請求項１において、
前記特殊光画像において検出された前記注目領域の、注目度合いを示す注目度情報を算出する注目度算出部を含み、
前記出力制御部は、
算出された前記注目度情報に基づいて、前記誘導情報の出力態様を制御することを特徴とする画像処理装置。
【請求項２０】
請求項１９において、
前記出力制御部は、
算出された前記注目度情報に基づいて、より注目すべきであると判定された前記注目領域に関連する誘導情報を優先的に出力する制御を行うことを特徴とする画像処理装置。
【請求項２１】
請求項１９において、
前記注目度情報は、
前記特殊光画像の画素の特徴量及び信頼度の少なくとも一方を含むことを特徴とする画像処理装置。
【請求項２２】
請求項１において、
前記出力制御部は、
出力すべき前記誘導情報の上限数を設定する上限数設定部を含み、
前記出力制御部は、
生成された前記誘導情報の数と、設定された前記上限数との比較結果に基づいて、前記誘導情報の出力態様を制御することを特徴とする画像処理装置。
【請求項２３】
請求項２２において、
前記出力制御部は、
前記生成された誘導情報の数が設定された前記上限数を超えた場合、生成された前記誘導情報の出力をスキップする制御を行うことを特徴とする画像処理装置。
【請求項２４】
請求項１において、
白色光の波長帯域における情報を有する被写体像を含む画像を通常光画像として取得する通常光画像取得部を含むことを特徴とする画像処理装置。
【請求項２５】
請求項２４において、
前記出力制御部は、
生成された前記誘導情報を取得された前記通常光画像に対応づけて出力するよう制御することを特徴とする画像処理装置。
【請求項２６】
請求項１において、
前記出力制御部により制御された出力態様に従って、前記生成された誘導情報を出力する出力部を含むことを特徴とする画像処理装置。
【請求項２７】
請求項１において、
前記注目領域は、
病変部を示す領域であることを特徴とする画像処理装置。
【請求項２８】
請求項１において、
前記特定の波長帯域は、
白色光の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
【請求項２９】
請求項２８において、
前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
【請求項３０】
請求項２９において、
前記波長帯域は、３９０ナノメータ〜４４５ナノメータ、または５３０ナノメータ〜５５０ナノメータであることを特徴とする画像処理装置。
【請求項３１】
請求項１において、
前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であることを特徴とする画像処理装置。
【請求項３２】
請求項３１において、
前記特定の波長帯域は、４９０ナノメータ〜６２５ナノメータの波長帯域であることを特徴とする画像処理装置。
【請求項３３】
請求項１において、
前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、赤外光の波長帯域であることを特徴とする画像処理装置。
【請求項３４】
請求項３３において、
前記波長帯域は、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であることを特徴とする画像処理装置。
【請求項３５】
特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部と、
前記特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、
前記注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、前記注目領域の消失の有無を判定する消失有無判定部と、
消失したと判定された前記注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、
生成された前記誘導情報を含む情報の出力制御を行う出力制御部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項１】
特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部と、
前記特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、
前記注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、前記注目領域の消失の有無を判定する消失有無判定部と、
消失したと判定された前記注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、
生成された前記誘導情報を含む情報の出力制御を行う出力制御部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記誘導情報生成部は、
前記表示対象範囲に対応する生体内の場所から、前記消失注目領域に対応する生体内の場所への方向を示す方向情報を、前記誘導情報として生成することを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記誘導情報生成部は、
前記表示対象範囲に対応する生体内の場所から、前記消失注目領域に対応する生体内の場所への距離に応じた距離情報を、前記誘導情報として生成することを特徴とする画像処理装置。
【請求項４】
請求項１において、
前記特殊光画像取得部は、
第１の特殊光画像、第２の特殊光画像及び第３の特殊光画像を取得し、
前記注目領域検出部は、
取得された前記第１の特殊光画像、前記第２の特殊光画像及び前記第３の特殊光画像のそれぞれにおいて、前記注目領域を検出し、
前記消失有無判定部は、
前記第１の特殊光画像、前記第２の特殊光画像及び前記第３の特殊光画像のそれぞれにおける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記誘導情報生成部は、
前記消失有無判定部により、前記第３の特殊光画像において、前記注目領域が前記表示対象範囲から消失したと判定され、かつ、前記第１の特殊光画像及び前記第２の特殊光画像において、前記注目領域が消失していないと判定された場合には、
前記第１の特殊光画像における前記注目領域の画像上の位置である第１の画像上位置と、前記第２の特殊光画像における前記注目領域の画像上の位置である第２の画像上位置に基づいて、前記誘導情報を生成することを特徴とする画像処理装置。
【請求項５】
請求項４において、
前記誘導情報生成部は、
前記第１の画像上位置と前記第２の画像上位置の差分に基づいて、前記誘導情報を生成することを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記誘導情報生成部は、
前記第１の特殊光画像における前記注目領域の画像上の重心位置を前記第１の画像上位置として算出するとともに、前記第２の特殊光画像における前記注目領域の画像上の重心位置を前記第２の画像上位置として算出し、算出した前記第１の画像上位置と前記第２の画像上位置の差分に基づいて、前記誘導情報を生成することを特徴とする画像処理装置。
【請求項７】
請求項５において、
前記誘導情報生成部は、
前記第１の画像上位置と前記第２の画像上位置の差分に基づいて、前記注目領域間の動きベクトルを算出し、算出した動きベクトルに基づいて前記誘導情報を生成することを特徴とする画像処理装置。
【請求項８】
請求項７において、
前記出力制御部は、
算出された前記動きベクトルに基づいて、前記誘導情報を出力する時間を制御することを特徴とする画像処理装置。
【請求項９】
請求項８において、
前記出力制御部は、
算出された前記動きベクトルの大きさが大きい場合には、前記誘導情報を出力する時間を短くする制御を行い、
前記動きベクトルの大きさが小さい場合には、前記誘導情報を出力する時間を長くする制御を行うことを特徴とする画像処理装置。
【請求項１０】
請求項７において、
前記誘導情報生成部は、
前記動きベクトルの各座標成分に基づいて、前記動きベクトルを第１〜第Ｎ（Ｎは２以上の整数）の方向情報のうちのいずれかに対応付ける消失方向決定部を含み、
前記誘導情報生成部は、
前記動きベクトルに対応づけられた方向情報を前記誘導情報として生成することを特徴とする画像処理装置。
【請求項１１】
請求項１において、
前記特殊光画像取得部は、
複数のタイミングの各タイミングにおいて、複数の特殊光画像の各特殊光画像を取得し、
前記注目領域検出部は、
前記複数の特殊光画像の各特殊光画像において、前記注目領域を検出し、
前記消失有無判定部は、
前記複数の特殊光画像の各特殊光画像おける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記誘導情報生成部は、
前記消失有無判定部により第ｍ（ｍは３以上の整数）のタイミングで取得された特殊光画像内で前記注目領域が消失したと判定され、かつ、
前記第ｍのタイミングよりも過去のタイミングで取得された少なくとも２つの特殊光画像において前記注目領域が消失していないと判定された場合に、前記誘導情報を生成することを特徴とする画像処理装置。
【請求項１２】
請求項１において、
前記特殊光画像取得部は、
複数のタイミングの各タイミングにおいて、複数の特殊光画像の各特殊光画像を取得し、
前記注目領域検出部は、
前記複数の特殊光画像の各特殊光画像において、前記注目領域を検出し、
前記消失有無判定部は、
前記複数の特殊光画像の各特殊光画像おける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記誘導情報生成部は、
前記消失有無判定部により第ｍ（ｍは３以上の整数）のタイミングで取得された特殊光画像内で前記注目領域が消失したと判定され、かつ、
前記第ｍのタイミングよりも過去のタイミングで取得された複数の特殊光画像のうち、前記注目領域が消失していないと判定された特殊光画像が１つ以下である場合には、前記誘導情報の生成をスキップすることを特徴とする画像処理装置。
【請求項１３】
請求項１において、
前記出力制御部は、
前記消失有無判定部による判定結果に基づいて、前記誘導情報の出力態様を制御することを特徴とする画像処理装置。
【請求項１４】
請求項１３において、
前記特殊光画像取得部は、
複数のタイミングの各タイミングにおいて、複数の特殊光画像の各特殊光画像を取得し、
前記注目領域検出部は、
前記複数の特殊光画像の各特殊光画像において、前記注目領域を検出し、
前記消失有無判定部は、
前記複数の特殊光画像の各特殊光画像おける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記出力制御部は、
第Ｎ（Ｎは３以上の整数）のタイミングにおいて誘導情報の出力が開始され、かつ、第Ｎ〜第Ｎ＋Ｋ（Ｋは１以上の整数）のタイミングの間で、前記注目領域が消失し続けていると判定された場合には、前記第Ｎ〜第Ｎ＋Ｋのタイミングにおいては、前記第Ｎのタイミングで生成された前記誘導情報の出力を継続することを特徴とする画像処理装置。
【請求項１５】
請求項１４において、
前記出力制御部は、
第Ｎ＋１〜第Ｎ＋Ｋのタイミングにおいて、前記注目領域が検出された場合には、前記誘導情報の出力を停止することを特徴とする画像処理装置。
【請求項１６】
請求項１４において、
前記出力制御部は、
第Ｎ＋Ｋ＋１のタイミングにおいては、前記注目領域の消失及び非消失にかかわらず、前記第Ｎのタイミングで生成された前記誘導情報の出力を停止することを特徴とする画像処理装置。
【請求項１７】
請求項１４において、
前記出力制御部は、
第Ｎ＋１〜第Ｎ＋Ｋのタイミングにおいて、前記第Ｎのタイミングにおいて生成された前記誘導情報を継続して出力する時間に対応する、残存出力時間情報を設定する残存出力時間設定部を含み、
前記残存出力時間設定部は、
前記残存出力時間情報を設定するための情報として、前記Ｋを設定することを特徴とする画像処理装置。
【請求項１８】
請求項１３において、
前記特殊光画像取得部は、
複数のタイミングの各タイミングにおいて、複数の特殊光画像の各特殊光画像を取得し、
前記注目領域検出部は、
前記複数の特殊光画像の各特殊光画像において、前記注目領域を検出し、
前記消失有無判定部は、
前記複数の特殊光画像の各特殊光画像おける前記注目領域の検出結果に基づいて、前記注目領域の消失の有無を判定し、
前記出力制御部は、
前記消失有無判定部により、連続したタイミングにおいて前記注目領域が消失し続けていると判定された場合には、前記連続したタイミング内においては、過去に生成された誘導情報の提示を継続する制御を行うことを特徴とする画像処理装置。
【請求項１９】
請求項１において、
前記特殊光画像において検出された前記注目領域の、注目度合いを示す注目度情報を算出する注目度算出部を含み、
前記出力制御部は、
算出された前記注目度情報に基づいて、前記誘導情報の出力態様を制御することを特徴とする画像処理装置。
【請求項２０】
請求項１９において、
前記出力制御部は、
算出された前記注目度情報に基づいて、より注目すべきであると判定された前記注目領域に関連する誘導情報を優先的に出力する制御を行うことを特徴とする画像処理装置。
【請求項２１】
請求項１９において、
前記注目度情報は、
前記特殊光画像の画素の特徴量及び信頼度の少なくとも一方を含むことを特徴とする画像処理装置。
【請求項２２】
請求項１において、
前記出力制御部は、
出力すべき前記誘導情報の上限数を設定する上限数設定部を含み、
前記出力制御部は、
生成された前記誘導情報の数と、設定された前記上限数との比較結果に基づいて、前記誘導情報の出力態様を制御することを特徴とする画像処理装置。
【請求項２３】
請求項２２において、
前記出力制御部は、
前記生成された誘導情報の数が設定された前記上限数を超えた場合、生成された前記誘導情報の出力をスキップする制御を行うことを特徴とする画像処理装置。
【請求項２４】
請求項１において、
白色光の波長帯域における情報を有する被写体像を含む画像を通常光画像として取得する通常光画像取得部を含むことを特徴とする画像処理装置。
【請求項２５】
請求項２４において、
前記出力制御部は、
生成された前記誘導情報を取得された前記通常光画像に対応づけて出力するよう制御することを特徴とする画像処理装置。
【請求項２６】
請求項１において、
前記出力制御部により制御された出力態様に従って、前記生成された誘導情報を出力する出力部を含むことを特徴とする画像処理装置。
【請求項２７】
請求項１において、
前記注目領域は、
病変部を示す領域であることを特徴とする画像処理装置。
【請求項２８】
請求項１において、
前記特定の波長帯域は、
白色光の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
【請求項２９】
請求項２８において、
前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
【請求項３０】
請求項２９において、
前記波長帯域は、３９０ナノメータ〜４４５ナノメータ、または５３０ナノメータ〜５５０ナノメータであることを特徴とする画像処理装置。
【請求項３１】
請求項１において、
前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、蛍光物質が発する蛍光の波長帯域であることを特徴とする画像処理装置。
【請求項３２】
請求項３１において、
前記特定の波長帯域は、４９０ナノメータ〜６２５ナノメータの波長帯域であることを特徴とする画像処理装置。
【請求項３３】
請求項１において、
前記特殊光画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、赤外光の波長帯域であることを特徴とする画像処理装置。
【請求項３４】
請求項３３において、
前記波長帯域は、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であることを特徴とする画像処理装置。
【請求項３５】
特定の波長帯域における情報を有する被写体像を含む画像を特殊光画像として取得する特殊光画像取得部と、
前記特殊光画像内の画素の特徴量に基づいて、注目すべき領域である注目領域を検出する注目領域検出部と、
前記注目領域の検出結果に基づいて、出力部に表示される領域である表示対象範囲からの、前記注目領域の消失の有無を判定する消失有無判定部と、
消失したと判定された前記注目領域である消失注目領域への誘導情報を、前記消失有無判定部による判定結果に基づいて生成する誘導情報生成部と、
生成された前記誘導情報を含む情報の出力制御を行う出力制御部として、
コンピュータを機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１１−２２４０３８（Ｐ２０１１−２２４０３８Ａ）
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願番号】特願２０１０−９４１４２（Ｐ２０１０−９４１４２）
【出願日】平成２２年４月１５日（２０１０．４．１５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願日】平成２２年４月１５日（２０１０．４．１５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]