説明

内視鏡装置

【課題】 経験の少ない医師でも、正確な癌の進達度診断が可能になる内視鏡装置を提供する。
【解決手段】 内視鏡で撮影した画像から血管(腺口)を抽出して、癌の進達度に応じた血管パターンとのパターンマッチングを行い、マッチングの結果に応じて、血管の強調表示、好適な撮影条件の示唆、診断を支援する表示等を行なうことにより、前記課題を解決する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表層微細血管等を用いる診断に好適な内視鏡装置に関し、詳しくは、経験の少ない医師でも、表層微細血管等から適正な癌の進達度診断を行なうことを可能にする内視鏡装置に関する。
【背景技術】
【0002】
近年、特定の狭い波長帯域光(狭帯域光)を観察光として生体の粘膜組織に照射し、生体組織の所望の深さの組織情報を得る、いわゆる特殊光観察を行うことができる内視鏡装置が活用されている。
この特殊光観察によれば、粘膜層あるいは粘膜下層に発生する新生血管の表層微細構造、病変部の強調等、通常の観察像では得られない生体情報を簡単に可視化できる。例えば、観察対象が癌病変部である場合、表層組織の観察に適した青色(B)の狭帯域光と中層組織及び表層組織の観察に適した緑色(G)の狭帯域光とを粘膜組織に照射することにより、組織表層の微細血管や微細構造の状態がより詳細に観察できるため、病変部をより正確に診断することができる。
【0003】
特殊光観察の機能を有する内視鏡装置として、特許文献1や特許文献2に示されるような内視鏡装置が知られている。
この内視鏡装置は、白色光を照射する光源と、白色光を赤(R)光にするRフィルタ、同緑(G)光にするGフィルタ、および、同青(B)光にするBフィルタを有する回転フィルタとを有する光源装置、ならびに、モノクロCCDセンサで画像を撮影する内視鏡を用いる内視鏡装置である。
【0004】
この内視鏡装置では、光源装置において、回転フィルタを回転して、各色のフィルタを、順次、光路に挿入することで、R光、G光およびB光を生成(時分割)し、各色の光を観察光として、順次、内視鏡に供給する。
他方、内視鏡では、光源装置から供給された観察光(R光、G光およびB光)を観察部位に照射し、いわゆる面順次によって、観察部位のR画像、G画像およびB画像を、順次、撮像素子で撮影する。
【0005】
ここで、この内視鏡装置では、回転フィルタとして、外周側の第1のフィルタ組と、内衆側の第2のフィルタ組とを有する、二重構造の物を用いている。
外周側の第1のフィルタ組は、各色の波長領域が互いに重なる(オーバーラップする)分光特性を有する、通常光観察用のフィルタとなっている。他方、内周側の第2のフィルタ組は、各色の波長領域が互いに離間する、離散的な狭帯域の分光特性を有する、特殊光観察用のフィルタとなっている。
従って、この内視鏡装置によれば、回転フィルタの回転軸を移動により、通常光観察を行なう場合には第1のフィルタ組を光路に作用させ、特殊光観察を行なう場合には、第2のフィルタ組を光路に作用させることで、通常光観察および特殊光観察の両方を行なうことができる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第3559755号公報
【特許文献2】特許第3607857号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
前述のように、狭帯域光を用いる特殊光観察によれば、組織表層の微細血管や微細構造の状態が、より詳細に観察できる。そのため、癌の病変部をより正確に診断することが可能になる。
ここで、癌の診断では、以降の治療を適正に行なうために、癌の進達度診断が行なわれる。近年の内視鏡による診断の進歩によって、癌の進達度は、内視鏡で観察した表層微細血管の走行状態等から、診断することが可能になっている。
【0008】
しかしながら、表層微細血管の走行状態は、複雑であり、かつ、癌の進達度や、食道や胃などの病変部の発生部位等に応じて、様々である。
そのため、内視鏡を用いる癌の診断に熟練した医師でないと、正確な癌の進達度診断は、難しいという問題が有る。
【0009】
本発明の目的は、前記従来技術の問題点を解決することにあり、経験が少ない医師でも、内視鏡で撮影した表層微細血管等の画像から、適正な癌の進達度診断を行なうことを可能にする内視鏡装置を提供することにある。
【課題を解決するための手段】
【0010】
前記目的を達成するために、本発明の内視鏡装置は、画像を光電的に撮影する撮像素子を有する内視鏡と、前記内視鏡が撮影を行なうための観察光を前記内視鏡に供給する光源装置と、前記内視鏡が撮影した画像を処理して表示用の画像とする画像処理手段と、前記画像処理手段が処理した画像を表示する表示装置とを有し、かつ、前記画像処理手段は、病気の進達度に応じた複数の血管パターンを有する血管パターン分類、および、病気の進達度に応じた複数の腺口パターンを有する腺口パターン分類の、少なくとも一方を記憶する記憶手段; 前記内視鏡が撮影した画像から、血管および腺口の少なくとも一方を抽出する抽出手段; 前記抽出手段が抽出した血管および腺口の少なくとも一方と、前記記憶手段が記憶する血管パターン分類の血管パターンおよび腺口パターン分類の腺口パターンの少なくとも一方とのパターンマッチングを行うマッチング手段; ならびに、前記マッチング手段からパターンマッチングの結果を受け取り、このパターンマッチングの結果に応じて、診断を支援するための支援操作を、前記内視鏡、光源装置、画像処理手段、および、表示装置の1以上に行なわせる診断支援手段; を有することを特徴とする内視鏡装置を提供する。
【0011】
このような本発明の内視鏡装置において、前記光源装置は、特殊光観察を行なうための狭帯域光を前記内視鏡に供給する機能を有するのが好ましい。
【0012】
また、前記支援操作が、撮影条件の調整、前記画像処理手段での画像処理の調整、および、前記表示装置の表示による診断支援の1以上であるのが好ましい。
この際において、前記撮影条件の調整が、前記内視鏡での撮影倍率の変更、前記内視鏡での絞りの変更、前記光源装置による観察光の光量調整、前記光源装置による観察光の分光分布の調整の、1以上であるのが好ましい。また、前記画像処理手段での画像処理の調整が、前記記憶手段が記憶する血管パターン分類の血管パターンと一致する血管の強調処理、および、腺口パターン分類の腺口パターンと一致する腺口の強調処理の、少なくとも一方であるのが好ましい。また、前記表示装置の表示による診断支援が、前記マッチング手段によるパターンマッチング結果の表示であるのが好ましく、また、前記表示装置の表示による診断支援が、前記内視鏡における撮影倍率の変更、前記内視鏡における絞りの変更、前記光源装置による観察光光量の変更、および、前記光源装置による観察光の分光分布の変更の、少なくとも1つを促す表示であるのも好ましい。
【0013】
また、前記血管に一致した血管パターンが対応する病気の進達度、および、前記腺口が一致した腺口パターンが対応する病気の進達度の少なくとも一方に応じて、前記支援操作の程度を変更するのが好ましい。
また、前記抽出手段による抽出の実行、および、前記マッチング手段によるパターンマッチングの実行を選択する選択手段を有するのが好ましい。
また、前記マッチング手段は、前記抽出手段が抽出した血管の量および腺口の量の少なくとも一方に応じて、前記パターンマッチングを行なうのは好ましい。
また、前記記憶手段は、少なくとも2カ所の診断部位の個々に対応して、前記血管パターン分類および腺口パターン分類の少なくとも一方を記憶するのが好ましい。
さらに、前記内視鏡による観察部位を指示する指示手段を有するのが好ましい。
【発明の効果】
【0014】
上記構成を有する本発明の内視鏡装置によれば、狭帯域光を観察光として用いる特殊光観察画像等から、血管等を抽出して、癌の進達度に応じた血管パターンとのパターンマッチングを行い、このパターンマッチングの結果に応じて、癌の進達度の出力、病変部と見られる血管の強調表示、より好適な観察が可能な画像への撮影条件の変更などの診断の支援を行なう。
そのため、本発明の内視鏡装置によれば、内視鏡による癌の診断の経験が少ない医師でも、内視鏡による観察画像から、適正な、癌の進達度診断を行なうことが可能になる。
【図面の簡単な説明】
【0015】
【図1】本発明の内視鏡装置の一例を概念的に示す斜視図である。
【図2】図1に示す内視鏡装置の構成を概念的に示すブロック図である。
【図3】図1に示す内視鏡装置の観察光の分光特性を概念的に示す図である。
【図4】図1に示す内視鏡装置の処理部を概念的に示すブロック図である。
【図5】図1に示す内視鏡装置が記憶するパターン分類の一例を概念的に示す図である。
【図6】図1に示す内視鏡装置が記憶するパターン分類の別の例を概念的に示す図である。
【図7】図1に示す内視鏡装置が記憶するパターン分類の別の例を概念的に示す図である。
【図8】図1に示す内視鏡装置が記憶するパターン分類の別の例を概念的に示す図である。
【発明を実施するための形態】
【0016】
以下、本発明の内視鏡装置について、添付の図面に示される好適実施例に基づいて詳細に説明する。
【0017】
図1に、本発明の内視鏡装置の一例の概略斜視図を示し、図2に、図1に示す内視鏡装置の構成を概念的に示す。
【0018】
図示例の内視鏡装置10は、一例として、内視鏡12と、内視鏡12が撮影した画像の処理等を行なうプロセッサ装置14と、内視鏡12での観察(撮影)を行なうための観察光(照明光)を供給する光源装置16とを有して構成される。
また、プロセッサ装置14には、内視鏡が撮影した画像を表示する表示装置18と、各種の指示等を入力するための入力装置20とが接続される。さらに、プロセッサ装置14には、内視鏡が撮影した画像をハードコピーとして出力するプリンタ(記録装置)が接続されてもよい。
【0019】
図2に示すように、内視鏡12は、CCDセンサ48等の撮像素子を用いて、画像を光電的に撮影する、電子内視鏡である。この内視鏡12は、通常の内視鏡と同様、挿入部26と、操作部28と、ユニバーサルコード30と、コネクタ32と、ビデオコネクタ36とを有する。
内視鏡12は、観察時(診断時)には、ビデオコネクタ36がプロセッサ装置14の接続部14aに、コネクタ32が光源装置16の接続部16aに、それぞれ接続される。なお、コネクタ32には、通常の内視鏡と同様、観察部位の吸引や送気を行なう吸引手段や送気手段、観察部位に水を噴射するための吸水手段等が接続される。
【0020】
また、通常の内視鏡と同様、内視鏡12の挿入部26は、基端側の長尺な軟性部38と、CCDセンサ48等が配置される先端のスコープ部(内視鏡先端部)42と、軟性部38とスコープ部42との間の湾曲部(アングル部)40とを有し、さらに、操作部28には、湾曲部40を湾曲させる、操作ノブ28a等が設けられる。
【0021】
図2に概念的に示すように、スコープ部42には、撮影レンズ46、CCDセンサ48、照明用レンズ50、光ファイバ52、および、蛍光体54や、レンズ等を保護するためカバーガラス(図示省略)等が配置される。
【0022】
なお、図示は省略するが、内視鏡12には、鉗子等の各種の処置具を挿通するための鉗子チャンネルおよび鉗子口、吸引、送気、送水等を行うための送気/送水チャンネルおよび送気/送水口等も設けられる。
鉗子チャンネルは、スコープ部42から、湾曲部40および軟性部38を通って操作部28に設けられる鉗子挿入口に連通する。また、送気/送水チャンネルは、スコープ部42から、湾曲部40、軟性部38、操作部28、およびユニバーサルコード30を通って、コネクタ32の吸引手段、送気手段、送水手段との接続部に連通する。
【0023】
光ファイバ52は、湾曲部40、軟性部38、操作部28、およびユニバーサルコード30を通って、光源装置16に接続されるコネクタ32まで挿通されている。
後述する光源装置16が照射する観察光(励起光)は、コネクタ32から光ファイバ52に入射して、光ファイバ52で伝搬されて、スコープ部42において、光ファイバ52の先端部から、蛍光体54に入射する。
【0024】
蛍光体54は、B光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体を含んで構成される。
後に詳述するが、光源装置16は、励起光として、中心波長445nmのB光(Bのレーザ光)を照射する。蛍光体54は、このB光によって励起されて、緑色〜黄色の励起発光光を発光する。この緑色〜黄色の励起発光光と、蛍光体24で吸収されずに透過したB光とが合わされて、疑似的な白色光が生成され、通常光観察の観察光となる。
この蛍光体54に関しては、後に光源装置16と共に詳述する。
【0025】
蛍光体54による励起発光光、および、蛍光体54を通過したB光(あるいはさらに、後述する狭帯域のBV光)は、照明用レンズ50に入射して、照明用レンズ50によって観察部位に照射される。
【0026】
また、観察光が照射された観察部位の画像(生体による反射光)は、撮影レンズ46によってCCDセンサ48の受光面に結像される。
CCDセンサ48は、R(赤)光、G(緑)光およびB(青)光の3原色に分光して同時に測光することにより、カラー画像を撮像(撮影)する、一般的な内視鏡やデジタルカメラ等に利用されている通常のカラーのCCDセンサである。従って、CCDセンサ48からは、R画像、G画像、およびB画像の信号が出力される。
【0027】
なお、本発明において、撮像素子はCCDセンサ48に限定はされず、CMOSイメージセンサ等、公知の各種の撮像素子が利用可能である。
【0028】
CCDセンサ48の出力信号は、信号線によって、スコープ部42から湾曲部40、軟性部38、操作部28、ユニバーサルコード30、およびコネクタ32を通ってビデオコネクタ36に送られる。
【0029】
図示例においては、ビデオコネクタ36に、AFE(Analog Front Eend)基板56が配置される。
AFE基板56には、一例として、相関二重サンプリング回路、アンプ(自動利得制御回路)、およびA/D変換器が配置される。CCDセンサ48の出力信号は、AFE基板56において、相観二重サンプリングによるノイズ除去、アンプによる増幅を行なわれ。さらに、A/D変換器によってアナログ信号からデジタル信号に変換されて、デジタルの画像信号として、プロセッサ装置14(後述するDSP72)に、出力される。
なお、本発明の内視鏡装置において、これらの処理は、ビデオコネクタ36ではなく、コネクタ32で行なってもよく、あるいは、プロセッサ装置14で行なってもよい。
【0030】
前述のように、内視鏡装置10において、内視鏡12のコネクタ32は、光源装置16の接続部16aに接続される。
光源装置16は、生体内での観察を行なうための観察光を内視鏡12に供給するものである。前述のように、光源装置16から内視鏡12に供給された観察光(励起光)は、コネクタ32から光ファイバ52に入射して伝搬されて、スコープ部42から観察部位に照射される。
【0031】
図2に概念的に示すように、内視鏡装置10において、光源装置16は、445LD60と、405LD62と、光ファイバ60aおよび62aと、合波器64と、光ファイバ68とを有する。
【0032】
445LD60は、中心波長445nmのB光のレーザ光源である。他方、405LD62は、中心波長405nmの青紫色(BV)光のレーザ光源(BVの狭帯域光の光源)である。両光源に関しては、後に詳述する。
445LD60が照射したB光は光ファイバ60aによって伝搬され、405LD62が照射したBV光は光ファイバ62aによって伝搬され、共に、合波器64によって1本に合波される。
【0033】
合波されたB光およびBV光は、光ファイバ68によって伝搬され、接続部16aから内視鏡12のコネクタ32に供給され、光ファイバ52に入射して伝搬されて、光ファイバ52の先端から出射する。
ここで、前述のように、内視鏡12において、光ファイバ52の先端部には、蛍光体54が配置されている。蛍光体54は、B光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl1017)等の蛍光体)を含んで構成される。これにより、前述のように、B光を励起光とする緑色〜黄色の励起発光光と、蛍光体24で吸収されずに透過したB光とが合わされて、疑似的な白色光となる。
【0034】
図3に、405LD62が照射するBV光、445LD60が照射するB光、および、B光(445nmのレーザ光)によって励起された蛍光体24による励起発光光(B光に励起された蛍光体24の発光スペクトル)の分光特性を示す。
図3に示すように、405LD62が照射するBV光は、中心波長405nmの輝線(プロファイル(A))で表される、BVの狭帯域光である。このBV光は、蛍光体54には殆ど吸収されずに、透過する。
他方、445LD60が照射したB光は、中心波長445nmの輝線で表される。さらに、B光による蛍光体24からの励起発光光は、概ね450nm〜700nmの波長帯域で発光強度が増大する分光強度分布となる。
【0035】
従って、光源装置16において、445LD60のみを点灯した場合には、蛍光体24による励起発光光と、蛍光体24に吸収されなかった445LD60からのB光とによる疑似的な白色光(プロファイル(B))が形成され、白色光を観察光とする通常光観察が可能となる。
また、445LD60と405LD62との両者を点灯した場合には、さらに、プロファイル(A)で示すBVの狭帯域光が観察光に加わり、特殊光撮影が可能となる。
【0036】
すなわち、光源装置16において、445LD60をon、405LD62をoffの状態とすることで、白色光を観察光とする通常光観察が可能になり、445LD60および405LD62の両者をonにすることで、白色光と狭帯域BV光とを観察光とする特殊光観察が可能になる。
さらに、445LD60をonにした状態で、405LD62を所定周期でon/offすることにより、通常光観察と特殊光観察とを(略)同時に行なうことができる。
この点に関しては、後に詳述する。
【0037】
内視鏡12のスコープ部42からの観察光が照射された観察部位の画像は、CCDセンサ48によって撮影される。
CCDセンサ48が撮影した画像(CCDセンサ48の出力信号)は、前述のように、AFE56によってA/D変換等の処理を行なわれて、デジタルの画像信号(画像データ/画像情報)として、プロセッサ装置16に供給される。
【0038】
プロセッサ装置16は、内視鏡12から供給(出力)された画像信号(以下、単に画像とも言う)に所定の処理を施して、内視鏡12が撮影した画像として表示装置18に表示すると共に、内視鏡装置10の制御を行なうもので、画像の処理部14aおよび自身を含む内視鏡装置10の全体を制御する制御部14bを有する。
【0039】
図4に、プロセッサ装置16における画像の処理部14aを、ブロック図によって概念的に示す。
図4に示すように、処理部14aは、DSP72と、画像記憶部74と、通常光画像生成部76と、特殊光画像生成部78と、表示信号生成部80と、パターン記憶部82と、抽出部84と、マッチング部86と、支援情報生成部90とを有する。
【0040】
プロセッサ装置16において、内視鏡12から供給された画像(R画像、G画像およびB画像)は、DSP72に供給される。
DSP72は、公知のDSP(Digital Signal Processor)であって、供給された画像に、ガンマ補正、色補正処理等の所定の処理を施した後、画像記憶部(メモリ)74の所定領域に記憶させる。
【0041】
画像が画像記憶部74に記憶されると、通常光画像生成部76は、画像記憶部74からR、GおよびB画像を読み出して、通常光観察画像を生成し、また、特殊光画像生成部78は、画像記憶部74からB画像(BVの狭帯域光による画像)およびG画像を読み出して、特殊光観察画像を生成する。
【0042】
具体的には、光源装置16は、制御部14bによる制御に応じて、445LD60をon(所定光量で連続点灯)した状態で、405LD62を所定の周期でon/offする(あるいは高出力点灯および低出力点灯を交互に行なう)。他方、内視鏡12は、この405LD62のon/offに同期して、CCDセンサ48によって画像を撮影する。
前述のように、445LD60によるB光は蛍光体54に入射/励起して、蛍光体54にが緑色〜黄色の励起発光光を発光し、この励起発光光と、蛍光体24で吸収されずに透過したB光とが合わされて、疑似的な白色光となる。また、405LD62が照射した狭帯域のBV光は、蛍光体54には殆ど吸収されずに透過し、従って、405LD62がonの際には、白色光に加え、BVの狭帯域光(Bの狭帯域光)が観察光に加わる。
【0043】
従って、405LD62がoff(低出力点灯)の際に画像記憶部74に記憶した画像から、通常光画像生成部76が、R画像、G画像およびB画像を読み出すことで、擬似的な白色光を観察光とする通常光撮影画像を得ることができる。また、405LD62がon(高出力点灯)の際に画像記憶部74に記憶した画像から、特殊光画像生成部78がGおよびB画像を読み出すことで、BVの狭帯域光とG光とを観察光とする特殊光観察画像を得ることができる。
すなわち、図示例の内視鏡装置10によれば、所定の周期で405LD62をon/offし、このon/offの周期に同期してCCDセンサ48での撮影を行い、かつ、この撮影の周期に同期して、通常光画像生成部76および特殊光画像生成部78が画像を読み出すことにより、同時(略同時)に撮影された通常光観察画像および特殊光観察画像を得ることができる。
【0044】
また、内視鏡装置10では、445LD60を連続的にonして、405LD62を連続的にoffにした状態とすることで、通常光観察画像のみを得ることができ、445LD60および405LD62を、共に、連続的にonにした状態とすることで、特殊光観察画像のみを得ることができる。
【0045】
通常光画像生成部76は、読み出し部76aおよび画像処理部76bを有する。
読み出し部80aは、前述のように、405LD62がoffの際に画像記憶部74が記憶した画像から、R画像、G画像およびB画像を読み出し、画像処理部76bに供給する部位である。
【0046】
画像処理部76bは、読み出し部76aが読み出したR、GおよびBの画像に、3×3のマトリクス処理、階調変換処理、3次元LUT処理などによる色変換処理; 画面内の血管と粘膜との色味の差をつけて血管が見易くなるように、画像の平均的な色味よりも血管と粘膜との色味の差をつける方向に強調する色彩強調処理; シャープネス処理や輪郭強調などの像構造強調処理; 等を行なって、通常光観察画像の画像として、表示信号生成部80に送る。
【0047】
特殊光画像生成部78は、読み出し部78a、画像処理部78b、および、支援画像生成部78cを有する。
読み出し部78aは、前述のように、405LD62がon(高出力)の際に画像記憶部74に記憶した画像から、B画像(すなわち、狭帯域のBV光による画像 以下、便宜的に、狭帯域BV画像とする)およびG画像を読み出して、画像処理部80bに供給する部位である。
【0048】
画像処理部78bは、狭帯域BV画像およびG画像を処理して、特殊光観察画像とする部位である。
表示画像(プロセッサ装置14からの出力画像)は、R、GおよびBの3つのサブピクセルで1つの画素を構成する。しかしながら、図示例においては、特殊光観察画像となる画像は、狭帯域BV画像およびG画像しか無い。そのため、画像処理部78bは、最初に、G画像を表示に対応するR画素に割り付け、狭帯域BV画像を表示に対応するG画素およびB画素に割り付けて、表示に対応するR、GおよびBの3つのサブピクセルを1画素とする画像とする。
なお、狭帯域BV画像およびG画像の割り付けに先立ち、必要に応じて、画像に所定の係数を乗じる、所定のLUTで処理する等、画像の処理(補正)を行なってもよい。
【0049】
その後、画像処理部78bは、R、GおよびBに割り付けた画像に対して、3×3のマトリクス処理、階調変換処理、3次元LUT処理などによる色変換処理; 画面内の血管と粘膜との色味の差をつけて血管が見易くなるように、画像の平均的な色味よりも血管と粘膜との色味の差をつける方向に強調する色彩強調処理; シャープネス処理や輪郭強調などの像構造強調処理; 等を行なって、特殊光観察画像とする。
【0050】
画像処理部78bが生成した特殊光観察画像は、後述する特殊光観察画像における血管や腺口のパターンマッチング(パターンマッチングによる診断支援)の実施が指示されている場合には、支援画像生成部78および抽出部84に供給される。
なお、以下に説明する癌の血管パターン等とのパターンマッチングは、好ましい態様として、表層の微細血管等の情報が得やすい(観察し易い)、特殊光観察画像(狭帯域光観察画像)で行なっているが、本発明は、これに限定はされず、通常光観察画像で、同様の処理を行なってもよい。
【0051】
支援画像生成部78は、後述する支援情報生成部90の指示に応じて、画像処理部78bが生成した特殊光観察画像から、パターンマッチングによって検出された、癌の血管パターンや腺口パターンと一致すると判断された血管や腺口の強調処理等を行なう部位である。この支援画像生成部78に関しては、後に詳述する。
なお、診断が終了して内視鏡12の挿入部26を抜き出す際など、特殊光観察画像における血管や腺口のパターンマッチングの実施を指示されていない場合や、後述する血管や腺口のパターンマッチングの結果に応じた血管等の強調処理などの画像処理が指示されていない場合には、画像処理部78bが生成した特殊光観察画像が、そのまま、表示信号生成部80に供給される。
【0052】
抽出部84は、血管等のパターンマッチングの実施が指示されている場合に、画像処理部78bが生成した特殊光観察画像を解析して、画像中の血管および/または腺口(血管の情報および/または腺口の情報)を抽出する部位である。
従って、パターンマッチングの実施を指示されていない場合には、抽出部84には、特殊光観察画像は供給されない。
【0053】
血管および腺口の抽出方法には、特に限定はなく、公知の方法が、各種、利用可能である。
一例として、BV光等のBの狭帯域光は、血管に吸収されるので、その領域は、暗くなる。従って、このような血管や腺口による狭帯域光の変化を利用して、画像(画像信号)を、適宜設定した閾値で二値化して、血管や腺口を抽出してもよい。あるいは、画像の平均値を算出して、平均値よりも暗い領域や色味が異なる領域などを血管や腺口として抽出してもよい。
【0054】
なお、内視鏡12による撮影画像には、凹凸や観察光が斜めに照射されている領域等があり、血管や腺口の適正な抽出が困難である領域も有る。
それに応じて、特殊光観察画像を、適宜、分割して、血管や腺口の抽出を行い、各領域の抽出結果を統合して、特殊光観察画像からの血管や腺口の抽出結果としてもよい。
【0055】
本発明の内視鏡装置10において、特殊光観察画像から抽出するのは、血管および腺口(pit)の両方に限定はされない。
すなわち、抽出部84は、パターン記憶部82に記憶しているパターン分類に応じて、血管および腺口のいずれか一方のみを抽出するものであってもよい。また、入力装置20や内視鏡12の操作部28での操作によって、血管の抽出(血管パターンマッチング)と腺口の抽出(腺口パターンマッチング)とを、選択可能にしてもよい。
【0056】
抽出部84による、特殊光観察画像からの血管および腺口の抽出結果は、マッチング部86に供給される。
マッチング部86には、パターン記憶部82が接続される。パターン記憶部82は、癌の進達度(深達度)に応じた血管パターンからなる血管パターン分類、および/または、癌の進達度に応じた腺口パターンからなる腺口パターン分類を記憶する部位である。
マッチング部86は、パターン記憶部82が記憶している血管パターン分類の血管パターンおよび/または腺口パターン分類の腺口パターンと、抽出部84が抽出した血管および/または腺口との、パターンマッチングを行なう部位である。
【0057】
癌が発症すると、病変部では、表層の微細血管(微小血管)やIPCL(上皮乳頭内血管(intra‐epithelial papillary capillary loop))等に、健常な部位には見られない、特有の血管が生成(構築)されたり、健常な部位には見られない、特有の腺口構造(pit pattern)が生成される。
また、このような癌に起因して生成される血管の形状(癌による新生血管の走行パターン)や腺口の形状(癌による不整pit様構造)は、癌の進達度に応じた、特有のパターンを有する。
【0058】
従って、癌の進達度に対応する複数の血管パターンからなる血管パターン分類や、癌の進達度に対応する複数の腺口パターンからなる腺口パターン分類を記憶しておき、内視鏡で撮影した画像から血管や腺口を抽出し、血管と進達度に対応する血管パターンとのパターンマッチングや、腺口と進達度に対応する腺口パターンとのパターンマッチングを行なうことにより、癌の進達度を知見、すなわち進達度診断を行なうことができる。
【0059】
ここで、癌の進達度に応じた血管パターンや腺口パターンは、食道や大腸などの癌の発症部位によって異なる。
従って、パターン記憶部82は、食道、胃、小腸および大腸など、診断を行なう部位毎に(少なくとも2つの部位に対応して)、このような血管パターン分類や腺口パターン分類を記憶するのが好ましい。
【0060】
このような癌の進達度に応じた血管パターン分類や腺口パターン分類(以下、両者をまとめて、単に『パターン分類』とも言う)は、文献や論文等で発表された、診断部位(観察部位)に応じた公知の癌のパターン分類が、各種、利用可能である。
【0061】
一例として、食道癌の場合には、図5に示す、『食道小扁平上皮癌の拾い上げと鑑別診断におけるFICE併用拡大内視鏡の有用性. 胃と腸 2009;44:1675-1687』に示される微細血管パターン分類(Micro Vascular Pattern Classification)が例示される。
この血管パターン分類において、type1は、細く直線的な乳頭内血管が観察される血管パターンである。type2は、血管の延長・分岐や拡張、密度の上昇が有るが、構造が保たれ、また、配列の規則性が、比較的、保たれている血管パターンである。type3aは、壊れた糸くず状の血管パターン; 同bは、潰れた赤丸状の血管パターン; 同cは、前記bが伸長・癒合する血管パターン; 同dは、集簇する乳頭状隆起の中に螺旋条血管が見られるイクラ状の形態の血管パターン; である。type4MLは、多重状の血管パターン; 同IBは、不整樹枝状の血管パターン; さらに、同Rは、網状の血管パターン; である。
この微細血管パターン分類では、type1からtype4に向けて、順次、食道癌の進達度が高くなる。
また、この食道癌の血管パターン分類において、type4では、無血管領域(avascluar area AVA)の大きさで、さらに、S(0.5mm以下)、M(0.5mm超3mm以下)およびL(3mm超)の亜分類を加えてもよい。
【0062】
また、大腸癌のパターン分類としては、一例として、広島大学の腺口パターン分類(pit様構造の拡大所見分類)、佐野医師による血管パターン(網目状血管パターン(capillary pattaern; CP))分類、および、東京慈恵医大の腺口パターンを加味した血管(微細血管構築)パターン分類(拡大観察所見分類)が例示される。
【0063】
広島大学の腺口パターン分類は、図6に示すような腺口パターンによる分類である。なお、このパターン分類では、微細血管パターンを、付加的に評価している。
この腺口パターン分類において、Atypeは、正色〜褐色調を呈した腺口パターンであり、微細血管は不可視である。Btypeは、間接的に明瞭で整った腺口様構造(pit様構造)が観察される腺口パターンであり、網目状の微細血管模様を有する。Ctype1は、間接的に、不整な腺口様構造を有する腺口パターンであり、血管は、太さおよび分布が比較的均一な網目模様を有し; 同2は、間接的に不整の強い腺口様構造を有する腺口パターンであり、血管は、太さおよび分布が不均一な網目模様を有し; さらに、同3は、不整腺口様構造が不明瞭で観察不可能な腺口パターンであり、血管は不整で太さおよび分布が不均一であり、無血管領域が出現し、また、断片化した微細血管が散在する。
この腺口パターン分類では、AtypeからCtypeに向けて、順次、大腸癌の進達度が高くなり、また、Ctypeでは、1から3に向けて、順次、大腸癌の進達度が高くなる。
【0064】
佐野医師による血管パターン分類は、図7に示すような血管パターン分類である。
この血管パターン分類において、CPtypeIは、微細血管が確認できない血管パターンである。CPtypeIIは、血管が腺管周囲を取り巻くように観察でき、血管径が均一な血管パターンである。CPtypeIIIAは、血管が不整で、かつ、不規則な血管が明瞭な血管パターンである。CPtypeIIIBは、血管が不整で、かつ、不規則な血管が不明瞭な血管パターンである。
この血管パターン分類では、CPtypeIからCPtypeIIIに向けて、順次、大腸癌の進達度が高くなり、また、CPtypeIIIでは、AよりBの方が進達度が高い。
【0065】
東京慈恵医大の血管パターン分類は、図8に示すような血管パターン分類である。
この血管パターン分類において、1型は、血管走行が認識されない血管パターンである。2型は、血管径の軽度の拡張が認められる血管パターンである。3型は、血管径の明らかな拡張が認められる血管パターンであり、この3型において、V型は、繊毛状構造を呈し、腺管の間質に一致して、拡張血管が規則的に走行する血管パターンで; I型は、不規則な拡張血管の走行を有する血管パターン; である。 4型は、血管分布が疎で、血管走行を認識できない血管パターンである。
この血管パターン分類では、1型から4型に向けて、順次、大腸癌の進達度が高くなり、また、3型では、I型の方がV型よりも進達度が高い。
【0066】
また、本発明においては、文献や論文等で発表された公知のパターン分類以外にも、内視鏡装置10での癌の進達度診断に熟練している医師が、実際に進達度診断に使用した画像を用いて、血管パターン分類や腺口パターン分類を作成して、パターン記憶部82に記憶してもよい。
すなわち、入力装置20に登録ボタン等を設けて、実際の診断画像を、パターン分類を構成する血管パターンや腺口パターンとして登録できるようにしてもよい。
【0067】
実際の診断画像からパターン分類を作成する際には、画像そのものを血管パターン等として、進達度ごとに記憶してパターン分類とする方法が例示される。また、画像から血管や腺口を抽出した画像を血管パターン等として、進達度ごとに記憶してパターン分類としてもよい。また、抽出した血管や腺口から特定の領域(特定の血管構造や腺口構造)を抜き出して、血管パターン等とし、進達度ごとに記憶してパターン分類としてもよい。さらに、これらの2以上を組み合わせてパターン分類としてもよい。
また、このように、実際の診断画像からパターン分類を作成する際には、拡大率、観察光の光量、光源装置16における445LD60と405LD62との光量比(出力比)、CCDセンサ48の電子シャッタスピード等の撮影条件も、パターン分類に対応付けして記憶しておくのが好ましい。
【0068】
このようなパターン分類は、一般的に、拡大観察画像を用いて作成される。一方で、実際の内視鏡装置10での診断時には、まず、低倍率でスクリーニング(スコープ部42を移動しつつの大まかな観察)を行い、スクリーニングによって病変部と考えられる場所を検出したら、画像を拡大して、精査し、さらに質的診断等を行なうのが、通常である。
従って、スクリーニング等における低倍率な撮影画像でのパターンマッチングが可能なように、各パターン分類において、血管パターンや腺口パターンは、内視鏡装置10に設定されている倍率に応じて、例えば、20倍、40倍、60倍および80倍のように、複数の倍率に対応して、記憶するのが好ましい。
なお、このような各倍率毎の血管パターンや腺口パターンは、各パターンを撮影した際の撮影倍率に応じて、各パターンを拡大/縮小して、鮮鋭化処理、スムージング処理、明るさ調整等を、適宜、施すことで、生成すればよい。
【0069】
前述のように、このようなパターン分類は、食道、胃、大腸など、診断部位に応じたパターン分類を記憶するのが好ましいが、各診断部位で、複数のパターン分類をパターン記憶部82に記憶しておいてもよい。
【0070】
マッチング部86は、前述のように、パターン記憶部82が記憶しているパターン分類の血管パターンおよび/または腺口パターンと、抽出部84が抽出した血管および/または腺口とが、一致しているか否かを検出する、パターンマッチング(以下、マッチングとする)を行なう部位である。
【0071】
マッチング部86におけるマッチングの方法には、特に限定はなく、ベクトルを利用するマッチング、テンプレートを用いるマッチング、画像特徴量を用いるマッチング、これらの複数を併用するマッチング等、公知の(画像)マッチング方法(一致画像(画像一致度)の検出方法))方法が、各種、利用可能である。
【0072】
また、抽出部84が抽出した血管や腺口と、パターン記憶部82が記憶している血管パターンや腺口パターンとが、一致しているか否かの判定にも、特に限定はなく、血管と血管パターンや、腺口と腺口パターンとが、一致しているか否かを決定できれば、各種の方法が利用可能である。
例えば、公知の方法で血管(腺口)パターンと抽出した血管(腺口)との一致度を検出し、この一致度が、適宜、設定した閾値以上である場合を一致、閾値未満である場合を不一致とすればよい。
【0073】
マッチング部86では、血管と血管パターンとのマッチング(以下、血管のマッチングとも言う)と、腺口と腺口パターンとのマッチング(以下、腺口のマッチングとも言う)の両方を行なうのに限定はされない。
すなわち、抽出部84が行なう抽出に応じて、血管のマッチングのみを行なうものでもよく、あるいは、腺口のマッチングのみを行なうものでもよい。また、抽出部84での抽出と同様に、血管のマッチングおよび腺口のマッチングを、選択可能にしてもよい。
【0074】
ここで、マッチング部86は、診断部位に応じたパターン分類をパターン記憶部82から選択し、読み出して、血管のマッチングや腺口のマッチングを行なう必要が有る。
このマッチング部86におけるパターン分類の選択方法には、特に限定はなく、各種の方法が利用可能である。
【0075】
一例として、入力装置20や内視鏡12の操作部28に、診断部位を入力するための選択スイッチを設け、この選択スイッチによる指示に応じて、対応する診断部位のパターン分類を読み出せばよい。
また、通常の内視鏡装置10では、プロセッサ装置14(あるいは、光源装置16)に内視鏡12を接続した時点で、プロセッサ装置14が内視鏡12の機種(あるいは個体)を識別できる。これを利用して、プロセッサ装置14による内視鏡12の識別結果に応じて、内視鏡12が対応する診断部位のパターン分類を読み出すようにしてもよい。
あるいは、内視鏡12が、挿入部26の挿入長が検出可能な物である場合には、検出した挿入長から、診断部位(現在、観察している部位)を検出し、対応するパターン分類を読み出すようにしてもよい。挿入部26の挿入長が検出可能な内視鏡としては、一例として、特開2009−77859号公報に記載される、内視鏡の挿入部に配列した光センサによって挿入長が検出可能な内視鏡等が例示される。
また、これらの方法を併用、あるいは、選択して、対応する診断部位のパターン分類を読み出すようにしてもよい。
【0076】
マッチング部86における血管のマッチングおよび腺口のマッチングは、常時(全ての画像(フレーム)に対して)、行なうのに限定はされない。
例えば、前述のように、診断が終了して内視鏡12の挿入部26を抜き出す場合などで、血管のマッチング等(特殊光観察画像のパターンマッチング(パターンマッチングによる診断支援))の実施が指示されていない場合には、当然、血管のマッチングや腺口のマッチングは行なわない。
あるいは、入力指示等に応じて、静止画を撮影した場合のみ、この静止画に対して血管のマッチングや腺口のマッチングを行なうようにしてもよい。
【0077】
また、特殊光観察画像から抽出された血管や腺口の抽出量に応じて、パターンマッチングの実施/不実施を決定するようにしてもよい。
一般的に、癌の進達度が高い程、病変部には微細血管等が多く、かつ、複雑な血管走行状態等となる場合が多い。従って、抽出部84が特殊光観察画像から血管や腺口を抽出したら、マッチング部86(あるいは抽出部84)において、その抽出量(あるいは密度)を検出し、血管や腺口の量が、所定の閾値を超えた場合のみ、マッチング部86が血管のマッチングや腺口のマッチングを行なうようにしてもよい。
なお、この際において、血管や腺口の量は、例えば、画像中における血管や腺口の面積比等によって判断すればよい。
【0078】
また、同様の理由で、抽出した血管や腺口の全てに対して血管のマッチングや腺口のマッチングを行なうのにも限定はされず、血管や腺口の抽出量が多い領域(あるいは密度が高い領域)を抽出し、抽出した領域のみ、血管のマッチングや腺口のマッチングを行なうようにしてもよい。
なお、血管等の抽出量が多い領域は、単位面積での血管や腺口の面積比等、上記画像毎のパターンマッチングの実施/不実施に準じて決定すればよい。
【0079】
このように、血管のマッチングや腺口のマッチングを行なう画像や、画像中の領域を、適宜、選択することにより、マッチング部86(処理部14a)の負担を、低減することができる。
【0080】
本発明の内視鏡装置10においては、パターン記憶部82が、個々の診断部位で複数のパターン分類を有する場合も有る。
この場合には、入力装置20や内視鏡12の操作部28に選択手段を設け、この選択手段によって選択されたパターン分類を用いて、血管のマッチングや腺口のマッチングを行なえばよい。もしくは、全て(あるいは、適宜、選択された複数)のパターン分類を用いて、血管のマッチングや腺口のマッチングを行い、各パターン分類による結果のうち、最も信頼性の高いものを血管のマッチングや腺口のマッチングの結果としてもよい。あるいは、全て(同前)のパターン分類を用いた結果の平均から、血管のマッチングや腺口のマッチングの結果を導出してもよい。
また、パターン分類の選択と、複数のパターン分類を用いた処理とを、選択できるようにしてもよい。
【0081】
マッチング部86における、血管のマッチングや腺口のマッチングの結果(以下、単に『マッチングの結果』とも言う)は、支援情報生成部90に供給される。
支援情報生成部90は、マッチング部86におけるマッチングの結果(血管パターンに応じた癌の進達度)に応じて、その後の観察や診断を容易かつ確実なものとするための診断支援を設定し、設定した診断支援の指示を、対応する部位に供給するものである。
【0082】
本発明の内視鏡装置10において、マッチングの結果に応じた診断支援としては、一例として、特殊光観察画像の画像処理; 撮影条件の自動調整(内視鏡12および光源装置16の動作条件の自動調整); マッチング結果の表示(出力); 好ましい撮影条件の示唆; 等が例示される。また、マッチング結果の表示後の好ましい撮影条件の示唆や、好ましい撮影条件を示唆した後の撮影条件の自動調整のような、複数の診断支援の組み合わせも、好適に例示される。
このような診断支援は、1つのみを行なっても、複数の診断支援を行なってもよい。また、複数の診断支援(複数の診断支援の組み合わせも含む)を内視鏡装置10に設定しておき、入力装置10や操作部28に設定された選択手段によって、選択/指示された診断支援(複数でも可)を行なうようにしてもよい。
【0083】
なお、これ以降の内視鏡装置10の処理や作用や操作に関しては、基本的に、血管/血管パターンも、腺口/腺口パターンも、同様であるので、以下の説明は血管を代表例として行い、腺口に関しては、必要に応じて説明や例示を行なう。
【0084】
マッチングの結果に応じた特殊光観察画像の画像処理としては、パターン記憶部82が記憶しているパターン分類の血管パターンと一致する血管(以下、単に『血管パターンと一致する血管』とも言う)の強調が例示される。
すなわち、支援情報生成部90は、マッチング部86からマッチングの結果を受け取り、血管パターンと一致する血管の形状および位置、および、この血管の強調処理を行なう旨の指示を、支援画像生成部78cに供給する。これに応じて、支援画像生成部78cは、画像処理部78bから供給された特殊光観察画像において、血管パターンと一致する血管に対して、強調処理を行なう。
支援画像生成部78cは、特殊光観察画像に強調処理を行なって、表示信号生成部80に、特殊観察画像(その画像信号)を供給する。これにより、医師が、癌の病変部を、容易に検出することが可能になる。
【0085】
支援画像生成部78cでの血管の強調処理には、特に限定はなく、高濃度化、高彩度化、シャープネス処理、変色や色付けなどによる周辺画像との色の差別化等の1以上が例示される。また、実施する強調処理を選択/指示できるようにしてもよい。
画像処理は、いずれも公知の方法で行なえばよい。
【0086】
さらに、支援情報生成部90は、マッチングの結果から検出された癌の進達度に応じて、強調処理の強度を変更してもよい。
例えば、癌の進達度が高いほど、血管を高濃度にする、血管を高彩度にする、血管の鮮鋭度を高くする、血管と周囲の色味の違いを大きくする、これらの複数を併用する等のように、画像処理を行なう。これにより、特殊光観察画像を見た医師が、癌の進達度を容易に把握することが可能になる。
なお、このような血管の強調処理において、進達度に応じた、強調処理の強度は、血管パターンが対応する進達度に応じて、適宜、設定しておけばよい。
【0087】
マッチングの結果に応じた撮影条件の自動調整とは、マッチングの結果に応じて、より病変部が観察し易い画像となるように、特殊光観察の撮影条件を調整するものである。言い換えれば、マッチングの結果に応じた、内視鏡12および/または光源装置16のフィードバック制御である。
具体的には、光源装置16による観察光の光量調整、同観察光(445LD60と405LD62)の光量比の調整、内視鏡12における撮影倍率の調整、および、同絞り(CCDセンサ48の蓄積時間(シャッタースピード))の調整の1以上が例示される。
支援情報生成部90は、マッチングの結果に応じて、撮影条件の調整方法を設定して、内視鏡12および/または光源装置16(制御部14b)に、撮影条件の調整を行なうように指示を出す。
【0088】
例えば、血管パターンと一致する血管すなわち病変部であると考えられる血管が見つかった場合には、より詳細な観察(精査)が必要になる。
従って、この場合には、観察光の光量を所定量、向上して、画像を明るくし、より観察/診断を行い易くなるようにしてもよい。もしくは、あるいは同時に、絞りを所定値まで絞って(CCDセンサ48の蓄積時間を短くして)、画像の鮮鋭度を向上してもよい。さらに、光量の向上および/または絞り具合は、血管と一致した血管パターンの進達度が高いほど、強くなるようにしてもよい。
【0089】
また、図示例の内視鏡装置10では、光源装置16において、445LD60の光量に対して、405LD62の光量が高いほど、表層の微細血管(腺口)を明確に観察することが可能になる。
従って、血管パターンと一致する血管が見つかった場合には、405LD62の光量比を所定値まで高くして、より微細血管が観察し易いようにしてもよい。さらに、血管と一致した血管パターンの進達度が高いほど、405LD62の光量比が高くなるように、光源装置16での光量調整を行なってもよい。
【0090】
また、前述のように、一般的な内視鏡12での診断では、低倍率でスクリーニングを行なって、病変部と考えられる箇所が見つかった時点で、観察倍率を向上して、より詳細な観察を行なう。
従って、血管パターンと一致する血管が見つかった場合には、自動的に、内視鏡12での撮影倍率を予め定めた所定倍率まで向上して、より、詳細な観察が可能なようにしてもよい。さらに、この観察倍率の向上は、血管と一致した血管パターンの進達度が高いほど、高倍率になるようにしてもよい。
【0091】
なお、このようなマッチング結果に応じた好ましい撮影条件への自動的な調整において、進達度に応じた、観察光の光量、光源の光量比および撮影倍率等は、血管パターンが対応する進達度に応じて、適宜、設定しておけばよい。
【0092】
本発明の内視鏡装置10では、パターン分類に対応付けして、光源光量、撮影倍率、絞り、光源装置の光量比など、各パターン分類を作成した際の撮影条件を記憶しておき、支援情報生成部90が、パターン分類を作成した際の撮影条件に応じて、撮影条件を調整するようにしてもよい。
すなわち、血管パターンと一致する血管が見つかった場合には、この血管パターンを有するパターン分類を作成した際の撮影条件と同じ(もしくは近く)なるように、撮影条件を自動調整してもよい。
前述のように、一般的な内視鏡12での診断では、低倍率でスクリーニングを行なって、病変部と考えられる箇所が見つかった時点で、観察倍率の向上等を行なって、より詳細な観察を行なう。従って、この構成によれば、病変部と疑われる血管が見つかったら、パターン分類を作成した、内視鏡による診断経験が豊富な医師による観察と、同条件での詳細な観察が可能になり、経験の少ない医師でも、正確な診断を行なうことが可能になる。
【0093】
ここで、使用するパターン分類を指定された場合には、最初は、医師による操作に任せておき、血管パターンと一致する血管が見つかった時点で、指定されたパターン分類を作成した際と同じ撮影条件となるように、撮影条件を自動調整してもよい。
もしくは、使用するパターン分類を指定された場合には、最初から、指定されたパターン分類を作成した際と同じ撮影条件となるように、撮影条件を自動調整してもよい。あるいは、最初は、医師による操作に任せておき、医師による撮影条件変更の入力指示に応じて、指定されたパターン分類を作成した際と同じ撮影条件となるように、撮影条件を調整してもよい。
【0094】
マッチング結果の表示とは、マッチング部86によるマッチング結果を、表示装置18に表示するものである。
なお、表示装置18への表示に変えて、警告音の発生や音声出力でマッチングの結果を出力してもよく、音声出力等と表示装置18への表示とを併用してもよい。この点に関しては、後述する、好ましい撮影条件の示唆においても、同様である。
【0095】
例えば、マッチング部86におけるマッチングの結果、東京慈恵医大のパターン分類における3I型の血管パターンに一致する血管が見つかったとする。この際には、支援情報生成部90は、『東京慈恵医大のパターン分類における、3I型と思われる血管が見つかりました』のような表示を行なうように、表示信号生成部80に指示を出す。
これに応じて、表示信号生成部80は、指示されたマッチング結果の表示を表示装置18にさせる。これにより、経験の少ない医師でも、病変部となっている血管を容易に検出して、正確な診断を行なうことが可能になる。
このようなマッチング結果の表示(出力)は、1つのパターン分類でのマッチング結果についてのみ行なってもよく、あるいは、複数のパターン分類でのマッチング結果について行なってもよい。
【0096】
好ましい撮影条件の示唆とは、マッチングの結果に応じた好ましい撮影条件への変更を促す(勧める)表示を、表示装置18に表示するものである。なお、以下の説明では、マッチング結果の表示と好ましい撮影条件の示唆とを、まとめて、診断支援表示とも言う。
具体的には、支援情報生成部90は、前述のような撮影条件の自動調整を行わず、マッチングの結果に応じて、前述の撮影条件の自動調整と同じような撮影条件の調整を、医師が行なうように(医師に勧めるように)、『観察光の光量を向上して下さい』、『観察倍率を向上して下さい』などの表示を行なう指示を、表示信号生成部80に出す。
この際においても、血管と一致した血管パターンが対応する癌の進達度に応じて、進達度が高いほど、大きな調整を行なうように撮影条件の示唆を行なってもよい。
【0097】
また、前述のように、各パターン分類を作成した際の撮影条件を記憶している場合には、血管パターンと一致する血管が見つかった時点で、撮影条件を、この血管パターンを有するパターン分類を作成した際の撮影条件とするように、撮影条件を示唆する表示を行なってもよい。
【0098】
ここで、観察倍率の向上等を行なうと、血管パターンと一致した血管、すなわち病変部(病変部と疑われる箇所)が、観察視野から外れてしまう場合も有る。
これに応じて、支援情報生成部90は、病変部が観察視野から外れないように、もしくは観察視野から外れた病変部を観察視野に戻すように、『観察視野を右に移動して下さい』、『観察視野を上方に移動して下さい』のような表示を表示装置18にさせて、内視鏡12の挿入部26の操作に関する診断支援を行なってもよい。この挿入部26の操作に関する診断支援は、前述の撮影条件の自動調整を行なう場合にも、利用可能である。
【0099】
本発明の内視鏡装置10において、このようなマッチングの結果に応じた診断支援は、適宜、組み合わせて、行なうようにしてもよい。
一例として、マッチング結果の表示と、好ましい撮影条件の示唆とを組み合わせて、表示装置18に、『東京慈恵医大のパターン分類における、3I型と思われる血管が見つかりました。 撮影倍率を向上して下さい』のような表示を行なうようにしてもよい。
【0100】
マッチング結果の表示と、撮影条件の自動調整との組み合わせて、『東京慈恵医大のパターン分類における、3I型と思われる血管が見つかりました。』という表示をした後に、自動で、観察光光量の向上や撮影倍率の向上等を行なってもよい。
また、好ましい撮影条件の示唆と、撮影条件の自動調整とを組み合わせて、『撮影倍率を向上します』のような表示をした後に、撮影倍率を自動で向上するようにしてもよい。この組み合わせの際には、『撮影倍率を向上しますか?』のような問い掛けをする表示を行い、医師によって、撮影倍率の向上を指示された場合のみ、撮影倍率を自動で向上するようにしてもよい。
【0101】
マッチング結果の表示と、画像処理とを組み合わせて、『東京慈恵医大のパターン分類における、3I型と思われる血管が見つかりました。』という表示をした後に、自動で、血管パターンと一致する血管の強調処理(表示)を行なってもよい。
この際にも『東京慈恵医大のパターン分類における、3I型と思われる血管が見つかりました。 強調表示をしますか?』のような問い掛けをする表示を行い、医師によって、撮影倍率の向上を指示された場合のみ、血管の強調処理を行なうようにしてもよい。
【0102】
マッチング結果の表示と、好ましい撮影条件の示唆と、撮影条件の自動調整とを組み合わせて、『東京慈恵医大のパターン分類における、3I型と思われる血管が見つかりました。 撮影倍率を向上します』のような表示をした後に、撮影倍率を自動で向上するようにしてもよい。
さらに、各パターン分類を作成した際の撮影条件を記憶している場合には、『東京慈恵医大のパターン分類における、3I型と思われる血管が見つかりました。 撮影条件を東京慈恵医大のパターン分類に合せて変更します』のような表示をした後に、撮影条件の変更を行なってもよい。
これらの場合にも、前述のような問い掛けを行って、医師による指示に応じて、撮影条件の変更を行なうようにしてもよい。
【0103】
各パターン分類を作成した際の撮影条件を記憶している場合には、使用するパターン分類を指定された時点で、『撮影条件を東京慈恵医大のパターン分類に合せます』のような表示をした後に、撮影条件の変更を行なってもよい。この際にも、前述のような問い掛けを行って、医師による指示に応じて、撮影条件の変更を行なうようにしてもよい。
また、被検者が、過去に血管パターンと一致する血管が検出されたことが有る被検者である場合には、前回の撮影条件に合わせるように、自動で撮影条件を設定するようにしてもよい。この際にも、撮影条件の設定を示唆する表示を行なった後に、撮影条件の変更を行なうようにしてもよく、もしくは、前述のような問い掛けを行って、医師による指示に応じて、撮影条件の変更を行なうようにしてもよい。
【0104】
表示信号生成部80は、通常光画像生成部76(画像処理部76b)や特殊光画像生成部78(画像処理部78bもしくは支援画像生成部78c)から供給された通常光観察画像や特殊光観察画像に、色空間の変換や拡大/縮小等の必要な処理を行い、また、画像の割り付けや被検者の氏名などの文字情報の組み込み等の必要な処理を行なって、合成画像を組み込んだ表示用の画像を生成し、表示装置18に、この画像を表示させる。
また、表示信号生成部80は、マッチングの結果に応じた診断支援表示を指示されている場合には、この診断支援を行なうための文字情報の組み込みも行なった、表示用の画像を生成し、表示装置18に、この画像を表示させる。
【0105】
ここで、内視鏡装置10においては、表示装置18への表示は、特殊光観察画像のみ表示、通常光観察画像のみ表示、マッチングの結果に応じた強調画像のみ表示、通常光観察画像と特殊光観察画像とを表示、特殊光観察画像とマッチングの結果に応じた強調画像とを表示、通常光観察画像とマッチングの結果に応じた強調画像とを表示、通常光観察画像と特殊光観察画像とマッチングの結果に応じた強調画像とを表示、切り替え指示に応じて通常光観察画像と特殊光観察画像とマッチングの結果に応じた強調画像との2以上をトグル式に切り換えて表示、等が例示される。
従って、この2以上をモード化して、選択可能にするのが好ましい。
表示信号生成部80は、選択された表示形態(モード)に応じた画像を生成して、表示装置18に表示させる。さらに、表示装置18が、複数、有る場合や表示領域に余裕が有る場合には、参考図として。血管パターン分類の各血管パターンを表示してもよい。
【0106】
ここで、マッチングの結果に応じた強調画像の表示を指示された場合には、この指示によって、マッチングの結果に応じた特殊光観察画像の画像処理(血管の強調処理)が選択/指示されたものとしてもよい。
また、診断支援表示が指示されている場合には、表示信号生成部80は、いずれの表示形態が選択された場合でも、マッチングの結果に応じた診断支援表示を行なう。
【0107】
以下、特殊光観察を行なう場合を例に、内視鏡装置10の作用の一例を説明する。
入力装置20によって、内視鏡12による撮影開始が指示されると、光源装置16の445LD60および405LD62が点灯する。また、内視鏡12のCCDセンサ48が、撮影(測光)を開始する。
【0108】
445LD60が照射したB光(Bのレーザ光)、および、405LD62が照射したBV光(BVのレーザ光)は、合波器64で合波されて、光ファイバ68で伝搬されて、観察光(励起光)として、接続部16bから内視鏡12のコネクタ32に供給される。
【0109】
内視鏡12のコネクタ32に供給された観察光は、光ファイバ52がスコープ部42まで伝搬して、スコープ部42において、光ファイバ52の先端から出射して、蛍光体54に入射する。
ここで、445LD60が照射したB光は、蛍光体54を励起して、蛍光体54が緑色〜黄色に励起発光光を発生し、蛍光体54を透過したB光と共に疑似の白色光となって、観察光として照明用レンズ50によって観察部位(生体内)に照射される。また、405LD62が照射したBV光は、殆ど蛍光体54を透過して特殊光観察のBVの狭帯域の観察光として、照明用レンズ50によって観察部位に照射される。
観察光が照射された観察部位の画像は、撮影レンズ46によってCCDセンサ48の受光面に結像され、CCDセンサ48によって撮影(測光)され、R画像、G画像、および、B画像として、撮影される。
CCDセンサ48の出力信号は、AFE基板56に供給される。AFE基板56は、CCDセンサ48の出力信号に、相関二重サンプリングによるノイズ除去、増幅、A/D変換等を行い、されて、デジタルの画像信号として、プロセッサ装置14(処理部14a)のDSP72に供給する。
【0110】
DSP72は、供給された画像(画像信号)にガンマ補正、色補正処理等の所定の処理を施した後、処理済の画像を画像記憶部74の所定部位に記憶させる。
画像信号が画像記憶部74に記憶されると、特殊光画像生成部78の読み出し部78aが、画像記憶部74から狭帯域BV画像およびG画像を読み出して、画像処理部78bに供給する。
狭帯域BV画像およびG画像を供給された画像処理部78bは、G画像を表示のR画素に割り付け、狭帯域BV画像を表示のBおよびG画素に割りつけて、3つのサブピクセルからなる画像とし、さらに、画像に、色変換処理、色彩強調処理および像構造強調処理を行い、特殊光観察画像とする。
本例においては、マッチングの結果から、診断支援表示および血管パターンと一致する血管の強調処理を行なうことが指示されているとして、画像処理部78bは、生成した特殊光観察画像を、抽出部84および支援画像生成部78cに供給する。
【0111】
特殊光観察画像を供給された抽出部84は、特殊光観察画像を解析して、例えば前述のように二値化を行なって血管(腺口)の抽出を行い、抽出した血管をマッチング部86に供給する。
抽出部84が抽出した血管を受け取ったマッチング部86は、パターン記憶部82から血管パターン分類を読み出して、血管と血管パターンとの(パターン)マッチングを行なう。なお、予め、使用する血管パターン分類を指定されている場合には、指定された血管パターン分類を読み出して、血管とのマッチングを行なう。
【0112】
マッチング部86は、マッチングの結果を支援情報生成部90に供給する。
本例においては、一例として、東京慈恵医大のパターン分類における、3I型の血管パターンと一致する血管が検出されたとする。マッチングの結果を受け取った支援情報生成部90は、マッチングの結果に応じて、例えば、『東京慈恵医大のパターン分類における、3I型と思われる血管が見つかりました。 撮影倍率を向上しますか?』という診断支援表示を行なうように、表示信号生成部80に指示を出す。
また、支援情報生成部90は、血管パターンと一致する血管を、高濃度化および高彩度化して強調するように、血管の位置情報等と共に支援画像生成部78cに指示を出す。
【0113】
支援情報生成部90からの指示を受けた支援画像生成部78cは、これに応じて、特殊光観察画像の対応する血管の高濃度化および高彩度化して強調する画像処理を行なう。画像処理が終了したら、強調処理済の特殊光観察画像を表示信号生成部80に送る。
強調処理済の特殊光観察画像、および、『東京慈恵医大のパターン分類における、3I型と思われる血管が見つかりました。 撮影倍率を向上しますか?』という診断支援表示をする旨の指示を受けた表示信号生成部80は、強調処理済の特殊光観察画像、および、前記診断支援表示を組み込んだ表示用の画像を生成し、この画像を、表示装置18に表示させる。
また、医師によって撮影倍率の向上を指示された場合には、支援情報生成部90は、内視鏡に、東京慈恵医大のパターン分類における3I型の血管パターンの進達度に対応ずる倍率まで、撮影倍率を向上するように、指示を出す。
【0114】
以上の説明より明らかなように、本発明によれば、内視鏡12で撮影した画像から血管(腺口)を抽出し、予め記憶しておいた血管パターン分類を用いて、血管パターンと血管とのマッチングを行い、このマッチングの結果(血管パターンに対応する癌の進達度)に応じて、血管パターンと一致した血管(すなわち病変部)の強調、撮影倍率や観察光量の向上などの好適な撮影条件への自動調整、マッチング結果や好適な撮影条件の示唆等の診断支援表示等を行なうので、経験の少ない医師でも、正確な癌の進達度診断を行なうことが可能になる。
【0115】
以上、本発明の内視鏡装置について詳細に説明したが、本発明は、上述の例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。
【0116】
例えば、本発明の内視鏡装置は、特許文献1等に示されるような、回転フィルタとモノクロのCCDセンサとを用いる面順次での撮影を行なう内視鏡装置にも、好適に利用可能である。
すなわち、本発明の内視鏡装置は、血管や腺口と、進達度に応じた血管パターンや腺口パターンとのマッチング、および、マッチング結果に応じた診断支援を行なうものであれば、公知の内視鏡装置が、各種、利用可能である。
【符号の説明】
【0117】
10 内視鏡装置
12 内視鏡
14 プロセッサ装置
16 光源装置
18 表示装置
20 入力装置
26 挿入部
28 操作部
30 ユニバーサルコード
32 コネクタ
36 ビデオコネクタ
38 軟性部
40 湾曲部
42 スコープ部
46 撮影レンズ
48 CCDセンサ
50 照明用レンズ
52,68 光ファイバ
54 蛍光体
56 AFE基板
60 445LD
62 405LD
64 合波器
72 DSP
74 画像記憶部
76 通常光画像生成部
76a,78a 読み出し部
76b,78b 画像処理部
78 特殊光画像生成部
78c 支援画像生成部
82 パターン記憶部
84 抽出部
86 マッチング部
90 支援情報生成部

【特許請求の範囲】
【請求項1】
画像を光電的に撮影する撮像素子を有する内視鏡と、前記内視鏡が撮影を行なうための観察光を前記内視鏡に供給する光源装置と、前記内視鏡が撮影した画像を処理して表示用の画像とする画像処理手段と、前記画像処理手段が処理した画像を表示する表示装置とを有し、かつ、
前記画像処理手段は、病気の進達度に応じた複数の血管パターンを有する血管パターン分類、および、病気の進達度に応じた複数の腺口パターンを有する腺口パターン分類の、少なくとも一方を記憶する記憶手段; 前記内視鏡が撮影した画像から、血管および腺口の少なくとも一方を抽出する抽出手段; 前記抽出手段が抽出した血管および腺口の少なくとも一方と、前記記憶手段が記憶する血管パターン分類の血管パターンおよび腺口パターン分類の腺口パターンの少なくとも一方とのパターンマッチングを行うマッチング手段; ならびに、前記マッチング手段からパターンマッチングの結果を受け取り、このパターンマッチングの結果に応じて、診断を支援するための支援操作を、前記内視鏡、光源装置、画像処理手段、および、表示装置の1以上に行なわせる診断支援手段; を有することを特徴とする内視鏡装置。
【請求項2】
前記光源装置は、特殊光観察を行なうための狭帯域光を前記内視鏡に供給する機能を有する請求項1に記載の内視鏡装置。
【請求項3】
前記支援操作が、撮影条件の調整、前記画像処理手段での画像処理の調整、および、前記表示装置の表示による診断支援の1以上である請求項1または2に記載の内視鏡装置。
【請求項4】
前記撮影条件の調整が、前記内視鏡での撮影倍率の変更、前記内視鏡での絞りの変更、前記光源装置による観察光の光量調整、前記光源装置による観察光の分光分布の調整の、1以上である請求項3に記載の内視鏡装置。
【請求項5】
前記画像処理手段での画像処理の調整が、前記記憶手段が記憶する血管パターン分類の血管パターンと一致する血管の強調処理、および、前記記憶手段が記憶する腺口パターン分類の腺口パターンと一致する腺口の強調処理の、少なくとも一方である請求項3に記載の内視鏡装置。
【請求項6】
前記表示装置の表示による診断支援が、前記マッチング手段によるパターンマッチング結果の表示である請求項3に記載の内視鏡装置。
【請求項7】
前記表示装置の表示による診断支援が、前記内視鏡における撮影倍率の変更、前記内視鏡における絞りの変更、前記光源装置による観察光光量の変更、および、前記光源装置による観察光の分光分布の変更の、少なくとも1つを促す表示である請求項3または6に記載の内視鏡装置。
【請求項8】
前記血管に一致した血管パターンが対応する病気の進達度、および、前記腺口が一致した腺口パターンが対応する病気の進達度の少なくとも一方に応じて、前記支援操作の程度を変更する請求項1〜6のいずれかに記載の内視鏡装置。
【請求項9】
前記抽出手段による抽出の実行、および、前記マッチング手段によるパターンマッチングの実行を選択する選択手段を有する請求項1〜8のいずれかに記載の内視鏡装置。
【請求項10】
前記マッチング手段は、前記抽出手段が抽出した血管の量および腺口の量の少なくとも一方に応じて、前記パターンマッチングを行なう請求項1〜9のいずれかに記載の内視鏡装置。
【請求項11】
前記記憶手段は、少なくとも2カ所の診断部位の個々に対応して、前記血管パターン分類および腺口パターン分類の少なくとも一方を記憶する請求項1〜10のいずれかに記載の内視鏡装置。
【請求項12】
前記内視鏡による観察部位を指示する指示手段を有する請求項1〜12のいずれかに記載の内視鏡装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2012−152279(P2012−152279A)
【公開日】平成24年8月16日(2012.8.16)
【国際特許分類】
【出願番号】特願2011−11985(P2011−11985)
【出願日】平成23年1月24日(2011.1.24)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】