内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法
【課題】
内視鏡挿入部のいずれの個所において挿入を阻害しているかまたは、その阻害原因部分を提示し、術者が提示された情報に基づき対処操作を的確に判断することが可能であり、内視鏡挿入が容易とすること。
【解決手段】
体腔内に挿入する挿入部を有する電子内視鏡21と、内視鏡挿入部21aの複数のソースコイル、センスコイルユニット31および形状処理装置32により挿入部形状を検出する形状観測装置3等と、内視鏡21が撮像した内視鏡画像と、形状観測装置3が検出した形状とを表示するディスプレイ44とを有し、さらに形状処理装置32が検出した情報を基にして、形状処理装置32が検出した形状のうち、特定位置としての推進停止位置を算出するPC41を有し、ディスプレイ44は、PC41が算出した特定位置等を指示表示する内視鏡挿入形状解析装置。
内視鏡挿入部のいずれの個所において挿入を阻害しているかまたは、その阻害原因部分を提示し、術者が提示された情報に基づき対処操作を的確に判断することが可能であり、内視鏡挿入が容易とすること。
【解決手段】
体腔内に挿入する挿入部を有する電子内視鏡21と、内視鏡挿入部21aの複数のソースコイル、センスコイルユニット31および形状処理装置32により挿入部形状を検出する形状観測装置3等と、内視鏡21が撮像した内視鏡画像と、形状観測装置3が検出した形状とを表示するディスプレイ44とを有し、さらに形状処理装置32が検出した情報を基にして、形状処理装置32が検出した形状のうち、特定位置としての推進停止位置を算出するPC41を有し、ディスプレイ44は、PC41が算出した特定位置等を指示表示する内視鏡挿入形状解析装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡挿入部の挿入においてその挿入を阻害等している状況を提示する内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法に関する。
【背景技術】
【0002】
内視鏡による挿入観察を行う際、被検体となる体腔内の管腔は、例えば、大腸や小腸等のように曲がっている。そのため、内視鏡挿入部が管腔のどの位置まで挿入されているか、また内視鏡挿入部がどのような形状になっているかが判明すると、内視鏡による観察処置の操作性が向上する。
【0003】
そのため、従来より、内視鏡挿入時において屈曲状態等を知ることができる装置として、ソースコイル等を用いて内視鏡の挿入形状を検出する内視鏡形状検出装置が提案されている。
【0004】
ここで、内視鏡による被検体の観察中、術者の意識は、主に管腔の観察部位を撮像生成した内視鏡画像に集中してしまう傾向がある。そして、術者の意識は、内視鏡形状検出装置により生成表示される挿入形状の画像に集中されないことが多い。術者は、内視鏡挿入部の挿入進行に障害が生じて初めて、挿入形状の画像に注目することになる。そのことが、内視鏡観察の進行の妨げおよび、被検体に対する不快感を生じさせる要因となる。
【0005】
また、一般に内視鏡観察では、内視鏡画像を録画記録して、後日の観察部位の確認や内視鏡操作の習得訓練に用いられる。
【0006】
そのため、特開2004−147778号公報には、内視鏡挿入形状データと内視鏡画像データを共に保存し、両画像を同期再生して、自由に対比可能な内視鏡画像処理装置が提案されている。
【特許文献1】特開2004−147778号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
前記提案に係る装置は、例えば大腸に内視鏡を挿入した際の内視鏡挿入部の形状を、内視鏡挿入形状観測装置により検出するとともに、画像処理装置により形状解析を行い、内視鏡挿入部の形状に関する情報を提供する。
【0008】
しかし、ここで提供される内視鏡挿入部の形状情報は、大腸の腸壁から受ける力、詳しくは腸壁と内視鏡挿入部との摩擦力と、内視鏡挿入部が腸壁から受ける反発力とを考慮していない。
内視鏡の挿入性の難易度は、内視鏡挿入部の形状により決定されるものではなく、内視鏡挿入部と挿入する生体との接触から生じる外力の有無に左右される。その外力の内視鏡挿入部上における発生位置および、外力の発生要因とその要因の情報を、従来の内視鏡挿入形状観測装置は示していない。
また、提供される形状情報は、典型的な形状パターン、つまりループの有無および、アングルの有無への分類情報である。
【0009】
しかし、ループやアングルが生じていても、内視鏡の挿入性に対する難易度を上昇させる度合が小さい場合がある。例えば、ループが形成されていても、そのループが生体の形状に沿ったものであれば、挿入性を阻害する度合が小さい場合があり得る。
【0010】
従来の内視鏡挿入形状観測装置は、形状パターンによる定性的な挿入難易性と、形状パターンに応じた最大公約数的な挿入難易性を提示するのみである。例えば、ループが形成されていた場合、挿入は難しいという定性的情報をその装置は提示するのみである。
【0011】
また、内視鏡挿入部の軟性部材の材質変更あるいは太さの変更により、挿入部硬度などの内視鏡の物理特性が変われば、たとえ、内視鏡挿入部が同一の形状であっても、ユーザの内視鏡操作に追随して動作する内視鏡挿入部の挙動が変わる。よって、ある内視鏡では挿入を阻害する形状パターンであっても、別の物理特性をもつ内視鏡では、挿入を阻害しない形状パターンとなる場合があり得る。
【0012】
従って、術者に対して、内視鏡挿入部の形状情報が提示されても、次のような問題がある。
すなわち、術者は、その内視鏡挿入部のいずれの個所が、挿入阻害要因となっているか、提示された形状情報のみからは判断できない。
【0013】
また、現在の内視鏡挿入部の形状が挿入を阻害するか否かの判断は、定性的にしか提示されておらず、どの程度難しいのか、術者は提示された形状に関する情報のみからは判断できない。
本発明は前述した問題に鑑みてなされたものであり、内視鏡挿入部のいずれの個所において挿入を阻害しているかまたは、その阻害原因部分を提示し、術者が提示された情報に基づき対処操作を的確に判断することが可能であり、内視鏡挿入が容易な内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法を提供することを目的にしている。
【課題を解決するための手段】
【0014】
本発明の内視鏡挿入形状解析装置は、体腔内に挿入する挿入部を有する内視鏡と、前記内視鏡挿入部の形状を検出する形状検出手段と、前記内視鏡が撮像した内視鏡画像と、前記形状検出手段の検出した形状とを表示する表示手段と、前記形状検出手段が検出した情報を基にして、前記形状検出手段の検出した形状のうち、特定位置または特定部分を解析して求める形状解析手段と、前記表示手段に、前記形状解析手段が求めた前記特定位置または前記特定部分を指示し表示する指示手段と、を有することを特徴としている。
【発明の効果】
【0015】
本発明によれば、内視鏡挿入部のいずれの個所において挿入を阻害しているかまたは、その阻害原因部分を提示し、術者が提示された情報に基づき対処操作を的確に判断することが可能であり、内視鏡挿入が容易な内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法を実現させることができる。
【発明を実施するための最良の形態】
【0016】
以下、図面を参照して本発明の実施の形態を説明する。
(第1の実施の形態)
図1から図7は、第1の実施の形態に係り、図1は、電子内視鏡システムの全体構成を示すブロック図、図2は、ソースコイルが内蔵された内視鏡挿入部と、ソースコイルの座標を示す関係図、図3は、挿入形状データの構造を示すフォーマット図、図4は、ディスプレイ上に表示される解析ウインドウの構成図、図5は、検査情報および内視鏡画像と、挿入形状データとの処理に関するフローチャート図、図6は、図5における形状解析処理の詳細なフローチャート図、図7は、挿入部形状画像に「推進停止」が重畳表示された形状図である。
【0017】
図1に示すように、内視鏡挿入形状解析装置としての電子内視鏡システム1は、内視鏡装置2と、内視鏡挿入形状観測装置3、および画像処理装置4から構成されている。
【0018】
内視鏡装置2は、電子内視鏡21、ビデオプロセッサ22、光源装置23および、観察モニタ24から構成されている。
【0019】
電子内視鏡21は、挿入部21a内に設けられた図示しないライトガイドにより、挿入部21aの先端部から管腔内の観察部位を照明する観察光が照射されるように構成されている。電子内視鏡21は、被検体である体腔の管腔内に挿入される細長の挿入部21a先端に、図示しない電子撮像素子が設けられている。さらに、電子内視鏡21は、その電子撮像素子が駆動制御され、管腔内の観察部位の撮像映像信号を生成し出力する。
【0020】
さらに、電子内視鏡21の挿入部21aの先端部分には、湾曲部21bが設けられ、挿入部21a基端側に設けられた操作部21cにおいて湾曲操作可能になっている。
【0021】
また、電子内視鏡21の操作部21cには、レリーズスイッチ25が設けられている。さらに、操作部21cには、ビデオプロセッサ22との間において前記電子撮像素子を駆動制御しかつ撮像生成された撮像映像信号を送受信するためのケーブルが設けられている。また、操作部21cには、光源装置23からの観察光を前記ライトガイドに導くライトガイドケーブル等が設けられている。
【0022】
また、電子内視鏡21には、管腔における挿入部の挿入位置および形状を検出するための検出機能を構成する後述のソースコイルが設けられている。その挿入の位置および形状検出機能は、複数のソースコイルと、内視鏡挿入形状観測装置3に設けられた複数のセンスコイルを有するセンスコイルユニット31とからなっている。尚、複数のソースコイルは、内視鏡の挿入部21aに、内視鏡の種類ごとに決定される所定間隔に配置されている。
【0023】
ビデオプロセッサ22は、電子内視鏡21の電子撮像素子を駆動制御する。さらに、ビデオプロセッサ22は、電子撮像素子により光電変換されて撮像生成された動画の映像信号を所定の信号処理を行い、輝度信号と色信号からなるY/C信号または、RGB信号等を生成する。
【0024】
そのビデオプロセッサ22により生成された輝度信号と色信号からなるY/C信号または、RGB信号は、観察モニタ24と画像処理装置4へと直接出力されるようになっている。
また、ビデオプロセッサ22は、内視鏡21のレリーズスイッチ25が操作されると、撮像画像の静止画像の出力指示が可能となっている。
尚、ビデオプロセッサ22には、内視鏡検査に関する検査情報を入力する図示しない機能を有している。
【0025】
光源装置23は、照明光源である図示しないランプと、そのランプの図示しない点灯回路等からなっている。光源装置23は、ランプ点灯時に投射された照明光を電子内視鏡21のライトガイドへと供給し、照明光は、挿入部21a先端から管腔の観察部位へと投射される。
【0026】
観察モニタ24は、前記ビデオプロセッサ22において生成されたY/C信号またはRGB信号等を基に、内視鏡画像を表示するものである。
【0027】
内視鏡挿入形状観測装置3は、内視鏡装置2の周辺装置であり、センスコイルユニット31と、形状処理装置32と、モニタ33とから構成されている。センスコイルユニット31は、電子内視鏡21の挿入部21aに設けられた複数のソースコイルからの磁界を検出するユニットである。形状処理装置32は、そのセンスコイルユニット31によって検出された磁界に基づいて内視鏡挿入部の形状を推定する装置である。モニタ33は、その形状処理装置32によって推定された内視鏡挿入部の形状を表示する装置である。
【0028】
形状処理装置32は、ソースコイルを駆動する駆動信号を電子内視鏡21に出力してソースコイルに磁界を発生させる。形状処理装置32は、発生された磁界を検出したセンスコイルユニット31からの検出信号に基づいて、各ソースコイルの位置座標データの算出し、その算出された位置座標データから内視鏡挿入部の形状を推定している。また、形状処理装置32は、推定した内視鏡挿入部の形状をモニタに表示するための挿入部形状画像信号を生成する。さらに、形状処理装置32は、画像処理装置4に出力する内視鏡挿入部の形状を示す3次元座標情報および、形状表示属性等の挿入形状データを生成するように構成されている。
【0029】
以上のように、複数のソースコイル、センスコイルユニット31、形状処理装置32が形状検出手段を構成している。
【0030】
尚、内視鏡挿入形状観測装置3において、形状処理装置32により処理生成されてモニタ33に表示される挿入部形状画像の回転角および、拡大縮小等の形状表示属性は、図示しない操作パネルからの指示入力により、変更可能となっている。
さらに、形状処理装置32により生成された挿入形状データは、画像処理装置4へ出力可能となっている。
尚、内視鏡挿入形状観測装置3は、内視鏡検査中、挿入形状データを連続的に画像処理装置4へ出力するとともに、電子内視鏡21に設けられているレリーズスイッチ25の操作時の挿入形状データのみを出力することもできる。
【0031】
画像処理装置4は、パーソナルコンピュータ41(以下、単にPCと称する)と、マウス42と、キーボード43とから構成されている。マウス42とキーボード43は、PC41に各種指示入力するための入力装置である。ディスプレイ44は、PC41により処理された各種情報データおよび画像情報を再生表示する装置である。また、表示手段としてのディスプレイ44は、電子内視鏡21が撮像した内視鏡画像と、形状処理装置32が検出した内視鏡挿入部の形状とを1つの画面上に表示するようになっている。
【0032】
さらに、PC41は、通信ポート41aと、通信ポート41bと、動画像入力ボード41cとを有している。通信ポート41aは、内視鏡挿入形状観測装置3の形状処理装置32の通信ポート32aから出力される挿入形状データを、取り込むようになっている。
形状解析手段としてのPC41は、後述のように、挿入形状データ等を基に、内視鏡挿入を阻害している特定位置等を算出、すなわち解析して求めるようになっている。
【0033】
通信ポート41bは、内視鏡装置2のビデオプロセッサ22の通信ポート22aから出力される内視鏡検査情報を取り込むようになっている。
動画像入力ボード41cは、内視鏡装置2のビデオプロセッサ22において生成された動画映像信号を所定の圧縮画像データに変換するものである。
つまり、画像処理装置4の動画像入力ボード41cには、ビデオプロセッサ22により生成された動画像の映像信号が入力される。そして、動画像入力ボード41cは、その動画像の映像信号を所定の圧縮動画映像信号データ、例えばMJPEG形式の圧縮画像データに変換する。変換された圧縮画像データは、PC41の図示しない記録装置に保存される。
【0034】
尚、一般的には、内視鏡検査開始前には、ビデオプロセッサ22から、内視鏡検査に関する検査情報が入力される。その入力されたデータをもとに、検査情報が、観察モニタ24に文字および数字の情報として表示される。さらに、その検査情報データは、通信ポート22aから通信ポート41bを介して、画像処理装置4に送信し記録することも可能である。
また、検査情報とは、例えば、患者の氏名、生年月日、性別、年齢、患者コードなどである。
つまり、画像処理装置4は、必要に応じてビデオプロセッサ22と接続して、ビデオプロセッサ22からの各種情報データを受信し保存するようになっている。
【0035】
次に、内視鏡挿入形状観測装置3における挿入形状データの生成について説明する。
内視鏡挿入形状観測装置3は、電子内視鏡21の電子撮像素子により撮像される撮像映像信号の1フレームごとに、電子内視鏡21の挿入部21aに内蔵されたM個のソースコイルの3次元座標を含む挿入形状データを生成する。内視鏡挿入形状観測装置3は、その挿入形状データをもとに挿入部形状画像を生成して、モニタ33に表示するとともに、挿入形状データを画像処理装置4に出力供給する。
【0036】
図2に示すように、電子内視鏡21の挿入部21aに挿入形状推定のためのM個のソースコイルが内蔵されている。そして、各ソースコイルの位置が、参照点を構成している。内視鏡挿入形状観測装置3において検出するソースコイルの座標系は、第jフレームの挿入部21a先端から数えてm番目のソースコイルの3次元座標を、次の式1で表されるようになっている。
【数1】
【0037】
ただし、m=0,1,…,M−1である。また、jは、電子撮像素子により撮像された撮像映像信号の第jフレームを表している。
【0038】
内視鏡挿入形状観測装置3により検出されたソースコイルの座標系を示す挿入形状データの構造は、図3に示すような構造であり、1つのフレームに関係するデータが1つのパケットとして送信される。1つのパケットは、フォーマット種別情報、挿入形状データの作成時刻、表示属性情報、付属情報、ソースコイル座標のデータから構成されている。
【0039】
本実施の形態においてフォーマット種別とは、挿入形状データ作成時刻、表示属性、付属情報、コイル座標のそれぞれに割り当てるデータサイズを規定するものである。また、データサイズの規定とは、内視鏡の種類ごとに決定されるソースコイルのデータ数、挿入形状データ作成時刻、コイル座標の精度、表示属性や付属情報に含まれる情報量の規定を意味する。
【0040】
ここで、ソースコイルは、挿入部21a先端から挿入部21aの基端側に設けられている操作部21c側に向かって、順に並んで配置されている。つまり、それらソースコイルの座標データは、電子内視鏡21の挿入部21aに内蔵されているソースコイルの3次元座標である。尚、内視鏡挿入形状観測装置3が検出範囲外とするソースコイルの座標は、3次元座標(0,0,0)が設定されるようになっているものとする。
【0041】
次に、図5のフローチャートを用いて、画像処理装置4における処理フローについて説明する。すなわち、内視鏡装置2のビデオプロセッサ22からの検査情報と内視鏡画像、および内視鏡挿入形状観測装置3の形状処理装置32からの挿入形状データについての処理内容である。
【0042】
その処理動作は、画像処理装置4に設けられた検査用アプリケーションプログラム(以下、アプリケーションプログラムを単にアプリケーションという)をPC41において展開し実行させることにより実現する。
内視鏡検査を始めるにあたり、ビデオプロセッサ22では検査情報を入力し、画像処理装置4のPC41は検査用アプリケーションを起動する。その検査用アプリケーションが起動すると、ディスプレイ44には、図4に示す解析ウインドウ50が表示されるように構成されている。ただし、図4は、挿入形状データを処理している最中の表示内容を示している。
【0043】
ここで、図4を参照して、まず前提となる解析ウインドウ50について説明する。
解析ウインドウ50は、ファイルメニュー51、警告情報表示領域52、検査情報表示領域53、内視鏡画像表示領域54、内視鏡挿入形状表示領域55、付属情報表示領域56、表示パラメタチェックボックス57、解析値表示領域58、時系列グラフ領域59、時系列サブ情報表示領域60、スライダー61、開始ボタン62および、停止ボタン63を含んでいる。
時系列グラフ領域59と時系列サブ情報表示領域60のX軸は、時間軸であり、図4の左右方向である。時系列グラフ領域59と時系列サブ情報表示領域60は、挿入形状データを取得するごとに、すなわち経時的に、点のプロットを行いながら、プロット位置を図4の右方向に移動させてグラフを作成する領域である。プロットする点のY軸方向の位置は、画像処理装置4のPC41が算出した内視鏡挿入部21aの形状をあらわす特徴量の値によって決定される。本実施の形態では、内視鏡画像処理装置4が算出したアングル、挿入長、特定位置としての停止コイル位置をプロットする。すなわち、算出された特定位置がグラフにより視覚化されるように処理される。それぞれ、Y軸のスケール、0点位置が個別に設定される。尚、Y軸方向は、図4の上下方向である。
【0044】
表示パラメタチェックボックス57の選択肢として、本実施の形態ではアングル、挿入長、及び停止コイル位置がある。そのチェックボックスをチェックすることにより、時系列グラフ領域59に表示するパラメタの種類を選択する。
アングル、挿入長の各パラメタに関する算出手法は、従来技術である特開2004−147778号公報における手法と同等である。
【0045】
次に、停止コイル位置に関する算出手法について、以下に詳述する。
解析ウインドウ50のファイルメニュー51を選択すると、画像処理装置4が過去に記録した挿入形状ファイルと、画像ファイルとを選択するための、図示しない選択ウインドウが表示され、各々のファイルを選択して読み込むことが可能である。挿入形状ファイルとは、内視鏡挿入形状観測装置3が一検査内に生成した挿入形状データの集合ファイルである。画像ファイルとは、画像処理装置4の動画像入力ボード41cが生成した圧縮画像データの集合ファイルである。
【0046】
画像処理装置4のPC41に検査用アプリケーションが展開されて実行されると、ステップS1において、PC41は、アプリケーションの初期化情報を初期化ファイルから読み込む。尚、初期化ファイルは、PC41の図示しない記憶装置にあらかじめ記憶されている。そして、PC41は、読み込んだ初期化ファイルの情報をPC41内の図示しないメモリ上に記憶した後、ディスプレイ44に解析ウインドウ50を表示する。
【0047】
本実施の形態では、初期化情報として、電子内視鏡システム1において使用可能な電子内視鏡21の名称と、挿入形状データのフォーマット種別ごとのデータサイズ情報とを含んでいる。さらに、初期化情報としては、電子内視鏡21の挿入部21aを直線化した際のソースコイル間の距離と、形状解析処理に使用するパラメタとを含んでいる。尚、ソースコイル間の距離は、以下、ソースコイル間距離情報と称する。
またさらに、初期化情報として、解析ウインドウ50のディスプレイ44上における表示位置座標も含んでいる。その表示位置座標に基づいてPC41は、ディスプレイ44に解析ウインドウ50を表示する。
【0048】
ステップS2において、PC41は、ビデオプロセッサ22からの検査情報および内視鏡画像データ、内視鏡挿入形状観測装置3の形状処理装置32からの挿入形状データを受信し保存するモードに設定する。
【0049】
次に、ステップS3において、PC41は、術者がマウス42またはキーボード43を操作し、解析ウインドウ50に表示された開始ボタン62が押下されたか否かを判断する。開始ボタン62が押下されるまで待機し、押下されるとステップS4以降が実行される。
【0050】
ステップS4において、PC41は通信ポート41aを開き、内視鏡挿入形状観測装置3との通信を開始する。さらにステップS5において、PC41は通信ポート41bを開き、ビデオプロセッサ22との通信を開始する。
【0051】
ステップS6において、PC41は、ビデオプロセッサ22に対して、検査情報の取得コマンドを通信ポート41bからビデオプロセッサ22の通信ポート22aに送信する。その検査情報取得コマンドを受信したビデオプロセッサ22は、検査情報をPC41へと送信する。
【0052】
PC41は、ステップS6においてビデオプロセッサ22から送信された検査情報を、ステップS7において、図示しない記録装置に記録し保存するとともに、解析ウインドウ50の検査情報表示領域53に表示する。
【0053】
ステップS8において、PC41は、通信ポート41aから内視鏡挿入形状観測装置3の形状処理装置32の通信ポート32aに対して、挿入形状データの取得コマンドを送信する。その挿入形状データ取得コマンドを受信した形状処理装置32は、挿入形状データの送信出力を開始する。その送信は、PC41と形状処理装置32の間の通信が終了し、通信ポート32aが閉じられるまで続けられる。ステップS8は、形状検出手順を構成している。
【0054】
ステップS9において、PC41は、ステップS8における形状処理装置32から送信出力された挿入形状データを受信する。そして、PC41は、受信した挿入形状データと、ステップS7において記録し保存した検査情報とを関連付けて、PC41に設けられている図示していない記録装置に挿入形状ファイルとして記録し保存する。また同時に、PC41内の図示しないメモリ上に、挿入形状データを随時記録する。
【0055】
PC41は、ステップS10において、ビデオプロセッサ22から入力された動画映像信号を動画像入力ボード41cによりMJPEG形式の圧縮画像データに変換させる。さらにPC41は、その圧縮画像データとステップS7において記録保存した検査情報と関連付けて、PC41の図示しない記録装置に画像ファイルとして保存するとともに、動画像入力ボード41cに入力されている動画像を解析ウインドウ50の内視鏡画像表示領域54に表示させる。
【0056】
PC41は、ステップS11において、図6に示す各ステップの解析処理を実行する。その解析処理が終了すると、PC41は、ステップS12において、解析ウインドウ50の停止ボタン63が押下されたか否かを判断し、停止ボタン63が押下されていないと判定されるとステップS8に戻るとともに、解析ウインドウ50のスライダー61を1ステップ右に移動させる。
停止ボタン63が押下されたと判定されると、PC41はステップS13において、通信ポート41aと通信ポート41bとを閉じて、内視鏡挿入形状観測装置3とビデオプロセッサ22との情報データの通信を終了する。
【0057】
次に、図6を用いて、ステップS11から続く形状解析の処理フローを説明する。
ステップS21において、PC41は、挿入形状データのフレームパケットのフォーマット種別情報と、付属情報に含まれる内視鏡種類情報とを取得する。
PC41は、取得した挿入形状データのフォーマット種別に基づいて、図5のステップS1においてメモリ上に保持している、フォーマット種別に対応したフレームパケットに含まれる情報のデータサイズ情報を取得し、挿入形状データのフレームパケットを各データに分解処理する。フォーマット種別の名称は、解析ウインドウ50の付属情報表示領域56に表示する。
【0058】
また、PC41は、前記分解処理によって生成した付属情報から電子内視鏡21の名称を取得し、解析ウインドウ50の付属情報表示領域56に表示する。とともに、PC41は、取得した電子内視鏡21の名称に基づいて、図5のステップS1にてメモリ上に保持している、電子内視鏡21の名称に対応したソースコイル間距離情報を取得する。
【0059】
ステップS22において、PC41は、図5のステップS9にて図示しないメモリに記録しておいた挿入形状データの中から、前フレームのパケットに含まれる挿入形状データ作成時刻を取得する。
ステップS23において、PC41は、ステップS24以降からステップS32までにおいて実施する形状解析手順としての形状解析処理において使用されるパラメタの補正を行う。
【0060】
補正するパラメタの種類は2種類ある。1つのパラメタは、電子内視鏡21の特性または設計値に依存するパラメタである。本実施の形態では、ソースコイル間に設定した参照点の座標位置をコイル間距離の比率により指定するパラメタである。尚、そのパラメタは、以下、内視鏡特性依存パラメタと称する。
もう1つのパラメタは、フレームパケットの受信間隔に依存するパラメタであり、本実施の形態では、時間あたりの移動量をあらわすパラメタである。尚、そのパラメタは、以下、時間依存パラメタと称する。
【0061】
内視鏡特性依存パラメタは、図5のステップS1において取得したソースコイル間距離情報に基づいて補正される。
また、時間依存パラメタは、図6のステップS22において取得した前フレームの挿入形状データ作成時刻と、現在処理中のフレームの挿入形状データ作成時刻との差分、すなわち形状処理装置32によって検出された検出結果である挿入形状データ作成時刻に基づいて算出される前フレームからの経過時間、に基づいて補正される。
これら各パラメタの補正処理内容とパラメタの使われ方に関する説明は、内視鏡特性依存パラメタについては後述のステップS25において、時間依存パラメタについては後述のステップS28において詳述する。
【0062】
ステップS24において、PC41は、図5のステップS9において図示しないメモリに記録しておいた挿入形状データの中から、前フレームのパケットに含まれるコイル座標
(Xj-1m,Yj-1m,Zj-1m)を取得し、次の式2から現在処理中のフレームのソースコイル座標(Xjm,Yjm,Zjm)との差分ベクトルDmを求める。
【数2】
【0063】
ここで、jは、現在のフレームシーケンス番号を示し、mは、内視鏡挿入部21a先端から数えたコイル番号を示す。
前述のとおり、内視鏡挿入形状観測装置3の検出範囲外のソースコイル、すなわち内視鏡挿入部21aのうち生体に挿入されていない位置にあるソースコイルのコイル座標は、(0,0,0)である。前フレームのソースコイル座標または現在処理中のフレームのソースコイル座標の少なくとも一方が(0,0,0)である場合には、Dm=(L,L,L)とする。ここで、Lは、座標値の精度範囲内においてとり得る十分大きな数であって、センスコイルユニット31の検出範囲内では取り得ることのない数である。
【0064】
ステップS25において、PC41は、現在処理中のフレームのソースコイル座標の軸方向ベクトルAmを、次式3により算出する。
【数3】
【0065】
ただし、X'jm、Y'jm、Z'jmは、コイル座標(Xjm、Yjm、Zjm)から内視鏡挿入部21aに沿って1mmの距離だけ内視鏡挿入部21aの基端側にある点の3次元座標のX,Y,Z方向それぞれの成分とする。
【0066】
現在処理中のフレームのソースコイルが検出範囲外にある場合、すなわちコイル座標(0,0,0)である場合には、Am=(L,L,L)とする。尚、Lは、座標値の精度範囲内でとり得る十分大きな数であって、センスコイルユニット31の検出範囲内では取り得ることのない数である。
【0067】
ここで、X'jm、Y'jm、Z'jmの各値の算出方法について説明する。
m番目のソースコイルと、m+1番目のソースコイルの間の補間点は、補間手法として広く知られるCatmull Rom曲線方程式を求めることにより算出可能である。Catmull Rom曲線方程式は、tを変数とするパラメトリック曲線であり、t=0のときm番目のソースコイル位置を示す座標値をとり、t=1のときm+1番目のソースコイル位置を示す座標値を取る。その中間にある補間点は、tにコイル間距離の比率を代入することにより算出可能である。
【0068】
ここで、m番目のソースコイルから1mmの距離だけ内視鏡挿入部21aの基端側にある点を求めるためには、電子内視鏡21の設計値であるコイル間距離に基づいて、ソースコイル間距離の比率tを決定するように補正する必要がある。
【0069】
そこで、図6のステップS23において、図5のステップS1において取得したソースコイル間距離情報に基づき、各ソースコイル間距離に応じてtの補正値t’を決定する。その算出式を次の式4に示す。
t'=t×(ソースコイル間距離/10) ・・・式4
ここで、補正前のtと補正前に想定しているソースコイル間距離はそれぞれ、0.1と10mmであり、実際の電子内視鏡21のソース間距離に応じてt'が、注目するソースコイルから1mmずれた位置を示すように設定している。
【0070】
ステップS26において、PC41は、ステップS25において算出した軸方向ベクトルAmの方向への推進量Tmを、次式により、ステップS24において算出したコイル座標差分ベクトルDmを軸方向ベクトルAmに射影することにより算出する。すなわち、推進量Tmは、次の式5により求められる。
Tm=|Dm|cosθm ・・・式5
ここで、cosθm=Dm・Am/ |Dm||Am|
ステップS27において、PC41は、形状解析に有効な値を有するソースコイル番号の最大値であるMmaxを求めてループ変数iに代入する。ただし、Mmax<M−1である。
ここで、Mmaxを求める処理手順について説明する。
ステップS24、およびS25の処理の結果、ソースコイル番号0からソースコイル番号Mmaxまでのコイルに対応するDm、Amは、形状解析に有効な値として(L,L,L)以外の値を保持している。さらに、ソースコイル番号Mmax+1からコイル番号M−1までのDm、Amでは、内視鏡挿入形状観測装置3のセンスコイルユニット31の検出範囲外の値を示す(L,L,L)の値を保持している。
【0071】
そこで、ステップS27において、PC41は、ソースコイル番号0から順次Dm、Amの値が(L,L,L)であるか否かを判定し、最初に(L,L,L)の値を保持するときのソースコイル番号から1を引いた値をMmaxと設定して、ループ変数iに代入する。
【0072】
ステップS28、ステップS29、ステップS30において、PC41は、軸方向の推進量Tm、iに対する判定処理を含むループ処理を行う。
ステップS28において、PC41は、軸方向の推進量Tiが−ε以下であるか否かを判定する。尚、−εは負の値である。
ここで、閾値として使用する定数εについて説明する。
εの値は、図5のステップS1において初期化情報の形状解析処理パラメタとして取得した値のうちの1つであるε0に対し、図6のステップS23において補正を行った値である。
【0073】
ε0は、術者が挿入操作を行ったとみなせるソースコイルの移動量を、1秒あたりのソースコイル移動距離により表した値である。そのε0を、1フレームあたりのソースコイル移動距離に補正した値がεである。その算出式は、次の式による。すなわち、
ε=ε0×(前フレームからの経過時間) ・・・式6
である。
【0074】
ここで、前フレームからの経過時間の単位として秒を使用する。内視鏡挿入形状観測装置3における挿入形状データのフォーマット設定が相違することおよび、内視鏡挿入形状観測装置3の形状処理装置32の挿入形状データ生成速度が一定値とはならない。そのことから、1フレームにかかる時間は、挿入形状データの取得ごとに変化するため、閾値として使用するパラメタの補正処理を図6のステップS28において実施したのである。
【0075】
もし、軸方向の推進量Tiが閾値−ε以下であれば、術者は内視鏡挿入部21aの引き抜き動作を行っているとみなし、ループを抜ける。
Tiが−ε以下でなければ、次のステップS29に進み、軸方向の推進量Tiが−εよりもおおきくかつ、εよりも小さいか否か、つまり−ε<Ti<εであるか否を判定する。もし、その判定が肯定されれば、ソースコイル位置iにおいて推進が停止しているとみなし、ステップS31に進む。そして、ソースコイル位置iにおいて軸方向の推進が停止していることを表す情報を、図示しないメモリ上に保持する。その後、前記ループを抜ける。尚、推進が停止していることを表す情報は、以下、推進停止情報と称する。
【0076】
また、ステップS29において、−ε<Ti<εでない場合、ステップS30に進む。そのステップS30においては、i=0であるか否かを判定する。i=0である場合には、内視鏡挿入部21aの最先端のソースコイルに対して判定終了済みであることを意味するため前記ループを抜ける。
また、i≠0である場合には、ステップS32において、iから1を引く処理を行う。すなわち、先端側に1つ位置をずらしたソースコイル番号となるようにiを変更して、ステップS28から始まる処理ループを再実行する。
【0077】
つまり、ステップS28、S29、S30のループは、内視鏡挿入形状観測装置3の検出範囲内にあるソースコイルに対して、以下の判定を行っていることを意味する。すなわち、術者が内視鏡挿入部21aを挿入し、その挿入力が内視鏡挿入部21aのソースコイル位置に伝わって、対象となるソースコイルが、そのソースコイルの向いている方向に進んでいるか止まっているかを、挿入部21a基端側から順に判定している。
【0078】
ステップS33において、PC41は、内視鏡挿入部21aを2次元投影した挿入部形状画像を生成し、ディスプレイ44上の解析ウインドウ50の内視鏡挿入形状表示領域55に表示する。尚、その画像は、内視鏡挿入形状観測装置3が生成してモニタ33上に表示する挿入部形状画像と同等のものである。
【0079】
ステップS34では、PC41は、ステップS31において図示しないメモリに保持した推進停止情報を元にして、推進停止とみなせるソースコイルがある場合には、マーカーを重畳表示する。具体的には、PC41は、解析ウインドウ50の内視鏡挿入形状表示領域55内に表示した挿入部形状画像の当該ソースコイル位置を指し示す、「推進停止」と記述したマーカーを重畳表示する。図7には、内視鏡挿入部のうち例えば屈曲して推進停止した位置に、マーカーである「推進停止」の判定結果情報である文字表示部を表示した形状図を示している。
以上のように、ステップS33、およびS34が、指示表示手順を構成している。特に、ステップS34は、特定位置又は特定部分を指示する指示手段を構成する。
【0080】
ステップS35において、PC41は、解析ウインドウ50の表示パラメタチェックボックス57の停止コイル位置にチェックがあるか否かを判定する。もし停止コイル位置にチェックがある場合には、以下の処理を行う。
図6のステップS31において、図示しないメモリに保持した推進停止情報を元にして、推進停止とみなせるコイルがある場合には、当該コイル番号およびフレーム時間に基づく点を、解析ウインドウ50の時系列グラフ領域59にプロットしたのち、次にプロットすべき点の位置を1つ右にずらす。
【0081】
時系列グラフ領域59に表示するグラフのX軸は、1フレーム時間を単位とする時間軸であり、グラフのY軸は、停止コイルの位置を示す軸である。グラフの原点は(0,−1)であり、停止したコイルが存在しない場合には−1をプロットする。
【0082】
また、時系列サブ情報表示領域60には、停止したコイルが存在する場合には、全てのY軸上の点をプロットし、停止したコイルが存在しない場合には点のプロットを行わない。よって、プロットされた点の存在は、停止したコイルが存在するというマーカーとして機能し、さらにその停止コイルのフレーム位置を示すマーカーとしても機能する。
【0083】
尚、他のパラメタ、すなわち本実施の形態ではアングル、挿入長における処理も、Y軸のスケールと原点位置の相違以外は、本ステップにおける時系列グラフ領域59への点のプロット処理と同様の処理を実施する。尚、プロットするX軸位置が、時系列グラフ領域59の右端を越える場合には、プロットの表示位置を時系列グラフ領域59の左端に移動して、プロット処理を継続する。以上の処理を行った後、図5のステップS12に戻る。
【0084】
以上の処理によれば、電子内視鏡の挿入部形状画像に、術者が内視鏡の挿入動作を行っているのに内視鏡挿入部21aの軸方向の推進量が零となり、推進が停止する位置、すなわち挿入阻害要因となっている位置にマーカーを重畳表示する。そのため、術者は、推進停止した位置に応じた手技を即座に判断して実行することができ、内視鏡挿入を容易にする。
【0085】
また、挿入形状に関するパラメタを時系列グラフとして定量的に表示するため、手技の操作履歴を容易に即座に確認することができ、内視鏡操作の分析、習得に役立つ。例えば、ある手技をAという操作量で行っても先端が進まなかった場合、同一の手技をBという操作量により再試行する、という操作量に関する判断が可能になる。
【0086】
第1の実施の形態によれば、内視鏡挿入部21aのいずれの個所において推進が停止し、つまり挿入阻害要因となっている特定位置であるかを提示することにより、術者が阻害個所とその形状に基づき対処操作を正確に判断することが可能になり、術者の内視鏡挿入が容易になる。さらに、第1の実施の形態によれば、内視鏡の種類および、内視鏡形状データの種類に応じて、パラメタを補正して正確な解析結果を提示するため、解析結果及び提示情報に誤差が生じないので、前記同様に、術者の内視鏡挿入が容易になる。
【0087】
また、本実施の形態によれば、内視鏡形状に関するパラメタを時系列グラフとして定量的に提示することにより、術者の自己の内視鏡操作に対する分析が容易になり、術者の内視鏡挿入技能の向上が見込まれる。
【0088】
尚、本実施の形態では、検査時の実際の内視鏡操作と同期した画像処理装置の作用を説明したが、解析ウインドウ50のファイルメニュー51から、挿入形状ファイルと、画像ファイルとを指定して読み込み、解析ウインドウ50の開始ボタン62を押すことにより、当該ファイルの検査時の挿入操作および画像ファイルを同期再生して、記録した検査時の内視鏡操作を再現するように、構成してもよい。その場合には、挿入形状ファイル内の挿入形状データを記録時刻順に処理することにより、検査時と同様の情報提示を行うことを実現する。
【0089】
さらに、挿入動作を行っているのに推進停止とみなせるコイルがある場合には、解析ウインドウ50の警告情報表示領域52に、「警告:これ以上挿入することはできません」という文字情報を術者に提示してもよい。また、文字情報による警告だけではなく、警告音声または、警告効果音を鳴らすようにしてもよい。
本実施の形態では、生体への内視鏡挿入による検査を想定して説明しているが、内視鏡挿入手技訓練用の内視鏡シミュレータに対して適用してもよい。
【0090】
次に、第1の実施の形態の第1の変形例について説明する。
第1の実施の形態では、内視鏡挿入部21aに内蔵するソースコイルの位置ごとに、挿入動作を行っているのに推進停止しているか否かを判定していた。しかし、推進停止は、ソースコイルの位置のみに発生するものではなく、その中間の位置においても発生する可能性が高い。
【0091】
そこで、本実施の形態の変形例では、図6のステップS24においてPC41は、ソースコイル位置座標に限らず、ソースコイル間の一定比率にある座標位置の差分ベクトルを求めるものとする。尚、一定比率にあるそれら座標位置も、参照点を構成する。その座標位置の算出処理は、図6のステップS25において、Catmull Rom曲線方程式を用いた補間点算出と同様の処理に基づいて行われる。
例えば、本実施の形態の変形例においては、Catmull Rom曲線方程式のパラメタtの値を、0.25、0.5、0.75として、ソースコイル間に3点の補間点を設定して座標値を求め、各補間点のフレーム間の差分ベクトルDmを求めるものとする。
【0092】
また、図6のステップS25において、PC41は、図6のステップS24において算出した各補間点位置における軸方向ベクトルAmを求めるものとする。曲線方程式に代入するtの値は、各補間点についてそれぞれ、0.25+t'、0.5+t'、0.75+t'とすることにより算出する。
【0093】
以上により、ソースコイル点群に補間点群を追加して、内視鏡挿入形状観測装置3の検出範囲内にあるソースコイル点および補間点に対して、以下の判定を行う。すなわち、挿入部21a基端側から順に、内視鏡挿入部21aを挿入操作した際に、前記図6のループにおいて、該当する点が、内視鏡挿入部21aの軸方向に進んでいるか止まっているかを判定する。
【0094】
本第1の変形例により、より正確な挿入阻害要因位置を術者に提示することが可能となる。
【0095】
次に、第1の実施の形態の第2の変形例について説明する。
図8は、第1の実施の形態の第2の変形例に係り、内視鏡形状を色分け等の着色をして表示した形状図である。図8は、算出した移動量の値に応じて、挿入形状の図において対応する位置または部分を、色分け等により視覚化した例を示すものである。なお、図8は、斜線により色の違いを示している。
第2の変形例は、図6のステップS33における2次元投影の内視鏡形状画像表示に関する変形例である。
図6のステップS26では、ソースコイル位置と、ソースコイル間に設定した補間点とにおける軸方向推進量Tmを算出している。
【0096】
本実施の形態の第2の変形例では、図6のステップS33において、軸方向推進量Tmの値ごとに色をつけて、内視鏡形状を表示する。そして、本第2の変形例では、1秒あたりの軸方向推進量Tmを以下のようにカテゴリー分けする。そのカテゴリーは、軸方向推進量Tmが、12mm以上、12mm以下から9mm未満、9mm以下から6mm未満、6mm以下から3mm未満、3mm以下から−3mm未満の各値の範囲ごとに分ける。さらに、軸方向推進量Tmが、各カテゴリー範囲にある内視鏡挿入部21aの断片言い換えると部分を値が大きい方から、赤からグレイにかけて徐々に彩度が落ちるように色をつけて表示する。
【0097】
さらに、、逆方向の推進量として、軸方向推進量Tmが、−12mm以下、−12mm以上から−9mm未満、−9mm以上から−6mm未満、−6mm以上から−3mm未満の各値の範囲ごとにカテゴリー分けする。そして、軸方向推進量Tmが、各カテゴリー範囲にある内視鏡挿入部21aの断片言い換えると部分を、値が小さい方から、青からグレイにかけて徐々に彩度が落ちるように色をつけて表示する。図8には、推進量のカテゴリーに応じて、異なる色と彩度により挿入部形状画像を表示した形状図である。
【0098】
本実施の形態の変形例によれば、内視鏡挿入部21aの部分ごとに、挿入力の減衰がどの程度起こっているかを段階量として確認可能であるため、内視鏡挿入部21aの挿入阻害要因をより詳細に分析することが可能となる。
【0099】
尚、本実施の形態変形例では、彩度による色分けを行ったが、色相や、明度、術者が独自に定義可能なカラーマップに基づく色分けを行ってもよい。
【0100】
第2の変形例によれば、内視鏡形状に関するパラメタの値に応じて内視鏡形状を色分け表示するため、術者の自己の内視鏡操作に対する分析が容易になり、術者の内視鏡挿入技能の向上が見込まれる。
【0101】
(第2の実施の形態)
図9および図10は、第2の実施の形態に係り、図9は、推進停止−逆進に対応したフローチャート図、図10は、挿入部形状画像に「推進停止−逆進」の文字表示部が重畳表示された形状図である。
【0102】
第1の実施の形態では、挿入している際に内視鏡挿入部21aの軸方向に対する推進が停止している現象を検出して、術者に提示する構成であった。
ここで、推進停止現象についてさらに詳細に分析すると、以下の2種類に大別される。
1つは、推進停止位置から内視鏡挿入部21a先端にかけて、軸方向に対する推進が停止している状態である。
もう1つは、推進停止位置から内視鏡挿入部21a先端にかけて、軸方向に対して逆進している状態である。後者の現象は、一般にはステッキ現象として広く知られている。ステッキ現象は、内視鏡挿入部21aがステッキ状に180度近く屈曲し、その屈曲位置で生体壁を押し込むことにより発生する。
【0103】
屈曲位置においては、挿入部軸方向に対しておよそ90度の方向に移動しているため、軸方向への推進が停止しているとみなせる。屈曲位置より先端側では、挿入部21aが、屈曲位置において体壁に向かって押し込んでいるために軸方向に逆進しているとみなせる。ステッキ現象が発生している時には、術者は特別な手技をおこない、ステッキ現象の解除を行う場合がある。例えば、体外から屈曲位置を手によって圧迫した状態を保ち、体壁を押し込んでも体壁が動かないように固定して、生体が内視鏡挿入部21aに与える反発力をコントロールする。そして、その反発力を先端への推進力に変換して、内視鏡挿入部21a先端を進める手法がある。
【0104】
第1の実施の形態では、内視鏡挿入部21aの軸方向に対する推進停止位置を提示したが、その推進停止現象がステッキ現象に相当するのかを術者に提示していなかった。そこで、第2の実施の形態では、特定部分としてのステッキ現象の検出を実現する。その他、第1の実施の形態と同様の構成は、同じ符号を付して説明を省略する。
【0105】
第2の実施の形態についての処理フローは、第1の実施の形態のステップS31における処理を、図9に示す処理フローに置き換えている。
図6のステップS29においてPC41による判定処理が肯定された場合に、図9のステップS41においてPC41は、ループ変数jに対して、図6のステップS29において判定処理に使用したソースコイル番号iを代入する。
【0106】
図9のステップS42において、PC41は、j−1番目のソースコイルにおける判定処理を行う。判定処理は、第1の実施の形態において図6のステップS28において行った判定と同様である。すなわち、Tj-1が−ε以下であるか否かを判定するものである。
Tj-1が−ε以下である場合には、ソースコイル番号j−1の位置において、内視鏡挿入部21aは軸方向に逆進していることを意味する。よって、図9のステップS44においてPC41は、コイル位置jにおいて軸方向の推進が停止しかつ、先端側では逆進していることを表す情報を、図示しないメモリ上に保持させる。尚、前述の情報は、以下、推進停止−逆進情報と称する。
【0107】
一方、Tj-1が−ε以下ではない場合には、ステップS43にてjが1であるか否かを判定する。
jが1である場合には、注目するソースコイルにおいて、その先端側に別のソースコイルが存在する全ての場合について当該コイルの推進方向判定、つまり前記ステップS42における判定を終了しており、先端側にあるソースコイルは逆進していなかったとみなせる。そのため、ステップS45において、推進停止情報を図示しないメモリ上に保持させたのち、図6のステップS33に戻る。
また、jが1ではない場合には、ステップS46において、jから1を減じて図6のステップS42にループパックする。
【0108】
図6のステップS34においてPC41は、図9のステップS44またはステップS45において図示しないメモリに保持した推進停止情報または推進停止−逆進情報を元にして、以下のようにマーカーを重畳表示する。すなわち、推進停止−逆進とみなせるソースコイルがある場合には、解析ウインドウ50の内視鏡挿入形状表示領域55内に表示した挿入部形状画像の当該コイル位置を指し示す、「推進停止−逆進」と記述したマーカーを重畳表示する。図10には、内視鏡挿入形状表示領域55内に、マーカーとして「推進停止−逆進」の文字表示部を表示した形状図を示している。
一方、推進停止とみなせるソースコイルがある場合の処理は、第1の実施の形態における動作と同様である。
【0109】
また、前記第1の変形例と同様に、ソースコイルの位置だけではなく、ソースコイル間に設定した補間点の位置に対しても、図9に示す判定処理を適用してもよい。その場合には、より正確な挿入阻害要因位置を術者に提示することが可能となる。
【0110】
また、前記第2の変形例と同様に、各ソースコイル位置およびソースコイル間に設定した補間点の位置における、軸方向の推進量を分類したカテゴリーに基づき、内視鏡挿入部21aの部分ごとの色分け表示を行ってもよい。
【0111】
さらに、挿入動作を行っている際に、逆進停止とみなせるコイルがある場合には、解析ウインドウ50の警告情報表示領域52に、文字情報を術者に提示してもよい。提示する文字情報は、例えば、「警告:先端が逆進しています。腹部圧迫などの手技を試行してください」という内容である。
【0112】
以上の処理によれば、電子内視鏡21の挿入部形状画像に、以下の状況下において所定の位置にマーカーが重畳表示される。つまり、術者により内視鏡の挿入動作が行われているのに内視鏡挿入部21aの軸方向の推進量が零となり、さらにその先端側が逆進している場合、すなわち挿入阻害要因となっている位置にマーカーを重畳表示する。言い換えると、挿入部21aの軸方向における移動量が零となる位置を算出して、その算出された位置よりも先端側で軸方向における移動量が負になるので、その移動量が零の部分に、あるいはその先端側の部分に、所定のマーカーを重畳表示する。従って、先端が逆進しているか、停止しているかを術者は、容易に知ることができ、それぞれに適した手技を即座に判断して実行して内視鏡挿入を容易にする。
【0113】
第2の実施の形態によれば、内視鏡を挿入しても挿入部21aの軸方向に対する推進量が停止し、かつ先端が逆進する現象を検知して術者に提示する。そして、術者は、内視鏡挿入部21aの移動量に関する詳細を把握することができ、術者による内視鏡挿入が容易になる。
【0114】
(第3の実施の形態)
図11から図13は、第3の実施の形態に係り、図11は、内視鏡挿入部の局所撓みと反発力などの力の関係を示す説明図、図12は、局所撓みに対応したフローチャート図、図13は、挿入部形状画像に「局所撓み」の文字表示部が重畳表示された形状図である。
【0115】
第1、第2の実施の形態においては、内視鏡挿入部21aの軸方向に対する推進停止、さらに逆進という現象を検出していた。それらの現象が発生するには、その原因が存在する。術者は、現象発生に対して原因を推測し、その原因を解消するための内視鏡操作を行う必要がある。
【0116】
原因の1つとして、内視鏡挿入部21aの撓みによる挿入力の分散が考えられる。
内視鏡挿入部21aが生体壁から受ける力は、内視鏡挿入部21aを折れ線により近似したときの、内視鏡挿入部21aの軸方向と、生体壁とのなす角度が大きくなるほど増大する。
【0117】
例えば、図11に示すように、挿入部21aの基端側の軸方向と生体壁65との角度が大きくなるほど生体から受ける反発力が増大し、挿入に使用した力が打ち消されるとともに、接触点66における反発力増大に伴い摩擦力が増大するため、接触点66を挿入方向に、つまり図11の左右方向にずらすための力も打ち消される。
【0118】
また、内視鏡挿入部21aを棒材としてみなすと、まっすぐの棒材に対して座屈を発生させるために必要な力は大きいが、ある程度屈曲した棒材に対して座屈を発生させるための力は少ない、言い換えると少なくて済む。すなわち、棒材に対して押し込む力を与えても、座屈を発生させるための力が小さい場合には、押し込む力が座屈を発生させる力として使用されて、押し込む力が吸収されてしまい、先端に伝わる力が少なくなる。
【0119】
以上の考えに基づき、本実施の形態では、内視鏡挿入部21aの撓み量の極大位置、および、内視鏡挿入部21a全体における撓み量の蓄積量、言い換えると総和量を定量表示することを提案する。
【0120】
図12を用いて、本実施の形態における処理フローについて以下に説明する。
第1の実施の形態と、第3の実施の形態との処理フローの相違は、図5のステップS11における処理つまり図6に示す処理を、図12に示す処理フローに置き換えたことである。
【0121】
図12のステップS51において、PC41は、挿入形状データのフレームパケットのフォーマット種別情報と、付属情報に含まれる内視鏡種類情報を取得する。その処理は、第1の実施の形態と同一である。
【0122】
ステップS52において、PC41は、ステップS53以降からステップS59の間に実施する形状解析手順としての形状解析処理において使用されるパラメタの補正を行う。補正するパラメタの種類は、ソースコイル間に設定した参照点の座標位置をコイル間距離の比率により指定するための内視鏡特性依存パラメタである。補正処理内容とパラメタの使われ方に関する説明は、後述のステップS54にて詳述する。
【0123】
ステップS53において、PC41は、現在処理中のフレームのソースコイル座標の軸ベクトルAmを、次の式7により算出する。
【数7】
【0124】
ここで、Xjm(t)、Yjm(t)、Zjm(t)は、それぞれ、m番目のソースコイルと、m+1番目のソースコイルの間の補間曲線を表す、パラメトリック曲線方程式である。d/dtは、パラメトリック曲線のパラメトリック変数tに関する1次微分を表す。
【0125】
t=0における一次微分値は、t=0における位置の軸方向を示すこととなる。尚、本実施の形態では、第1の実施の形態と同様に、パラメトリック曲線方程式として、Catmull Rom曲線方程式を使用するものとする。
【0126】
ステップS54において、PC41は、ソースコイル位置から内視鏡挿入部21aに沿って基端方向に一定距離dだけ離れた位置における内視鏡挿入部21aの軸方向ベクトルA'mを算出する。その算出式は、以下の式8のようになる。
【数8】
【0127】
Xjm(t)、Yjm(t)、Zjm(t)は、前記ステップS44において使用したパラメトリック曲線方程式と同一である。
【0128】
tdは、td=d/(ソースコイル間距離)として決定する。ソースコイル間距離は、図5のステップS1において取得したソースコイル間距離情報として取得している。ソースコイル間距離は電子内視鏡21の種類ごとに異なるため、一定距離dに対して電子内視鏡21の種類ごとに補正処理したパラメタtdを使用して軸方向ベクトルA'mを求めることとなる。
【0129】
ステップS55において、PC41は、次式によってAmと、A'mとのなす角度θmを次の式9から算出する。
【数9】
【0130】
ステップS56において、PC41は、形状解析に有効な値を有するソースコイル番号の最大値であるMmaxを求めてループ変数iに代入する。Mmaxを求める手順は、第1の実施の形態と同一である。また、内視鏡挿入部21aの、特徴量である撓み量の和である総撓み量を表す変数Sを零に設定する。
【0131】
ステップS57、S58および、S59においてPC41は、θi、iに対する判定処理を含むループ処理を行う。
ステップS57において、PC41は、ソースコイル番号iにおける角度θiをSに加算する。
ステップS58において、PC41は、ソースコイル番号iにおける角度θiが閾値τ以上であるか否かを判定する。τの値は、初期化ファイル内に、形状解析処理に使用するパラメタとして記述されており、図5のステップS1において図示しないメモリ上に保持された値である。τは、電子内視鏡21の種類ごとに異なり、図12のステップS51において取得した内視鏡種類情報に基づき選択決定する。
【0132】
角度θiが閾値τ以上場合には、当該位置において局所的に撓み量が十分に大きいとみなし、ステップS60に進み、ソースコイル位置iにおいて特定位置としての局所撓みが発生していることを表す情報を、図示しないメモリ上に保持する。なお、局所撓みが発生していることを表す情報は、以下、局所撓み情報と称する。
【0133】
角度θiが閾値τよりも小さい場合には、ステップS59に進む。
ステップS59において、PC41は、i=0であるか否かを判定する。i=0である場合には、内視鏡挿入部21aの最先端のソースコイルに対して判定終了済みであることを意味するため、前記ループを抜ける。
i≠0である場合には、ステップS61おいて、iから1を引いて、すなわち先端側に1つ位置をずらしたソースコイル番号となるようにiを変更して、図12のステップS57から始まる処理ループを再実行する。
【0134】
つまり、ステップS57、S58および、S59のループは、内視鏡挿入形状観測装置3の検出範囲内にあるソースコイルに対して、挿入部21a基端側から順に、局所撓みの量が挿入を阻害するほどの大きさを有するか否かを判定することを意味する。
挿入を阻害するほどの大きさであるか否かは、ステップS58において、ソースコイル位置と、ソースコイル位置の近傍位置との角度から閾値判定する。閾値であるτは、対象となる電子内視鏡21ごとに決定する値であるため、電子内視鏡21の物理特性、つまり太さおよび軟性部材の硬度などに最適化した値となる。τは、あらかじめ電子内視鏡21の種類ごとに机上実験に基づき決定した値を使用する。
【0135】
また、前記ループ処理により、ソースコイル位置と、ソースコイル位置の近傍位置との角度の合計値Sを算出することとなる。
【0136】
ステップS62において、PC41は、内視鏡挿入部21aを2次元投影した挿入部形状画像を生成して、解析ウインドウ50の内視鏡挿入形状表示領域55に表示する。
【0137】
ステップS63において、PC41は、前記ステップS60において図示しないメモリに保持した局所撓み情報を元にして、局所撓みの量が挿入を阻害するほどの大きさであるとみなせるソースコイルがある場合には、以下のようにマーカーを重畳表示する。すなわち、解析ウインドウ50の内視鏡挿入形状表示領域55内に表示した挿入部形状画像の当該ソースコイル位置を指し示す、「局所撓み」と記述したマーカーを重畳表示する。図13には、内視鏡挿入形状表示領域55内に、マーカーとして「局所撓み」を表示した状態を示している。
【0138】
また、Sの値を、内視鏡挿入部21a全体の総撓み量を表す特徴量とみなして、解析ウインドウ50の警告情報表示領域52上に、「総撓み量=S」と表示する。ここで、Sは具体的な数値とする。
【0139】
ステップS64において、PC41は、総撓み量Sが、閾値St以上であるか否かを判定する。Stの値は、初期化ファイル内に、形状解析処理に使用するパラメタとして記述されており、図5のステップS1において図示しないメモリ上に保持された値である。
【0140】
閾値Stは、電子内視鏡21の種類ごとに異なり、前記ステップS51において取得した内視鏡種類情報に基づき選択決定する。総撓み量Sが閾値St以上である場合には、内視鏡挿入部21a全体に撓みが蓄積されており、挿入操作を行っても挿入部21a先端まで力が伝達されないと判定する。そして、ステップS65において、PC41は、解析ウインドウ50の警告情報表示領域52上に、「警告:これ以上挿入しても先端が推進しない可能性があります」という文字情報を表示する。尚、Stの値は、あらかじめ電子内視鏡21の種類ことに机上実験を行って決定した値とする。その後、ステップS66に処理を戻す。
【0141】
総撓み値Sが閾値Stよりも小さい場合には、ステップS66に処理が移行する。
ステップS66において、PC41は、第1の実施の形態でのステップS35における処理と同様に、解析ウインドウ50の時系列グラフ領域59に、内視鏡挿入部21aの形状をあらわす特徴量の値をプロットする。本実施の形態では、総撓み量Sの値も選択してプロットするように構成する。
【0142】
以上の処理によれば、電子内視鏡21の挿入部形状画像に、内視鏡挿入部21aの局所的撓み量が大きい位置をマーカー表示する。そのため、術者は、挿入動作を行っている際に内視鏡挿入部21aの軸方向推進が停止する現象の発生を予見するとともに、位置に応じた操作手技を、挿入部21aが停止する前に実行して、内視鏡挿入を容易にする。
【0143】
また、内視鏡挿入部21a全体に蓄積した総撓み量を表示するため、術者は、形状を視覚的に主観的に判断するのではなく、定量的に挿入の難易度を判断することができ、安定した内視鏡挿入手技を実現することが容易になる。
【0144】
また、第1の実施の形態の第1の変形例と同様に、ソースコイルの位置だけではなく、ソースコイル間に設定した補間点の位置に対しても、図12に示す判定処理を適用してもよい。その場合には、より正確な挿入阻害要因位置を術者に提示することが可能となる。
【0145】
また、第1の実施の形態の第2の変形例と同様に、各ソースコイル位置およびソースコイル間に設定した補間点の位置における局所撓み量、言い換えると本実施の形態ではθmに相当する、に基づいて、内視鏡挿入部21aの部分ごとの色分け表示を行ってもよい。
【0146】
また、図12のステップS55において、角度θiではなく曲率半径riを算出して、riに対する閾値処理を行ってもよい。閾値処理は、曲率半径がr0以下になる場合に、局所撓みが大きいと判定するものとする。ここで、r0は電子内視鏡21の種類ごとに机上実験に基づき決定した値であって、初期化ファイル内に形状解析パラメタの1つとして記録する。
【0147】
コイルiにおける曲率半径は、以下の手順により算出する。
図12のステップS55において、PC41の求めた、コイル位置iにおけるCatmull Rom曲線方程式を使用して、t=0におけるCatmull Rom曲線方程式の1次微分値vi、2次微分値aiを求めたのち、次の式10により曲率半径riを算出する。
【0148】
ri=(|vi|3)/vi×ai ・・・式10
第3の実施の形態によれば、内視鏡挿入阻害の原因の1つとして考えられる撓みの位置と、内視鏡挿入部21a全体における総撓み量を術者に提示するため、術者は内視鏡を挿入しても挿入部21a先端が推進していかない現象を予見することが容易になり、術者の内視鏡挿入が容易になる。
【0149】
尚、本発明は、以上述べた実施形態のみに限定されるものではなく、発明の要旨を逸脱しない範囲で種々変形実施可能である。
【図面の簡単な説明】
【0150】
【図1】第1の実施の形態に係り、電子内視鏡システムの全体構成を示すブロック図。
【図2】ソースコイルが内蔵された内視鏡挿入部と、ソースコイルの座標を示す関係図。
【図3】挿入形状データの構造を示すフォーマット図。
【図4】ディスプレイ上に表示される解析ウインドウの構成図。
【図5】検査情報および内視鏡画像と、挿入形状データとの処理に関するフローチャート図。
【図6】図5における形状解析処理の詳細なフローチャート図。
【図7】挿入部形状画像に「推進停止」が重畳表示された形状図。
【図8】第2の変形例に係り、内視鏡形状を色分け表示した形状図。
【図9】第2の実施の形態に係り、推進停止−逆進に対応したフローチャート図。
【図10】挿入部形状画像に「推進停止−逆進」が重畳表示された形状図。
【図11】第3の実施の形態に係り、内視鏡挿入部の局所撓みと反発力などの力の関係を示す説明図。
【図12】局所撓みに対応したフローチャート図。
【図13】挿入部形状画像に「局所撓み」が重畳表示された形状図。
【符号の説明】
【0151】
3…内視鏡挿入形状観測装置,21…電子内視鏡,21a…挿入部,31…センスコイルユニット,32…形状処理装置,41…PC,44…ディスプレイ
【技術分野】
【0001】
本発明は、内視鏡挿入部の挿入においてその挿入を阻害等している状況を提示する内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法に関する。
【背景技術】
【0002】
内視鏡による挿入観察を行う際、被検体となる体腔内の管腔は、例えば、大腸や小腸等のように曲がっている。そのため、内視鏡挿入部が管腔のどの位置まで挿入されているか、また内視鏡挿入部がどのような形状になっているかが判明すると、内視鏡による観察処置の操作性が向上する。
【0003】
そのため、従来より、内視鏡挿入時において屈曲状態等を知ることができる装置として、ソースコイル等を用いて内視鏡の挿入形状を検出する内視鏡形状検出装置が提案されている。
【0004】
ここで、内視鏡による被検体の観察中、術者の意識は、主に管腔の観察部位を撮像生成した内視鏡画像に集中してしまう傾向がある。そして、術者の意識は、内視鏡形状検出装置により生成表示される挿入形状の画像に集中されないことが多い。術者は、内視鏡挿入部の挿入進行に障害が生じて初めて、挿入形状の画像に注目することになる。そのことが、内視鏡観察の進行の妨げおよび、被検体に対する不快感を生じさせる要因となる。
【0005】
また、一般に内視鏡観察では、内視鏡画像を録画記録して、後日の観察部位の確認や内視鏡操作の習得訓練に用いられる。
【0006】
そのため、特開2004−147778号公報には、内視鏡挿入形状データと内視鏡画像データを共に保存し、両画像を同期再生して、自由に対比可能な内視鏡画像処理装置が提案されている。
【特許文献1】特開2004−147778号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
前記提案に係る装置は、例えば大腸に内視鏡を挿入した際の内視鏡挿入部の形状を、内視鏡挿入形状観測装置により検出するとともに、画像処理装置により形状解析を行い、内視鏡挿入部の形状に関する情報を提供する。
【0008】
しかし、ここで提供される内視鏡挿入部の形状情報は、大腸の腸壁から受ける力、詳しくは腸壁と内視鏡挿入部との摩擦力と、内視鏡挿入部が腸壁から受ける反発力とを考慮していない。
内視鏡の挿入性の難易度は、内視鏡挿入部の形状により決定されるものではなく、内視鏡挿入部と挿入する生体との接触から生じる外力の有無に左右される。その外力の内視鏡挿入部上における発生位置および、外力の発生要因とその要因の情報を、従来の内視鏡挿入形状観測装置は示していない。
また、提供される形状情報は、典型的な形状パターン、つまりループの有無および、アングルの有無への分類情報である。
【0009】
しかし、ループやアングルが生じていても、内視鏡の挿入性に対する難易度を上昇させる度合が小さい場合がある。例えば、ループが形成されていても、そのループが生体の形状に沿ったものであれば、挿入性を阻害する度合が小さい場合があり得る。
【0010】
従来の内視鏡挿入形状観測装置は、形状パターンによる定性的な挿入難易性と、形状パターンに応じた最大公約数的な挿入難易性を提示するのみである。例えば、ループが形成されていた場合、挿入は難しいという定性的情報をその装置は提示するのみである。
【0011】
また、内視鏡挿入部の軟性部材の材質変更あるいは太さの変更により、挿入部硬度などの内視鏡の物理特性が変われば、たとえ、内視鏡挿入部が同一の形状であっても、ユーザの内視鏡操作に追随して動作する内視鏡挿入部の挙動が変わる。よって、ある内視鏡では挿入を阻害する形状パターンであっても、別の物理特性をもつ内視鏡では、挿入を阻害しない形状パターンとなる場合があり得る。
【0012】
従って、術者に対して、内視鏡挿入部の形状情報が提示されても、次のような問題がある。
すなわち、術者は、その内視鏡挿入部のいずれの個所が、挿入阻害要因となっているか、提示された形状情報のみからは判断できない。
【0013】
また、現在の内視鏡挿入部の形状が挿入を阻害するか否かの判断は、定性的にしか提示されておらず、どの程度難しいのか、術者は提示された形状に関する情報のみからは判断できない。
本発明は前述した問題に鑑みてなされたものであり、内視鏡挿入部のいずれの個所において挿入を阻害しているかまたは、その阻害原因部分を提示し、術者が提示された情報に基づき対処操作を的確に判断することが可能であり、内視鏡挿入が容易な内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法を提供することを目的にしている。
【課題を解決するための手段】
【0014】
本発明の内視鏡挿入形状解析装置は、体腔内に挿入する挿入部を有する内視鏡と、前記内視鏡挿入部の形状を検出する形状検出手段と、前記内視鏡が撮像した内視鏡画像と、前記形状検出手段の検出した形状とを表示する表示手段と、前記形状検出手段が検出した情報を基にして、前記形状検出手段の検出した形状のうち、特定位置または特定部分を解析して求める形状解析手段と、前記表示手段に、前記形状解析手段が求めた前記特定位置または前記特定部分を指示し表示する指示手段と、を有することを特徴としている。
【発明の効果】
【0015】
本発明によれば、内視鏡挿入部のいずれの個所において挿入を阻害しているかまたは、その阻害原因部分を提示し、術者が提示された情報に基づき対処操作を的確に判断することが可能であり、内視鏡挿入が容易な内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法を実現させることができる。
【発明を実施するための最良の形態】
【0016】
以下、図面を参照して本発明の実施の形態を説明する。
(第1の実施の形態)
図1から図7は、第1の実施の形態に係り、図1は、電子内視鏡システムの全体構成を示すブロック図、図2は、ソースコイルが内蔵された内視鏡挿入部と、ソースコイルの座標を示す関係図、図3は、挿入形状データの構造を示すフォーマット図、図4は、ディスプレイ上に表示される解析ウインドウの構成図、図5は、検査情報および内視鏡画像と、挿入形状データとの処理に関するフローチャート図、図6は、図5における形状解析処理の詳細なフローチャート図、図7は、挿入部形状画像に「推進停止」が重畳表示された形状図である。
【0017】
図1に示すように、内視鏡挿入形状解析装置としての電子内視鏡システム1は、内視鏡装置2と、内視鏡挿入形状観測装置3、および画像処理装置4から構成されている。
【0018】
内視鏡装置2は、電子内視鏡21、ビデオプロセッサ22、光源装置23および、観察モニタ24から構成されている。
【0019】
電子内視鏡21は、挿入部21a内に設けられた図示しないライトガイドにより、挿入部21aの先端部から管腔内の観察部位を照明する観察光が照射されるように構成されている。電子内視鏡21は、被検体である体腔の管腔内に挿入される細長の挿入部21a先端に、図示しない電子撮像素子が設けられている。さらに、電子内視鏡21は、その電子撮像素子が駆動制御され、管腔内の観察部位の撮像映像信号を生成し出力する。
【0020】
さらに、電子内視鏡21の挿入部21aの先端部分には、湾曲部21bが設けられ、挿入部21a基端側に設けられた操作部21cにおいて湾曲操作可能になっている。
【0021】
また、電子内視鏡21の操作部21cには、レリーズスイッチ25が設けられている。さらに、操作部21cには、ビデオプロセッサ22との間において前記電子撮像素子を駆動制御しかつ撮像生成された撮像映像信号を送受信するためのケーブルが設けられている。また、操作部21cには、光源装置23からの観察光を前記ライトガイドに導くライトガイドケーブル等が設けられている。
【0022】
また、電子内視鏡21には、管腔における挿入部の挿入位置および形状を検出するための検出機能を構成する後述のソースコイルが設けられている。その挿入の位置および形状検出機能は、複数のソースコイルと、内視鏡挿入形状観測装置3に設けられた複数のセンスコイルを有するセンスコイルユニット31とからなっている。尚、複数のソースコイルは、内視鏡の挿入部21aに、内視鏡の種類ごとに決定される所定間隔に配置されている。
【0023】
ビデオプロセッサ22は、電子内視鏡21の電子撮像素子を駆動制御する。さらに、ビデオプロセッサ22は、電子撮像素子により光電変換されて撮像生成された動画の映像信号を所定の信号処理を行い、輝度信号と色信号からなるY/C信号または、RGB信号等を生成する。
【0024】
そのビデオプロセッサ22により生成された輝度信号と色信号からなるY/C信号または、RGB信号は、観察モニタ24と画像処理装置4へと直接出力されるようになっている。
また、ビデオプロセッサ22は、内視鏡21のレリーズスイッチ25が操作されると、撮像画像の静止画像の出力指示が可能となっている。
尚、ビデオプロセッサ22には、内視鏡検査に関する検査情報を入力する図示しない機能を有している。
【0025】
光源装置23は、照明光源である図示しないランプと、そのランプの図示しない点灯回路等からなっている。光源装置23は、ランプ点灯時に投射された照明光を電子内視鏡21のライトガイドへと供給し、照明光は、挿入部21a先端から管腔の観察部位へと投射される。
【0026】
観察モニタ24は、前記ビデオプロセッサ22において生成されたY/C信号またはRGB信号等を基に、内視鏡画像を表示するものである。
【0027】
内視鏡挿入形状観測装置3は、内視鏡装置2の周辺装置であり、センスコイルユニット31と、形状処理装置32と、モニタ33とから構成されている。センスコイルユニット31は、電子内視鏡21の挿入部21aに設けられた複数のソースコイルからの磁界を検出するユニットである。形状処理装置32は、そのセンスコイルユニット31によって検出された磁界に基づいて内視鏡挿入部の形状を推定する装置である。モニタ33は、その形状処理装置32によって推定された内視鏡挿入部の形状を表示する装置である。
【0028】
形状処理装置32は、ソースコイルを駆動する駆動信号を電子内視鏡21に出力してソースコイルに磁界を発生させる。形状処理装置32は、発生された磁界を検出したセンスコイルユニット31からの検出信号に基づいて、各ソースコイルの位置座標データの算出し、その算出された位置座標データから内視鏡挿入部の形状を推定している。また、形状処理装置32は、推定した内視鏡挿入部の形状をモニタに表示するための挿入部形状画像信号を生成する。さらに、形状処理装置32は、画像処理装置4に出力する内視鏡挿入部の形状を示す3次元座標情報および、形状表示属性等の挿入形状データを生成するように構成されている。
【0029】
以上のように、複数のソースコイル、センスコイルユニット31、形状処理装置32が形状検出手段を構成している。
【0030】
尚、内視鏡挿入形状観測装置3において、形状処理装置32により処理生成されてモニタ33に表示される挿入部形状画像の回転角および、拡大縮小等の形状表示属性は、図示しない操作パネルからの指示入力により、変更可能となっている。
さらに、形状処理装置32により生成された挿入形状データは、画像処理装置4へ出力可能となっている。
尚、内視鏡挿入形状観測装置3は、内視鏡検査中、挿入形状データを連続的に画像処理装置4へ出力するとともに、電子内視鏡21に設けられているレリーズスイッチ25の操作時の挿入形状データのみを出力することもできる。
【0031】
画像処理装置4は、パーソナルコンピュータ41(以下、単にPCと称する)と、マウス42と、キーボード43とから構成されている。マウス42とキーボード43は、PC41に各種指示入力するための入力装置である。ディスプレイ44は、PC41により処理された各種情報データおよび画像情報を再生表示する装置である。また、表示手段としてのディスプレイ44は、電子内視鏡21が撮像した内視鏡画像と、形状処理装置32が検出した内視鏡挿入部の形状とを1つの画面上に表示するようになっている。
【0032】
さらに、PC41は、通信ポート41aと、通信ポート41bと、動画像入力ボード41cとを有している。通信ポート41aは、内視鏡挿入形状観測装置3の形状処理装置32の通信ポート32aから出力される挿入形状データを、取り込むようになっている。
形状解析手段としてのPC41は、後述のように、挿入形状データ等を基に、内視鏡挿入を阻害している特定位置等を算出、すなわち解析して求めるようになっている。
【0033】
通信ポート41bは、内視鏡装置2のビデオプロセッサ22の通信ポート22aから出力される内視鏡検査情報を取り込むようになっている。
動画像入力ボード41cは、内視鏡装置2のビデオプロセッサ22において生成された動画映像信号を所定の圧縮画像データに変換するものである。
つまり、画像処理装置4の動画像入力ボード41cには、ビデオプロセッサ22により生成された動画像の映像信号が入力される。そして、動画像入力ボード41cは、その動画像の映像信号を所定の圧縮動画映像信号データ、例えばMJPEG形式の圧縮画像データに変換する。変換された圧縮画像データは、PC41の図示しない記録装置に保存される。
【0034】
尚、一般的には、内視鏡検査開始前には、ビデオプロセッサ22から、内視鏡検査に関する検査情報が入力される。その入力されたデータをもとに、検査情報が、観察モニタ24に文字および数字の情報として表示される。さらに、その検査情報データは、通信ポート22aから通信ポート41bを介して、画像処理装置4に送信し記録することも可能である。
また、検査情報とは、例えば、患者の氏名、生年月日、性別、年齢、患者コードなどである。
つまり、画像処理装置4は、必要に応じてビデオプロセッサ22と接続して、ビデオプロセッサ22からの各種情報データを受信し保存するようになっている。
【0035】
次に、内視鏡挿入形状観測装置3における挿入形状データの生成について説明する。
内視鏡挿入形状観測装置3は、電子内視鏡21の電子撮像素子により撮像される撮像映像信号の1フレームごとに、電子内視鏡21の挿入部21aに内蔵されたM個のソースコイルの3次元座標を含む挿入形状データを生成する。内視鏡挿入形状観測装置3は、その挿入形状データをもとに挿入部形状画像を生成して、モニタ33に表示するとともに、挿入形状データを画像処理装置4に出力供給する。
【0036】
図2に示すように、電子内視鏡21の挿入部21aに挿入形状推定のためのM個のソースコイルが内蔵されている。そして、各ソースコイルの位置が、参照点を構成している。内視鏡挿入形状観測装置3において検出するソースコイルの座標系は、第jフレームの挿入部21a先端から数えてm番目のソースコイルの3次元座標を、次の式1で表されるようになっている。
【数1】
【0037】
ただし、m=0,1,…,M−1である。また、jは、電子撮像素子により撮像された撮像映像信号の第jフレームを表している。
【0038】
内視鏡挿入形状観測装置3により検出されたソースコイルの座標系を示す挿入形状データの構造は、図3に示すような構造であり、1つのフレームに関係するデータが1つのパケットとして送信される。1つのパケットは、フォーマット種別情報、挿入形状データの作成時刻、表示属性情報、付属情報、ソースコイル座標のデータから構成されている。
【0039】
本実施の形態においてフォーマット種別とは、挿入形状データ作成時刻、表示属性、付属情報、コイル座標のそれぞれに割り当てるデータサイズを規定するものである。また、データサイズの規定とは、内視鏡の種類ごとに決定されるソースコイルのデータ数、挿入形状データ作成時刻、コイル座標の精度、表示属性や付属情報に含まれる情報量の規定を意味する。
【0040】
ここで、ソースコイルは、挿入部21a先端から挿入部21aの基端側に設けられている操作部21c側に向かって、順に並んで配置されている。つまり、それらソースコイルの座標データは、電子内視鏡21の挿入部21aに内蔵されているソースコイルの3次元座標である。尚、内視鏡挿入形状観測装置3が検出範囲外とするソースコイルの座標は、3次元座標(0,0,0)が設定されるようになっているものとする。
【0041】
次に、図5のフローチャートを用いて、画像処理装置4における処理フローについて説明する。すなわち、内視鏡装置2のビデオプロセッサ22からの検査情報と内視鏡画像、および内視鏡挿入形状観測装置3の形状処理装置32からの挿入形状データについての処理内容である。
【0042】
その処理動作は、画像処理装置4に設けられた検査用アプリケーションプログラム(以下、アプリケーションプログラムを単にアプリケーションという)をPC41において展開し実行させることにより実現する。
内視鏡検査を始めるにあたり、ビデオプロセッサ22では検査情報を入力し、画像処理装置4のPC41は検査用アプリケーションを起動する。その検査用アプリケーションが起動すると、ディスプレイ44には、図4に示す解析ウインドウ50が表示されるように構成されている。ただし、図4は、挿入形状データを処理している最中の表示内容を示している。
【0043】
ここで、図4を参照して、まず前提となる解析ウインドウ50について説明する。
解析ウインドウ50は、ファイルメニュー51、警告情報表示領域52、検査情報表示領域53、内視鏡画像表示領域54、内視鏡挿入形状表示領域55、付属情報表示領域56、表示パラメタチェックボックス57、解析値表示領域58、時系列グラフ領域59、時系列サブ情報表示領域60、スライダー61、開始ボタン62および、停止ボタン63を含んでいる。
時系列グラフ領域59と時系列サブ情報表示領域60のX軸は、時間軸であり、図4の左右方向である。時系列グラフ領域59と時系列サブ情報表示領域60は、挿入形状データを取得するごとに、すなわち経時的に、点のプロットを行いながら、プロット位置を図4の右方向に移動させてグラフを作成する領域である。プロットする点のY軸方向の位置は、画像処理装置4のPC41が算出した内視鏡挿入部21aの形状をあらわす特徴量の値によって決定される。本実施の形態では、内視鏡画像処理装置4が算出したアングル、挿入長、特定位置としての停止コイル位置をプロットする。すなわち、算出された特定位置がグラフにより視覚化されるように処理される。それぞれ、Y軸のスケール、0点位置が個別に設定される。尚、Y軸方向は、図4の上下方向である。
【0044】
表示パラメタチェックボックス57の選択肢として、本実施の形態ではアングル、挿入長、及び停止コイル位置がある。そのチェックボックスをチェックすることにより、時系列グラフ領域59に表示するパラメタの種類を選択する。
アングル、挿入長の各パラメタに関する算出手法は、従来技術である特開2004−147778号公報における手法と同等である。
【0045】
次に、停止コイル位置に関する算出手法について、以下に詳述する。
解析ウインドウ50のファイルメニュー51を選択すると、画像処理装置4が過去に記録した挿入形状ファイルと、画像ファイルとを選択するための、図示しない選択ウインドウが表示され、各々のファイルを選択して読み込むことが可能である。挿入形状ファイルとは、内視鏡挿入形状観測装置3が一検査内に生成した挿入形状データの集合ファイルである。画像ファイルとは、画像処理装置4の動画像入力ボード41cが生成した圧縮画像データの集合ファイルである。
【0046】
画像処理装置4のPC41に検査用アプリケーションが展開されて実行されると、ステップS1において、PC41は、アプリケーションの初期化情報を初期化ファイルから読み込む。尚、初期化ファイルは、PC41の図示しない記憶装置にあらかじめ記憶されている。そして、PC41は、読み込んだ初期化ファイルの情報をPC41内の図示しないメモリ上に記憶した後、ディスプレイ44に解析ウインドウ50を表示する。
【0047】
本実施の形態では、初期化情報として、電子内視鏡システム1において使用可能な電子内視鏡21の名称と、挿入形状データのフォーマット種別ごとのデータサイズ情報とを含んでいる。さらに、初期化情報としては、電子内視鏡21の挿入部21aを直線化した際のソースコイル間の距離と、形状解析処理に使用するパラメタとを含んでいる。尚、ソースコイル間の距離は、以下、ソースコイル間距離情報と称する。
またさらに、初期化情報として、解析ウインドウ50のディスプレイ44上における表示位置座標も含んでいる。その表示位置座標に基づいてPC41は、ディスプレイ44に解析ウインドウ50を表示する。
【0048】
ステップS2において、PC41は、ビデオプロセッサ22からの検査情報および内視鏡画像データ、内視鏡挿入形状観測装置3の形状処理装置32からの挿入形状データを受信し保存するモードに設定する。
【0049】
次に、ステップS3において、PC41は、術者がマウス42またはキーボード43を操作し、解析ウインドウ50に表示された開始ボタン62が押下されたか否かを判断する。開始ボタン62が押下されるまで待機し、押下されるとステップS4以降が実行される。
【0050】
ステップS4において、PC41は通信ポート41aを開き、内視鏡挿入形状観測装置3との通信を開始する。さらにステップS5において、PC41は通信ポート41bを開き、ビデオプロセッサ22との通信を開始する。
【0051】
ステップS6において、PC41は、ビデオプロセッサ22に対して、検査情報の取得コマンドを通信ポート41bからビデオプロセッサ22の通信ポート22aに送信する。その検査情報取得コマンドを受信したビデオプロセッサ22は、検査情報をPC41へと送信する。
【0052】
PC41は、ステップS6においてビデオプロセッサ22から送信された検査情報を、ステップS7において、図示しない記録装置に記録し保存するとともに、解析ウインドウ50の検査情報表示領域53に表示する。
【0053】
ステップS8において、PC41は、通信ポート41aから内視鏡挿入形状観測装置3の形状処理装置32の通信ポート32aに対して、挿入形状データの取得コマンドを送信する。その挿入形状データ取得コマンドを受信した形状処理装置32は、挿入形状データの送信出力を開始する。その送信は、PC41と形状処理装置32の間の通信が終了し、通信ポート32aが閉じられるまで続けられる。ステップS8は、形状検出手順を構成している。
【0054】
ステップS9において、PC41は、ステップS8における形状処理装置32から送信出力された挿入形状データを受信する。そして、PC41は、受信した挿入形状データと、ステップS7において記録し保存した検査情報とを関連付けて、PC41に設けられている図示していない記録装置に挿入形状ファイルとして記録し保存する。また同時に、PC41内の図示しないメモリ上に、挿入形状データを随時記録する。
【0055】
PC41は、ステップS10において、ビデオプロセッサ22から入力された動画映像信号を動画像入力ボード41cによりMJPEG形式の圧縮画像データに変換させる。さらにPC41は、その圧縮画像データとステップS7において記録保存した検査情報と関連付けて、PC41の図示しない記録装置に画像ファイルとして保存するとともに、動画像入力ボード41cに入力されている動画像を解析ウインドウ50の内視鏡画像表示領域54に表示させる。
【0056】
PC41は、ステップS11において、図6に示す各ステップの解析処理を実行する。その解析処理が終了すると、PC41は、ステップS12において、解析ウインドウ50の停止ボタン63が押下されたか否かを判断し、停止ボタン63が押下されていないと判定されるとステップS8に戻るとともに、解析ウインドウ50のスライダー61を1ステップ右に移動させる。
停止ボタン63が押下されたと判定されると、PC41はステップS13において、通信ポート41aと通信ポート41bとを閉じて、内視鏡挿入形状観測装置3とビデオプロセッサ22との情報データの通信を終了する。
【0057】
次に、図6を用いて、ステップS11から続く形状解析の処理フローを説明する。
ステップS21において、PC41は、挿入形状データのフレームパケットのフォーマット種別情報と、付属情報に含まれる内視鏡種類情報とを取得する。
PC41は、取得した挿入形状データのフォーマット種別に基づいて、図5のステップS1においてメモリ上に保持している、フォーマット種別に対応したフレームパケットに含まれる情報のデータサイズ情報を取得し、挿入形状データのフレームパケットを各データに分解処理する。フォーマット種別の名称は、解析ウインドウ50の付属情報表示領域56に表示する。
【0058】
また、PC41は、前記分解処理によって生成した付属情報から電子内視鏡21の名称を取得し、解析ウインドウ50の付属情報表示領域56に表示する。とともに、PC41は、取得した電子内視鏡21の名称に基づいて、図5のステップS1にてメモリ上に保持している、電子内視鏡21の名称に対応したソースコイル間距離情報を取得する。
【0059】
ステップS22において、PC41は、図5のステップS9にて図示しないメモリに記録しておいた挿入形状データの中から、前フレームのパケットに含まれる挿入形状データ作成時刻を取得する。
ステップS23において、PC41は、ステップS24以降からステップS32までにおいて実施する形状解析手順としての形状解析処理において使用されるパラメタの補正を行う。
【0060】
補正するパラメタの種類は2種類ある。1つのパラメタは、電子内視鏡21の特性または設計値に依存するパラメタである。本実施の形態では、ソースコイル間に設定した参照点の座標位置をコイル間距離の比率により指定するパラメタである。尚、そのパラメタは、以下、内視鏡特性依存パラメタと称する。
もう1つのパラメタは、フレームパケットの受信間隔に依存するパラメタであり、本実施の形態では、時間あたりの移動量をあらわすパラメタである。尚、そのパラメタは、以下、時間依存パラメタと称する。
【0061】
内視鏡特性依存パラメタは、図5のステップS1において取得したソースコイル間距離情報に基づいて補正される。
また、時間依存パラメタは、図6のステップS22において取得した前フレームの挿入形状データ作成時刻と、現在処理中のフレームの挿入形状データ作成時刻との差分、すなわち形状処理装置32によって検出された検出結果である挿入形状データ作成時刻に基づいて算出される前フレームからの経過時間、に基づいて補正される。
これら各パラメタの補正処理内容とパラメタの使われ方に関する説明は、内視鏡特性依存パラメタについては後述のステップS25において、時間依存パラメタについては後述のステップS28において詳述する。
【0062】
ステップS24において、PC41は、図5のステップS9において図示しないメモリに記録しておいた挿入形状データの中から、前フレームのパケットに含まれるコイル座標
(Xj-1m,Yj-1m,Zj-1m)を取得し、次の式2から現在処理中のフレームのソースコイル座標(Xjm,Yjm,Zjm)との差分ベクトルDmを求める。
【数2】
【0063】
ここで、jは、現在のフレームシーケンス番号を示し、mは、内視鏡挿入部21a先端から数えたコイル番号を示す。
前述のとおり、内視鏡挿入形状観測装置3の検出範囲外のソースコイル、すなわち内視鏡挿入部21aのうち生体に挿入されていない位置にあるソースコイルのコイル座標は、(0,0,0)である。前フレームのソースコイル座標または現在処理中のフレームのソースコイル座標の少なくとも一方が(0,0,0)である場合には、Dm=(L,L,L)とする。ここで、Lは、座標値の精度範囲内においてとり得る十分大きな数であって、センスコイルユニット31の検出範囲内では取り得ることのない数である。
【0064】
ステップS25において、PC41は、現在処理中のフレームのソースコイル座標の軸方向ベクトルAmを、次式3により算出する。
【数3】
【0065】
ただし、X'jm、Y'jm、Z'jmは、コイル座標(Xjm、Yjm、Zjm)から内視鏡挿入部21aに沿って1mmの距離だけ内視鏡挿入部21aの基端側にある点の3次元座標のX,Y,Z方向それぞれの成分とする。
【0066】
現在処理中のフレームのソースコイルが検出範囲外にある場合、すなわちコイル座標(0,0,0)である場合には、Am=(L,L,L)とする。尚、Lは、座標値の精度範囲内でとり得る十分大きな数であって、センスコイルユニット31の検出範囲内では取り得ることのない数である。
【0067】
ここで、X'jm、Y'jm、Z'jmの各値の算出方法について説明する。
m番目のソースコイルと、m+1番目のソースコイルの間の補間点は、補間手法として広く知られるCatmull Rom曲線方程式を求めることにより算出可能である。Catmull Rom曲線方程式は、tを変数とするパラメトリック曲線であり、t=0のときm番目のソースコイル位置を示す座標値をとり、t=1のときm+1番目のソースコイル位置を示す座標値を取る。その中間にある補間点は、tにコイル間距離の比率を代入することにより算出可能である。
【0068】
ここで、m番目のソースコイルから1mmの距離だけ内視鏡挿入部21aの基端側にある点を求めるためには、電子内視鏡21の設計値であるコイル間距離に基づいて、ソースコイル間距離の比率tを決定するように補正する必要がある。
【0069】
そこで、図6のステップS23において、図5のステップS1において取得したソースコイル間距離情報に基づき、各ソースコイル間距離に応じてtの補正値t’を決定する。その算出式を次の式4に示す。
t'=t×(ソースコイル間距離/10) ・・・式4
ここで、補正前のtと補正前に想定しているソースコイル間距離はそれぞれ、0.1と10mmであり、実際の電子内視鏡21のソース間距離に応じてt'が、注目するソースコイルから1mmずれた位置を示すように設定している。
【0070】
ステップS26において、PC41は、ステップS25において算出した軸方向ベクトルAmの方向への推進量Tmを、次式により、ステップS24において算出したコイル座標差分ベクトルDmを軸方向ベクトルAmに射影することにより算出する。すなわち、推進量Tmは、次の式5により求められる。
Tm=|Dm|cosθm ・・・式5
ここで、cosθm=Dm・Am/ |Dm||Am|
ステップS27において、PC41は、形状解析に有効な値を有するソースコイル番号の最大値であるMmaxを求めてループ変数iに代入する。ただし、Mmax<M−1である。
ここで、Mmaxを求める処理手順について説明する。
ステップS24、およびS25の処理の結果、ソースコイル番号0からソースコイル番号Mmaxまでのコイルに対応するDm、Amは、形状解析に有効な値として(L,L,L)以外の値を保持している。さらに、ソースコイル番号Mmax+1からコイル番号M−1までのDm、Amでは、内視鏡挿入形状観測装置3のセンスコイルユニット31の検出範囲外の値を示す(L,L,L)の値を保持している。
【0071】
そこで、ステップS27において、PC41は、ソースコイル番号0から順次Dm、Amの値が(L,L,L)であるか否かを判定し、最初に(L,L,L)の値を保持するときのソースコイル番号から1を引いた値をMmaxと設定して、ループ変数iに代入する。
【0072】
ステップS28、ステップS29、ステップS30において、PC41は、軸方向の推進量Tm、iに対する判定処理を含むループ処理を行う。
ステップS28において、PC41は、軸方向の推進量Tiが−ε以下であるか否かを判定する。尚、−εは負の値である。
ここで、閾値として使用する定数εについて説明する。
εの値は、図5のステップS1において初期化情報の形状解析処理パラメタとして取得した値のうちの1つであるε0に対し、図6のステップS23において補正を行った値である。
【0073】
ε0は、術者が挿入操作を行ったとみなせるソースコイルの移動量を、1秒あたりのソースコイル移動距離により表した値である。そのε0を、1フレームあたりのソースコイル移動距離に補正した値がεである。その算出式は、次の式による。すなわち、
ε=ε0×(前フレームからの経過時間) ・・・式6
である。
【0074】
ここで、前フレームからの経過時間の単位として秒を使用する。内視鏡挿入形状観測装置3における挿入形状データのフォーマット設定が相違することおよび、内視鏡挿入形状観測装置3の形状処理装置32の挿入形状データ生成速度が一定値とはならない。そのことから、1フレームにかかる時間は、挿入形状データの取得ごとに変化するため、閾値として使用するパラメタの補正処理を図6のステップS28において実施したのである。
【0075】
もし、軸方向の推進量Tiが閾値−ε以下であれば、術者は内視鏡挿入部21aの引き抜き動作を行っているとみなし、ループを抜ける。
Tiが−ε以下でなければ、次のステップS29に進み、軸方向の推進量Tiが−εよりもおおきくかつ、εよりも小さいか否か、つまり−ε<Ti<εであるか否を判定する。もし、その判定が肯定されれば、ソースコイル位置iにおいて推進が停止しているとみなし、ステップS31に進む。そして、ソースコイル位置iにおいて軸方向の推進が停止していることを表す情報を、図示しないメモリ上に保持する。その後、前記ループを抜ける。尚、推進が停止していることを表す情報は、以下、推進停止情報と称する。
【0076】
また、ステップS29において、−ε<Ti<εでない場合、ステップS30に進む。そのステップS30においては、i=0であるか否かを判定する。i=0である場合には、内視鏡挿入部21aの最先端のソースコイルに対して判定終了済みであることを意味するため前記ループを抜ける。
また、i≠0である場合には、ステップS32において、iから1を引く処理を行う。すなわち、先端側に1つ位置をずらしたソースコイル番号となるようにiを変更して、ステップS28から始まる処理ループを再実行する。
【0077】
つまり、ステップS28、S29、S30のループは、内視鏡挿入形状観測装置3の検出範囲内にあるソースコイルに対して、以下の判定を行っていることを意味する。すなわち、術者が内視鏡挿入部21aを挿入し、その挿入力が内視鏡挿入部21aのソースコイル位置に伝わって、対象となるソースコイルが、そのソースコイルの向いている方向に進んでいるか止まっているかを、挿入部21a基端側から順に判定している。
【0078】
ステップS33において、PC41は、内視鏡挿入部21aを2次元投影した挿入部形状画像を生成し、ディスプレイ44上の解析ウインドウ50の内視鏡挿入形状表示領域55に表示する。尚、その画像は、内視鏡挿入形状観測装置3が生成してモニタ33上に表示する挿入部形状画像と同等のものである。
【0079】
ステップS34では、PC41は、ステップS31において図示しないメモリに保持した推進停止情報を元にして、推進停止とみなせるソースコイルがある場合には、マーカーを重畳表示する。具体的には、PC41は、解析ウインドウ50の内視鏡挿入形状表示領域55内に表示した挿入部形状画像の当該ソースコイル位置を指し示す、「推進停止」と記述したマーカーを重畳表示する。図7には、内視鏡挿入部のうち例えば屈曲して推進停止した位置に、マーカーである「推進停止」の判定結果情報である文字表示部を表示した形状図を示している。
以上のように、ステップS33、およびS34が、指示表示手順を構成している。特に、ステップS34は、特定位置又は特定部分を指示する指示手段を構成する。
【0080】
ステップS35において、PC41は、解析ウインドウ50の表示パラメタチェックボックス57の停止コイル位置にチェックがあるか否かを判定する。もし停止コイル位置にチェックがある場合には、以下の処理を行う。
図6のステップS31において、図示しないメモリに保持した推進停止情報を元にして、推進停止とみなせるコイルがある場合には、当該コイル番号およびフレーム時間に基づく点を、解析ウインドウ50の時系列グラフ領域59にプロットしたのち、次にプロットすべき点の位置を1つ右にずらす。
【0081】
時系列グラフ領域59に表示するグラフのX軸は、1フレーム時間を単位とする時間軸であり、グラフのY軸は、停止コイルの位置を示す軸である。グラフの原点は(0,−1)であり、停止したコイルが存在しない場合には−1をプロットする。
【0082】
また、時系列サブ情報表示領域60には、停止したコイルが存在する場合には、全てのY軸上の点をプロットし、停止したコイルが存在しない場合には点のプロットを行わない。よって、プロットされた点の存在は、停止したコイルが存在するというマーカーとして機能し、さらにその停止コイルのフレーム位置を示すマーカーとしても機能する。
【0083】
尚、他のパラメタ、すなわち本実施の形態ではアングル、挿入長における処理も、Y軸のスケールと原点位置の相違以外は、本ステップにおける時系列グラフ領域59への点のプロット処理と同様の処理を実施する。尚、プロットするX軸位置が、時系列グラフ領域59の右端を越える場合には、プロットの表示位置を時系列グラフ領域59の左端に移動して、プロット処理を継続する。以上の処理を行った後、図5のステップS12に戻る。
【0084】
以上の処理によれば、電子内視鏡の挿入部形状画像に、術者が内視鏡の挿入動作を行っているのに内視鏡挿入部21aの軸方向の推進量が零となり、推進が停止する位置、すなわち挿入阻害要因となっている位置にマーカーを重畳表示する。そのため、術者は、推進停止した位置に応じた手技を即座に判断して実行することができ、内視鏡挿入を容易にする。
【0085】
また、挿入形状に関するパラメタを時系列グラフとして定量的に表示するため、手技の操作履歴を容易に即座に確認することができ、内視鏡操作の分析、習得に役立つ。例えば、ある手技をAという操作量で行っても先端が進まなかった場合、同一の手技をBという操作量により再試行する、という操作量に関する判断が可能になる。
【0086】
第1の実施の形態によれば、内視鏡挿入部21aのいずれの個所において推進が停止し、つまり挿入阻害要因となっている特定位置であるかを提示することにより、術者が阻害個所とその形状に基づき対処操作を正確に判断することが可能になり、術者の内視鏡挿入が容易になる。さらに、第1の実施の形態によれば、内視鏡の種類および、内視鏡形状データの種類に応じて、パラメタを補正して正確な解析結果を提示するため、解析結果及び提示情報に誤差が生じないので、前記同様に、術者の内視鏡挿入が容易になる。
【0087】
また、本実施の形態によれば、内視鏡形状に関するパラメタを時系列グラフとして定量的に提示することにより、術者の自己の内視鏡操作に対する分析が容易になり、術者の内視鏡挿入技能の向上が見込まれる。
【0088】
尚、本実施の形態では、検査時の実際の内視鏡操作と同期した画像処理装置の作用を説明したが、解析ウインドウ50のファイルメニュー51から、挿入形状ファイルと、画像ファイルとを指定して読み込み、解析ウインドウ50の開始ボタン62を押すことにより、当該ファイルの検査時の挿入操作および画像ファイルを同期再生して、記録した検査時の内視鏡操作を再現するように、構成してもよい。その場合には、挿入形状ファイル内の挿入形状データを記録時刻順に処理することにより、検査時と同様の情報提示を行うことを実現する。
【0089】
さらに、挿入動作を行っているのに推進停止とみなせるコイルがある場合には、解析ウインドウ50の警告情報表示領域52に、「警告:これ以上挿入することはできません」という文字情報を術者に提示してもよい。また、文字情報による警告だけではなく、警告音声または、警告効果音を鳴らすようにしてもよい。
本実施の形態では、生体への内視鏡挿入による検査を想定して説明しているが、内視鏡挿入手技訓練用の内視鏡シミュレータに対して適用してもよい。
【0090】
次に、第1の実施の形態の第1の変形例について説明する。
第1の実施の形態では、内視鏡挿入部21aに内蔵するソースコイルの位置ごとに、挿入動作を行っているのに推進停止しているか否かを判定していた。しかし、推進停止は、ソースコイルの位置のみに発生するものではなく、その中間の位置においても発生する可能性が高い。
【0091】
そこで、本実施の形態の変形例では、図6のステップS24においてPC41は、ソースコイル位置座標に限らず、ソースコイル間の一定比率にある座標位置の差分ベクトルを求めるものとする。尚、一定比率にあるそれら座標位置も、参照点を構成する。その座標位置の算出処理は、図6のステップS25において、Catmull Rom曲線方程式を用いた補間点算出と同様の処理に基づいて行われる。
例えば、本実施の形態の変形例においては、Catmull Rom曲線方程式のパラメタtの値を、0.25、0.5、0.75として、ソースコイル間に3点の補間点を設定して座標値を求め、各補間点のフレーム間の差分ベクトルDmを求めるものとする。
【0092】
また、図6のステップS25において、PC41は、図6のステップS24において算出した各補間点位置における軸方向ベクトルAmを求めるものとする。曲線方程式に代入するtの値は、各補間点についてそれぞれ、0.25+t'、0.5+t'、0.75+t'とすることにより算出する。
【0093】
以上により、ソースコイル点群に補間点群を追加して、内視鏡挿入形状観測装置3の検出範囲内にあるソースコイル点および補間点に対して、以下の判定を行う。すなわち、挿入部21a基端側から順に、内視鏡挿入部21aを挿入操作した際に、前記図6のループにおいて、該当する点が、内視鏡挿入部21aの軸方向に進んでいるか止まっているかを判定する。
【0094】
本第1の変形例により、より正確な挿入阻害要因位置を術者に提示することが可能となる。
【0095】
次に、第1の実施の形態の第2の変形例について説明する。
図8は、第1の実施の形態の第2の変形例に係り、内視鏡形状を色分け等の着色をして表示した形状図である。図8は、算出した移動量の値に応じて、挿入形状の図において対応する位置または部分を、色分け等により視覚化した例を示すものである。なお、図8は、斜線により色の違いを示している。
第2の変形例は、図6のステップS33における2次元投影の内視鏡形状画像表示に関する変形例である。
図6のステップS26では、ソースコイル位置と、ソースコイル間に設定した補間点とにおける軸方向推進量Tmを算出している。
【0096】
本実施の形態の第2の変形例では、図6のステップS33において、軸方向推進量Tmの値ごとに色をつけて、内視鏡形状を表示する。そして、本第2の変形例では、1秒あたりの軸方向推進量Tmを以下のようにカテゴリー分けする。そのカテゴリーは、軸方向推進量Tmが、12mm以上、12mm以下から9mm未満、9mm以下から6mm未満、6mm以下から3mm未満、3mm以下から−3mm未満の各値の範囲ごとに分ける。さらに、軸方向推進量Tmが、各カテゴリー範囲にある内視鏡挿入部21aの断片言い換えると部分を値が大きい方から、赤からグレイにかけて徐々に彩度が落ちるように色をつけて表示する。
【0097】
さらに、、逆方向の推進量として、軸方向推進量Tmが、−12mm以下、−12mm以上から−9mm未満、−9mm以上から−6mm未満、−6mm以上から−3mm未満の各値の範囲ごとにカテゴリー分けする。そして、軸方向推進量Tmが、各カテゴリー範囲にある内視鏡挿入部21aの断片言い換えると部分を、値が小さい方から、青からグレイにかけて徐々に彩度が落ちるように色をつけて表示する。図8には、推進量のカテゴリーに応じて、異なる色と彩度により挿入部形状画像を表示した形状図である。
【0098】
本実施の形態の変形例によれば、内視鏡挿入部21aの部分ごとに、挿入力の減衰がどの程度起こっているかを段階量として確認可能であるため、内視鏡挿入部21aの挿入阻害要因をより詳細に分析することが可能となる。
【0099】
尚、本実施の形態変形例では、彩度による色分けを行ったが、色相や、明度、術者が独自に定義可能なカラーマップに基づく色分けを行ってもよい。
【0100】
第2の変形例によれば、内視鏡形状に関するパラメタの値に応じて内視鏡形状を色分け表示するため、術者の自己の内視鏡操作に対する分析が容易になり、術者の内視鏡挿入技能の向上が見込まれる。
【0101】
(第2の実施の形態)
図9および図10は、第2の実施の形態に係り、図9は、推進停止−逆進に対応したフローチャート図、図10は、挿入部形状画像に「推進停止−逆進」の文字表示部が重畳表示された形状図である。
【0102】
第1の実施の形態では、挿入している際に内視鏡挿入部21aの軸方向に対する推進が停止している現象を検出して、術者に提示する構成であった。
ここで、推進停止現象についてさらに詳細に分析すると、以下の2種類に大別される。
1つは、推進停止位置から内視鏡挿入部21a先端にかけて、軸方向に対する推進が停止している状態である。
もう1つは、推進停止位置から内視鏡挿入部21a先端にかけて、軸方向に対して逆進している状態である。後者の現象は、一般にはステッキ現象として広く知られている。ステッキ現象は、内視鏡挿入部21aがステッキ状に180度近く屈曲し、その屈曲位置で生体壁を押し込むことにより発生する。
【0103】
屈曲位置においては、挿入部軸方向に対しておよそ90度の方向に移動しているため、軸方向への推進が停止しているとみなせる。屈曲位置より先端側では、挿入部21aが、屈曲位置において体壁に向かって押し込んでいるために軸方向に逆進しているとみなせる。ステッキ現象が発生している時には、術者は特別な手技をおこない、ステッキ現象の解除を行う場合がある。例えば、体外から屈曲位置を手によって圧迫した状態を保ち、体壁を押し込んでも体壁が動かないように固定して、生体が内視鏡挿入部21aに与える反発力をコントロールする。そして、その反発力を先端への推進力に変換して、内視鏡挿入部21a先端を進める手法がある。
【0104】
第1の実施の形態では、内視鏡挿入部21aの軸方向に対する推進停止位置を提示したが、その推進停止現象がステッキ現象に相当するのかを術者に提示していなかった。そこで、第2の実施の形態では、特定部分としてのステッキ現象の検出を実現する。その他、第1の実施の形態と同様の構成は、同じ符号を付して説明を省略する。
【0105】
第2の実施の形態についての処理フローは、第1の実施の形態のステップS31における処理を、図9に示す処理フローに置き換えている。
図6のステップS29においてPC41による判定処理が肯定された場合に、図9のステップS41においてPC41は、ループ変数jに対して、図6のステップS29において判定処理に使用したソースコイル番号iを代入する。
【0106】
図9のステップS42において、PC41は、j−1番目のソースコイルにおける判定処理を行う。判定処理は、第1の実施の形態において図6のステップS28において行った判定と同様である。すなわち、Tj-1が−ε以下であるか否かを判定するものである。
Tj-1が−ε以下である場合には、ソースコイル番号j−1の位置において、内視鏡挿入部21aは軸方向に逆進していることを意味する。よって、図9のステップS44においてPC41は、コイル位置jにおいて軸方向の推進が停止しかつ、先端側では逆進していることを表す情報を、図示しないメモリ上に保持させる。尚、前述の情報は、以下、推進停止−逆進情報と称する。
【0107】
一方、Tj-1が−ε以下ではない場合には、ステップS43にてjが1であるか否かを判定する。
jが1である場合には、注目するソースコイルにおいて、その先端側に別のソースコイルが存在する全ての場合について当該コイルの推進方向判定、つまり前記ステップS42における判定を終了しており、先端側にあるソースコイルは逆進していなかったとみなせる。そのため、ステップS45において、推進停止情報を図示しないメモリ上に保持させたのち、図6のステップS33に戻る。
また、jが1ではない場合には、ステップS46において、jから1を減じて図6のステップS42にループパックする。
【0108】
図6のステップS34においてPC41は、図9のステップS44またはステップS45において図示しないメモリに保持した推進停止情報または推進停止−逆進情報を元にして、以下のようにマーカーを重畳表示する。すなわち、推進停止−逆進とみなせるソースコイルがある場合には、解析ウインドウ50の内視鏡挿入形状表示領域55内に表示した挿入部形状画像の当該コイル位置を指し示す、「推進停止−逆進」と記述したマーカーを重畳表示する。図10には、内視鏡挿入形状表示領域55内に、マーカーとして「推進停止−逆進」の文字表示部を表示した形状図を示している。
一方、推進停止とみなせるソースコイルがある場合の処理は、第1の実施の形態における動作と同様である。
【0109】
また、前記第1の変形例と同様に、ソースコイルの位置だけではなく、ソースコイル間に設定した補間点の位置に対しても、図9に示す判定処理を適用してもよい。その場合には、より正確な挿入阻害要因位置を術者に提示することが可能となる。
【0110】
また、前記第2の変形例と同様に、各ソースコイル位置およびソースコイル間に設定した補間点の位置における、軸方向の推進量を分類したカテゴリーに基づき、内視鏡挿入部21aの部分ごとの色分け表示を行ってもよい。
【0111】
さらに、挿入動作を行っている際に、逆進停止とみなせるコイルがある場合には、解析ウインドウ50の警告情報表示領域52に、文字情報を術者に提示してもよい。提示する文字情報は、例えば、「警告:先端が逆進しています。腹部圧迫などの手技を試行してください」という内容である。
【0112】
以上の処理によれば、電子内視鏡21の挿入部形状画像に、以下の状況下において所定の位置にマーカーが重畳表示される。つまり、術者により内視鏡の挿入動作が行われているのに内視鏡挿入部21aの軸方向の推進量が零となり、さらにその先端側が逆進している場合、すなわち挿入阻害要因となっている位置にマーカーを重畳表示する。言い換えると、挿入部21aの軸方向における移動量が零となる位置を算出して、その算出された位置よりも先端側で軸方向における移動量が負になるので、その移動量が零の部分に、あるいはその先端側の部分に、所定のマーカーを重畳表示する。従って、先端が逆進しているか、停止しているかを術者は、容易に知ることができ、それぞれに適した手技を即座に判断して実行して内視鏡挿入を容易にする。
【0113】
第2の実施の形態によれば、内視鏡を挿入しても挿入部21aの軸方向に対する推進量が停止し、かつ先端が逆進する現象を検知して術者に提示する。そして、術者は、内視鏡挿入部21aの移動量に関する詳細を把握することができ、術者による内視鏡挿入が容易になる。
【0114】
(第3の実施の形態)
図11から図13は、第3の実施の形態に係り、図11は、内視鏡挿入部の局所撓みと反発力などの力の関係を示す説明図、図12は、局所撓みに対応したフローチャート図、図13は、挿入部形状画像に「局所撓み」の文字表示部が重畳表示された形状図である。
【0115】
第1、第2の実施の形態においては、内視鏡挿入部21aの軸方向に対する推進停止、さらに逆進という現象を検出していた。それらの現象が発生するには、その原因が存在する。術者は、現象発生に対して原因を推測し、その原因を解消するための内視鏡操作を行う必要がある。
【0116】
原因の1つとして、内視鏡挿入部21aの撓みによる挿入力の分散が考えられる。
内視鏡挿入部21aが生体壁から受ける力は、内視鏡挿入部21aを折れ線により近似したときの、内視鏡挿入部21aの軸方向と、生体壁とのなす角度が大きくなるほど増大する。
【0117】
例えば、図11に示すように、挿入部21aの基端側の軸方向と生体壁65との角度が大きくなるほど生体から受ける反発力が増大し、挿入に使用した力が打ち消されるとともに、接触点66における反発力増大に伴い摩擦力が増大するため、接触点66を挿入方向に、つまり図11の左右方向にずらすための力も打ち消される。
【0118】
また、内視鏡挿入部21aを棒材としてみなすと、まっすぐの棒材に対して座屈を発生させるために必要な力は大きいが、ある程度屈曲した棒材に対して座屈を発生させるための力は少ない、言い換えると少なくて済む。すなわち、棒材に対して押し込む力を与えても、座屈を発生させるための力が小さい場合には、押し込む力が座屈を発生させる力として使用されて、押し込む力が吸収されてしまい、先端に伝わる力が少なくなる。
【0119】
以上の考えに基づき、本実施の形態では、内視鏡挿入部21aの撓み量の極大位置、および、内視鏡挿入部21a全体における撓み量の蓄積量、言い換えると総和量を定量表示することを提案する。
【0120】
図12を用いて、本実施の形態における処理フローについて以下に説明する。
第1の実施の形態と、第3の実施の形態との処理フローの相違は、図5のステップS11における処理つまり図6に示す処理を、図12に示す処理フローに置き換えたことである。
【0121】
図12のステップS51において、PC41は、挿入形状データのフレームパケットのフォーマット種別情報と、付属情報に含まれる内視鏡種類情報を取得する。その処理は、第1の実施の形態と同一である。
【0122】
ステップS52において、PC41は、ステップS53以降からステップS59の間に実施する形状解析手順としての形状解析処理において使用されるパラメタの補正を行う。補正するパラメタの種類は、ソースコイル間に設定した参照点の座標位置をコイル間距離の比率により指定するための内視鏡特性依存パラメタである。補正処理内容とパラメタの使われ方に関する説明は、後述のステップS54にて詳述する。
【0123】
ステップS53において、PC41は、現在処理中のフレームのソースコイル座標の軸ベクトルAmを、次の式7により算出する。
【数7】
【0124】
ここで、Xjm(t)、Yjm(t)、Zjm(t)は、それぞれ、m番目のソースコイルと、m+1番目のソースコイルの間の補間曲線を表す、パラメトリック曲線方程式である。d/dtは、パラメトリック曲線のパラメトリック変数tに関する1次微分を表す。
【0125】
t=0における一次微分値は、t=0における位置の軸方向を示すこととなる。尚、本実施の形態では、第1の実施の形態と同様に、パラメトリック曲線方程式として、Catmull Rom曲線方程式を使用するものとする。
【0126】
ステップS54において、PC41は、ソースコイル位置から内視鏡挿入部21aに沿って基端方向に一定距離dだけ離れた位置における内視鏡挿入部21aの軸方向ベクトルA'mを算出する。その算出式は、以下の式8のようになる。
【数8】
【0127】
Xjm(t)、Yjm(t)、Zjm(t)は、前記ステップS44において使用したパラメトリック曲線方程式と同一である。
【0128】
tdは、td=d/(ソースコイル間距離)として決定する。ソースコイル間距離は、図5のステップS1において取得したソースコイル間距離情報として取得している。ソースコイル間距離は電子内視鏡21の種類ごとに異なるため、一定距離dに対して電子内視鏡21の種類ごとに補正処理したパラメタtdを使用して軸方向ベクトルA'mを求めることとなる。
【0129】
ステップS55において、PC41は、次式によってAmと、A'mとのなす角度θmを次の式9から算出する。
【数9】
【0130】
ステップS56において、PC41は、形状解析に有効な値を有するソースコイル番号の最大値であるMmaxを求めてループ変数iに代入する。Mmaxを求める手順は、第1の実施の形態と同一である。また、内視鏡挿入部21aの、特徴量である撓み量の和である総撓み量を表す変数Sを零に設定する。
【0131】
ステップS57、S58および、S59においてPC41は、θi、iに対する判定処理を含むループ処理を行う。
ステップS57において、PC41は、ソースコイル番号iにおける角度θiをSに加算する。
ステップS58において、PC41は、ソースコイル番号iにおける角度θiが閾値τ以上であるか否かを判定する。τの値は、初期化ファイル内に、形状解析処理に使用するパラメタとして記述されており、図5のステップS1において図示しないメモリ上に保持された値である。τは、電子内視鏡21の種類ごとに異なり、図12のステップS51において取得した内視鏡種類情報に基づき選択決定する。
【0132】
角度θiが閾値τ以上場合には、当該位置において局所的に撓み量が十分に大きいとみなし、ステップS60に進み、ソースコイル位置iにおいて特定位置としての局所撓みが発生していることを表す情報を、図示しないメモリ上に保持する。なお、局所撓みが発生していることを表す情報は、以下、局所撓み情報と称する。
【0133】
角度θiが閾値τよりも小さい場合には、ステップS59に進む。
ステップS59において、PC41は、i=0であるか否かを判定する。i=0である場合には、内視鏡挿入部21aの最先端のソースコイルに対して判定終了済みであることを意味するため、前記ループを抜ける。
i≠0である場合には、ステップS61おいて、iから1を引いて、すなわち先端側に1つ位置をずらしたソースコイル番号となるようにiを変更して、図12のステップS57から始まる処理ループを再実行する。
【0134】
つまり、ステップS57、S58および、S59のループは、内視鏡挿入形状観測装置3の検出範囲内にあるソースコイルに対して、挿入部21a基端側から順に、局所撓みの量が挿入を阻害するほどの大きさを有するか否かを判定することを意味する。
挿入を阻害するほどの大きさであるか否かは、ステップS58において、ソースコイル位置と、ソースコイル位置の近傍位置との角度から閾値判定する。閾値であるτは、対象となる電子内視鏡21ごとに決定する値であるため、電子内視鏡21の物理特性、つまり太さおよび軟性部材の硬度などに最適化した値となる。τは、あらかじめ電子内視鏡21の種類ごとに机上実験に基づき決定した値を使用する。
【0135】
また、前記ループ処理により、ソースコイル位置と、ソースコイル位置の近傍位置との角度の合計値Sを算出することとなる。
【0136】
ステップS62において、PC41は、内視鏡挿入部21aを2次元投影した挿入部形状画像を生成して、解析ウインドウ50の内視鏡挿入形状表示領域55に表示する。
【0137】
ステップS63において、PC41は、前記ステップS60において図示しないメモリに保持した局所撓み情報を元にして、局所撓みの量が挿入を阻害するほどの大きさであるとみなせるソースコイルがある場合には、以下のようにマーカーを重畳表示する。すなわち、解析ウインドウ50の内視鏡挿入形状表示領域55内に表示した挿入部形状画像の当該ソースコイル位置を指し示す、「局所撓み」と記述したマーカーを重畳表示する。図13には、内視鏡挿入形状表示領域55内に、マーカーとして「局所撓み」を表示した状態を示している。
【0138】
また、Sの値を、内視鏡挿入部21a全体の総撓み量を表す特徴量とみなして、解析ウインドウ50の警告情報表示領域52上に、「総撓み量=S」と表示する。ここで、Sは具体的な数値とする。
【0139】
ステップS64において、PC41は、総撓み量Sが、閾値St以上であるか否かを判定する。Stの値は、初期化ファイル内に、形状解析処理に使用するパラメタとして記述されており、図5のステップS1において図示しないメモリ上に保持された値である。
【0140】
閾値Stは、電子内視鏡21の種類ごとに異なり、前記ステップS51において取得した内視鏡種類情報に基づき選択決定する。総撓み量Sが閾値St以上である場合には、内視鏡挿入部21a全体に撓みが蓄積されており、挿入操作を行っても挿入部21a先端まで力が伝達されないと判定する。そして、ステップS65において、PC41は、解析ウインドウ50の警告情報表示領域52上に、「警告:これ以上挿入しても先端が推進しない可能性があります」という文字情報を表示する。尚、Stの値は、あらかじめ電子内視鏡21の種類ことに机上実験を行って決定した値とする。その後、ステップS66に処理を戻す。
【0141】
総撓み値Sが閾値Stよりも小さい場合には、ステップS66に処理が移行する。
ステップS66において、PC41は、第1の実施の形態でのステップS35における処理と同様に、解析ウインドウ50の時系列グラフ領域59に、内視鏡挿入部21aの形状をあらわす特徴量の値をプロットする。本実施の形態では、総撓み量Sの値も選択してプロットするように構成する。
【0142】
以上の処理によれば、電子内視鏡21の挿入部形状画像に、内視鏡挿入部21aの局所的撓み量が大きい位置をマーカー表示する。そのため、術者は、挿入動作を行っている際に内視鏡挿入部21aの軸方向推進が停止する現象の発生を予見するとともに、位置に応じた操作手技を、挿入部21aが停止する前に実行して、内視鏡挿入を容易にする。
【0143】
また、内視鏡挿入部21a全体に蓄積した総撓み量を表示するため、術者は、形状を視覚的に主観的に判断するのではなく、定量的に挿入の難易度を判断することができ、安定した内視鏡挿入手技を実現することが容易になる。
【0144】
また、第1の実施の形態の第1の変形例と同様に、ソースコイルの位置だけではなく、ソースコイル間に設定した補間点の位置に対しても、図12に示す判定処理を適用してもよい。その場合には、より正確な挿入阻害要因位置を術者に提示することが可能となる。
【0145】
また、第1の実施の形態の第2の変形例と同様に、各ソースコイル位置およびソースコイル間に設定した補間点の位置における局所撓み量、言い換えると本実施の形態ではθmに相当する、に基づいて、内視鏡挿入部21aの部分ごとの色分け表示を行ってもよい。
【0146】
また、図12のステップS55において、角度θiではなく曲率半径riを算出して、riに対する閾値処理を行ってもよい。閾値処理は、曲率半径がr0以下になる場合に、局所撓みが大きいと判定するものとする。ここで、r0は電子内視鏡21の種類ごとに机上実験に基づき決定した値であって、初期化ファイル内に形状解析パラメタの1つとして記録する。
【0147】
コイルiにおける曲率半径は、以下の手順により算出する。
図12のステップS55において、PC41の求めた、コイル位置iにおけるCatmull Rom曲線方程式を使用して、t=0におけるCatmull Rom曲線方程式の1次微分値vi、2次微分値aiを求めたのち、次の式10により曲率半径riを算出する。
【0148】
ri=(|vi|3)/vi×ai ・・・式10
第3の実施の形態によれば、内視鏡挿入阻害の原因の1つとして考えられる撓みの位置と、内視鏡挿入部21a全体における総撓み量を術者に提示するため、術者は内視鏡を挿入しても挿入部21a先端が推進していかない現象を予見することが容易になり、術者の内視鏡挿入が容易になる。
【0149】
尚、本発明は、以上述べた実施形態のみに限定されるものではなく、発明の要旨を逸脱しない範囲で種々変形実施可能である。
【図面の簡単な説明】
【0150】
【図1】第1の実施の形態に係り、電子内視鏡システムの全体構成を示すブロック図。
【図2】ソースコイルが内蔵された内視鏡挿入部と、ソースコイルの座標を示す関係図。
【図3】挿入形状データの構造を示すフォーマット図。
【図4】ディスプレイ上に表示される解析ウインドウの構成図。
【図5】検査情報および内視鏡画像と、挿入形状データとの処理に関するフローチャート図。
【図6】図5における形状解析処理の詳細なフローチャート図。
【図7】挿入部形状画像に「推進停止」が重畳表示された形状図。
【図8】第2の変形例に係り、内視鏡形状を色分け表示した形状図。
【図9】第2の実施の形態に係り、推進停止−逆進に対応したフローチャート図。
【図10】挿入部形状画像に「推進停止−逆進」が重畳表示された形状図。
【図11】第3の実施の形態に係り、内視鏡挿入部の局所撓みと反発力などの力の関係を示す説明図。
【図12】局所撓みに対応したフローチャート図。
【図13】挿入部形状画像に「局所撓み」が重畳表示された形状図。
【符号の説明】
【0151】
3…内視鏡挿入形状観測装置,21…電子内視鏡,21a…挿入部,31…センスコイルユニット,32…形状処理装置,41…PC,44…ディスプレイ
【特許請求の範囲】
【請求項1】
体腔内に挿入する挿入部を有する内視鏡と、
前記内視鏡挿入部の形状を検出する形状検出手段と、
前記内視鏡が撮像した内視鏡画像と、前記形状検出手段の検出した形状とを表示する表示手段と、
前記形状検出手段が検出した情報を基にして、前記形状検出手段の検出した形状のうち、特定位置または特定部分を解析して求める形状解析手段と、
前記表示手段に、前記形状解析手段が求めた前記特定位置または前記特定部分を指示し表示する指示手段と、
を有することを特徴とする内視鏡挿入形状解析装置。
【請求項2】
前記特定位置または特定部分は、内視鏡挿入を阻害している位置または部分であることを特徴とする請求項1に記載の内視鏡挿入形状解析装置。
【請求項3】
前記形状解析手段は、算出した前記特定位置または特定部分を、図またはグラフの少なくとも一方により視覚化されるように処理し、
前記指示手段は、前記特定位置または特定部分を、図またはグラフの少なくとも一方により視覚化して表示することを特徴とする請求項1又は請求項2に記載の内視鏡挿入形状解析装置。
【請求項4】
前記形状解析手段は、内視鏡挿入部上に参照点を設定し、該参照点における、内視鏡挿入部の軸方向に対する移動量を算出することを特徴とする請求項1から請求項3のいずれか1つに記載の内視鏡挿入形状解析装置。
【請求項5】
前記形状解析手段は、前記内視鏡挿入部の軸方向に対する前記移動量が零となる位置を算出し、該位置を前記内視鏡挿入を阻害している特定位置と判定することを特徴とする請求項4に記載の内視鏡挿入形状解析装置。
【請求項6】
前記形状解析手段は、前記内視鏡挿入部の軸方向に対する前記移動量が零となる位置を算出し、該位置を境にして、内視鏡挿入部先端側では軸方向に対する移動量が負の値であり、さらに内視鏡挿入部基端側では軸方向に対する移動量が正の値である場合に、前記内視鏡挿入を阻害している特定部分と判定することを特徴とする請求項4に記載の内視鏡挿入形状解析装置。
【請求項7】
前記形状解析手段は、内視鏡挿入部上に参照点を設定し、該参照点における内視鏡挿入部の撓み量を算出することを特徴とする請求項1から請求項3のいずれか1つに記載の内視鏡挿入形状解析装置。
【請求項8】
前記形状解析手段は、前記撓み量の値に基づき、前記内視鏡挿入を阻害する原因となる特定位置を判定することを特徴とする請求項7に記載の内視鏡挿入形状解析装置。
【請求項9】
前記形状解析手段は、内視鏡挿入部上に設定した参照点における前記撓み量の総和を求め、該総和に基づき、前記内視鏡挿入を阻害する原因となる特定位置を判定することを特徴とする請求項7に記載の内視鏡挿入形状解析装置。
【請求項10】
前記形状解析手段は、前記内視鏡の種類または前記形状検出手段の検出結果の少なくとも一方の情報を基にして、前記特定位置または特定部分を算出するためのパラメタを補正することを特徴とする請求項1から請求項9のいずれか1つに記載の内視鏡挿入形状解析装置。
【請求項11】
前記図は、前記形状検出手段が検出した情報としての数値データに基づき、前記形状検出手投の検出した形状を着色した形状図であることを特徴とする請求項3に記載の内視鏡挿入形状解析装置。
【請求項12】
前記図は、前記形状検出手段が検出した情報としての数値データに基づき、前記形状解析手段の判定結果情報を表示する文字表示部を含む形状図であることを特徴とする請求項3に記載の内視鏡挿入形状解析装置。
【請求項13】
前記グラフは、前記形状検出手段が検出した情報としての数値データを、時系列にプロットしたグラフであることを特徴とする請求項3記載の内視鏡挿入形状解析装置。
【請求項14】
体腔内に挿入される内視鏡挿入部の形状を検出する形状検出ステップと、
前記形状検出ステップにおいて検出された情報を基にして、前記形状検出ステップの検出した形状のうち、特定位置または特定部分を解析して求める形状解析ステップと、
表示手段に、求めた前記特定位置または特定部分を、指示し表示する指示ステップと、を備えたことを特徴とする内視鏡挿入形状解析方法。
【請求項1】
体腔内に挿入する挿入部を有する内視鏡と、
前記内視鏡挿入部の形状を検出する形状検出手段と、
前記内視鏡が撮像した内視鏡画像と、前記形状検出手段の検出した形状とを表示する表示手段と、
前記形状検出手段が検出した情報を基にして、前記形状検出手段の検出した形状のうち、特定位置または特定部分を解析して求める形状解析手段と、
前記表示手段に、前記形状解析手段が求めた前記特定位置または前記特定部分を指示し表示する指示手段と、
を有することを特徴とする内視鏡挿入形状解析装置。
【請求項2】
前記特定位置または特定部分は、内視鏡挿入を阻害している位置または部分であることを特徴とする請求項1に記載の内視鏡挿入形状解析装置。
【請求項3】
前記形状解析手段は、算出した前記特定位置または特定部分を、図またはグラフの少なくとも一方により視覚化されるように処理し、
前記指示手段は、前記特定位置または特定部分を、図またはグラフの少なくとも一方により視覚化して表示することを特徴とする請求項1又は請求項2に記載の内視鏡挿入形状解析装置。
【請求項4】
前記形状解析手段は、内視鏡挿入部上に参照点を設定し、該参照点における、内視鏡挿入部の軸方向に対する移動量を算出することを特徴とする請求項1から請求項3のいずれか1つに記載の内視鏡挿入形状解析装置。
【請求項5】
前記形状解析手段は、前記内視鏡挿入部の軸方向に対する前記移動量が零となる位置を算出し、該位置を前記内視鏡挿入を阻害している特定位置と判定することを特徴とする請求項4に記載の内視鏡挿入形状解析装置。
【請求項6】
前記形状解析手段は、前記内視鏡挿入部の軸方向に対する前記移動量が零となる位置を算出し、該位置を境にして、内視鏡挿入部先端側では軸方向に対する移動量が負の値であり、さらに内視鏡挿入部基端側では軸方向に対する移動量が正の値である場合に、前記内視鏡挿入を阻害している特定部分と判定することを特徴とする請求項4に記載の内視鏡挿入形状解析装置。
【請求項7】
前記形状解析手段は、内視鏡挿入部上に参照点を設定し、該参照点における内視鏡挿入部の撓み量を算出することを特徴とする請求項1から請求項3のいずれか1つに記載の内視鏡挿入形状解析装置。
【請求項8】
前記形状解析手段は、前記撓み量の値に基づき、前記内視鏡挿入を阻害する原因となる特定位置を判定することを特徴とする請求項7に記載の内視鏡挿入形状解析装置。
【請求項9】
前記形状解析手段は、内視鏡挿入部上に設定した参照点における前記撓み量の総和を求め、該総和に基づき、前記内視鏡挿入を阻害する原因となる特定位置を判定することを特徴とする請求項7に記載の内視鏡挿入形状解析装置。
【請求項10】
前記形状解析手段は、前記内視鏡の種類または前記形状検出手段の検出結果の少なくとも一方の情報を基にして、前記特定位置または特定部分を算出するためのパラメタを補正することを特徴とする請求項1から請求項9のいずれか1つに記載の内視鏡挿入形状解析装置。
【請求項11】
前記図は、前記形状検出手段が検出した情報としての数値データに基づき、前記形状検出手投の検出した形状を着色した形状図であることを特徴とする請求項3に記載の内視鏡挿入形状解析装置。
【請求項12】
前記図は、前記形状検出手段が検出した情報としての数値データに基づき、前記形状解析手段の判定結果情報を表示する文字表示部を含む形状図であることを特徴とする請求項3に記載の内視鏡挿入形状解析装置。
【請求項13】
前記グラフは、前記形状検出手段が検出した情報としての数値データを、時系列にプロットしたグラフであることを特徴とする請求項3記載の内視鏡挿入形状解析装置。
【請求項14】
体腔内に挿入される内視鏡挿入部の形状を検出する形状検出ステップと、
前記形状検出ステップにおいて検出された情報を基にして、前記形状検出ステップの検出した形状のうち、特定位置または特定部分を解析して求める形状解析ステップと、
表示手段に、求めた前記特定位置または特定部分を、指示し表示する指示ステップと、を備えたことを特徴とする内視鏡挿入形状解析方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2006−288752(P2006−288752A)
【公開日】平成18年10月26日(2006.10.26)
【国際特許分類】
【出願番号】特願2005−113922(P2005−113922)
【出願日】平成17年4月11日(2005.4.11)
【出願人】(304050923)オリンパスメディカルシステムズ株式会社 (1,905)
【Fターム(参考)】
【公開日】平成18年10月26日(2006.10.26)
【国際特許分類】
【出願日】平成17年4月11日(2005.4.11)
【出願人】(304050923)オリンパスメディカルシステムズ株式会社 (1,905)
【Fターム(参考)】
[ Back to top ]