説明

内視鏡画像記録装置、及び内視鏡画像記録支援方法、並びにプログラム

【課題】必要な検査部位が予め指定された内視鏡検査時において、内視鏡検査が終了した後に、検査部位の静止画像が不足していたことが分かった場合でも、不足した静止画像を動画像データから補完する作業を支援できる内視鏡画像記録装置、及び内視鏡画像記録支援方法、並びにプロラムを提供する。
【解決手段】画像信号に基づき、動画像を記録した動画像データ、及び静止画像を記録した静止画像データをそれぞれ保存した後、保存された静止画像データから静止画像の記録枚数を検出する。そして、複数の検査部位に対応する全撮影枚数と検出された静止画像の記録枚数とを比較して、静止画像が全撮影枚数より不足している場合に、不足した静止画像をデータ保存手段が保持している動画像データから取得するための画像取得支援信号を出力するようにした。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡画像記録装置、及び内視鏡画像記録支援方法、並びにプログラムに関する。
【背景技術】
【0002】
内視鏡検診を行う場合、被験者である患者毎に1つ又は複数の検査対象部位が予め定められ、その検査対象部位について患者の体腔内を規定の手順で撮像して画像診断を行う。具体的には、内視鏡の術者が患者に内視鏡挿入部を体腔内に挿入し、内視鏡の挿入部先端の体腔内での位置を確認しながら、予め決められた検査対象部位に到達させる。そして、到達する毎に画像をモニタ画面上で確認しつつ、撮影位置や方向を微調整しながら静止画撮影用のボタンを押下して、静止画像を撮影する。
【0003】
撮像画像の枚数は、1回の検診で数枚から20枚以上になることもあり、また、医療現場では多人数を短時間で検診することが望まれるため、術者には正確かつ迅速な撮像作業が要求される。このような状況下では、一部の検査部位を撮像し損ねる等、特に不手際が生じやすくなり、必要な検査部位で画像の撮り損ねが生じると、正確な診断が難しくなる。また、撮り損ねた画像を得るために再検査により内視鏡で撮り直しを行うには、患者への負担が大きくなる。
【0004】
一方、内視鏡先端部を所望の検査部位に正確に案内する技術として、体腔内における内視鏡の位置を検出する装置が種々開発されている。例えば特許文献1の位置検出装置は、内視鏡の挿入部に磁気発生部を設けると共に、診察台に磁気センサを設けることで、磁気センサによる磁気発生部の検出結果から内視鏡の体腔内位置を検出する。
【0005】
更に、特許文献2には、被検体の3次元領域の画像データに基づいて被検体内の管路の3次元像を作成し、この3次元像上で管路に沿った目的点までの経路の仮想的な内視鏡画像を画像データに基づいて作成する内視鏡挿入支援装置が提案されている。この内視鏡挿入支援装置によれば、内視鏡を所望の位置に移動させることができる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2000−81303号公報
【特許文献2】特開2000−135215号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上記内視鏡検診時においては、静止画撮影用のボタンの操作が不確実な場合や、術者が操作を誤認識した場合、或いは術者の判断の間違い等によって、撮像されるべき静止画像の枚数が不足する場合がある。また、それが原因で術者が認識している撮像済み箇所と実際の撮像箇所とが一致しない場合もある。
【0008】
そこで、特許文献1、2の装置を用いて検査部位を正確に把握して確実に撮像することも考えられるが、特許文献1の位置検出装置においては、診察台等に患者の体全体に対応する磁気発生手段や磁気センサを設ける必要があり、装置が大がかりになってしまう。また、特許文献2の内視鏡挿入支援装置では、予めCT装置による検査画像データを生成しておく必要があり、いずれも簡便に利用できるものではない。
【0009】
本発明は、必要な検査部位が予め指定された内視鏡検査時において、内視鏡検査が終了した後に、検査部位の静止画像が不足していたことが分かった場合でも、不足した静止画像を動画像データから補完する作業を支援できる内視鏡画像記録装置、及び内視鏡画像記録支援方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明は下記構成からなる。
(1) 被検者を内視鏡検査する際に内視鏡から出力される画像信号に基づいて、予め定めた複数の検査部位の静止画像を含む検査画像データを記録する内視鏡画像記録装置であって、
前記画像信号に基づき、動画像を記録した動画像データ、及び所定の指示に応じたタイミングの静止画像を記録した静止画像データをそれぞれ保存するデータ保存手段と、
前記データ保存手段に保存されている前記静止画像データから、前記静止画像の記録枚数を検出する記録枚数検出手段と、
前記複数の検査部位に対応する全撮影枚数、及び前記記録枚数検出手段が検出する静止画像の記録枚数を比較して、前記静止画像が前記全撮影枚数より不足しているかを判定する枚数比較判定手段と、
前記枚数比較判定手段が、前記静止画像の記録枚数が前記全撮影枚数よりも少ないと判定した場合に、不足した静止画像を前記データ保存手段が保持している前記動画像データから取得するための画像取得支援信号を出力する信号出力手段と、
を備えた内視鏡画像記録装置。
(2) 被検者を内視鏡検査する際に内視鏡から出力される画像信号に基づいて、予め定めた複数の検査部位の静止画像を含む検査画像データを記録する内視鏡画像記録支援方法であって、
前記画像信号に基づき、動画像を記録した動画像データ、及び所定の指示に応じたタイミングの静止画像を記録した静止画像データをそれぞれ保存した後、
保存された前記静止画像データから、前記静止画像の記録枚数を検出し、
前記複数の検査部位に対応する全撮影枚数、及び検出された前記静止画像の記録枚数を比較して、前記静止画像が前記全撮影枚数より不足している場合に、不足した静止画像を前記データ保存手段が保持している前記動画像データから取得するための画像取得支援信号を出力する内視鏡画像記録支援方法。
【0011】
(3) コンピュータに、(2)記載の内視鏡画像記録支援方法の手順を実行させるプログラム。
【発明の効果】
【0012】
本発明によれば、必要な検査部位が予め指定された内視鏡検査時において、内視鏡検査が終了した後で、検査部位の静止画像が不足していた場合でも、この不足した静止画像を動画像データから補完する作業を支援できる。これにより、全検査部位の静止画像が常に確実に得られ、診断精度を低下させることなく、また、不足する画像の撮り直しのために内視鏡再検査を実施する等の被験者への負担を軽減できる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施形態を説明するための図で、内視鏡システムを含む内視鏡画像記録装置、及び病院内システムの構成を示す全体構成図である。
【図2】(A),(B),(C)は上部消化管の内視鏡検診で行われる内視鏡検査の一手順を示す説明図である。
【図3】図2に示した上部消化管の検査部位区分の具体例を表す模式図である。
【図4】上部消化管の内視鏡検診で行われる内視鏡検査の処理手順を表すフローチャートである。
【図5】端末装置の主要な処理の内容を示すフローチャートである。
【図6】内視鏡検査の際に画像記録装置によって記録される静止画像群の具体例を示す模式図である。
【図7】内視鏡先端部を胃の内部に挿入した状態で胃噴門部を撮影する場合の内視鏡挿入部の形状及び位置関係と、観察画像を模式的に示す説明図である。
【図8】挿入位置を検出する機能を備えた内視鏡の構成図である。
【図9】内視鏡の挿入位置を検出するために用いるマウスピースを示す断面図である。
【図10】内視鏡の最大挿入長と検査部位との対応関係を表す模式図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
図1は本発明の実施形態を説明するための図で、内視鏡システムを含む内視鏡画像記録装置、及び病院内システムの構成を示す全体構成図である。
【0015】
病院内システムは、内視鏡システム100と、画像記録装置200と、端末装置300を備えた内視鏡画像記録装置400が内視鏡部門に配置されており、これら内視鏡画像記録装置400の各機器には、サーバ500が接続されている。各機器はネットワークを介して接続されており、互いに通信可能となっている。また、サーバ500にはレポートデータベース510が接続されている。
【0016】
内視鏡システム100は、撮像光学系と照明光学系を備えた内視鏡11と、内視鏡11を制御する内視鏡制御装置13と、画像情報等を表示する表示部15とを備える。また、内視鏡11を接続する内視鏡制御装置13は、ネットワークを介して上記の画像記録装置200、端末装置300、サーバ500に接続され、各種情報の入出力が可能となっている。
【0017】
内視鏡11は、本体操作部19と、この本体操作部19に連設され体腔内に挿入される内視鏡挿入部21とを備える。本体操作部19には、ユニバーサルコード23の一端側が接続され、このユニバーサルコード23の他端側が、コネクタ25を介して内視鏡制御装置13に接続される。
【0018】
内視鏡11の本体操作部19には、内視鏡挿入部21の本体操作部19に対する遠位端となる先端側で吸引、送気、送水を行うためのボタンや、撮像時のシャッターボタン、手技終了を知らせる手技終了ボタン等の各種操作ボタン27が並設されると共に、一対のアングルノブ31,33が設けられている。
【0019】
内視鏡挿入部21は、本体操作部19側から順に軟性部35、湾曲部37、及び先端部39(以下、内視鏡先端部とも呼称する)で構成され、湾曲部37は、本体操作部19のアングルノブ31,33を回動することによって遠隔的に湾曲操作される。これにより、内視鏡先端部39を所望の方向に向けることができる。
【0020】
内視鏡先端部39には、図示しないが、撮像光学系の観察窓や照明光学系の光照射窓が設けられている。撮像光学系は、光照射窓から照射される照明光による体腔内の被観察領域からの反射光を、観察窓を通じて撮像する。撮像光学系は、CCD(charge coupled device)やCMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子と、撮像素子の光路前方に配置される結像レンズ等の光学部材とを有する撮像部で構成されており、観察窓からの観察画像を取得して撮像信号として出力する。この撮像信号は、ユニバーサルコード23を介して内視鏡制御装置13に伝送され、内視鏡制御装置13が有する画像処理回路による適宜な画像処理が施された後、表示部15に表示される。
【0021】
内視鏡11の照明光学系は、内視鏡制御装置13からユニバーサルコード23を介して導光される照明光を、内視鏡先端部39まで導き、光照射窓から被観察領域に向けて出射する。内視鏡制御装置13に搭載される光源は、キセノンランプ、ハロゲンランプ、メタルハライドランプ等の白色光源や、レーザ光源や発光ダイオードなどの半導体発光素子を利用した光源等が用いられる。
【0022】
本構成の内視鏡システム100を利用して内視鏡検査を行う場合には、内視鏡の術者が、被検者である患者の体腔内に内視鏡の内視鏡挿入部を挿入し、撮像部が内蔵された内視鏡先端部の位置を調整しながら、予め定めた検査部位を順次に撮影する。この検査(撮影)により得られる画像データは、内視鏡システム100から画像記録装置200に入力されて保存される。保存された画像データは、内視鏡診断や、後で行う内視鏡検査結果の報告書であるレポートの作成時に利用される。
【0023】
画像記録装置200が記録する上記画像データは、動画像データと静止画像データとで構成される。動画像データは、検査開始時から検査終了時まで、即ち内視鏡挿入部21の体腔内への挿入時(又は最初の検査部位の到達時)から一定のフレームレート(例えば30フレーム/秒)で連続的に撮影され記録される動画像のデータであり、時系列で並ぶ多数の画像フレームのデータで構成される。静止画像データは、特定のタイミング、例えば医師が内視鏡の所定の操作ボタン(シャッターボタン)を操作したときに撮影される静止画像のデータである。
【0024】
画像記録装置200により記録される上記画像データのうち、静止画像データが内視鏡検査結果の画像データとして扱われる「検査画像データ」となる。本構成の内視鏡画像記録装置400においては、記録された静止画像の枚数が予め規定された枚数に比べて不足している場合には、撮り損ねが生じたと判断して、この撮り損ねた静止画像を検査画像データに補完するための支援を行う。
【0025】
具体的には、内視鏡画像記録装置400は、不足している静止画像を既に記録されている動画像データの中から抽出するための支援を行う。記録済みの動画像データを利用して不足した静止画像を補完すれば、必要な静止画像が不足なく常に揃うこととなり、内視鏡診断の精度が低下することがない。また、再度撮り直す等の内視鏡再検査が不要になって患者の負担が軽減される。
【0026】
上記支援の概略的な内容は次の通りである。まず、内視鏡検査の内容が示される検査オーダがサーバ500から端末装置300に送信されてくる。この検査オーダに基づいて、内視鏡部門で患者の内視鏡検査が実施される。検査オーダには患者のID情報が含まれており、各検査オーダを実施する患者がそれぞれ特定されている。
【0027】
内視鏡の術者は、この検査オーダに基づいて、指定された患者に対する内視鏡検査を実施する。このときに内視鏡11から出力される画像データ(静止画像と動画像)は、画像記録装置200で患者のID情報と合わせて記録される。なお、画像データは内視鏡制御装置13でも記録可能である。
【0028】
内視鏡検査の終了後、内視鏡部門の端末装置300の操作者は、検査オーダに対応して画像記録装置200に記録された患者の画像データを、ID情報をタグにして読み出し、画像データに含まれる静止画像データの記録枚数をカウントする。そして、端末装置300が、記録された静止画像の枚数と、検査オーダが指定する規定の枚数とを比較して、記録枚数に不足があったと判定すると、端末装置300は、表示部41に記録枚数に不足が生じた旨を表示する。
【0029】
端末装置300の操作者は、この記録枚数不足の表示に基づいて、画像記録装置200に記録されている画像データの動画像データを読み込み、不足した静止画像に相当するシーンの静止画像を抽出する。そして、動画静止画変換部310にて動画像から静止画像に変換する。これにより生成された静止画像を前述の静止画像データに組み込んで、所定枚数の静止画データとなる検査画像データを作成する。
【0030】
検査画像データは、内視鏡検査結果のレポート作成に使用される。作成されるレポートには、検査画像毎に撮影対象位置を表す位置情報が共に記録される。このレポートのデータは、端末装置300からサーバ500に送られて内視鏡検査結果として、レポートデータベース510に保存される。
【0031】
次に、上記構成の内視鏡画像記録装置400により、患者の内視鏡検査を行う場合の検査手順の詳細例を説明する。
【0032】
図2(A),(B),(C)は上部消化管の内視鏡検診で行われる内視鏡検査の一手順を示す説明図である。ここで例示する上部消化管の内視鏡検診で行われる内視鏡検査では、図2(A)に示すように、まず、内視鏡挿入部21を食道Es、胃Stを通じて、十二指腸Duoの検査最深位置P0まで挿入する。この検査最深位置P0に到達したときに、術者は検査最深位置P0における観察画像の静止画像を撮像する。そして、内視鏡挿入部21を徐々に抜き取りながら体腔内を移動させ、図2(B)に示すように胃Stの領域を撮像し、次いで図2(C)に示すように食道Esの領域を順次撮像する。最後に内視鏡挿入部21を体腔外に引き抜く。
【0033】
上記手順に基づく内視鏡検診の具体的な検査部位の例を図3及び表1に示す。内視鏡検査部位は、食道、胃、十二指腸のそれぞれで、検査最深位置P0から順に複数の領域A1〜A13に分割されている。
【0034】
【表1】

【0035】
内視鏡11の術者は、内視鏡11の内視鏡先端部39を上記各検査部位に移動させて、それぞれの位置でシャッターボタンを押下して診断に必要な静止画像の撮像を行う。各検査部位の静止画像は、内視鏡制御装置13によって画像記録装置200に患者識別ためのID情報と共に記録される。また、内視鏡検査を開始してからこれが終了するまでの間に渡って、内視鏡11から出力される映像が連続的な画像、即ち時系列で変化する動画像のデータとして内視鏡制御装置13から出力され、画像記録装置200にID情報と共に記録される。つまり、内視鏡検査を行っている間は、動画像の記録が、静止画像の記録と併行して行われる。術者は、画像記録装置200の記録情報(通常は静止画像データのみ)に基づき、端末装置300を用いて内視鏡検査のレポートを作成する。
【0036】
図4に内視鏡検査の手順をフローチャートで示した。同図を用いて表1に示す検査部位の内視鏡検査を行う手順を説明する。なお、図4に示す例では、静止画像の撮影枚数を計数する枚数カウンタの機能を内視鏡制御装置13が内蔵し、現在の撮影枚数を表示部15に表示できる場合を想定している。
【0037】
内視鏡検査を行う際には、まず、患者への所定の前処置を行う。その後、内視鏡制御装置13は、内部の枚数カウンタの計数値をリセットする(S11)。そして、内視鏡の術者は内視鏡挿入部21を体腔内に挿入し(S12)、内視鏡11から出力される観察画像を表示部15で確認しながら、内視鏡先端部39を患者体腔内の検査最深位置P0(図2参照)に到達させる(S13)。ここでは、内視鏡先端部39を十二指腸吸後部以下の位置まで挿入する。
【0038】
内視鏡挿入部21の先端部39が検査最深位置に到達した後、術者は内視鏡11の本体操作部19の操作ボタン27の一つであるシャッターボタンを押下して静止画撮像を行う(S14)。このときのシャッターボタンの押下信号が、内視鏡制御装置13に送られる最初の撮像指示の信号となる。この信号をトリガとして、画像記録装置200は動画像の記録を開始する(S15)。
【0039】
内視鏡制御装置13は、この領域A1に対する検査部位の静止画撮像を画像記録装置200に記録する。また、内視鏡制御装置13内の枚数カウンタは、最初の静止画撮像を行ったものとして、「1枚目」と計数値を自動的に変更する(S16)。この枚数カウンタの計数値は表示部15に出力されて表示される。
【0040】
術者は、領域A1における静止画撮像が終了した後に、次の領域A2まで内視鏡挿入部21の先端部39を移動する(S17)。そして、領域A2の観察部位に対して、再びシャッターボタンを押下して静止画撮像を行う(S19)。このとき、枚数カウンタの計数値が「2枚目」として加算される(S20)。
【0041】
上記S17〜S20の処理を全検査部位に対して繰り返し行う。内視鏡制御装置13は、このときの検査途中の表示部15に、現在の内視鏡先端部39の位置で撮影している画像の内容と、現在の静止画撮影枚数(カウンタの計数値)及び全検査部位の数を経過情報として表示させる。
【0042】
術者が、全検査部位に対する静止画撮像を終了したと判断すると(S21)、術者は、操作ボタン27の一つである手技終了ボタンを押下する。この手技終了ボタンの押下による信号が内視鏡制御装置13から画像記録装置200に入力されると、画像記録装置200は動画像の記録動作を終了する(S22)。
【0043】
従って、画像記録装置200が記録する動画像については、S15で記録を開始してからS22で停止するまでの間、連続的に記録される。つまり、画像記録装置200に記録される動画像データの中には、1枚目の静止画像を記録した時点から最後の静止画像を記録した時点までの期間に、内視鏡11で観察された画像の情報が全て含まれている。また、各静止画像には、何枚目の画像であるかの情報をメタデータとして記録しておいてもよく、静止画像データに全撮影枚数の情報を記録しておいてもよい。
【0044】
上記の検査例は一例であって、実際の内視鏡検診においては合計で20〜30枚もの多数の静止画像を撮影することがある。また、撮影すべき静止画像の枚数は臓器毎あるいは撮影部位毎に予め規定されている。もし、静止画像の枚数が規定枚数に満たないときには、情報量が不足するため医師が正しい診断を下すことができない。従って、内視鏡検査時に記録された静止画像の枚数が規定枚数に満たない状態、即ち、静止画像の撮り損ねが生じた状態のままでは正確な診断ができない。このような場合、再度の内視鏡検査を行うことになるが、患者に対して負担を強いることになる。
【0045】
そこで、本構成の内視鏡画像記録装置においては、上記のような静止画像の撮り損ねが生じた状態でも、内視鏡による再検査を行うことなく、不足する静止画像を補完するための支援機能を備えている。
【0046】
内視鏡画像記録装置400は、図1に示すように、内視鏡システム100、画像記録装置200、及び端末装置300の機能として実現される。即ち、画像記録装置200は、前述のように、観察中に内視鏡11から出力される画像信号に基づき、連続的に記録された動画像を表す動画像データと、所定の指示(シャッターボタンの押下など)に応じたタイミングで得られる静止画像を表す静止画像データとをそれぞれ保存するデータ保存手段の機能を備えている。
【0047】
また、画像記録装置200に記録されている静止画像データから、静止画像の記録枚数を検出する記録枚数検出手段の機能と、撮影対象となる観察部位等の検査条件に応じて予め定まる全撮影枚数と、記録枚数検出手段が検出した静止画像の記録枚数とを比較して、静止画像の記録枚数が全撮影枚数よりも少ないかを判定する枚数比較判定手段の機能と、静止画像の記録枚数が全撮影枚数よりも少ないと判定された場合に、不足した静止画像を取得するための画像取得支援信号を出力する信号出力手段の機能と、が端末装置300に備わっている。
【0048】
図5は端末装置300における処理の概要を示すフローチャートである。図5に示す処理は、患者に対する内視鏡検査が実施されて静止画像と動画像の画像データが画像記録装置200に記録された後に実施される。
【0049】
まず、端末装置300がネットワークを経由して画像記録装置200にアクセスし、特定の患者の内視鏡検査の結果である画像データをID情報に基づき検索して、抽出された画像データに含まれる静止画像データを画像記録装置200から読み出す(S31)。
【0050】
端末装置300がS31で読み出した静止画像データの数から、存在する静止画像の全撮影枚数を検出する(S32)。全撮影枚数は、例えば静止画像ファイルの数を計数することで求められ、その他にも、静止画像データに全撮影枚数の情報を記録した場合に、その記録情報を読み出すことでもよい。
【0051】
次に、端末装置300がS32で検出した静止画像の全撮影枚数と、予め規定された複数の検査部位に対応する全撮影枚数、即ち、診断に必要な静止画像の規定枚数とを比較する(S33)。規定枚数については、該当する患者の検査オーダの内容に応じて予め定まる。例えば、患者が前述の表1に示す上部消化管の内視鏡検診を行った場合には、13カ所の検査部位が予め規定されており、規定枚数は13枚である。全撮影枚数と規定枚数とが一致している場合は不足がないのでこのまま処理を終了する。
【0052】
全撮影枚数が規定枚数よりも少ない場合には、静止画像の撮り損ねが生じているものと端末装置300が判断し、不足する静止画像を補完するための画像取得支援信号を出力する(S34)。
【0053】
そして、端末装置300がネットワークLANを経由して画像記録装置200にアクセスし、該当する患者の内視鏡検査中に記録された動画像データの全体(検査開始から検査終了までの期間の動画像)を取得する(S35)。
【0054】
次に、端末装置300内の動画静止画変換部310が、不足している静止画像に相当するデータを、S34で取得した動画像データの中から抽出し、新たな静止画像を生成する(S36)。
【0055】
即ち、処理対象の動画像データの中には、検査開始から検査終了までの期間に渡って撮影された画像のデータが含まれているので、この動画像データの中には不足している静止画像に相当する特定の画像フレームの情報も含まれている。従って、不足している静止画像の検査対象部位が分かれば、該当する画像フレームを特定し、動画像データから静止画像の情報を抽出することができる。
【0056】
不足している静止画像の検査対象部位については、後述するように様々な方法で識別可能であるので、動画静止画変換部310(図1参照)は不足している静止画像を動画像データの中から自動的に抽出することもできる。勿論、例えば不足している静止画像の抽出に役立つ情報を表示して、端末装置300を操作する操作者からの入力操作に従って抽出すべき画像フレームを特定し、静止画像を動画像データの中から生成しても良い。
【0057】
また、動画静止画変換部310がS36で抽出した静止画像には、処理対象の動画像データの中に含まれる患者のID情報と同じID情報を付与する。即ち、各患者を内視鏡検査するときには、検査対象の患者を特定するID情報がサーバ500から出力され、画像記録装置200が記録する動画像データの中にも特定のID情報が記録される。このように、動画像データの中から抽出した静止画像に動画像データと同じ患者のID情報を付与することにより、誤診断の発生を予防できる。
【0058】
次に、端末装置300が、S36で抽出した静止画像を、S31で画像記録装置200から読み込んだ他の静止画像群の中に組み込んで同じ患者の検査画像データとして出力可能な状態にする(S37)。この検査画像データは、レポート作成にも使用される。レポートには、検査画像の位置情報が検査画像と合わせて記録される。
【0059】
図6は内視鏡検査の際に画像記録装置200によって記録される静止画像群を模式的に示した説明図である。図示例では、前述の上部消化管の内視鏡検診で行われる内視鏡検査の場合を想定しており、13カ所の検査対象部位が予め規定されている。即ち、図6の上段に示すデータ群DAのように、1番〜13番の検査対象部位のそれぞれについて静止画像を記録する必要がある。なお、ここでは、図6の下段に示すデータ群DBのように、実際に記録された静止画像として、胃の撮影時に不足画像が発生して、11枚の静止画像だけしか得られなかった場合を想定する。
【0060】
静止画像のデータを端末装置300が処理する場合には、静止画像の全撮影枚数(11枚)と規定枚数(13枚)とが一致しないことが図5のS33で検出され、不足している2枚の静止画像を補完するための画像取得支援信号が出力される。
【0061】
不足している静止画像の位置を特定するためには、不足している静止画像の撮影対象がどの臓器に属しているのかを区別すると作業を簡易にできる。この区別については、以下に説明するように自動的に識別することも可能である。
【0062】
<第1の位置特定方法>
例えば、上部消化管の内視鏡検診の場合には、食道、胃、十二指腸のそれぞれの臓器について撮影される画像の色調が異なる。食道は白味が強くなり、胃では赤みが強くなり、十二指腸では胆汁による黄色味が強くなる。
【0063】
そこで、各静止画像を画像処理して得られる色調の情報を上記の特徴と比較することにより、各々の静止画像がいずれの臓器を撮影して得られたものか、あるいは大まかな撮影部位の違いを自動的に区別可能となる。
【0064】
上記の判別処理を施すことにより、図6の下段に示すデータ群DBの1番〜3番の静止画像は「食道」、4番〜8番は「胃」、9番〜11番は「十二指腸」であるとそれぞれ識別される。従って、「胃」に属する撮影部位について、7枚中、2枚の静止画像が不足していることが自動的に判明する。つまり、この場合は、不足している静止画像を抽出するための動画像データの検索範囲については、「胃」に属する撮影範囲内に限定できる。即ち、各臓器毎に必要とされる静止画像の枚数を求め、その枚数と実際に各臓器を撮影した静止画像の臓器毎の枚数を求め、これらを区分された臓器毎に比較することで、どの臓器の静止画が不足しているかを特定できる。
【0065】
この不足している静止画像を補完するための支援として、該当する撮影範囲が「胃」であることを表す情報を、端末装置300の操作者に表示等によって通知する。そして、検索対象の動画像データの範囲を、予めその区分された臓器の範囲に限定することが行われる。
【0066】
<第2の位置特定方法>
図7は、内視鏡先端部39を胃Stの内部に挿入した状態で胃噴門部43を撮影する場合の内視鏡挿入部の形状及び位置関係と、この状態で撮影される観察画像を模式的に示す説明図である。
【0067】
胃噴門部の撮影時は、内視鏡先端部39を大きく湾曲させた状態でその後方を撮影することになる。従って、撮影する画像中に内視鏡挿入部21が映出することになる。
【0068】
そこで、端末装置300が各静止画像あるいは動画像の各フレームを扱う際に、画像処理を行って抽出される画像パターンの特徴量の中に、内視鏡挿入部21自身の形状や色等の特徴が含まれているかどうかを識別することにより、画像中の内視鏡挿入部21の映出の有無を検出できる。つまり、該当する画像の検査対象部位が、胃噴門部43であるか否かを自動的に特定することが可能である。このような処理も、不足している静止画像の補完を支援するために利用できる。
【0069】
<第3の位置特定方法>
内視鏡挿入部を体腔内に挿入して撮影を行う際の撮影対象部位を特定するために、内視鏡挿入部の体腔内への挿入長に対応させた位置情報を利用することもできる。例えば、図8に示すような内視鏡11Bと、図9に示すマウスピース51とを用いることにより、内視鏡挿入部の体腔内への挿入長を検出することができる。
【0070】
即ち、内視鏡11Bで検査を実施する前に患者の口腔にマウスピース51を装着する。そして、マウスピース51を介して内視鏡挿入部21を患者の体腔内に挿入する。その場合、図9に示すように、内視鏡挿入部21がマウスピース51の開口部51aを貫通して挿入される。
【0071】
内視鏡11Bの内視鏡挿入部21の外周面には、図8に示すように内視鏡挿入部21の長手方向に一定の間隔で形成されたマーキング部22が設けてある。このマーキング部22は、例えば所定の磁気記録媒体を一定の間隔で配置することにより形成される。一方、マウスピース51には、図9に示すようにセンサ52が設けてある。マーキング部22が磁気記録媒体で構成される場合には、センサ52として磁気センサが用いられる。
【0072】
従って、図9に示すようにマウスピース51の内側に内視鏡挿入部21を挿入した状態では、センサ52がマーキング部22を検出することで、患者の体腔内で内視鏡挿入部21を移動させるときに、センサ52と対向するマーキング部22の位置が順次に変化し、パルス状の電気信号がセンサ52から出力される。このセンサ52から出力されるパルス数を計数することにより、特定の基準位置から内視鏡挿入部21の移動量、即ち挿入長を把握することができる。
【0073】
この内視鏡挿入部21の体腔内への挿入長から、内視鏡先端部39が位置する生体内の部位(臓器)を特定することが可能となる。
【0074】
上記のマーキング部22とセンサ52は、磁気記録情報以外にも、光学的な情報を読み取って位置検出する構成としてもよい。例えば、マーキング部として、内視鏡挿入部21の長手方向に沿って表面色とは異なる色に着色された光学情報記録媒体を複数配置する。また、これらマーキング部に光照射すると共に反射光を検出することで、マーキング部からの光学情報を読み取る光学センサをマウスピース51に配置する。これら光学情報記録媒体を光学センサで読み取ることで、同様に内視鏡挿入部21の挿入長を検出することができる。
【0075】
内視鏡11Bにより内視鏡挿入部21の体腔内への挿入長を検出する場合、マウスピース51と内視鏡挿入部の先端部39との相対位置(挿入長又は距離)と、撮影部位との関係は、年齢、身長、既往症(胃下垂など)に応じて患者毎に異なる。そこで、検出した挿入長を患者の年齢、身長、既往症を考慮して予め補正し、その結果を用いて撮影部位を特定することで、より高精度に生体内の部位を特定することができる。
【0076】
以下、内視鏡挿入部の体腔内への挿入長の検出方法の一例を示す。
内視鏡の挿入長と撮影部位との関係については患者の体型等の影響を受けるので、内視鏡先端部39が体腔内の最深部に到達したときに検出されるマウスピース51から内視鏡先端部39までの距離を最大挿入長Lとして求め、この最大挿入長Lに対する比率として撮影部位を管理する。
【0077】
図7に内視鏡挿入部21の挿入長と、各検査部位の体腔内位置P0−P13との関係を模式的に示した。各検査部位の体腔内位置P0〜P13は、内視鏡挿入部21の挿入長として表すことができ、図中には内視鏡挿入部21の先端部39から順に、体腔内位置P0〜P13を示してある。ここで、内視鏡挿入部21の体腔内への挿入長は、マウスピース51の位置を基準として、検出された検査最深位置P0の最大挿入長Lに対する比率である実比率R0〜R13として表している。例えば、実比率R1は、マウスピース51から検査位置P1までの内視鏡挿入部21の挿入長L1を最大挿入長Lに対する比率で表すL1/Lの値となる。
【0078】
これら実比率R0〜R13の各値を、内視鏡制御装置13が定数として記憶しておく。例えば、前述の表1に示した1番から13番の13カ所の撮影部位について、それぞれの実比率R0〜R13の値を記憶する。これにより、内視鏡制御装置13は、内視鏡挿入部21の移動に伴って変化する挿入長を最大挿入長Lの比で求めた検出比率と、各実比率の値とを比較することにより、現在の挿入長に対応する撮影位置を特定できる。
【0079】
上述のような方法で内視鏡先端部39の位置を検出して管理する場合には、図1に示した画像記録装置200が記録する各静止画像や動画像のデータに、それぞれの撮影時点で検出された位置情報、即ち、検出比率や臓器の区分情報を同時に記録しておく。この場合、端末装置300が画像記録装置200に記録されたデータに基づいて静止画像の不足を検出したときに、不足している静止画像と対応する撮影部位を、その前後の静止画像に含まれる位置情報から特定することが可能であり、不足している静止画像の補完を支援するために利用できる。また、動画像データの内容に含まれる位置情報を参照することにより、不足している静止画像の撮影部位と対応するデータが含まれている画像フレームの範囲を特定することが可能であり、必要な静止画像を抽出するための支援に利用できる。
【0080】
<第4の位置特定方法>
内視鏡挿入部21を体腔内に挿入して撮影を行う際に、画像記録装置200は、撮影時刻となる現在の日付と時刻を含む情報をタイムスタンプとしてそれぞれの静止画像データの中に含めることができる。また、動画像データについても、動画像を構成する多数の画像フレームのそれぞれに撮影時刻を表すタイムスタンプを含めることができる。なお、タイムスタンプとして、例えば検査(撮影)開始時刻からの経過時間のような相対値の情報を時刻の代わりに記録することも可能である。
【0081】
図1に示した画像記録装置200が記録する各静止画像や動画像のデータに上記のタイムスタンプが含まれている場合には、端末装置300は不足している静止画像の補完を支援するために利用できる。即ち、内視鏡を用いた患者の体腔内の検査については予め定めた手順に従って規則的に行われるのが一般的であるので、内視鏡先端部39が体腔内の最深部からほぼ一定の速度で同じ方向に移動しながらそれに伴って撮影部位が変化する。つまり、検査を開始してからの経過時間や時刻の変化と撮影部位の変化との間には相関関係がある。
【0082】
従って、端末装置300が画像記録装置200の記録したデータに基づいて静止画像の不足を検出したときに、不足している静止画像と対応する撮影部位を、その前後の静止画像に含まれるタイムスタンプの内容から特定することができる。このように、不足している静止画像の補完を支援することができる。また、動画像データの各画像フレームに含まれるタイムスタンプの内容を参照することにより、不足している静止画像の撮影部位と対応するデータが含まれている画像フレームの範囲を特定することが可能であり、この場合にも必要な静止画像を抽出する処理を支援できる。
【0083】
前述した撮影対象臓器の違いに応じた画像の色調の変化や、画像内に映る内視鏡等の認識結果や、内視鏡の挿入長や、撮影時間を表す各画像のタイムスタンプの少なくとも1つの情報を用いたり、これらの複数の情報を組み合わせて利用したりすることにより、記録された静止画像群の中で不足している撮影部位をより高精度に特定することが可能となる。また、不足している静止画像を動画像データの中から抽出する際に、動画像の全画像フレームの中から該当する撮影部位や範囲を特定あるいは限定するために、前述の各情報を利用できる。
【0084】
従って、画像記録装置200が記録した静止画像の枚数が不足していることが判明したときに、動画静止画変換部310が不足している静止画像を動画像データから操作者によって抽出したり、自動的に抽出したりして、補完することが効率よく、しかも正確に行える。
【0085】
その場合には、操作者を支援するために、必要な情報、例えば不足している静止画像の撮影部位を表す情報や、不足している静止画像の撮影部位における色調の情報や、画像中に映る内視鏡の有無を表す情報や、内視鏡の挿入長や、タイムスタンプなどを端末装置300が表示部に表示して操作者に情報を提供することが好ましい。また、端末装置300が、不足している静止画像に対応する撮影部位を予め特定し、その結果に従って動画像データの中の多数の画像フレームの中で抽出すべき画像フレームが存在する範囲を限定したり、あるいは抽出対象の特定の画像フレームを自動的に選択して表示したりすることで操作者を支援することであってもよい。
【0086】
以上のように、画像記録装置200や端末装置300を用いて本発明の内視鏡画像記録装置を構成することにより、記録された静止画像の枚数が不足している場合に、所定の画像取得支援信号を出力して、不足した静止画像の補完に役立てることができる。特に、内視鏡検査の際に記録された動画像データを利用して、不足した静止画像を補完すると、患者への負担を軽減できる。また、様々な情報を利用して不足している静止画像の撮影部位を特定したり、動画像データの中の抽出対象範囲を特定したり限定することができるので、操作者を支援でき、不足画像の抽出が円滑となる。
【0087】
なお、図5に示した動作に相当する端末装置300の処理に関する支援の手順については、例えば端末装置300内の記憶部に内視鏡画像記録支援プログラムとして予め記憶させておき、端末装置300を操作する操作者の入力操作に従って起動し、端末装置300内部のコンピュータにより実行することができる。
【0088】
本発明は上記の実施形態に限定されるものではなく、明細書の記載、並びに周知の技術に基づいて、当業者が変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。例えば、前述の動画撮影の開始タイミングは、最初の静止画撮影タイミングからでなく、内視鏡挿入部を体腔内へ挿入開始するタイミングにする等、適宜変更が可能である。
【0089】
以上の通り、本明細書には次の事項が開示されている。
(1) 被検者を内視鏡検査する際に内視鏡から出力される画像信号に基づいて、予め定めた複数の検査部位の静止画像を含む検査画像データを記録する内視鏡画像記録装置であって、
前記画像信号に基づき、動画像を記録した動画像データ、及び所定の指示に応じたタイミングの静止画像を記録した静止画像データをそれぞれ保存するデータ保存手段と、
前記データ保存手段に保存されている前記静止画像データから、前記静止画像の記録枚数を検出する記録枚数検出手段と、
前記複数の検査部位に対応する全撮影枚数、及び前記記録枚数検出手段が検出する静止画像の記録枚数を比較して、前記静止画像が前記全撮影枚数より不足しているかを判定する枚数比較判定手段と、
前記枚数比較判定手段が、前記静止画像の記録枚数が前記全撮影枚数よりも少ないと判定した場合に、不足した静止画像を前記データ保存手段が保持している前記動画像データから取得するための画像取得支援信号を出力する信号出力手段と、
を備えた内視鏡画像記録装置。
【0090】
この内視鏡画像記録装置によれば、必要な検査部位が予め指定された内視鏡検査時において、内視鏡検査が終了した後に、検査部位の静止画像が不足していたことが分かった場合でも、不足した静止画像を動画像データから補完する作業を支援できる。これにより、全検査部位の静止画像が常に得られ、診断精度を低下させることなく、また、不足する画像の撮り直しのために内視鏡再検査を実施する等の被験者への負担を軽減できる。
【0091】
(2) (1)の内視鏡画像記録装置であって、
前記記録枚数検出手段が、前記静止画像データの複数の静止画像それぞれについて、該当する検査部位を表す臓器の区分を特定して、前記臓器毎の記録枚数を検出し、
前記枚数比較判定手段は、前記臓器毎の全撮影枚数に基づいて前記静止画像の枚数の不足を判定する内視鏡画像記録装置。
【0092】
この内視鏡画像記録装置によれば、検査する臓器毎に記録された静止画像の記録枚数を検出し、不足する静止画像を臓器毎に識別できる。これにより、動画像データから静止画像を抽出する際に、抽出すべき検査部位のシーンの特定が容易に行える。
【0093】
(3) (2)の内視鏡画像記録装置であって、
前記記録枚数検出手段が、前記静止画像の色情報に基づいて前記臓器の区分を特定する内視鏡画像記録装置。
【0094】
この内視鏡画像記録装置によれば、臓器毎に異なる特徴的な色調を静止画像から検出することで、撮影した臓器の区分を特定することができる。
【0095】
(4) (2)の内視鏡画像記録装置であって、
前記記録枚数検出手段が、前記内視鏡の体腔内への挿入長に基づいて前記臓器の区分を特定する内視鏡画像記録装置。
【0096】
この内視鏡画像記録装置によれば、内視鏡の挿入長、即ち、内視鏡を挿入する口腔から内視鏡先端部までの挿入長さから、簡単に撮影箇所を特定でき、この特定された位置に対応する臓器の区分を特定できる。
【0097】
(5) (2)の内視鏡画像記録装置であって、
前記記録枚数検出手段が、前記静止画像から抽出する特定の画像パターンに基づいて前記臓器の区分を特定する内視鏡画像記録装置。
【0098】
この内視鏡画像記録装置によれば、撮影した静止画像から特定の画像パターンが抽出された場合、この特定の画像パターンに対応して、この静止画像の臓器の区分を特定できる。例えば、検査部位として胃噴門部を撮影する際は、内視鏡先端を大きく湾曲させて内視鏡挿入部を画角に含む状態で胃噴門部を撮影する。このような場合に、撮影された静止画像中に内視鏡挿入部に相当する画像パターンが含まれているかどうかを検出することにより、検査部位が胃噴門部であるか否かを特定可能となる。
【0099】
(6) (2)の内視鏡画像記録装置であって、
前記記録枚数検出手段が、前記静止画像の撮影時刻に基づいて前記臓器の区分を特定する内視鏡画像記録装置。
【0100】
この内視鏡画像記録装置によれば、内視鏡検査が内視鏡先端部を生体内の最深部まで挿入した後、内視鏡を最深部から少しずつ抜き取りながら各検査部位を順次撮影するものである場合、検査開始からの経過時間と体腔内の検査部位(臓器)の並び順が対応することになり、各静止画像の撮影時刻に基づいて、撮影された臓器の区分を特定することができる。
【0101】
(7) (2)〜(6)のいずれか1つの内視鏡画像記録装置であって、
前記信号出力手段が、前記不足した静止画像に対応する臓器の区分を前記画像取得支援信号と共に出力する内視鏡画像記録装置。
【0102】
この内視鏡画像記録装置によれば、不足した静止画像に対応する臓器の区分を表す臓器区分信号が画像取得支援信号と共に出力されるため、不足した静止画像を動画像データからの取得する際に、動画像データのどのシーンから取得すればよいかが分かるため、静止画像の取得作業が軽減される。
【0103】
(8) (1)〜(6)のいずれか1つの内視鏡画像記録装置であって、
前記データ保存手段が、被検者を特定するID情報と共に前記動画像データを保存し、
前記信号出力手段が、前記ID情報を前記画像取得支援信号と共に出力する内視鏡画像記録装置。
【0104】
この内視鏡画像記録装置によれば、画像取得支援信号と共に出力されるID情報に基づいて、データ保存手段が有する動画像データを検索することができる。このため、データ保存手段に複数の被検者の動画像データが保存されていても、被検者と画像との対応関係に不一致が生じることがない。
【0105】
(9) 被検者を内視鏡検査する際に内視鏡から出力される画像信号に基づいて、予め定めた複数の検査部位の静止画像を含む検査画像データを記録する内視鏡画像記録支援方法であって、
前記画像信号に基づき、動画像を記録した動画像データ、及び所定の指示に応じたタイミングの静止画像を記録した静止画像データをそれぞれ保存した後、
保存された前記静止画像データから、前記静止画像の記録枚数を検出し、
前記複数の検査部位に対応する全撮影枚数、及び検出された前記静止画像の記録枚数を比較して、前記静止画像が前記全撮影枚数より不足している場合に、不足した静止画像を前記データ保存手段が保持している前記動画像データから取得するための画像取得支援信号を出力する内視鏡画像記録支援方法。
【0106】
(10) コンピュータに、(9)の内視鏡画像記録支援方法の手順を実行させるプログラム。
【符号の説明】
【0107】
11 内視鏡
13 内視鏡制御装置
15 表示部
19 本体操作部
21 内視鏡挿入部
22 マーキング部
27 操作ボタン
39 内視鏡先端部
41 表示部
43 胃噴門部
51 マウスピース
52 センサ
100 内視鏡システム
200 画像記録装置
300 端末
310 動画静止画変換部
400 内視鏡画像記録装置
500 サーバ
510 レポートデータベース

【特許請求の範囲】
【請求項1】
被検者を内視鏡検査する際に内視鏡から出力される画像信号に基づいて、予め定めた複数の検査部位の静止画像を含む検査画像データを記録する内視鏡画像記録装置であって、
前記画像信号に基づき、動画像を記録した動画像データ、及び所定の指示に応じたタイミングの静止画像を記録した静止画像データをそれぞれ保存するデータ保存手段と、
前記データ保存手段に保存されている前記静止画像データから、前記静止画像の記録枚数を検出する記録枚数検出手段と、
前記複数の検査部位に対応する全撮影枚数、及び前記記録枚数検出手段が検出する静止画像の記録枚数を比較して、前記静止画像が前記全撮影枚数より不足しているかを判定する枚数比較判定手段と、
前記枚数比較判定手段が、前記静止画像の記録枚数が前記全撮影枚数よりも少ないと判定した場合に、不足した静止画像を前記データ保存手段が保持している前記動画像データから取得するための画像取得支援信号を出力する信号出力手段と、
を備えた内視鏡画像記録装置。
【請求項2】
請求項1記載の内視鏡画像記録装置であって、
前記記録枚数検出手段が、前記静止画像データの複数の静止画像それぞれについて、該当する検査部位を表す臓器の区分を特定して、前記臓器毎の記録枚数を検出し、
前記枚数比較判定手段は、前記臓器毎の全撮影枚数に基づいて前記静止画像の枚数の不足を判定する内視鏡画像記録装置。
【請求項3】
請求項2記載の内視鏡画像記録装置であって、
前記記録枚数検出手段が、前記静止画像の色情報に基づいて前記臓器の区分を特定する内視鏡画像記録装置。
【請求項4】
請求項2記載の内視鏡画像記録装置であって、
前記記録枚数検出手段が、前記内視鏡の体腔内への挿入長に基づいて前記臓器の区分を特定する内視鏡画像記録装置。
【請求項5】
請求項2記載の内視鏡画像記録装置であって、
前記記録枚数検出手段が、前記静止画像から抽出する特定の画像パターンに基づいて前記臓器の区分を特定する内視鏡画像記録装置。
【請求項6】
請求項2記載の内視鏡画像記録装置であって、
前記記録枚数検出手段が、前記静止画像の撮影時刻に基づいて前記臓器の区分を特定する内視鏡画像記録装置。
【請求項7】
請求項2〜請求項6のいずれか1項記載の内視鏡画像記録装置であって、
前記信号出力手段が、前記不足した静止画像に対応する臓器の区分を表す臓器区分信号を前記画像取得支援信号と共に出力する内視鏡画像記録装置。
【請求項8】
請求項1〜請求項7のいずれか1項記載の内視鏡画像記録装置であって、
前記データ保存手段が、被検者を特定するID情報と共に前記動画像データを保存し、
前記信号出力手段が、前記ID情報を前記画像取得支援信号と共に出力する内視鏡画像記録装置。
【請求項9】
被検者を内視鏡検査する際に内視鏡から出力される画像信号に基づいて、予め定めた複数の検査部位の静止画像を含む検査画像データを記録する内視鏡画像記録支援方法であって、
前記画像信号に基づき、動画像を記録した動画像データ、及び所定の指示に応じたタイミングの静止画像を記録した静止画像データをそれぞれ保存した後、
保存された前記静止画像データから、前記静止画像の記録枚数を検出し、
前記複数の検査部位に対応する全撮影枚数、及び検出された前記静止画像の記録枚数を比較して、前記静止画像が前記全撮影枚数より不足している場合に、不足した静止画像を前記データ保存手段が保持している前記動画像データから取得するための画像取得支援信号を出力する内視鏡画像記録支援方法。
【請求項10】
コンピュータに、請求項9記載の内視鏡画像記録支援方法の手順を実行させるプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2012−70938(P2012−70938A)
【公開日】平成24年4月12日(2012.4.12)
【国際特許分類】
【出願番号】特願2010−217964(P2010−217964)
【出願日】平成22年9月28日(2010.9.28)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】