説明

内視鏡制御システム

【課題】従来の内視鏡装置には、通信機能や遠隔操作機能を有していないため、判定者が遠隔地に所在していた場合には、その撮影された内視鏡画像に対する良否判定が迅速に行われなかった。また、内視鏡装置と制御部がケーブル等で繋がっていたため検査現場にケーブルが引き廻されていた。
【解決手段】本発明は、Webサーバー等のサーバーやブラウザ画面によるネットワーク通信を利用したリモコンによる遠隔操作で駆動する内視鏡装置であり、内視鏡装置により撮影された被検物の良否判定を行うために、その被検物の内視鏡画像を含む情報がネットワーク介して、内視鏡装置の遠隔操作可能な外部端末に送信して被検物の良否判定を行うことができる内視鏡制御システムである。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、工業分野に用いられる内視鏡システムに対して、ネットワークを含む通信経路を介して、遠隔地の外部端末により検査状況を視聴しつつ操作することができる遠隔操作可能な内視鏡制御システムに関する。
【背景技術】
【0002】
一般に、工業分野に用いられる内視鏡システムは、非破壊検査などに用いられており、観察する被検物(検査対象空間)が大型であったり、既に設置されていた場合には、その被検物が所在する場所の近傍に、内視鏡本体と複数の分解された構成部位とをそれぞれに持ち込み、検査者等により組み上げられて使用されている。しかし、この組み上げに手間と時間を要していた。
【0003】
そこで例えば、本出願人が提案する特許文献1においては、ワイヤ状の長尺な挿入部からなる内視鏡を巻き取る回動自在なドラムと、各構成部位に電源を供給する電源部と、スイッチやコネクタが配置されたパネルと、モニタ等を1つの収納ケース内に収納して一体的に構成された移動可能な内視鏡システムが提案されている。この移動可能な内視鏡システムを用いれば、現地での観察が迅速に開始することができる。
【特許文献1】特願2001−335037号
【特許文献2】特開2000−245738号公報
【特許文献3】特開平11−211997号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
前述したように、被検物の所在地において、内視鏡システムでその被検物を観察した場合、検査者がモニタに写し出された内視鏡画像から被検物の状態、例えば、その損傷状態や部品交換の必要性などの良否判定をしなければならなかった。しかし、検査者が良否を判定できない場合には、判定者をその観察場所まで同行させるか、その判定者が観察場所から離れた場所に所在していたならば、得られた内視鏡画像を携帯可能な記録媒体に記録させて、判定者の元で再現して判定を仰がなければならなかった。このため、判定するまでの時間的損失が発生することとなり、これが原因で、検査のための被検物の稼働を停止させる期間が長くなったり、被検物が損傷していた場合などは、その修理用部品を入手するのに手間取ったりしている。
【0005】
これに対して、本出願人が提案する特許文献2では、公衆電話回線(ISDN)やLAN等の通信手段を利用して、遠隔地の判定者の元へ内視鏡画像を転送し、判定者による判定や画像へのマーキングを行うことができる遠隔支援技術が開示されている。しかし、この公報の技術は、患者を対象する医療用の内視鏡システムであるため、遠隔地の判定者からの指示を反映させることができるとしても、遠隔地からの直接的な操作は実施することはできない構成となっている。実際に、判定者が判定を行う際に、被検物の観察したい箇所や注目する箇所があっても判定者は検査者に音声で伝えたり、文字メール等で指示を与えてその箇所を写し出してもらわねばならず、検査対象空間が大きい場合には観察するまでが容易ではない。
【0006】
そこで遠隔操作を実現するものとして、例えば、特許文献3には、操作ボックスと内視鏡本体とを別体化して、無線で内視鏡画像や制御信号のやり取りを行うシステムが開示されている。このシステムを用いれば、被検物の内視鏡画像を観察しつつ、内視鏡を遠隔操作することができる。しかし、この先行技術においては、無線が届く範囲内での遠隔操作に限定されるため、観察場所によっては内視鏡本体の近傍で行わなければならない場合もあり、また無線を使用できない観察環境もあり得る。
【0007】
さらに、従来の内視鏡システムでは、内視鏡画像は1台程度の特定の外部端末でしか見ることができず、異なる遠隔地位に複数の判定者が所在していた場合、同時にその内視鏡画像を観て意見交換などを行うことはできなかった。
【0008】
そこで本発明は、内視鏡装置が撮影した画像を観察しつつ、ネットワーク通信を利用したリモコンにより内視鏡装置を遠隔操作し、且つネットワーク通信を利用して、観察場所から複数の遠隔地の外部端末に内視鏡画像を提供して、それらの外部端末による遠隔操作により、内視鏡画像を撮影して観察可能な内視鏡制御システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明は上記目的を達成するために、少なくともサーバー言語で記述された画面情報であるグラフィカルユーザーインターフェース(GUI)と、外部アプリケーションソフトウエアとを記憶し、前記外部アプリケーションソフトウエアを実行するためのインターフェースを備えたネットワークサーバー手段と、ネットワークインターフェース(ネットワークI/F)手段とを具備し、通信のためのネットワークに接続して前記画面情報の通信を行う内視鏡制御システムを提供する。
【0010】
また、被検物の内部部位を撮影し内視鏡画像を得る挿入部を有し、通信のためのネットワークへ接続して該内視鏡画像を含む情報の通信が可能な内視鏡装置と、前記ネットワークに通信可能で、該ネットワークを介して、前記内視鏡装置に識別照合により相互接続され、該内視鏡装置から出力された画像とその画像に関する情報を視聴しつつ、遠隔操作が可能な画像表示機能付きリモートコントロール装置と、前記ネットワークを介して、前記内視鏡装置に接続し、前記内視鏡画像を観察しつつ該内視鏡装置を操作する機能を有する1若しくは複数の外部端末とで構成され、前記リモートコントロール装置若しくは前記外部端末が前記通信ネットワークを介して接続された際に、前記内視鏡装置が遠隔操作により撮影の制御が行われる内視鏡制御システムを提供する。
【0011】
以上のような構成の内視鏡制御システムは、Webサーバー等のサーバーやWWWブラウザ画面によるネットワーク通信を利用したリモコンによる遠隔操作で内視鏡装置が駆動され、内視鏡装置により撮影された被検物の良否判定を行うために、その被検物の内視鏡画像を含む情報が、ネットワークを介して、内視鏡装置の遠隔操作可能な外部端末に送信されて被検物の良否判定が行われる。
【発明の効果】
【0012】
以上詳述したように本発明によれば、内視鏡装置が撮影した画像を観察しつつ、ネットワーク通信を利用したリモコンにより内視鏡装置を遠隔操作し、且つネットワーク通信を利用して、観察場所から複数の遠隔地の外部端末に内視鏡画像を提供して、それらの外部端末による遠隔操作により、内視鏡画像を撮影して観察可能な内視鏡制御システムを提供することができる。
【発明を実施するための最良の形態】
【0013】
以下、図面を参照して本発明の実施形態について詳細に説明する。
【0014】
図1は、本発明の第1の実施形態に係る遠隔操作可能な内視鏡制御システムの概念的な構成を示す図である。本発明の内視鏡制御システムは、以下の実施形態では、前述したような内視鏡装置本体や周辺部位が一体的に1フレームに収納されて移動可能に構成された装置を例として説明するが、これに限定されるものではなく、従来の分割されて組み上げるタイプであっても、通信システムについては同等に適用可能である。
【0015】
この内視鏡システムは、LANなどの通信のためのネットワーク19へ無線により接続して画像等を通信する機能を有し、主として工業用に利用される内視鏡装置1と、前記ネットワーク19に無線で接続して内視鏡装置1の駆動制御と撮影された画像(内視鏡画像)を含む情報の通信が可能な画像表示機能付きリモートコントロール装置(以下、主リモコンと称する)2とで構成される。ここで行われる無線通信は、互いに識別番号(ID)やパスワードを照合させて、内視鏡装置1と認証された1台または複数台の主リモコン2及び外部端末18、21とが接続可能である。この操作により、認証されない他の機器が誤って接続されないようにできる。
【0016】
この内視鏡装置1は、回動可能なドラム4に巻き取られた挿入部3が装置本体内に収納される。この装置本体の上面には、無線が使用できない時などに別のリモコン(有線タイプ主リモコン装置)とケーブルで接続するためのリモコン用接続部6と、画像を含む情報を記録するためのPCカード8を装着するためのPCカード用スロット9と、マイクロフォン等(不図示)を差し込むための外部音声入力部10と、外部スピーカ(不図示)に接続するための外部音声出力部11と、外部から画像を入力するための外部画像入力部12と、モニタ等の表示部(不図示)に画像信号を出力するための外部画像出力部13と、無線通信を行うためのアンテナ14が設けられている。また、図示していないが内視鏡装置1の下部には、移動用キャスタと引き手等が設けられて移動に便利な構成となっている。
【0017】
この内視鏡装置1における通信は、WWW(Web)サーバーにより行われ、HTMLなどのサーバー言語で記述された画像を含む情報を後述する無線通信インターフェース部(通信I/F部)を用いて発信する。このWebサーバーの一例として、例えば、マイクロソフト社製IIS(Internet Information Server)、また、Apatche Webブラウザとして、例えば、マイクロソフト社製IE(Internet Explorer)等がある。サーバー言語の例としては、HTML、XMLがあり、無線通信インターフェース部としては、IEEE802.11bやIEEE802.11aが知られている。また、通信プロトコルとしては、HTTP等が知られている。
【0018】
ここで、前述したサーバー言語における本発明で用いるHTMLについて説明する。このHTMLで記述されたHTMLファイルは、ハードディスク(図4におけるHD68)に記憶されている。
【0019】
内視鏡装置1内に設けられたWebサーバーは、クライアントとなる主リモコン2や外部端末18(21)からの要求に応答じて、HTMLファイルとそれに関連するデータ、つまり、画面に映し出される操作ボタンなどのグラフィックデータや、内視鏡装置1が撮影したライブ画像や、内視鏡装置1に記録されている画像などを、主リモコン2や外部端末18へ送信する。
【0020】
主リモコン2や外部端末18中のWebブラウザは、内視鏡装置1からHTMLファイルをダウンロードし、HTMLに記述されたハイパーテキストを画面にグラフィカルに表示する。この画面は、後述する図20等に示すようなボタン、被検査物のリスト、他のURLへのリンク等の操作手段とともに、日付、時刻や画像の記憶されたURLといった画像に関連する情報が表示される。
【0021】
また、Webサーバーは、クライアントとなる主リモコン2や外部端末18(21)のWebブラウザから要求されたリンク先が外部アプリケーションソフトウエアを指す場合は、CGI(Common Gateway Interface)やASP(Active Server Pages)といったインターフェースを通して外部アプリケーションソフトウエアを実行し、その実行結果をWebブラウザに返信する。外部アプリケーションソフトウエアを実行する際に、どちらのインターフェースが用いられるかは、リンク先の外部アプリケーションソフトウエア毎に決まっており、Webサーバーにより適宜選択される。また外部アプリケーションソフトウエアは、C言語やPerl言語で記述される。
【0022】
図2には、主リモコン2の外観構成を示す。
この主リモコン2は、液晶表示素子(LCD)等からなる画像表示部2aと、各種の操作スイッチが配置されたスイッチ部2bとで構成される。画像表示部2aの上面には、ネットワーク19と無線通信するためのアンテナ15と、主リモコン2を操作する検査者の音声等を収音するためのマイクロフォン16と、受信した音声等を発するためのスピーカ17とが設けられている。
【0023】
また、スイッチ部2bは、内視鏡装置1の挿入部3先端に設けられた撮像素子(CCD)3aにより撮影された被検物の部位画像(内視鏡画像)を拡大(望遠)させるズームボタン41と、内視鏡画像の明るさを調整するための輝度調整用ボタン42と、所望する内視鏡画像を得るために挿入部3の先端部分を湾曲させるための電動アングルジョイスティック43と、メニュー画面等で指示や項目選択を行うための4方向に可動可能で押し込みによる選択確定を行う指示スイッチ44と、メニュー画面の表示・非表示を行うためのメニュー選択ボタン45と、現在CCDが取り込んでいる内視鏡画像のライブ画像とフリーズ画像(ライブ画像を一時的に停止させた画像)とを切り替え可能なライブボタン46とが配置されている。
【0024】
主リモコン部2は、WWWブラウザを備えており、これにより内視鏡装置1が常時送信する画像(内視鏡画像やリアルタイム画像を含む)が表示可能であり、また この画像に関する情報も併せて表示することができる。また、主リモコン2は、グラフィカルユーザーインターフェース(GUI)を備えており、内視鏡本体からの画像及びそれに関する情報に基づき、GUIを用いて内視鏡装置1を遠隔操作により、駆動制御することができる。
【0025】
このGUIは、具体的には、主リモコン2の画面2a上に表示されたユーザーインターフェースの画像に対して指示を与えることにより、内視鏡装置1や外部端末18にアクセスおよび遠隔操作するものである。例えば、後述する図23の163に示す”B+”ボタンを例に説明する。”B+”ボタンは内視鏡画像の明るさ設定であるBrigthnessをUP方向に調節するためのボタンである。”B+”ボタンのリンク先は内視鏡装置1内のWebサーバーに外部アプリケーションソフトウエアとして記憶されている。主リモコン2の画面2aにて”B+”ボタンを押すと、Webサーバーはリンク先のB+用外部アプリケーションソフトウエアをCGIインターフェースを通して実行する。B+用アプリケーションソフトウエアは、内視鏡制御部66に対してCCU63のBrigthnessをUPするように指示する。内視鏡制御部66は、CCU63に対してBrigthnessのUPコマンドを送信する。CCU63は.上記コマンドを受信すると、映像信号の明るさを明るく調整し、出力する。なお、上記コマンドはRS−232Cなどのシリアル通信によって実現される。
【0026】
また”T”ボタンは内視鏡画像のサイズを拡大(Z00MUP)するためのボタンである。”T”ボタンのリンク先は内視鏡装置1内のWebサーバーに外部アプリケーションソフトウエアとして記憶されている。主リモコン2のシステム制御部(図6に示すCPU102)は、このクリック操作を、ネットワーク1/F部(図6に示す通信1/F部111)から内視鏡装置1に対して送信する。クライアントである主リモコン2からの要求を受信した内視鏡装置1のWebサーバーはリンク先の画像拡大用外部アプリケーションソフトウエアをCGIインターフェースを通して実行する。画像拡大用アプリケーションソフトウエアは、内視鏡制御部66に対してCCU63の出力する内視鏡画像を拡大するように指示する。内視鏡制御部66は、CCU63に対して画像拡大コマンドを送信する。CCU63は上記コマンドを受信すると、映像信号の一部分を拡大し、1画面の映像信号として出力する。
【0027】
また、アドレスバー上にURLを入力すると所望のHTMLをダウンロードしてブラウザ上に表示することができる。
【0028】
また、HTMLファイル中には、内視鏡装置1が発信する画像を表示する領域も設けられており、主リモコン2が画像を受信した場合は、この表示領域に表示される。具体的には、静止画を受信した場合は、静止画解凍部(図6に示す静止画解凍部109)で解凍された静止画をHTMLファイル中に記述された所望の領域に表示する。一方、ライブ画像(動画)の場合も同様に、動画解凍部(図6に示す動画解凍部110)で解凍し、HTMLファイルに記述された所望の領域に表示する。これはリアルタイムで実行されるため主リモコン2は内視鏡装置1が撮影している画像をライブで表示することができる。
【0029】
これらの画像の記録指示が行われると、図示しないメニューにて記録先が内視鏡装置1のPCカードを指定している場合は、内視鏡装置1で圧縮した画像をPCカード8に記録する。一方、図示しないメニューにて記録先が主リモコン2や外部端末18を指定している場合は、受信した圧縮画像を上述した解凍・表示を実行しつつ、各装置内の記録装置に記録する。記録装置としては例えばハードディスクやPCカードがある。
【0030】
さらに、ネットワーク19には、パーソナルコンピュータ等からなる複数の外部端末18(18a,18b)が接続可能である。これらの外部端末18は、ネットワーク19を介して、内視鏡装置1と接続可能であり、WWWブラウザを備え、内視鏡(挿入部3)により撮影された内視鏡画像(リアルタイム画像)、この内視鏡画像に関する画面情報、内視鏡装置1内から読み出された記録画像など内視鏡装置1から送信された情報を受信して表示することができる。また、GUIも搭載しており、画面情報に基づき、内視鏡装置1を遠隔操作により駆動制御を行うことができる。本実施形態における主リモコン2や外部端末18は、内視鏡装置1が発信するHTML等のサーバー言語で記述された操作画面をGUIとして表示する。また、このネットワークとリンクするインターネットの外部ネットワークに接続する外部端末21も同様に画像表示や遠隔操作を行うことができる。
【0031】
また、主リモコン2は、各外部端末18、21に対して、ネットワークを介して接続することができる。主リモコン2は、これらの外部端末のうち、Webサーバーを搭載する外部端末18、21にアクセスして、それぞれに記録されている過去の検査画像、検査データ、計測結果、マニュアル及び被検物の検査部位の図面などを適宜、主リモコンの表示画面のWWW(Web)ブラウザ上に表示させることができる。これにより、例えば、検査を実施している際に、遠隔地に所在する外部端末に記憶されている情報が必要となった場合には、検査現場に所在する主リモコンにその情報を入手して検査現場で表示させることができる。
【0032】
図4は、第1の実施形態の内視鏡装置1の内部構成を示すブロック図である。 この内視鏡装置1においては、挿入部3先端に設けられたCCDを制御して撮影して内視鏡画像を入力するカメラコントロールユニット(CCU)63と、挿入部3先端の屈曲動作を制御する電動アングルユニット64と、挿入部3先端に設けられて被検物内部を照明する光源65を備え、これらは内視鏡制御部66によって制御される。この内視鏡制御部66は、内部バス61を通じてCPU62に制御される。この内部バス61は、内部構成部位に接続して、CPU62により全体が制御される。また、内視鏡装置1は、被検物の観察環境によって無線を使用できない場合には、リモコン用接続部6に別のリモコン(有線タイプ主リモコン装置87)がケーブルにより接続されて操作される。また、内視鏡制御部66内には、通信I/F機能を備えており、CCU63、電動アングルユニット64、光源65及びリモコン87との間で通信を行い、それぞれを制御する。この通信I/F機能としては、例えば、RS−232Cがある。
【0033】
そして、画像処理部69は、GUIのメニューなどの設定に従って、CCU63からの内視鏡画像若しくは、外部画像入力部12に接続されたカメラ74で撮影した画像のいずれかを選択し、A/D変換し、さらにトリミング処理や輝度調整等の種々の画像処理を施し、その画像を表示処理部72へ出力する若しくは、内部バス61を介して、RAM67に格納する。RAM67へ画像を格納する場合には、後述するように画像を圧縮処理する場合もある。表示処理部72は、画像処理部69からの画像若しくはRAM67から読み出された画像にグラフィックを重畳した画像データを外部端子13を介してモニタなどの表示装置73に表示させる。
【0034】
また、内視鏡装置1には、内視鏡装置1を起動するためのプログラムや種々の処理を行うためのアプリケーションプログラムが予め記憶されたROM86と、内視鏡を駆動制御するためのプログラムやその他制御プログラムやアプリケーションソフトウエアさらに、記録した画像及び計測結果等の情報が記憶されるハードディスク(HD)68と、HD68と同様なプログラムや情報を記憶するPCカード8に対して記録若しくは読み出しを行うためのPCカードI/F部77とを備えている。
【0035】
さらに、無線を用いてネットワーク(ワイヤレスLAN)に接続するための無線通信用のアンテナ14が設けられており、有線を用いてネットワーク(有線LAN)に接続するためのネットワーク接続端子22が設けられており、内視鏡画像やカメラ74の撮影画像を含む画像と音声等及び、それらの関する情報でネットワーク19へ送信されるものは、通信I/F部78により処理される。この通信I/F部78による処理は、無線通信又は有線通信に適した信号に変換して送信し、一方、受信したデータをCPU62が処理を行うのに適した信号に変換して内部バス61へ送出する。尚、ネットワーク19を介して画像や操作画面等を送信する場合、RAM67に格納されている画像とHTML等のサーバー言語で記述されたファイルを送信する。
【0036】
そして、カメラで撮影された画像や内視鏡画像を含む画像において、静止画像に対して画像圧縮処理を行う静止画像圧縮部70と、動画像に対して画像圧縮処理を行う動画像圧縮部81とが設けられる、この画像圧縮方法としては、例えば、DCT(Discrer Cosine Transform)等の直交変換符号による可変長符号化を施す圧縮方式を用いて圧縮し、その圧縮された静止画像及び動画像の画像データは、RAM67に記憶される。また、通信により受信した画像データやRAM67から読み出された(圧縮された)静止画像は、静止画像解凍部71により解凍されて復元され、また(圧縮された)動画像は動画像解凍部82により解凍されて元の画像に復元される。静止画圧縮の例としては、JPEGやJPEG2000が知られており、動画像圧縮の例としては、MJPEG、MPEG−2やMPEG−4等がある。また、音声処理部83により、外部音声入力部10に接続されたマイクロフォン85から音声が収音され、外部音声出力部11に接続されたスピーカ84から音声が発せられる。この音声処理部83は、音声にA/D変換処理を施し、変換された音声データは、内部バス61を介して、RAM68に記録したり、通信I/F部78より送信されたりする。また、受信した音声データや記録されていた音声データをD/A変換してスピーカ84から音声として発せられる。
【0037】
図4及び図5を参照して、内視鏡装置における内視鏡画像を含む画像及び音声等の音声データの流れについて説明する。
まず、CPU62でシステム制御される内視鏡制御部66からのBrigthness、Zoomといった設定に従い、CCU63によって挿入部3の先端部に設けられたCCD3aが駆動され、内視鏡画像(静止画像及び動画像)が撮影される。
【0038】
これらの内視鏡画像及び撮影画像は、それぞれに画像処理部69によりA/D変換を含む種々の画像処理が施されて、画像データとして生成される。生成された画像データの一方は、表示処理部72により表示できるように処理された後、モニタ等の表示部73で表示される。ここでは、CCD3aやカメラ30で撮影された画像が圧縮されることなく、表示処理されて、CPU62により作成されたグラフィックが重畳されて表示部73に表示される。
【0039】
また画像データの他方、この画像データにおける静止画像は、静止画像圧縮部70により静止画像圧縮され、動画像は動画像圧縮部81で動画像圧縮されて、それぞれRAM67へ一旦記憶される。動画像として送信する場合には、RAM67から読み出し、動画像サーバーを利用して通信I/F部78により、ネットワークを介して主リモコン2や外部端末18へ送信される。また、静止画像等は、Webサーバーにより操作HTML等と共に、同様にネットワークを介して送信される。Webブラウザにおいては、Webサーバーから送信される情報、つまり静止画像、動画像、操作画面及び、計測値等を含む情報を表示して、この表示に対する検査者からの指示を受け付け、Webサーバーに対して送信する。また、マイクロフォン85で収音された検査者等の音声や周辺部の音は、音声処理部83により音声処理されて通信可能な音声データとして生成される。また入力した音声データを音声信号に処理してスピーカ84から出力する。これらの画像や音声からなる情報は、記録制御されてHDやPCカード等に記録することができる。
【0040】
本実施形態において、これらの画像や音声のネットワーク通信は、通信I/F部78を通じて、無線LANからなるネットワークに対してはアンテナ14を利用して通信される。また、音声は、通信される主リモコン2の内蔵マイクロフォンや内蔵スピーカ及び、ネットワークを介して接続される外部端末18、21や内視鏡装置1に接続されたマイクロフォンおよびスピーカを利用することにより、同時相互通話(電話通話)を実現することができる。
【0041】
図6は、主リモコン2の内部構成を示すブロック図である。
この主リモコン2の各構成部位は、内部バス101に接続され、この内部バス101を通じてCPU102により制御される。
【0042】
この主リモコン2には、主リモコン起動プログラムを含む制御プログラムや種々の処理を行うためのソフトウエアが予め記憶されたROM104と、内視鏡装置1から送られた内視鏡画像等を格納したり、制御プログラムを展開するRAM105と、RAM105から読み出された画像若しくは、無線により内視鏡装置1から送られた画像(動画像及び静止画像)をそれぞれに解凍して、元の画像に復元する静止画像解凍部109及び動画像解凍部110と、マイクロフォン16で収音した検査者の音声等や受信した音声信号を処理してスピーカ17から出力する音声信号処理部114と、受信して解凍された又はRAM105から読み出されて解凍された内視鏡画像若しくは、外部画像入力端子119からの画像に対して、トリミング処理を含む種々の画像処理を施し、その画像を表示処理部112若しくは内部バス101を介して、RAM105に格納する画像処理部108と、グラフィックで重畳画像を表示できるように処理する表示処理部112と、液晶表示素子等のモニタからなる画像表示部113と、外部からの画像を入力するための外部画像入力端子119と、を備えている。
【0043】
この音声信号処理部114は、マイクロフォン16により入力された音声にA/D変換処理を施して音声データへ変換し、その音声データが内部バス101を介して、RAM105に記録されたり、通信I/F部111より送信されたりする。また、受信した音声データや記録されていた音声データに対してもD/A変換処理を施して、スピーカ17から音声として発せられる。
【0044】
また、内部バス101に接続して、指示信号や制御信号を入出力処理するための入出力I/F部115と、前述したズームボタン41の操作でオンオフするズームスイッチ116と、輝度調整用ボタン42の操作でオンオフする輝度スイッチ117と、ライブボタン46の操作でオンオフするライブスイッチ118と、メニュー選択ボタン45と、電動アングルジョイスティック43と、指示スイッチ44とが設けられている。これらは、前述したスイッチ部2bの構成部位に相当する。
【0045】
以上のような構成により、主リモコンは内視鏡装置に対してネットワークを介する無線通信により画像を含む情報の通信(送受信)を行うため、狭い検査現場で十分なスペースが取れない状況下においては、遠隔操作により、内視鏡装置を駆動させて、挿入部に取り付けられた撮像素子(CCD)で撮影した内視鏡画像がその画像に関する情報と共に入手できる。また、撮影された内視鏡画像に対して、検査現場Aの検査者が被検物に対して良否、例えば故障状況や部品交換の必要性などの判定ができない場合には、ネットワークを介して遠隔地に所在する判定者(スーパーバイザー)の外部端末に内視鏡装置を接続して、内視鏡画像とこれに関するデータを表示させて判定を仰ぐことができる。また、その際に、判定者自身で内視鏡装置を遠隔操作して、所望する画像を観察することもできる。
【0046】
前述したグラフィカルユーザーインターフェース(GUI)は、使用頻度がユーザー毎に異なり、また新機能の追加といった事情により更新される場合がある。従来では、操作者によりプログラム自体を書き換えるという必要があった。しかし本実施形態によれば、変更したHTMLファイルを外部装置によりPCカード8に記録して、そのPCカード8を内視鏡装置のPCカードI/F部77に組み込まれたPCカードスロットに挿入し、図示しないUPDATE機能を実行することで、HD内のHTMLファイルを簡単に書き換えることができる。
【0047】
これにより、容易にユーザーインターフェースを変更することができる。つまり従来は、同一機種では全く同じであったユーザーインターフェース即ち、画面構成をユーザー毎に使い易いように簡単にカスタマイズすることができる。
【0048】
また、この第1の実施形態における第1の変形例として、検査現場の状況において、内視鏡装置1とネットワーク19とが無線を用いて通信的に不可能であった場合には、図7に示すように、アンテナ14に替わって、ネットワーク接続端子22を設けてもよい。これは、図8に示すように、ネットワーク接続端子22から接続ケーブル23によりネットワーク19のハブに接続する構成である。
【0049】
また、音声は、通信される主リモコン2の内蔵マイクロフォンや内蔵スピーカ及び、ネットワークを介して接続される外部端末18、21や内視鏡装置1に接続されたマイクロフォンおよびスピーカを利用することにより、同時相互通話(電話通話)を実現することができる。尚、通信方法は、無線か有線にいずれか一方に限定されるものではなく、両方の通信方法ができるように、アンテナ14による無線若しくはネットワーク接続端子22による有線の両方を設けて、検査現場で適宜選択して使用してもよい。
【0050】
図9は、第2の実施形態に係る遠隔操作可能な内視鏡制御システムの概念的な構成を示す図である。図10は第2の実施形態の内視鏡装置1の内部構成を示すブロック図である。図11は、第2の実施形態の内視鏡画像を含む画像及び音声等の音声データの流れについて示す図である。以下、第1の実施形態で説明した構成部位と同等のものには同じ参照符号を付してその説明を省略し、ここでは、特徴となる構成部位について説明する。
【0051】
このシステムは、前述した第1の実施形態の主リモコン2における画像表示部2aと、スイッチ部2bとが分離された構成である。本実施形態ではこのスイッチ部2bに無線通信機能とアンテナ27を付加した副リモートコントロール装置(以下、副リモコンまたは操作スイッチ部と称する)26としている内視鏡装置1には、無線通信1/F部75と副リモコン26との無線通信機能と専用のアンテナ25が設けられている。副リモコン26は内視鏡装置1に対して直接、無線でアンテナ25を通じて接続され、操作信号を送信して駆動制御する。
【0052】
図12には、副リモコン26の内部構成を示し説明する。
【0053】
この副リモコン26において、各構成部位は、内部バス130に接続され、この内部バス130を通じてCPU127により制御される。この副リモコン26は、副リモコン起動プログラムを含む制御プログラムや種々の処理を行うためのソフトウエアが記憶されるROM128と、ROM128から読み出されたプログラムを展開したり、操作に関するデータ等を記憶するRAM129と、シリアル通信のためのデータ交換処理を行うデータ変換I/F部126と、無線通信のための無線通信I/F部132とを備えている。この例では、データ変換I/F部126として、RS−232C若しくはUART(Universal Asynchronous Receiver Tranmitter)を用いてもよい。
【0054】
さらに副リモコン26には、指示信号や制御信号を入出力処理するための入出力I/F部115と、前述したズームボタン41の操作でオンオフするズームスイッチ116と、輝度調整用ボタン42の操作でオンオフする輝度スイッチ117と、ライブボタン46の操作でライブ画像とフリーズ画像(動画像を一時的に停止させた画像)とを切り換えるライブスイッチ118と、メニュー選択ボタン45と、電動アングルジョイスティック43と、指示スイッチ44が設けられ、さらに、これらのスイッチのオンオフの入出力をCPU127が処理できるように相互接続する入出力I/F部115が設けられている。尚、この副リモコン26の筐体側面には、画像表示部2aに設けられた固定用ネジ52(図11に示すようなネジ)と螺合して一体的となるネジ穴53が設けられている。
【0055】
この構成において、検査者は、画像表示部2を近傍に置き、小型軽量化された副リモコン26を手に持って操作できるため、主リモコン2の操作に比べて、より操作性がよくなる。
【0056】
次に、図13には、第3の実施形態に係る遠隔操作可能な内視鏡制御システムの概念的な構成を示す。
このシステムは、主リモコン2と外部端末18の間を通信する際に、検査者や判定者(観察者)の音声だけでなく、その相手の表情や周囲状況の画像を併せて通信する構成である。外部端末18には、外部端末18にカメラ(画像キャプチャ)32やマイクロフォン31が接続され、また内蔵スピーカ33が設けられている。主リモコン2は、図3に示すように上部のマイクロフォン16やスピーカ17が配置される近傍に、撮影光学系及び電子撮像素子(CCD)等からなる内蔵型電子カメラ30を設けられている。
【0057】
図14を参照して、このようなカメラを搭載した主リモコン2の内部構成について説明する。この図14は、図6における構成に加えて、撮影光学系及びCCD等からなるカメラ30と、カメラ30の露出制御を含む撮影に関する制御を行うカメラ制御部103と、撮影した検査者の表情や周辺状態からなる画像のうち、静止画像を圧縮処理する静止画像圧縮部106と、動画像を圧縮処理する動画像圧縮部107とが設けられている。また、画像処理部108においては、カメラ30により撮影された画像に対しても、輝度調整やトリミング処理などの画像処理を行う機能が付加されている。カメラ30により撮影された画像は、圧縮処理されずに画像表示部113に表示される。
【0058】
このような構成により、収音された音声や撮像された画像を内視鏡画像の通信の際に併せて送受することにより、通信相手へ自分の意向をより伝わりやすくなり、また、通信相手の意向もより理解しやすくなる。
【0059】
次に、図15には、第4の実施形態に係る遠隔操作可能な内視鏡制御システムにおける主リモコン2の概念的な構成を示す。
この主リモコン2は、図2で説明したと同様な機能を有する画像表示部2aと、この画像表示部2aと分離可能なスイッチ部2bで構成される。この画像表示部2aは、表示画面上にタッチパネル51が配設されている。このタッチパネル51により画面表示された項目を指先で押して入力指示を行うことができる。また、画像表示部2aの側面には、固定用ネジ52がネジ部分を突出させて回動可能に設けられ、スイッチ部2bの側面にはこのネジ部分に螺合するネジ穴53が設けられている。このネジ止めにより画像表示部2aとスイッチ部2bとが一体化する。また、スイッチ部2bの上面にコネクタ48が設けられ、また画像表示部2aの上面にもコネクタ49が設けられており、これらのコネクタ間をケーブル47で連結して電気的に接続される。
【0060】
図17は、第4の実施形態の主リモコンの内部構成を示すブロック図である。 まず、画像表示部2a側の各構成部位は、内部バス101に接続され、この内部バス101を通じてCPU102により制御される。
【0061】
この画像表示部2aには、制御プログラムや種々の処理を行うためのソフトウエアが予め記憶されたROM104と、内視鏡装置1から送られた内視鏡画像等を格納するRAM105と、RAM105から読み出された画像若しくは、無線により内視鏡装置1から送られた画像(動画像及び静止画像)をそれぞれに解凍して、元の画像に復元する静止画像解凍部109及び動画像解凍部110と、マイクロフォン16で収音した検査者の音声等や受信した音声信号を処理して、スピーカ17から出力する音声信号処理部114とが備えられる。
【0062】
さらに、受信された又は記録されていた内視鏡画像と外部画像入力端子119からの画像に対して、トリミング処理を含む種々の画像処理を施し、その画像を表示処理部112若しくは内部バス101を介して、RAM105に格納する画像処理部108と、画像を表示できるように処理する表示処理部112と、液晶表示素子等のモニタからなる画像表示部113と、この画像表示部113の画面上に配設されたタッチパネル51と、このタッチパネル51の押圧により入力した信号を処理するタッチパネルI/F部100と、スイッチ部2b側と制御信号等のやり取りを行うためのリモコンI/F部123と、スイッチ部2bとの電気的な接続を行うためのコネクタ49とを備えている。
【0063】
また、スイッチ部2bは、図12で説明した副リモコン26とほぼ同等な構成であり、ここでは同等な構成部位には、同じ参照符号を付して、詳細な説明は省略する。このスイッチ部2bは、無線通信I/F部132とアンテナ27を装備せず、これらに替わって、データ変換I/F部126の入出力を行うためのコネクタ48が設けられ、ケーブル47によるコネクタ49との連結により画像表示部2aと電気的に接続される。尚、ケーブル47は、内視鏡装置1に設けられたリモコン用接続部6へ接続して、操作することもできる。また、データ変換I/F部126や、リモコンI/F部はRS−232Cなどのシリアル通信で構成できる。
【0064】
このような構成により、被検物周辺が無線による通信ができない環境下であった場合でも、ケーブル接続により画像表示部2aとスイッチ部2bとを分離した状態でスイッチ部2bが操作できるため、小型軽量化され、画像表示部2aとスイッチ部2bとが一体型の主リモコン2に比べて、より操作性がよくなる。
【0065】
また、図16は、第4の実施形態の変形例となる主リモコンの構成を示す。この変形例は、図3で説明したと同様なカメラを搭載した画像表示部2aと、この画像表示部2aと分離可能なスイッチ部2bで構成される。これ以外の構成は、第4の実施形態と同等であり、同様に効果が得られる。
【0066】
また、この内部構成は、前述した図17に示す構成に加えて、撮影光学系及びCCD等からなるカメラ30と、カメラの露出制御を含む撮影に関する制御を行うカメラ制御部103と、撮影した検査者の表情や周辺状態からなる画像のうち、静止画像を圧縮処理する静止画像圧縮部106と、動画像を圧縮処理する動画像圧縮部107とが設けられている。また、画像処理部108においては、カメラ30により撮影された画像に対しても、輝度調整やトリミング処理などの画像処理を行う機能が付加されている。
【0067】
次に、図16及び図18に示したカメラを搭載した主リモコン部の画像及び音声等のデータの流れについて、図19を参照して説明する。
スイッチ部2bの指示により、通信I/F部111からネットワークを介して入力された内視鏡画像及びその画像に関する情報(HTML等)が、Webブラウザに入力されて、静止画像解凍部109及び動画像解凍部110によりそれぞれ圧縮が解凍され元の画像データに復元される。つまり、内視鏡装置1からダウンロードされたHTMLファイルと、操作ボタンなどに関連するデータは、主リモコン2の表示画面2aに表示されるWebブラウザ上で示される。クライアントである主リモコン2や外部端末18は、Webブラウザ上のGUIを操作することで内視鏡装置にデータを要求する。このデータとしては、HTMLと操作ボタンなどの関連するデータのみならず、ライブ画像、内視鏡装置内部の記録済み画像、また画像エンジンのリストなどのデータがある。これらの受信されたデータもWebブラウザ上に表示される。
【0068】
また、カメラ付きの主リモコンの場合にのみ、Webサーバー、動画像サーバーは搭載される。これは、主リモコンがテレビ電話を実行する時に、外部端末上にブラウザを表示するためのHTMLを配信するWebサーバーと、音声とともに圧縮された動画像を送信するための動画像サーバーである。
【0069】
画像データは、表示処理部112により表示できるように処理され、表示部113に表示される。この際、CPU102により作成されたグラフィックが画像に重畳されて表示部113に表示される。また、マイクロフォン16で収音された検査者等の音声や周辺部の音は、音声処理されて音声データとしてRAM105に記憶される。また、受信した情報内に含まれている判定者などの音声信号は、音声処理部114により処理され、スピーカ17より出力される。このような構成により、被検物周辺が無線による通信ができない環境下であった場合でも、ケーブル接続により画像表示部2aとスイッチ部2bとを分離した状態でスイッチ部2bが操作できるため、小型軽量化され、画像表示部2aとスイッチ部2bとが一体型の主リモコン2に比べて、より操作性がよくなる。
【0070】
また、CPU102のシステム制御によるカメラ制御で駆動されるカメラ30で撮影された検査者等の撮影画像は、A/D変換を含む画像処理が施され、画像データとして生成される。生成された画像データのうち、静止画像は、静止画像圧縮部106により静止画像圧縮され、動画像は動画像圧縮部107で動画像圧縮されて、RAM105へ一旦記憶される。動画像として送信する場合には、RAM105から読み出し、動画像サーバーを利用して通信I/F部111により、ネットワークを介して外部端末18や内視鏡装置1へ送信される。また、静止画像等は、Webサーバーにより操作HTML等と共に、同様にネットワークを介して送信される。
【0071】
図20には、外部端末18、21のブロック構成図を示し説明する。
この外部端末は、パーソナルコンピュータ等により構成されている。この構成として、各構成部位が内部バス139に接続して、CPU141に制御され、信号やデータの送受を行っている。
【0072】
この外部端末において、ネットワークのハブを経て、ケーブル148及び外部端子146から画像データ(内視鏡画像)を受け取り、内視鏡装置1若しくは主リモコン2若しくは他の外部端末へ種々の通信を行う通信I/F部147と、処理プログラム等を展開してCPU141の作業エリアとして機能し、受信した画像データを格納するRAM144と、外部端子を介してマウス150に接続するマウスI/F部149と、キーボード部158から入力された入力信号をCPU141へ送出するためのキーボードI/F部157とが内部バス139に接続される。
【0073】
また、内部バス139には、種々の処理プログラムが格納されたハードディスク(HD)ドライブ156、着脱自在なフロッピー(登録商標)ディスク等のフレキシブルディスク(FD)ドライブ154及びCD−ROMドライブ152がそれぞれのインターフェース部(HDI/F部155、FDI/F部153、CD−ROMI/F部151)を介して接続されている。
【0074】
さらに、RAM144から読み出された画像データや種々の情報を表示するためのLCDモニタ部143の表示制御を行う表示制御回路142と、図示しない外部機器を外部端子146に接続し、USBインタフェース方式によりデータの送受を行うためのUSB I/F部145とで構成される。
【0075】
尚、この外部端末が図21に示すようにカメラ32とマイクロフォン31と、内蔵スピーカ33を接続する構成の場合には、カメラ32で撮影された画像を処理する画像処理部159とマイクロフォン31で収音した音声とスピーカ33から出力するための音声についてそれぞれ処理を行う音声処理部160とを備えている。
【0076】
次に主リモコンや外部端末の表示画面に表示されるブラウザ画面について説明する。
図22は、検査マニュアルの表示例である。この画面に表示されるブラウザとして、タイトルバーとURLを表示するアドレスバーと内視鏡画像162と各種メニュー165〜170が表示される「VIDEO」ブラウザ、その右側に、スイッチ部2bの操作パネルを模したリモコンパネル163を表示する「REMOTE」ブラウザ、VIDEOブラウザの下に検査マニュアルを表示する「MANUAL LIST」ブラウザ等が表示されている。
各種メニューとしては、「IMAGE」メニュー165、「SETUP」メニュー166、「MEASURE」メニュー167、「MANUAL」メニュー168、「TVTEL」メニュー169、及び「MENU/EXIT」メニュー170等がある。
【0077】
・「IMAGE」メニュー165は、カメラ(CCD)のシャッタースピードや露出といった撮影条件の設定や表示される画像に対する画質調整を行う。「SETUP」メニュー166は、内視鏡装置1及び主リモコン2の初期設定や日時設定等の種々の設定を行う。
・「MEASURE」メニュー167は、内視鏡で撮影した画像上に表示される欠陥の長さや面積等を計算する。「MEASURE」メニュー167の種類は、主としてステレオ計測、比較計測があり、ステレオ計測は、2点間計測及び深さ計測が選択できる。これらの計測種類は、「SETUP」メニュー166で予め設定しておいてもよいし、「SETUP」メニュー166内に計測種類のリストを設け、そのリストの中から選択してもよい。或いは、アドレスバーに直接入力してもよい。
【0078】
・「MANUAL」メニュー168は、外部端末18、21に記憶されている被検物の検査手順書をダウンロードして表示する機能である。この検査手順書が存在するサーバーのURLは、「SETUP」メニュー166で予め設定してもよいし、「SETUP」メニュー166内に検査手順を記録したサーバーのリストを設け、その中から選択してもよい。また、アドレスバーに直接入力してもよい。
【0079】
・「TVTEL」メニュー169は、外部端末18、21と接続して判定者との間で検査画面について議論するための機能である。尚、判定者が操作する外部端末は、「SETUP」メニュー166で予め設定してもよいし、「SETUP」メニュー166内に判定者の端末を示すアドレスリストを設け、その中から選択してもよい。また、アドレスバーに直接入力してもよい。
・「MENU/EXIT」メニュー170では、メニューを非表示にすると共に、メニュー表示させるための小さいアイコン(図示せず)をブラウザ上に表示する。メニューを非表示にした場合には、メニュー表示された部分にも内視鏡画像を表示でき、大きな画面または拡大させて表示することができる。その画像上の左下に前述したメニューを表示させるための小さいアイコンを表示する。
【0080】
これら以外にも、「INDEX」メニュー、「RECORD」メニュー、「MOVE」メニュー、「COPY」メニュー、「DELETE」メニュー等を表示することができる。
・「INDEX」メニューは、HDまたはPCカードに記録された静止画像、動画像等の画像や、ネットワークで接続されたサーバー上に存在する画像の縮小画像を別のブラウザを表示してブラウザ上にインデックス表示できる。
【0081】
・「RECORD」メニューは、静止画像、動画像、音声画像及び計測結果などの付加情報を内視鏡装置のHDまたはPCカードに記録することができる。
・「MOVE」、「COPY」メニューは、HDまたはPCカードに記録された静止画像、動画像、音声画像及び計測結果などの付加情報を相互に移動、コピーしたり、ネットワーク接続されたサーバーに移動コピーが可能である。
【0082】
・「DELETE」メニューは、HDまたはPCカードに記録された静止画像、動画像、音声画像及び計測結果などの付加情報を消去することができる。
前述した「MEASURE」メニュー167のステレオ計測、比較計測について説明する。
内視鏡装置は、通常、内視鏡挿入部先端に撮像系のレンズが1個配設された通常アダプタが使用される。しかし、被検物に対して計測する場合には、撮像系のレンズが、間隔を空けて2個配設された視差を有する画像を取得可能なステレオアダプタを使用することにより、ステレオ計測が実行できる。
【0083】
この内視鏡で検査部位を撮影すると視差のある画像が得られる。これに三角測量の原理を利用して、視差のある画像の3次元座標を計算する。ステレオ計測は、このようにして取得した3次元座標を利用して、傷の長さや深さなどを計測し、画面に表示したり、計測結果を画像と関連づけて記録する。このようなステレオ計測の計測種類としては、傷の長さを測る「2点間計測」、傷の深さを測る「深さ計測」等がある。
【0084】
また、比較計測は、ソフトウエアを利用したものであり、内視鏡で撮影した画像上に、測りたい傷と共に既知な長さ(基準となる長さ)の物体が存在した場合、その物体の長さを入力することで基準長を規定して、その基準長と比較して傷の長さを計測し画面に表示する。この画像と計測した長さを関連づけて記録することができる。
【0085】
図22においては、カーソル171で指定及びクリックにより「MANUAL」メニューが選択されて反転表示される。
【0086】
この「MANUAL」メニューを選択すると、「MANUAL LIST」のウインドウが開かれ、前述した方法により設定されている被検物対象のマニュアルを格納したサーバーにアクセスする。そのサーバーからマニュアルデータがダウンロードされると、例えば図22に示す「TypeA」、「TypeB」エンジン(ここではジェットエンジンを例としている)のリストのような被検物のリストを表示する。
【0087】
これらの「TypeA」、「TypeB」は、HTMLによってハイパーテキストとして記述されており、各エンジンを選択すると、選択されたエンジンのタービンの種類を選択するリストが表示される。タービンのリストは、エンジンと同様にハイパーテキストとして記述されているため、さらに、詳細に検査箇所を選択することができる。ここで、例えば、「TypeA」を選択すると、「TypeA」エンジンのタービン種類を選択する画面(図示せず)が表示される。このようにマニュアルを選択していくことで被検物の対象部位も判定されていく。これらの被検物の対象部位を特定するための情報も画像に関連づけて記録される。
【0088】
次に図23は、主リモコン2を操作する検査者と外部端末を操作する判定者とが互いに画像及び音声により連絡を取り合うTV電話メニュー「TVTEL」が選択された際の画面表示の例を示している。「TVTEL」をカーソル171がクリックして表示を反転させる。このブラウザ表示画面においては、検査マニュアルの表示とカメラ画像172が併せて表示されている。この例では、画面161の下方中央にカメラ画像172がリアルタイムの動画像として表示されている。
【0089】
図24、図25は、被検物に生じている傷の長さを計測について説明するための表示画面である。
ここで、計測プログラムは、内視鏡装置自体、若しくは画像表示リモコン自体にインストールされている場合は、それぞれ内視鏡装置、主リモコンの画像表示部で計測を行うことができる。その計測結果は、別のブラウザ上に表示される。しかし、インストールされていない場合には、ネットワーク接続された外部端末の計測用サーバーに計測させてその計測結果をHTML等のサーバー言語で記述されたファイルとしてダウンロードして受け取ることでブラウザ上に表示するとができる。この計測結果は、「RECORD」メニューを選択することでHDやPCカード若しくは、ネットワーク接続された画像記録用サーバーに記憶できる。また、GUIの変更については、例えばHTML等のサーバー言語で記述されたファイルの形式で保存されているため、ファイル書き換え保存するだけで、容易にGUIの変更が実現する。
【0090】
まず、図24に示す画面において、被検物の傷の一端にカーソル171を置き、クリックにより1点目(測定開始点)を決め、次に傷の他端にカーソル171を移動させてクリックを行い2点目(計測終了点)を決めた後、図25に示すように、「MEASURE」をカーソル171aでクリックして判定させる。その操作により、予め設定されたプログラムに従って、測定演算を行い、その結果を画面161の下方中央に計測された長さを表示する。この例では、傷の長さは、3.5mmとして計測されている。
【0091】
以上説明したように第1乃至第4の実施形態及びこれらの変形例によれば、内視鏡装置と主リモコンが無線により操作するため、従来のようにケーブルで接続させて取り廻しが煩雑になり、検査現場がケーブルにより移動しにくかったり、足を掛けてしまう等の問題の発生を防止することができる。
【0092】
また、内視鏡画像に対して検査者が被検物の良否が判定できない場合などには、遠隔地に所在する判定者に対して、ネットワークを介して外部端末に接続することにより、内視鏡画像とそれに関する情報を送信し、また、判定者自身が遠隔操作により内視鏡装置を動作させて所望する内視鏡画像を得ることもでき、迅速にその良否の判定が行われる。従って従来の様に判定者を同行させたり、記録媒体に内視鏡画像を記憶させて、その遠隔地において画像を再現して判定するなどの時間的損失が無くなり、被検物に対して修理や部品交換などが必要否かが迅速に判定することができる。尚、従来では、GUIも内視鏡装置のプログラムに組み込まれてしまっており、検査者の使用頻度の高いメニューをより上位に変更する等の変更はプログラムを書き換える以外にできなかったが実施形態によれば、容易に実施することができる。
【0093】
次に本発明の第5の実施形態に係る遠隔操作可能な内視鏡制御システムについて説明する。
前述した第1乃至第4の実施形態においては、内視鏡検査者の良否判定や遠隔地に所在する判定者による良否判定が行われるが、要修理と判定され、部品交換が必要になった場合に、直ぐにその部品を入手することが望まれている。
【0094】
図26に示す前述した内視鏡制御システムのネットワークに設けられた情報処理センタ181は、前述した内視鏡装置が行う画像処理や計測機能を有し、必要となった交換部品等を迅速に手配する機能を有している。つまり、受信した内視鏡画像とその被検物の部位を特定する情報等とを用いて、画像記録再生等のファイリング、画像処理(輝度調整やトリミング処理等)、計測処理を行うことができる。情報処理センタ181は内視鏡装置または検査現場とは、LANやインタネットなどのネットワーク、携帯電話、PHSなどを用いて通信することができる。
【0095】
これにより、情報処理センタ181は、検査現場からネットワークを通じて送信された内視鏡画像及びその被検物の部位を特定する情報等から、センタ内の処理員により計測や判定を行い、許容できない不具合箇所が見いだされて、「要修理」や「要部品交換」と判定された場合には、交換部品の手配を行う。また、その処理者(情報処理センタ内)に不具合の程度や処置が判定できない場合には、画像やそれに関する情報を送信して、遠隔地に所在する判定者182に判定や処置を仰ぐことができる。
【0096】
また図27は具体例として、被検物202の内視鏡画像を撮影する内視鏡装置203と、内視鏡装置203を操作するための画像表示リモコン204と、その検査者205と、外部端末18と、外部端末18を操作する判定者182とを備え、さらに、検査マニュアルサーバー206、内視鏡の交換部品を手配する内視鏡リペアセンタ207と、被検物の構成部位を手配する被検物リペアセンタ208と、メールサーバー209と、データサーバー210と、インターネット20へ接続するためのゲートウエイ216とが設けられた構成例を示す。
【0097】
まず、検査現場側の内視鏡システム(内視鏡装置1及び主リモコン2)で計測作業を行う場合の準備段階として、内視鏡システムでは、予め保持する被検物の構成部位を特定するために構成部位リストを展開する。若しくはデータサーバー210からダウンロードで入手して展開する。
【0098】
これらの展開は、前述したように、「MANUAL」メニューの「MANUAL LIST」から被検物対象のマニュアルを格納したサーバーにアクセスしてマニュアルデータをダウンロードして、被検物のリスト例えば、エンジンのタービン種類を選択する画面を表示する。これは、内視鏡画像に写し出された構成部位を特定するために用いる。例えば、被検物となるエンジンのギヤボックス212へターニングツール211を接続し、ターニングツール制御プログラムをダウンロードしてターニングツール211を制御する。ここで、ターニングツール211について説明する。
エンジンのタービンブレードが配設されたタービンは、エンジン長手方向を中心に回転する構造となっている。また、エンジンには、回転を調節するためのギアボックス212が設けられており、ターニングツール211と称されている機器をギアボックス212に接続して外部からタービンを回転させることができる。このターニングツール211と内視鏡装置203を組み合わせによるエンジン検査は一般的に行われている。
【0099】
また、一般的にターニングツール211には、ターニングツール211を操作するボタンが設けられたり、リモートコントローラ215が接続できるようになっている。これらの操作部位を使用して、ターニングツール211内に記憶されているエンジン種、タービン種等の中から被検物のタービンを指定できる。また、タービンの回転スピードを指定したり、タービンを指定したスピードで回転しつづける状態にしたり、ブレード1枚が内視鏡画面中央に撮影される度に、例えば10秒間程度、タービンを静止させるといったステップ回転制御もできる。このステップ回転制御した場合は、タービンの回転角度と、タービン上に配設されているブレード数から、タービンが検査を開始してから何枚目のブレードかを特定できる。
【0100】
またターニングツール211は、このようにして設定した被検物の検査部位を特定するデータを出力するためのシリアル通信I/F部214やネットワークI/F部213が設けられている。そして、ターニングツール211は、内視鏡装置203や外部端末(パソコン)に通信ポート例えばシリアルポートやネットワークI/F部を介して接続することかできる。
【0101】
ターニングツール211からは、各種設定値を意味するコマンドが送信されてくるので、それを内視鏡装置や外部端末は解読し、エンジン種、タービン種を取得できる。そして記録した内視鏡画像が何枚目のブレードかを関連付けて記録できる。また、逆に内視鏡装置や外部端末からはターニングツール211へ上述した各種設定やタービンの停止等をコマンド出力することでターニングツール211を制御することができる。
【0102】
このように、制御情報と構成部位リストから選択した情報を用いて、該当する構成部位を特定することができる。構成部位リストにおいては、被検物がジェットエンジンであった場合、そのエンジンの種類とエンジンの何番目のブレードかを特定することができる。また、被検物がパイプであった場合、挿入部のパイプ先端からの挿入長を計測して挿入部先端部分の所在位置を特定することができる。
【0103】
また、挿入部に加速度センサを設けて、挿入経路のログ経路を取ることにより、挿入部先端のパイプ内現在位置を特定することができる。このような場合、例えば被検物の設計図面等より被検物内部(検査対象空間)の立体的な構成画像(3D画面)を作成して、これを構成する構成部位を明らかにしておき、挿入部の現在位置と撮影された内視鏡画像に3D画面を組み合わせることにより、対象となった構成部位の品番や製造番号を迅速に導き出すことができる。
【0104】
そして、検査者が内視鏡画像から傷等の不具合を見いだした場合には、図2に示したように主リモコン2のライブボタン46を操作して、動画像から静止画像に切り換えて画像を固定し、図18、19に示したように、傷のポイント(両端)を指定し、ステレオ計測(2点間計測、深さ計測)、比較計測など表示される計測メニューの中から選択して「MEASURE」167を実行させて、計測結果を得る。そして、計測器結果として、計測メニューと計測したい点を入力した画像、及び被検物とその構成部位を特定した情報を情報処理センタ181へネットワークを介して送信する。
【0105】
この計測結果から情報処理センタ181の処理者により不具合レベルの判定が行われる。この判定結果は、例えば、「要修理」、「処置不要」、「要判定者の判定」等がある。ここで、「要修理」と判定されたならば、情報処理センタ181は、被検物リペアセンタ208へ交換部品を発注し、その被検物リペアセンタ208から納入予定日が返信される。情報処理センタ181は、検査者に判定に用いられた数値と不具合レベル、処置方法及び交換部品納入予定日を送信する。また、「処置不要」であれば、情報処理センタ181は、判定に用いられた数値と、不具合レベルを検査者に送信する。
【0106】
「要判定者の判定」であった場合には、情報処理センタ181は外部端末18へ内視鏡画像等と判定に用いられた数値と、不具合レベルを送信して、判定者182へ判定を仰ぐ。判定者は送信された情報から判定を行う。また、必要に応じて、検査現場とTV電話を通じて連絡することもできる。また、判定者により内視鏡装置を遠隔操作して、記録画像を閲覧したり、内視鏡を動作させて不具合箇所を実際に確認することができる。そして、判定者の判定結果を受け取った情報処理センタ181は、「要修理」若しくは「処置不要」の処置が行われる。
【0107】
情報処理センタ181は、内視鏡画像を含む画像、計測結果、判定に用いられた数値、不具合レベル及び処置方法や修理日程等のレポートをそれぞれの事例についてレポートを作成してファイリングする。これらは、ネットワークを介して常に閲覧することができる。
【0108】
尚、以上の実施形態では、情報処理センタが判定を行うことについて説明したが、内視鏡システム側に検査プログラムを搭載することにより判定を行うこともでき、検査者からにリペアセンタに対して直接、交換部品の手配を行うことも可能である。
【0109】
前述した情報処理センタ181には処理員が常駐することを前提としているが、これに限定されるものではなく、予め定めたシーケンスに従って、自動作業とすることもできる。例えば、内視鏡装置1から送出された画像と被検物の検査部位の画像とを自動で計測して、良否判定を行うこともできる。例えば、内視鏡装置1から送出された画像と被検物の検査部位の画像を自動で計測して、良否判定を行い、その結果を検査現場や判定者の外部端末へ電子メール等で自動返信・送信を行う。要修理と判定された場合には、被検物リペアセンタ208への交換部品の発注処理を行う。
【0110】
前述したセンタやサーバーが行うサービスとして、前述した他に、情報処理センタ181は、ステレオアダプタから得られる3D情報に基づいてワイヤーフレーム表示する「3D画像表示サービス」、被検物をリストから選択すれば最適な画角・被写体深度などの撮影条件を判定して最適な光学アダプタを選択する「最適AD選択」、画像ファイルを送付すればHTMLやDOC等により作成されたレポート、印刷、発送サービスを含む「レポート作成サービス」、内視鏡の使用方法などのQ&A集の閲覧「Q&A集閲覧サービス」、内視鏡の使用事例の検索、閲覧「事例紹介サービス」等が行われる。ここで、従来、被検物の資料や検査手順書等は記憶するか検査現場に持ち込むしかなかったが、ネットワークを介して簡単に取り寄せて表示することができる。
【0111】
また、内視鏡リペアセンタでは、内視鏡の修理作業を自動化する「リモートメンテナンスサービス」、内視鏡の修理状況を検索する「修理状況お知らせサービス」が提供される。さらに、内視鏡の最新プログラムダウンロードやメンテナンスマニュアル、被検物の図面などの「ダウンロードサービス」が提供される。
【0112】
以上説明したように、本実施形態によれば、内視鏡画像を撮影して、それに関する情報を情報処理センタにネットワークを介して送信すれば、被検物の良否の判定や交換部品の発注等が行われ、より迅速な修理を実現することができる。また、判定者による判定も仰ぐことができ、被検物に対してより正しい処置を施すことができる。
【0113】
以上の実施形態について説明したが、本明細書には以下のような発明も含まれている。
【0114】
(1)少なくともサーバー言語で記述された画面情報であるグラフィカルユーザーインターフェース(GUI)を記憶するネットワークザーバー手段と、
ネットワークインターフェース(ネットワークI/F)手段とを具備する内視鏡装置。
【0115】
(2)上記内視鏡装置は画像表示手段と、ネットワークI/F手段と、WWWブラウザ手段と、内視鏡装置を操作する操作手段を具備することを特徴とする内視鏡装置。
【0116】
(3)前記(2)項記載の内視鏡装置の操作手段はリモコンである。
【0117】
(4)前記(2)項記載の内視鏡装置の操作手段はタッチパネルである。
【0118】
(5)前記(3)項記載のリモコンは、画像表示手段と別体である。
【0119】
(6)前記(2)項記載の内視鏡装置は、無線通信手段を具備する内視鏡装置である。
【0120】
(7)前記(6)項記載の内視鏡装置は、無線通信手段を備えたリモコンである。
【0121】
(8)内視鏡装置とネットワークを介して接続される内視鏡装置を制御する制御装置を有するネットワーク内視鏡システム。
【0122】
(9)前記(8)項記載の制御装置は、画像表示手段と、ネットワークI/F手段と、WWWブラウザ手段と、内視鏡装置を操作する操作手段を具備する画像表示リモコンである。
【0123】
(10)前記(8)項記載の制御装置は、画像表示手段と別体であり、無線通信手段を具備し、内視鏡装置を操作するリモコンである。
【0124】
(11)前記(8)項記載の制御装置は、画像表示手段と、ネットワークI/F手段と、WWWブラウザ手段と、内視鏡装置を操作する操作手段を具備するパーソナルコンピュータである。
【0125】
(12)前記(11)項記載の画像表示リモコンは、画像キャプチャ手段と音声入力手段と音声再生手段を具備する。
【0126】
(13)前記(11)項記載のパーソナルコンピュータは、画像キャプチャ手段と音声入力手段と音声再生手段を具備する。
【0127】
(14)前記(1)項記載のネットワークI/F手段は、
無線LAN、若しくはイーサネット(登録商標)である。
【0128】
(15)前記(1)項記載のネットワークサーバー手段は、
Webサーバー若しくは、動画像配信サーバー、ファイル転送サーバー若しくは、PPPサーバーである。
【0129】
(16)前記(15)項記載のサーバーは、HTTPのプロトコルであるWebサーバー、FTP(File transfar protocol)のプロトコルであるファイル転送サーバー、SMTP(Simple Mail Transfar Protocol)のプロトコルであるメール送信サーバー、POP(Post Office Protocol)のプロトコルであるメール受信サーバーである。
【0130】
(17)前記(1)項記載の内視鏡装置は、外部画像出力部を具備する。
【0131】
(18)前記(1)項記載の内視鏡装置は、外部画像入力部を具備する。
【0132】
(19)前記(1)項記載の内視鏡装置は、外部音声出力部を具備する。
【0133】
(20)前記(1)項記載の内視鏡装置は、外部音声入力部を具備する。
【0134】
(21)前記(1)項記載の内視鏡装置は、リモートコントローラ接続部を具備する。
【0135】
(22)少なくともサーバー言語で記述された画面情報であるグラフィカルユーザーインターフェース(GUI)と、外部アプリケーションソフトウエアとを記憶し、前記外部アプリケーションソフトウエアを実行するためのインターフェースを備えたネットワークサーバー手段と、ネットワークインターフェース(ネットワークI/F)手段とを具備し、通信のためのネットワークに接続して前記画面情報の通信を行う内視鏡制御システム。この項において、外部アプリケーションソフトウエアは具体的には、CGIファイル、ASPファイルに相当する。これらのCGIファイル、ASPファイル中のプログラム、スクリプトを起動し実行するインターフェースをCGI、ASPとしている。
【図面の簡単な説明】
【0136】
【図1】本発明の第1の実施形態に係る遠隔操作可能な内視鏡制御システムの概念的な構成を示す図である。
【図2】第1の実施形態に係る主リモコン部の外観構成を示す。
【図3】第3の実施形態に係る主リモコンの外観構成を示す図である。
【図4】第1実施形態に係る内視鏡装置の内部構成を示すブロック図である。
【図5】第1の実施形態に係る内視鏡装置における内視鏡画像を含む画像及び音声等の音声データについて説明するための図である。
【図6】第1の実施形態に係る主リモコンの内部構成を示すブロック図である。
【図7】第1の実施形態に係る内視鏡装置の第1の変形例を示す図である。
【図8】第1の実施形態に係る第1の変形例の内視鏡制御システムの概念的な構成を示す図である。
【図9】第2の実施形態に係る内視鏡制御システムの概念的な構成を示す図である。
【図10】第2の実施形態に係る内視鏡装置の内部構成を示す図である。
【図11】第2の実施形態に係る内視鏡装置における内視鏡画像を含む画像及び音声等の音声データについて説明するための図である。
【図12】第2の実施形態に係る副リモコンの内部構成を示す図である。
【図13】第3の実施形態に係る遠隔操作可能な内視鏡制御システムの概念的な構成を示す図である。
【図14】第3の実施形態に係るカメラを搭載した主リモコンの内部構成を示す図である。
【図15】第4の実施形態に係る遠隔操作可能な内視鏡制御システムにおける主リモコンの概念的な構成を示す図である。
【図16】第4の実施形態の変形例となる主リモコンの構成を示す図である。
【図17】第4の実施形態に係る主リモコンの内部構成を示すブロック図である。
【図18】第4の実施形態に係る主リモコンの変形例の内部構成を示すブロック図である。
【図19】第4の実施形態に係る変形例の内視鏡装置における内視鏡画像を含む画像及び音声等の音声データについて説明するための図である。
【図20】外部端末のブロック構成図を示す図である。
【図21】外部端末の変形例のブロック構成図を示す図である。
【図22】第1の検査マニュアルの表示例である。
【図23】第2の検査マニュアルの表示例である。
【図24】第3の検査マニュアルの表示例である。
【図25】第3の検査マニュアルの表示例である。
【図26】第5の実施形態に係る内視鏡制御システムの概念的な構成を示す図である。
【図27】第5の実施形態におけ具体的な構成例を示す図である。
【符号の説明】
【0137】
1…内視鏡装置、2…画像表示機能付き主リモートコントロール装置(主リモコン)、2a…画像表示部、2b…スイッチ部、3…挿入部、4…ドラム、5…ハンドル、6…リモコン用接続部、8…PCカード、9…PCカード用スロット、10…外部音声入力部、11…外部音声出力部、12…外部画像入力部、13…外部画像出力部、14,15…アンテナ、16…マイクロフォン、17…スピーカ、18,18a,18b…外部端末、19…ネットワーク。

【特許請求の範囲】
【請求項1】
少なくともサーバー言語で記述された画面情報であるグラフィカルユーザーインターフェース(GUI)と、外部アプリケーションソフトウエアとを記憶し、前記外部アプリケーションソフトウエアを実行するためのインターフェースを備えたネットワークサーバー手段と、
ネットワークインターフェース(ネットワークI/F)手段と、
を具備し、通信のためのネットワークに接続して画面情報の通信を行うことを特徴とする内視鏡制御システム。
【請求項2】
前記外部アプリケーションソフトウエアは、プログラムにより構成される請求項1に記載の内視鏡制御システム。
【請求項3】
前記外部アプリケーションソフトウエアは、スクリプトにより構成される請求項1に記載の内視鏡制御システム。
【請求項4】
前記インターフェースは、コモンゲートウェイインターフェース(CGI:Common Gateway Interface)により構成されることを特徴とする請求項1に記載の内視鏡制御システム。
【請求項5】
前記インターフェースは、アクティブサーバーページス(ASP:Active Server Pages)により構成されることを特徴とする請求項1に記載の内視鏡制御システム。
【請求項6】
被検物の内部部位を撮影し内視鏡画像を得る挿入部を有し、
通信のためのネットワークへ接続して該内視鏡画像を含む情報の通信が可能な内視鏡装置と、
前記ネットワークに通信可能で、該ネットワークを介して、前記内視鏡装置に相互接続され、該内視鏡装置から出力された画像とその画像に関する情報を視聴しつつ、遠隔操作が可能な画像表示機能付きリモートコントロール装置と、
前記ネットワークを介して、前記内視鏡装置に接続し、前記内視鏡画像を観察しつつ該内視鏡装置を操作する機能を有する1若しくは複数の外部端末と、
で構成され、
前記リモートコントロール装置若しくは前記外部端末が前記通信ネットワークを介して接続された際に、前記内視鏡装置が遠隔操作により撮影の制御が行われることを特徴とする内視鏡制御システム。
【請求項7】
前記リモートコントロール装置及び前記外部端末は、マイクロフォンとスピーカ及び/またはカメラをそれぞれに具備し、
前記リモートコントロール装置と前記外部端末とが前記ネットワークを介して接続されて相互通信している際に、互いの周辺状況を音声及び画像により通信することを特徴とする請求項6に記載の内視鏡制御システム。
【請求項8】
前記画像表示機能付きリモートコントロール装置は、
画像表示部と操作スイッチ部とに分離可能に構成され、分離された際には、前記操作スイッチ部は、無線通信を用いて前記内視鏡装置に接続され、操作信号を送信して駆動制御することを特徴とする請求項6に記載の内視鏡制御システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate


【公開番号】特開2009−69855(P2009−69855A)
【公開日】平成21年4月2日(2009.4.2)
【国際特許分類】
【出願番号】特願2008−318152(P2008−318152)
【出願日】平成20年12月15日(2008.12.15)
【分割の表示】特願2003−107859(P2003−107859)の分割
【原出願日】平成15年4月11日(2003.4.11)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】