スコープナビゲーション装置、方法、およびコンピュータ可読な記憶媒体
【課題】正確にスコープをナビゲートし、画像ピックアップデバイスをスコープナビゲーションシステムのために較正する装置、方法及びコンピュータコード製品を提供する。
【解決手段】スコープ端部をナビゲートして対象物に挿入するためのスコープナビゲーション装置、方法及びコンピュータ可読媒体に具現されたプログラム。スコープ端部は、スコープ端部の空間的位置を感知する少なくとも１つのセンサを含む。画像ピックアップデバイスは、前記較正デバイスの位置を感知するセンサを含み、較正デバイスの１つ以上の画像を記録する。処理装置は、画像ピックアップデバイスにより記録された画像を較正し、較正マトリックスを用いて固有パラメータ及び外部パラメータを修正する。
【解決手段】スコープ端部をナビゲートして対象物に挿入するためのスコープナビゲーション装置、方法及びコンピュータ可読媒体に具現されたプログラム。スコープ端部は、スコープ端部の空間的位置を感知する少なくとも１つのセンサを含む。画像ピックアップデバイスは、前記較正デバイスの位置を感知するセンサを含み、較正デバイスの１つ以上の画像を記録する。処理装置は、画像ピックアップデバイスにより記録された画像を較正し、較正マトリックスを用いて固有パラメータ及び外部パラメータを修正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スコープナビゲーションシステム及び画像ピックアップ較正システムに関する。特に、本発明は、正確にスコープをナビゲートし、画像ピックアップデバイスをスコープナビゲーションシステムのために較正する装置、方法及びコンピュータコード製品に関連する。
【背景技術】
【０００２】
臨床医、研究者などのユーザが、生命体の内側を驚くほど鮮明に見ることができるような画像化システムが普及してくるとともに、侵襲性が非常に低い医療処置が、あたりまえのものになってきた。スコープの種類の１つである内視鏡を、ユーザは頼りにするようになってきており、医療処置の施行における、第１線の道具となっている。内視鏡は、研究、評価、診断や挿入などの医療処置において侵襲性が最小であることが望ましく、また、必要なことである。
【０００３】
内視鏡は、科学コミュニティー全体に広く見られるようになった。例えば、診療所、手術室、医者のオフィスなどに、最も広がっている。内視鏡ユビキタス性の１つの理由は、侵襲性が最低限である診断の及び外科の医療処置を容易にすることである。内視鏡は、典型的には、例えば、人間の体の内部の表面を評価するのに使用されている。内視鏡は、通常、ユーザにより遠隔操作することができる診断や外科手術の器具に増設することができる。
【０００４】
現代の内視鏡は、少なくとも２つのグループ、例えば、硬性内視鏡と可撓性内視鏡に分類することができる。典型的な内視鏡は、硬性内視鏡であっても、あるいは可撓性内視鏡であっても、例えば、臓器など検査する対象物を照射する光送達システムと、対象の画像を投影するためのレンズあるいはレンズシステムと、検査の対象物の投影された画像を記録するための、電荷結合素子（ＣＣＤ）などの画像ピックアップ（撮像）デバイスと、画像ピックアップデバイスから画像信号を受信し、画像信号を人間に知覚できる表示画像に変換する処理装置と、前記知覚できる画像を表示するディスプレイと、を含んでいる。
【０００５】
現在の硬性内視鏡は、可撓性内視鏡と比較すると、堅い挿入部分を用いる点、レンズシステムを通して画像を伝達する点で相違している。典型的には、光学的センサが、硬性内視鏡のハンドルに取り付けられる。一方、可撓性内視鏡は、柔軟な挿入部分を用い、典型的には、例えば、ファイバースコープなどの柔軟なシステムを通して画像を伝達する。一般に、光学的センサは、可撓性内視鏡の先端部分に配置される。
【０００６】
内視鏡の人気が高まり医療処置においてあたりまえのものになるにつれて、内視鏡のハードウェア及びソフトウェア設備の複雑さもまた大きくなってきた。特に、ピックアップされた画像の品質及び鮮明度が改善されてきたので、ユーザは、正確に医療診断や外科手術処置を施す場合に、今まで以上に、内視鏡に依存することとなった。その結果として、種々の座標システム間の相互作用とともに、例えば、ミクロレベルでのビデオカメラ及びその実装に関連する、システムの不完全性を修正する種々の方法論が開発されてきた。
【０００７】
普通に使用されるカメラ較正の方法は、DLT(Direct Linear Transform)法、R.Y.Tsaiの方法、及び、Z.Zhangの方法の３つである。この３つのうち、Tsaiの法が、最も古く、その効率的な注目に値する性能のために、コンピュータビジョンシステムに、最も広く使用されている。C、C++及び他のハイレベルのコンピュータ言語を用いた多数のTsaiの較正方法の実装が存在する。Tsaiの方法は、内部カメラの幾何学的及び光学的特性の不完全性（固有パラメータ）や、あるワールド座標システムに相対的なカメラフレームの三次元の位置及び向き（外部パラメータ）の結果生ずるエラーを修正するのに使用されてきた。
【０００８】
スコープをナビゲートするのに、ユーザを補助する際にカメラ較正を行い、種々の座標システムを考慮に入れるスコープシステムは、拡張現実感（ＡＲ）システムと呼ばれることがある。ＡＲシステムは、典型的には、最終的にオペレータに表示したスコープの画像が、その位置的側面及びその時間側面の両方の意味において正確に描写されたものである点において、表示ベースであるということができる。
【０００９】
スコープのオペレータによる手と眼との協調を容易にするために、表示ベースのＡＲ技術は、三次元（３Ｄ）位置センサスコープ追跡技術と組み合わされて、スコープによって感知された領域の表示画像を見ながら、ユーザが正確に内視鏡の動きを追跡することができるようにしてきた。しかしながら、ここでスコープの重大な制限が、ＡＲベースの内視鏡についても残ったままである。即ち、スコープによりピックアップされた画像の座標システムは、オペレータにより認識されている座標システムとの関係が不明確であるということである。例えば、ユーザが、外部モニタ上に表示される画像を眼で見ながら、手でスコープを操作する場合には、手と眼との協調のために、座標の関係が問題となる。
【００１０】
特許文献１には、内視鏡観察システムに存在する種々の座標システムに対して補償するＡＲベースの内視鏡について記載されている。図１に図解するように、特許文献１には、内視鏡にピックアップされた対応する画像を見ながら、ユーザが内視鏡を実時間で正確にナビゲートできるようにする内視鏡観察位置検出及び標示システムが記載されている。既知のナビゲーションシステムは、内視鏡１の観察位置を検出する。システムは、信号線９を通じて光学的検出器８から及び信号線６を通じてセンサム５から受信した、内視鏡１の観察位置を検出する信号を処理することにより、内視鏡観察位置を計算するために、計算デバイス７を採用している。モニタ１０は、ビデオカメラ４によりピックアップされた画像を表示する。ビデオカメラ４及びセンサム５は、支持アーム２及びガイド３により支えられている。したがって、例えば、検出器８及びビデオカメラ４に取り付けられた光学的センサを用いて、既知のシステムは、カメラの位置を追跡することが可能である。しかしながら、図１に示された光学的ナビゲーションシステムは、ハンドルに取り付けられた光学的センサを採用するものであり、末端部分が曲っている可撓性内視鏡に対しては機能しない。なお、可撓性内視鏡の例としては、例えば、特許文献２に記載のものがある。
【特許文献１】特開２００１−１８７０６７
【特許文献２】米国特許第６，８４６，２８６号
【発明の開示】
【発明が解決しようとする課題】
【００１１】
可撓性スコープでは、磁気センサを、例えばスコープ鉗子チャンネルを通して挿入する、あるいは図２に示すようにセンサをスコープの末端部分に構築するのが通常であった。しかしながら、スコープの光学的軸とセンサの中央軸との間のオフセットにより、スコープによりピックアップされた実際の画像とセンサにより感知された画像の位置との間の配列ミスが生じる。
【００１２】
本発明は、較正デバイスとピックアップされたスコープ画像との間の三次元の関係を明確に与えることを目的とするものである。
【課題を解決するための手段】
【００１３】
本発明は、前記の目標を達成するために、スコープナビゲーション装置を提供する。スコープナビゲーション装置は、対象物に挿入されるスコープを含んでおり、前記スコープは、１つ以上の画像ピックアップデバイスを含み、１つ以上のセンサが、１つ以上の画像ピックアップデバイスの光学的軸からオフセットした中央軸を持つ。１つ以上のセンサは、スコープのチャンネルに挿入することができ、あるいは、スコープの一部分になることもできる。
【００１４】
装置は、また、較正デバイス及び前記較正デバイスに対して固定的な位置におかれた、１つ以上の較正デバイスセンサを含む。１つ以上の画像ピックアップデバイスが、少なくとも１つの前記較正デバイスの画像を記録する。１つ以上のセンサの位置及び１つ以上の較正デバイスセンサの位置を感知する、位置決定要素が、提供される。位置決定要素は、センサインターフェース部とシステム制御部とを含むことができる。センサインターフェース部は、１つ以上のセンサの位置及び１つ以上の較正デバイスセンサの位置を感知する。電磁場を生成するフィールド発生器が、提供され、位置決定要素は、その電磁場に基づいて、前記少なくとも１つのセンサの位置及び１つ以上の較正デバイスセンサの位置を感知する。較正デバイスは、フィールド発生器に相対的に固定して配置することができる。さらに、前記較正デバイスは、市松模様、ドットパターンあるいはグリッドパターン少なくとも１つのパターンであることができる。
【００１５】
装置は、さらに、１つ以上のセンサの位置及び１つ以上の較正デバイスセンサの位置に基づいて、１つ以上の画像ピックアップデバイスにより記録された前記少なくとも１つの画像を修正する処理装置を含む。１つ以上の画像ピックアップデバイスにより出力されるビデオ信号を処理するビデオ処理装置が、提供される。１つ以上の画像ピックアップデバイスにより出力されるビデオ信号を処理できるホストデバイスが、（ビデオ処理装置に加えて、あるいは、ビデオ処理装置に代えて）提供される。ホストデバイスないしビデオ処理装置は、１つ以上の画像ピックアップデバイスにより記録された前記少なくとも１つの画像を修正する。
【００１６】
本発明は、また、表示すべき画像の較正及び修正の方法を提供するものである。前記方法は、較正デバイスの画像を記録するプロセスを含む。前記較正デバイスは、少なくとも１つの較正デバイスセンサに対して固定位置に置かれる。画像ピックアップデバイスの光学的軸を決定するプロセスが、さらに提供される。画像ピックアップデバイスは、少なくとも１つのセンサを含む。前記少なくとも１つの較正デバイスセンサの位置及び少なくとも１つの他のセンサの位置を検出するプロセスが、さらに提供される。また、画像ピックアップデバイスの較正のためのパラメータ値を決定するプロセスが、提供される。
【００１７】
パラメータ値を決定するプロセスは、記録された画像上の第１の点を選択するプロセスと、選択された第１の点に基づいて第１の決定点を計算するプロセスとを含む。前記決定するプロセスは、また、選択された点と第１の決定点との間の差の値を決定するプロセス、及び差の値を、しきい値と比較するプロセスを含む。差の値を、しきい値より大きいか、あるいは、しきい値に等しくなるように決定するプロセスが提供される。そして、画像ピックアップデバイスを較正するための較正マトリックスを計算するプロセスが提供される。パラメータ値を決定するプロセスは、第１の点を原点として設定し、少なくとも、時計回り方向及び反時計回り方向の１つにおいて、第２の点を選択するプロセスを含むことができる。
【００１８】
さらに、前記少なくとも１つのセンサの中央軸と画像ピックアップデバイスの光学的軸との間のオフセットを補償するプロセスが提供される。前記パラメータ値に基づいて記録された画像を較正するプロセスが、提供される。前記較正するプロセスは、５自由度、６自由度、あるいは、両方の組み合わせに基づくことができる。較正マトリックスは、少なくとも１つの固有パラメータ及び少なくとも１つの外部パラメータを有することができる。さらに、前記較正マトリックスは、前記較正デバイスの三次元の座標システムと画像ピックアップデバイスの二次元の座標システムとの間の関係に基づくことができる。
【００１９】
本発明は、また、較正デバイスの画像の記録を生起する画像を記録する画像記録コードセグメントを含むコンピュータ可読な媒体を提供する。前記較正デバイスは少なくとも１つの較正デバイスセンサに対して固定位置に配置される。前記媒体は、画像ピックアップデバイスの光学的軸の決定を生起する決定コードセグメントを含む。前記画像ピックアップデバイスは、少なくとも１つのセンサを含む。前記媒体は、前記少なくとも１つのセンサの位置及び前記少なくとも１つの他のセンサの位置の検出を行わせる検出コードセグメントを含む。さらに、前記媒体は、画像ピックアップデバイスを較正するためのパラメータ値の決定を行わせるパラメータ決定コードセグメントを含む。さらに、前記媒体は、前記少なくとも１つのセンサの中央軸と画像ピックアップデバイスの光学的軸との間のオフセットの補償を行わせる補償コードセグメントを含む。さらに、前記媒体は、パラメータ値に基づく画像ピックアップデバイスの較正を行わせる較正コードセグメントを含む。
【００２０】
決定コードセグメントに対して、記録された画像上の第１の点の選択を行わせる点選択コードセグメントと、選択された第１の点に基づいて、第１の決定点の計算を行わせる決定点計算コードセグメントと、選択された点と第１の決定点との間の差の値の決定を行わせる差の値決定コードセグメントと、差の値としきい値との比較を行わせる差の値比較コードセグメントとを提供することができる。
【００２１】
前記コンピュータ可読な媒体は、差の値を、しきい値より大きいか、あるいは、しきい値に等しくなるように決定することを行わせる差の値決定コードセグメントと、画像ピックアップデバイスを較正するための較正マトリックスの計算を行わせる較正マトリックスコードセグメントとを含むことができる。前記較正は、少なくとも５自由度及び６自由度で行うことができ、前記較正マトリックスは、少なくとも１つの固有パラメータ及び少なくとも１つの外部パラメータを含む。さらに、前記較正マトリックスは、前記較正デバイスの三次元の座標システムと画像ピックアップデバイスの二次元の座標システムとの間の関係に基づくことができる。
【００２２】
他の典型的な実施形態及び本発明の優位性は、本開示添付の図面をレビューすることにより確認することができる。上の記述は、本開示の範囲を制限するものであると考えてはならない。
【発明を実施するための最良の形態】
【００２３】
本開示は、以下に、図面を参照して、詳細に記述される。ここで、同じ参照番号は、いくつかの図面を通して、同様の部分を意味する。ここに示される特定の実施例は、例としてあげたものであり、本発明の実施形態の説明に役立てることのみを目的とするものであり、本発明の原理及び概念的側面についての最も有用ですぐに理解できる記述と信じられるものを提供するために提示される。この点に関して、本発明の構造的詳細を、本発明の基本的理解のために必要な分以上に詳細に示すことはしていない。図面を用いた記述は、本発明のいつくかの形が、実際の実施形態となり得ることについて、当業者に対して明確にするものである。
【００２４】
Tsaiの方法によると、カメラは、例えば、内部カメラの幾何学的及び光学的特性（固有パラメータ）あるいはカメラフレームのあるワールド座標システム（外部パラメータ）に対する三次元位置及び向きの結果として生じた歪みを修正するように較正することができる。固有パラメータは、典型的には、カメラ中心の座標の組と画像中心の座標の組との間の関係に関連し、カメラが周囲の外部環境でどのような向きであるかに関連する外部パラメータは、周囲の環境の座標システムと、カメラ座標システムとの間の関係として決定される。
【００２５】
図３で示される典型的な実施形態において、例えば、神経上皮性の処置などの処置を受ける患者３００は、手術室の外科手術テーブルなどの固定面に配置される。患者は、あおむけになった姿勢、うつぶせの姿勢、横向きの姿勢などの、施される処置の種類に適切などのような姿勢にも、位置することができる。ＣＴスキャンとして広く知られている（また、コンピュータ体軸断層撮影（ＣＡＴ）スキャンとしても知られている）コンピュータ断層撮影（ＣＴ）の画像は、患者領域（この例では、患者の頭部）から採取され、意図された処置に先立って記録される。表示領域３０５ａ、３０５ｂ、３０５ｃ及び３０５ｄを含むディスプレイ３０５が、必要な画像をユーザに伝達するために提供される。それ以前に記録されたＣＴ画像、あるいはモデル画像が、内視鏡３１０にピックアップされたリアルタイム画像３０５ｂと平行して、表示領域３０５に表示される。グラフィックユーザインターフェース領域３０５ｄが、ユーザが、容易に、光強度、画像プロセスなど、および同種のシステムパラメータを制御することができるように提供される。表示領域３０５ｃが、例えば、処置を受ける患者の領域の一般的断層撮影マップを表示するために、提供される。図３の説明図において、患者の脳の典型的なＣＴ画像が示されている。
【００２６】
モデル画像３０５は、ＣＴスキャン、磁気共鳴画像（ＭＲＩ）、（例えば、線形断層撮影法、ポリ断層撮影法、狭角断層撮影法、あるいはＸ線パノラマ撮影などの）断層画像、あるいは超音波画像や、同種のものから生成されたものではあるが、これらは同様に使用することができる。表示モデル画像は、医療画像表示の従来技術による周知の方法で表示される。
【００２７】
さらに、ディスプレイ３０５は、人間が知覚できる画像を生成する能力があるどのようなディスプレイ装置であってもよい。例えば、投影ディスプレイ装置、ホログラフィックディスプレイ、マイクロミラーディスプレイ、プラズマディスプレイ（ＰＤＰ）、カソードレイチューブディスプレイ（ＣＲＴ）、発光ダイオードディスプレイ（ＬＥＤ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）、表面電界ディスプレイ（ＳＥＤ）、カーボンナノチューブ、ナノ結晶ディスプレイ、または同種のものである。それらは、本発明の概念ないし精神から逸脱することなく、用いることができる。しかし、これらの例に、限定されない。さらに、ディスプレイの筐体は、静止したデバイスには、限定されない。例えば、頭部搭載表示システムを通じてユーザに取り付けられるディスプレイ装置などの持ち運び可能デバイスであってもよい。あるいは、処置を受けようとする患者の領域に、あるいは、患者と臨床医との間に配置されたハーフミラー上に、オペレータが、患者の領域に重ね合わせて投影された画像を見ながら、すぐに容易にその下にある領域を知覚できるように、画像を正確に重ね合わせて予備的処理画像の高精細度の画像を投影する投影デバイスであってもよい。
【００２８】
典型的な内視鏡３１０は、人間の体の中を操作しているときに、先端部分を曲げることができる、可撓性内視鏡である。２００５年１月２５日に発行された米国特許第６、８４６、２８６号（特許文献２）には、本発明の一側面による実施形態に使用することができる可撓性内視鏡が記載されている。図３に示す内視鏡は、図６において、より大きいスケールで示されているが、光学的システム、少なくとも１つのセンサ、及び光投影システムを含んでいる。内視鏡は、最初に、内視鏡を位置合わせすることにより、市松模様３１５が、内視鏡の画像ピックアップシステムの光学的視野に入るように較正される。デバイス３１５は、市松模様を含み、２つの電磁気マーカ３１５ａ及び３１５ｂを含む。市松模様の１つ以上の画像フレームが、内視鏡３１０の画像ピックアップシステムにより選択され、画像ピックアップデバイスを較正するのに使用される。次に、例えば、ＭＡＴＬＡＢＲツールボックスを通じて、Tsaiの較正方法を用い内視鏡が較正される。
【００２９】
本発明の好適な実施形態が、Tsaiの較正アルゴリズムを実行するために、MATLABRツールボックスを用いるものとして、記載されるのではあるが、当業者は、どのような他のソフトウェアツールボックスでも、どのような較正方法を組みにしても使用するできること、あるいは例えば、直接線形変換（ＤＬＴ）、Z.Zhang、あるいは画像ピックアップシステムを効果的に及び正確に較正する能力があるいかなる他の方法を含むそれらの組み合わせを使用することができることをすぐに認識するであろう。さらに、ソフトウェアツールボックスは、必要な較正アルゴリズムを効果的に実行する能力があるいかなる他の高レベルコンピュータプログラミング言語をMATLABRの代わりに含むことができる。例えば、Java、C/C++、オブジェクト指向パスカル、パール、あるいは本発明の一側面を実行する能力があるいかなる他の言語を含むことができる。本発明の概念ないし精神から逸脱することなく、それらを含むことができるが、しかし、これらの例に、限定されない。
【００３０】
内視鏡先端の位置的情報は、先端に組み込まれたセンサの三次元位置を感知する電磁気（ＥＭ）発生器３２０により感知される。ＥＭ発生器３２０は、統合化電磁気追跡システムである。例えば、NDIAURORAR電磁気追跡システム（ノーザンディジタル会社）あるいはMicroBIRD追跡システム（アセンジョンテクノロジー社製造）などである。しかしながら、当業者は、正確な位置決定の能力があるいかなる他の非光学的追跡システムでも、本発明の概念ないし精神から逸脱することなく、等しく使用することができることをすぐに認識するであろう。
【００３１】
図４に示すように、ディスプレイ３０５に表示されるＣＴスキャンモデル画像は、例えば、ΣＭＯＤＥＬ（ｘＭＯＤＥＬ、ｙＭＯＤＥＬ、ｚＭＯＤＥＬ）座標システムの空間的座標を有する（以下、記号「Σ」は、ｎ次元座標システムを意味する。ここで、ｎは、０以上の整数である）。患者３００は、例えば、側臥位で、座標システムΣＰＡＴＩＥＮＴ（ｘＰＡＴＩＥＮＴ、ｙＰＡＴＩＥＮＴ、ｚＰＡＴＩＥＮＴ）において空間座標を有する水平面上に、位置する。ＥＭ発生器３２０は、座標システムΣＥＭ（ｘＥＭ，ｙＥＭ，ｚＥＭ）において空間座標を有する。内視鏡によりピックアップされた画像は、座標システムΣＩＭＡＧＥ（ｘＩＭＡＧＥ，ｙＩＭＡＧＥ）において座標を有する。図４の矢印により示されるように、座標システムΣＭＯＤＥＬ、ΣＰＡＴＩＥＮＴ及びΣＥＭの間の関係は、従来の方法によりすぐに決定可能である。しかしながら、ΣＩＭＡＧＥ座標システム及びΣＭＯＤＥＬとΣＥＭのどちらかの座標システムの間の関係は、知られておらず、正確に決定されなければならない。典型的な実施形態の説明を単純にする目的のために、ΣＥＭ座標システムが、ΣＷＯＲＬＤを意味すると仮定することができる。現実のワールド座標システムは、内視鏡３１０のユーザが、オペレータが内視鏡デバイスを操作するときに、（例えば、手と眼との協調を通して）知覚するものである。
【００３２】
図５は、内視鏡システムを正確に較正するために施される必要な変換を含む、示された種々の座標システムを有する図３の典型的な実施形態を示す。図５に示すように、市松模様は、三次元座標システムΣＣＨＡＲＴを有する。チャート座標システム（ΣＣＨＡＲＴ）を有する内視鏡によりピックアップされた画像の座標システム（ΣＩＭＡＧＥ）を適切に登録するために、画像座標システムは、較正マトリックスＣＴを用いて、較正される。較正マトリックスＣＴは、以下に記載されるように、固有の及び外部の較正パラメータの両方を含む。マトリックスＣＴは、チャートの座標システムと内視鏡に感知された画像の座標システムとの間の関係を定義する。
【００３３】
図６に関して、内視鏡先端６００は、ＥＭセンサ６０５、光学的画像ピックアップシステム６１５、及び照明システム６２０を含む。ＥＭ発生器３２０（図５に示す）は、センサ６０５の位置を感知し、内視鏡先端６００の空間座標システムを決定する。内視鏡先端６００は、現実のワールド座標システム（ΣＷＯＲＬＤ）で機能し、座標システムΣＷＯＲＬＤを有する。これは、実質的にＥＭ発生器３２０により感知されるＥＭ座標システム（ΣＥＭ）に等しい。図６に図解するように、センサ６０５は、画像ピックアップシステム６１５の光学的軸からオフセットしている。画像ピックアップシステムの光学的軸からの、センサの当該位置的オフセットは、固有の及び外部のエラーの両方を導くが、以下に記載される本発明の非限定的一側面により修正される。
【００３４】
位置センサは、少なくとも１つのＥＭセンサを用いるものとして記載されてきたのではあるが、他の種類のセンサシステムも、内視鏡先端ないし内視鏡チューブの位置を検出するための、使用することができる。例えば、超音波センサ、赤外線センサ、または同様のものを、本発明の概念ないし精神から逸脱することなく、用いることができる。
【００３５】
図５に示すように、患者の座標システム（ΣＰＡＴＩＥＮＴ）とＥＭ座標システム（ΣＥＭ）との間の関係が、センサ６０５（図６で示す）の空間座標を含めて、決定され、変換マトリックスＴＰＡＴＩＥＮＴ−ＥＭにより、表される。ＴＰＡＴＩＥＮＴ−ＥＭの関係は、多数の異なる方法のどの１つでも決定することができる。例えば、当該関係は、ユーザに、内視鏡先端６００を用いて、患者の処置が施される領域に短く触れさせることによって、決定することができる。例えば、ユーザは、正確な測定値を得るために、短く多数の皮膚基準点（conical skin fiducials）に触れる。ＥＭ発生器は、患者が触れられる位置を対応する座標システム（ΣＰＡＴＩＥＮＴ）を含めて記録する。
【００３６】
代替的に、あるいは上に記載された複数の皮膚基準点(conical skin fiducials)の登録手続きに加えて、多数の電磁気追跡（マーカ）センサを、患者に取り付けることができる。追跡センサは、連続的及び実時間の患者の姿勢情報を、ＥＭ発生器３２０に提供する。これにより、ＥＭ発生器は、患者の座標（ΣＰＡＴＩＥＮＴ）を、患者が動いているときでも、正確に感知することができる。患者の皮膚基準点の他の登録方法論を、例えば、施す処置の種類、処置中の患者の姿勢は、患者が処置に覚醒したままであるかどうか、または同種のものに依存して、当業者がすぐに認識するように、本発明の概念ないし精神から逸脱することなく、採用することができる。
【００３７】
モデル画像（ΣＭＯＤＥＬ）の座標システムと患者（ΣＰＡＴＩＥＮＴ）の座標システムとの間のＴＭＯＤＥＬ−ＰＡＴＩＥＮＴの関係は、従来の方法では、上に記載された患者座標登録手続き中に、ＥＭ発生器により決定される。同じように、チャート（ΣＣＨＡＲＴ）の座標システムとＥＭ発生器（ΣＥＭ）の座標システムとの間のＴＣＨ−ＥＭの関係もまた、従来の方法にしたがって、決定される。
【００３８】
次に、図７に関して、内視鏡先端７００が、光学的画像ピックアップシステム７１５だけでなく、センサ７０５をも含むことが示される。センサ７０５は、座標システムΣＥＭを有する。続く記述を単純にするためである。しかし、センサ先端が、センサをいくつでも、照明システム、及びいかなる本発明の一側面を実施するのに必要な他のデバイス、例えば、米国特許第６，８４６，２８６号（特許文献２）に開示されたデバイスを本発明の概念ないし精神から逸脱することなく、含むことができることを当業者は、すぐに認識する。対象物７１０の画像は、座標システムΣＯＢＪＥＣＴを有する。これは、ΣＷＯＲＬＤと同一である。また、実質的にΣＥＭと同一である。対象物７１０の画像は、光学的画像ピックアップシステム７１５を通してＬ１及びＬ２として投影され、画像ピックアップシステム画像ピックアップ面７３０（下に記載）に投影される。対象物７１０のピックアップされた画像の投影は、座標システムΣＩＭＡＧＥを有する。
【００３９】
前記較正マトリックスＣＴ（図５に示す）の決定に使用されるＴｓａｉの較正方法の実装は、固有の及び外部のパラメータの両方を含めて、本発明一側面により、次に記載される。図８に関して、典型的な内視鏡、例えば、画像ピックアップセンサのための二次元の画像ピックアップ配列を有する電荷結合素子（ＣＣＤ）８３０などを用いる内視鏡は、二次元の座標Ｃ（ｕｃ，ｖｃ）を有する。ここで、ｚ軸は、光学的軸に沿っており、ｘ及びｙ軸は、互いに垂直であるとともに、光学的ｚ軸に垂直である。対象物８１０の点Ｍ８１１は、画像ピックアップシステムＣＣＤ８３０によりピックアップされるが、座標Ｍ（ＸＭ，ＹＭ，ＺＭ）を有する。画像ピックアップ中に、対象物点Ｍの画像が、例えば、内視鏡光学部品を通してＣＣＤ８３０へ投影され、座標（ｘｍ，ｙｍ）を有する点ｍ８１２におけるＣＣＤ面に影響を与える。内視鏡光学部品は、焦点距離ｆ及び歪み効果を有する。画像点ｍの座標と、対象物点Ｍの座標との間の関係は、次の方程式で表現することができる。
【数１】
【数２】
ここで、ｘｍ及びｙｍは、画像点ｍの点座標である。ｆは、対象物とＣＣＤとの間に位置する内視鏡光学的システムの焦点距離である。また、ＸＭ、ＹＭ、及びＺＭは、対象物点Ｍの点座標である。ＣＣＤ座標（ｕ，ｖ）は、次のように定義される。
【数３】
【数４】
ここで、ＷＰＩＸＥＬは、ピクセル幅、ＨＰＩＸＥＬは、ピクセル高さ、ｕｃは、画像ピックアップ面の光学的中心におけるｕピクセル座標、及びｖｃは、画像ピックアップ面の光学的中心におけるｖピクセル座標である。方程式［数１］及び［数２］を方程式［数３］及び［数４］と結合して、次の方程式が得られる。
【数５】
【数６】
【００４０】
上で言及したように、前記較正マトリックスＣＴは、固有のパラメータ及び外部パラメータの両方を含む。固有パラメータは、αｕ及びαｖに加えて、上で言及したｕｃ及びｖｃを含む。パラメータαｕ及びαｖは、次のように定義される。
【数７】
【数８】
外部パラメータは、回転パラメータＲ１、Ｒ２、及びＲ３、及び並進運動パラメータｔｘ、ｔｙ、及びｔｚを含む。外部パラメータは、外部向きに関連する。
【００４１】
ＣＴを推定するのに、線形アルゴリズムを用いて、画像ピックアップ面上の影響を受けた二次元画像点ｍ（ｕ，ｖ）と、三次元参照対象物点Ｍ（Ｘ，Ｙ，Ｚ）との間の線形関係が、次のように定義される。
【数９】
ここで、ｓは、スカラーファクター及びｑは実数である。したがって、ｑ３４は、１に等しくセットされる。ここで、ｓは、任意のスケールファクターにセットされる。したがって、上の方程式［数９］は、次のように書き換えることができる。
【数１０】
【数１１】
【００４２】
しかしながら、スケールファクターが、座標値Ｚを有し、αｕ及びαｖが、上の方程式［数７］及び［数８］のように定義される場合には、画像ピックアップ面上の影響を受ける画像点は、内視鏡マトリックスを対象物の座標に適用することにより、次のように、取り除くことができる。
【数１２】
代替的に、方程式［数１２］は、次の方程式で、表現することができる。
【数１３】
ここで、ｕは、画像ｍピクセル座標の均質ベクトルである。Ｐは、内視鏡マトリックスである。及び、Ｍは、対象物点Ｍのワールド座標の均質ベクトルである。一般に、ワールド座標は、その原点が光学的システムの中心にあるフレームでは、特定されない。しかし、考慮に入れるべき並進運動のオフセットを含むであろう。したがって、外部のオフセットパラメータを考慮に入れると、方程式［数１２］は、次のように修正することができる。
【数１４】
ここで、Ｒは、ΣＥＭとΣＩＭＡＧＥ座標システムとの間の変換のための全般的較正マトリックスＣＴの、回転マトリックス成分、及びＴは、平行移動マトリックス成分である。回旋及び平行移動は、実際のワールド座標システム（三次元を有する参照座標システム）で、それぞれ施されるので、結果として生じる変換は、６自由度を、有し、変換Ｒの回転の部分については３自由度を有する。変換Ｔの並進運動の部分については３自由度を有する。したがって、固有パラメータ及び外部パラメータを含む前記較正マトリックスＣＴは、次のように表現することができる。
【数１５】
ここで、回転のマトリックス成分Ｒは、ベクトル値(Ｒ１，Ｒ２，Ｒ３)Ｔを有する。また、並進運動のマトリックス成分Ｔは、値（ｔｘ，ｔｙ，ｔｚ）を有する。
【００４３】
したがって、Ｎ個の三次元ワールド点及びそれらの個別の座標から二次元の画像ピックアップ面上のＮ数の点を決定するときには、次の関係が得られる。ここで、Ｎは２以上の正の整数である。
【数１６】
【００４４】
一旦、前記較正マトリックスＣＴが決定されると、図５に表示される、６座標システム（ΣＭＯＤＥＬ、ΣＰＡＴＩＥＮＴ、ΣＥＭ、ΣＩＭＡＧＥ、ΣＣＨＡＲＴ及びΣＷＯＲＬＤ）の間の関係は、決定可能であり、次のように表現することができる。
【数１７】
【数１８】
【数１９】
【数２０】
【数２１】
【００４５】
図９は、本発明の一側面による、拡張現実感の内視鏡的処置を施すための実施形態を図解するものである。典型的な実施形態によれば、較正デバイス９１０は、内視鏡デバイス９２０を較正するために提供される。内視鏡デバイス９２０は、画像ピックアップシステム９３０に接続されている。センサ９１５は、前記較正デバイス９１０の付近で、前記較正デバイスに対していくつかの既知の位置に配置される。別のセンサ９２５は、内視鏡デバイス９２０に対していくつかの他の既知の位置に配置される。ビデオ処理装置９３５は、画像ピックアップシステム９３０及びコンピュータデバイス９５０に接続する。センサ９１５及び９２５はセンサインターフェース部９４０に、例えば、ワイヤ接続により接続する。センサインターフェース部９４０は、少なくとも１つのワイヤ及び無線接続を通して、システム制御部９４５に接続する。この開示で用いられる「少なくとも１つのワイヤ及び無線接続」という用語は、１つ以上のワイヤ接続あるいは１つ以上の無線接続と同様に、１つ以上のワイヤ接続及び１つ以上の無線接続、あるいはそれらのいかなる組み合わせをも意味する。システム制御部９４５は、コンピュータデバイス９５０に接続する。典型的な図９の種々のデバイスが、無線で相互接続しているように記述されているが、部品間での、ワイヤあるいは無線接続のいかなる組み合わせも、全ての無線、全てのワイヤ、あるいはそれらのいかなる組み合わせも可能であることを、当業者は認識するであろう。さらに、デバイスは、ワイヤあるいは無線のネットワークに接続することができる。例えば、局所領域ネットワーク、広域ネットワーク、インターネット、または同種のものに接続することができる。
【００４６】
較正デバイス９１０は、センサ３１５ａ及び３１５ｂがパターンの対角線の角に位置する市松模様を含むような図３及び図５で示すデバイスに限定されない。代わりに、前記較正デバイス９１０は、画像ピックアップ較正に適したいかなるパターンを有することができる。また、当業者がすぐに認識するであろうが、本発明の概念ないし精神から逸脱することなく、センサは、前記較正デバイスの空間的位置に関する正確な情報提供する能力があるどのような位置にも配置することができる。
【００４７】
例えば、図１０Ａ、１０Ｄ、１１Ａ、１１Ｂ、１２Ａ、１２Ｄ及び１３Ａ、１３Ｂで示すように、前記較正デバイスは、下に記載されるように任意数の非限定的パターン及びセンサ配列を有することができる。パターンにおいて、本発明の概念ないし精神から逸脱することなく、どのような色、あるいは色配列も、使用することができることは、当業者は、すぐに認識するであろう。さらに、いかなる非限定的パターンあるいはパターンの組み合わせをも使用することができる。例えば、三角形、長方形、ドット、円、正方形、三角形、六角形、八角形、あるいは二次元の面での反復パターンに生成するのに役立ついかなる他の二次元のダイアグラムも使用することができる。代替的に、あるいはさらに、非限定的三次元パターンが、使用できる。例えば、球体、シリンダ、ピラミッド、四面体、箱、三次元空間での反復パターンの生成に役立つような、あるいはいかなる他の三次元構造も使用することができる。
【００４８】
当業者がすぐに認識するであろうが、本発明の概念ないし精神から逸脱することなく、センサ９１５と９２５とは、アプリケーションに応じて、同一の種類であってもよいし、異なる種類であってもよい。センサ９１５と９２５とはいずれも、例えば、内視鏡９２０ないし前記較正デバイス９１０などの医療器具に組み込むことができる小型のセンサコイルであってもよい。センサは、５自由度（５ＤＯＦ）、あるいは、意図されたアプリケーションに依存して６自由度（６ＤＯＦ）をもつことができる。例えば、２つのセンサを、５自由度の直交構成で内視鏡に取り付けることができる。代替的に、単一センサを、内視鏡中に６自由度で提供こともできる。
【００４９】
センサは、器具に組み込んだり、器具に取り付けたり、あるいは、器具の動きに従って変化するようなある程度物理的に離れた位置に配置することができる。センサ９２５は、例えば図６に示すように内視鏡デバイス９２０に取り付けたり、あるいは一体化したりすることができる。代替的に、センサ９２５は、内視鏡デバイス９２０（図示せず）に外部から取り付ける、あるいは、内視鏡デバイスのチャンネルに挿入することができる。さらに、内視鏡デバイス９２０の端部は、連続的あるいは不連続的可変の電磁気の応答セグメントからなる１つ以上の円筒形のケースあるいはリングから構成することができ、それぞれのセグメントの電磁気応答が、円筒形のケースあるいはリングの周囲に沿って位置の関数として変化するように構成される。それによって正確な並進及び回転の空間的位置検出を提供することができる。
【００５０】
さらに、センサ９２５、例えば、図５で示すように、前記較正デバイス９１０に一体化して提供することができる。あるいは、前記較正デバイス９１０（図示せず）を、ある固定空間的関係に移動可能に支えるサポートに取り付けることができる。例えば、センサ９２５は、耐水性のチャートから構成することができる較正デバイス９１０に取り付けることができる。あるいは、印刷したチャート上の所定の位置をラミネイトすることができる。印刷したチャートもまた、ラミネイトすることができる。代替的に、前記較正デバイス９１０及びセンサ９２５は、フィールド発生器９０５に取り付けることができる。当業者は、本開示において使用されている「取り付ける」という用語が、一時的あるいは永久的に、ある粘着材により取り付けること、あるいは連結するメカニズムを通して取り付けること、または同種のものを含むことを認識するであろう。その上に、「固定」という用語は、ここに、２つ以上の対象物あるいは２つ以上の点、あるいは対象物及び点のいかなる組み合わせの間の変化しない関係を記述するために使用される。その関係は、その性質上、一時的であってもよいし、永久的であってもよい。例えば、ここに開示された典型的な非限定的医療処置中において、前記較正デバイス９１０とセンサ９２５との間の変化しない空間的関係を維持する場合、その関係は、一時的であってもよい。
【００５１】
センサ９１５及び９２５は、例えば、フィールド発生器９０５により生成された電磁場に対して反応して、三次元座標でのそれらの位置の空間的位置データをもたらす。位置的データは、センサインターフェース部９４０により受信される。センサインターフェース部９４０は、潜在的ノイズを最小化する一方、センサ９１５、９２５とシステム制御部９４５とが物理的に離れていることを可能とし、センサ位置データをシステム制御部９４５に伝達する。システム制御部９４５は、センサ位置データを、センサインターフェース部９４０から受信し、センサの位置及び向きを受信データに基づいて計算する。システム制御部９４５は、ホストデバイス９５０と通信する。ホストデバイス９５０は、パーソナルコンピュータであってもよい。本発明の概念ないし精神から逸脱することなく、例えば、卓上ワークステーション、ラップトップコンピュータ、ノートブックコンピュータ、アレイプロセッサ、コンピュータのネットワーク、あるいは、画像ピックアップ較正及び必要情報のユーザへの表示での必要なアルゴリズムを処理する能力があるいかなる他のデバイスであってもよい。
【００５２】
当業者は、センサ９１５及び９２５として、ＥＭセンサの代わりに、あるいはこれに加えて、赤外線の（ＩＲ）送信機が使用できることを認識するであろう。これは、発明の一側面による望ましい実施形態であり得る。例えば、探索するべき領域が、金属の物体に埋もれている、あるいは取り囲まれているような場合である。非限定的な例では、犠牲者が金属の破片の下に埋もれた可能性があるような、地震などの自然災害での犠牲者の探索及び位置特定において、ＥＭセンサは、ＩＲ送信機ほど効率的ではなくなる。したがって、代わりにＩＲ送信機を使用するのが望ましい。ＩＲ送信機ベースの非限定的な例では、フィールド発生器９０５を必要とせず、センサインターフェース部９４０は、ＩＲ送信機により生成されたＩＲ信号に応答するように構成される。当業者は、本発明の概念ないし精神から逸脱することなく、センサ９１５及び９２５として、正確な空間的追跡を容易にするいかなる種類のメカニズムでも使用することができることを認識するであろう。
【００５３】
ホストデバイス９５０は、システム制御部９４５と通信し、システム制御部９４５から、計算された位置及び向き情報を受信する。ホストデバイス９５０は、上で議論した座標システム変換を施し、異なる座標システム間の変換関係と同様に、座標システム、ΣＭＯＤＥＬ、ΣＰＡＴＩＥＮＴ、ΣＥＭ、ΣＩＭＡＧＥ、ΣＣＨＡＲＴ及びΣＷＯＲＬＤを決定する。ホストデバイス９５０は、固有の及び外部のエラーを例えば、上で議論したように、修正し、例えば、内視鏡などの処置に使用される設備の正確なナビゲーションを容易にするために、座標システム間の必要な変換を施す。ホストデバイス９５０が、モデル画像３０５、画像ピックアップシステムによりピックアップされた修正された二次元画像３０５ｂ、画像マップ３０５ｃ、及び表示するグラフユーザインターフェース表示領域３０５ｄ（図３）を生成する。
【００５４】
内視鏡デバイス９２０は、例えば、米国特許第６，８４６，２８６号（特許文献２）に記載されている種類のものであってもよい。内視鏡の画像ピックアップシステムは、１つ以上の画像が画像ピックアップシステム９３０により記録されるように、内視鏡の前記較正デバイス９１０に対する位置合わせにより較正される。記録された画像は、上に議論したように、内視鏡デバイスを較正するのに使用される。画像ピックアップシステム９３０により生成されたビデオ信号は、ビデオ処理装置９３５に送信される。ビデオ処理装置９３５は、ビデオカメラ９３０からビデオ信号を受信し、例えば、画像信号増幅、エッジ強調、暗電流抑制(black current reduction)、色彩調整、白バランス、および同種の処置を施し処理されたビデオ信号をホストデバイス９５０に伝達する。ビデオ処理装置９３５は、例えば、座標システムの関係を計算し、画像ピックアップシステム９３０からのビデオ信号出力を、例えば、Ｔｓａｉの方法を上で記載されたようにＭＡＴＬＡＢＲツールボックス上で施すことにより、修正をすることを通して画像ピックアップシステム９３０の較正を施すことができる。
【００５５】
内視鏡デバイス９２０は、上では単一の画像ピックアップデバイスを有するものとして記述されているが、内視鏡デバイス９２０は、複数の画像ピックアップデバイスを含むことができる。例えば、２つの画像ピックアップデバイスを内視鏡デバイス９２０中に、立体的画像ピックアップを提供するために使用することができる。このような場合、ここに記載された前記較正及び修正は、上に記載されたように、各画像ピックアップデバイスに対して個別に施される。
【００５６】
代替的に、画像ピックアップシステムの較正及び修正は、ホスト９５０上で施すことができる。上で議論したように、ホスト９５０上の画像処理ソフトウェアと使用するソフトウェアとして、例えば、ＭＡＴＬＡＢＲなどが、利用可能である。画像ピックアップシステムの較正及び画像処理ソフトウェアは、外科手術ないし診断処置における実際の適用に先立って、内視鏡を較正及び修正をするために、一般的な処理コンピュータ上に、インストールすることができる。典型的には、平面上に配置された市松模様パターンが、カメラを較正するために使用される。施すべき処置の種類に応じて、前記較正処置は、意図された処置中に、内視鏡が遭遇を予想することができる液体あるいはガスの効果を考慮に入れることができる。内視鏡が浸される媒体の種類に応じて、焦点距離が変化し得るからである。
【００５７】
図１０Ａ、１０Ｄ及び１１Ａ、１１Ｂは、２つのセンサ９１５Ａ及び９１５Ｂを有するものとして示され、図１２Ａ、１２Ｄ及び１３Ａ、１３Ｂは、単一のセンサ９１５を有するものとして示されているのではあるが、当業者は、本発明の概念ないし精神から逸脱することなく、適切であるとみなすことができるように、任意数のセンサを使用することができる。その上、センサは、ワールド座標システムに対する三次元座標において、センサが前記較正デバイス正確な位置を伝達することが可能である限り、例えば前記較正デバイス上のどこにでもあるいは前記較正デバイスに対していくつかの固定な離れた位置に、配列することができる。
【００５８】
図１０Ａは、本発明の実施形態による２つのセンサが対角線較正デバイスの端部に位置したチェッカー盤、黒白パターンを有する較正デバイスを示す。１つのセンサは、右側最上位置の角に、水平軸に沿って位置し、他のセンサは、左側最下位置の角に垂直軸に沿って位置する。
【００５９】
図１０Ｂは、本発明の実施形態による、２つのセンサが、較正デバイスの１つの角に互いに隣接して位置したチェッカー盤、黒白パターンを有する較正デバイスを示す。典型的なセンサは、前記較正デバイスの左側最上位置の角に位置する。１つのセンサは、前記較正デバイスの水平軸に沿って位置し、他のセンサは、前記較正デバイスの垂直軸に沿って位置する。
【００６０】
図１０Ｃは、本発明の実施形態による、前記較正デバイスの対角線端部に位置する２つのセンサを持つグリッドパターンを有する較正デバイスを示す。１つのセンサは、右側最上位置の角に、水平軸に沿って位置し、他のセンサは、左側最下位置の角に垂直軸に沿って位置する。
【００６１】
図１０Ｄは、本発明の実施形態による、較正デバイスの１つの角に互いに隣接して位置する２つセンサを持つグリッドパターンを有する較正デバイスを示す。典型的なセンサは、前記較正デバイスの左側最上位置の角に位置する。１つのセンサは、前記較正デバイスの水平軸に沿って位置し、他のセンサは、前記較正デバイスの垂直軸に沿って位置する。
【００６２】
図１１Ａは、本発明の実施形態による、２つのセンサが較正デバイスの対角線端部に位置したドットパターンを有する較正デバイスを示す。１つのセンサは、右側最上位置の角に位置し、他のセンサは、左側最下位置の角に位置する。
【００６３】
図１１Ｂは、本発明の実施形態による、２つのセンサが、較正デバイスの１つの角に互いに隣接して位置したドットパターンを有する較正デバイスを示す。典型的なセンサは、前記較正デバイスの左側最上位置の角に位置する。１つのセンサは、前記較正デバイスの１つのセンサ前記較正デバイスの上部水平軸に沿って位置し、他のセンサは、前記較正デバイスの左垂直軸に沿って位置する。
【００６４】
図１２Ａは、本発明の実施形態による、単一のセンサが、較正デバイスの角端部に位置するチェッカー盤、黒白パターンを有する較正デバイスを示す。前記センサは、右側最上位置角に水平軸に沿って位置する。
【００６５】
図１２Ｂは、本発明の実施形態による、センサが較正デバイスの１つの角に位置するチェッカー盤、黒白パターンを有する較正デバイスを示す。典型的なセンサは、前記較正デバイスの左側最上位置の角に、較正デバイスの水平軸に沿って位置する。
【００６６】
図１２Ｃは、本発明の実施形態による、単一のセンサが、較正デバイスの角端部に位置するグリッドパターンを有する較正デバイスを示す。前記センサは、右側最上位置角に水平軸に沿って位置する。
【００６７】
図１２Ｄは、本発明の実施形態による、単一のセンサが較正デバイスの角端部に位置する、グリッドパターンを有する較正デバイスを示す。典型的なセンサは、前記較正デバイスの左側最上位置の角に、較正デバイスの水平軸に沿って位置する。
【００６８】
図１３Ａは、本発明の実施形態による、単一のセンサが較正デバイスの角端部に位置するドットパターンを有する較正デバイスを示す。前記センサは、右側最上位置角に水平軸に沿って位置する。
【００６９】
図１３Ｂは、本発明の実施形態による、単一のセンサが較正デバイスの角端部に位置する、ドットパターンを有する較正デバイスを示す。典型的なセンサは、前記較正デバイスの左側最上位置の角に、較正デバイスの垂直軸に沿って位置する。
【００７０】
図１４に、本発明の一側面による典型的なプロセスが記載されている。プロセスは、当事者がすぐに認識するように、本発明の概念ないし精神から逸脱することなく、ホスト９５０、あるいはプロセスを実行する能力がある別のデバイスにより実行されてもよい。初期化に際して、三次元の座標情報を含む予備的処理のＣＴスキャンあるいはＭＲＩ画像などの三次元モデル画像情報は、直接間接を問わず、ホストデバイス９５０にロードされ転送される。ステップ１４１０において、モデル画像情報は処理されて、ユーザにより知覚できるように表示される。
【００７１】
ステップ１４１５においては、患者は、その患者が受けるであろう処置の種類に見合った姿勢をとる。使用される患者座標登録システムの種類に応じて、センサは、患者の処置を受ける患部に取り付けることができる。患者座標登録センサ(patient registration sensor)の配置は、ステップ１４１５で行うことができる。図１４に図解するプロセスにおいて、非限定的例として、使用される患者座標登録方法が、下の記載されるように、患者に接触する登録方法である。
【００７２】
ステップ１４２０において、処置に使用する貫通するデバイスに、センサが、取り付けられる、あるいは挿入される。２つのセンサは、５自由度（５ＤＯＦ）をもつように直角に位置することができる。あるいは、単一のセンサが、６自由度（６ＤＯＦ）をもつように配置できる。その上で、前記較正デバイスにおいて、そのように、既に自由度がもたらされていない場合には、少なくとも１つのセンサを、較正デバイスに取り付ける。ここに開示された非限定的例において、貫通するデバイスは、可撓性内視鏡であり、例えば、内視鏡先端の器具チャンネルを通して、２つのセンサが挿入されている。しかしながら、当業者は、貫通するデバイスが、硬性内視鏡、カテーテル、カニューレ、あるいは、対象物に挿入して、対象物でナビゲートすることができるいかなる他のデバイスであってもよいことをすぐに認識するであろう。同様に、前記較正デバイスは、デバイスに取り付けた１つのあるいは２つの位置センサを含むものとして開示される。しかしながら、当業者は、本発明の概念ないし精神から逸脱することなく、任意数のセンサを、較正デバイスに取り付けて、あるいはいくつかの較正デバイスに対して相対位置を固定的に維持するメカニズムに取り付けて、較正デバイスに挿入することができることをすぐに認識するであろう。プロセスは、ステップ１４２５に進む。
【００７３】
ステップ１４２５において、典型的な可撓性内視鏡の先端は、画像ピックアップシステムを含み、較正デバイスが、画像ピックアップシステムの画像ピックアップフィールドに入るように配置される。ステップ１４３０において、可撓性内視鏡先端などに挿入されたセンサの位置情報が決定される。このステップは、ステップ１４２５の前に、あるいは同時に行うことができ、あるいはステップ１４３５の後に施すこともできる。ステップ１４３５において、画像ピックアップシステムは、較正デバイスの画像のキャプチャを行う。較正デバイスの複数の画像（例えば、５以上の画像）が、画像ピックアップデバイスによりキャプチャされるのが望ましいが、当業者が、本発明の概念ないし精神から逸脱することなく、適切であるとみなすことができるように、任意数の画像を、使用することができる。ステップ１４４０において、前もってセットされた、あるいは所定の数の画像が、画像ピックアップシステムにより、記録されたかどうかの決定がなされる。典型的には、前もってセットされた数の画像は、５以上の画像にセットすることができる。しかし、その数字は、当業者が認識するように、施すべき処置、ユーザの優先度、ないし内視鏡の規模、およびそれらと同種のものの関数として変化する。前記較正デバイスの前もってセットされた数の画像が、記録された場合には（ステップ１４４０で「ＹＥＳ」）、プロセスは、図１５に図解されたプロセスＡに進む。そして、プロセスＡの完了後、続いてステップ１４４５に進む。しかしながら、前もってセットされた数の画像が記録されなかった場合には（ステップ１４４０で「ＮＯ」）、ユーザは、例えば、画像キャプチャを繰り返すために表示あるいは音のメッセージによって指示をされることになる。
【００７４】
図１５に関して説明する。較正デバイスの前もってセットされた数の画像が記録された後、あるいは、画像ピックアップシステムによりキャプチャされた後、ステップ１５０５においてキャプチャされた画像は、画像キャプチャモジュールに読み込まれる。ステップ１５１０おいて、キャプチャされた画像上で、点が選択される。説明図の目的のためだけであるが、選択点数Ｎが４に等しい、非限定的な例が提供される。しかしながら、選択点数は、当業者がすぐに認識するであろうように、いかなる適切な数であってもよい。図１６Ａにおいて、市松模様のキャプチャされた画像領域の左下にある第１の点Ｐ１が、ステップ１５１０において選択される。第１の点Ｐ１は、原点に指定される。また、次の三つの点が、図１６Ｂ、１６Ｄにおいて、時計回りに進んで選択される。
【００７５】
プロセスは、４つの点が選択されたかどうかを決定するステップ１５１５に進み、選択されていない場合には（ステップ１５１５において「ＮＯ」）、ステップ１５１０が、繰り返され、図１６Ｂで示すように、市松模様の左上角に位置する点Ｐ２が選択される。次に、三番目の点、市松模様の右上角に位置する点Ｐ３が、図１６Ｃで示すように、ステップ１５１０において選択される。ステップ１５１０の第４回目が実行され、市松模様の右下角に位置する第４点Ｐ４が、図１６Ｄで示すように、選択される。ステップ１５１５において、点の数が、前もってセットされた点の数に等しくなると（ステップ１５１５において「ＹＥＳ」）、プロセスは、ステップ１５２０に進む。それらの点は、上の非限定的例では時計回りに、指定されるのではあるが、それらの点は、同様に反時計回りに指定されてもよい。または、当業者が較正のために少なくとも１つ点を選択するのに適切であるとみなすようないかなる他の方法でもよい。
【００７６】
ステップ１５２０において、グリッド点の配列が、所定の距離及び較正デバイス上のグリッドの数に基づいて計算され、グリッド点が、図１７Ａで示すようにキャプチャされた画像に重ね合わせて表示される。次に、ステップ１５２５において、計算されたグリッド点及び下にあるキャプチャされた画像との間に、差異が存在するか否かが、計算されたグリッド点の値と下にあるキャプチャされた画像の値間の差異を比較して、差異値を計算することにより決定される。差異値は、次に、所定のしきい値と比較される。差異値が、しきい値以上の場合には、差異が存在すると判断される。しかしながら、差異値が、しきい値より小さい場合には、差異が存在しないと判断される。したがって、差異が存在しない場合には（ステップ１５２５において「ＮＯ」）、プロセスは、図１４のステップ１４４５に進む。しかし、計算されたグリッド点と下にあるキャプチャされた画像との間の差異が存在すると判断された場合には、プロセスはステップ１５３０に進む。
【００７７】
ステップ１５３０において、較正マトリックスＣＴが、上で議論されたように計算され、プロセスはステップ１５３５に進む。ステップ１５３５において、画像ピックアップシステムからのキャプチャされた画像が、較正マトリックスＣＴの歪み係数を用いて修正され、例えば、図１７Ｂで示すように再生し、表示すべき画像を生成する。図１７Ｂに示すように、歪み係数修正後のグリッド点が、キャプチャされた画像に重ね合わせて示される。修正ステップ１５３０の完了に際して、プロセスは、図１４のステップ１４４５に進む。
【００７８】
ステップ１４４５において、患者の位置情報が受信される。非限定的な例を示すことにより、上に記載されたように、処置を施すべき領域上あるいはその領域の近傍の複数の点のそれぞれに対する位置情報は、各点における円錐状皮膚基準にユーザが短く触れることにより、登録することができる。全ての患者の位置情報点が登録されて、ステップ１４４５において受信されると、プロセスは、ステップ１４５０に進む。ステップ１４５０において、モデル画像が、患者の位置情報に対し、較正され、プロセスは、ステップ１４５５に進む。ステップ１４５５において、較正マトリックスＣＴに対する較正パラメータが記憶され、ステップ１４６０において、較正が完了し、貫通デバイスが実施可能状態にあるというメッセージが表示される。
【００７９】
本発明の別の一側面によれば、異なるコードセグメントを含むコードが、少なくとも１つのコンピュータ可読媒体上に、例えば、図１４及び図１５で示す非限定的プロセスを実行するために、提供される。コードセグメントを含むコードは、前記少なくとも１つのコンピュータ可読媒体から、直接間接を問わず、例えば、ホストデバイス９５０へ転送することができる。代替的に、コードセグメントを含むコードは、直接間接を問わず、例えば、ホストデバイス９５０に、ワイヤあるいは無線通信を通じて、伝達することができる。コンピュータ可読媒体は、コンピュータデバイスに、図１４及び図１５に図解するプロセスの各ステップを実行させるコードセグメントを含むことができる。例えば、非限定的コンピュータ可読媒体は、コンピュータデバイスに予備的処理画像、例えば、ＣＴスキャンあるいはＭＲＩ画像、または同種のものを受信させ、モデル画像を発展させる三次元画像進行コードセグメントを含むことができる。
【００８０】
患者支持メカニズム、例えば、手術テーブル、または同種のものに、意図された処置に対して自動的に位置させる患者姿勢コードセグメントを、提供することができる。代替的に、患者姿勢コードセグメントは、意図された処置には、患者にはどのような姿勢が最適であるかを特定するメッセージを表示させることができる。
【００８１】
自動化デバイス、例えば、ロボットのデバイスに対して、貫通するデバイスにセンサをインストールするあるいは取り付けさせるセンサインストールコードセグメントを、提供することができる。代替的に、センサインストールコードセグメントは、コンピュータデバイスに、例えばグラフユーザインターフェースを通じて、意図された処置、使用する設備の種類、ユーザの技能のレベル、および同種のものに基づいて、ユーザに、センサを貫通するデバイスないし患者にインストールするあるいは取り付ける最適位置を指示させることができる。
【００８２】
コンピュータ制御画像ピックアップシステム支持メカニズムに、較正デバイスが画像ピックアップシステムの画像ピックアップのフィールド内にくるように位置させる位置画像ピックアップシステムコードセグメントを、提供することができる。代替的に、位置画像ピックアップシステムコードセグメントは、コンピュータデバイスに、例えば、貫通するデバイスが適切に較正されるように、最適な位置に配置するように指示させることができる。指示は、当業者がすぐに認識するように、本発明の概念ないし精神から逸脱することなく、ユーザに貫通するデバイスを、例えば、意図された処置、使用する設備の種類、ユーザの技能のレベル、および同種のものに基づいて、上下左右に、遠く近くに、ピッチアップ、ピッチダウン、ピッチライト、ピッチレフト、時計回り回転、ないし反時計回り回転と、移動させるように指示する音声あるいは表示コマンドを含むことができる。
【００８３】
コンピュータデバイスに、１つ以上の較正デバイスの空間的位置を決定させる較正デバイスの感知位置コードセグメントを、提供することができる。較正デバイスの感知位置コードセグメントは、前記較正デバイス三次元の座標をもたらすことができる。
【００８４】
貫通するデバイスの画像ピックアップシステムに、較正デバイスの画像をキャプチャさせる、あるいは記録させる、あるいは、コンピュータデバイスに、画像ピックアップシステムに画像をキャプチャするように、あるいは記録するように指示させる記録較正画像コードセグメントを、提供することができる。
【００８５】
コンピュータデバイスに、画像ピックアップシステムにより、前もってセットされた数の画像がキャプチャされたか否かを判断させる、画像数判断コードセグメントを、提供することができる。
【００８６】
コンピュータデバイスに、キャプチャされた画像をキャプチャ画像処理モジュールに読み込ませるキャプチャ画像読み込みコードセグメントを、提供することができる。
【００８７】
コンピュータデバイスに、較正デバイス上の点を選択させる、点選択コードセグメントを、提供することができる。コンピュータデバイスに、較正デバイス上で選択された数の点が選択されたか否かを判断させる、点の数決定コードセグメントを、提供することができる。
【００８８】
コンピュータデバイスに、較正デバイス上の少なくとも１つのグリッド点を計算させ、前記較正デバイスの画像に重ね合わせて、グリッド点を表示させる、グリッド点計算コードセグメントを、提供することができる。
【００８９】
コンピュータデバイスに、グリッド点及び較正デバイスの画像間に所定のしきい値以上の差異が存在するか否かを判断させる、グリッド点差異判断コードセグメントを、提供することができる。
【００９０】
コンピュータデバイスに、特定の貫通するデバイスに対する較正マトリックスを計算させる、較正マトリックス計算コードセグメントを、提供することができる。コンピュータデバイスに、貫通するデバイスの固有のないし外部の発現を修正させる、歪み係数修正コードセグメントを、提供することができる。
【００９１】
コンピュータデバイスに、患者位置、例えば、三次元の位置を正確に決定するために患者の位置情報を受信させる、患者位置情報受信コードセグメントを提供することができる。
【００９２】
コンピュータデバイスに、較正パラメータを蓄積させる、較正パラメータ蓄積コードセグメントを提供することができる。また、コンピュータデバイスに、ユーザに対する較正が完了したメッセージを表示させる、較正終了表示コードセグメントを提供することができる。
【００９３】
本明細書は、特定の実施形態で実装できる部品及び機能を特定の標準及びプロトコルを参照して記載しているのであるが、本発明は、そのような標準及びプロトコルに限定していない。各標準、プロトコル及び言語は、技術水準の例の表現を意味する。そのような標準は、周期的に、本質的に同一の機能を有する、より速いあるいはより効率的な同等物に取って代わられる。したがって、同一のあるいは同様の関数を有する置換標準及びプロトコルは、その同等物と見なされる。
【００９４】
ここに記載された実施形態の説明図は、種々の実施形態の構造の一般的な理解をもたらすことを意図したものである。説明図は、ここに記載された構造あるいは方法を利用する全ての要素及び装置及びシステムの特徴の完全な記述としての機能を果たすことを意図したものではない。多くの他の実施形態が、本開示を検討する当業者には明白であろう。他の実施形態は、利用することができ、開示から導くことができるような構造的及び論理的な代替及び変更が、本開示の概念及び精神から逸脱することなく可能である。さらに、説明図は、説明的な表現であって、正確な縮尺で描かれているものではない。説明図の範囲内である程度の誇張がなされているが、その他では、最小になっている。したがって、開示及び図面は、制限的よりむしろ説明に役立つものであると見ることができる。
【００９５】
本開示の１つ以上の実施形態が、個別にないし集合的に、単に利便性のために、いかなる特定の発明あるいは独創的な概念への応用の範囲を自発的に制限する意図することなしに、ここでは、「発明」という用語で言及することができる。さらに、ここに特定の実施形態が図解され、記載されてきたのではあるが、いかなる後に来る、同一のあるいは同様の目的を達成するために設計された配列も、特定の実施形態を置き換えることができることを認識するべきである。本開示は、後に来る種々の実施形態のいかなる及び全ての翻案あるいは変形をもカバーすることを意図している。上の実施形態の組み合わせ、及びここに特に記載されない他の実施形態は、この明細書を検討する当業者には明白であろう。
【００９６】
なお、要約書は、請求項の解釈や制限に使用されることを意図するものではない。また、上述の詳細な説明において、開示の合理化の目的のために、種々の特徴をグループ化し、あるいは単一の実施例に含まれるものとして記載している場合がある。本開示は、各実施例が、各請求項に明示的に述べられた以上の特徴を必要としていると解釈すべきものではない。むしろ、請求項に反映されているように、独創的な主題が、各実施例が有する特徴のすべてより、少ないものを指している可能性がある。すなわち、各請求項において別々に定義された主題は、それ自体が、独立した発明の主題である。
【００９７】
上の開示された主題は、説明的なものとみなすべきで、制限的なものではない。また、付加された請求項は、全てのそのような修正、強化、現在の開示の真実の精神及び範囲内の他の実施形態をカバーすることを意図する。したがって、次の請求項の最も広く許容される解釈により、法律により許容される最大範囲まで、本発明の範囲があると判断される。また、上述の詳細な説明により制限される、あるいは限定されるべきではない。
【００９８】
いくつかの典型的な実施例が記載されてきたのではあるが、使用されてきた単語は、制限するための単語というより明細書及び説明図の単語であることを理解されたい。たとえば、スコープの一種としての内視鏡という用語が、実施例においては用いられているが、これは、スコープという用語を内視鏡に限定するという意図で用いられているのではない。本開示の範囲及び精神から逸脱することなく、種々の変更をすることができる。明細書は、特定の手段、材料及び実施形態に言及しているが、本発明は、開示された特定のものに限定することを意図するものではない。むしろ、特許請求の範囲内にある全ての機能上の同等な構造、方法、使用を含む。
【図面の簡単な説明】
【００９９】
【図１】図１は、既知の硬性内視鏡ナビゲーションシステムの説明図である。
【図２】図２は、本発明の実施例で使用することができるファイバースコープ端部の説明図である。
【図３】図３は、本発明の実施例における、内視鏡ナビゲーションシステムの説明図である。
【図４】図４は、本発明の実施例における、図３の要素を考慮に入れた座標システムのダイアグラムである。
【図５】図５は、図３の説明図のさらに詳細な表現である。考慮に入れる座標システムを含んでいる。
【図６】図６は、本発明の実施例における、使用することができる内視鏡端部の例である。
【図７】図７は、本発明の実施例における、対象物の画像ピックアップを図解するダイアグラムである。
【図８】図８は、画像ピックアップデバイス面への対象物の投影を図解する説明的ダイアグラムである。
【図９】図９は、本発明の実施例における実施形態の実施の説明図である。
【図１０】図面１０Ａ−１０Ｄは、本発明の実施例における、使用可能な２つのセンサを有する較正デバイスの例の説明図である。
【図１１】図面１１Ａ−１１Ｂは、本発明の実施例における、使用可能な２つのセンサを有する較正デバイスの代替の例の説明図である。
【図１２】図面１２Ａ−１２Ｄは、本発明の実施例における、使用可能な単一のセンサを有する較正デバイスの例の説明図である。
【図１３】図面１３Ａ−１３Ｂは、本発明の実施例における、使用可能な単一のセンサを有する較正デバイスの代替例の説明図である。
【図１４】図１４は、本発明の実施例における、内視鏡のナビゲーションを実施するプロセスの実施形態である。
【図１５】図１５は、本発明の実施例における、歪みを訂正するプロセスの実施形態である。
【図１６】図１６Ａ−１６Ｄは、本発明の実施例における、較正デバイスのキャプチャされた画像上のグリッド点選択の例である。
【図１７Ａ】図面１７Ａは、本発明の実施例における、計算されたグリッド点が、歪みを引き起こすことができる説明的な例である。
【図１７Ｂ】図１７Ｂは、歪みの修正が実行される、歪みの修正が実行される説明的な例である。
【技術分野】
【０００１】
本発明は、スコープナビゲーションシステム及び画像ピックアップ較正システムに関する。特に、本発明は、正確にスコープをナビゲートし、画像ピックアップデバイスをスコープナビゲーションシステムのために較正する装置、方法及びコンピュータコード製品に関連する。
【背景技術】
【０００２】
臨床医、研究者などのユーザが、生命体の内側を驚くほど鮮明に見ることができるような画像化システムが普及してくるとともに、侵襲性が非常に低い医療処置が、あたりまえのものになってきた。スコープの種類の１つである内視鏡を、ユーザは頼りにするようになってきており、医療処置の施行における、第１線の道具となっている。内視鏡は、研究、評価、診断や挿入などの医療処置において侵襲性が最小であることが望ましく、また、必要なことである。
【０００３】
内視鏡は、科学コミュニティー全体に広く見られるようになった。例えば、診療所、手術室、医者のオフィスなどに、最も広がっている。内視鏡ユビキタス性の１つの理由は、侵襲性が最低限である診断の及び外科の医療処置を容易にすることである。内視鏡は、典型的には、例えば、人間の体の内部の表面を評価するのに使用されている。内視鏡は、通常、ユーザにより遠隔操作することができる診断や外科手術の器具に増設することができる。
【０００４】
現代の内視鏡は、少なくとも２つのグループ、例えば、硬性内視鏡と可撓性内視鏡に分類することができる。典型的な内視鏡は、硬性内視鏡であっても、あるいは可撓性内視鏡であっても、例えば、臓器など検査する対象物を照射する光送達システムと、対象の画像を投影するためのレンズあるいはレンズシステムと、検査の対象物の投影された画像を記録するための、電荷結合素子（ＣＣＤ）などの画像ピックアップ（撮像）デバイスと、画像ピックアップデバイスから画像信号を受信し、画像信号を人間に知覚できる表示画像に変換する処理装置と、前記知覚できる画像を表示するディスプレイと、を含んでいる。
【０００５】
現在の硬性内視鏡は、可撓性内視鏡と比較すると、堅い挿入部分を用いる点、レンズシステムを通して画像を伝達する点で相違している。典型的には、光学的センサが、硬性内視鏡のハンドルに取り付けられる。一方、可撓性内視鏡は、柔軟な挿入部分を用い、典型的には、例えば、ファイバースコープなどの柔軟なシステムを通して画像を伝達する。一般に、光学的センサは、可撓性内視鏡の先端部分に配置される。
【０００６】
内視鏡の人気が高まり医療処置においてあたりまえのものになるにつれて、内視鏡のハードウェア及びソフトウェア設備の複雑さもまた大きくなってきた。特に、ピックアップされた画像の品質及び鮮明度が改善されてきたので、ユーザは、正確に医療診断や外科手術処置を施す場合に、今まで以上に、内視鏡に依存することとなった。その結果として、種々の座標システム間の相互作用とともに、例えば、ミクロレベルでのビデオカメラ及びその実装に関連する、システムの不完全性を修正する種々の方法論が開発されてきた。
【０００７】
普通に使用されるカメラ較正の方法は、DLT(Direct Linear Transform)法、R.Y.Tsaiの方法、及び、Z.Zhangの方法の３つである。この３つのうち、Tsaiの法が、最も古く、その効率的な注目に値する性能のために、コンピュータビジョンシステムに、最も広く使用されている。C、C++及び他のハイレベルのコンピュータ言語を用いた多数のTsaiの較正方法の実装が存在する。Tsaiの方法は、内部カメラの幾何学的及び光学的特性の不完全性（固有パラメータ）や、あるワールド座標システムに相対的なカメラフレームの三次元の位置及び向き（外部パラメータ）の結果生ずるエラーを修正するのに使用されてきた。
【０００８】
スコープをナビゲートするのに、ユーザを補助する際にカメラ較正を行い、種々の座標システムを考慮に入れるスコープシステムは、拡張現実感（ＡＲ）システムと呼ばれることがある。ＡＲシステムは、典型的には、最終的にオペレータに表示したスコープの画像が、その位置的側面及びその時間側面の両方の意味において正確に描写されたものである点において、表示ベースであるということができる。
【０００９】
スコープのオペレータによる手と眼との協調を容易にするために、表示ベースのＡＲ技術は、三次元（３Ｄ）位置センサスコープ追跡技術と組み合わされて、スコープによって感知された領域の表示画像を見ながら、ユーザが正確に内視鏡の動きを追跡することができるようにしてきた。しかしながら、ここでスコープの重大な制限が、ＡＲベースの内視鏡についても残ったままである。即ち、スコープによりピックアップされた画像の座標システムは、オペレータにより認識されている座標システムとの関係が不明確であるということである。例えば、ユーザが、外部モニタ上に表示される画像を眼で見ながら、手でスコープを操作する場合には、手と眼との協調のために、座標の関係が問題となる。
【００１０】
特許文献１には、内視鏡観察システムに存在する種々の座標システムに対して補償するＡＲベースの内視鏡について記載されている。図１に図解するように、特許文献１には、内視鏡にピックアップされた対応する画像を見ながら、ユーザが内視鏡を実時間で正確にナビゲートできるようにする内視鏡観察位置検出及び標示システムが記載されている。既知のナビゲーションシステムは、内視鏡１の観察位置を検出する。システムは、信号線９を通じて光学的検出器８から及び信号線６を通じてセンサム５から受信した、内視鏡１の観察位置を検出する信号を処理することにより、内視鏡観察位置を計算するために、計算デバイス７を採用している。モニタ１０は、ビデオカメラ４によりピックアップされた画像を表示する。ビデオカメラ４及びセンサム５は、支持アーム２及びガイド３により支えられている。したがって、例えば、検出器８及びビデオカメラ４に取り付けられた光学的センサを用いて、既知のシステムは、カメラの位置を追跡することが可能である。しかしながら、図１に示された光学的ナビゲーションシステムは、ハンドルに取り付けられた光学的センサを採用するものであり、末端部分が曲っている可撓性内視鏡に対しては機能しない。なお、可撓性内視鏡の例としては、例えば、特許文献２に記載のものがある。
【特許文献１】特開２００１−１８７０６７
【特許文献２】米国特許第６，８４６，２８６号
【発明の開示】
【発明が解決しようとする課題】
【００１１】
可撓性スコープでは、磁気センサを、例えばスコープ鉗子チャンネルを通して挿入する、あるいは図２に示すようにセンサをスコープの末端部分に構築するのが通常であった。しかしながら、スコープの光学的軸とセンサの中央軸との間のオフセットにより、スコープによりピックアップされた実際の画像とセンサにより感知された画像の位置との間の配列ミスが生じる。
【００１２】
本発明は、較正デバイスとピックアップされたスコープ画像との間の三次元の関係を明確に与えることを目的とするものである。
【課題を解決するための手段】
【００１３】
本発明は、前記の目標を達成するために、スコープナビゲーション装置を提供する。スコープナビゲーション装置は、対象物に挿入されるスコープを含んでおり、前記スコープは、１つ以上の画像ピックアップデバイスを含み、１つ以上のセンサが、１つ以上の画像ピックアップデバイスの光学的軸からオフセットした中央軸を持つ。１つ以上のセンサは、スコープのチャンネルに挿入することができ、あるいは、スコープの一部分になることもできる。
【００１４】
装置は、また、較正デバイス及び前記較正デバイスに対して固定的な位置におかれた、１つ以上の較正デバイスセンサを含む。１つ以上の画像ピックアップデバイスが、少なくとも１つの前記較正デバイスの画像を記録する。１つ以上のセンサの位置及び１つ以上の較正デバイスセンサの位置を感知する、位置決定要素が、提供される。位置決定要素は、センサインターフェース部とシステム制御部とを含むことができる。センサインターフェース部は、１つ以上のセンサの位置及び１つ以上の較正デバイスセンサの位置を感知する。電磁場を生成するフィールド発生器が、提供され、位置決定要素は、その電磁場に基づいて、前記少なくとも１つのセンサの位置及び１つ以上の較正デバイスセンサの位置を感知する。較正デバイスは、フィールド発生器に相対的に固定して配置することができる。さらに、前記較正デバイスは、市松模様、ドットパターンあるいはグリッドパターン少なくとも１つのパターンであることができる。
【００１５】
装置は、さらに、１つ以上のセンサの位置及び１つ以上の較正デバイスセンサの位置に基づいて、１つ以上の画像ピックアップデバイスにより記録された前記少なくとも１つの画像を修正する処理装置を含む。１つ以上の画像ピックアップデバイスにより出力されるビデオ信号を処理するビデオ処理装置が、提供される。１つ以上の画像ピックアップデバイスにより出力されるビデオ信号を処理できるホストデバイスが、（ビデオ処理装置に加えて、あるいは、ビデオ処理装置に代えて）提供される。ホストデバイスないしビデオ処理装置は、１つ以上の画像ピックアップデバイスにより記録された前記少なくとも１つの画像を修正する。
【００１６】
本発明は、また、表示すべき画像の較正及び修正の方法を提供するものである。前記方法は、較正デバイスの画像を記録するプロセスを含む。前記較正デバイスは、少なくとも１つの較正デバイスセンサに対して固定位置に置かれる。画像ピックアップデバイスの光学的軸を決定するプロセスが、さらに提供される。画像ピックアップデバイスは、少なくとも１つのセンサを含む。前記少なくとも１つの較正デバイスセンサの位置及び少なくとも１つの他のセンサの位置を検出するプロセスが、さらに提供される。また、画像ピックアップデバイスの較正のためのパラメータ値を決定するプロセスが、提供される。
【００１７】
パラメータ値を決定するプロセスは、記録された画像上の第１の点を選択するプロセスと、選択された第１の点に基づいて第１の決定点を計算するプロセスとを含む。前記決定するプロセスは、また、選択された点と第１の決定点との間の差の値を決定するプロセス、及び差の値を、しきい値と比較するプロセスを含む。差の値を、しきい値より大きいか、あるいは、しきい値に等しくなるように決定するプロセスが提供される。そして、画像ピックアップデバイスを較正するための較正マトリックスを計算するプロセスが提供される。パラメータ値を決定するプロセスは、第１の点を原点として設定し、少なくとも、時計回り方向及び反時計回り方向の１つにおいて、第２の点を選択するプロセスを含むことができる。
【００１８】
さらに、前記少なくとも１つのセンサの中央軸と画像ピックアップデバイスの光学的軸との間のオフセットを補償するプロセスが提供される。前記パラメータ値に基づいて記録された画像を較正するプロセスが、提供される。前記較正するプロセスは、５自由度、６自由度、あるいは、両方の組み合わせに基づくことができる。較正マトリックスは、少なくとも１つの固有パラメータ及び少なくとも１つの外部パラメータを有することができる。さらに、前記較正マトリックスは、前記較正デバイスの三次元の座標システムと画像ピックアップデバイスの二次元の座標システムとの間の関係に基づくことができる。
【００１９】
本発明は、また、較正デバイスの画像の記録を生起する画像を記録する画像記録コードセグメントを含むコンピュータ可読な媒体を提供する。前記較正デバイスは少なくとも１つの較正デバイスセンサに対して固定位置に配置される。前記媒体は、画像ピックアップデバイスの光学的軸の決定を生起する決定コードセグメントを含む。前記画像ピックアップデバイスは、少なくとも１つのセンサを含む。前記媒体は、前記少なくとも１つのセンサの位置及び前記少なくとも１つの他のセンサの位置の検出を行わせる検出コードセグメントを含む。さらに、前記媒体は、画像ピックアップデバイスを較正するためのパラメータ値の決定を行わせるパラメータ決定コードセグメントを含む。さらに、前記媒体は、前記少なくとも１つのセンサの中央軸と画像ピックアップデバイスの光学的軸との間のオフセットの補償を行わせる補償コードセグメントを含む。さらに、前記媒体は、パラメータ値に基づく画像ピックアップデバイスの較正を行わせる較正コードセグメントを含む。
【００２０】
決定コードセグメントに対して、記録された画像上の第１の点の選択を行わせる点選択コードセグメントと、選択された第１の点に基づいて、第１の決定点の計算を行わせる決定点計算コードセグメントと、選択された点と第１の決定点との間の差の値の決定を行わせる差の値決定コードセグメントと、差の値としきい値との比較を行わせる差の値比較コードセグメントとを提供することができる。
【００２１】
前記コンピュータ可読な媒体は、差の値を、しきい値より大きいか、あるいは、しきい値に等しくなるように決定することを行わせる差の値決定コードセグメントと、画像ピックアップデバイスを較正するための較正マトリックスの計算を行わせる較正マトリックスコードセグメントとを含むことができる。前記較正は、少なくとも５自由度及び６自由度で行うことができ、前記較正マトリックスは、少なくとも１つの固有パラメータ及び少なくとも１つの外部パラメータを含む。さらに、前記較正マトリックスは、前記較正デバイスの三次元の座標システムと画像ピックアップデバイスの二次元の座標システムとの間の関係に基づくことができる。
【００２２】
他の典型的な実施形態及び本発明の優位性は、本開示添付の図面をレビューすることにより確認することができる。上の記述は、本開示の範囲を制限するものであると考えてはならない。
【発明を実施するための最良の形態】
【００２３】
本開示は、以下に、図面を参照して、詳細に記述される。ここで、同じ参照番号は、いくつかの図面を通して、同様の部分を意味する。ここに示される特定の実施例は、例としてあげたものであり、本発明の実施形態の説明に役立てることのみを目的とするものであり、本発明の原理及び概念的側面についての最も有用ですぐに理解できる記述と信じられるものを提供するために提示される。この点に関して、本発明の構造的詳細を、本発明の基本的理解のために必要な分以上に詳細に示すことはしていない。図面を用いた記述は、本発明のいつくかの形が、実際の実施形態となり得ることについて、当業者に対して明確にするものである。
【００２４】
Tsaiの方法によると、カメラは、例えば、内部カメラの幾何学的及び光学的特性（固有パラメータ）あるいはカメラフレームのあるワールド座標システム（外部パラメータ）に対する三次元位置及び向きの結果として生じた歪みを修正するように較正することができる。固有パラメータは、典型的には、カメラ中心の座標の組と画像中心の座標の組との間の関係に関連し、カメラが周囲の外部環境でどのような向きであるかに関連する外部パラメータは、周囲の環境の座標システムと、カメラ座標システムとの間の関係として決定される。
【００２５】
図３で示される典型的な実施形態において、例えば、神経上皮性の処置などの処置を受ける患者３００は、手術室の外科手術テーブルなどの固定面に配置される。患者は、あおむけになった姿勢、うつぶせの姿勢、横向きの姿勢などの、施される処置の種類に適切などのような姿勢にも、位置することができる。ＣＴスキャンとして広く知られている（また、コンピュータ体軸断層撮影（ＣＡＴ）スキャンとしても知られている）コンピュータ断層撮影（ＣＴ）の画像は、患者領域（この例では、患者の頭部）から採取され、意図された処置に先立って記録される。表示領域３０５ａ、３０５ｂ、３０５ｃ及び３０５ｄを含むディスプレイ３０５が、必要な画像をユーザに伝達するために提供される。それ以前に記録されたＣＴ画像、あるいはモデル画像が、内視鏡３１０にピックアップされたリアルタイム画像３０５ｂと平行して、表示領域３０５に表示される。グラフィックユーザインターフェース領域３０５ｄが、ユーザが、容易に、光強度、画像プロセスなど、および同種のシステムパラメータを制御することができるように提供される。表示領域３０５ｃが、例えば、処置を受ける患者の領域の一般的断層撮影マップを表示するために、提供される。図３の説明図において、患者の脳の典型的なＣＴ画像が示されている。
【００２６】
モデル画像３０５は、ＣＴスキャン、磁気共鳴画像（ＭＲＩ）、（例えば、線形断層撮影法、ポリ断層撮影法、狭角断層撮影法、あるいはＸ線パノラマ撮影などの）断層画像、あるいは超音波画像や、同種のものから生成されたものではあるが、これらは同様に使用することができる。表示モデル画像は、医療画像表示の従来技術による周知の方法で表示される。
【００２７】
さらに、ディスプレイ３０５は、人間が知覚できる画像を生成する能力があるどのようなディスプレイ装置であってもよい。例えば、投影ディスプレイ装置、ホログラフィックディスプレイ、マイクロミラーディスプレイ、プラズマディスプレイ（ＰＤＰ）、カソードレイチューブディスプレイ（ＣＲＴ）、発光ダイオードディスプレイ（ＬＥＤ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）、表面電界ディスプレイ（ＳＥＤ）、カーボンナノチューブ、ナノ結晶ディスプレイ、または同種のものである。それらは、本発明の概念ないし精神から逸脱することなく、用いることができる。しかし、これらの例に、限定されない。さらに、ディスプレイの筐体は、静止したデバイスには、限定されない。例えば、頭部搭載表示システムを通じてユーザに取り付けられるディスプレイ装置などの持ち運び可能デバイスであってもよい。あるいは、処置を受けようとする患者の領域に、あるいは、患者と臨床医との間に配置されたハーフミラー上に、オペレータが、患者の領域に重ね合わせて投影された画像を見ながら、すぐに容易にその下にある領域を知覚できるように、画像を正確に重ね合わせて予備的処理画像の高精細度の画像を投影する投影デバイスであってもよい。
【００２８】
典型的な内視鏡３１０は、人間の体の中を操作しているときに、先端部分を曲げることができる、可撓性内視鏡である。２００５年１月２５日に発行された米国特許第６、８４６、２８６号（特許文献２）には、本発明の一側面による実施形態に使用することができる可撓性内視鏡が記載されている。図３に示す内視鏡は、図６において、より大きいスケールで示されているが、光学的システム、少なくとも１つのセンサ、及び光投影システムを含んでいる。内視鏡は、最初に、内視鏡を位置合わせすることにより、市松模様３１５が、内視鏡の画像ピックアップシステムの光学的視野に入るように較正される。デバイス３１５は、市松模様を含み、２つの電磁気マーカ３１５ａ及び３１５ｂを含む。市松模様の１つ以上の画像フレームが、内視鏡３１０の画像ピックアップシステムにより選択され、画像ピックアップデバイスを較正するのに使用される。次に、例えば、ＭＡＴＬＡＢＲツールボックスを通じて、Tsaiの較正方法を用い内視鏡が較正される。
【００２９】
本発明の好適な実施形態が、Tsaiの較正アルゴリズムを実行するために、MATLABRツールボックスを用いるものとして、記載されるのではあるが、当業者は、どのような他のソフトウェアツールボックスでも、どのような較正方法を組みにしても使用するできること、あるいは例えば、直接線形変換（ＤＬＴ）、Z.Zhang、あるいは画像ピックアップシステムを効果的に及び正確に較正する能力があるいかなる他の方法を含むそれらの組み合わせを使用することができることをすぐに認識するであろう。さらに、ソフトウェアツールボックスは、必要な較正アルゴリズムを効果的に実行する能力があるいかなる他の高レベルコンピュータプログラミング言語をMATLABRの代わりに含むことができる。例えば、Java、C/C++、オブジェクト指向パスカル、パール、あるいは本発明の一側面を実行する能力があるいかなる他の言語を含むことができる。本発明の概念ないし精神から逸脱することなく、それらを含むことができるが、しかし、これらの例に、限定されない。
【００３０】
内視鏡先端の位置的情報は、先端に組み込まれたセンサの三次元位置を感知する電磁気（ＥＭ）発生器３２０により感知される。ＥＭ発生器３２０は、統合化電磁気追跡システムである。例えば、NDIAURORAR電磁気追跡システム（ノーザンディジタル会社）あるいはMicroBIRD追跡システム（アセンジョンテクノロジー社製造）などである。しかしながら、当業者は、正確な位置決定の能力があるいかなる他の非光学的追跡システムでも、本発明の概念ないし精神から逸脱することなく、等しく使用することができることをすぐに認識するであろう。
【００３１】
図４に示すように、ディスプレイ３０５に表示されるＣＴスキャンモデル画像は、例えば、ΣＭＯＤＥＬ（ｘＭＯＤＥＬ、ｙＭＯＤＥＬ、ｚＭＯＤＥＬ）座標システムの空間的座標を有する（以下、記号「Σ」は、ｎ次元座標システムを意味する。ここで、ｎは、０以上の整数である）。患者３００は、例えば、側臥位で、座標システムΣＰＡＴＩＥＮＴ（ｘＰＡＴＩＥＮＴ、ｙＰＡＴＩＥＮＴ、ｚＰＡＴＩＥＮＴ）において空間座標を有する水平面上に、位置する。ＥＭ発生器３２０は、座標システムΣＥＭ（ｘＥＭ，ｙＥＭ，ｚＥＭ）において空間座標を有する。内視鏡によりピックアップされた画像は、座標システムΣＩＭＡＧＥ（ｘＩＭＡＧＥ，ｙＩＭＡＧＥ）において座標を有する。図４の矢印により示されるように、座標システムΣＭＯＤＥＬ、ΣＰＡＴＩＥＮＴ及びΣＥＭの間の関係は、従来の方法によりすぐに決定可能である。しかしながら、ΣＩＭＡＧＥ座標システム及びΣＭＯＤＥＬとΣＥＭのどちらかの座標システムの間の関係は、知られておらず、正確に決定されなければならない。典型的な実施形態の説明を単純にする目的のために、ΣＥＭ座標システムが、ΣＷＯＲＬＤを意味すると仮定することができる。現実のワールド座標システムは、内視鏡３１０のユーザが、オペレータが内視鏡デバイスを操作するときに、（例えば、手と眼との協調を通して）知覚するものである。
【００３２】
図５は、内視鏡システムを正確に較正するために施される必要な変換を含む、示された種々の座標システムを有する図３の典型的な実施形態を示す。図５に示すように、市松模様は、三次元座標システムΣＣＨＡＲＴを有する。チャート座標システム（ΣＣＨＡＲＴ）を有する内視鏡によりピックアップされた画像の座標システム（ΣＩＭＡＧＥ）を適切に登録するために、画像座標システムは、較正マトリックスＣＴを用いて、較正される。較正マトリックスＣＴは、以下に記載されるように、固有の及び外部の較正パラメータの両方を含む。マトリックスＣＴは、チャートの座標システムと内視鏡に感知された画像の座標システムとの間の関係を定義する。
【００３３】
図６に関して、内視鏡先端６００は、ＥＭセンサ６０５、光学的画像ピックアップシステム６１５、及び照明システム６２０を含む。ＥＭ発生器３２０（図５に示す）は、センサ６０５の位置を感知し、内視鏡先端６００の空間座標システムを決定する。内視鏡先端６００は、現実のワールド座標システム（ΣＷＯＲＬＤ）で機能し、座標システムΣＷＯＲＬＤを有する。これは、実質的にＥＭ発生器３２０により感知されるＥＭ座標システム（ΣＥＭ）に等しい。図６に図解するように、センサ６０５は、画像ピックアップシステム６１５の光学的軸からオフセットしている。画像ピックアップシステムの光学的軸からの、センサの当該位置的オフセットは、固有の及び外部のエラーの両方を導くが、以下に記載される本発明の非限定的一側面により修正される。
【００３４】
位置センサは、少なくとも１つのＥＭセンサを用いるものとして記載されてきたのではあるが、他の種類のセンサシステムも、内視鏡先端ないし内視鏡チューブの位置を検出するための、使用することができる。例えば、超音波センサ、赤外線センサ、または同様のものを、本発明の概念ないし精神から逸脱することなく、用いることができる。
【００３５】
図５に示すように、患者の座標システム（ΣＰＡＴＩＥＮＴ）とＥＭ座標システム（ΣＥＭ）との間の関係が、センサ６０５（図６で示す）の空間座標を含めて、決定され、変換マトリックスＴＰＡＴＩＥＮＴ−ＥＭにより、表される。ＴＰＡＴＩＥＮＴ−ＥＭの関係は、多数の異なる方法のどの１つでも決定することができる。例えば、当該関係は、ユーザに、内視鏡先端６００を用いて、患者の処置が施される領域に短く触れさせることによって、決定することができる。例えば、ユーザは、正確な測定値を得るために、短く多数の皮膚基準点（conical skin fiducials）に触れる。ＥＭ発生器は、患者が触れられる位置を対応する座標システム（ΣＰＡＴＩＥＮＴ）を含めて記録する。
【００３６】
代替的に、あるいは上に記載された複数の皮膚基準点(conical skin fiducials)の登録手続きに加えて、多数の電磁気追跡（マーカ）センサを、患者に取り付けることができる。追跡センサは、連続的及び実時間の患者の姿勢情報を、ＥＭ発生器３２０に提供する。これにより、ＥＭ発生器は、患者の座標（ΣＰＡＴＩＥＮＴ）を、患者が動いているときでも、正確に感知することができる。患者の皮膚基準点の他の登録方法論を、例えば、施す処置の種類、処置中の患者の姿勢は、患者が処置に覚醒したままであるかどうか、または同種のものに依存して、当業者がすぐに認識するように、本発明の概念ないし精神から逸脱することなく、採用することができる。
【００３７】
モデル画像（ΣＭＯＤＥＬ）の座標システムと患者（ΣＰＡＴＩＥＮＴ）の座標システムとの間のＴＭＯＤＥＬ−ＰＡＴＩＥＮＴの関係は、従来の方法では、上に記載された患者座標登録手続き中に、ＥＭ発生器により決定される。同じように、チャート（ΣＣＨＡＲＴ）の座標システムとＥＭ発生器（ΣＥＭ）の座標システムとの間のＴＣＨ−ＥＭの関係もまた、従来の方法にしたがって、決定される。
【００３８】
次に、図７に関して、内視鏡先端７００が、光学的画像ピックアップシステム７１５だけでなく、センサ７０５をも含むことが示される。センサ７０５は、座標システムΣＥＭを有する。続く記述を単純にするためである。しかし、センサ先端が、センサをいくつでも、照明システム、及びいかなる本発明の一側面を実施するのに必要な他のデバイス、例えば、米国特許第６，８４６，２８６号（特許文献２）に開示されたデバイスを本発明の概念ないし精神から逸脱することなく、含むことができることを当業者は、すぐに認識する。対象物７１０の画像は、座標システムΣＯＢＪＥＣＴを有する。これは、ΣＷＯＲＬＤと同一である。また、実質的にΣＥＭと同一である。対象物７１０の画像は、光学的画像ピックアップシステム７１５を通してＬ１及びＬ２として投影され、画像ピックアップシステム画像ピックアップ面７３０（下に記載）に投影される。対象物７１０のピックアップされた画像の投影は、座標システムΣＩＭＡＧＥを有する。
【００３９】
前記較正マトリックスＣＴ（図５に示す）の決定に使用されるＴｓａｉの較正方法の実装は、固有の及び外部のパラメータの両方を含めて、本発明一側面により、次に記載される。図８に関して、典型的な内視鏡、例えば、画像ピックアップセンサのための二次元の画像ピックアップ配列を有する電荷結合素子（ＣＣＤ）８３０などを用いる内視鏡は、二次元の座標Ｃ（ｕｃ，ｖｃ）を有する。ここで、ｚ軸は、光学的軸に沿っており、ｘ及びｙ軸は、互いに垂直であるとともに、光学的ｚ軸に垂直である。対象物８１０の点Ｍ８１１は、画像ピックアップシステムＣＣＤ８３０によりピックアップされるが、座標Ｍ（ＸＭ，ＹＭ，ＺＭ）を有する。画像ピックアップ中に、対象物点Ｍの画像が、例えば、内視鏡光学部品を通してＣＣＤ８３０へ投影され、座標（ｘｍ，ｙｍ）を有する点ｍ８１２におけるＣＣＤ面に影響を与える。内視鏡光学部品は、焦点距離ｆ及び歪み効果を有する。画像点ｍの座標と、対象物点Ｍの座標との間の関係は、次の方程式で表現することができる。
【数１】
【数２】
ここで、ｘｍ及びｙｍは、画像点ｍの点座標である。ｆは、対象物とＣＣＤとの間に位置する内視鏡光学的システムの焦点距離である。また、ＸＭ、ＹＭ、及びＺＭは、対象物点Ｍの点座標である。ＣＣＤ座標（ｕ，ｖ）は、次のように定義される。
【数３】
【数４】
ここで、ＷＰＩＸＥＬは、ピクセル幅、ＨＰＩＸＥＬは、ピクセル高さ、ｕｃは、画像ピックアップ面の光学的中心におけるｕピクセル座標、及びｖｃは、画像ピックアップ面の光学的中心におけるｖピクセル座標である。方程式［数１］及び［数２］を方程式［数３］及び［数４］と結合して、次の方程式が得られる。
【数５】
【数６】
【００４０】
上で言及したように、前記較正マトリックスＣＴは、固有のパラメータ及び外部パラメータの両方を含む。固有パラメータは、αｕ及びαｖに加えて、上で言及したｕｃ及びｖｃを含む。パラメータαｕ及びαｖは、次のように定義される。
【数７】
【数８】
外部パラメータは、回転パラメータＲ１、Ｒ２、及びＲ３、及び並進運動パラメータｔｘ、ｔｙ、及びｔｚを含む。外部パラメータは、外部向きに関連する。
【００４１】
ＣＴを推定するのに、線形アルゴリズムを用いて、画像ピックアップ面上の影響を受けた二次元画像点ｍ（ｕ，ｖ）と、三次元参照対象物点Ｍ（Ｘ，Ｙ，Ｚ）との間の線形関係が、次のように定義される。
【数９】
ここで、ｓは、スカラーファクター及びｑは実数である。したがって、ｑ３４は、１に等しくセットされる。ここで、ｓは、任意のスケールファクターにセットされる。したがって、上の方程式［数９］は、次のように書き換えることができる。
【数１０】
【数１１】
【００４２】
しかしながら、スケールファクターが、座標値Ｚを有し、αｕ及びαｖが、上の方程式［数７］及び［数８］のように定義される場合には、画像ピックアップ面上の影響を受ける画像点は、内視鏡マトリックスを対象物の座標に適用することにより、次のように、取り除くことができる。
【数１２】
代替的に、方程式［数１２］は、次の方程式で、表現することができる。
【数１３】
ここで、ｕは、画像ｍピクセル座標の均質ベクトルである。Ｐは、内視鏡マトリックスである。及び、Ｍは、対象物点Ｍのワールド座標の均質ベクトルである。一般に、ワールド座標は、その原点が光学的システムの中心にあるフレームでは、特定されない。しかし、考慮に入れるべき並進運動のオフセットを含むであろう。したがって、外部のオフセットパラメータを考慮に入れると、方程式［数１２］は、次のように修正することができる。
【数１４】
ここで、Ｒは、ΣＥＭとΣＩＭＡＧＥ座標システムとの間の変換のための全般的較正マトリックスＣＴの、回転マトリックス成分、及びＴは、平行移動マトリックス成分である。回旋及び平行移動は、実際のワールド座標システム（三次元を有する参照座標システム）で、それぞれ施されるので、結果として生じる変換は、６自由度を、有し、変換Ｒの回転の部分については３自由度を有する。変換Ｔの並進運動の部分については３自由度を有する。したがって、固有パラメータ及び外部パラメータを含む前記較正マトリックスＣＴは、次のように表現することができる。
【数１５】
ここで、回転のマトリックス成分Ｒは、ベクトル値(Ｒ１，Ｒ２，Ｒ３)Ｔを有する。また、並進運動のマトリックス成分Ｔは、値（ｔｘ，ｔｙ，ｔｚ）を有する。
【００４３】
したがって、Ｎ個の三次元ワールド点及びそれらの個別の座標から二次元の画像ピックアップ面上のＮ数の点を決定するときには、次の関係が得られる。ここで、Ｎは２以上の正の整数である。
【数１６】
【００４４】
一旦、前記較正マトリックスＣＴが決定されると、図５に表示される、６座標システム（ΣＭＯＤＥＬ、ΣＰＡＴＩＥＮＴ、ΣＥＭ、ΣＩＭＡＧＥ、ΣＣＨＡＲＴ及びΣＷＯＲＬＤ）の間の関係は、決定可能であり、次のように表現することができる。
【数１７】
【数１８】
【数１９】
【数２０】
【数２１】
【００４５】
図９は、本発明の一側面による、拡張現実感の内視鏡的処置を施すための実施形態を図解するものである。典型的な実施形態によれば、較正デバイス９１０は、内視鏡デバイス９２０を較正するために提供される。内視鏡デバイス９２０は、画像ピックアップシステム９３０に接続されている。センサ９１５は、前記較正デバイス９１０の付近で、前記較正デバイスに対していくつかの既知の位置に配置される。別のセンサ９２５は、内視鏡デバイス９２０に対していくつかの他の既知の位置に配置される。ビデオ処理装置９３５は、画像ピックアップシステム９３０及びコンピュータデバイス９５０に接続する。センサ９１５及び９２５はセンサインターフェース部９４０に、例えば、ワイヤ接続により接続する。センサインターフェース部９４０は、少なくとも１つのワイヤ及び無線接続を通して、システム制御部９４５に接続する。この開示で用いられる「少なくとも１つのワイヤ及び無線接続」という用語は、１つ以上のワイヤ接続あるいは１つ以上の無線接続と同様に、１つ以上のワイヤ接続及び１つ以上の無線接続、あるいはそれらのいかなる組み合わせをも意味する。システム制御部９４５は、コンピュータデバイス９５０に接続する。典型的な図９の種々のデバイスが、無線で相互接続しているように記述されているが、部品間での、ワイヤあるいは無線接続のいかなる組み合わせも、全ての無線、全てのワイヤ、あるいはそれらのいかなる組み合わせも可能であることを、当業者は認識するであろう。さらに、デバイスは、ワイヤあるいは無線のネットワークに接続することができる。例えば、局所領域ネットワーク、広域ネットワーク、インターネット、または同種のものに接続することができる。
【００４６】
較正デバイス９１０は、センサ３１５ａ及び３１５ｂがパターンの対角線の角に位置する市松模様を含むような図３及び図５で示すデバイスに限定されない。代わりに、前記較正デバイス９１０は、画像ピックアップ較正に適したいかなるパターンを有することができる。また、当業者がすぐに認識するであろうが、本発明の概念ないし精神から逸脱することなく、センサは、前記較正デバイスの空間的位置に関する正確な情報提供する能力があるどのような位置にも配置することができる。
【００４７】
例えば、図１０Ａ、１０Ｄ、１１Ａ、１１Ｂ、１２Ａ、１２Ｄ及び１３Ａ、１３Ｂで示すように、前記較正デバイスは、下に記載されるように任意数の非限定的パターン及びセンサ配列を有することができる。パターンにおいて、本発明の概念ないし精神から逸脱することなく、どのような色、あるいは色配列も、使用することができることは、当業者は、すぐに認識するであろう。さらに、いかなる非限定的パターンあるいはパターンの組み合わせをも使用することができる。例えば、三角形、長方形、ドット、円、正方形、三角形、六角形、八角形、あるいは二次元の面での反復パターンに生成するのに役立ついかなる他の二次元のダイアグラムも使用することができる。代替的に、あるいはさらに、非限定的三次元パターンが、使用できる。例えば、球体、シリンダ、ピラミッド、四面体、箱、三次元空間での反復パターンの生成に役立つような、あるいはいかなる他の三次元構造も使用することができる。
【００４８】
当業者がすぐに認識するであろうが、本発明の概念ないし精神から逸脱することなく、センサ９１５と９２５とは、アプリケーションに応じて、同一の種類であってもよいし、異なる種類であってもよい。センサ９１５と９２５とはいずれも、例えば、内視鏡９２０ないし前記較正デバイス９１０などの医療器具に組み込むことができる小型のセンサコイルであってもよい。センサは、５自由度（５ＤＯＦ）、あるいは、意図されたアプリケーションに依存して６自由度（６ＤＯＦ）をもつことができる。例えば、２つのセンサを、５自由度の直交構成で内視鏡に取り付けることができる。代替的に、単一センサを、内視鏡中に６自由度で提供こともできる。
【００４９】
センサは、器具に組み込んだり、器具に取り付けたり、あるいは、器具の動きに従って変化するようなある程度物理的に離れた位置に配置することができる。センサ９２５は、例えば図６に示すように内視鏡デバイス９２０に取り付けたり、あるいは一体化したりすることができる。代替的に、センサ９２５は、内視鏡デバイス９２０（図示せず）に外部から取り付ける、あるいは、内視鏡デバイスのチャンネルに挿入することができる。さらに、内視鏡デバイス９２０の端部は、連続的あるいは不連続的可変の電磁気の応答セグメントからなる１つ以上の円筒形のケースあるいはリングから構成することができ、それぞれのセグメントの電磁気応答が、円筒形のケースあるいはリングの周囲に沿って位置の関数として変化するように構成される。それによって正確な並進及び回転の空間的位置検出を提供することができる。
【００５０】
さらに、センサ９２５、例えば、図５で示すように、前記較正デバイス９１０に一体化して提供することができる。あるいは、前記較正デバイス９１０（図示せず）を、ある固定空間的関係に移動可能に支えるサポートに取り付けることができる。例えば、センサ９２５は、耐水性のチャートから構成することができる較正デバイス９１０に取り付けることができる。あるいは、印刷したチャート上の所定の位置をラミネイトすることができる。印刷したチャートもまた、ラミネイトすることができる。代替的に、前記較正デバイス９１０及びセンサ９２５は、フィールド発生器９０５に取り付けることができる。当業者は、本開示において使用されている「取り付ける」という用語が、一時的あるいは永久的に、ある粘着材により取り付けること、あるいは連結するメカニズムを通して取り付けること、または同種のものを含むことを認識するであろう。その上に、「固定」という用語は、ここに、２つ以上の対象物あるいは２つ以上の点、あるいは対象物及び点のいかなる組み合わせの間の変化しない関係を記述するために使用される。その関係は、その性質上、一時的であってもよいし、永久的であってもよい。例えば、ここに開示された典型的な非限定的医療処置中において、前記較正デバイス９１０とセンサ９２５との間の変化しない空間的関係を維持する場合、その関係は、一時的であってもよい。
【００５１】
センサ９１５及び９２５は、例えば、フィールド発生器９０５により生成された電磁場に対して反応して、三次元座標でのそれらの位置の空間的位置データをもたらす。位置的データは、センサインターフェース部９４０により受信される。センサインターフェース部９４０は、潜在的ノイズを最小化する一方、センサ９１５、９２５とシステム制御部９４５とが物理的に離れていることを可能とし、センサ位置データをシステム制御部９４５に伝達する。システム制御部９４５は、センサ位置データを、センサインターフェース部９４０から受信し、センサの位置及び向きを受信データに基づいて計算する。システム制御部９４５は、ホストデバイス９５０と通信する。ホストデバイス９５０は、パーソナルコンピュータであってもよい。本発明の概念ないし精神から逸脱することなく、例えば、卓上ワークステーション、ラップトップコンピュータ、ノートブックコンピュータ、アレイプロセッサ、コンピュータのネットワーク、あるいは、画像ピックアップ較正及び必要情報のユーザへの表示での必要なアルゴリズムを処理する能力があるいかなる他のデバイスであってもよい。
【００５２】
当業者は、センサ９１５及び９２５として、ＥＭセンサの代わりに、あるいはこれに加えて、赤外線の（ＩＲ）送信機が使用できることを認識するであろう。これは、発明の一側面による望ましい実施形態であり得る。例えば、探索するべき領域が、金属の物体に埋もれている、あるいは取り囲まれているような場合である。非限定的な例では、犠牲者が金属の破片の下に埋もれた可能性があるような、地震などの自然災害での犠牲者の探索及び位置特定において、ＥＭセンサは、ＩＲ送信機ほど効率的ではなくなる。したがって、代わりにＩＲ送信機を使用するのが望ましい。ＩＲ送信機ベースの非限定的な例では、フィールド発生器９０５を必要とせず、センサインターフェース部９４０は、ＩＲ送信機により生成されたＩＲ信号に応答するように構成される。当業者は、本発明の概念ないし精神から逸脱することなく、センサ９１５及び９２５として、正確な空間的追跡を容易にするいかなる種類のメカニズムでも使用することができることを認識するであろう。
【００５３】
ホストデバイス９５０は、システム制御部９４５と通信し、システム制御部９４５から、計算された位置及び向き情報を受信する。ホストデバイス９５０は、上で議論した座標システム変換を施し、異なる座標システム間の変換関係と同様に、座標システム、ΣＭＯＤＥＬ、ΣＰＡＴＩＥＮＴ、ΣＥＭ、ΣＩＭＡＧＥ、ΣＣＨＡＲＴ及びΣＷＯＲＬＤを決定する。ホストデバイス９５０は、固有の及び外部のエラーを例えば、上で議論したように、修正し、例えば、内視鏡などの処置に使用される設備の正確なナビゲーションを容易にするために、座標システム間の必要な変換を施す。ホストデバイス９５０が、モデル画像３０５、画像ピックアップシステムによりピックアップされた修正された二次元画像３０５ｂ、画像マップ３０５ｃ、及び表示するグラフユーザインターフェース表示領域３０５ｄ（図３）を生成する。
【００５４】
内視鏡デバイス９２０は、例えば、米国特許第６，８４６，２８６号（特許文献２）に記載されている種類のものであってもよい。内視鏡の画像ピックアップシステムは、１つ以上の画像が画像ピックアップシステム９３０により記録されるように、内視鏡の前記較正デバイス９１０に対する位置合わせにより較正される。記録された画像は、上に議論したように、内視鏡デバイスを較正するのに使用される。画像ピックアップシステム９３０により生成されたビデオ信号は、ビデオ処理装置９３５に送信される。ビデオ処理装置９３５は、ビデオカメラ９３０からビデオ信号を受信し、例えば、画像信号増幅、エッジ強調、暗電流抑制(black current reduction)、色彩調整、白バランス、および同種の処置を施し処理されたビデオ信号をホストデバイス９５０に伝達する。ビデオ処理装置９３５は、例えば、座標システムの関係を計算し、画像ピックアップシステム９３０からのビデオ信号出力を、例えば、Ｔｓａｉの方法を上で記載されたようにＭＡＴＬＡＢＲツールボックス上で施すことにより、修正をすることを通して画像ピックアップシステム９３０の較正を施すことができる。
【００５５】
内視鏡デバイス９２０は、上では単一の画像ピックアップデバイスを有するものとして記述されているが、内視鏡デバイス９２０は、複数の画像ピックアップデバイスを含むことができる。例えば、２つの画像ピックアップデバイスを内視鏡デバイス９２０中に、立体的画像ピックアップを提供するために使用することができる。このような場合、ここに記載された前記較正及び修正は、上に記載されたように、各画像ピックアップデバイスに対して個別に施される。
【００５６】
代替的に、画像ピックアップシステムの較正及び修正は、ホスト９５０上で施すことができる。上で議論したように、ホスト９５０上の画像処理ソフトウェアと使用するソフトウェアとして、例えば、ＭＡＴＬＡＢＲなどが、利用可能である。画像ピックアップシステムの較正及び画像処理ソフトウェアは、外科手術ないし診断処置における実際の適用に先立って、内視鏡を較正及び修正をするために、一般的な処理コンピュータ上に、インストールすることができる。典型的には、平面上に配置された市松模様パターンが、カメラを較正するために使用される。施すべき処置の種類に応じて、前記較正処置は、意図された処置中に、内視鏡が遭遇を予想することができる液体あるいはガスの効果を考慮に入れることができる。内視鏡が浸される媒体の種類に応じて、焦点距離が変化し得るからである。
【００５７】
図１０Ａ、１０Ｄ及び１１Ａ、１１Ｂは、２つのセンサ９１５Ａ及び９１５Ｂを有するものとして示され、図１２Ａ、１２Ｄ及び１３Ａ、１３Ｂは、単一のセンサ９１５を有するものとして示されているのではあるが、当業者は、本発明の概念ないし精神から逸脱することなく、適切であるとみなすことができるように、任意数のセンサを使用することができる。その上、センサは、ワールド座標システムに対する三次元座標において、センサが前記較正デバイス正確な位置を伝達することが可能である限り、例えば前記較正デバイス上のどこにでもあるいは前記較正デバイスに対していくつかの固定な離れた位置に、配列することができる。
【００５８】
図１０Ａは、本発明の実施形態による２つのセンサが対角線較正デバイスの端部に位置したチェッカー盤、黒白パターンを有する較正デバイスを示す。１つのセンサは、右側最上位置の角に、水平軸に沿って位置し、他のセンサは、左側最下位置の角に垂直軸に沿って位置する。
【００５９】
図１０Ｂは、本発明の実施形態による、２つのセンサが、較正デバイスの１つの角に互いに隣接して位置したチェッカー盤、黒白パターンを有する較正デバイスを示す。典型的なセンサは、前記較正デバイスの左側最上位置の角に位置する。１つのセンサは、前記較正デバイスの水平軸に沿って位置し、他のセンサは、前記較正デバイスの垂直軸に沿って位置する。
【００６０】
図１０Ｃは、本発明の実施形態による、前記較正デバイスの対角線端部に位置する２つのセンサを持つグリッドパターンを有する較正デバイスを示す。１つのセンサは、右側最上位置の角に、水平軸に沿って位置し、他のセンサは、左側最下位置の角に垂直軸に沿って位置する。
【００６１】
図１０Ｄは、本発明の実施形態による、較正デバイスの１つの角に互いに隣接して位置する２つセンサを持つグリッドパターンを有する較正デバイスを示す。典型的なセンサは、前記較正デバイスの左側最上位置の角に位置する。１つのセンサは、前記較正デバイスの水平軸に沿って位置し、他のセンサは、前記較正デバイスの垂直軸に沿って位置する。
【００６２】
図１１Ａは、本発明の実施形態による、２つのセンサが較正デバイスの対角線端部に位置したドットパターンを有する較正デバイスを示す。１つのセンサは、右側最上位置の角に位置し、他のセンサは、左側最下位置の角に位置する。
【００６３】
図１１Ｂは、本発明の実施形態による、２つのセンサが、較正デバイスの１つの角に互いに隣接して位置したドットパターンを有する較正デバイスを示す。典型的なセンサは、前記較正デバイスの左側最上位置の角に位置する。１つのセンサは、前記較正デバイスの１つのセンサ前記較正デバイスの上部水平軸に沿って位置し、他のセンサは、前記較正デバイスの左垂直軸に沿って位置する。
【００６４】
図１２Ａは、本発明の実施形態による、単一のセンサが、較正デバイスの角端部に位置するチェッカー盤、黒白パターンを有する較正デバイスを示す。前記センサは、右側最上位置角に水平軸に沿って位置する。
【００６５】
図１２Ｂは、本発明の実施形態による、センサが較正デバイスの１つの角に位置するチェッカー盤、黒白パターンを有する較正デバイスを示す。典型的なセンサは、前記較正デバイスの左側最上位置の角に、較正デバイスの水平軸に沿って位置する。
【００６６】
図１２Ｃは、本発明の実施形態による、単一のセンサが、較正デバイスの角端部に位置するグリッドパターンを有する較正デバイスを示す。前記センサは、右側最上位置角に水平軸に沿って位置する。
【００６７】
図１２Ｄは、本発明の実施形態による、単一のセンサが較正デバイスの角端部に位置する、グリッドパターンを有する較正デバイスを示す。典型的なセンサは、前記較正デバイスの左側最上位置の角に、較正デバイスの水平軸に沿って位置する。
【００６８】
図１３Ａは、本発明の実施形態による、単一のセンサが較正デバイスの角端部に位置するドットパターンを有する較正デバイスを示す。前記センサは、右側最上位置角に水平軸に沿って位置する。
【００６９】
図１３Ｂは、本発明の実施形態による、単一のセンサが較正デバイスの角端部に位置する、ドットパターンを有する較正デバイスを示す。典型的なセンサは、前記較正デバイスの左側最上位置の角に、較正デバイスの垂直軸に沿って位置する。
【００７０】
図１４に、本発明の一側面による典型的なプロセスが記載されている。プロセスは、当事者がすぐに認識するように、本発明の概念ないし精神から逸脱することなく、ホスト９５０、あるいはプロセスを実行する能力がある別のデバイスにより実行されてもよい。初期化に際して、三次元の座標情報を含む予備的処理のＣＴスキャンあるいはＭＲＩ画像などの三次元モデル画像情報は、直接間接を問わず、ホストデバイス９５０にロードされ転送される。ステップ１４１０において、モデル画像情報は処理されて、ユーザにより知覚できるように表示される。
【００７１】
ステップ１４１５においては、患者は、その患者が受けるであろう処置の種類に見合った姿勢をとる。使用される患者座標登録システムの種類に応じて、センサは、患者の処置を受ける患部に取り付けることができる。患者座標登録センサ(patient registration sensor)の配置は、ステップ１４１５で行うことができる。図１４に図解するプロセスにおいて、非限定的例として、使用される患者座標登録方法が、下の記載されるように、患者に接触する登録方法である。
【００７２】
ステップ１４２０において、処置に使用する貫通するデバイスに、センサが、取り付けられる、あるいは挿入される。２つのセンサは、５自由度（５ＤＯＦ）をもつように直角に位置することができる。あるいは、単一のセンサが、６自由度（６ＤＯＦ）をもつように配置できる。その上で、前記較正デバイスにおいて、そのように、既に自由度がもたらされていない場合には、少なくとも１つのセンサを、較正デバイスに取り付ける。ここに開示された非限定的例において、貫通するデバイスは、可撓性内視鏡であり、例えば、内視鏡先端の器具チャンネルを通して、２つのセンサが挿入されている。しかしながら、当業者は、貫通するデバイスが、硬性内視鏡、カテーテル、カニューレ、あるいは、対象物に挿入して、対象物でナビゲートすることができるいかなる他のデバイスであってもよいことをすぐに認識するであろう。同様に、前記較正デバイスは、デバイスに取り付けた１つのあるいは２つの位置センサを含むものとして開示される。しかしながら、当業者は、本発明の概念ないし精神から逸脱することなく、任意数のセンサを、較正デバイスに取り付けて、あるいはいくつかの較正デバイスに対して相対位置を固定的に維持するメカニズムに取り付けて、較正デバイスに挿入することができることをすぐに認識するであろう。プロセスは、ステップ１４２５に進む。
【００７３】
ステップ１４２５において、典型的な可撓性内視鏡の先端は、画像ピックアップシステムを含み、較正デバイスが、画像ピックアップシステムの画像ピックアップフィールドに入るように配置される。ステップ１４３０において、可撓性内視鏡先端などに挿入されたセンサの位置情報が決定される。このステップは、ステップ１４２５の前に、あるいは同時に行うことができ、あるいはステップ１４３５の後に施すこともできる。ステップ１４３５において、画像ピックアップシステムは、較正デバイスの画像のキャプチャを行う。較正デバイスの複数の画像（例えば、５以上の画像）が、画像ピックアップデバイスによりキャプチャされるのが望ましいが、当業者が、本発明の概念ないし精神から逸脱することなく、適切であるとみなすことができるように、任意数の画像を、使用することができる。ステップ１４４０において、前もってセットされた、あるいは所定の数の画像が、画像ピックアップシステムにより、記録されたかどうかの決定がなされる。典型的には、前もってセットされた数の画像は、５以上の画像にセットすることができる。しかし、その数字は、当業者が認識するように、施すべき処置、ユーザの優先度、ないし内視鏡の規模、およびそれらと同種のものの関数として変化する。前記較正デバイスの前もってセットされた数の画像が、記録された場合には（ステップ１４４０で「ＹＥＳ」）、プロセスは、図１５に図解されたプロセスＡに進む。そして、プロセスＡの完了後、続いてステップ１４４５に進む。しかしながら、前もってセットされた数の画像が記録されなかった場合には（ステップ１４４０で「ＮＯ」）、ユーザは、例えば、画像キャプチャを繰り返すために表示あるいは音のメッセージによって指示をされることになる。
【００７４】
図１５に関して説明する。較正デバイスの前もってセットされた数の画像が記録された後、あるいは、画像ピックアップシステムによりキャプチャされた後、ステップ１５０５においてキャプチャされた画像は、画像キャプチャモジュールに読み込まれる。ステップ１５１０おいて、キャプチャされた画像上で、点が選択される。説明図の目的のためだけであるが、選択点数Ｎが４に等しい、非限定的な例が提供される。しかしながら、選択点数は、当業者がすぐに認識するであろうように、いかなる適切な数であってもよい。図１６Ａにおいて、市松模様のキャプチャされた画像領域の左下にある第１の点Ｐ１が、ステップ１５１０において選択される。第１の点Ｐ１は、原点に指定される。また、次の三つの点が、図１６Ｂ、１６Ｄにおいて、時計回りに進んで選択される。
【００７５】
プロセスは、４つの点が選択されたかどうかを決定するステップ１５１５に進み、選択されていない場合には（ステップ１５１５において「ＮＯ」）、ステップ１５１０が、繰り返され、図１６Ｂで示すように、市松模様の左上角に位置する点Ｐ２が選択される。次に、三番目の点、市松模様の右上角に位置する点Ｐ３が、図１６Ｃで示すように、ステップ１５１０において選択される。ステップ１５１０の第４回目が実行され、市松模様の右下角に位置する第４点Ｐ４が、図１６Ｄで示すように、選択される。ステップ１５１５において、点の数が、前もってセットされた点の数に等しくなると（ステップ１５１５において「ＹＥＳ」）、プロセスは、ステップ１５２０に進む。それらの点は、上の非限定的例では時計回りに、指定されるのではあるが、それらの点は、同様に反時計回りに指定されてもよい。または、当業者が較正のために少なくとも１つ点を選択するのに適切であるとみなすようないかなる他の方法でもよい。
【００７６】
ステップ１５２０において、グリッド点の配列が、所定の距離及び較正デバイス上のグリッドの数に基づいて計算され、グリッド点が、図１７Ａで示すようにキャプチャされた画像に重ね合わせて表示される。次に、ステップ１５２５において、計算されたグリッド点及び下にあるキャプチャされた画像との間に、差異が存在するか否かが、計算されたグリッド点の値と下にあるキャプチャされた画像の値間の差異を比較して、差異値を計算することにより決定される。差異値は、次に、所定のしきい値と比較される。差異値が、しきい値以上の場合には、差異が存在すると判断される。しかしながら、差異値が、しきい値より小さい場合には、差異が存在しないと判断される。したがって、差異が存在しない場合には（ステップ１５２５において「ＮＯ」）、プロセスは、図１４のステップ１４４５に進む。しかし、計算されたグリッド点と下にあるキャプチャされた画像との間の差異が存在すると判断された場合には、プロセスはステップ１５３０に進む。
【００７７】
ステップ１５３０において、較正マトリックスＣＴが、上で議論されたように計算され、プロセスはステップ１５３５に進む。ステップ１５３５において、画像ピックアップシステムからのキャプチャされた画像が、較正マトリックスＣＴの歪み係数を用いて修正され、例えば、図１７Ｂで示すように再生し、表示すべき画像を生成する。図１７Ｂに示すように、歪み係数修正後のグリッド点が、キャプチャされた画像に重ね合わせて示される。修正ステップ１５３０の完了に際して、プロセスは、図１４のステップ１４４５に進む。
【００７８】
ステップ１４４５において、患者の位置情報が受信される。非限定的な例を示すことにより、上に記載されたように、処置を施すべき領域上あるいはその領域の近傍の複数の点のそれぞれに対する位置情報は、各点における円錐状皮膚基準にユーザが短く触れることにより、登録することができる。全ての患者の位置情報点が登録されて、ステップ１４４５において受信されると、プロセスは、ステップ１４５０に進む。ステップ１４５０において、モデル画像が、患者の位置情報に対し、較正され、プロセスは、ステップ１４５５に進む。ステップ１４５５において、較正マトリックスＣＴに対する較正パラメータが記憶され、ステップ１４６０において、較正が完了し、貫通デバイスが実施可能状態にあるというメッセージが表示される。
【００７９】
本発明の別の一側面によれば、異なるコードセグメントを含むコードが、少なくとも１つのコンピュータ可読媒体上に、例えば、図１４及び図１５で示す非限定的プロセスを実行するために、提供される。コードセグメントを含むコードは、前記少なくとも１つのコンピュータ可読媒体から、直接間接を問わず、例えば、ホストデバイス９５０へ転送することができる。代替的に、コードセグメントを含むコードは、直接間接を問わず、例えば、ホストデバイス９５０に、ワイヤあるいは無線通信を通じて、伝達することができる。コンピュータ可読媒体は、コンピュータデバイスに、図１４及び図１５に図解するプロセスの各ステップを実行させるコードセグメントを含むことができる。例えば、非限定的コンピュータ可読媒体は、コンピュータデバイスに予備的処理画像、例えば、ＣＴスキャンあるいはＭＲＩ画像、または同種のものを受信させ、モデル画像を発展させる三次元画像進行コードセグメントを含むことができる。
【００８０】
患者支持メカニズム、例えば、手術テーブル、または同種のものに、意図された処置に対して自動的に位置させる患者姿勢コードセグメントを、提供することができる。代替的に、患者姿勢コードセグメントは、意図された処置には、患者にはどのような姿勢が最適であるかを特定するメッセージを表示させることができる。
【００８１】
自動化デバイス、例えば、ロボットのデバイスに対して、貫通するデバイスにセンサをインストールするあるいは取り付けさせるセンサインストールコードセグメントを、提供することができる。代替的に、センサインストールコードセグメントは、コンピュータデバイスに、例えばグラフユーザインターフェースを通じて、意図された処置、使用する設備の種類、ユーザの技能のレベル、および同種のものに基づいて、ユーザに、センサを貫通するデバイスないし患者にインストールするあるいは取り付ける最適位置を指示させることができる。
【００８２】
コンピュータ制御画像ピックアップシステム支持メカニズムに、較正デバイスが画像ピックアップシステムの画像ピックアップのフィールド内にくるように位置させる位置画像ピックアップシステムコードセグメントを、提供することができる。代替的に、位置画像ピックアップシステムコードセグメントは、コンピュータデバイスに、例えば、貫通するデバイスが適切に較正されるように、最適な位置に配置するように指示させることができる。指示は、当業者がすぐに認識するように、本発明の概念ないし精神から逸脱することなく、ユーザに貫通するデバイスを、例えば、意図された処置、使用する設備の種類、ユーザの技能のレベル、および同種のものに基づいて、上下左右に、遠く近くに、ピッチアップ、ピッチダウン、ピッチライト、ピッチレフト、時計回り回転、ないし反時計回り回転と、移動させるように指示する音声あるいは表示コマンドを含むことができる。
【００８３】
コンピュータデバイスに、１つ以上の較正デバイスの空間的位置を決定させる較正デバイスの感知位置コードセグメントを、提供することができる。較正デバイスの感知位置コードセグメントは、前記較正デバイス三次元の座標をもたらすことができる。
【００８４】
貫通するデバイスの画像ピックアップシステムに、較正デバイスの画像をキャプチャさせる、あるいは記録させる、あるいは、コンピュータデバイスに、画像ピックアップシステムに画像をキャプチャするように、あるいは記録するように指示させる記録較正画像コードセグメントを、提供することができる。
【００８５】
コンピュータデバイスに、画像ピックアップシステムにより、前もってセットされた数の画像がキャプチャされたか否かを判断させる、画像数判断コードセグメントを、提供することができる。
【００８６】
コンピュータデバイスに、キャプチャされた画像をキャプチャ画像処理モジュールに読み込ませるキャプチャ画像読み込みコードセグメントを、提供することができる。
【００８７】
コンピュータデバイスに、較正デバイス上の点を選択させる、点選択コードセグメントを、提供することができる。コンピュータデバイスに、較正デバイス上で選択された数の点が選択されたか否かを判断させる、点の数決定コードセグメントを、提供することができる。
【００８８】
コンピュータデバイスに、較正デバイス上の少なくとも１つのグリッド点を計算させ、前記較正デバイスの画像に重ね合わせて、グリッド点を表示させる、グリッド点計算コードセグメントを、提供することができる。
【００８９】
コンピュータデバイスに、グリッド点及び較正デバイスの画像間に所定のしきい値以上の差異が存在するか否かを判断させる、グリッド点差異判断コードセグメントを、提供することができる。
【００９０】
コンピュータデバイスに、特定の貫通するデバイスに対する較正マトリックスを計算させる、較正マトリックス計算コードセグメントを、提供することができる。コンピュータデバイスに、貫通するデバイスの固有のないし外部の発現を修正させる、歪み係数修正コードセグメントを、提供することができる。
【００９１】
コンピュータデバイスに、患者位置、例えば、三次元の位置を正確に決定するために患者の位置情報を受信させる、患者位置情報受信コードセグメントを提供することができる。
【００９２】
コンピュータデバイスに、較正パラメータを蓄積させる、較正パラメータ蓄積コードセグメントを提供することができる。また、コンピュータデバイスに、ユーザに対する較正が完了したメッセージを表示させる、較正終了表示コードセグメントを提供することができる。
【００９３】
本明細書は、特定の実施形態で実装できる部品及び機能を特定の標準及びプロトコルを参照して記載しているのであるが、本発明は、そのような標準及びプロトコルに限定していない。各標準、プロトコル及び言語は、技術水準の例の表現を意味する。そのような標準は、周期的に、本質的に同一の機能を有する、より速いあるいはより効率的な同等物に取って代わられる。したがって、同一のあるいは同様の関数を有する置換標準及びプロトコルは、その同等物と見なされる。
【００９４】
ここに記載された実施形態の説明図は、種々の実施形態の構造の一般的な理解をもたらすことを意図したものである。説明図は、ここに記載された構造あるいは方法を利用する全ての要素及び装置及びシステムの特徴の完全な記述としての機能を果たすことを意図したものではない。多くの他の実施形態が、本開示を検討する当業者には明白であろう。他の実施形態は、利用することができ、開示から導くことができるような構造的及び論理的な代替及び変更が、本開示の概念及び精神から逸脱することなく可能である。さらに、説明図は、説明的な表現であって、正確な縮尺で描かれているものではない。説明図の範囲内である程度の誇張がなされているが、その他では、最小になっている。したがって、開示及び図面は、制限的よりむしろ説明に役立つものであると見ることができる。
【００９５】
本開示の１つ以上の実施形態が、個別にないし集合的に、単に利便性のために、いかなる特定の発明あるいは独創的な概念への応用の範囲を自発的に制限する意図することなしに、ここでは、「発明」という用語で言及することができる。さらに、ここに特定の実施形態が図解され、記載されてきたのではあるが、いかなる後に来る、同一のあるいは同様の目的を達成するために設計された配列も、特定の実施形態を置き換えることができることを認識するべきである。本開示は、後に来る種々の実施形態のいかなる及び全ての翻案あるいは変形をもカバーすることを意図している。上の実施形態の組み合わせ、及びここに特に記載されない他の実施形態は、この明細書を検討する当業者には明白であろう。
【００９６】
なお、要約書は、請求項の解釈や制限に使用されることを意図するものではない。また、上述の詳細な説明において、開示の合理化の目的のために、種々の特徴をグループ化し、あるいは単一の実施例に含まれるものとして記載している場合がある。本開示は、各実施例が、各請求項に明示的に述べられた以上の特徴を必要としていると解釈すべきものではない。むしろ、請求項に反映されているように、独創的な主題が、各実施例が有する特徴のすべてより、少ないものを指している可能性がある。すなわち、各請求項において別々に定義された主題は、それ自体が、独立した発明の主題である。
【００９７】
上の開示された主題は、説明的なものとみなすべきで、制限的なものではない。また、付加された請求項は、全てのそのような修正、強化、現在の開示の真実の精神及び範囲内の他の実施形態をカバーすることを意図する。したがって、次の請求項の最も広く許容される解釈により、法律により許容される最大範囲まで、本発明の範囲があると判断される。また、上述の詳細な説明により制限される、あるいは限定されるべきではない。
【００９８】
いくつかの典型的な実施例が記載されてきたのではあるが、使用されてきた単語は、制限するための単語というより明細書及び説明図の単語であることを理解されたい。たとえば、スコープの一種としての内視鏡という用語が、実施例においては用いられているが、これは、スコープという用語を内視鏡に限定するという意図で用いられているのではない。本開示の範囲及び精神から逸脱することなく、種々の変更をすることができる。明細書は、特定の手段、材料及び実施形態に言及しているが、本発明は、開示された特定のものに限定することを意図するものではない。むしろ、特許請求の範囲内にある全ての機能上の同等な構造、方法、使用を含む。
【図面の簡単な説明】
【００９９】
【図１】図１は、既知の硬性内視鏡ナビゲーションシステムの説明図である。
【図２】図２は、本発明の実施例で使用することができるファイバースコープ端部の説明図である。
【図３】図３は、本発明の実施例における、内視鏡ナビゲーションシステムの説明図である。
【図４】図４は、本発明の実施例における、図３の要素を考慮に入れた座標システムのダイアグラムである。
【図５】図５は、図３の説明図のさらに詳細な表現である。考慮に入れる座標システムを含んでいる。
【図６】図６は、本発明の実施例における、使用することができる内視鏡端部の例である。
【図７】図７は、本発明の実施例における、対象物の画像ピックアップを図解するダイアグラムである。
【図８】図８は、画像ピックアップデバイス面への対象物の投影を図解する説明的ダイアグラムである。
【図９】図９は、本発明の実施例における実施形態の実施の説明図である。
【図１０】図面１０Ａ−１０Ｄは、本発明の実施例における、使用可能な２つのセンサを有する較正デバイスの例の説明図である。
【図１１】図面１１Ａ−１１Ｂは、本発明の実施例における、使用可能な２つのセンサを有する較正デバイスの代替の例の説明図である。
【図１２】図面１２Ａ−１２Ｄは、本発明の実施例における、使用可能な単一のセンサを有する較正デバイスの例の説明図である。
【図１３】図面１３Ａ−１３Ｂは、本発明の実施例における、使用可能な単一のセンサを有する較正デバイスの代替例の説明図である。
【図１４】図１４は、本発明の実施例における、内視鏡のナビゲーションを実施するプロセスの実施形態である。
【図１５】図１５は、本発明の実施例における、歪みを訂正するプロセスの実施形態である。
【図１６】図１６Ａ−１６Ｄは、本発明の実施例における、較正デバイスのキャプチャされた画像上のグリッド点選択の例である。
【図１７Ａ】図面１７Ａは、本発明の実施例における、計算されたグリッド点が、歪みを引き起こすことができる説明的な例である。
【図１７Ｂ】図１７Ｂは、歪みの修正が実行される、歪みの修正が実行される説明的な例である。
【特許請求の範囲】
【請求項１】
少なくとも１つのセンサを含み、対象物に挿入されるように構成されたスコープと、
スコープを較正するように構成された較正デバイスと、
較正デバイスに対して固定位置に置かれた較正デバイスセンサと、
少なくとも１つの画像を記録し、前記少なくとも１つの画像が較正デバイスの画像であるような画像ピックアップデバイスと、
前記少なくとも１つのセンサの位置及び前記較正デバイスセンサの位置を感知する位置決定要素と、
前記画像ピックアップデバイスにより記録された前記少なくとも１つの画像を、前記少なくとも１つのセンサの位置及び前記較正デバイスセンサの位置に基づいて修正する処理装置と、を備えるスコープナビゲーション装置。
【請求項２】
前記処理装置が、ビデオ処理装置と、ホストデバイスとを備え、
少なくとも１つのビデオ処理装置及びホストデバイスが、画像ピックアップデバイスにより記録された前記少なくとも１つの画像を修正する、
請求項１に記載の装置。
【請求項３】
前記位置決定要素が、センサインターフェース部と、システム制御部とを備え、
前記センサインターフェース部が、前記少なくとも１つのセンサの位置及び前記較正デバイスセンサの位置を感知する、
請求項１に記載の装置。
【請求項４】
電磁場を生成するフィールド発生器をさらに備える、装置であって、
前記位置決定要素が、前記少なくとも１つのセンサの位置及び前記較正デバイスセンサの位置を、電磁場に基づいて感知する、請求項１に記載の装置。
【請求項５】
前記較正デバイスが、前記フィールド発生器に対して固定的な相対位置を有する、請求項４に記載の装置。
【請求項６】
前記少なくとも１つのセンサが、前記スコープのチャンネルに挿入され、前記較正デバイスセンサが、前記較正デバイスに固定される、請求項１に記載の装置。
【請求項７】
前記少なくとも１つのセンサが、前記画像ピックアップデバイスの光学的軸からオフセットした中心軸を含む、請求項１に記載の装置。
【請求項８】
前記較正デバイスが、市松模様、ドットパターン、あるいはグリッドパターンのうち少なくとも１つのパターンである、請求項１に記載の装置。
【請求項９】
較正デバイスの画像を記録することと、ここで、前記較正デバイスは少なくとも１つの較正デバイスセンサに対して固定位置に置かれており、
画像ピックアップデバイスの光学的軸を決定することと、ここで、前記画像ピックアップデバイスは少なくとも１つのセンサ含み、
前記少なくとも１つの較正デバイスセンサの位置及び前記少なくとも１つのセンサの位置を検出することと、
前記画像ピックアップデバイスを較正するためのパラメータ値を決定することと、
前記少なくとも１つのセンサの中央軸と光学的軸との間のオフセットを補償することと、
前記パラメータ値に基づいて記録された画像を較正することと、
を含む、表示すべき画像を較正し修正するための方法。
【請求項１０】
前記パラメータ値を決定することが、
記録された画像上の第１の点を選択することと、
選択された第１の点に基づいて、第１の決定点を計算することと、
選択された点と第１の決定点との間の差の値を、決定することと、
前記差の値を、しきい値と比較することと、を含む、請求項９に記載の方法。
【請求項１１】
前記差の値を、前記しきい値より大きいか、あるいは、前記しきい値に等しくなるように決定することと、
前記画像ピックアップデバイスを較正するための較正マトリックスを計算することと、をさらに含む請求項１０に記載の方法。
【請求項１２】
前記較正することが、少なくとも５自由度及び６自由度で行われる、請求項１０に記載の方法。
【請求項１３】
前記較正マトリックスが、少なくとも１つの固有パラメータ及び少なくとも１つの外部パラメータを含む、請求項１０に記載の方法。
【請求項１４】
前記第１の点を原点として設定することと、
少なくとも、時計回り方向及び反時計回り方向の１つにおいて、第２の点を選択することと、をさらに含む請求項１０に記載の方法。
【請求項１５】
前記較正マトリックスが、前記較正デバイスの三次元座標系と、前記画像ピックアップデバイスの二次元座標系との間の関係に基づいている、請求項１３に記載の方法。
【請求項１６】
較正デバイスの画像の記録を生起する画像を記録する、画像記録コードセグメントと、ここで、前記較正デバイスは少なくとも１つの較正デバイスセンサに対して固定位置に置かれており、
画像ピックアップデバイスの光学的軸の決定を生起する、決定コードセグメントと、ここで、前記画像ピックアップデバイスは、少なくとも１つのセンサを含んでおり、
前記少なくとも１つのセンサの位置及び少なくとも１つの他のセンサの位置の検出を行わせる、検出コードセグメントと、
前記画像ピックアップデバイスを較正するためのパラメータ値の決定を生起するパラメータ決定コードセグメントと、
前記少なくとも１つのセンサの中央軸と前記画像ピックアップデバイスの光学的軸との間のオフセットの補償を行わせる補償コードセグメントと、
前記パラメータ値に基づく前記画像ピックアップデバイスの較正を行わせる較正コードセグメントと、を備える、コンピュータ可読な記憶媒体。
【請求項１７】
前記決定コードセグメントが、
前記記録された画像上の第１の点の選択を生起する点選択コードセグメントと、
前記選択された第１の点に基づく、第１の決定点の計算を生起する、決定点計算コードセグメントと、
前記選択された点と前期第１の決定点との間の差の値の決定を生起する、差の値決定コードセグメントと、
前記差の値としきい値との比較を生起する、差の値比較コードセグメントと、を含む、請求項１６に記載のコンピュータ可読な記憶媒体。
【請求項１８】
前記差の値を、前記しきい値より大きいか、あるいは、前記しきい値に等しくなるように決定することを生起する、差の値決定コードセグメントと、
前記画像ピックアップデバイスを較正するための較正マトリックスの計算を生起する、較正マトリックスコードセグメントと、をさらに含む、請求項１６に記載のコンピュータ可読な記憶媒体。
【請求項１９】
前記較正が、少なくとも５自由度及び６自由度で行われ、前記較正マトリックスが、少なくとも１つの固有パラメータ及び少なくとも１つの外部パラメータを含む、請求項１６に記載のコンピュータ可読な記憶媒体。
【請求項２０】
前記較正マトリックスが、前記較正デバイスの三次元座標系と、前記画像ピックアップデバイスの二次元座標系との間の関係に基づいている、請求項１６に記載のコンピュータ可読な記憶媒体。
【請求項１】
少なくとも１つのセンサを含み、対象物に挿入されるように構成されたスコープと、
スコープを較正するように構成された較正デバイスと、
較正デバイスに対して固定位置に置かれた較正デバイスセンサと、
少なくとも１つの画像を記録し、前記少なくとも１つの画像が較正デバイスの画像であるような画像ピックアップデバイスと、
前記少なくとも１つのセンサの位置及び前記較正デバイスセンサの位置を感知する位置決定要素と、
前記画像ピックアップデバイスにより記録された前記少なくとも１つの画像を、前記少なくとも１つのセンサの位置及び前記較正デバイスセンサの位置に基づいて修正する処理装置と、を備えるスコープナビゲーション装置。
【請求項２】
前記処理装置が、ビデオ処理装置と、ホストデバイスとを備え、
少なくとも１つのビデオ処理装置及びホストデバイスが、画像ピックアップデバイスにより記録された前記少なくとも１つの画像を修正する、
請求項１に記載の装置。
【請求項３】
前記位置決定要素が、センサインターフェース部と、システム制御部とを備え、
前記センサインターフェース部が、前記少なくとも１つのセンサの位置及び前記較正デバイスセンサの位置を感知する、
請求項１に記載の装置。
【請求項４】
電磁場を生成するフィールド発生器をさらに備える、装置であって、
前記位置決定要素が、前記少なくとも１つのセンサの位置及び前記較正デバイスセンサの位置を、電磁場に基づいて感知する、請求項１に記載の装置。
【請求項５】
前記較正デバイスが、前記フィールド発生器に対して固定的な相対位置を有する、請求項４に記載の装置。
【請求項６】
前記少なくとも１つのセンサが、前記スコープのチャンネルに挿入され、前記較正デバイスセンサが、前記較正デバイスに固定される、請求項１に記載の装置。
【請求項７】
前記少なくとも１つのセンサが、前記画像ピックアップデバイスの光学的軸からオフセットした中心軸を含む、請求項１に記載の装置。
【請求項８】
前記較正デバイスが、市松模様、ドットパターン、あるいはグリッドパターンのうち少なくとも１つのパターンである、請求項１に記載の装置。
【請求項９】
較正デバイスの画像を記録することと、ここで、前記較正デバイスは少なくとも１つの較正デバイスセンサに対して固定位置に置かれており、
画像ピックアップデバイスの光学的軸を決定することと、ここで、前記画像ピックアップデバイスは少なくとも１つのセンサ含み、
前記少なくとも１つの較正デバイスセンサの位置及び前記少なくとも１つのセンサの位置を検出することと、
前記画像ピックアップデバイスを較正するためのパラメータ値を決定することと、
前記少なくとも１つのセンサの中央軸と光学的軸との間のオフセットを補償することと、
前記パラメータ値に基づいて記録された画像を較正することと、
を含む、表示すべき画像を較正し修正するための方法。
【請求項１０】
前記パラメータ値を決定することが、
記録された画像上の第１の点を選択することと、
選択された第１の点に基づいて、第１の決定点を計算することと、
選択された点と第１の決定点との間の差の値を、決定することと、
前記差の値を、しきい値と比較することと、を含む、請求項９に記載の方法。
【請求項１１】
前記差の値を、前記しきい値より大きいか、あるいは、前記しきい値に等しくなるように決定することと、
前記画像ピックアップデバイスを較正するための較正マトリックスを計算することと、をさらに含む請求項１０に記載の方法。
【請求項１２】
前記較正することが、少なくとも５自由度及び６自由度で行われる、請求項１０に記載の方法。
【請求項１３】
前記較正マトリックスが、少なくとも１つの固有パラメータ及び少なくとも１つの外部パラメータを含む、請求項１０に記載の方法。
【請求項１４】
前記第１の点を原点として設定することと、
少なくとも、時計回り方向及び反時計回り方向の１つにおいて、第２の点を選択することと、をさらに含む請求項１０に記載の方法。
【請求項１５】
前記較正マトリックスが、前記較正デバイスの三次元座標系と、前記画像ピックアップデバイスの二次元座標系との間の関係に基づいている、請求項１３に記載の方法。
【請求項１６】
較正デバイスの画像の記録を生起する画像を記録する、画像記録コードセグメントと、ここで、前記較正デバイスは少なくとも１つの較正デバイスセンサに対して固定位置に置かれており、
画像ピックアップデバイスの光学的軸の決定を生起する、決定コードセグメントと、ここで、前記画像ピックアップデバイスは、少なくとも１つのセンサを含んでおり、
前記少なくとも１つのセンサの位置及び少なくとも１つの他のセンサの位置の検出を行わせる、検出コードセグメントと、
前記画像ピックアップデバイスを較正するためのパラメータ値の決定を生起するパラメータ決定コードセグメントと、
前記少なくとも１つのセンサの中央軸と前記画像ピックアップデバイスの光学的軸との間のオフセットの補償を行わせる補償コードセグメントと、
前記パラメータ値に基づく前記画像ピックアップデバイスの較正を行わせる較正コードセグメントと、を備える、コンピュータ可読な記憶媒体。
【請求項１７】
前記決定コードセグメントが、
前記記録された画像上の第１の点の選択を生起する点選択コードセグメントと、
前記選択された第１の点に基づく、第１の決定点の計算を生起する、決定点計算コードセグメントと、
前記選択された点と前期第１の決定点との間の差の値の決定を生起する、差の値決定コードセグメントと、
前記差の値としきい値との比較を生起する、差の値比較コードセグメントと、を含む、請求項１６に記載のコンピュータ可読な記憶媒体。
【請求項１８】
前記差の値を、前記しきい値より大きいか、あるいは、前記しきい値に等しくなるように決定することを生起する、差の値決定コードセグメントと、
前記画像ピックアップデバイスを較正するための較正マトリックスの計算を生起する、較正マトリックスコードセグメントと、をさらに含む、請求項１６に記載のコンピュータ可読な記憶媒体。
【請求項１９】
前記較正が、少なくとも５自由度及び６自由度で行われ、前記較正マトリックスが、少なくとも１つの固有パラメータ及び少なくとも１つの外部パラメータを含む、請求項１６に記載のコンピュータ可読な記憶媒体。
【請求項２０】
前記較正マトリックスが、前記較正デバイスの三次元座標系と、前記画像ピックアップデバイスの二次元座標系との間の関係に基づいている、請求項１６に記載のコンピュータ可読な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【公開番号】特開２００８−１０４８７７（Ｐ２００８−１０４８７７Ａ）
【公開日】平成２０年５月８日（２００８．５．８）
【国際特許分類】
【出願番号】特願２００７−２７４２４２（Ｐ２００７−２７４２４２）
【出願日】平成１９年１０月２２日（２００７．１０．２２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
【出願人】（００００００５２７）ペンタックス株式会社 (1,878)
【Ｆターム（参考）】
【公開日】平成２０年５月８日（２００８．５．８）
【国際特許分類】
【出願日】平成１９年１０月２２日（２００７．１０．２２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
【出願人】（００００００５２７）ペンタックス株式会社 (1,878)
【Ｆターム（参考）】
[ Back to top ]