画像処理装置および方法
【課題】 本発明は、放射線線画像と可視光画像との合成画像における位置ずれを、ユーザが判断することが出来るようにすることを目的とする。
【解決手段】 被写体からの可視光を撮像することにより得られた可視光画像と、該被写体を透過した放射線を撮像することにより得られた放射線画像との位置ずれ情報を求める演算手段と、前記可視光画像と前記放射線画像とを合成し、合成画像を生成する合成画像生成手段と、前記合成画像生成手段で合成される前の前記可視光画像と、前記合成画像生成手段で合成される前の前記放射線画像と、前記合成画像生成手段で生成された前記合成画像とのいずれかを、前記位置ずれ情報に基づき画像処理する画像処理手段とを有することを特徴とする。
【解決手段】 被写体からの可視光を撮像することにより得られた可視光画像と、該被写体を透過した放射線を撮像することにより得られた放射線画像との位置ずれ情報を求める演算手段と、前記可視光画像と前記放射線画像とを合成し、合成画像を生成する合成画像生成手段と、前記合成画像生成手段で合成される前の前記可視光画像と、前記合成画像生成手段で合成される前の前記放射線画像と、前記合成画像生成手段で生成された前記合成画像とのいずれかを、前記位置ずれ情報に基づき画像処理する画像処理手段とを有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放射線画像と可視光画像とを用いる画像処理装置および方法に関する。
【背景技術】
【０００２】
医療分野のＸ線透視撮影装置において、Ｘ線撮影画像とビデオカメラ画像との合成画像を生成することにより、Ｘ線が照射されている被写体の部位を確認しやすくする技術がある。
【０００３】
例えば、Ｘ線発生部と光学的に等価な位置にビデオカメラを設け、ビデオカメラ画像にＸ線透視画像を重畳した画像をモニタ上に表示する方法がある。光学的に等価な位置とは、第１の撮像位置と第２の撮像位置において、第１の撮像位置で撮像した撮影画像と第２の撮像位置で撮像した撮影画像とが同じになる位置のことである。一般的には、ハーフミラーなどを用いて、ビデオカメラをＸ線発生部の位置と光学的に等価な位置に配置する。
【０００４】
特許文献１では、Ｘ線発生部とビデオカメラとをほぼ同じ位置に配置し、撮像されたＸ線画像とビビデオカメラ画像とを合成した合成画像を生成することが開示されている。
【特許文献１】特登録３５５４１７２号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
現在、Ｘ線画像とビデオカメラ画像との合成画像を用いて、脊髄の所定の位置を確認し、確認された所定位置に手術具を穿刺する手術方法が提案されている。手術具を穿刺する手術は、低侵襲手術の一つであり、切開部分が小さいため患者への身体的負担が小さくなる。
【０００６】
この手術方法では、まずＸ線撮影装置によってＸ線画像を撮像する。次に、Ｘ線撮影装置のＸ線発生部と光学的に等価な位置にビデオカメラを配置して撮影を行い、Ｘ線発生部と同じ視点からのビデオカメラ画像を得る。得られたビデオカメラ画像とＸ線画像とを合成し、合成画像を生成する。医師は、生成された合成画像を観察することにより、目的の穿刺部位を確認し、穿刺部位に該当する被写体の所定位置にマーキングする。最後に、マーキングされた位置から穿刺を行う。
【０００７】
図８（ａ）はＸ線画像とビデオカメラ画像との合成画像を用いた穿刺手術において、穿刺を適切に行うことが出来る場合を示している。ハーフミラー８０１は、Ｘ線は透過し、可視光画像は反射するミラーである。図８（ａ）では、ハーフミラー８０１を用いることにより、Ｘ線発生部８０２とビデオカメラ８０３とが光学的に等価な位置となるように配置され、被写体８０４を撮影している。Ｘ線発生部８０２より照射されたＸ線は、被写体８０４を透過し、Ｘ線センサ８０５により検知される。
【０００８】
図８（ａ）において、Ｘ線８０６は被写体８０４の中央部を透過する。合成画像の中央部には、ビデオカメラ８０３で撮像したポイント８０８のビデオカメラ画像と、ポイント８０８からポイント８０９の間を透過したＸ線をＸ線センサ８０５で撮像したＸ線画像とが重畳される。ポイント８０９は、ポイント８０８の垂直下方向の位置にある。よって、ポイント８０８からポイント８０９の間に穿刺手術の対象点がある場合、ポイント８０８にマーキングして、ポイント８０８から垂直下方向に穿刺を行えば、問題なく手術を行うことが出来る。
【０００９】
一方、図８（ｂ）におけるＸ線８０７は、被写体８０４の縁部を透過するＸ線である。図８（ｂ）から分かるように、被写体８０４のポイント８１０からポイント８１１の間を透過したＸ線８０７をＸ線センサ８０５で撮像することにより、Ｘ線画像が撮像される。これに対して、ビデオカメラ８０３はポイント８１０のビデオカメラ画像を撮像する。
【００１０】
従って、合成画像の縁部分には、ビデオカメラ８０３で撮像したポイント８１０のビデオカメラ画像と、Ｘ線センサ８０５で撮像したポイント８１０からポイント８１１の間を透過したＸ線のＸ線画像とが重畳される。
【００１１】
ポイント８１０とポイント８１１とは、水平方向にｄだけずれている。以後、ビデオカメラ画像などの可視光画像とＸ線画像などの放射線画像とを重畳したときの対応点のずれｄを、位置ずれと定義する。よって、ポイント８１１が穿刺手術の対象である場合、ポイント８１０から垂直下方向に穿刺手術を行っても、手術具は手術対象のポイント１１１に到達しない。位置ずれｄが大きいほど穿刺手術を行うことが困難になるが、従来技術によれば、穿刺手術を行って良い領域であるか否かを合成画像から判断することが困難であった。
【００１２】
上記課題を鑑み、本発明は、放射線線画像と可視光画像との合成画像における位置ずれを、ユーザが判断することが出来るようにすることを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を鑑み、本発明は被写体からの可視光を撮像することにより得られた可視光画像と、該被写体を透過した放射線を撮像することにより得られた放射線画像との位置ずれ情報を求める演算手段と、前記可視光画像と前記放射線画像とを合成し、合成画像を生成する合成画像生成手段と、前記合成画像生成手段で合成される前の前記可視光画像と、前記合成画像生成手段で合成される前の前記放射線画像と、前記合成画像生成手段で生成された前記合成画像とのいずれかを、前記位置ずれ情報に基づき画像処理する画像処理手段とを有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、放射線線画像と可視光画像との合成画像における位置ずれを、ユーザが判断することが出来るようにすることが出来る。
【発明を実施するための最良の形態】
【００１５】
＜第一の実施形態＞
図１は本実施形態における装置構成を示す図である。尚、以下に示す各構成の処理は、コンピュータによる処理で代替することも可能である。
【００１６】
ビデオカメラ１０１は、可視光を撮影するためのカメラである。本実施形態では、可視光を撮影するためにビデオカメラを用いるが、可視光を撮像出来るのであれば、別の装置を用いても良い。
【００１７】
Ｘ線発生部１０２は、内蔵するＸ線管球に電圧を印加することによって、Ｘ線を発生させるＸ線発生装置である。コリメータ１０３は、Ｘ線の焦点の調節器であり、Ｘ線発生器１０２で発生したＸ線はコリメータ１０３を介して照射される。
【００１８】
ハーフミラー１０４は、可視光を反射し、Ｘ線は透過するミラーである。ハーフミラー１０４を用いることでビデオカメラ１０１とＸ線発生部１０２とは、光学的に等価な位置に配置されている。
【００１９】
前述したように、光学的に等価な位置とは、第１の撮像位置と第２の撮像位置において、第１の撮像位置で撮像した撮影画像と第２の撮像位置で撮像した撮影画像とが同じになるような位置のことである。例えば、図１において、ハーフミラー１０４は可視光を反射するため、ハーフミラー１０４がない場合にはＸ線発生部１０２の位置に到達する可視光が、ビデオカメラ１０１の位置に到達する。
【００２０】
従って、ビデオカメラ１０１は、Ｘ線発生部１０２の位置に配置された場合と同じ撮像画像を撮像することが出来る。
【００２１】
Ｘ線センサ１０５は、Ｘ線発生部より発生したＸ線を検出し、Ｘ線画像を生成するセンサである。
【００２２】
本実施形態では、Ｘ線を撮像するが、本発明の利用範囲はこれに限定されるものではなく、Ｘ線波長領域外の放射線から生成される放射線画像を用いてもよい。
【００２３】
中央制御部１０６は、Ｘ線撮影およびビデオカメラ撮影の制御を行うための制御プログラムが格納されたＲＡＭ、制御プログラムを実行するためのＣＰＵなどから構成される。中央制御部１０６は、Ｘ線発生部１０２から発生したＸ線がＸ線センサ１０５で検出されるように、Ｘ線発生部１０２とＸ線センサ１０５とに制御指示を送る。また、ビデオカメラ１０１が可視光撮像できるように、ビデオカメラ１０１に制御指示を送る。
【００２４】
被写体１０７は、例えば手術を受ける患者であり、Ｘ線発生部１０２とＸ線センサ１０５によりＸ線撮影され、ビデオカメラ１０１により可視光撮影される。
【００２５】
第一画像取得部１０９は、ＵＳＢやＩＥＥＥ１３９４などのインターフェースを有し、ビデオカメラ１０１の撮影により取得されたビデオカメラ画像を取得する。
【００２６】
第二画像取得部１１０は、ＵＳＢやＩＥＥＥ１３９４などのインターフェースを有し、Ｘ線センサ１０５からＸ線画像を取得する。
【００２７】
画像記憶部１１１は、ハードディスクやフラッシュメモリなどから構成される。画像記憶部２１１は、第二画像取得部１１０からＸ線画像を受信し、ハードディスクやフラッシュメモリなどに記憶する。Ｘ線撮影は被写体２０７に負担がかかるため、Ｘ線撮影の再撮影は避けるべきである。よって、再撮影を防止するために、Ｘ線撮影により取得されたＸ線画像は画像記憶部２１１に記録される。
【００２８】
表示制御部１１２は、処理プログラムが格納されたＲＡＭや、重畳処理と平滑化処理を行うための処理プログラムを実行するＣＰＵなどから構成される。機能として、画像の重畳を行い、合成画像を生成する合成画像生成手段として機能する重畳機能と、画像の平滑化処理を行う平滑化機能とを有する。中央制御部１０６とＣＰＵやＲＡＭを共有してもよい。また、重畳機能と平滑化機能を行うために、機能ごとにそれぞれ別のＣＰＵおよびＲＡＭを有しても良いし、一つのＣＰＵおよびＲＡＭを共有してもよい。表示制御部１１２は、第一画像取得部１０９からビデオカメラ画像を取得し、画像記憶部１１１からＸ線画像を取得し、ビデオカメラ画像およびＸ線画像に対して重畳処理および平滑化処理を行う。
【００２９】
パラメータ記憶部１１３は、フラッシュメモリなどの記憶装置から構成され、表示制御部１１２の重畳機能で用いる重畳処理パラメータおよび平滑化機能で用いる平滑化処理パラメータを記憶する。重畳処理パラメータは、Ｘ線画像とビデオカメラ画像との重畳比率を示すパラメータと、重畳する領域を示すパラメータとを含むパラメータである。平滑化処理パラメータは、平滑化処理の強度を示すパラメータである。
【００３０】
表示制御部１１２は、重畳処理および平滑化処理を行う際には、パラメータ記憶部１１５から重畳処理パラメータと平滑化処理パラメータとを取得し、画像の重畳処理および平滑化処理を行う。重畳処理と平滑化処理の具体的な処理方法は、図２のフローチャートを用いて後述する。
【００３１】
操作卓１１４は、キーボードやマウスなどの指示装置を有し、ユーザの指示を受ける。パラメータ記憶部１１３には、あらかじめ設定された重畳処理パラメータおよび平滑化処理パラメータが格納されているが、操作卓１１４を介してユーザの指示を受け、それぞれのパラメータを変更してもよい。
【００３２】
画像表示部１１５は、モニタ等の画像表示装置を有し、受信した画像を表示させる。
【００３３】
画像出力部１１６は、表示制御部１１２から画像を受信し、画像表示部１１５で表示することが出来るデータ形式に変換する画像グラフィックボード等から構成され、画像データを画像表示部１１５に送信する。
【００３４】
ここで、ビデオカメラ１０１のズーム調整について説明する。ビデオカメラ１０１とＸ線発生部１０２は前述した光学的に等価な位置に設置されている。よって、ビデオカメラ１０１画像中に写りこんだＸ線センサ１０５を基にズーム調整を行うことで、ビデオカメラ１０１の適切なズーム調整を行うことが出来る。
【００３５】
図３はビデオカメラ画像２０６中に写りこんだＸ線センサ１０５を示している。図３のズーム状態では、Ｘ線センサ１０５は、ビデオカメラ画像３０１全体に対して、幅Ｄだけ小さく写りこんでいる。
【００３６】
ビデオカメラ画像とＸ線画像との良好な重畳処理を行うためには、ビデオカメラ画像２０６の輪郭とＸ線センサとの外縁が一致する（ビデオカメラ画像とＸ線センサ２０５との幅Ｄが０に近くなる）ことが望ましい。
【００３７】
本実施形態では、中央制御装置１０６がビデオカメラ１０１から取得された画像に画像処理を行い、ズーム調節量を算出して、ズーム調整を行う。尚、ビデオカメラで撮影された画像を確認しながら、ユーザがズーム調整を手動で行ってもよい。
【００３８】
次に、図１の装置を用いた本実施形態の処理の流れを、図２（ａ）のフローチャートを用いて、説明する。図２（ａ）のフローチャートの各処理は、図１の中央制御部１０６および表示制御部１１２の指示に基づき、図１の各処理部が動作することにより、実行される。
【００３９】
（ステップ２０１）ステップ２０１では、中央制御部１０６に制御指示に基づき、ビデオカメラ１０１はハーフミラー１０４を介して、被写体１０７のビデオカメラ画像を取得する。取得されたビデオカメラ画像は、第一画像取得部１０９に送信される。
【００４０】
（ステップ２０２）ステップ２０２では、中央制御部１０６の制御指示に基づき、Ｘ線発生部は被写体１０７にＸ線を照射し、Ｘ線センサ１０５は被写体１０７を透過したＸ線からＸ線画像を取得する。取得されたＸ線画像は、第二画像取得部１１０に送信される。第二画像取得部１１０に送信されたＸ線画像は、画像記憶部１１１に記憶される。
【００４１】
（ステップ２０３）ステップ２０３では、重畳処理を行う。重畳処理とは、第一の画像を第二の画像に重ね合わせ、第一の画像と第二の画像との合成画像を生成する処理である。本実施形態では、ステップ２０１で取得した図４（ａ）に示すようなＸ線画像に、ステップ２０２で取得した図４（ｂ）に示すようなビデオカメラ画像を重ね合わせ、合成画像を生成する。本実施形態では、ビデオカメラ画像をＸ線画像に重畳し、合成画像を生成するが、Ｘ線画像をビデオカメラ画像に重畳して合成画像を生成してもよい。
【００４２】
図４（ｃ）に示す画像は、図４（ａ）のＸ線画像に図４（ｂ）のビデオカメラ画像を重畳し、生成した合成画像である。しかし、前述したように、図８（ｂ）に示す周辺領域の位置ずれは大きく、穿刺手術を行っても良い領域かどうか判断することが難しい。ここで、位置ずれとは、前述したように、ビデオカメラ画像などの可視光画像とＸ線画像などの放射線画像とを重畳したときの対応点のずれのことである。
【００４３】
よって、本実施形態では、Ｘ線画像とビデオカメラ画像との位置ずれが小さい領域をビデオカメラ画像から抽出し、抽出された領域のみをＸ線画像に重畳し、合成画像を生成する。
【００４４】
図２（ｂ）は、本実施形態における重畳処理の具体的な方法を示したものである。
【００４５】
ステップ２０４からステップ２０５では、表示制御部１１２は、位置ずれ情報を求める演算手段および該位置ずれ情報に基づき画像処理する画像処理手段として機能する。
【００４６】
（ステップ２０４）ステップ２０４では、表示制御部１１２が位置ずれ情報を求める演算手段として機能し、ビデオカメラ画像とＸ線画像とにおいて、対応する領域の位置ずれが小さい領域を設定する。また、位置ずれが小さい領域を抽出する方法として、ビデオカメラ画像を複数の細かい領域に分割する方法がある。ビデオカメラ画像を分割後、Ｘ線発生部８０２とＸ線センサ８０５との距離およびＸ線発生部の絞りから、分割されたビデオカメラ画像の各領域に対するＸ線の照射角を算出する。そして、被写体の厚みと算出された照射角の正接から、各領域における位置ずれを算出することが出来る。
【００４７】
最後に、表示制御手段は、所定形状の領域を設定する設定手段として機能し、算出された位置ずれが、あらかじめ設定された値よりも大きい領域の集合を重畳する領域に設定する。具体的な処理としては、位置ずれがあらかじめ設定された値よりも大きい領域の画素値を０に設定する。また、より簡易な方法として、画像の中央部分は比較的位置ずれが小さくなることを利用し、画像の中央部から所定の大きさの領域を位置ずれの小さい領域とみなしてもよい。位置ずれが小さい領域を設定するには、重畳処理パラメータに含まれるあらかじめ設定された重畳する領域を示すパラメータを用いて設定してもよい。
【００４８】
（ステップ２０５）ステップ２０５では、表示制御部１１２は、パラメータ記憶部１１３から取得した重畳処理パラメータに含まれる合成比率に基づき、第一画像取得部１０９から取得したビデオカメラ画像中の画素を間引く処理を行う。例えば、合成比率に５０パーセントが設定されている場合、ビデオカメラ画像に含まれる全体画素のうち、ランダムに選ばれた半数の画素を間引く。
【００４９】
（ステップ２０６）ステップ２０６では、重畳処理を行う。表示制御部１１２は、ビデオカメラ画像の画素と画像記憶部１１１から取得されたＸ線画像の画素との比較判定処理を行う。比較判定処理では、Ｘ線画像の画素と同じ位置に、ビデオカメラ画像の画素が存在するか否かを判定する。同じ位置に画素が存在する場合、合成画像の画素値には、ビデオカメラ画像の画素値を設定する。同じ位置に画素が存在しない場合、Ｘ線画像の画素値を設定する。以上の処理によって、合成画像のすべての画素値が設定され、合成比率に基づく合成画像が生成される。生成された合成画像は、表示手段として機能する画像表示部１１５に表示される。合成画像が表示されることにより、ユーザは、位置ずれを把握し、穿刺手術を行って良い領域であるか否かを容易に判断することが出来る。
【００５０】
前述したように、一般的には画像の中央部分の位置ずれは小さくなるため、合成画像は中央部分のみにＸ線画像が重畳された図４（ｄ）のようになる。位置ずれが小さい中央部分のみにＸ線画像が重畳されているため、ユーザは位置ずれを把握し、穿刺手術を行うことが可能な領域を判断することが出来る。
【００５１】
上記図２（ｂ）の処理では、位置ずれを推定し、重畳領域を抽出した。しかし、ユーザの指示に基づき抽出領域を設定してもよい。例えば、画像表示部１１５に表示された画像中の二点をユーザがマウス等で指定することによって、指定された二点を頂点とする矩形領域を重畳領域に設定する。また、重畳領域の中心点が画像の中央にあらかじめ設定されている場合は、ユーザは画像中の一点を指定することにより、重畳領域となる矩形領域を設定することが出来る。この矩形領域は、図５（ａ）に示すように、画像外枠の形状と相似になるように設定される。また矩形ではなく円形の中央領域とすることも可能であり、円形の場合は図５（ｂ）に示すように、画像の中心を抽出領域の中心として、ユーザによって指定された座標と画像の中心座標との距離を半径とする円を重畳領域として設定する。
【００５２】
上記処理では、ビデオカメラ画像の位置ずれが小さい重畳領域を抽出し、抽出した領域のみをＸ線画像に重畳し、合成画像を生成した。しかし、重畳領域を抽出せずに、平滑化処理を用いてＸ線画像の中央部分のみにビデオカメラ画像が重畳された合成画像を生成してもよい。
【００５３】
ここで、平滑化処理の方法について説明する。平滑化処理とは、対象の画像を濃度の変化が少ないぼけ画像に補正する処理である。本実施形態では、合成画像中において、ビデオカメラ画像とＸ線画像とのずれが大きい周辺領域をぼかすために、周辺領域に対して平滑化処理を行う。
【００５４】
表示制御部１１２は、平滑化処理を行う際には、平滑化処理を行う範囲を重畳領域の設定方法と同様の方法で設定する。平滑化処理を行う範囲は、重畳領域の設定と同様に、あらかじめ設定された重畳する領域を示すパラメータを用いても良いし、ユーザの指示に基づき設定してもよい。平滑化処理を行う範囲の設定後、平滑化処理を行う範囲に対して平滑化処理を行う。平滑化処理には様々な方法が提案されている。例えば、画像中の各画素に対して周囲画素の平均値を算出し、各画素を平均値に変更することによって、平滑化処理を行うことが出来る。以上の平滑化処理により、ビデオカメラ画像とＸ線画像とがずれが大きい領域は、ぼけ画像にすることが出来る。
【００５５】
以上の処理によって、位置ずれを判別することが出来る合成画像が生成される。位置ずれを判別することが出来る合成画像を生成することにより、ユーザは位置ずれを判別し、穿刺手術を行って良いか否かを判別することが出来る。
【００５６】
＜第二の実施形態＞
第二の実施形態について説明する。本実施形態における装置の構成は第一の実施形態と同じである。第一の実施形態と異なる点は、合成画像を複数の領域に分割し、それぞれの領域に異なる重畳処理もしくは平滑化処理を行うことである。
【００５７】
図６に合成画像の分割例を示す。図６（ａ）は矩形領域で分割した場合、図６（ｂ）は円形領域で分割した場合を示す図である。図６（ａ）、（ｂ）では、合成画像の中央領域から外側へ同心円状の複数の領域を作成している。
【００５８】
本実施形態では、分割された複数の領域それぞれに異なった重畳、もしくは平滑化の処理を行う。
【００５９】
第一に、本実施形態における重畳の方法を説明する。第一の実施形態の重畳処理では、Ｘ線画像の中央領域のみにビデオカメラ画像を重畳した。本実施形態ではビデオカメラ画像の重畳の割合を分割された領域ごとに変更する。具体的には、Ｘ線画像とビデオカメラ画像との中央領域における重畳の割合をａ：ｂとし、また中央領域以外の領域がｎ個の領域に分割されていた場合、中央領域側からｉ番目の領域におけるＸ線画像とビデオカメラ画像との割合は次の式１のようにする。
【００６０】
【数１】
【００６１】
式１の割合で、重畳の割合を変化させると、画像の外側に近くなるほどビデオカメラ画像の比率が小さくなる。最も外側の領域における重畳の割合は、１：０つまり、ビデオカメラ画像が重畳されていないＸ線画像になる。以上のように、ビデオカメラ画像の重畳の割合を外側に近いほど段階的に小さくすると、ユーザは、ビデオカメラ画像とＸ線画像とのずれが小さい部分と大きい部分との判別を段階的に行うことが出来る。尚、Ｘ線画像をビデオカメラ画像に重畳する場合、Ｘ線画像とビデオカメラ画像との割合を逆にしてもよい。
【００６２】
第二に、本実施形態における平滑化の方法を説明する。平滑化の処理では、まず、Ｘ線画像とビデオカメラ画像から図４（ｃ）のような重畳領域が制限されていない合成画像を生成する。
【００６３】
生成された合成画像の領域を分割し、分割された領域のうち、画像の中央領域は平滑化を行わず、画像の中央領域より離れるほど平滑化の強度を高めることで画像に対する段階的な平滑化を行う。ここで、平滑化の強度を高くするには、平滑化処理における画素の平均値を算出する際に、よき広範囲の周辺画素を用いることで達成される。
【００６４】
段階的な平滑化を行うには、例えば、式（１）を用いた平滑化フィルタを用いて、平滑化処理の平滑化の強度を決定してもよい。また、ユーザの指示に基づき平滑化の強度を変化させてもよい。
【００６５】
以上のように、ビデオカメラ画像の平滑化の強度を外側に近いほど段階的に小さくすると、ユーザは、ビデオカメラ画像とＸ線画像とのずれが小さい部分と大きい部分との判別を段階的に行うことが出来る。
【００６６】
＜第三の実施形態＞
第三の実施形態における装置の構成は、第一の実施形態における図１の装置の構成と同じである。第一実施形態と異なる点は、表示制御部１１２が、物体データを検知する物体検知手段として機能する物体検出機能および物体認識機能を有していることである。物体検出機能および物体認識機能は、それぞれ表示制御部１１２の一機能であり、表示制御部１１２が有するＲＡＭに格納された処理プログラムをＣＰＵが実行することにより、達成される。
【００６７】
物体検出機能は、所定の物体（例えば、人の手など）の物体データをあらかじめＲＡＭなどに保持しておき、ビデオカメラ画像を画像処理することにより、画像から所定の物体を検出することが出来る。物体認識機能は、複数のビデオカメラ画像データをＲＡＭなどに保持し、複数のビデオカメラ画像データの差分画像から、画像中に所定の物体が写りこんでいるか否かを判定することが出来る。
【００６８】
物体検出機能はビデオカメラ画像中のユーザの手の写り込みを検出するものである。ユーザによって手術やマーキング等の処置が施される際には、ビデオカメラ画像中にユーザの手の写りこみが発生する。物体検出機能が手を検出したときには、手術やマーキング等の処置を施そうとしているとみなすことが出来る。手術やマーキング等の処置を施そうとしている場合には、ビデオカメラ画像とＸ線画像との位置ずれが大きい領域と小さい領域を判別しやすくするために、ビデオカメラ画像から位置ずれの小さい重畳領域を抽出し、抽出された領域を重畳する。
【００６９】
また、物体認識機能は、複数の画像の差分画像から物体が移りこんでいるか否かを判定する。よって、ユーザの手の写りこみが生じる前のビデオカメラ画像と、ユーザの手の写りこみが生じた後のビデオカメラ画像との差分画像を作成し、ビデオカメラ画像中に動きのある被写体の有無を認識することが出来る。被写体が認識されない場合、ユーザの手の写りこみが解消されたとみなすことが出来る。ユーザの手の写りこみが解消されたときには、重畳領域を制限する必要がない。従って、重畳領域を制限せずに、Ｘ線画像をビデオカメラ画像に重畳し、ユーザにとって被写体全体を把握しやすい画像に変更する。図７に、本実施形態における画像重畳のフローチャートを示す。図７のフローチャートの各処理は、図１に示す装置の各構成により、実施される。図７のフローチャートでは、検知される物体データとして、ユーザの手を用いて説明する。
【００７０】
（ステップ７０１）ステップ７０１のＸ線画像取得においては、Ｘ線センサ１０５によって検出された信号が第二画像取得部１１０によってＸ線画像として取得され、画像記憶部１１１に記録される。
【００７１】
（ステップ７０２）ステップ７０２のビデオカメラ画像取得においては、第一の画像取得部１０９は、ビデオカメラ１０１によって撮影されたビデオカメラ画像を取得する。ここでビデオカメラ画像を取得することが出来ない場合、処理を終了する（エンドに進む）。
【００７２】
ビデオカメラ画像を取得することができた場合、ステップ７０３へ処理を進める。
【００７３】
（ステップ７０３）ステップ７０３の物体検知においては、表示制御部１１２の機能である物体検出機能がビデオカメラ画像中にユーザの手が写りこんでいるか否かを検知する。この検知の際には、
前述したように、ユーザの手のモデリングデータを用いて、画像中にユーザの手が検出されるか否かを判定する。
【００７４】
（ステップ７０４）ステップ７０３の物体検知において、ユーザの手が検知されない場合、ステップ７０４の画像重畳を行う。ビデオカメラ画像中にユーザの手が検知されないということは、ユーザの手の写りこみがないことを示している。従って、ステップ７０４の画像重畳では、画像処理手段として機能する表示制御部１１２は、平滑化処理もしくは重畳領域の制限は行わず、ビデオカメラ画像の全面をＸ線画像に重畳し、合成画像を生成する。
【００７５】
（ステップ７０５）次に、ステップ７０５の画像出力では、ステップ７０４の画像重畳で生成された合成画像を画像出力部１１６に送信し、画像表示部１１５は合成画像を表示する。表示される合成画像は図５（ｃ）のような画像であり、ユーザは画像全体に対して重畳が行われた画像を観察することができる。合成画像表示後は、再び、ステップ７０２のビデオカメラ画像取得へと移行する。
【００７６】
（ステップ７０６）一方、ステップ７０３の物体検知において、ユーザの手が検出された場合、ステップ７０６の画像限定重畳へと進む。ステップ７０３の物体検知においてユーザの手が検出されたということは、ユーザが被写体に対して手術やマーキング等の何らかの処置を施そうとしているものとみなすことが出来る。ステップ７０６の画像限定重畳では、画像処理手段として機能する表示手段１１２が、第一もしくは第二の実施形態で説明した方法により、ビデオカメラ画像のずれの小さい領域のみをＸ線画像に重畳し、合成画像を生成する。もしくは、位置ずれの大きい周辺領域に対して平滑化処理を行う。
【００７７】
（ステップ７０７）ステップ７０７の画像出力では、合成画像を画像出力部１１６に送信し、画像表示部１１５は送信された合成画像を表示する。表示された画像の周辺領域には、Ｘ線画像とビデオカメラ画像とが重畳されておらず、ユーザは、位置ずれの大きい領域と小さい領域とを判別することが出来る。
【００７８】
（ステップ７０８）ステップ７０８のビデオカメラ画像取得では、前述のステップ７０２のビデオカメラ画像取得と同様にビデオカメラ１０１によって撮影された画像が第一の画像取得部１０９によって画像として取得される。
【００７９】
（ステップ７０９）ステップ７０９の物体検知解消では、物体認識機能が、ステップ７０８のビデオカメラ画像取得で取得したビデオカメラ画像と、ステップ７０３の物体検知でユーザの手が検知される前の画像とを比較する。画像の比較によって、ビデオカメラ画像上に写りこんだユーザの手を認識し、認識した被写体が画面内から消えたか否かを判定する。判定方法として、例えば、ステップ７０３の物体検知で動きが検出される前の画像と、ステップ７０８のビデオカメラ画像取得で取得したビデオカメラ画像との差分画像を生成する。そして、差分画像の差がある閾値以下であったときにユーザの手が画面内から消えたと判定する方法がある。認識したユーザの手の写りこみが解消された場合は、手術やマーキング等の処置が施されることがないとみなすことが出来る。
【００８０】
よって、ステップ７０４の画像重畳へと移行する。ユーザの手の移りこみが解消されない場合は依然として手術やマーキング等の処置が施される可能性があるため、ステップ７０６の画像限定重畳へと移行する。
【００８１】
以上の処理によって、ユーザの操作に応じて、手術等の処置が施されない場合は通常の重畳を行い、観察領域を広くし、ユーザにとって診察のし易い環境を提供する。手術等の処置が施される場合は限定的な重畳を行うことによって画像重畳による医療ミスを未然に防ぐことができる。
【００８２】
以上のステップ７０１からステップ７０９までの処理を行い、物体検出機能が物体データ（人の手など）を検知したか否かで画像処理を変更することにより、手術を行う際のユーザの利便性を向上させることが出来る。
【図面の簡単な説明】
【００８３】
【図１】第１の実施形態の装置構成を示す図
【図２】第１の実施形態の処理の流れ示す図
【図３】第１の実施形態のズーム調整を行う際の画像例である
【図４】第１の実施形態において表示される画像の例を示す図
【図５】第１の実施形態における重畳領域の指定方法を示す図
【図６】第２の実施形態における画像領域分割例を示す図
【図７】第３の実施形態の処理の流れを示す図
【図８】従来技術の課題を示す図
【技術分野】
【０００１】
本発明は、放射線画像と可視光画像とを用いる画像処理装置および方法に関する。
【背景技術】
【０００２】
医療分野のＸ線透視撮影装置において、Ｘ線撮影画像とビデオカメラ画像との合成画像を生成することにより、Ｘ線が照射されている被写体の部位を確認しやすくする技術がある。
【０００３】
例えば、Ｘ線発生部と光学的に等価な位置にビデオカメラを設け、ビデオカメラ画像にＸ線透視画像を重畳した画像をモニタ上に表示する方法がある。光学的に等価な位置とは、第１の撮像位置と第２の撮像位置において、第１の撮像位置で撮像した撮影画像と第２の撮像位置で撮像した撮影画像とが同じになる位置のことである。一般的には、ハーフミラーなどを用いて、ビデオカメラをＸ線発生部の位置と光学的に等価な位置に配置する。
【０００４】
特許文献１では、Ｘ線発生部とビデオカメラとをほぼ同じ位置に配置し、撮像されたＸ線画像とビビデオカメラ画像とを合成した合成画像を生成することが開示されている。
【特許文献１】特登録３５５４１７２号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
現在、Ｘ線画像とビデオカメラ画像との合成画像を用いて、脊髄の所定の位置を確認し、確認された所定位置に手術具を穿刺する手術方法が提案されている。手術具を穿刺する手術は、低侵襲手術の一つであり、切開部分が小さいため患者への身体的負担が小さくなる。
【０００６】
この手術方法では、まずＸ線撮影装置によってＸ線画像を撮像する。次に、Ｘ線撮影装置のＸ線発生部と光学的に等価な位置にビデオカメラを配置して撮影を行い、Ｘ線発生部と同じ視点からのビデオカメラ画像を得る。得られたビデオカメラ画像とＸ線画像とを合成し、合成画像を生成する。医師は、生成された合成画像を観察することにより、目的の穿刺部位を確認し、穿刺部位に該当する被写体の所定位置にマーキングする。最後に、マーキングされた位置から穿刺を行う。
【０００７】
図８（ａ）はＸ線画像とビデオカメラ画像との合成画像を用いた穿刺手術において、穿刺を適切に行うことが出来る場合を示している。ハーフミラー８０１は、Ｘ線は透過し、可視光画像は反射するミラーである。図８（ａ）では、ハーフミラー８０１を用いることにより、Ｘ線発生部８０２とビデオカメラ８０３とが光学的に等価な位置となるように配置され、被写体８０４を撮影している。Ｘ線発生部８０２より照射されたＸ線は、被写体８０４を透過し、Ｘ線センサ８０５により検知される。
【０００８】
図８（ａ）において、Ｘ線８０６は被写体８０４の中央部を透過する。合成画像の中央部には、ビデオカメラ８０３で撮像したポイント８０８のビデオカメラ画像と、ポイント８０８からポイント８０９の間を透過したＸ線をＸ線センサ８０５で撮像したＸ線画像とが重畳される。ポイント８０９は、ポイント８０８の垂直下方向の位置にある。よって、ポイント８０８からポイント８０９の間に穿刺手術の対象点がある場合、ポイント８０８にマーキングして、ポイント８０８から垂直下方向に穿刺を行えば、問題なく手術を行うことが出来る。
【０００９】
一方、図８（ｂ）におけるＸ線８０７は、被写体８０４の縁部を透過するＸ線である。図８（ｂ）から分かるように、被写体８０４のポイント８１０からポイント８１１の間を透過したＸ線８０７をＸ線センサ８０５で撮像することにより、Ｘ線画像が撮像される。これに対して、ビデオカメラ８０３はポイント８１０のビデオカメラ画像を撮像する。
【００１０】
従って、合成画像の縁部分には、ビデオカメラ８０３で撮像したポイント８１０のビデオカメラ画像と、Ｘ線センサ８０５で撮像したポイント８１０からポイント８１１の間を透過したＸ線のＸ線画像とが重畳される。
【００１１】
ポイント８１０とポイント８１１とは、水平方向にｄだけずれている。以後、ビデオカメラ画像などの可視光画像とＸ線画像などの放射線画像とを重畳したときの対応点のずれｄを、位置ずれと定義する。よって、ポイント８１１が穿刺手術の対象である場合、ポイント８１０から垂直下方向に穿刺手術を行っても、手術具は手術対象のポイント１１１に到達しない。位置ずれｄが大きいほど穿刺手術を行うことが困難になるが、従来技術によれば、穿刺手術を行って良い領域であるか否かを合成画像から判断することが困難であった。
【００１２】
上記課題を鑑み、本発明は、放射線線画像と可視光画像との合成画像における位置ずれを、ユーザが判断することが出来るようにすることを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を鑑み、本発明は被写体からの可視光を撮像することにより得られた可視光画像と、該被写体を透過した放射線を撮像することにより得られた放射線画像との位置ずれ情報を求める演算手段と、前記可視光画像と前記放射線画像とを合成し、合成画像を生成する合成画像生成手段と、前記合成画像生成手段で合成される前の前記可視光画像と、前記合成画像生成手段で合成される前の前記放射線画像と、前記合成画像生成手段で生成された前記合成画像とのいずれかを、前記位置ずれ情報に基づき画像処理する画像処理手段とを有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、放射線線画像と可視光画像との合成画像における位置ずれを、ユーザが判断することが出来るようにすることが出来る。
【発明を実施するための最良の形態】
【００１５】
＜第一の実施形態＞
図１は本実施形態における装置構成を示す図である。尚、以下に示す各構成の処理は、コンピュータによる処理で代替することも可能である。
【００１６】
ビデオカメラ１０１は、可視光を撮影するためのカメラである。本実施形態では、可視光を撮影するためにビデオカメラを用いるが、可視光を撮像出来るのであれば、別の装置を用いても良い。
【００１７】
Ｘ線発生部１０２は、内蔵するＸ線管球に電圧を印加することによって、Ｘ線を発生させるＸ線発生装置である。コリメータ１０３は、Ｘ線の焦点の調節器であり、Ｘ線発生器１０２で発生したＸ線はコリメータ１０３を介して照射される。
【００１８】
ハーフミラー１０４は、可視光を反射し、Ｘ線は透過するミラーである。ハーフミラー１０４を用いることでビデオカメラ１０１とＸ線発生部１０２とは、光学的に等価な位置に配置されている。
【００１９】
前述したように、光学的に等価な位置とは、第１の撮像位置と第２の撮像位置において、第１の撮像位置で撮像した撮影画像と第２の撮像位置で撮像した撮影画像とが同じになるような位置のことである。例えば、図１において、ハーフミラー１０４は可視光を反射するため、ハーフミラー１０４がない場合にはＸ線発生部１０２の位置に到達する可視光が、ビデオカメラ１０１の位置に到達する。
【００２０】
従って、ビデオカメラ１０１は、Ｘ線発生部１０２の位置に配置された場合と同じ撮像画像を撮像することが出来る。
【００２１】
Ｘ線センサ１０５は、Ｘ線発生部より発生したＸ線を検出し、Ｘ線画像を生成するセンサである。
【００２２】
本実施形態では、Ｘ線を撮像するが、本発明の利用範囲はこれに限定されるものではなく、Ｘ線波長領域外の放射線から生成される放射線画像を用いてもよい。
【００２３】
中央制御部１０６は、Ｘ線撮影およびビデオカメラ撮影の制御を行うための制御プログラムが格納されたＲＡＭ、制御プログラムを実行するためのＣＰＵなどから構成される。中央制御部１０６は、Ｘ線発生部１０２から発生したＸ線がＸ線センサ１０５で検出されるように、Ｘ線発生部１０２とＸ線センサ１０５とに制御指示を送る。また、ビデオカメラ１０１が可視光撮像できるように、ビデオカメラ１０１に制御指示を送る。
【００２４】
被写体１０７は、例えば手術を受ける患者であり、Ｘ線発生部１０２とＸ線センサ１０５によりＸ線撮影され、ビデオカメラ１０１により可視光撮影される。
【００２５】
第一画像取得部１０９は、ＵＳＢやＩＥＥＥ１３９４などのインターフェースを有し、ビデオカメラ１０１の撮影により取得されたビデオカメラ画像を取得する。
【００２６】
第二画像取得部１１０は、ＵＳＢやＩＥＥＥ１３９４などのインターフェースを有し、Ｘ線センサ１０５からＸ線画像を取得する。
【００２７】
画像記憶部１１１は、ハードディスクやフラッシュメモリなどから構成される。画像記憶部２１１は、第二画像取得部１１０からＸ線画像を受信し、ハードディスクやフラッシュメモリなどに記憶する。Ｘ線撮影は被写体２０７に負担がかかるため、Ｘ線撮影の再撮影は避けるべきである。よって、再撮影を防止するために、Ｘ線撮影により取得されたＸ線画像は画像記憶部２１１に記録される。
【００２８】
表示制御部１１２は、処理プログラムが格納されたＲＡＭや、重畳処理と平滑化処理を行うための処理プログラムを実行するＣＰＵなどから構成される。機能として、画像の重畳を行い、合成画像を生成する合成画像生成手段として機能する重畳機能と、画像の平滑化処理を行う平滑化機能とを有する。中央制御部１０６とＣＰＵやＲＡＭを共有してもよい。また、重畳機能と平滑化機能を行うために、機能ごとにそれぞれ別のＣＰＵおよびＲＡＭを有しても良いし、一つのＣＰＵおよびＲＡＭを共有してもよい。表示制御部１１２は、第一画像取得部１０９からビデオカメラ画像を取得し、画像記憶部１１１からＸ線画像を取得し、ビデオカメラ画像およびＸ線画像に対して重畳処理および平滑化処理を行う。
【００２９】
パラメータ記憶部１１３は、フラッシュメモリなどの記憶装置から構成され、表示制御部１１２の重畳機能で用いる重畳処理パラメータおよび平滑化機能で用いる平滑化処理パラメータを記憶する。重畳処理パラメータは、Ｘ線画像とビデオカメラ画像との重畳比率を示すパラメータと、重畳する領域を示すパラメータとを含むパラメータである。平滑化処理パラメータは、平滑化処理の強度を示すパラメータである。
【００３０】
表示制御部１１２は、重畳処理および平滑化処理を行う際には、パラメータ記憶部１１５から重畳処理パラメータと平滑化処理パラメータとを取得し、画像の重畳処理および平滑化処理を行う。重畳処理と平滑化処理の具体的な処理方法は、図２のフローチャートを用いて後述する。
【００３１】
操作卓１１４は、キーボードやマウスなどの指示装置を有し、ユーザの指示を受ける。パラメータ記憶部１１３には、あらかじめ設定された重畳処理パラメータおよび平滑化処理パラメータが格納されているが、操作卓１１４を介してユーザの指示を受け、それぞれのパラメータを変更してもよい。
【００３２】
画像表示部１１５は、モニタ等の画像表示装置を有し、受信した画像を表示させる。
【００３３】
画像出力部１１６は、表示制御部１１２から画像を受信し、画像表示部１１５で表示することが出来るデータ形式に変換する画像グラフィックボード等から構成され、画像データを画像表示部１１５に送信する。
【００３４】
ここで、ビデオカメラ１０１のズーム調整について説明する。ビデオカメラ１０１とＸ線発生部１０２は前述した光学的に等価な位置に設置されている。よって、ビデオカメラ１０１画像中に写りこんだＸ線センサ１０５を基にズーム調整を行うことで、ビデオカメラ１０１の適切なズーム調整を行うことが出来る。
【００３５】
図３はビデオカメラ画像２０６中に写りこんだＸ線センサ１０５を示している。図３のズーム状態では、Ｘ線センサ１０５は、ビデオカメラ画像３０１全体に対して、幅Ｄだけ小さく写りこんでいる。
【００３６】
ビデオカメラ画像とＸ線画像との良好な重畳処理を行うためには、ビデオカメラ画像２０６の輪郭とＸ線センサとの外縁が一致する（ビデオカメラ画像とＸ線センサ２０５との幅Ｄが０に近くなる）ことが望ましい。
【００３７】
本実施形態では、中央制御装置１０６がビデオカメラ１０１から取得された画像に画像処理を行い、ズーム調節量を算出して、ズーム調整を行う。尚、ビデオカメラで撮影された画像を確認しながら、ユーザがズーム調整を手動で行ってもよい。
【００３８】
次に、図１の装置を用いた本実施形態の処理の流れを、図２（ａ）のフローチャートを用いて、説明する。図２（ａ）のフローチャートの各処理は、図１の中央制御部１０６および表示制御部１１２の指示に基づき、図１の各処理部が動作することにより、実行される。
【００３９】
（ステップ２０１）ステップ２０１では、中央制御部１０６に制御指示に基づき、ビデオカメラ１０１はハーフミラー１０４を介して、被写体１０７のビデオカメラ画像を取得する。取得されたビデオカメラ画像は、第一画像取得部１０９に送信される。
【００４０】
（ステップ２０２）ステップ２０２では、中央制御部１０６の制御指示に基づき、Ｘ線発生部は被写体１０７にＸ線を照射し、Ｘ線センサ１０５は被写体１０７を透過したＸ線からＸ線画像を取得する。取得されたＸ線画像は、第二画像取得部１１０に送信される。第二画像取得部１１０に送信されたＸ線画像は、画像記憶部１１１に記憶される。
【００４１】
（ステップ２０３）ステップ２０３では、重畳処理を行う。重畳処理とは、第一の画像を第二の画像に重ね合わせ、第一の画像と第二の画像との合成画像を生成する処理である。本実施形態では、ステップ２０１で取得した図４（ａ）に示すようなＸ線画像に、ステップ２０２で取得した図４（ｂ）に示すようなビデオカメラ画像を重ね合わせ、合成画像を生成する。本実施形態では、ビデオカメラ画像をＸ線画像に重畳し、合成画像を生成するが、Ｘ線画像をビデオカメラ画像に重畳して合成画像を生成してもよい。
【００４２】
図４（ｃ）に示す画像は、図４（ａ）のＸ線画像に図４（ｂ）のビデオカメラ画像を重畳し、生成した合成画像である。しかし、前述したように、図８（ｂ）に示す周辺領域の位置ずれは大きく、穿刺手術を行っても良い領域かどうか判断することが難しい。ここで、位置ずれとは、前述したように、ビデオカメラ画像などの可視光画像とＸ線画像などの放射線画像とを重畳したときの対応点のずれのことである。
【００４３】
よって、本実施形態では、Ｘ線画像とビデオカメラ画像との位置ずれが小さい領域をビデオカメラ画像から抽出し、抽出された領域のみをＸ線画像に重畳し、合成画像を生成する。
【００４４】
図２（ｂ）は、本実施形態における重畳処理の具体的な方法を示したものである。
【００４５】
ステップ２０４からステップ２０５では、表示制御部１１２は、位置ずれ情報を求める演算手段および該位置ずれ情報に基づき画像処理する画像処理手段として機能する。
【００４６】
（ステップ２０４）ステップ２０４では、表示制御部１１２が位置ずれ情報を求める演算手段として機能し、ビデオカメラ画像とＸ線画像とにおいて、対応する領域の位置ずれが小さい領域を設定する。また、位置ずれが小さい領域を抽出する方法として、ビデオカメラ画像を複数の細かい領域に分割する方法がある。ビデオカメラ画像を分割後、Ｘ線発生部８０２とＸ線センサ８０５との距離およびＸ線発生部の絞りから、分割されたビデオカメラ画像の各領域に対するＸ線の照射角を算出する。そして、被写体の厚みと算出された照射角の正接から、各領域における位置ずれを算出することが出来る。
【００４７】
最後に、表示制御手段は、所定形状の領域を設定する設定手段として機能し、算出された位置ずれが、あらかじめ設定された値よりも大きい領域の集合を重畳する領域に設定する。具体的な処理としては、位置ずれがあらかじめ設定された値よりも大きい領域の画素値を０に設定する。また、より簡易な方法として、画像の中央部分は比較的位置ずれが小さくなることを利用し、画像の中央部から所定の大きさの領域を位置ずれの小さい領域とみなしてもよい。位置ずれが小さい領域を設定するには、重畳処理パラメータに含まれるあらかじめ設定された重畳する領域を示すパラメータを用いて設定してもよい。
【００４８】
（ステップ２０５）ステップ２０５では、表示制御部１１２は、パラメータ記憶部１１３から取得した重畳処理パラメータに含まれる合成比率に基づき、第一画像取得部１０９から取得したビデオカメラ画像中の画素を間引く処理を行う。例えば、合成比率に５０パーセントが設定されている場合、ビデオカメラ画像に含まれる全体画素のうち、ランダムに選ばれた半数の画素を間引く。
【００４９】
（ステップ２０６）ステップ２０６では、重畳処理を行う。表示制御部１１２は、ビデオカメラ画像の画素と画像記憶部１１１から取得されたＸ線画像の画素との比較判定処理を行う。比較判定処理では、Ｘ線画像の画素と同じ位置に、ビデオカメラ画像の画素が存在するか否かを判定する。同じ位置に画素が存在する場合、合成画像の画素値には、ビデオカメラ画像の画素値を設定する。同じ位置に画素が存在しない場合、Ｘ線画像の画素値を設定する。以上の処理によって、合成画像のすべての画素値が設定され、合成比率に基づく合成画像が生成される。生成された合成画像は、表示手段として機能する画像表示部１１５に表示される。合成画像が表示されることにより、ユーザは、位置ずれを把握し、穿刺手術を行って良い領域であるか否かを容易に判断することが出来る。
【００５０】
前述したように、一般的には画像の中央部分の位置ずれは小さくなるため、合成画像は中央部分のみにＸ線画像が重畳された図４（ｄ）のようになる。位置ずれが小さい中央部分のみにＸ線画像が重畳されているため、ユーザは位置ずれを把握し、穿刺手術を行うことが可能な領域を判断することが出来る。
【００５１】
上記図２（ｂ）の処理では、位置ずれを推定し、重畳領域を抽出した。しかし、ユーザの指示に基づき抽出領域を設定してもよい。例えば、画像表示部１１５に表示された画像中の二点をユーザがマウス等で指定することによって、指定された二点を頂点とする矩形領域を重畳領域に設定する。また、重畳領域の中心点が画像の中央にあらかじめ設定されている場合は、ユーザは画像中の一点を指定することにより、重畳領域となる矩形領域を設定することが出来る。この矩形領域は、図５（ａ）に示すように、画像外枠の形状と相似になるように設定される。また矩形ではなく円形の中央領域とすることも可能であり、円形の場合は図５（ｂ）に示すように、画像の中心を抽出領域の中心として、ユーザによって指定された座標と画像の中心座標との距離を半径とする円を重畳領域として設定する。
【００５２】
上記処理では、ビデオカメラ画像の位置ずれが小さい重畳領域を抽出し、抽出した領域のみをＸ線画像に重畳し、合成画像を生成した。しかし、重畳領域を抽出せずに、平滑化処理を用いてＸ線画像の中央部分のみにビデオカメラ画像が重畳された合成画像を生成してもよい。
【００５３】
ここで、平滑化処理の方法について説明する。平滑化処理とは、対象の画像を濃度の変化が少ないぼけ画像に補正する処理である。本実施形態では、合成画像中において、ビデオカメラ画像とＸ線画像とのずれが大きい周辺領域をぼかすために、周辺領域に対して平滑化処理を行う。
【００５４】
表示制御部１１２は、平滑化処理を行う際には、平滑化処理を行う範囲を重畳領域の設定方法と同様の方法で設定する。平滑化処理を行う範囲は、重畳領域の設定と同様に、あらかじめ設定された重畳する領域を示すパラメータを用いても良いし、ユーザの指示に基づき設定してもよい。平滑化処理を行う範囲の設定後、平滑化処理を行う範囲に対して平滑化処理を行う。平滑化処理には様々な方法が提案されている。例えば、画像中の各画素に対して周囲画素の平均値を算出し、各画素を平均値に変更することによって、平滑化処理を行うことが出来る。以上の平滑化処理により、ビデオカメラ画像とＸ線画像とがずれが大きい領域は、ぼけ画像にすることが出来る。
【００５５】
以上の処理によって、位置ずれを判別することが出来る合成画像が生成される。位置ずれを判別することが出来る合成画像を生成することにより、ユーザは位置ずれを判別し、穿刺手術を行って良いか否かを判別することが出来る。
【００５６】
＜第二の実施形態＞
第二の実施形態について説明する。本実施形態における装置の構成は第一の実施形態と同じである。第一の実施形態と異なる点は、合成画像を複数の領域に分割し、それぞれの領域に異なる重畳処理もしくは平滑化処理を行うことである。
【００５７】
図６に合成画像の分割例を示す。図６（ａ）は矩形領域で分割した場合、図６（ｂ）は円形領域で分割した場合を示す図である。図６（ａ）、（ｂ）では、合成画像の中央領域から外側へ同心円状の複数の領域を作成している。
【００５８】
本実施形態では、分割された複数の領域それぞれに異なった重畳、もしくは平滑化の処理を行う。
【００５９】
第一に、本実施形態における重畳の方法を説明する。第一の実施形態の重畳処理では、Ｘ線画像の中央領域のみにビデオカメラ画像を重畳した。本実施形態ではビデオカメラ画像の重畳の割合を分割された領域ごとに変更する。具体的には、Ｘ線画像とビデオカメラ画像との中央領域における重畳の割合をａ：ｂとし、また中央領域以外の領域がｎ個の領域に分割されていた場合、中央領域側からｉ番目の領域におけるＸ線画像とビデオカメラ画像との割合は次の式１のようにする。
【００６０】
【数１】
【００６１】
式１の割合で、重畳の割合を変化させると、画像の外側に近くなるほどビデオカメラ画像の比率が小さくなる。最も外側の領域における重畳の割合は、１：０つまり、ビデオカメラ画像が重畳されていないＸ線画像になる。以上のように、ビデオカメラ画像の重畳の割合を外側に近いほど段階的に小さくすると、ユーザは、ビデオカメラ画像とＸ線画像とのずれが小さい部分と大きい部分との判別を段階的に行うことが出来る。尚、Ｘ線画像をビデオカメラ画像に重畳する場合、Ｘ線画像とビデオカメラ画像との割合を逆にしてもよい。
【００６２】
第二に、本実施形態における平滑化の方法を説明する。平滑化の処理では、まず、Ｘ線画像とビデオカメラ画像から図４（ｃ）のような重畳領域が制限されていない合成画像を生成する。
【００６３】
生成された合成画像の領域を分割し、分割された領域のうち、画像の中央領域は平滑化を行わず、画像の中央領域より離れるほど平滑化の強度を高めることで画像に対する段階的な平滑化を行う。ここで、平滑化の強度を高くするには、平滑化処理における画素の平均値を算出する際に、よき広範囲の周辺画素を用いることで達成される。
【００６４】
段階的な平滑化を行うには、例えば、式（１）を用いた平滑化フィルタを用いて、平滑化処理の平滑化の強度を決定してもよい。また、ユーザの指示に基づき平滑化の強度を変化させてもよい。
【００６５】
以上のように、ビデオカメラ画像の平滑化の強度を外側に近いほど段階的に小さくすると、ユーザは、ビデオカメラ画像とＸ線画像とのずれが小さい部分と大きい部分との判別を段階的に行うことが出来る。
【００６６】
＜第三の実施形態＞
第三の実施形態における装置の構成は、第一の実施形態における図１の装置の構成と同じである。第一実施形態と異なる点は、表示制御部１１２が、物体データを検知する物体検知手段として機能する物体検出機能および物体認識機能を有していることである。物体検出機能および物体認識機能は、それぞれ表示制御部１１２の一機能であり、表示制御部１１２が有するＲＡＭに格納された処理プログラムをＣＰＵが実行することにより、達成される。
【００６７】
物体検出機能は、所定の物体（例えば、人の手など）の物体データをあらかじめＲＡＭなどに保持しておき、ビデオカメラ画像を画像処理することにより、画像から所定の物体を検出することが出来る。物体認識機能は、複数のビデオカメラ画像データをＲＡＭなどに保持し、複数のビデオカメラ画像データの差分画像から、画像中に所定の物体が写りこんでいるか否かを判定することが出来る。
【００６８】
物体検出機能はビデオカメラ画像中のユーザの手の写り込みを検出するものである。ユーザによって手術やマーキング等の処置が施される際には、ビデオカメラ画像中にユーザの手の写りこみが発生する。物体検出機能が手を検出したときには、手術やマーキング等の処置を施そうとしているとみなすことが出来る。手術やマーキング等の処置を施そうとしている場合には、ビデオカメラ画像とＸ線画像との位置ずれが大きい領域と小さい領域を判別しやすくするために、ビデオカメラ画像から位置ずれの小さい重畳領域を抽出し、抽出された領域を重畳する。
【００６９】
また、物体認識機能は、複数の画像の差分画像から物体が移りこんでいるか否かを判定する。よって、ユーザの手の写りこみが生じる前のビデオカメラ画像と、ユーザの手の写りこみが生じた後のビデオカメラ画像との差分画像を作成し、ビデオカメラ画像中に動きのある被写体の有無を認識することが出来る。被写体が認識されない場合、ユーザの手の写りこみが解消されたとみなすことが出来る。ユーザの手の写りこみが解消されたときには、重畳領域を制限する必要がない。従って、重畳領域を制限せずに、Ｘ線画像をビデオカメラ画像に重畳し、ユーザにとって被写体全体を把握しやすい画像に変更する。図７に、本実施形態における画像重畳のフローチャートを示す。図７のフローチャートの各処理は、図１に示す装置の各構成により、実施される。図７のフローチャートでは、検知される物体データとして、ユーザの手を用いて説明する。
【００７０】
（ステップ７０１）ステップ７０１のＸ線画像取得においては、Ｘ線センサ１０５によって検出された信号が第二画像取得部１１０によってＸ線画像として取得され、画像記憶部１１１に記録される。
【００７１】
（ステップ７０２）ステップ７０２のビデオカメラ画像取得においては、第一の画像取得部１０９は、ビデオカメラ１０１によって撮影されたビデオカメラ画像を取得する。ここでビデオカメラ画像を取得することが出来ない場合、処理を終了する（エンドに進む）。
【００７２】
ビデオカメラ画像を取得することができた場合、ステップ７０３へ処理を進める。
【００７３】
（ステップ７０３）ステップ７０３の物体検知においては、表示制御部１１２の機能である物体検出機能がビデオカメラ画像中にユーザの手が写りこんでいるか否かを検知する。この検知の際には、
前述したように、ユーザの手のモデリングデータを用いて、画像中にユーザの手が検出されるか否かを判定する。
【００７４】
（ステップ７０４）ステップ７０３の物体検知において、ユーザの手が検知されない場合、ステップ７０４の画像重畳を行う。ビデオカメラ画像中にユーザの手が検知されないということは、ユーザの手の写りこみがないことを示している。従って、ステップ７０４の画像重畳では、画像処理手段として機能する表示制御部１１２は、平滑化処理もしくは重畳領域の制限は行わず、ビデオカメラ画像の全面をＸ線画像に重畳し、合成画像を生成する。
【００７５】
（ステップ７０５）次に、ステップ７０５の画像出力では、ステップ７０４の画像重畳で生成された合成画像を画像出力部１１６に送信し、画像表示部１１５は合成画像を表示する。表示される合成画像は図５（ｃ）のような画像であり、ユーザは画像全体に対して重畳が行われた画像を観察することができる。合成画像表示後は、再び、ステップ７０２のビデオカメラ画像取得へと移行する。
【００７６】
（ステップ７０６）一方、ステップ７０３の物体検知において、ユーザの手が検出された場合、ステップ７０６の画像限定重畳へと進む。ステップ７０３の物体検知においてユーザの手が検出されたということは、ユーザが被写体に対して手術やマーキング等の何らかの処置を施そうとしているものとみなすことが出来る。ステップ７０６の画像限定重畳では、画像処理手段として機能する表示手段１１２が、第一もしくは第二の実施形態で説明した方法により、ビデオカメラ画像のずれの小さい領域のみをＸ線画像に重畳し、合成画像を生成する。もしくは、位置ずれの大きい周辺領域に対して平滑化処理を行う。
【００７７】
（ステップ７０７）ステップ７０７の画像出力では、合成画像を画像出力部１１６に送信し、画像表示部１１５は送信された合成画像を表示する。表示された画像の周辺領域には、Ｘ線画像とビデオカメラ画像とが重畳されておらず、ユーザは、位置ずれの大きい領域と小さい領域とを判別することが出来る。
【００７８】
（ステップ７０８）ステップ７０８のビデオカメラ画像取得では、前述のステップ７０２のビデオカメラ画像取得と同様にビデオカメラ１０１によって撮影された画像が第一の画像取得部１０９によって画像として取得される。
【００７９】
（ステップ７０９）ステップ７０９の物体検知解消では、物体認識機能が、ステップ７０８のビデオカメラ画像取得で取得したビデオカメラ画像と、ステップ７０３の物体検知でユーザの手が検知される前の画像とを比較する。画像の比較によって、ビデオカメラ画像上に写りこんだユーザの手を認識し、認識した被写体が画面内から消えたか否かを判定する。判定方法として、例えば、ステップ７０３の物体検知で動きが検出される前の画像と、ステップ７０８のビデオカメラ画像取得で取得したビデオカメラ画像との差分画像を生成する。そして、差分画像の差がある閾値以下であったときにユーザの手が画面内から消えたと判定する方法がある。認識したユーザの手の写りこみが解消された場合は、手術やマーキング等の処置が施されることがないとみなすことが出来る。
【００８０】
よって、ステップ７０４の画像重畳へと移行する。ユーザの手の移りこみが解消されない場合は依然として手術やマーキング等の処置が施される可能性があるため、ステップ７０６の画像限定重畳へと移行する。
【００８１】
以上の処理によって、ユーザの操作に応じて、手術等の処置が施されない場合は通常の重畳を行い、観察領域を広くし、ユーザにとって診察のし易い環境を提供する。手術等の処置が施される場合は限定的な重畳を行うことによって画像重畳による医療ミスを未然に防ぐことができる。
【００８２】
以上のステップ７０１からステップ７０９までの処理を行い、物体検出機能が物体データ（人の手など）を検知したか否かで画像処理を変更することにより、手術を行う際のユーザの利便性を向上させることが出来る。
【図面の簡単な説明】
【００８３】
【図１】第１の実施形態の装置構成を示す図
【図２】第１の実施形態の処理の流れ示す図
【図３】第１の実施形態のズーム調整を行う際の画像例である
【図４】第１の実施形態において表示される画像の例を示す図
【図５】第１の実施形態における重畳領域の指定方法を示す図
【図６】第２の実施形態における画像領域分割例を示す図
【図７】第３の実施形態の処理の流れを示す図
【図８】従来技術の課題を示す図
【特許請求の範囲】
【請求項１】
被写体からの可視光を撮像することにより得られた可視光画像と、該被写体を透過した放射線を撮像することにより得られた放射線画像との位置ずれ情報を求める演算手段と、
前記可視光画像と前記放射線画像とを合成し、合成画像を生成する合成画像生成手段と、
前記合成画像生成手段で合成される前の前記可視光画像と、前記合成画像生成手段で合成される前の前記放射線画像と、前記合成画像生成手段で生成された前記合成画像とのいずれかを、前記位置ずれ情報に基づき画像処理する画像処理手段とを有することを特徴とする画像処理装置。
【請求項２】
更に、前記画像処理手段で画像処理された合成画像を表示する表示手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段は、前記可視光画像の画素のうち、前記位置ずれがあらかじめ設定された値よりも大きい画素の画素値を０にすることを特徴とする請求項１もしくは２のいずれかに記載の画像処理装置。
【請求項４】
前記画像処理手段は、前記可視光画像の前記位置ずれが大きいほど、前記可視光画像の画素の画素値を小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像処理手段は、前記放射線画像の画素のうち、前記位置ずれがあらかじめ設定された値よりも大きい画素の画素値を０にすることを特徴とする請求項１もしくは２のいずれかに記載の画像処理装置。
【請求項６】
前記画像処理手段は、前記放射線画像の画素の前記位置ずれが大きいほど、前記放射線画像の画素の画素値を小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記画像処理手段は、更に、前記合成画像の画素のうち、前記位置ずれが最も小さい画素の位置を基準として、所定形状の領域を設定する設定手段を有し、
前記合成画像の画素のうち、前記設定された領域外の画素値を０にすることを特徴とする請求項１もしくは２のいずれかに記載の画像処理装置。
【請求項８】
前記画像処理手段は、更に、前記合成画像の画素のうち、前記位置ずれが最も小さい画素の位置を基準として、所定形状の領域を設定する設定手段を有し、
前記合成画像の画素のうち、前記設定された領域外の画素に対して平滑化処理を行うことを特徴とする請求項１もしくは２のいずれかに記載の画像処理装置。
【請求項９】
前記画像処理手段は、前記設定された領域外の画素に対して、該画素の位置ずれが大きいほど、前記平滑化処理の強度を強くすることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
更に、前記可視光画像から物体データを検知する物体検知手段を有し、
前記物体検知手段において、前記物体データが検知された場合、
前記画像処理手段は、前記合成画像生成手段で合成される前の前記可視光画像と、前記合成画像生成手段で合成される前の前記放射線画像と、前記合成画像生成手段で生成された前記合成画像とのいずれかを、前記位置ずれ情報に基づき画像処理し、
前記物体検知手段において、前記物体データが検知されない場合、
前記画像処理手段は、画像処理しないことを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
演算手段が、被写体からの可視光を撮像することにより得られた可視光画像と、該被写体を透過した放射線を撮像することにより得られた放射線画像との位置ずれ情報を求める演算工程と、
画像生成手段が、前記可視光画像と前記放射線画像とを合成し、合成画像を生成する合成画像生成工程と、
画像処理手段が、前記合成画像生成工程で合成される前の前記可視光画像と、前記合成画像生成工程で合成される前の前記放射線画像と、前記合成画像生成工程で生成された前記合成画像とのいずれかを、前記位置ずれ情報に基づき画像処理する画像処理工程とを有することを特徴とする画像処理方法。
【請求項１２】
コンピュータを、
被写体からの可視光を撮像することにより得られた可視光画像と、該被写体を透過した放射線を撮像することにより得られた放射線画像との位置ずれ情報を求める演算手段と、
前記可視光画像と前記放射線画像とを合成し、合成画像を生成する合成画像生成手段と、
前記合成画像生成手段で合成される前の前記可視光画像と、前記合成画像生成手段で合成される前の前記放射線画像と、前記合成画像生成手段で生成された前記合成画像とのいずれかを、前記位置ずれ情報に基づき画像処理する画像処理手段として機能させるためのプログラム。
【請求項１】
被写体からの可視光を撮像することにより得られた可視光画像と、該被写体を透過した放射線を撮像することにより得られた放射線画像との位置ずれ情報を求める演算手段と、
前記可視光画像と前記放射線画像とを合成し、合成画像を生成する合成画像生成手段と、
前記合成画像生成手段で合成される前の前記可視光画像と、前記合成画像生成手段で合成される前の前記放射線画像と、前記合成画像生成手段で生成された前記合成画像とのいずれかを、前記位置ずれ情報に基づき画像処理する画像処理手段とを有することを特徴とする画像処理装置。
【請求項２】
更に、前記画像処理手段で画像処理された合成画像を表示する表示手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段は、前記可視光画像の画素のうち、前記位置ずれがあらかじめ設定された値よりも大きい画素の画素値を０にすることを特徴とする請求項１もしくは２のいずれかに記載の画像処理装置。
【請求項４】
前記画像処理手段は、前記可視光画像の前記位置ずれが大きいほど、前記可視光画像の画素の画素値を小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像処理手段は、前記放射線画像の画素のうち、前記位置ずれがあらかじめ設定された値よりも大きい画素の画素値を０にすることを特徴とする請求項１もしくは２のいずれかに記載の画像処理装置。
【請求項６】
前記画像処理手段は、前記放射線画像の画素の前記位置ずれが大きいほど、前記放射線画像の画素の画素値を小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記画像処理手段は、更に、前記合成画像の画素のうち、前記位置ずれが最も小さい画素の位置を基準として、所定形状の領域を設定する設定手段を有し、
前記合成画像の画素のうち、前記設定された領域外の画素値を０にすることを特徴とする請求項１もしくは２のいずれかに記載の画像処理装置。
【請求項８】
前記画像処理手段は、更に、前記合成画像の画素のうち、前記位置ずれが最も小さい画素の位置を基準として、所定形状の領域を設定する設定手段を有し、
前記合成画像の画素のうち、前記設定された領域外の画素に対して平滑化処理を行うことを特徴とする請求項１もしくは２のいずれかに記載の画像処理装置。
【請求項９】
前記画像処理手段は、前記設定された領域外の画素に対して、該画素の位置ずれが大きいほど、前記平滑化処理の強度を強くすることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
更に、前記可視光画像から物体データを検知する物体検知手段を有し、
前記物体検知手段において、前記物体データが検知された場合、
前記画像処理手段は、前記合成画像生成手段で合成される前の前記可視光画像と、前記合成画像生成手段で合成される前の前記放射線画像と、前記合成画像生成手段で生成された前記合成画像とのいずれかを、前記位置ずれ情報に基づき画像処理し、
前記物体検知手段において、前記物体データが検知されない場合、
前記画像処理手段は、画像処理しないことを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
演算手段が、被写体からの可視光を撮像することにより得られた可視光画像と、該被写体を透過した放射線を撮像することにより得られた放射線画像との位置ずれ情報を求める演算工程と、
画像生成手段が、前記可視光画像と前記放射線画像とを合成し、合成画像を生成する合成画像生成工程と、
画像処理手段が、前記合成画像生成工程で合成される前の前記可視光画像と、前記合成画像生成工程で合成される前の前記放射線画像と、前記合成画像生成工程で生成された前記合成画像とのいずれかを、前記位置ずれ情報に基づき画像処理する画像処理工程とを有することを特徴とする画像処理方法。
【請求項１２】
コンピュータを、
被写体からの可視光を撮像することにより得られた可視光画像と、該被写体を透過した放射線を撮像することにより得られた放射線画像との位置ずれ情報を求める演算手段と、
前記可視光画像と前記放射線画像とを合成し、合成画像を生成する合成画像生成手段と、
前記合成画像生成手段で合成される前の前記可視光画像と、前記合成画像生成手段で合成される前の前記放射線画像と、前記合成画像生成手段で生成された前記合成画像とのいずれかを、前記位置ずれ情報に基づき画像処理する画像処理手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００８−１８８２７６（Ｐ２００８−１８８２７６Ａ）
【公開日】平成２０年８月２１日（２００８．８．２１）
【国際特許分類】
【出願番号】特願２００７−２６６７９（Ｐ２００７−２６６７９）
【出願日】平成１９年２月６日（２００７．２．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年８月２１日（２００８．８．２１）
【国際特許分類】
【出願日】平成１９年２月６日（２００７．２．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]