画像処理装置
【課題】立体画像において計測位置が把握し易く、計測位置の計測精度を向上可能な画像処理装置を提供する。
【解決手段】画像処理装置は、被写体立体画像Sに示される被写体と撮像ユニット22との間の距離情報である第1の距離情報を算出する距離データ算出部50と、計測指標Eと撮像ユニット22との間の距離情報である第2の距離情報を算出する指標位置算出部60とを備える。また、画像処理装置は、第1の距離情報及び第2の距離情報に基づいて、被写体立体画像S及び計測指標Eの撮像ユニット22からの遠近関係を算出する遠近関係算出部63と、立体表示処理部40での立体表示処理を行った際に重畳領域で被写体立体画像S及び計測指標Eの中で撮像ユニット22から近位に位置する一方が表示される状態に、画像加工処理を行う画像加工部68とを備える。
【解決手段】画像処理装置は、被写体立体画像Sに示される被写体と撮像ユニット22との間の距離情報である第1の距離情報を算出する距離データ算出部50と、計測指標Eと撮像ユニット22との間の距離情報である第2の距離情報を算出する指標位置算出部60とを備える。また、画像処理装置は、第1の距離情報及び第2の距離情報に基づいて、被写体立体画像S及び計測指標Eの撮像ユニット22からの遠近関係を算出する遠近関係算出部63と、立体表示処理部40での立体表示処理を行った際に重畳領域で被写体立体画像S及び計測指標Eの中で撮像ユニット22から近位に位置する一方が表示される状態に、画像加工処理を行う画像加工部68とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡等の観察ユニットにより撮像された画像を処理する画像処理装置に関する。
【背景技術】
【0002】
近年、手術時に処置対象の所定の計測位置の寸法等を計測することが求められている。計測位置の計測は、内視鏡等の観察ユニットにより撮像された撮像画像の画像データに基づいて行われている。
【0003】
特許文献1には、観察ユニットである内視鏡により撮像された撮像画像の画像データから被写体の立体画像を生成する内視鏡システムが開示されている。この内視鏡システムは、生成された立体画像にスケール等の計測表示を重畳する計測表示合成部を備える。計測表示により、立体画像での計測位置が把握される。また、スケール設定部での操作により、計測表示であるスケールの数の設定、スケールの回転、スケールの移動が行われる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−275220号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献1では、立体画像に計測表示を重畳しているだけである。このため、特に立体画像の前後方向(内視鏡からの遠近関係)について、立体画像と計測表示との位置関係が、把握し難い。したがって、立体画像において計測位置が把握し難く、計測位置の計測精度が低下してしまう。
【0006】
本発明は上記課題に着目してなされたものであり、その目的とするところは、立体画像において計測位置が把握し易く、計測位置の計測精度を向上可能な画像処理装置を提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明のある態様では、被写体の第1の被写体像及び前記第1の被写体像とは視差を有する前記被写体の第2の被写体像とを撮像する撮像ユニットを備える観察ユニットと、前記第1の被写体像から第1の撮像画像を生成し、前記第2の被写体像から前記第1の撮像画像とは前記視差を有する第2の撮像画像を生成する撮像画像生成部と、前記第1の撮像画像及び前記第2の撮像画像の画像データに基づいて前記観察ユニットにより観察される前記被写体の立体画像である被写体立体画像を生成し、計測位置を把握する基準となる計測指標を前記被写体立体画像に重畳された状態で表示する処理である前記被写体立体画像及び前記計測指標の立体表示処理を行う立体表示処理部と、前記第1の撮像画像及び前記第2の撮像画像の前記画像データに基づいて、前記被写体立体画像に示される前記被写体と前記撮像ユニットとの間の距離情報である第1の距離情報を算出する距離データ算出部と、前記計測指標の位置情報を含む前記計測指標の指標情報を入力する指標情報入力部と、前記立体表示処理部での前記立体表示処理により前記計測指標を形成する指標画像を、前記計測指標の前記指標情報に基づいて生成する指標画像生成部と、前記第1の撮像画像及び前記第2の撮像画像において、前記被写体立体画像に前記計測指標が重畳される重畳領域と対応する領域に前記指標画像を合成する指標画像合成部と、前記計測指標の前記指標情報に基づいて、前記計測指標と前記撮像ユニットとの間の距離情報である第2の距離情報を算出する指標位置算出部と、前記第1の距離情報及び前記第2の距離情報に基づいて、前記被写体立体画像及び前記計測指標の前記撮像ユニットからの遠近関係を算出する遠近関係算出部と、前記立体表示処理部での前記立体表示処理を行った際に前記重畳領域で前記被写体立体画像及び前記計測指標の中で前記撮像ユニットから近位に位置する一方が表示される状態に、前記遠近関係算出部で算出された前記遠近関係に基づいて画像加工処理を行う画像加工部と、を備える画像処理装置を提供する。
【0008】
この画像処理装置では、前記画像加工部は、前記遠近関係算出部で算出された前記遠近関係に基づいて、前記重畳領域で前記計測指標の前記被写体立体画像より前記撮像ユニットから遠位に位置する部分に対応する部分を、前記指標画像から消去する画像消去部を備えることが好ましい。
【0009】
また、画像処理装置は、前記被写体立体画像に前記被写体として処置具が示される際に、前記第1の距離情報に基づいて前記処置具の位置及び移動状態を検出する処置具検出部をさらに備え、前記指標情報入力部は、前記処置具と、前記処置具の前記位置及び前記移動状態に基づいて前記指標情報を入力するスイッチ部とを備えることが好ましい。
【0010】
この場合、前記スイッチ部は、前記処置具の先端の移動軌跡を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力するスイッチを備えることが好ましい。また、前記処置具は、第1の処置具と、前記第1の処置具とは異なる第2の処置具とを備え、前記スイッチ部は、前記第1の処置具の先端と前記第2の処置具の先端との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力するスイッチを備えることも好ましい。
【0011】
また、前記スイッチ部は、前記処置具の先端の位置を固定点として入力する第1のスイッチと、前記固定点から前記処置具の先端が移動した際に前記固定点と移動後の前記処置具の先端との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力する第2のスイッチとを備えることも好ましい。また、前記処置具は、第1の把持部と、前記第1の把持部との間で把持動作を行う第2の把持部とを備え、前記スイッチ部は、前記第1の把持部と前記第2の把持部との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力するスイッチを備えることも好ましい。
【0012】
また、前記スイッチ部は、第1の点と第2の点との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力する第1のスイッチと、前記被写体立体画像に示される前記処置具の先端の位置が前記計測指標の一点である第3の点と位置が一致した後に、前記処置具の移動又は回転により前記処置具とともに移動又は回転する前記計測指標が前記被写体立体画像に重畳される状態に、前記指標情報を変更する第2のスイッチとを備えることも好ましい。また、前記スイッチ部は、第1の点と第2の点との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力する第1のスイッチと、前記被写体立体画像に示される前記処置具の先端が前記計測指標の一点である第3の点と位置が一致した後に、前記計測指標が変形され、前記第3の点から移動した前記処置具の前記先端を通って前記第1の点と前記第2の点との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に、前記指標情報を変更する第2のスイッチとを備えることも好ましい。
【発明の効果】
【0013】
本発明によれば、立体画像において計測位置が把握し易く、計測位置の計測精度を向上可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【0014】
【図1】本発明の第1の実施形態に係る画像処理装置を示す概略図。
【図2】第1の実施形態に係る画像処理装置を示すブロック図。
【図3】第1の実施形態に係る画像処理装置の撮像画像生成部により生成される第1の撮像画像及び第2の撮像画像を示す概略図。
【図4】第1の実施形態に係る画像処理装置の立体表示処理成部により生成される重畳立体画像を示す概略図。
【図5】第1の実施形態に係る画像処理装置の指標画像生成部により生成される第1の指標画像及び第2の指標画像を示す概略図。
【図6】第1の実施形態に係る画像処理装置の画像加工部により加工された第1の指標画像及び第2の指標画像を示す概略図。
【図7】第1の実施形態に係る画像処理装置の指標画像合成部により生成される第1の合成画像及び第2の合成画像を示す概略図。
【図8】第1の実施形態に係る画像処理装置の表示ユニットを示す概略図。
【図9】第1の実施形態に係る画像処理装置で、第1の合成画像及び第2の合成画像が表示面の同一の位置に表示した際の重畳立体画像を説明する概略図。
【図10】第1の実施形態に係る画像処理装置で、第1の合成画像を第2の合成画像より左方向にずらして表示面に表示した際の重畳立体画像を説明する概略図。
【図11】第1の実施形態の変形例に係る画像処理装置の指標情報入力部を示す概略図。
【図12】第1の実施形態の変形例に係る画像処理装置の立体表示処理部を示す概略図。
【図13】本発明の第2の実施形態に係る画像処理装置の一部を示すブロック図。
【図14】第2の実施形態に係る画像処理装置の指標情報入力部の第1のスイッチによる操作を説明する概略図。
【図15】第2の実施形態に係る画像処理装置の指標情報入力部の第2のスイッチによる操作を説明する概略図。
【図16】第2の実施形態の第1の変形例に係る画像処理装置の指標情報入力部の第1のスイッチによる操作を説明する概略図。
【図17】第2の実施形態の第1の変形例に係る画像処理装置の指標情報入力部の第2のスイッチによる操作を説明する概略図。
【図18】第2の実施形態の第2の変形例に係る画像処理装置の指標情報入力部のコントローラによる操作を説明する概略図。
【図19】第2の実施形態の第3の変形例に係る画像処理装置の処置具を移動させる際の、指標情報入力部のコントローラによる操作を説明する概略図。
【図20】第2の実施形態の第3の変形例に係る画像処理装置の処置具を回転させる際の、指標情報入力部のコントローラによる操作を説明する概略図。
【図21】第2の実施形態の第4の変形例に係る画像処理装置の指標情報入力部のコントローラによる操作を説明する概略図。
【発明を実施するための形態】
【0015】
(第1の実施形態)
本発明の第1の実施形態について、図1乃至図10を参照にして説明する。
【0016】
図1及び図2は、画像処理装置1を示す図である。図1に示すように、画像処理装置1は、観察ユニットである内視鏡10と、画像プロセッサ等の画像処理ユニット30とを備える。内視鏡10は、体腔内に挿入される挿入部12と、挿入部12より基端方向側に設けられる操作部14とを備える。操作部14には、ユニバーサルコード16の一端が接続されている。ユニバーサルコード16の他端は、スコープコネクタ18を介して画像処理ユニット30に接続されている。また、スコープコネクタ18は、光源ユニット(図示しない)、送気送水ユニット(図示しない)等の周辺ユニットに接続されている。また、画像処理ユニット30は、表示ユニット80及び入力ユニット90に接続されている。
【0017】
図2に示すように、内視鏡10の挿入部12の先端方向側の部位には、被写体像を撮像する撮像ユニット22が設けられている。撮像ユニット22は、被写体の第1の被写体像を結像する第1の結像光学系24Aと、第1の被写体像を撮像するCCD等の第1の撮像素子26Aとを備える。また、撮像ユニット22は、第1の被写体像とは視差を有する被写体の第2の被写体像を結像する第2の結像光学系24Bと、第2の被写体像を撮像するCCD等の第2の撮像素子26Bとを備える。以上のようにして、撮像ユニット22により、被写体の第1の被写体像と、第1の被写体像とは視差を有する被写体の第2の被写体像とが撮像される。
【0018】
第1の撮像素子26Aには第1の撮像ケーブル28Aの一端が、第2の撮像素子26Bには第2の撮像ケーブル28Bの一端が接続されている。第1の撮像ケーブル28A及び第2の撮像ケーブル28Bは、挿入部12の内部及び操作部14の内部を通って、他端が画像処理ユニット30の撮像画像生成部32に接続されている。撮像画像生成部32は、第1の画像生成部34Aと、第2の画像生成部34Bとを備える。第1の画像生成部34Aは、第1の撮像素子26Aにより撮像された第1の被写体像から、第1の撮像画像A1を生成する。また、第2の画像生成部34Bは、第2の撮像素子26Bにより撮像された第2の被写体像から、第2の撮像画像A2を生成する。図3は、第1の撮像画像A1及び第2の撮像画像A2を示す図である。第2の被写体像は第1の被写体像とは視差を有するため、図3に示すように、第2の撮像画像A2は第1の撮像画像A1とは視差を有する。
【0019】
図2に示すように、撮像画像生成部32は、指標画像合成部36(詳細については後述する)に接続されている。指標画像合成部36は、立体表示処理部40に接続されている。立体表示処理部40は、3Dモニタ等の表示ユニット80に接続されている。立体表示処理部40は、第1の撮像画像A1と第2の撮像画像A2の画像データに基づいて、内視鏡10により観察される被写体の立体画像である被写体立体画像Sを生成し、表示ユニット80に表示する。また、立体表示処理部40は、計測位置を把握する基準となる計測指標Eを被写体立体画像Sに重畳された状態で表示する。これにより、被写体立体画像Sに計測指標Eを重畳した重畳立体画像Dが生成される。以上のようにして、立体表示処理部40により、被写体立体画像S及び計測指標Eの立体表示処理が行われる。図4は、重畳立体画像Dを示す図である。図4に示すように、重畳立体画像Dでは、被写体立体画像Sにスケール等の計測指標Eが重畳された状態で示されている。重畳立体画像Dを生成する詳細については、後述する。
【0020】
図2に示すように、撮像画像生成部32は、距離データ算出部50に接続されている。また、内視鏡10の挿入部12の先端方向側の部位には、撮像ユニット22の位置及び姿勢を検出する位置姿勢検出部である位置姿勢センサ52が設けられている。位置姿勢センサ52には、電気信号線54の一端が接続されている。電気信号線54は、挿入部12の内部及び操作部14の内部を通って、他端が画像処理ユニット30の位置姿勢算出部56に接続されている。位置姿勢算出部56は、位置姿勢センサ52の検出結果に基づいて、撮像ユニット22の位置及び姿勢を算出する。位置姿勢算出部56は、距離データ算出部50に接続されている。
【0021】
画像処理ユニット30は、記録部58を備える。記録部58には、内視鏡10のスペック(例えば撮像ユニット22の光学倍率)等が記録されている。記録部58は、距離データ算出部50に接続されている。距離データ算出部50は、第1の撮像画像A1及び第2の撮像画像A2の画像データ、撮像ユニット22の位置及び姿勢、及び、内視鏡10のスペックに基づいて、被写体立体画像Sの距離データを算出する。これにより、例えば図4に示すように、被写体立体画像Sの点K1と点K2とを結ぶ直線L1の長さ及び方向を算出可能となる。同様に、例えば図4に示すように、被写体立体画像Sの点K1と点K2を結ぶ曲線L2の長さ及び曲率R0も算出可能となる。また、距離データ算出部50により算出される距離データには、被写体立体画像Sに示される被写体と撮像ユニット22との間の距離情報である第1の距離情報が、含まれる。
【0022】
図2に示すように、入力ユニット90は、計測指標Eの情報である指標情報を入力する指標情報入力部92を備える。指標情報入力部92は、例えばパーソナルコンピュータ(PC)のキーボード及びマウスである。ここで、指標情報とは、例えば計測指標Eの位置、姿勢、透明度、大きさ等の情報であり、計測指標Eの位置情報を含む。指標情報入力部92は、画像処理ユニット30の指標位置算出部60に接続されている。指標位置算出部60には、位置姿勢算出部56及び記録部58が接続されている。指標位置算出部60は、計測指標Eの指標情報、撮像ユニット22の位置及び姿勢、及び、内視鏡10のスペックに基づいて、計測指標Eの位置データを算出する。指標位置算出部60により算出される位置データには、計測指標Eと撮像ユニット22との間の距離情報である第2の距離情報が含まれる。
【0023】
指標位置算出部60は、位置関係算出部62に接続されている。位置関係算出部62には、距離データ算出部50が接続されている。位置関係算出部62は、被写体立体画像Sの距離データ及び計測指標Eの位置データに基づいて、被写体立体画像Sの被写体と計測指標Eとの間の位置関係を算出する。また、位置関係算出部62は、距離データ算出部50からの第1の距離情報及び指標位置算出部60からの第2の距離情報に基づいて、被写体立体画像S及び計測指標Eの撮像ユニット22からの遠近関係を算出する遠近関係算出部63を備える。このため、重畳立体画像Dの上下方向、左右方向、及び、前後方向(撮像ユニット22からの遠近方向)の全ての方向について、被写体立体画像Sの被写体と計測指標Eの位置関係が算出可能となる。
【0024】
図2に示すように、指標位置算出部60は、指標画像生成部64に接続されている。指標画像生成部64は、第1の指標画像B1を生成する第1の指標生成部66Aと、第2の指標画像B2を生成する第2の指標生成部66Bとを備える。第1の指標画像B1及び第2の指標画像B2は、被写体立体画像Sの被写体と計測指標Eとの間の位置関係、第1の撮像画像A1及び第2の撮像画像A2の画像データ、指標情報入力部92により入力される指標情報に基づいて生成される。図5は、指標画像生成部64により生成された第1の指標画像B1及び第2の指標画像B2を示す図である。図5に示すように、第1の撮像画像A1と第2の撮像画像A2との間の関係に対応して、第2の指標画像B2は第1の指標画像B1とは視差を有する。
【0025】
図2に示すように、指標画像生成部64は、画像加工部68に接続されている。画像加工部68は、第1の指標画像B1を加工する第1の画像消去部70Aと、第2の指標画像B2を加工する第2の画像消去部70Bとを備える。第1の指標画像B1及び第2の指標画像B2は、遠近関係算出部63で算出された被写体立体画像Sの被写体と計測指標Eとの間の遠近関係に基づいて、加工される。画像加工部68によって第1の指標画像B1及び第2の指標画像B2が画像加工処理されることにより、図4に示すように、立体表示処理部40での立体表示処理を行った重畳立体画像Dの重畳領域では、被写体立体画像S及び計測指標Eの中で撮像ユニット22から近位に位置する一方が表示される。
【0026】
図6は、画像加工部68により加工された第1の指標画像B1及び第2の指標画像B2を示す図である。図6に示すように、第1の画像消去部70Aにより、重畳領域で計測指標Eの被写体立体画像Sより撮像ユニット22から遠位に位置する部分に対応する部分B´1が、第1の指標画像B1から消去される。同様に、第2の画像消去部70Bにより、重畳領域で計測指標Eの被写体立体画像Sより撮像ユニット22から遠位に位置する部分に対応する部分B´2が、第2の指標画像B2から消去される。
【0027】
図2に示すように、画像加工部68は、指標画像合成部36に接続されている。指標画像合成部36は、第1の撮像画像A1に第1の指標画像B1を合成する第1の合成部38Aと、第2の撮像画像A2に第2の指標画像B2を合成する第2の合成部38Bとを備える。第1の指標画像B1は、クロマキー処理により背景が消去されてから、第1の撮像画像A1に合成される。また、第1の指標画像B1は、被写体立体画像Sの被写体と計測指標Eとの間の位置関係に基づいて、第1の撮像画像A1に合成され、第1の合成画像C1が生成される。すなわち、第1の撮像画像A1において、被写体立体画像Sに計測指標Eが重畳される重畳領域と対応する領域に第1の指標画像B1を合成する。同様に、第2の指標画像B2は、クロマキー処理により背景が消去されてから、第2の撮像画像A2に合成される。また、第2の指標画像B2は、被写体立体画像Sの被写体と計測指標Eとの間の位置関係に基づいて、第2の撮像画像A2に合成され、第2の合成画像C2が生成される。すなわち、第2の撮像画像A2において、被写体立体画像Sに計測指標Eが重畳される重畳領域と対応する領域に第2の指標画像B2を合成する。以上のように合成されることにより、重畳領域で、被写体立体画像Sと計測指標Eとの位置関係が明確に表示される。
【0028】
図7は、第1の合成画像C1及び第2の合成画像C2を示す図である。図7に示すように、第1の撮像画像A1と第2の撮像画像A2との間の関係及び第1の指標画像B1と第2の指標画像B2との間の関係と同様に、第2の合成画像C2は第1の合成画像C1とは視差を有する。
【0029】
図8は、表示ユニット80を示す図である。図8に示すように、表示面82と、表示面82より前方方向側に設けられる偏光板84とを備える。観察者は、偏光グラス86を掛けて重畳立体画像Dを観察する。例えば、偏光グラス86の右目R1側には水平偏光のみを透過する水平偏光板88Aが取付けられ、偏光グラス86の左目R2側には垂直偏光のみを透過する垂直偏光板88Bが取付けられている。
【0030】
図2に示すように、立体表示処理部40は、表示画像切替え部42と、偏光方向切替え部44とを備える。表示画像切替え部42は、表示面82に表示する画像を第1の合成画像C1と第2の合成画像C2との間で、順次に切替える。第1の合成画像C1と第2の合成画像C2との間の切替えは、微小な時間毎に行われる。偏光方向切替え部44は、偏光板84を透過する偏光の偏光方向を順次に切替える。偏光方向切替え部44による切替えは、表示面82に表示される画像の切替えに同期して行われる。第1の合成画像C1が表示されている際には、偏光板84は水平偏光のみを透過する。また、第2の合成画像C2が表示されている際には、偏光板84は垂直偏光のみを透過する。このため、偏光グラス86を掛けた状態では、観察者は右目R1で第1の合成画像C1のみを視認可能であり、左目R2で第2の合成画像C2のみを視認可能である。この状態で第1の合成画像C1と第2の合成画像C2との間の切替えが微小な時間毎に行われるため、観察者は重畳立体画像Dを確認可能となる。
【0031】
図9は、重畳立体画像Dを説明する図である。図9に示すように、第1の合成画像C1の点P1が第2の合成画像C2の点P2に対応し、第1の合成画像C1の点Q1が第2の合成画像C2の点Q2に対応する。前述のように、第2の合成画像C2は第1の合成画像C1とは視差を有する。このため、第1の合成画像C1及び第2の合成画像C2が表示面82の同一の位置に表示した際には、例えば第1の合成画像C1の点P1は第2の合成画像C2の点P2から右方向に離れている。この際、偏光グラス86を掛けた観察者は、右目R1及び点P1を通る直線T1と左目R2及び点P2を通る直線T2との交点に重畳立体画像Dの点P0を確認する。ここで、点P0は、表示面82より後方方向側に位置している。
【0032】
一方、第1の合成画像C1及び第2の合成画像C2が表示面82の同一の位置に表示した際には、例えば第1の合成画像C1の点Q1は第2の合成画像C2の点Q2から左方向に離れている。この際、偏光グラス86を掛けた観察者は、右目R1及び点Q1を通る直線U1と左目R2及び点Q2を通る直線U2との交点に重畳立体画像Dの点Q0を確認する。ここで、点Q0は、表示面82より前方方向側に位置している。以上のように、偏光グラス86を掛けた観察者は、立体表示処理部40の立体表示処理により生成される重畳立体画像Dを確認可能となる。
【0033】
図2に示すように、立体表示処理部40は、第1の合成画像C1及び第2の合成画像C2の表示面82での表示位置を調整する表示位置調整部46を備える。表示位置調整部46は、入力ユニット90での操作に対応して、第1の合成画像C1及び第2の合成画像C2の表示位置を調整する。図10は、第1の合成画像C1を第2の合成画像C2より左方向にずらして表示面82に表示した際の重畳立体画像D´を説明する図である。図10に示すように、第1の合成画像C1を第2の合成画像C2より左方向にずらして表示面82に表示した際には、偏光グラス86を掛けた観察者は、右目R1及び点P1を通る直線T´1と左目R2及び点P2を通る直線T´2との交点に重畳立体画像D´の点P´0を確認する。ここで、点P´0は、点P0より前方方向側に位置している。すなわち、第1の合成画像C1及び第2の合成画像C2の表示面82での表示位置を調整することにより、重畳立体画像(D,D´)のそれぞれの点の表示面82からの前後方向の変位が調整される。
【0034】
そこで、上記構成の画像処理装置1では、以下の効果を奏する。すなわち画像処理装置1では、位置関係算出部62は、被写体立体画像Sの距離データ及び計測指標Eの位置データに基づいて、被写体立体画像Sの被写体と計測指標Eとの間の位置関係を算出する。この際、位置関係算出部62の遠近関係算出部63により、距離データ算出部50からの第1の距離情報及び指標位置算出部60からの第2の距離情報に基づいて、被写体立体画像S及び計測指標Eの撮像ユニット22からの遠近関係を算出する。このため、重畳立体画像Dの上下方向、左右方向、及び、前後方向(撮像ユニット22からの遠近方向)の全ての方向について、被写体立体画像Sの被写体と計測指標Eの位置関係が算出可能となる。そして、指標画像合成部36は、被写体立体画像Sの被写体と計測指標Eとの間の位置関係に基づいて、第1の指標画像B1を第1の撮像画像A1に合成する。また、指標画像合成部36は、被写体立体画像Sの被写体と計測指標Eとの間の位置関係に基づいて、第2の指標画像B2を第2の撮像画像A2に合成する。これにより、重畳領域で、被写体立体画像Sの被写体と計測指標Eとの位置関係が明確に示される。したがって、重畳立体画像Dにおいて計測指標Eによる計測位置が把握し易く、計測位置の計測精度を向上させることができる。
【0035】
また、画像処理装置1では、撮像ユニット22からの遠近関係に基づいて、画像加工部68が第1の指標画像B1及び第2の指標画像B2を加工する。第1の画像消去部70Aにより、重畳領域で計測指標Eの被写体立体画像Sより撮像ユニット22から遠位に位置する部分に対応する部分B´1が、第1の指標画像B1から消去される。同様に、第2の画像消去部70Bにより、重畳領域で計測指標Eの被写体立体画像Sより撮像ユニット22から遠位に位置する部分に対応する部分B´2が、第2の指標画像B2から消去される。以上のような画像加工部68での画像加工処理により、立体表示処理部40での立体表示処理を行った際に重畳領域で被写体立体画像S及び計測指標Eの中で撮像ユニット22から近位に位置する一方が表示される。したがって、重畳立体画像Dの視認性が向上し、重畳立体画像D(被写体立体画像S)において計測指標Eによる計測位置をより把握し易くすることができる。
【0036】
さらに、画像処理装置1では、入力ユニット90での操作に対応して立体表示処理部40の表示位置調整部46が、第1の合成画像C1及び第2の合成画像C2の表示面82での表示位置を調整する。第1の合成画像C1及び第2の合成画像C2の表示面82での表示位置を調整することにより、重畳立体画像(D,D´)のそれぞれの点の表示面82からの前後方向の変位が調整される。したがって、重畳立体画像(D,D´)のそれぞれの点の表示面82からの前後方向の変位を観察者が視認し易い状態に調整可能であり、重畳立体画像(D,D´)の視認性を向上させることができる。
【0037】
(第1の実施形態の変形例)
第1の実施形態の変形例として、図11に示すように、指標情報入力部92はコントローラ102を備えてもよい。コントローラ102は、ジョイスティック104と、第1のスイッチ106Aと、第2のスイッチ106Bとを備える。ジョイスティック104での操作により、計測指標Eが重畳立体画像Dの上下方向及び左右方向に移動する。第1のスイッチ106Aを押圧することにより、計測指標Eが重畳立体画像Dの前方方向(撮像ユニット22へ向かう方向)に移動する。また、第2のスイッチ106Bを押圧することにより、計測指標Eが重畳立体画像Dの後方方向(撮像ユニット22から離れる方向)に移動する。
【0038】
計測指標Eを移動させる際には、指標画像合成部36は、被写体立体画像Sの被写体と計測指標Eとの間の位置関係に基づいて、第1の指標画像B1の第1の撮像画像A1への合成位置を調整する。同様に、指標画像合成部36は、被写体立体画像Sの被写体と計測指標Eとの間の位置関係に基づいて、第2の指標画像B2の第2の撮像画像A2への合成位置を調整する。これにより、被写体立体画像Sの被写体に対して移動する状態の計測指標Eが、被写体立体画像Sに重畳された状態で明確に示される。また、計測指標Eを前後方向へ移動させる際には、被写体立体画像Sの距離データ及び被写体立体画像Sの被写体と計測指標Eとの間の位置関係に基づいて、重畳立体画像Dに示される計測指標Eの大きさが拡大又は縮小される。
【0039】
また、重畳立体画像Dを生成する構成は、第1の実施形態の構成に限るものではない。第1の施形態の変形例として、例えば図12に示すように、立体表示処理部40は、第1の映写部110Aと、第2の映写部110Bとを備えてもよい。本変形例では、表示ユニット80は、偏光板84を備えない。第1の映写部110Aは第1の合成画像C1を表示ユニット80の表示面82に投影し、第2の映写部110Bは第2の合成画像C2を表示面82に投影する。第1の映写部110Aと表示面82との間には、水平偏光のみを透過する水平偏光板112Aが設けられている。また、第2の映写部110Bと表示面82との間には、垂直偏光のみを透過する垂直偏光板112Bが設けられている。このため、偏光グラス86を掛けた観察者は、右目R1で第1の合成画像C1のみを視認可能であり、左目R2で第2の合成画像C2のみを視認可能である。この状態で第1の合成画像C1と第2の合成画像C2とが表示面82に同時に表示されるため、観察者は重畳立体画像Dを確認可能となる。
【0040】
また、第1の実施形態では、第1の撮像素子26A及び第2の撮像素子26Bが設けられているが、これに限るものではない。例えば、1つの撮像素子により、第1の被写体像及び第2の被写体像を撮像してもよい。すなわち、撮像ユニット22により、第1の被写体像及び第1の被写体像とは視差を有する第2の被写体像とが撮像されればよい。
【0041】
(第2の実施形態)
次に、第2の実施形態について、図13乃至図15を参照して説明する。なお、第1の実施形態と同一の部分及び同一の機能を有する部分については同一の符号を付して、その説明は省略する。
【0042】
図13は、本実施形態の画像処理装置1の一部を示す図である。図13に示すように、入力ユニット90の指標情報入力部92は、処置具120と、スイッチ部であるコントローラ122とを備える。処置具120は、第1の把持部124Aと、第1の把持部124Aとの間で把持動作を行う第2の把持部124Bとを備える。コントローラ122は、第1のスイッチ126Aと、第2のスイッチ126Bとを備える。第1のスイッチ126A及び第2のスイッチ126Bは、例えば足で押圧することにより操作を行うフットスイッチである。
【0043】
処置具120及びコントローラ122は、画像処理ユニット30の処置具検出部130に接続されている。処置具検出部130は、距離データ算出部50及び指標位置算出部60に接続されている。処置具検出部130は、被写体立体画像Sに被写体として処置具120が示される際に、被写体立体画像Sの距離データに基づいて処置具120の位置及び移動状態を検出する。処置具検出部130は、例えば処置具120の色に基づいて、処置具120と被写体の処置具120以外の部分とを識別する。
【0044】
図14は、第1のスイッチ126Aによる操作を説明する図である。図14に示すように、第1のスイッチ126Aを押圧した状態で、被写体立体画像Sにおいて処置具120が位置M1から位置M2へ移動する。この際、処置具検出部130が処置具120の位置及び移動状態を検出する。そして、指標位置算出部60が、処置具120の先端の移動軌跡(図14の点V1と点V2とを結ぶ曲線)を計測する計測指標Eの位置データを算出する。そして、第1のスイッチ126Aからの指標情報により、処置具120の先端の移動軌跡を計測する計測指標Eが被写体立体画像Sに重畳される。
【0045】
図15は、第2のスイッチ126Bによる操作を説明する図である。図15に示すように、第2のスイッチ126Bを押圧した状態で、第1の把持部124Aに対して第2の把持部124Bを開く。この際、処置具検出部130が処置具120の第1の把持部124A及び第2の把持部124Bの位置を検出する。そして、指標位置算出部60が、第1の把持部124Aと第2の把持部124Bとの間の寸法(図15の点V3と点V4との間を結ぶ直線)を計測する計測指標Eの位置データを算出する。そして、第2のスイッチ126Bからの指標情報により、第1の把持部124Aと第2の把持部124Bとの間の寸法を計測する計測指標Eが被写体立体画像Sに重畳される。
【0046】
以上のように、処置具120の位置及び移動状態に基づいて、コントローラ(スイッチ部)122(第1のスイッチ126A及び第2のスイッチ126B)により指標情報が入力される。したがって、実際の空間での処置具120の位置及び移動状態に対応させて、被写体立体画像Sで計測位置を計測する計測指標Eが被写体立体画像Sに重畳される。
【0047】
そこで上記構成の画像処理装置1では、第1の実施形態と同様の効果に加えて、以下の効果を奏する。すなわち画像処理装置1では、処置具120の位置及び移動状態に基づいて、コントローラ122により指標情報が入力される。このため、実際の空間での処置具120の位置及び移動状態に対応させて、被写体立体画像Sで計測位置を計測する計測指標Eが被写体立体画像Sに重畳される。実際の空間での処置具120の位置及び移動状態に対応させて計測指標Eが示されるため、計測指標Eが示される位置の微調整、被写体として被写体立体画像Sに示される組織の形状に対応させた計測指標Eの位置、形状の調整等が行い易い。したがって、計測位置の計測精度をより向上させることができる。
【0048】
(第2の実施形態の変形例)
なお、第2の実施形態では、第1のスイッチ126Aにより処置具120の先端の移動軌跡を計測する計測指標Eが被写体立体画像Sに重畳され、第2のスイッチ126Bにより第1の把持部124Aと第2の把持部124Bとの間の寸法を計測する計測指標Eが被写体立体画像Sに示されるが、これに限るものではない。すなわち、処置具120の位置及び移動状態に基づいて、コントローラ(スイッチ部)122により指標情報が入力されればよい。
【0049】
第1の変形例では、図16に示すように、入力ユニット90の指標情報入力部92は、第1の処置具120Aと、第1の処置具120Aとは異なる第2の処置具120Bとを備える。被写体立体画像Sに被写体として第1の処置具120A及び第2の処置具120Bが示される状態で、第1のスイッチ126Aを押圧する。この際、処置具検出部130が第1の処置具120A及び第2の処置具120Bの位置を検出する。そして、指標位置算出部60が、第1の処置具120Aの先端と第2の処置具120Bの先端との間の寸法(図16の点V5と点V6との間を結ぶ直線)を計測する計測指標Eの位置データを算出する。そして、第1のスイッチ126Aからの指標情報により、第1の処置具120Aの先端と第2の処置具120Bの先端との間の寸法を計測する計測指標Eが被写体立体画像Sに重畳される。
【0050】
また、本変形例では、図17に示すように、第1の処置具120Aと第2の処置具120Bとの間に被写体として組織が被写体立体画像Sに示される状態がある。この状態で、コントローラ122の第2のスイッチ126Bを押圧する。この際、処置具検出部130が第1の処置具120A及び第2の処置具120Bの位置を検出する。また、被写体立体画像Sの距離データから、第1の処置具120Aと第2の処置具120Bとの間の組織の形状が算出される。そして、指標位置算出部60が、組織の形状に基づいて、第1の処置具120Aの先端と第2の処置具120Bの先端との間の組織の外表面に沿った寸法(図17の点V7と点V8との間を結ぶ曲線)を計測する計測指標Eの位置データを算出する。そして、第2のスイッチ126Bからの指標情報により、第1の処置具120Aの先端と第2の処置具120Bの先端との間の組織の外表面に沿った寸法を計測する計測指標Eが被写体立体画像Sに重畳される。
【0051】
第2の変形例では、図18に示すように、入力ユニット90の指標情報入力部92は、処置具120を備える。被写体立体画像Sで処置具120が位置M3に位置する状態で、第1のスイッチ126Aを押圧する。この際、処置具検出部130が位置M3に位置する処置具120を検出し、処置具120の先端の位置を固定点V9として入力される。そして、第2のスイッチ126Bを押圧した状態で、処置具120を位置M3から移動する。処置具120を位置M4まで移動させた状態では、処置具検出部130が位置M4に位置する処置具120を検出する。そして、指標位置算出部60が、固定点V9と移動後の処置具120の先端との間の寸法(図18の固定点V9と点V10との間を結ぶ直線)を計測する計測指標Eの位置データを算出する。そして、固定点V9と移動後の処置具120の先端との間の寸法を計測する計測指標Eが被写体立体画像Sに重畳される。
【0052】
また、第2のスイッチ126Bを押圧した状態で、処置具120を位置M4から位置M5までさらに移動させる。この際、処置具検出部130が位置M5に位置する処置具120を検出する。そして、指標位置算出部60が、固定点V9と移動後の処置具120の先端との間の寸法(図18の固定点V9と点V11との間を結ぶ直線)を計測する計測指標E´の位置データを算出する。そして、固定点V9と移動後の処置具120の先端との間の寸法を計測する計測指標E´が被写体立体画像Sに重畳される。すなわち、第2のスイッチ126Bにより、固定点V9と移動後の処置具120の先端との間の寸法を計測する計測指標(E,E´)が被写体立体画像Sに重畳される状態に、指標情報が入力される。
【0053】
なお、本変形例では、コントローラ122は、第1のスイッチ126A及び第2のスイッチ126Bとは異なる第3のスイッチ(図示しない)を備えてもよい。第3のスイッチを押圧した状態で、処置具120を固定点V9から移動させる。この際、固定点V9と移動後の処置具120との間に被写体として組織が示される場合、第1の変形例と同様に、固定点V9と移動後の処置具120の先端との間の組織の外表面に沿った寸法を計測する計測指標Eが示される。
【0054】
第3の変形例として、図19に示すように、入力ユニット90の指標情報入力部92は、処置具120を備える。コントローラ122の第1のスイッチ126Aによって指標情報を入力することにより、第1の点V12と第2の点V13との間の寸法を計測する計測指標Eが被写体立体画像Sに重畳される。第1の点V12と第2の点V13との間の寸法を計測する計測指標Eは、例えば第2の実施形態、第2の実施形態の第1の変形例及び第2の変形例で上述したいずれかの方法によって、重畳立体画像Dに示される。
【0055】
第1の点V12と第2の点V13との間の寸法を計測する計測指標Eが被写体画像Sに重畳される状態で、第2のスイッチ126Bを押圧する。この状態で、被写体立体画像Sに示される処置具120の先端の位置を、計測指標Eの一点である第3の点V14と一致させる。そして、処置具120の先端を第3の点V14から点V15へ移動させる。この際、処置具検出部130が、処置具120の移動状態を検出する。そして、指標位置算出部60が、処置具120の移動状態に基づいて、処置具120とともに移動する移動時の計測指標Eの位置データを算出する。そして、処置具120とともに移動する計測指標Eが被写体立体画像Sに重畳される。以上のようにして、第2のスイッチ126Bにより、処置具120とともに移動する計測指標Eが被写体立体画像Sに重畳される状態に、指標情報が変更される。ここで、処置具120の先端の第3の点V14から点V15への移動とともに、図19の実線で示す位置から点線で示す位置へ計測指標Eが移動する。
【0056】
また、図20に示すように、被写体立体画像Sに示される処置具120の先端の位置を、計測指標Eの一点である第3の点V14と一致させた状態で、第2のスイッチ126Bを押圧し、処置具120を矢印W1の方向に回転させる。この際、処置具検出部130が、処置具120の回転状態を検出する。そして、指標位置算出部60が、処置具120の回転状態に基づいて、処置具120とともに回転する回転時の計測指標Eの位置データを算出する。そして、処置具120とともに矢印W1の方向に回転する計測指標Eが被写体立体画像Sに重畳される。以上のようにして、第2のスイッチ126Bにより、処置具120とともに回転する計測指標Eが被写体立体画像Sに重畳される状態に、指標情報が変更される。ここで、処置具120の先端の第3の点V14での回転とともに、図20の実線で示す位置から点線で示す位置へ計測指標Eが第3の点V14を中心として回転する。
【0057】
第4の変形例として、図21に示すように、入力ユニット90の指標情報入力部92は、処置具120を備える。コントローラ122の第1のスイッチ126Aによって指標情報を入力することにより、第1の点V16と第2の点V17との間の寸法を計測する計測指標Eが被写体立体画像Sに重畳される。第1の点V16と第2の点V17との間の寸法を計測する計測指標Eは、例えば第2の実施形態、第2の実施形態の第1の変形例及び第2の変形例で上述したいずれかの方法によって、重畳立体画像Dに示される。
【0058】
第1の点V16と第2の点V17との間の寸法を計測する計測指標Eが被写体立体画像Sに重畳される状態で、第2のスイッチ126Bを押圧する。この状態で、被写体立体画像Sに示される処置具120の先端の位置を、計測指標Eの一点である第3の点V18と一致させる。そして、処置具120の先端を第3の点V18から点V19へ移動させる。この際、処置具検出部130が、処置具120の移動状態を検出する。そして、指標位置算出部60が、処置具120の移動状態に基づいて、第3の点V18から移動した処置具120の先端(点V19)を通って第1の点V16と第2の点V17との間の寸法を計測する計測指標Eの位置データを算出する。そして、計測指標Eが変形され、第3の点V18から移動した処置具120の先端(点V19)を通って第1の点V16と第2の点V17との間の寸法を計測する計測指標Eが被写体立体画像Sに重畳される。以上のようにして、第2のスイッチ126Bにより、第3の点V18から移動した処置具120の先端を通って第1の点V16と第2の点V17との間の寸法を計測する計測指標Eが被写体立体画像Sに重畳される状態に、指標情報が変更される。
【0059】
以上、本発明の実施形態について説明したが、本発明は上記の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変形ができることは勿論である。
【符号の説明】
【0060】
1…画像処理装置、10…内視鏡、22…撮像ユニット、30…画像処理ユニット、32…撮像画像生成部、36…指標画像合成部、40…立体表示処理部、50…距離データ算出部、60…指標位置算出部、62…位置関係算出部、63…遠近関係算出部、64…指標画像生成部、68…画像加工部、92…指標情報入力部。
【技術分野】
【0001】
本発明は、内視鏡等の観察ユニットにより撮像された画像を処理する画像処理装置に関する。
【背景技術】
【0002】
近年、手術時に処置対象の所定の計測位置の寸法等を計測することが求められている。計測位置の計測は、内視鏡等の観察ユニットにより撮像された撮像画像の画像データに基づいて行われている。
【0003】
特許文献1には、観察ユニットである内視鏡により撮像された撮像画像の画像データから被写体の立体画像を生成する内視鏡システムが開示されている。この内視鏡システムは、生成された立体画像にスケール等の計測表示を重畳する計測表示合成部を備える。計測表示により、立体画像での計測位置が把握される。また、スケール設定部での操作により、計測表示であるスケールの数の設定、スケールの回転、スケールの移動が行われる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−275220号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献1では、立体画像に計測表示を重畳しているだけである。このため、特に立体画像の前後方向(内視鏡からの遠近関係)について、立体画像と計測表示との位置関係が、把握し難い。したがって、立体画像において計測位置が把握し難く、計測位置の計測精度が低下してしまう。
【0006】
本発明は上記課題に着目してなされたものであり、その目的とするところは、立体画像において計測位置が把握し易く、計測位置の計測精度を向上可能な画像処理装置を提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明のある態様では、被写体の第1の被写体像及び前記第1の被写体像とは視差を有する前記被写体の第2の被写体像とを撮像する撮像ユニットを備える観察ユニットと、前記第1の被写体像から第1の撮像画像を生成し、前記第2の被写体像から前記第1の撮像画像とは前記視差を有する第2の撮像画像を生成する撮像画像生成部と、前記第1の撮像画像及び前記第2の撮像画像の画像データに基づいて前記観察ユニットにより観察される前記被写体の立体画像である被写体立体画像を生成し、計測位置を把握する基準となる計測指標を前記被写体立体画像に重畳された状態で表示する処理である前記被写体立体画像及び前記計測指標の立体表示処理を行う立体表示処理部と、前記第1の撮像画像及び前記第2の撮像画像の前記画像データに基づいて、前記被写体立体画像に示される前記被写体と前記撮像ユニットとの間の距離情報である第1の距離情報を算出する距離データ算出部と、前記計測指標の位置情報を含む前記計測指標の指標情報を入力する指標情報入力部と、前記立体表示処理部での前記立体表示処理により前記計測指標を形成する指標画像を、前記計測指標の前記指標情報に基づいて生成する指標画像生成部と、前記第1の撮像画像及び前記第2の撮像画像において、前記被写体立体画像に前記計測指標が重畳される重畳領域と対応する領域に前記指標画像を合成する指標画像合成部と、前記計測指標の前記指標情報に基づいて、前記計測指標と前記撮像ユニットとの間の距離情報である第2の距離情報を算出する指標位置算出部と、前記第1の距離情報及び前記第2の距離情報に基づいて、前記被写体立体画像及び前記計測指標の前記撮像ユニットからの遠近関係を算出する遠近関係算出部と、前記立体表示処理部での前記立体表示処理を行った際に前記重畳領域で前記被写体立体画像及び前記計測指標の中で前記撮像ユニットから近位に位置する一方が表示される状態に、前記遠近関係算出部で算出された前記遠近関係に基づいて画像加工処理を行う画像加工部と、を備える画像処理装置を提供する。
【0008】
この画像処理装置では、前記画像加工部は、前記遠近関係算出部で算出された前記遠近関係に基づいて、前記重畳領域で前記計測指標の前記被写体立体画像より前記撮像ユニットから遠位に位置する部分に対応する部分を、前記指標画像から消去する画像消去部を備えることが好ましい。
【0009】
また、画像処理装置は、前記被写体立体画像に前記被写体として処置具が示される際に、前記第1の距離情報に基づいて前記処置具の位置及び移動状態を検出する処置具検出部をさらに備え、前記指標情報入力部は、前記処置具と、前記処置具の前記位置及び前記移動状態に基づいて前記指標情報を入力するスイッチ部とを備えることが好ましい。
【0010】
この場合、前記スイッチ部は、前記処置具の先端の移動軌跡を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力するスイッチを備えることが好ましい。また、前記処置具は、第1の処置具と、前記第1の処置具とは異なる第2の処置具とを備え、前記スイッチ部は、前記第1の処置具の先端と前記第2の処置具の先端との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力するスイッチを備えることも好ましい。
【0011】
また、前記スイッチ部は、前記処置具の先端の位置を固定点として入力する第1のスイッチと、前記固定点から前記処置具の先端が移動した際に前記固定点と移動後の前記処置具の先端との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力する第2のスイッチとを備えることも好ましい。また、前記処置具は、第1の把持部と、前記第1の把持部との間で把持動作を行う第2の把持部とを備え、前記スイッチ部は、前記第1の把持部と前記第2の把持部との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力するスイッチを備えることも好ましい。
【0012】
また、前記スイッチ部は、第1の点と第2の点との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力する第1のスイッチと、前記被写体立体画像に示される前記処置具の先端の位置が前記計測指標の一点である第3の点と位置が一致した後に、前記処置具の移動又は回転により前記処置具とともに移動又は回転する前記計測指標が前記被写体立体画像に重畳される状態に、前記指標情報を変更する第2のスイッチとを備えることも好ましい。また、前記スイッチ部は、第1の点と第2の点との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力する第1のスイッチと、前記被写体立体画像に示される前記処置具の先端が前記計測指標の一点である第3の点と位置が一致した後に、前記計測指標が変形され、前記第3の点から移動した前記処置具の前記先端を通って前記第1の点と前記第2の点との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に、前記指標情報を変更する第2のスイッチとを備えることも好ましい。
【発明の効果】
【0013】
本発明によれば、立体画像において計測位置が把握し易く、計測位置の計測精度を向上可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【0014】
【図1】本発明の第1の実施形態に係る画像処理装置を示す概略図。
【図2】第1の実施形態に係る画像処理装置を示すブロック図。
【図3】第1の実施形態に係る画像処理装置の撮像画像生成部により生成される第1の撮像画像及び第2の撮像画像を示す概略図。
【図4】第1の実施形態に係る画像処理装置の立体表示処理成部により生成される重畳立体画像を示す概略図。
【図5】第1の実施形態に係る画像処理装置の指標画像生成部により生成される第1の指標画像及び第2の指標画像を示す概略図。
【図6】第1の実施形態に係る画像処理装置の画像加工部により加工された第1の指標画像及び第2の指標画像を示す概略図。
【図7】第1の実施形態に係る画像処理装置の指標画像合成部により生成される第1の合成画像及び第2の合成画像を示す概略図。
【図8】第1の実施形態に係る画像処理装置の表示ユニットを示す概略図。
【図9】第1の実施形態に係る画像処理装置で、第1の合成画像及び第2の合成画像が表示面の同一の位置に表示した際の重畳立体画像を説明する概略図。
【図10】第1の実施形態に係る画像処理装置で、第1の合成画像を第2の合成画像より左方向にずらして表示面に表示した際の重畳立体画像を説明する概略図。
【図11】第1の実施形態の変形例に係る画像処理装置の指標情報入力部を示す概略図。
【図12】第1の実施形態の変形例に係る画像処理装置の立体表示処理部を示す概略図。
【図13】本発明の第2の実施形態に係る画像処理装置の一部を示すブロック図。
【図14】第2の実施形態に係る画像処理装置の指標情報入力部の第1のスイッチによる操作を説明する概略図。
【図15】第2の実施形態に係る画像処理装置の指標情報入力部の第2のスイッチによる操作を説明する概略図。
【図16】第2の実施形態の第1の変形例に係る画像処理装置の指標情報入力部の第1のスイッチによる操作を説明する概略図。
【図17】第2の実施形態の第1の変形例に係る画像処理装置の指標情報入力部の第2のスイッチによる操作を説明する概略図。
【図18】第2の実施形態の第2の変形例に係る画像処理装置の指標情報入力部のコントローラによる操作を説明する概略図。
【図19】第2の実施形態の第3の変形例に係る画像処理装置の処置具を移動させる際の、指標情報入力部のコントローラによる操作を説明する概略図。
【図20】第2の実施形態の第3の変形例に係る画像処理装置の処置具を回転させる際の、指標情報入力部のコントローラによる操作を説明する概略図。
【図21】第2の実施形態の第4の変形例に係る画像処理装置の指標情報入力部のコントローラによる操作を説明する概略図。
【発明を実施するための形態】
【0015】
(第1の実施形態)
本発明の第1の実施形態について、図1乃至図10を参照にして説明する。
【0016】
図1及び図2は、画像処理装置1を示す図である。図1に示すように、画像処理装置1は、観察ユニットである内視鏡10と、画像プロセッサ等の画像処理ユニット30とを備える。内視鏡10は、体腔内に挿入される挿入部12と、挿入部12より基端方向側に設けられる操作部14とを備える。操作部14には、ユニバーサルコード16の一端が接続されている。ユニバーサルコード16の他端は、スコープコネクタ18を介して画像処理ユニット30に接続されている。また、スコープコネクタ18は、光源ユニット(図示しない)、送気送水ユニット(図示しない)等の周辺ユニットに接続されている。また、画像処理ユニット30は、表示ユニット80及び入力ユニット90に接続されている。
【0017】
図2に示すように、内視鏡10の挿入部12の先端方向側の部位には、被写体像を撮像する撮像ユニット22が設けられている。撮像ユニット22は、被写体の第1の被写体像を結像する第1の結像光学系24Aと、第1の被写体像を撮像するCCD等の第1の撮像素子26Aとを備える。また、撮像ユニット22は、第1の被写体像とは視差を有する被写体の第2の被写体像を結像する第2の結像光学系24Bと、第2の被写体像を撮像するCCD等の第2の撮像素子26Bとを備える。以上のようにして、撮像ユニット22により、被写体の第1の被写体像と、第1の被写体像とは視差を有する被写体の第2の被写体像とが撮像される。
【0018】
第1の撮像素子26Aには第1の撮像ケーブル28Aの一端が、第2の撮像素子26Bには第2の撮像ケーブル28Bの一端が接続されている。第1の撮像ケーブル28A及び第2の撮像ケーブル28Bは、挿入部12の内部及び操作部14の内部を通って、他端が画像処理ユニット30の撮像画像生成部32に接続されている。撮像画像生成部32は、第1の画像生成部34Aと、第2の画像生成部34Bとを備える。第1の画像生成部34Aは、第1の撮像素子26Aにより撮像された第1の被写体像から、第1の撮像画像A1を生成する。また、第2の画像生成部34Bは、第2の撮像素子26Bにより撮像された第2の被写体像から、第2の撮像画像A2を生成する。図3は、第1の撮像画像A1及び第2の撮像画像A2を示す図である。第2の被写体像は第1の被写体像とは視差を有するため、図3に示すように、第2の撮像画像A2は第1の撮像画像A1とは視差を有する。
【0019】
図2に示すように、撮像画像生成部32は、指標画像合成部36(詳細については後述する)に接続されている。指標画像合成部36は、立体表示処理部40に接続されている。立体表示処理部40は、3Dモニタ等の表示ユニット80に接続されている。立体表示処理部40は、第1の撮像画像A1と第2の撮像画像A2の画像データに基づいて、内視鏡10により観察される被写体の立体画像である被写体立体画像Sを生成し、表示ユニット80に表示する。また、立体表示処理部40は、計測位置を把握する基準となる計測指標Eを被写体立体画像Sに重畳された状態で表示する。これにより、被写体立体画像Sに計測指標Eを重畳した重畳立体画像Dが生成される。以上のようにして、立体表示処理部40により、被写体立体画像S及び計測指標Eの立体表示処理が行われる。図4は、重畳立体画像Dを示す図である。図4に示すように、重畳立体画像Dでは、被写体立体画像Sにスケール等の計測指標Eが重畳された状態で示されている。重畳立体画像Dを生成する詳細については、後述する。
【0020】
図2に示すように、撮像画像生成部32は、距離データ算出部50に接続されている。また、内視鏡10の挿入部12の先端方向側の部位には、撮像ユニット22の位置及び姿勢を検出する位置姿勢検出部である位置姿勢センサ52が設けられている。位置姿勢センサ52には、電気信号線54の一端が接続されている。電気信号線54は、挿入部12の内部及び操作部14の内部を通って、他端が画像処理ユニット30の位置姿勢算出部56に接続されている。位置姿勢算出部56は、位置姿勢センサ52の検出結果に基づいて、撮像ユニット22の位置及び姿勢を算出する。位置姿勢算出部56は、距離データ算出部50に接続されている。
【0021】
画像処理ユニット30は、記録部58を備える。記録部58には、内視鏡10のスペック(例えば撮像ユニット22の光学倍率)等が記録されている。記録部58は、距離データ算出部50に接続されている。距離データ算出部50は、第1の撮像画像A1及び第2の撮像画像A2の画像データ、撮像ユニット22の位置及び姿勢、及び、内視鏡10のスペックに基づいて、被写体立体画像Sの距離データを算出する。これにより、例えば図4に示すように、被写体立体画像Sの点K1と点K2とを結ぶ直線L1の長さ及び方向を算出可能となる。同様に、例えば図4に示すように、被写体立体画像Sの点K1と点K2を結ぶ曲線L2の長さ及び曲率R0も算出可能となる。また、距離データ算出部50により算出される距離データには、被写体立体画像Sに示される被写体と撮像ユニット22との間の距離情報である第1の距離情報が、含まれる。
【0022】
図2に示すように、入力ユニット90は、計測指標Eの情報である指標情報を入力する指標情報入力部92を備える。指標情報入力部92は、例えばパーソナルコンピュータ(PC)のキーボード及びマウスである。ここで、指標情報とは、例えば計測指標Eの位置、姿勢、透明度、大きさ等の情報であり、計測指標Eの位置情報を含む。指標情報入力部92は、画像処理ユニット30の指標位置算出部60に接続されている。指標位置算出部60には、位置姿勢算出部56及び記録部58が接続されている。指標位置算出部60は、計測指標Eの指標情報、撮像ユニット22の位置及び姿勢、及び、内視鏡10のスペックに基づいて、計測指標Eの位置データを算出する。指標位置算出部60により算出される位置データには、計測指標Eと撮像ユニット22との間の距離情報である第2の距離情報が含まれる。
【0023】
指標位置算出部60は、位置関係算出部62に接続されている。位置関係算出部62には、距離データ算出部50が接続されている。位置関係算出部62は、被写体立体画像Sの距離データ及び計測指標Eの位置データに基づいて、被写体立体画像Sの被写体と計測指標Eとの間の位置関係を算出する。また、位置関係算出部62は、距離データ算出部50からの第1の距離情報及び指標位置算出部60からの第2の距離情報に基づいて、被写体立体画像S及び計測指標Eの撮像ユニット22からの遠近関係を算出する遠近関係算出部63を備える。このため、重畳立体画像Dの上下方向、左右方向、及び、前後方向(撮像ユニット22からの遠近方向)の全ての方向について、被写体立体画像Sの被写体と計測指標Eの位置関係が算出可能となる。
【0024】
図2に示すように、指標位置算出部60は、指標画像生成部64に接続されている。指標画像生成部64は、第1の指標画像B1を生成する第1の指標生成部66Aと、第2の指標画像B2を生成する第2の指標生成部66Bとを備える。第1の指標画像B1及び第2の指標画像B2は、被写体立体画像Sの被写体と計測指標Eとの間の位置関係、第1の撮像画像A1及び第2の撮像画像A2の画像データ、指標情報入力部92により入力される指標情報に基づいて生成される。図5は、指標画像生成部64により生成された第1の指標画像B1及び第2の指標画像B2を示す図である。図5に示すように、第1の撮像画像A1と第2の撮像画像A2との間の関係に対応して、第2の指標画像B2は第1の指標画像B1とは視差を有する。
【0025】
図2に示すように、指標画像生成部64は、画像加工部68に接続されている。画像加工部68は、第1の指標画像B1を加工する第1の画像消去部70Aと、第2の指標画像B2を加工する第2の画像消去部70Bとを備える。第1の指標画像B1及び第2の指標画像B2は、遠近関係算出部63で算出された被写体立体画像Sの被写体と計測指標Eとの間の遠近関係に基づいて、加工される。画像加工部68によって第1の指標画像B1及び第2の指標画像B2が画像加工処理されることにより、図4に示すように、立体表示処理部40での立体表示処理を行った重畳立体画像Dの重畳領域では、被写体立体画像S及び計測指標Eの中で撮像ユニット22から近位に位置する一方が表示される。
【0026】
図6は、画像加工部68により加工された第1の指標画像B1及び第2の指標画像B2を示す図である。図6に示すように、第1の画像消去部70Aにより、重畳領域で計測指標Eの被写体立体画像Sより撮像ユニット22から遠位に位置する部分に対応する部分B´1が、第1の指標画像B1から消去される。同様に、第2の画像消去部70Bにより、重畳領域で計測指標Eの被写体立体画像Sより撮像ユニット22から遠位に位置する部分に対応する部分B´2が、第2の指標画像B2から消去される。
【0027】
図2に示すように、画像加工部68は、指標画像合成部36に接続されている。指標画像合成部36は、第1の撮像画像A1に第1の指標画像B1を合成する第1の合成部38Aと、第2の撮像画像A2に第2の指標画像B2を合成する第2の合成部38Bとを備える。第1の指標画像B1は、クロマキー処理により背景が消去されてから、第1の撮像画像A1に合成される。また、第1の指標画像B1は、被写体立体画像Sの被写体と計測指標Eとの間の位置関係に基づいて、第1の撮像画像A1に合成され、第1の合成画像C1が生成される。すなわち、第1の撮像画像A1において、被写体立体画像Sに計測指標Eが重畳される重畳領域と対応する領域に第1の指標画像B1を合成する。同様に、第2の指標画像B2は、クロマキー処理により背景が消去されてから、第2の撮像画像A2に合成される。また、第2の指標画像B2は、被写体立体画像Sの被写体と計測指標Eとの間の位置関係に基づいて、第2の撮像画像A2に合成され、第2の合成画像C2が生成される。すなわち、第2の撮像画像A2において、被写体立体画像Sに計測指標Eが重畳される重畳領域と対応する領域に第2の指標画像B2を合成する。以上のように合成されることにより、重畳領域で、被写体立体画像Sと計測指標Eとの位置関係が明確に表示される。
【0028】
図7は、第1の合成画像C1及び第2の合成画像C2を示す図である。図7に示すように、第1の撮像画像A1と第2の撮像画像A2との間の関係及び第1の指標画像B1と第2の指標画像B2との間の関係と同様に、第2の合成画像C2は第1の合成画像C1とは視差を有する。
【0029】
図8は、表示ユニット80を示す図である。図8に示すように、表示面82と、表示面82より前方方向側に設けられる偏光板84とを備える。観察者は、偏光グラス86を掛けて重畳立体画像Dを観察する。例えば、偏光グラス86の右目R1側には水平偏光のみを透過する水平偏光板88Aが取付けられ、偏光グラス86の左目R2側には垂直偏光のみを透過する垂直偏光板88Bが取付けられている。
【0030】
図2に示すように、立体表示処理部40は、表示画像切替え部42と、偏光方向切替え部44とを備える。表示画像切替え部42は、表示面82に表示する画像を第1の合成画像C1と第2の合成画像C2との間で、順次に切替える。第1の合成画像C1と第2の合成画像C2との間の切替えは、微小な時間毎に行われる。偏光方向切替え部44は、偏光板84を透過する偏光の偏光方向を順次に切替える。偏光方向切替え部44による切替えは、表示面82に表示される画像の切替えに同期して行われる。第1の合成画像C1が表示されている際には、偏光板84は水平偏光のみを透過する。また、第2の合成画像C2が表示されている際には、偏光板84は垂直偏光のみを透過する。このため、偏光グラス86を掛けた状態では、観察者は右目R1で第1の合成画像C1のみを視認可能であり、左目R2で第2の合成画像C2のみを視認可能である。この状態で第1の合成画像C1と第2の合成画像C2との間の切替えが微小な時間毎に行われるため、観察者は重畳立体画像Dを確認可能となる。
【0031】
図9は、重畳立体画像Dを説明する図である。図9に示すように、第1の合成画像C1の点P1が第2の合成画像C2の点P2に対応し、第1の合成画像C1の点Q1が第2の合成画像C2の点Q2に対応する。前述のように、第2の合成画像C2は第1の合成画像C1とは視差を有する。このため、第1の合成画像C1及び第2の合成画像C2が表示面82の同一の位置に表示した際には、例えば第1の合成画像C1の点P1は第2の合成画像C2の点P2から右方向に離れている。この際、偏光グラス86を掛けた観察者は、右目R1及び点P1を通る直線T1と左目R2及び点P2を通る直線T2との交点に重畳立体画像Dの点P0を確認する。ここで、点P0は、表示面82より後方方向側に位置している。
【0032】
一方、第1の合成画像C1及び第2の合成画像C2が表示面82の同一の位置に表示した際には、例えば第1の合成画像C1の点Q1は第2の合成画像C2の点Q2から左方向に離れている。この際、偏光グラス86を掛けた観察者は、右目R1及び点Q1を通る直線U1と左目R2及び点Q2を通る直線U2との交点に重畳立体画像Dの点Q0を確認する。ここで、点Q0は、表示面82より前方方向側に位置している。以上のように、偏光グラス86を掛けた観察者は、立体表示処理部40の立体表示処理により生成される重畳立体画像Dを確認可能となる。
【0033】
図2に示すように、立体表示処理部40は、第1の合成画像C1及び第2の合成画像C2の表示面82での表示位置を調整する表示位置調整部46を備える。表示位置調整部46は、入力ユニット90での操作に対応して、第1の合成画像C1及び第2の合成画像C2の表示位置を調整する。図10は、第1の合成画像C1を第2の合成画像C2より左方向にずらして表示面82に表示した際の重畳立体画像D´を説明する図である。図10に示すように、第1の合成画像C1を第2の合成画像C2より左方向にずらして表示面82に表示した際には、偏光グラス86を掛けた観察者は、右目R1及び点P1を通る直線T´1と左目R2及び点P2を通る直線T´2との交点に重畳立体画像D´の点P´0を確認する。ここで、点P´0は、点P0より前方方向側に位置している。すなわち、第1の合成画像C1及び第2の合成画像C2の表示面82での表示位置を調整することにより、重畳立体画像(D,D´)のそれぞれの点の表示面82からの前後方向の変位が調整される。
【0034】
そこで、上記構成の画像処理装置1では、以下の効果を奏する。すなわち画像処理装置1では、位置関係算出部62は、被写体立体画像Sの距離データ及び計測指標Eの位置データに基づいて、被写体立体画像Sの被写体と計測指標Eとの間の位置関係を算出する。この際、位置関係算出部62の遠近関係算出部63により、距離データ算出部50からの第1の距離情報及び指標位置算出部60からの第2の距離情報に基づいて、被写体立体画像S及び計測指標Eの撮像ユニット22からの遠近関係を算出する。このため、重畳立体画像Dの上下方向、左右方向、及び、前後方向(撮像ユニット22からの遠近方向)の全ての方向について、被写体立体画像Sの被写体と計測指標Eの位置関係が算出可能となる。そして、指標画像合成部36は、被写体立体画像Sの被写体と計測指標Eとの間の位置関係に基づいて、第1の指標画像B1を第1の撮像画像A1に合成する。また、指標画像合成部36は、被写体立体画像Sの被写体と計測指標Eとの間の位置関係に基づいて、第2の指標画像B2を第2の撮像画像A2に合成する。これにより、重畳領域で、被写体立体画像Sの被写体と計測指標Eとの位置関係が明確に示される。したがって、重畳立体画像Dにおいて計測指標Eによる計測位置が把握し易く、計測位置の計測精度を向上させることができる。
【0035】
また、画像処理装置1では、撮像ユニット22からの遠近関係に基づいて、画像加工部68が第1の指標画像B1及び第2の指標画像B2を加工する。第1の画像消去部70Aにより、重畳領域で計測指標Eの被写体立体画像Sより撮像ユニット22から遠位に位置する部分に対応する部分B´1が、第1の指標画像B1から消去される。同様に、第2の画像消去部70Bにより、重畳領域で計測指標Eの被写体立体画像Sより撮像ユニット22から遠位に位置する部分に対応する部分B´2が、第2の指標画像B2から消去される。以上のような画像加工部68での画像加工処理により、立体表示処理部40での立体表示処理を行った際に重畳領域で被写体立体画像S及び計測指標Eの中で撮像ユニット22から近位に位置する一方が表示される。したがって、重畳立体画像Dの視認性が向上し、重畳立体画像D(被写体立体画像S)において計測指標Eによる計測位置をより把握し易くすることができる。
【0036】
さらに、画像処理装置1では、入力ユニット90での操作に対応して立体表示処理部40の表示位置調整部46が、第1の合成画像C1及び第2の合成画像C2の表示面82での表示位置を調整する。第1の合成画像C1及び第2の合成画像C2の表示面82での表示位置を調整することにより、重畳立体画像(D,D´)のそれぞれの点の表示面82からの前後方向の変位が調整される。したがって、重畳立体画像(D,D´)のそれぞれの点の表示面82からの前後方向の変位を観察者が視認し易い状態に調整可能であり、重畳立体画像(D,D´)の視認性を向上させることができる。
【0037】
(第1の実施形態の変形例)
第1の実施形態の変形例として、図11に示すように、指標情報入力部92はコントローラ102を備えてもよい。コントローラ102は、ジョイスティック104と、第1のスイッチ106Aと、第2のスイッチ106Bとを備える。ジョイスティック104での操作により、計測指標Eが重畳立体画像Dの上下方向及び左右方向に移動する。第1のスイッチ106Aを押圧することにより、計測指標Eが重畳立体画像Dの前方方向(撮像ユニット22へ向かう方向)に移動する。また、第2のスイッチ106Bを押圧することにより、計測指標Eが重畳立体画像Dの後方方向(撮像ユニット22から離れる方向)に移動する。
【0038】
計測指標Eを移動させる際には、指標画像合成部36は、被写体立体画像Sの被写体と計測指標Eとの間の位置関係に基づいて、第1の指標画像B1の第1の撮像画像A1への合成位置を調整する。同様に、指標画像合成部36は、被写体立体画像Sの被写体と計測指標Eとの間の位置関係に基づいて、第2の指標画像B2の第2の撮像画像A2への合成位置を調整する。これにより、被写体立体画像Sの被写体に対して移動する状態の計測指標Eが、被写体立体画像Sに重畳された状態で明確に示される。また、計測指標Eを前後方向へ移動させる際には、被写体立体画像Sの距離データ及び被写体立体画像Sの被写体と計測指標Eとの間の位置関係に基づいて、重畳立体画像Dに示される計測指標Eの大きさが拡大又は縮小される。
【0039】
また、重畳立体画像Dを生成する構成は、第1の実施形態の構成に限るものではない。第1の施形態の変形例として、例えば図12に示すように、立体表示処理部40は、第1の映写部110Aと、第2の映写部110Bとを備えてもよい。本変形例では、表示ユニット80は、偏光板84を備えない。第1の映写部110Aは第1の合成画像C1を表示ユニット80の表示面82に投影し、第2の映写部110Bは第2の合成画像C2を表示面82に投影する。第1の映写部110Aと表示面82との間には、水平偏光のみを透過する水平偏光板112Aが設けられている。また、第2の映写部110Bと表示面82との間には、垂直偏光のみを透過する垂直偏光板112Bが設けられている。このため、偏光グラス86を掛けた観察者は、右目R1で第1の合成画像C1のみを視認可能であり、左目R2で第2の合成画像C2のみを視認可能である。この状態で第1の合成画像C1と第2の合成画像C2とが表示面82に同時に表示されるため、観察者は重畳立体画像Dを確認可能となる。
【0040】
また、第1の実施形態では、第1の撮像素子26A及び第2の撮像素子26Bが設けられているが、これに限るものではない。例えば、1つの撮像素子により、第1の被写体像及び第2の被写体像を撮像してもよい。すなわち、撮像ユニット22により、第1の被写体像及び第1の被写体像とは視差を有する第2の被写体像とが撮像されればよい。
【0041】
(第2の実施形態)
次に、第2の実施形態について、図13乃至図15を参照して説明する。なお、第1の実施形態と同一の部分及び同一の機能を有する部分については同一の符号を付して、その説明は省略する。
【0042】
図13は、本実施形態の画像処理装置1の一部を示す図である。図13に示すように、入力ユニット90の指標情報入力部92は、処置具120と、スイッチ部であるコントローラ122とを備える。処置具120は、第1の把持部124Aと、第1の把持部124Aとの間で把持動作を行う第2の把持部124Bとを備える。コントローラ122は、第1のスイッチ126Aと、第2のスイッチ126Bとを備える。第1のスイッチ126A及び第2のスイッチ126Bは、例えば足で押圧することにより操作を行うフットスイッチである。
【0043】
処置具120及びコントローラ122は、画像処理ユニット30の処置具検出部130に接続されている。処置具検出部130は、距離データ算出部50及び指標位置算出部60に接続されている。処置具検出部130は、被写体立体画像Sに被写体として処置具120が示される際に、被写体立体画像Sの距離データに基づいて処置具120の位置及び移動状態を検出する。処置具検出部130は、例えば処置具120の色に基づいて、処置具120と被写体の処置具120以外の部分とを識別する。
【0044】
図14は、第1のスイッチ126Aによる操作を説明する図である。図14に示すように、第1のスイッチ126Aを押圧した状態で、被写体立体画像Sにおいて処置具120が位置M1から位置M2へ移動する。この際、処置具検出部130が処置具120の位置及び移動状態を検出する。そして、指標位置算出部60が、処置具120の先端の移動軌跡(図14の点V1と点V2とを結ぶ曲線)を計測する計測指標Eの位置データを算出する。そして、第1のスイッチ126Aからの指標情報により、処置具120の先端の移動軌跡を計測する計測指標Eが被写体立体画像Sに重畳される。
【0045】
図15は、第2のスイッチ126Bによる操作を説明する図である。図15に示すように、第2のスイッチ126Bを押圧した状態で、第1の把持部124Aに対して第2の把持部124Bを開く。この際、処置具検出部130が処置具120の第1の把持部124A及び第2の把持部124Bの位置を検出する。そして、指標位置算出部60が、第1の把持部124Aと第2の把持部124Bとの間の寸法(図15の点V3と点V4との間を結ぶ直線)を計測する計測指標Eの位置データを算出する。そして、第2のスイッチ126Bからの指標情報により、第1の把持部124Aと第2の把持部124Bとの間の寸法を計測する計測指標Eが被写体立体画像Sに重畳される。
【0046】
以上のように、処置具120の位置及び移動状態に基づいて、コントローラ(スイッチ部)122(第1のスイッチ126A及び第2のスイッチ126B)により指標情報が入力される。したがって、実際の空間での処置具120の位置及び移動状態に対応させて、被写体立体画像Sで計測位置を計測する計測指標Eが被写体立体画像Sに重畳される。
【0047】
そこで上記構成の画像処理装置1では、第1の実施形態と同様の効果に加えて、以下の効果を奏する。すなわち画像処理装置1では、処置具120の位置及び移動状態に基づいて、コントローラ122により指標情報が入力される。このため、実際の空間での処置具120の位置及び移動状態に対応させて、被写体立体画像Sで計測位置を計測する計測指標Eが被写体立体画像Sに重畳される。実際の空間での処置具120の位置及び移動状態に対応させて計測指標Eが示されるため、計測指標Eが示される位置の微調整、被写体として被写体立体画像Sに示される組織の形状に対応させた計測指標Eの位置、形状の調整等が行い易い。したがって、計測位置の計測精度をより向上させることができる。
【0048】
(第2の実施形態の変形例)
なお、第2の実施形態では、第1のスイッチ126Aにより処置具120の先端の移動軌跡を計測する計測指標Eが被写体立体画像Sに重畳され、第2のスイッチ126Bにより第1の把持部124Aと第2の把持部124Bとの間の寸法を計測する計測指標Eが被写体立体画像Sに示されるが、これに限るものではない。すなわち、処置具120の位置及び移動状態に基づいて、コントローラ(スイッチ部)122により指標情報が入力されればよい。
【0049】
第1の変形例では、図16に示すように、入力ユニット90の指標情報入力部92は、第1の処置具120Aと、第1の処置具120Aとは異なる第2の処置具120Bとを備える。被写体立体画像Sに被写体として第1の処置具120A及び第2の処置具120Bが示される状態で、第1のスイッチ126Aを押圧する。この際、処置具検出部130が第1の処置具120A及び第2の処置具120Bの位置を検出する。そして、指標位置算出部60が、第1の処置具120Aの先端と第2の処置具120Bの先端との間の寸法(図16の点V5と点V6との間を結ぶ直線)を計測する計測指標Eの位置データを算出する。そして、第1のスイッチ126Aからの指標情報により、第1の処置具120Aの先端と第2の処置具120Bの先端との間の寸法を計測する計測指標Eが被写体立体画像Sに重畳される。
【0050】
また、本変形例では、図17に示すように、第1の処置具120Aと第2の処置具120Bとの間に被写体として組織が被写体立体画像Sに示される状態がある。この状態で、コントローラ122の第2のスイッチ126Bを押圧する。この際、処置具検出部130が第1の処置具120A及び第2の処置具120Bの位置を検出する。また、被写体立体画像Sの距離データから、第1の処置具120Aと第2の処置具120Bとの間の組織の形状が算出される。そして、指標位置算出部60が、組織の形状に基づいて、第1の処置具120Aの先端と第2の処置具120Bの先端との間の組織の外表面に沿った寸法(図17の点V7と点V8との間を結ぶ曲線)を計測する計測指標Eの位置データを算出する。そして、第2のスイッチ126Bからの指標情報により、第1の処置具120Aの先端と第2の処置具120Bの先端との間の組織の外表面に沿った寸法を計測する計測指標Eが被写体立体画像Sに重畳される。
【0051】
第2の変形例では、図18に示すように、入力ユニット90の指標情報入力部92は、処置具120を備える。被写体立体画像Sで処置具120が位置M3に位置する状態で、第1のスイッチ126Aを押圧する。この際、処置具検出部130が位置M3に位置する処置具120を検出し、処置具120の先端の位置を固定点V9として入力される。そして、第2のスイッチ126Bを押圧した状態で、処置具120を位置M3から移動する。処置具120を位置M4まで移動させた状態では、処置具検出部130が位置M4に位置する処置具120を検出する。そして、指標位置算出部60が、固定点V9と移動後の処置具120の先端との間の寸法(図18の固定点V9と点V10との間を結ぶ直線)を計測する計測指標Eの位置データを算出する。そして、固定点V9と移動後の処置具120の先端との間の寸法を計測する計測指標Eが被写体立体画像Sに重畳される。
【0052】
また、第2のスイッチ126Bを押圧した状態で、処置具120を位置M4から位置M5までさらに移動させる。この際、処置具検出部130が位置M5に位置する処置具120を検出する。そして、指標位置算出部60が、固定点V9と移動後の処置具120の先端との間の寸法(図18の固定点V9と点V11との間を結ぶ直線)を計測する計測指標E´の位置データを算出する。そして、固定点V9と移動後の処置具120の先端との間の寸法を計測する計測指標E´が被写体立体画像Sに重畳される。すなわち、第2のスイッチ126Bにより、固定点V9と移動後の処置具120の先端との間の寸法を計測する計測指標(E,E´)が被写体立体画像Sに重畳される状態に、指標情報が入力される。
【0053】
なお、本変形例では、コントローラ122は、第1のスイッチ126A及び第2のスイッチ126Bとは異なる第3のスイッチ(図示しない)を備えてもよい。第3のスイッチを押圧した状態で、処置具120を固定点V9から移動させる。この際、固定点V9と移動後の処置具120との間に被写体として組織が示される場合、第1の変形例と同様に、固定点V9と移動後の処置具120の先端との間の組織の外表面に沿った寸法を計測する計測指標Eが示される。
【0054】
第3の変形例として、図19に示すように、入力ユニット90の指標情報入力部92は、処置具120を備える。コントローラ122の第1のスイッチ126Aによって指標情報を入力することにより、第1の点V12と第2の点V13との間の寸法を計測する計測指標Eが被写体立体画像Sに重畳される。第1の点V12と第2の点V13との間の寸法を計測する計測指標Eは、例えば第2の実施形態、第2の実施形態の第1の変形例及び第2の変形例で上述したいずれかの方法によって、重畳立体画像Dに示される。
【0055】
第1の点V12と第2の点V13との間の寸法を計測する計測指標Eが被写体画像Sに重畳される状態で、第2のスイッチ126Bを押圧する。この状態で、被写体立体画像Sに示される処置具120の先端の位置を、計測指標Eの一点である第3の点V14と一致させる。そして、処置具120の先端を第3の点V14から点V15へ移動させる。この際、処置具検出部130が、処置具120の移動状態を検出する。そして、指標位置算出部60が、処置具120の移動状態に基づいて、処置具120とともに移動する移動時の計測指標Eの位置データを算出する。そして、処置具120とともに移動する計測指標Eが被写体立体画像Sに重畳される。以上のようにして、第2のスイッチ126Bにより、処置具120とともに移動する計測指標Eが被写体立体画像Sに重畳される状態に、指標情報が変更される。ここで、処置具120の先端の第3の点V14から点V15への移動とともに、図19の実線で示す位置から点線で示す位置へ計測指標Eが移動する。
【0056】
また、図20に示すように、被写体立体画像Sに示される処置具120の先端の位置を、計測指標Eの一点である第3の点V14と一致させた状態で、第2のスイッチ126Bを押圧し、処置具120を矢印W1の方向に回転させる。この際、処置具検出部130が、処置具120の回転状態を検出する。そして、指標位置算出部60が、処置具120の回転状態に基づいて、処置具120とともに回転する回転時の計測指標Eの位置データを算出する。そして、処置具120とともに矢印W1の方向に回転する計測指標Eが被写体立体画像Sに重畳される。以上のようにして、第2のスイッチ126Bにより、処置具120とともに回転する計測指標Eが被写体立体画像Sに重畳される状態に、指標情報が変更される。ここで、処置具120の先端の第3の点V14での回転とともに、図20の実線で示す位置から点線で示す位置へ計測指標Eが第3の点V14を中心として回転する。
【0057】
第4の変形例として、図21に示すように、入力ユニット90の指標情報入力部92は、処置具120を備える。コントローラ122の第1のスイッチ126Aによって指標情報を入力することにより、第1の点V16と第2の点V17との間の寸法を計測する計測指標Eが被写体立体画像Sに重畳される。第1の点V16と第2の点V17との間の寸法を計測する計測指標Eは、例えば第2の実施形態、第2の実施形態の第1の変形例及び第2の変形例で上述したいずれかの方法によって、重畳立体画像Dに示される。
【0058】
第1の点V16と第2の点V17との間の寸法を計測する計測指標Eが被写体立体画像Sに重畳される状態で、第2のスイッチ126Bを押圧する。この状態で、被写体立体画像Sに示される処置具120の先端の位置を、計測指標Eの一点である第3の点V18と一致させる。そして、処置具120の先端を第3の点V18から点V19へ移動させる。この際、処置具検出部130が、処置具120の移動状態を検出する。そして、指標位置算出部60が、処置具120の移動状態に基づいて、第3の点V18から移動した処置具120の先端(点V19)を通って第1の点V16と第2の点V17との間の寸法を計測する計測指標Eの位置データを算出する。そして、計測指標Eが変形され、第3の点V18から移動した処置具120の先端(点V19)を通って第1の点V16と第2の点V17との間の寸法を計測する計測指標Eが被写体立体画像Sに重畳される。以上のようにして、第2のスイッチ126Bにより、第3の点V18から移動した処置具120の先端を通って第1の点V16と第2の点V17との間の寸法を計測する計測指標Eが被写体立体画像Sに重畳される状態に、指標情報が変更される。
【0059】
以上、本発明の実施形態について説明したが、本発明は上記の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変形ができることは勿論である。
【符号の説明】
【0060】
1…画像処理装置、10…内視鏡、22…撮像ユニット、30…画像処理ユニット、32…撮像画像生成部、36…指標画像合成部、40…立体表示処理部、50…距離データ算出部、60…指標位置算出部、62…位置関係算出部、63…遠近関係算出部、64…指標画像生成部、68…画像加工部、92…指標情報入力部。
【特許請求の範囲】
【請求項1】
被写体の第1の被写体像及び前記第1の被写体像とは視差を有する前記被写体の第2の被写体像とを撮像する撮像ユニットを備える観察ユニットと、
前記第1の被写体像から第1の撮像画像を生成し、前記第2の被写体像から前記第1の撮像画像とは前記視差を有する第2の撮像画像を生成する撮像画像生成部と、
前記第1の撮像画像及び前記第2の撮像画像の画像データに基づいて前記観察ユニットにより観察される前記被写体の立体画像である被写体立体画像を生成し、計測位置を把握する基準となる計測指標を前記被写体立体画像に重畳された状態で表示する処理である前記被写体立体画像及び前記計測指標の立体表示処理を行う立体表示処理部と、
前記第1の撮像画像及び前記第2の撮像画像の前記画像データに基づいて、前記被写体立体画像に示される前記被写体と前記撮像ユニットとの間の距離情報である第1の距離情報を算出する距離データ算出部と、
前記計測指標の位置情報を含む前記計測指標の指標情報を入力する指標情報入力部と、
前記立体表示処理部での前記立体表示処理により前記計測指標を形成する指標画像を、前記計測指標の前記指標情報に基づいて生成する指標画像生成部と、
前記第1の撮像画像及び前記第2の撮像画像において、前記被写体立体画像に前記計測指標が重畳される重畳領域と対応する領域に前記指標画像を合成する指標画像合成部と、
前記計測指標の前記指標情報に基づいて、前記計測指標と前記撮像ユニットとの間の距離情報である第2の距離情報を算出する指標位置算出部と、
前記第1の距離情報及び前記第2の距離情報に基づいて、前記被写体立体画像及び前記計測指標の前記撮像ユニットからの遠近関係を算出する遠近関係算出部と、
前記立体表示処理部での前記立体表示処理を行った際に前記重畳領域で前記被写体立体画像及び前記計測指標の中で前記撮像ユニットから近位に位置する一方が表示される状態に、前記遠近関係算出部で算出された前記遠近関係に基づいて画像加工処理を行う画像加工部と、
を具備する画像処理装置。
【請求項2】
前記画像加工部は、前記遠近関係算出部で算出された前記遠近関係に基づいて、前記重畳領域で前記計測指標の前記被写体立体画像より前記撮像ユニットから遠位に位置する部分に対応する部分を、前記指標画像から消去する画像消去部を備える請求項1の画像処理装置。
【請求項3】
前記被写体立体画像に前記被写体として処置具が示される際に、前記第1の距離情報に基づいて前記処置具の位置及び移動状態を検出する処置具検出部をさらに具備し、
前記指標情報入力部は、前記処置具と、前記処置具の前記位置及び前記移動状態に基づいて前記指標情報を入力するスイッチ部とを備える請求項1の画像処理装置。
【請求項4】
前記スイッチ部は、前記処置具の先端の移動軌跡を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力するスイッチを備える請求項3の画像処理装置。
【請求項5】
前記処置具は、第1の処置具と、前記第1の処置具とは異なる第2の処置具とを備え、
前記スイッチ部は、前記第1の処置具の先端と前記第2の処置具の先端との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力するスイッチを備える請求項3の画像処理装置。
【請求項6】
前記スイッチ部は、前記処置具の先端の位置を固定点として入力する第1のスイッチと、前記固定点から前記処置具の先端が移動した際に前記固定点と移動後の前記処置具の先端との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力する第2のスイッチとを備える請求項3の画像処理装置。
【請求項7】
前記処置具は、第1の把持部と、前記第1の把持部との間で把持動作を行う第2の把持部とを備え、
前記スイッチ部は、前記第1の把持部と前記第2の把持部との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力するスイッチを備える請求項3の画像処理装置。
【請求項8】
前記スイッチ部は、第1の点と第2の点との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力する第1のスイッチと、前記被写体立体画像に示される前記処置具の先端の位置が前記計測指標の一点である第3の点と位置が一致した後に、前記処置具の移動又は回転により前記処置具とともに移動又は回転する前記計測指標が前記被写体立体画像に重畳される状態に、前記指標情報を変更する第2のスイッチとを備える請求項3の画像処理装置。
【請求項9】
前記スイッチ部は、第1の点と第2の点との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力する第1のスイッチと、前記被写体立体画像に示される前記処置具の先端が前記計測指標の一点である第3の点と位置が一致した後に、前記計測指標が変形され、前記第3の点から移動した前記処置具の前記先端を通って前記第1の点と前記第2の点との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に、前記指標情報を変更する第2のスイッチとを備える請求項3の画像処理装置。
【請求項1】
被写体の第1の被写体像及び前記第1の被写体像とは視差を有する前記被写体の第2の被写体像とを撮像する撮像ユニットを備える観察ユニットと、
前記第1の被写体像から第1の撮像画像を生成し、前記第2の被写体像から前記第1の撮像画像とは前記視差を有する第2の撮像画像を生成する撮像画像生成部と、
前記第1の撮像画像及び前記第2の撮像画像の画像データに基づいて前記観察ユニットにより観察される前記被写体の立体画像である被写体立体画像を生成し、計測位置を把握する基準となる計測指標を前記被写体立体画像に重畳された状態で表示する処理である前記被写体立体画像及び前記計測指標の立体表示処理を行う立体表示処理部と、
前記第1の撮像画像及び前記第2の撮像画像の前記画像データに基づいて、前記被写体立体画像に示される前記被写体と前記撮像ユニットとの間の距離情報である第1の距離情報を算出する距離データ算出部と、
前記計測指標の位置情報を含む前記計測指標の指標情報を入力する指標情報入力部と、
前記立体表示処理部での前記立体表示処理により前記計測指標を形成する指標画像を、前記計測指標の前記指標情報に基づいて生成する指標画像生成部と、
前記第1の撮像画像及び前記第2の撮像画像において、前記被写体立体画像に前記計測指標が重畳される重畳領域と対応する領域に前記指標画像を合成する指標画像合成部と、
前記計測指標の前記指標情報に基づいて、前記計測指標と前記撮像ユニットとの間の距離情報である第2の距離情報を算出する指標位置算出部と、
前記第1の距離情報及び前記第2の距離情報に基づいて、前記被写体立体画像及び前記計測指標の前記撮像ユニットからの遠近関係を算出する遠近関係算出部と、
前記立体表示処理部での前記立体表示処理を行った際に前記重畳領域で前記被写体立体画像及び前記計測指標の中で前記撮像ユニットから近位に位置する一方が表示される状態に、前記遠近関係算出部で算出された前記遠近関係に基づいて画像加工処理を行う画像加工部と、
を具備する画像処理装置。
【請求項2】
前記画像加工部は、前記遠近関係算出部で算出された前記遠近関係に基づいて、前記重畳領域で前記計測指標の前記被写体立体画像より前記撮像ユニットから遠位に位置する部分に対応する部分を、前記指標画像から消去する画像消去部を備える請求項1の画像処理装置。
【請求項3】
前記被写体立体画像に前記被写体として処置具が示される際に、前記第1の距離情報に基づいて前記処置具の位置及び移動状態を検出する処置具検出部をさらに具備し、
前記指標情報入力部は、前記処置具と、前記処置具の前記位置及び前記移動状態に基づいて前記指標情報を入力するスイッチ部とを備える請求項1の画像処理装置。
【請求項4】
前記スイッチ部は、前記処置具の先端の移動軌跡を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力するスイッチを備える請求項3の画像処理装置。
【請求項5】
前記処置具は、第1の処置具と、前記第1の処置具とは異なる第2の処置具とを備え、
前記スイッチ部は、前記第1の処置具の先端と前記第2の処置具の先端との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力するスイッチを備える請求項3の画像処理装置。
【請求項6】
前記スイッチ部は、前記処置具の先端の位置を固定点として入力する第1のスイッチと、前記固定点から前記処置具の先端が移動した際に前記固定点と移動後の前記処置具の先端との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力する第2のスイッチとを備える請求項3の画像処理装置。
【請求項7】
前記処置具は、第1の把持部と、前記第1の把持部との間で把持動作を行う第2の把持部とを備え、
前記スイッチ部は、前記第1の把持部と前記第2の把持部との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力するスイッチを備える請求項3の画像処理装置。
【請求項8】
前記スイッチ部は、第1の点と第2の点との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力する第1のスイッチと、前記被写体立体画像に示される前記処置具の先端の位置が前記計測指標の一点である第3の点と位置が一致した後に、前記処置具の移動又は回転により前記処置具とともに移動又は回転する前記計測指標が前記被写体立体画像に重畳される状態に、前記指標情報を変更する第2のスイッチとを備える請求項3の画像処理装置。
【請求項9】
前記スイッチ部は、第1の点と第2の点との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に前記指標情報を入力する第1のスイッチと、前記被写体立体画像に示される前記処置具の先端が前記計測指標の一点である第3の点と位置が一致した後に、前記計測指標が変形され、前記第3の点から移動した前記処置具の前記先端を通って前記第1の点と前記第2の点との間の寸法を計測する前記計測指標が前記被写体立体画像に重畳される状態に、前記指標情報を変更する第2のスイッチとを備える請求項3の画像処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【公開番号】特開2012−147857(P2012−147857A)
【公開日】平成24年8月9日(2012.8.9)
【国際特許分類】
【出願番号】特願2011−7212(P2011−7212)
【出願日】平成23年1月17日(2011.1.17)
【出願人】(304050923)オリンパスメディカルシステムズ株式会社 (1,905)
【Fターム(参考)】
【公開日】平成24年8月9日(2012.8.9)
【国際特許分類】
【出願日】平成23年1月17日(2011.1.17)
【出願人】(304050923)オリンパスメディカルシステムズ株式会社 (1,905)
【Fターム(参考)】
[ Back to top ]