計測用内視鏡装置
【課題】計測対象を撮像して元画像として読み取り、読み取った元画像上の計測点の位置に基づいて計測を行う計測用内視鏡装置において、容易に計測点の指定が可能であり、高精度な計測を行うことができる計測用内視鏡装置を提供する。
【解決手段】 計測対象を撮像して得られた元画像に対し、例えば拡大画像生成処理を行い、計測点を指定する際、大きく移動する場合には元画像の画素間隔の指定を行い、詳しく詳細な移動を行うためには元画像の画素間隔より細かな指定を行い、効率よく測定点の指定を行う計測用内視鏡装置である。また、上記設定を切り換え可能とすることによって、より容易に計測点の指定を行うことが可能となる。例えば、計測点が離れている場合、移動量を画素間隔として迅速に指定点を計測点に近づけ、その後移動量の単位を画素間隔より細かい設定に切り換え、指定点を正確に計測点に近づけ、ユーザによる計測点の指定を容易に行わせる。
【解決手段】 計測対象を撮像して得られた元画像に対し、例えば拡大画像生成処理を行い、計測点を指定する際、大きく移動する場合には元画像の画素間隔の指定を行い、詳しく詳細な移動を行うためには元画像の画素間隔より細かな指定を行い、効率よく測定点の指定を行う計測用内視鏡装置である。また、上記設定を切り換え可能とすることによって、より容易に計測点の指定を行うことが可能となる。例えば、計測点が離れている場合、移動量を画素間隔として迅速に指定点を計測点に近づけ、その後移動量の単位を画素間隔より細かい設定に切り換え、指定点を正確に計測点に近づけ、ユーザによる計測点の指定を容易に行わせる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は計測対象を撮像して元画像として読み取り、読み取った元画像上の計測点の位置に基づいて計測を行う計測用内視鏡装置に関する。
【背景技術】
【0002】
今日、計測用内視鏡装置は各種機械部品の傷や欠けの計測等に利用されている。このような計測用内視鏡装置は、計測対象を撮像して元画像を読み取り、読み取った元画像上の計測点の位置に基づいて計測を行う。
【0003】
特許文献1には、元画像上の計測点を指定する技術として、元画像を拡大し、拡大画像上で計測点の指定を行う方法が提案されている。この方法は、拡大画像上の画素の中から計測点に対応する画素を選択して指定し、指定された画素に対応する元画像上の画素の位置に基づいて計測を行う構成である。さらに、指定された計測点の元画像上での位置は、拡大倍率の逆数単位で算出することができる。従って、この様に算出された位置に基づいて、元画像の画素間隔よりも細かい単位の計測を行うことも可能である。
【0004】
ここで、従来方法による計測点の指定例を示す。例えば、図12は計測対象の元画像を示す。同図に示すように、元画像は背景が白であり、太さが2画素である2本の黒い線が直角に交わっている。計測点は2本の線の交点の中心であり、この点を含む領域を拡大する拡大領域としている。
【0005】
図13は、この拡大領域を拡大して示す図である。同図に示す拡大画像上には指定点を示す+印が表示されている。上記技術では、同図に示す拡大画像上で計測点を指定し、指定された拡大画像上の画素に対応する元画像上の画素の位置に基づいて計測を行っている。また、上記のように、指定された拡大画像上の画素に対応する元画像上の位置を拡大倍率の逆数の単位で算出し、この位置に基づいて計測することも可能である。
【特許文献1】特開平4−332523号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、前記従来方法においては、元画像の画素間隔より細かい単位で計測点を指定する場合、計測点として最も特徴を持つ点を元画像の画素間において判断して指定する。しかし、最も特徴を持つ点を判断することは難しい。すなわち、単なる拡大では元画像の画素が単純に拡大されるだけであり、特徴が現れ難いため、ユーザが特徴のある位置を予測して指定することになり正確に指定することは難しい。一方、線形補間などの1次以上の補間による拡大では、画像がぼやけ易いため、位置指定の判断が困難である。
【0007】
さらに、上記従来方法では計測点の位置指定の単位は、元画像の画素間隔もしくは拡大倍率の逆数に制限されるため、計測点の指定位置が限定されてしまう。すなわち、計測点の位置指定の単位を元画像の画素間隔よりも細かくするためには、元画像を拡大する必要があった。その結果、計測点の位置指定を細かい単位で行うためには、拡大倍率を上げなければならないが、拡大倍率を上げると拡大範囲が狭くなるため拡大画像が分かり難くなり、計測点の指定が困難となる。
【0008】
本発明は、計測点の位置指定が容易であり、例えば拡大倍率によらず位置指定が任意に指定でき、高精度な計測が可能な計測用内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題は本発明によれば、画素単位でサンプリングして読み取った画像を元画像として取得する元画像取得手段と、前記元画像の一部または全部の領域に対して所定の位置で再サンプリングして画像を生成する再サンプリング画像生成手段とを有する計測用内視鏡装置であって、元画像の一部または全部の領域内の各画素に対応するサンプリング点を、元画像の画素間隔より細かい単位で移動させるサンプリング点移動手段と、該サンプリング点移動手段でサンプリング点を所望の点に移動することによって、元画像の画素間隔より細かい単位で計測点の元画像上の位置を指定する計測点位置指定手段と、指定された計測点の位置に基づいて、元画像の画素間隔より細かい単位で計測を行う計測手段とを備えた計測用内視鏡装置を提供することによって達成できる。
【0010】
また、上記構成に加えて、サンプリング点移動手段によってサンプリング点が移動された画像を生成するサンプリング点移動画像生成手段と、サンプリング点移動画像を拡大して拡大画像を生成する拡大画像生成手段と、拡大画像を表示する拡大画像表示手段と、拡大画像上で計測点の位置を指定する計測点位置指定手段とを有する計測用内視鏡装置を提供することによって達成できる。
【0011】
さらに、サンプリング点移動手段で、移動されるサンプリング点の移動量の単位を指定するサンプリング点移動量単位指定手段を設けた計測用内視鏡装置を提供することによって達成できる。
【0012】
さらに、拡大画像表示手段に表示される拡大画像に対して拡大画像の信号の変化の割合を減少させるようにフィルタ処理するフィルタ手段を設けた。
上記構成により、元画像の画素間隔より細かい単位で計測点を位置指定する際に必要な特徴点をもつ位置の判断が容易になる。また、計測点の位置指定の単位は任意に設定できるため、従来より高精度な計測が可能となり、更に任意の倍率による拡大によって計測点の指定の容易さが向上する。拡大画像を用いて計測点を指定する場合は、拡大画像表示手段に表示される拡大画像のノイズを低減することができ、計測点の指定が容易となる。
【発明の効果】
【0013】
本発明によれば、元画像の画素間隔より細かい単位で計測点を位置指定する際、必要な特徴をもつ点の判断が容易となる。
また、計測点の位置指定の単位は任意に設定できるため、従来より高精度な計測が可能となる。
【0014】
さらに、任意の倍率による拡大によって計測点の指定が更に容易となる。
【発明を実施するための最良の形態】
【0015】
以下、本発明の実施の形態を図面を参照しながら説明する。
図1〜図11は本実施形態に係わり、図1は計測用内視鏡装置を説明する図であり、図2は計測用内視鏡装置の構成を説明するブロック図であり、図3はリモートコントローラを説明する図であり、図4は直視型のステレオ光学アダプタを計測用内視鏡先端部に取り付けた構成を示す斜視図であり、図5は図4のA−A断面図であり、図6はステレオ計測により計測点の3次元座標を求める方法を説明する図であり、図7は計測用内視鏡装置による計測の流れを説明するフローチャートであり、図8は図1の計測用内視鏡装置のステレオ計測実行画面を示す説明図であり、図9はサンプリング点移動画像の拡大画像を示す図であり、図10はサンプリング点移動画像とその拡大画像が生成される原理を説明する図であり、図11は元画像におけるサンプリング点と移動されたサンプリング点を示す図である。
【0016】
先ず、図1に示すように、計測用内視鏡装置10はステレオ計測可能なものを含む光学アダプタを着脱自在に構成した内視鏡挿入部11と、該内視鏡挿入部11を収納するコントロールユニット12と、計測用内視鏡装置10のシステム全体の各種動作制御を実行するのに必要な操作を行うリモートコントローラ13と、内視鏡画像や操作制御内容(例えば処理メニュー)等の表示を行う液晶モニタ(以下、LCDと記載)14と、通常の内視鏡画像、あるいはその内視鏡画像を擬似的にステレオ画像として立体視可能なフェイスマウントディスプレイ(以下, FMDと記載)17と、該FMD17に画像データを供給するFMDアダプタ18とを含んで構成されている。
【0017】
次に、図2を参照しながら計測用内視鏡装置10のシステム構成を詳細に説明する。図2に示すように、前記内視鏡挿入部11は、内視鏡ユニット24に接続される。この内視鏡ユニット24は、例えは図1に示したコントロールユニット12内に搭載されている。また、この内視鏡ユニット24は、撮影時に必要な照明光を得るための光源装置と、前記内視鏡挿入部11を電気的に自在に湾曲させるための電動湾曲装置とを含んで構成されている。また、内視鏡挿入部11先端の個体撮像素子43(図5参照)からの撮像信号は、カメラコントロールユニット(以下、CCUと記載)25に入力される。 該CCU25は、供給された撮像信号をNTSC信号等の映像信号に変換し、前記コントロールユニット12内の主要処理回路群へと供給する。
【0018】
前記コントロールユニット12内に搭載された主要回路郡は、図2に示すように、主要プログラムに基づき各種機能を実行し動作させるように制御を行うCPU26、ROM27、RAM28、PCカードインターフェイス(以下、PCカードI/Fと記載)30、USBインターフェイス(以下、USB I/Fと記載)31、RS−232Cインターフェイス(以下、RS−232C I/Fと記載)29、音声信号処理回路32、及び映像信号処理回路33とを含んで構成されている。尚、前記CPU26は、ROM27に格納されているプログラムを実行し、目的に応じた処理を行うように各種の回路部を制御してシステム全体の動作制御を行う。
【0019】
前記RS−232c I/F29は、CCU25、内視鏡ユニット24、及びリモートコントローラ13にそれぞれ接続されている。リモートコントローラ13は、CCU25、内視鏡ユニット24の制御及び動作指示を行うためのものである。RS−232C I/F29は、リモートコントローラ13による操作に基づいてCCU25、内視鏡ユニット24を動作制御するのに必要な通信を行うためのものである。
【0020】
前記USB I/F31は、前記コントロールユニット12とパーソナルコンピュータ21とを電気的に接続するためのインターフェイスである。前記USB I/F31を介して前記コントロールユニット12とパーソナルコンピュータ21とを接続した場合には、パーソナルコンピュータ21側でもコントロールユニット12における内視鏡画像の表示指示や計測時における画像処理などの各種の支持制御を行うことが可能であり、またコントロールユニット12、パーソナルコンピュータ21間で各種の処理に必要な制御情報やデータ等の入出力を行うことが可能である。
【0021】
また、前記PCカードI/F30は、PCMCIAメモリカード23、及びコンパクトフラッシュ(登録商標)メモリカード22が着脱自由に接続される構成である。つまり、前記いずれかのメモリカードが装着された場合には、コントロールユニット12は、CPU26による制御によって、記録媒体としてのメモリカードに記憶された制御処理情報や画像情報等のデータを再生し、前記PCカードI/F30を介してコントロールユニット12内に取り込み、或いは制御処理情報や画像情報等のデータを、前記PCカードI/F30を介してメモリーカードに供給して記録することができる。
【0022】
前記映像信号処理回路33は、CCU25から供給された内視鏡画像とグラフィックによる操作メニューとを合成した合成画像を表示するように、CCU25からの映像信号とCPU26の制御により生成される操作メニューに基づく表示信号とを合成処理し、更にLCD14の画面上に表示するのに必要な処理を施してLCD14に供給する。これにより、LCD14には内視鏡画像と操作メニューとの合成画像が表示される。尚、映像信号処理回路33では、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。
【0023】
また、図1に示したコントロールユニット12は、前記CCU25を経由せずに映像信号処理回路33に映像を入力する外部映像入力端子70を別に設けている。該外部映像入力端子70に映像信号が入力された場合、映像信号処理回路33はCCU25からの内視鏡画像に優先して前記合成画像を出力する。
【0024】
前記音声信号処理回路32は、マイク20により集音されて生成され、メモリーカード等の記録媒体に記録する音声信号、或いはメモリカード等の記録媒体の再生によって得られた音声信号、あるいはCPU26によって生成された音声信号が供給される。前記音声信号処理回路32は、供給された音声信号に再生するために必要な処理(増幅処理等)を施し、スピーカ19に出力する。これにより、スピーカ19によって音声信号が再生される。
【0025】
前記リモートコントローラ13は、図3に示すようにジョイスティック61、レバースイッチ62、フリーズスイッチ63、ストアースイッチ64、計測実行スイッチ65、及び拡大表示切り換えようWIDEスイッチ66、TELEスイッチ67を併設して構成されている。
【0026】
前記リモートコントローラ13において、ジョイスティック61は内視鏡先端部の湾曲動作を行うスイッチであり、360度の何れの方向にも自在に操作指示を与えたり、真下に押下することで湾曲動作の微調整の指示等を与えることが可能である。また、レバースイッチ62は、グラフィック表示される各種メニュー操作や計測を行う場合のポインター移動及び真下への押下による選択項目の決定操作を行うためのスイッチであり、前記ジョイスィックスイッチ61と略同形状に構成されたものである。フリーズスイッチ63は、LCD14表示にかかわるスイッチである。ストアースイッチ64は、前記フリーズスイッチ63の押下によって静止画像を表示した場合、該静止画像をPCMCIAメモリカード23(図2参照)に記録する場合に用いられるスイッチである。また、計測実行スイッチ65は、計測ソフトを実行する際に用いられるスイッチである。拡大表示切り換え用WIDEスイッチ66、及びTELEスイッチ67は、内視鏡画像を拡大縮小するのに用いられるスイッチである。尚、前記フリーズスイッチ63、ストアースイッチ64、及び計測実行スイッチ65は、例えばオン/オフの押下式を採用して構成されている。
【0027】
内視鏡挿入部11で撮像される内視鏡画像は、映像信号処理回路33で必要に応じて拡大または縮小処理され、LCD14に出力される。この場合の拡大または縮小の倍率の制御はWIDEスイッチ66とTELEスイッチ67で行われる。また、計測実行時における拡大画像を表示する際の倍率の制御もWIDEスイッチ66とTELEスイッチ67で行われる。
【0028】
上記内視鏡挿入部11で撮像される内視鏡画像の拡大と縮小の制御と、計測実行時における拡大画像を表示する際の倍率の制御は、上記WIDEスイッチ66とTELEスイッチ67の2個のスイッチからなる構成で行っている。しかし、リモートコントローラ等の操作指示手段にこのような2個のスイッチを設けることが困難もしくは不可能な場合がある。このような場合、拡大縮小の制御を1個のスイッチで行うことも可能である。すなわち、このスイッチの押下ごとに所定の倍率Aまで倍率を増加または減少させ、所定の倍率Aに設定された後は逆にスイッチの押下ごとに所定の倍率Bまで倍率を減少または増加させる。この制御を繰り返すことで、1個のスイッチによって拡大縮小の制御を行うことが可能である。
【0029】
次に、本実施の形態の計測用内視鏡装置10に用いられる光学アダプタの一種であるステレオ光学アダプタの構成を図4と図5を参照しながら説明する。
図4及び図5はステレオ光学アダプタ37を内視鏡先端部39に取り付けた状態を示しており、該ステレオ光学アダプタ37は、固定リング38の雌ねじ53により内視鏡先端部39の雄ねじ54と螺合することによって固定されるようになっている。
【0030】
また、ステレオ光学アダプタ37の先端には、一対の照明レンズ36と2つの対物レンズ系34、35が設けられている。2つの対物レンズ系34、35は、内視鏡先端部39内に配設された撮像素子43上に2つの画像を結像する。そして、撮像素子43により得られた撮像信号は、電気的に接続された信号線43a、及び図2に示す内視鏡ユニット24を介してCCU25に供給され、該CCU25により映像信号に変換された後に映像信号処理回路33に供給される。尚、映像信号は輝度値または輝度値と色差値を含む。また、CCU25に供給される撮像信号によって生成される画像を元画像と呼ぶ。
【0031】
次に、図6を参照して、ステレオ計測による計測点の3次元座標の求め方を説明する。左側及び右側の光学系にて撮像された元画像上の計測点の座標をそれぞれ(XL,YL)、(XR,YR)とし、計測点の3次元座標を(X,Y,Z)とする。但し、(XL,YL)、(XR,YR)の原点は、それぞれ左側及び右側の光学系における光軸と、撮像素子43の交点であり、(X,Y,Z)の原点は左側及び右側の光学中心の中間点である。左側と右側の光学中心の距離をD、焦点距離をFとすると、三角測量の方法により、
X=t×XR +D/2
Y=t×YR
Z=t×F
ただし、t=D/(XL−XR)となる。
【0032】
このように、元画像上の計測点の座標が決定されると、既知のパラメータD及びFを用いて計測点の3次元座標が求まる。そして、いくつかの点の3次元座標を求めることによって、2点間の距離、2点を結ぶ線と1点の距離、面積、深さ、表面形状など様々な計測が可能である。
【0033】
以上の構成の計測用内視鏡装置において、以下に図7〜図11を用いて本例の処理動作を説明する。ここで、図7はステレオ計測のフローチャートを示し、図8はステレオ計測の画面を示す図である。また、図8の画像は、例えば航空機のエンジン部品であるタービンブレードに欠けが生じた例を示しており、欠けの最も外側の幅を計測する場合の計測画面を示している。
【0034】
先ず、前述のジョイスティック61に設けられた計測実行スイッチ65を押下すると、図7(a)に示す計測フローのステップS001により、画素単位でサンプリングして読み取った画像を元画像として取得し、ステップS002で表示装置に表示する。図8(a)は読み取られた左右2つの元画像と、計測の操作を指示するアイコンと、レバースイッチ62で位置が指定されるポインタからなる計測画面を示す。
【0035】
次に、ステップS003において左画像上で計測点を指定する。この計測点の指定は、図7(b)に示す計測点指定フローにより実行する。先ず、ステップS101で元画像上で拡大対象となる拡大領域を設定する。この拡大領域の設定は、図7(c)に示す拡大領域設定フローにより実行する。すなわち、ステップS501でレバースイッチ62を操作し、元画像上の計測点付近の位置を指定し、ステップS502で拡大画像表示指示を行うと、ステップS503で拡大領域を決定する。本例では、拡大領域はレバースイッチ62で指定された位置を中心とする所定の範囲の領域とする。
【0036】
次に、ステップS102では拡大画像を生成する。この拡大画像の生成は、図7(d)に示すフローに従って実行される。先ず、ステップS601で、拡大領域内のサンプリング点の位置に基づいて画像を生成する。拡大領域内のサンプリング点の位置は、最初は元画像取得時におけるサンプリングの位置であり、後述のステップS107で移動される。
【0037】
ここで、移動された場合、拡大領域のサンプリング点の位置は元画像取得時のサンプリングの位置からずれるため、元画像上の画素から補間によって画像を生成する。補間方法は、最近傍補間、線形補間、双3次補間などを使用する。このステップS601で生成される画像をサンプリング点移動画像とする。
【0038】
次に、ステップS602でWIDEスイッチ66、又はTELEスイッチ67の押下回数から拡大倍率を設定し、ステップS603でサンプリング点移動画像の画素数を補間により拡大倍率分だけ増加させることで、拡大画像を生成する。補間方法は、最近傍補間、線形補間、双3次補間などを使用する。ステップS604では拡大画像に対して後述するフィルタ処理を行う。
【0039】
次に、ステップS103において、拡大画像の大きさと位置を決定して表示する。尚、表示位置は元画像に重畳することも可能であり、この場合、拡大画像の表示位置を元画像の拡大領域から常に所定の距離以上離れた位置とすることで、拡大領域及びその付近が表示されなくならないようにする。
【0040】
次に、ステップS104では拡大画像上において指定点となる画素を選択する。そして、選択された画素上には指定点を示すカーソルを表示する。尚、指定点となる画素は拡大画像上の所定の固定位置でもよい。
【0041】
図8(b)は、計測点付近にポインティングして拡大画像を表示させた場合の計測画面を示している。この計測画面には画面中央に拡大画像と指定点を示すカーソルが表示される。拡大画像の右及び下には、それぞれ指定点から垂直方向及び水平方向の画素の輝度を示すグラフが表示され、指定点とその周辺の輝度を確認することができる。また、拡大倍率が3倍であることを示す「3x」が表示される。
【0042】
次に、ステップS105において、上記指定点により計測点が指定されているか判断する。ここで、計測点の指定がされていなければ、ステップS106に進み、指定されていればレバースイッチ62を押下してステップS108に進む。
【0043】
ステップS106ではサンプリング点を移動するか判断する。拡大画像上に計測点が存在し、サンプリング点と計測点が一致しているためにサンプリング点を移動する必要がなければ、ステップS104に移り、表示されている計測点を指定点として選択する。拡大画像上に計測点が存在するが、サンプリング点と計測点が一致せずサンプリング点を移動する必要がある場合や、拡大画像上に計測点が存在しない場合はステップS107に移る。このステップS107では、拡大画像上の指定点により計測点が指定されるように、サンプリング点を移動する。サンプリング点の移動は図7(e)に示すフローに従って行われる。先ず、ステップS801において指定点を計測点付近に速く移動するため、サンプリング点の移動量の単位は元画像の画素間隔の単位に設定される。
【0044】
次に、ステップS802でレバースイッチ62により、指定点を計測点に近づける。このため、ジョイスティック61を押下し、高い精度で計測点を指定するため、サンプリング点の移動量の単位を画素間隔より細かい単位に切り換える。そして、レバースイッチ62によりサンプリング点の位置を移動させ、指定点を計測点まで移動させる。尚、サンプリング点の移動量の単位が画素間隔より細かく設定された場合、「F」アイコンが表示される(後述する図8(c)を参照)。
【0045】
このように処理することにより、指定点が計測点より離れている場合移動量を画素間隔として迅速に指定点を計測点に近づけ、その後移動量の単位を画素間隔より細かく設定し、指定点を正確に計測点に近づける。したがって、本例のこの処理により、ユーザは容易に計測点の設定を行うことができる。
【0046】
尚、サンプリング点の移動は、以下の手順に従って行ってもよい。先ず、ステップS801ではジョイスティック61、又はフリーズスティック63の押下状態によってサンプリング点の移動量の単位の設定を決定する。次に、ステップS801の設定に従って、ステップS802でレバースイッチ62により指定点を計測点付近に近づかせる。
【0047】
次に、上記ステップS107の処理によってサンプリング点の位置が移動されると、これに伴って拡大領域も移動される。サンプリング点の移動後、ステップS102に戻り、再度拡大画像を生成し表示する。図8(c)は、サンプリング点を移動させた場合の拡大画像を含む計測画面を示す。また、同図(d)は、拡大倍率を6倍に変更させた場合の計測画面を示している。さらに、同図(e)はサンプリング点の移動量の単位を元画像の画素間隔に設定し、同図(d)の状態からサンプリング点を移動させた場合の計測画面を示している。
【0048】
このように、サンプリング点の移動量の単位を切り換えることで、大まかな移動と細かい移動が行え、計測点の指定を容易に行うことができる。
次に、上記処理により指定点が計測点まで移動した後、ステップS105でレバースイッチ62を押下して指定点を決定し、ステップS108で指定点の位置から計測点の元画像上での位置を算出する。
【0049】
次に、ステップS004では、ステップS003で指定された時点の拡大画像を、左画像上に重畳して表示する。そして、ステップS005では、ステップS003で指定された計測点に対応する右画像上での対応点を検索する。この検索は既存の画像のテンプレートマッチング法によって、元画像の画素間隔よりも細かい単位で行う。
【0050】
次に、ステップS006では、検索された右画像上の対応点の周辺を、左画像の拡大と同様に拡大し、右画像上に重畳して表示する。図8(f)は、この時の計測画面を示している。これら元画像上の拡大画像の表示により、次の計測点を指定する間にも、正しく前回の計測点を確認し、右画像の対応点のマッチング結果を確認することが可能となり、計測の誤りを防ぐことが可能になる。
【0051】
次に、ステップS007で、左画面の計測点の位置を修正するか判断する。ここで、左画面の計測点の位置を修正する場合には、レバースイッチ62を操作しで計測画面上のアイコン「←」を選択し、ステップS003に戻り、計測点を再度指定する。一方、修正しない場合にはステップS008に進む。
【0052】
ステップS008では、右画面の対応点の位置を修正するか判断する。そして、修正する場合には、レバースイッチ62を操作して計測画面上のアイコン[→]を選択し、ステップS010に進み、前述の左画像上の計測点の指定と同様にして右画像上で対応点を指定する。そして、ステップS011において、右画像上の対応点の周辺を前述のステップS006における処理と同様に表示する。
【0053】
尚、ステップS007及びステップS008の判断に際しては、左画像の計測点と右画像の対応点の周辺の拡大画像をそれぞれ左画面と右画面に大きく表示し、正しく計測点と対応点が指定されているかを確認するようにしてもよい。
【0054】
また、上記ステップS008において、位置を修正しない場合ステップS012に進み、他の計測点を指定するか判断する。そして、指定する場合にはステップS003に戻り、指定しない場合にはS013に進む。この処理では、以上で指定された計測点の位置に基づいて計測を行う。図8(g)は、2点間の距離を計測した場合の計測結果が含まれる計測画面を示す。
【0055】
図8(g)に示す計測結果の例では計測単位がmmとなっているが、画面内の「mm」、「inch」の選択を切り換えることで計測単位を切り換えることができる。計測単位を切り換えると、計測結果の表示も設定された単位に変更される。これにより計測作業を続けながら任意のタイミングで計測単位を切り換えられる。普段使用している単位と検査マニュアルに書かれている単位が異なる場合や、設定が間違っていた場合に役立つ。尚、メニューによる設定で計測単位を変更することも可能である。
【0056】
次に、計測点指定の詳細について、前述の図12に示した元画像を例として説明する。図12に示す拡大領域は、最初前述の図13で示すように拡大される。但し、拡大のための画素数の増加には最近傍補間を使用している。指定点が2本の線の交点の中心まで移動するように、サンプリング点の移動量の単位を0.1画素に設定し、サンプリング点を左に0.5画素、下に0.5画素移動する。この処理によって、サンプリング点移動画像が線形補間により生成され、この画像の拡大画像が生成される。図9はこの時の拡大画像である。
【0057】
次に、サンプリング点移動画像とその拡大画像が生成される原理について、図10を用いて説明する。元画像は図10(a)に示すように横6画素×縦1画素の元画像であって、中心の2画素が白、それ以外の周囲の画素が黒である。同図(b)は元画像のサンプリング点における輝度を示している。
【0058】
このサンプリング点を右に元画像の1/3画素移動すると、移動されたサンプリング点の輝度は元画像の画素から補間により計算され、サンプリング点移動画像の輝度は同図(c)のようになる。また、サンプリング点の移動画像に対し、拡大のために画素数を増加させると輝度は同図(d)のようになる。この輝度から同図(e)の拡大画像が生成される。
【0059】
次に、図9に示す拡大画像が生成される原理について述べる。図11は元画像におけるサンプリング点と移動されたサンプリング点を示す図である。前述の図13に示す元画像では、黒い線は2個のサンプリング点に跨っており、例えば拡大画像上では元画像上の太さ2の線が単純に拡大された画像となる。一方、サンプリング位置を移動すると、黒線内の2画素に跨った位置のサンプリングでは黒となり、白と黒の境界位置では補間により灰色となる。従って、この拡大画像において、指定点の位置は黒であるが、その周囲は灰色となっている。
【0060】
このように、サンプリング点移動画像の拡大画像では、指定している点の位置の色が明確である一方、その周囲では指定している点から元画像における1画素分ずつ離れた色が表示されているため、指定している点とそれ以外の点の色の区別ができ、特徴ある点の位置が判断し易い。そのため、元画像の画素間隔より小さい単位で所望の点を指定し易くなる。
【0061】
LCD14に出力される拡大画像には、図14(a)に示す縦縞状のノイズが現れる場合がある。図14(b)は元画像が点線で示す輝度をとる場合の表示手段に出力される輝度信号の例(実線)を示している。従来は、LCD14に出力される映像全体に対してフィルタ処理を行って、拡大画像上のノイズを低減もしくは除去していた。しかし、拡大画像以外の映像に対してもフィルタが適用されるため、映像がぼやけてしまうなどの不具合があった。本実施例における内視鏡装置では、上記で生成された拡大画像のみに対してフィルタ処理することで、拡大画像にあらわれるノイズを低減もしくは除去する。フィルタとしては、例えば拡大画像の信号の変化の割合を減少させる演算であって、以下に示すものが適用できる。
(A)それぞれの画素の輝度を、該画素の右隣の画素との重み付き平均とするフィルタ、すなわち
LA(x,y)=p×LB(x,y)+q×LB(x+l,y)
ただし、p+q=1
例として、p=q=1/2(相加平均)
(B)それぞれの画素の輝度を、該画素の右隣の画素と左隣の画素との重み付き平均とするフィルタ、すなわち
LA(x,y)=p×LB(x−l,y)+q×LB(x,y)+r×LB(x+l,y)
ただし、p+q+r=1
例として、p=r=1/4,q=1/2(重み付き平均)
あるいはp=r=0.274,q=0.452(ガウス関数f(x)=exp(−x^2/2σ)、σ=1を使用し、正規化したガウシアンフィルタ)
ただし、LB(x,y)はフィルタ処理前の画像の輝度値、LA(x,y)はフィルタ処理後の画像の輝度値、(x,y)は画像内の画素の位置を示す。
【0062】
図14(c)はフィルタ(B)(p=r=1/4、r=1/2)を適用した場合の拡大画像であり、縦縞状のノイズが低減されている。図14(d)は図14(b)の元画像にフィルタ(B)を適用した場合の例である。同図における点線および実線は、フィルタを適用した拡大画像の輝度と表示手段に出力される輝度信号をそれぞれ示している。
【0063】
したがって、本例によればサンプリング点の移動量の単位を元画像より細かく任意に設定することができ、従来のように拡大倍率に依存しない高い精度で計測点を指定することができる。また、サンプリング点の移動の過程では拡大画像の変化が分かり易く、所望の計測点まで移動させることが容易である。
【0064】
さらに、適切な補間アルゴリズムを選択することで、拡大画像の見やすさが向上し、計測点の指定を行い易くすることができる。また、拡大倍率は単に整数倍だけでなく、実数倍させることで見易い所望の倍率で表示を行うことができる。
【0065】
尚、上記実施形態の説明では、航空機のエンジン部品であるタービンブレードの欠けについて説明したが、本発明の計測用内視鏡装置は他の各種機器部品の傷や欠け等の計測に利用することができる。
【図面の簡単な説明】
【0066】
【図1】本実施形態の計測用内視鏡装置を説明する図である。
【図2】計測用内視鏡装置の構成を説明するブロック図である。
【図3】リモートコントローラを説明する図である。
【図4】直視型のステレオ光学アダプタを計測用内視鏡先端部に取り付けた構成を示す斜視図である。
【図5】図4のA−A断面図である。
【図6】ステレオ計測により計測点の3次元座標を求める方法を示す図である。
【図7】(a)は、計測用内視鏡装置による計測の流れを説明するフローチャートであり、(b)は、計測点指定を説明するフローチャートであり、(c)は、拡大領域の設定を説明するフローチャートであり、(d)は、拡大画像の生成処理を説明するフローチャートであり、(e)は、サンプリング点の移動を説明するフローチャートである。
【図8】(a)は、読み取られた左右2つの元画像を示す図であり、(b)は、計測点付近にポインティングして拡大画像を表示させた場合の計測画面を示す図であり、(c)は、サンプリング点を移動させた場合の拡大画像を含む計測画面を示す図であり、(d)は、拡大倍率を6倍に変更させた場合の計測画面を示す図であり、(e)は、サンプリング点の移動量の単位を元画像の画素間隔に設定し拡大倍率を6倍に変更させた場合の計測画面を示す図であり、(f)は、計測画面を示す図であり、(g)は、2点間の距離を計測した場合の計測結果が含まれる計測画面を示す図である。
【図9】線形補間で生成されたサンプリング点移動画像の拡大画像を示す図である。
【図10】(a)は、横6画素×縦1画素の元画像を示す図であり、(b)は、元画像のサンプリング点における輝度を示す図であり、(c)は、サンプリング点移動画像の輝度を示す図であり、(d)は、拡大のために画素数を増加させた場合の元画像のサンプリング点における輝度を示す図であり、(e)は、(d)の輝度情報から拡大画像を生成した図である。
【図11】元画像におけるサンプリング点と移動されたサンプリング点を示す図である。
【図12】計測対象の元画像の一例を示す図である。
【図13】図12の拡大領域の単純拡大画像を示す図である。
【図14】(a)は拡大画像に縦縞状のノイズが現れる場合を示す図であり、(b)はこの場合の輝度信号の例を示す図である。また、(c)はフィルタを適用した場合のノイズが低減される例を示す図であり、(d)はこの場合の輝度信号の例を示す図である。
【符号の説明】
【0067】
10・・・計測用内視鏡装置
11・・・内視鏡挿入部
12・・・コントロールユニット
13・・・リモートコントローラ
14・・・液晶モニタ(LCD)
17・・・フェイスマウントディスプレイ(FMD)
18・・・FMDアダプタ
19・・・スピーカ
20・・・マイク
21・・・パーソナルコンピュータ
22・・・コンパクトフラッシュ(登録商標)メモリカード
23・・・PCMCIAメモリカード(PMCIAメモリカード)
24・・・内視鏡ユニット
25・・・カメラコントロールユニット(CCU)
26・・・CPU
27・・・ROM
28・・・RAM
29・・・RS−232Cインターフェイス(RS−232C I/F)
30・・・PCカードインターフェイス(PCカードI/F)
31・・・USBインターフェイス(USB I/F)
32・・・音声信号処理回路
33・・・映像信号処理回路
34、35・・・対物レンズ系
36・・・照明レンズ
37・・・ステレオ光学アダプタ
38・・・固定リング
39・・・内視鏡先端部
43・・・個体撮像素子
43a・・・信号線
53・・・雌ねじ
54・・・雄ねじ
61・・・ジョイスティック
62・・・レバースイッチ
63・・・フリーズスイッチ
64・・・ストアースイッチ
65・・・計測実行スイッチ
66・・・拡大表示切り換え用WIDEスイッチ
67・・・TELEスイッチ
70・・・外部映像入力端子
【技術分野】
【0001】
本発明は計測対象を撮像して元画像として読み取り、読み取った元画像上の計測点の位置に基づいて計測を行う計測用内視鏡装置に関する。
【背景技術】
【0002】
今日、計測用内視鏡装置は各種機械部品の傷や欠けの計測等に利用されている。このような計測用内視鏡装置は、計測対象を撮像して元画像を読み取り、読み取った元画像上の計測点の位置に基づいて計測を行う。
【0003】
特許文献1には、元画像上の計測点を指定する技術として、元画像を拡大し、拡大画像上で計測点の指定を行う方法が提案されている。この方法は、拡大画像上の画素の中から計測点に対応する画素を選択して指定し、指定された画素に対応する元画像上の画素の位置に基づいて計測を行う構成である。さらに、指定された計測点の元画像上での位置は、拡大倍率の逆数単位で算出することができる。従って、この様に算出された位置に基づいて、元画像の画素間隔よりも細かい単位の計測を行うことも可能である。
【0004】
ここで、従来方法による計測点の指定例を示す。例えば、図12は計測対象の元画像を示す。同図に示すように、元画像は背景が白であり、太さが2画素である2本の黒い線が直角に交わっている。計測点は2本の線の交点の中心であり、この点を含む領域を拡大する拡大領域としている。
【0005】
図13は、この拡大領域を拡大して示す図である。同図に示す拡大画像上には指定点を示す+印が表示されている。上記技術では、同図に示す拡大画像上で計測点を指定し、指定された拡大画像上の画素に対応する元画像上の画素の位置に基づいて計測を行っている。また、上記のように、指定された拡大画像上の画素に対応する元画像上の位置を拡大倍率の逆数の単位で算出し、この位置に基づいて計測することも可能である。
【特許文献1】特開平4−332523号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、前記従来方法においては、元画像の画素間隔より細かい単位で計測点を指定する場合、計測点として最も特徴を持つ点を元画像の画素間において判断して指定する。しかし、最も特徴を持つ点を判断することは難しい。すなわち、単なる拡大では元画像の画素が単純に拡大されるだけであり、特徴が現れ難いため、ユーザが特徴のある位置を予測して指定することになり正確に指定することは難しい。一方、線形補間などの1次以上の補間による拡大では、画像がぼやけ易いため、位置指定の判断が困難である。
【0007】
さらに、上記従来方法では計測点の位置指定の単位は、元画像の画素間隔もしくは拡大倍率の逆数に制限されるため、計測点の指定位置が限定されてしまう。すなわち、計測点の位置指定の単位を元画像の画素間隔よりも細かくするためには、元画像を拡大する必要があった。その結果、計測点の位置指定を細かい単位で行うためには、拡大倍率を上げなければならないが、拡大倍率を上げると拡大範囲が狭くなるため拡大画像が分かり難くなり、計測点の指定が困難となる。
【0008】
本発明は、計測点の位置指定が容易であり、例えば拡大倍率によらず位置指定が任意に指定でき、高精度な計測が可能な計測用内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題は本発明によれば、画素単位でサンプリングして読み取った画像を元画像として取得する元画像取得手段と、前記元画像の一部または全部の領域に対して所定の位置で再サンプリングして画像を生成する再サンプリング画像生成手段とを有する計測用内視鏡装置であって、元画像の一部または全部の領域内の各画素に対応するサンプリング点を、元画像の画素間隔より細かい単位で移動させるサンプリング点移動手段と、該サンプリング点移動手段でサンプリング点を所望の点に移動することによって、元画像の画素間隔より細かい単位で計測点の元画像上の位置を指定する計測点位置指定手段と、指定された計測点の位置に基づいて、元画像の画素間隔より細かい単位で計測を行う計測手段とを備えた計測用内視鏡装置を提供することによって達成できる。
【0010】
また、上記構成に加えて、サンプリング点移動手段によってサンプリング点が移動された画像を生成するサンプリング点移動画像生成手段と、サンプリング点移動画像を拡大して拡大画像を生成する拡大画像生成手段と、拡大画像を表示する拡大画像表示手段と、拡大画像上で計測点の位置を指定する計測点位置指定手段とを有する計測用内視鏡装置を提供することによって達成できる。
【0011】
さらに、サンプリング点移動手段で、移動されるサンプリング点の移動量の単位を指定するサンプリング点移動量単位指定手段を設けた計測用内視鏡装置を提供することによって達成できる。
【0012】
さらに、拡大画像表示手段に表示される拡大画像に対して拡大画像の信号の変化の割合を減少させるようにフィルタ処理するフィルタ手段を設けた。
上記構成により、元画像の画素間隔より細かい単位で計測点を位置指定する際に必要な特徴点をもつ位置の判断が容易になる。また、計測点の位置指定の単位は任意に設定できるため、従来より高精度な計測が可能となり、更に任意の倍率による拡大によって計測点の指定の容易さが向上する。拡大画像を用いて計測点を指定する場合は、拡大画像表示手段に表示される拡大画像のノイズを低減することができ、計測点の指定が容易となる。
【発明の効果】
【0013】
本発明によれば、元画像の画素間隔より細かい単位で計測点を位置指定する際、必要な特徴をもつ点の判断が容易となる。
また、計測点の位置指定の単位は任意に設定できるため、従来より高精度な計測が可能となる。
【0014】
さらに、任意の倍率による拡大によって計測点の指定が更に容易となる。
【発明を実施するための最良の形態】
【0015】
以下、本発明の実施の形態を図面を参照しながら説明する。
図1〜図11は本実施形態に係わり、図1は計測用内視鏡装置を説明する図であり、図2は計測用内視鏡装置の構成を説明するブロック図であり、図3はリモートコントローラを説明する図であり、図4は直視型のステレオ光学アダプタを計測用内視鏡先端部に取り付けた構成を示す斜視図であり、図5は図4のA−A断面図であり、図6はステレオ計測により計測点の3次元座標を求める方法を説明する図であり、図7は計測用内視鏡装置による計測の流れを説明するフローチャートであり、図8は図1の計測用内視鏡装置のステレオ計測実行画面を示す説明図であり、図9はサンプリング点移動画像の拡大画像を示す図であり、図10はサンプリング点移動画像とその拡大画像が生成される原理を説明する図であり、図11は元画像におけるサンプリング点と移動されたサンプリング点を示す図である。
【0016】
先ず、図1に示すように、計測用内視鏡装置10はステレオ計測可能なものを含む光学アダプタを着脱自在に構成した内視鏡挿入部11と、該内視鏡挿入部11を収納するコントロールユニット12と、計測用内視鏡装置10のシステム全体の各種動作制御を実行するのに必要な操作を行うリモートコントローラ13と、内視鏡画像や操作制御内容(例えば処理メニュー)等の表示を行う液晶モニタ(以下、LCDと記載)14と、通常の内視鏡画像、あるいはその内視鏡画像を擬似的にステレオ画像として立体視可能なフェイスマウントディスプレイ(以下, FMDと記載)17と、該FMD17に画像データを供給するFMDアダプタ18とを含んで構成されている。
【0017】
次に、図2を参照しながら計測用内視鏡装置10のシステム構成を詳細に説明する。図2に示すように、前記内視鏡挿入部11は、内視鏡ユニット24に接続される。この内視鏡ユニット24は、例えは図1に示したコントロールユニット12内に搭載されている。また、この内視鏡ユニット24は、撮影時に必要な照明光を得るための光源装置と、前記内視鏡挿入部11を電気的に自在に湾曲させるための電動湾曲装置とを含んで構成されている。また、内視鏡挿入部11先端の個体撮像素子43(図5参照)からの撮像信号は、カメラコントロールユニット(以下、CCUと記載)25に入力される。 該CCU25は、供給された撮像信号をNTSC信号等の映像信号に変換し、前記コントロールユニット12内の主要処理回路群へと供給する。
【0018】
前記コントロールユニット12内に搭載された主要回路郡は、図2に示すように、主要プログラムに基づき各種機能を実行し動作させるように制御を行うCPU26、ROM27、RAM28、PCカードインターフェイス(以下、PCカードI/Fと記載)30、USBインターフェイス(以下、USB I/Fと記載)31、RS−232Cインターフェイス(以下、RS−232C I/Fと記載)29、音声信号処理回路32、及び映像信号処理回路33とを含んで構成されている。尚、前記CPU26は、ROM27に格納されているプログラムを実行し、目的に応じた処理を行うように各種の回路部を制御してシステム全体の動作制御を行う。
【0019】
前記RS−232c I/F29は、CCU25、内視鏡ユニット24、及びリモートコントローラ13にそれぞれ接続されている。リモートコントローラ13は、CCU25、内視鏡ユニット24の制御及び動作指示を行うためのものである。RS−232C I/F29は、リモートコントローラ13による操作に基づいてCCU25、内視鏡ユニット24を動作制御するのに必要な通信を行うためのものである。
【0020】
前記USB I/F31は、前記コントロールユニット12とパーソナルコンピュータ21とを電気的に接続するためのインターフェイスである。前記USB I/F31を介して前記コントロールユニット12とパーソナルコンピュータ21とを接続した場合には、パーソナルコンピュータ21側でもコントロールユニット12における内視鏡画像の表示指示や計測時における画像処理などの各種の支持制御を行うことが可能であり、またコントロールユニット12、パーソナルコンピュータ21間で各種の処理に必要な制御情報やデータ等の入出力を行うことが可能である。
【0021】
また、前記PCカードI/F30は、PCMCIAメモリカード23、及びコンパクトフラッシュ(登録商標)メモリカード22が着脱自由に接続される構成である。つまり、前記いずれかのメモリカードが装着された場合には、コントロールユニット12は、CPU26による制御によって、記録媒体としてのメモリカードに記憶された制御処理情報や画像情報等のデータを再生し、前記PCカードI/F30を介してコントロールユニット12内に取り込み、或いは制御処理情報や画像情報等のデータを、前記PCカードI/F30を介してメモリーカードに供給して記録することができる。
【0022】
前記映像信号処理回路33は、CCU25から供給された内視鏡画像とグラフィックによる操作メニューとを合成した合成画像を表示するように、CCU25からの映像信号とCPU26の制御により生成される操作メニューに基づく表示信号とを合成処理し、更にLCD14の画面上に表示するのに必要な処理を施してLCD14に供給する。これにより、LCD14には内視鏡画像と操作メニューとの合成画像が表示される。尚、映像信号処理回路33では、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。
【0023】
また、図1に示したコントロールユニット12は、前記CCU25を経由せずに映像信号処理回路33に映像を入力する外部映像入力端子70を別に設けている。該外部映像入力端子70に映像信号が入力された場合、映像信号処理回路33はCCU25からの内視鏡画像に優先して前記合成画像を出力する。
【0024】
前記音声信号処理回路32は、マイク20により集音されて生成され、メモリーカード等の記録媒体に記録する音声信号、或いはメモリカード等の記録媒体の再生によって得られた音声信号、あるいはCPU26によって生成された音声信号が供給される。前記音声信号処理回路32は、供給された音声信号に再生するために必要な処理(増幅処理等)を施し、スピーカ19に出力する。これにより、スピーカ19によって音声信号が再生される。
【0025】
前記リモートコントローラ13は、図3に示すようにジョイスティック61、レバースイッチ62、フリーズスイッチ63、ストアースイッチ64、計測実行スイッチ65、及び拡大表示切り換えようWIDEスイッチ66、TELEスイッチ67を併設して構成されている。
【0026】
前記リモートコントローラ13において、ジョイスティック61は内視鏡先端部の湾曲動作を行うスイッチであり、360度の何れの方向にも自在に操作指示を与えたり、真下に押下することで湾曲動作の微調整の指示等を与えることが可能である。また、レバースイッチ62は、グラフィック表示される各種メニュー操作や計測を行う場合のポインター移動及び真下への押下による選択項目の決定操作を行うためのスイッチであり、前記ジョイスィックスイッチ61と略同形状に構成されたものである。フリーズスイッチ63は、LCD14表示にかかわるスイッチである。ストアースイッチ64は、前記フリーズスイッチ63の押下によって静止画像を表示した場合、該静止画像をPCMCIAメモリカード23(図2参照)に記録する場合に用いられるスイッチである。また、計測実行スイッチ65は、計測ソフトを実行する際に用いられるスイッチである。拡大表示切り換え用WIDEスイッチ66、及びTELEスイッチ67は、内視鏡画像を拡大縮小するのに用いられるスイッチである。尚、前記フリーズスイッチ63、ストアースイッチ64、及び計測実行スイッチ65は、例えばオン/オフの押下式を採用して構成されている。
【0027】
内視鏡挿入部11で撮像される内視鏡画像は、映像信号処理回路33で必要に応じて拡大または縮小処理され、LCD14に出力される。この場合の拡大または縮小の倍率の制御はWIDEスイッチ66とTELEスイッチ67で行われる。また、計測実行時における拡大画像を表示する際の倍率の制御もWIDEスイッチ66とTELEスイッチ67で行われる。
【0028】
上記内視鏡挿入部11で撮像される内視鏡画像の拡大と縮小の制御と、計測実行時における拡大画像を表示する際の倍率の制御は、上記WIDEスイッチ66とTELEスイッチ67の2個のスイッチからなる構成で行っている。しかし、リモートコントローラ等の操作指示手段にこのような2個のスイッチを設けることが困難もしくは不可能な場合がある。このような場合、拡大縮小の制御を1個のスイッチで行うことも可能である。すなわち、このスイッチの押下ごとに所定の倍率Aまで倍率を増加または減少させ、所定の倍率Aに設定された後は逆にスイッチの押下ごとに所定の倍率Bまで倍率を減少または増加させる。この制御を繰り返すことで、1個のスイッチによって拡大縮小の制御を行うことが可能である。
【0029】
次に、本実施の形態の計測用内視鏡装置10に用いられる光学アダプタの一種であるステレオ光学アダプタの構成を図4と図5を参照しながら説明する。
図4及び図5はステレオ光学アダプタ37を内視鏡先端部39に取り付けた状態を示しており、該ステレオ光学アダプタ37は、固定リング38の雌ねじ53により内視鏡先端部39の雄ねじ54と螺合することによって固定されるようになっている。
【0030】
また、ステレオ光学アダプタ37の先端には、一対の照明レンズ36と2つの対物レンズ系34、35が設けられている。2つの対物レンズ系34、35は、内視鏡先端部39内に配設された撮像素子43上に2つの画像を結像する。そして、撮像素子43により得られた撮像信号は、電気的に接続された信号線43a、及び図2に示す内視鏡ユニット24を介してCCU25に供給され、該CCU25により映像信号に変換された後に映像信号処理回路33に供給される。尚、映像信号は輝度値または輝度値と色差値を含む。また、CCU25に供給される撮像信号によって生成される画像を元画像と呼ぶ。
【0031】
次に、図6を参照して、ステレオ計測による計測点の3次元座標の求め方を説明する。左側及び右側の光学系にて撮像された元画像上の計測点の座標をそれぞれ(XL,YL)、(XR,YR)とし、計測点の3次元座標を(X,Y,Z)とする。但し、(XL,YL)、(XR,YR)の原点は、それぞれ左側及び右側の光学系における光軸と、撮像素子43の交点であり、(X,Y,Z)の原点は左側及び右側の光学中心の中間点である。左側と右側の光学中心の距離をD、焦点距離をFとすると、三角測量の方法により、
X=t×XR +D/2
Y=t×YR
Z=t×F
ただし、t=D/(XL−XR)となる。
【0032】
このように、元画像上の計測点の座標が決定されると、既知のパラメータD及びFを用いて計測点の3次元座標が求まる。そして、いくつかの点の3次元座標を求めることによって、2点間の距離、2点を結ぶ線と1点の距離、面積、深さ、表面形状など様々な計測が可能である。
【0033】
以上の構成の計測用内視鏡装置において、以下に図7〜図11を用いて本例の処理動作を説明する。ここで、図7はステレオ計測のフローチャートを示し、図8はステレオ計測の画面を示す図である。また、図8の画像は、例えば航空機のエンジン部品であるタービンブレードに欠けが生じた例を示しており、欠けの最も外側の幅を計測する場合の計測画面を示している。
【0034】
先ず、前述のジョイスティック61に設けられた計測実行スイッチ65を押下すると、図7(a)に示す計測フローのステップS001により、画素単位でサンプリングして読み取った画像を元画像として取得し、ステップS002で表示装置に表示する。図8(a)は読み取られた左右2つの元画像と、計測の操作を指示するアイコンと、レバースイッチ62で位置が指定されるポインタからなる計測画面を示す。
【0035】
次に、ステップS003において左画像上で計測点を指定する。この計測点の指定は、図7(b)に示す計測点指定フローにより実行する。先ず、ステップS101で元画像上で拡大対象となる拡大領域を設定する。この拡大領域の設定は、図7(c)に示す拡大領域設定フローにより実行する。すなわち、ステップS501でレバースイッチ62を操作し、元画像上の計測点付近の位置を指定し、ステップS502で拡大画像表示指示を行うと、ステップS503で拡大領域を決定する。本例では、拡大領域はレバースイッチ62で指定された位置を中心とする所定の範囲の領域とする。
【0036】
次に、ステップS102では拡大画像を生成する。この拡大画像の生成は、図7(d)に示すフローに従って実行される。先ず、ステップS601で、拡大領域内のサンプリング点の位置に基づいて画像を生成する。拡大領域内のサンプリング点の位置は、最初は元画像取得時におけるサンプリングの位置であり、後述のステップS107で移動される。
【0037】
ここで、移動された場合、拡大領域のサンプリング点の位置は元画像取得時のサンプリングの位置からずれるため、元画像上の画素から補間によって画像を生成する。補間方法は、最近傍補間、線形補間、双3次補間などを使用する。このステップS601で生成される画像をサンプリング点移動画像とする。
【0038】
次に、ステップS602でWIDEスイッチ66、又はTELEスイッチ67の押下回数から拡大倍率を設定し、ステップS603でサンプリング点移動画像の画素数を補間により拡大倍率分だけ増加させることで、拡大画像を生成する。補間方法は、最近傍補間、線形補間、双3次補間などを使用する。ステップS604では拡大画像に対して後述するフィルタ処理を行う。
【0039】
次に、ステップS103において、拡大画像の大きさと位置を決定して表示する。尚、表示位置は元画像に重畳することも可能であり、この場合、拡大画像の表示位置を元画像の拡大領域から常に所定の距離以上離れた位置とすることで、拡大領域及びその付近が表示されなくならないようにする。
【0040】
次に、ステップS104では拡大画像上において指定点となる画素を選択する。そして、選択された画素上には指定点を示すカーソルを表示する。尚、指定点となる画素は拡大画像上の所定の固定位置でもよい。
【0041】
図8(b)は、計測点付近にポインティングして拡大画像を表示させた場合の計測画面を示している。この計測画面には画面中央に拡大画像と指定点を示すカーソルが表示される。拡大画像の右及び下には、それぞれ指定点から垂直方向及び水平方向の画素の輝度を示すグラフが表示され、指定点とその周辺の輝度を確認することができる。また、拡大倍率が3倍であることを示す「3x」が表示される。
【0042】
次に、ステップS105において、上記指定点により計測点が指定されているか判断する。ここで、計測点の指定がされていなければ、ステップS106に進み、指定されていればレバースイッチ62を押下してステップS108に進む。
【0043】
ステップS106ではサンプリング点を移動するか判断する。拡大画像上に計測点が存在し、サンプリング点と計測点が一致しているためにサンプリング点を移動する必要がなければ、ステップS104に移り、表示されている計測点を指定点として選択する。拡大画像上に計測点が存在するが、サンプリング点と計測点が一致せずサンプリング点を移動する必要がある場合や、拡大画像上に計測点が存在しない場合はステップS107に移る。このステップS107では、拡大画像上の指定点により計測点が指定されるように、サンプリング点を移動する。サンプリング点の移動は図7(e)に示すフローに従って行われる。先ず、ステップS801において指定点を計測点付近に速く移動するため、サンプリング点の移動量の単位は元画像の画素間隔の単位に設定される。
【0044】
次に、ステップS802でレバースイッチ62により、指定点を計測点に近づける。このため、ジョイスティック61を押下し、高い精度で計測点を指定するため、サンプリング点の移動量の単位を画素間隔より細かい単位に切り換える。そして、レバースイッチ62によりサンプリング点の位置を移動させ、指定点を計測点まで移動させる。尚、サンプリング点の移動量の単位が画素間隔より細かく設定された場合、「F」アイコンが表示される(後述する図8(c)を参照)。
【0045】
このように処理することにより、指定点が計測点より離れている場合移動量を画素間隔として迅速に指定点を計測点に近づけ、その後移動量の単位を画素間隔より細かく設定し、指定点を正確に計測点に近づける。したがって、本例のこの処理により、ユーザは容易に計測点の設定を行うことができる。
【0046】
尚、サンプリング点の移動は、以下の手順に従って行ってもよい。先ず、ステップS801ではジョイスティック61、又はフリーズスティック63の押下状態によってサンプリング点の移動量の単位の設定を決定する。次に、ステップS801の設定に従って、ステップS802でレバースイッチ62により指定点を計測点付近に近づかせる。
【0047】
次に、上記ステップS107の処理によってサンプリング点の位置が移動されると、これに伴って拡大領域も移動される。サンプリング点の移動後、ステップS102に戻り、再度拡大画像を生成し表示する。図8(c)は、サンプリング点を移動させた場合の拡大画像を含む計測画面を示す。また、同図(d)は、拡大倍率を6倍に変更させた場合の計測画面を示している。さらに、同図(e)はサンプリング点の移動量の単位を元画像の画素間隔に設定し、同図(d)の状態からサンプリング点を移動させた場合の計測画面を示している。
【0048】
このように、サンプリング点の移動量の単位を切り換えることで、大まかな移動と細かい移動が行え、計測点の指定を容易に行うことができる。
次に、上記処理により指定点が計測点まで移動した後、ステップS105でレバースイッチ62を押下して指定点を決定し、ステップS108で指定点の位置から計測点の元画像上での位置を算出する。
【0049】
次に、ステップS004では、ステップS003で指定された時点の拡大画像を、左画像上に重畳して表示する。そして、ステップS005では、ステップS003で指定された計測点に対応する右画像上での対応点を検索する。この検索は既存の画像のテンプレートマッチング法によって、元画像の画素間隔よりも細かい単位で行う。
【0050】
次に、ステップS006では、検索された右画像上の対応点の周辺を、左画像の拡大と同様に拡大し、右画像上に重畳して表示する。図8(f)は、この時の計測画面を示している。これら元画像上の拡大画像の表示により、次の計測点を指定する間にも、正しく前回の計測点を確認し、右画像の対応点のマッチング結果を確認することが可能となり、計測の誤りを防ぐことが可能になる。
【0051】
次に、ステップS007で、左画面の計測点の位置を修正するか判断する。ここで、左画面の計測点の位置を修正する場合には、レバースイッチ62を操作しで計測画面上のアイコン「←」を選択し、ステップS003に戻り、計測点を再度指定する。一方、修正しない場合にはステップS008に進む。
【0052】
ステップS008では、右画面の対応点の位置を修正するか判断する。そして、修正する場合には、レバースイッチ62を操作して計測画面上のアイコン[→]を選択し、ステップS010に進み、前述の左画像上の計測点の指定と同様にして右画像上で対応点を指定する。そして、ステップS011において、右画像上の対応点の周辺を前述のステップS006における処理と同様に表示する。
【0053】
尚、ステップS007及びステップS008の判断に際しては、左画像の計測点と右画像の対応点の周辺の拡大画像をそれぞれ左画面と右画面に大きく表示し、正しく計測点と対応点が指定されているかを確認するようにしてもよい。
【0054】
また、上記ステップS008において、位置を修正しない場合ステップS012に進み、他の計測点を指定するか判断する。そして、指定する場合にはステップS003に戻り、指定しない場合にはS013に進む。この処理では、以上で指定された計測点の位置に基づいて計測を行う。図8(g)は、2点間の距離を計測した場合の計測結果が含まれる計測画面を示す。
【0055】
図8(g)に示す計測結果の例では計測単位がmmとなっているが、画面内の「mm」、「inch」の選択を切り換えることで計測単位を切り換えることができる。計測単位を切り換えると、計測結果の表示も設定された単位に変更される。これにより計測作業を続けながら任意のタイミングで計測単位を切り換えられる。普段使用している単位と検査マニュアルに書かれている単位が異なる場合や、設定が間違っていた場合に役立つ。尚、メニューによる設定で計測単位を変更することも可能である。
【0056】
次に、計測点指定の詳細について、前述の図12に示した元画像を例として説明する。図12に示す拡大領域は、最初前述の図13で示すように拡大される。但し、拡大のための画素数の増加には最近傍補間を使用している。指定点が2本の線の交点の中心まで移動するように、サンプリング点の移動量の単位を0.1画素に設定し、サンプリング点を左に0.5画素、下に0.5画素移動する。この処理によって、サンプリング点移動画像が線形補間により生成され、この画像の拡大画像が生成される。図9はこの時の拡大画像である。
【0057】
次に、サンプリング点移動画像とその拡大画像が生成される原理について、図10を用いて説明する。元画像は図10(a)に示すように横6画素×縦1画素の元画像であって、中心の2画素が白、それ以外の周囲の画素が黒である。同図(b)は元画像のサンプリング点における輝度を示している。
【0058】
このサンプリング点を右に元画像の1/3画素移動すると、移動されたサンプリング点の輝度は元画像の画素から補間により計算され、サンプリング点移動画像の輝度は同図(c)のようになる。また、サンプリング点の移動画像に対し、拡大のために画素数を増加させると輝度は同図(d)のようになる。この輝度から同図(e)の拡大画像が生成される。
【0059】
次に、図9に示す拡大画像が生成される原理について述べる。図11は元画像におけるサンプリング点と移動されたサンプリング点を示す図である。前述の図13に示す元画像では、黒い線は2個のサンプリング点に跨っており、例えば拡大画像上では元画像上の太さ2の線が単純に拡大された画像となる。一方、サンプリング位置を移動すると、黒線内の2画素に跨った位置のサンプリングでは黒となり、白と黒の境界位置では補間により灰色となる。従って、この拡大画像において、指定点の位置は黒であるが、その周囲は灰色となっている。
【0060】
このように、サンプリング点移動画像の拡大画像では、指定している点の位置の色が明確である一方、その周囲では指定している点から元画像における1画素分ずつ離れた色が表示されているため、指定している点とそれ以外の点の色の区別ができ、特徴ある点の位置が判断し易い。そのため、元画像の画素間隔より小さい単位で所望の点を指定し易くなる。
【0061】
LCD14に出力される拡大画像には、図14(a)に示す縦縞状のノイズが現れる場合がある。図14(b)は元画像が点線で示す輝度をとる場合の表示手段に出力される輝度信号の例(実線)を示している。従来は、LCD14に出力される映像全体に対してフィルタ処理を行って、拡大画像上のノイズを低減もしくは除去していた。しかし、拡大画像以外の映像に対してもフィルタが適用されるため、映像がぼやけてしまうなどの不具合があった。本実施例における内視鏡装置では、上記で生成された拡大画像のみに対してフィルタ処理することで、拡大画像にあらわれるノイズを低減もしくは除去する。フィルタとしては、例えば拡大画像の信号の変化の割合を減少させる演算であって、以下に示すものが適用できる。
(A)それぞれの画素の輝度を、該画素の右隣の画素との重み付き平均とするフィルタ、すなわち
LA(x,y)=p×LB(x,y)+q×LB(x+l,y)
ただし、p+q=1
例として、p=q=1/2(相加平均)
(B)それぞれの画素の輝度を、該画素の右隣の画素と左隣の画素との重み付き平均とするフィルタ、すなわち
LA(x,y)=p×LB(x−l,y)+q×LB(x,y)+r×LB(x+l,y)
ただし、p+q+r=1
例として、p=r=1/4,q=1/2(重み付き平均)
あるいはp=r=0.274,q=0.452(ガウス関数f(x)=exp(−x^2/2σ)、σ=1を使用し、正規化したガウシアンフィルタ)
ただし、LB(x,y)はフィルタ処理前の画像の輝度値、LA(x,y)はフィルタ処理後の画像の輝度値、(x,y)は画像内の画素の位置を示す。
【0062】
図14(c)はフィルタ(B)(p=r=1/4、r=1/2)を適用した場合の拡大画像であり、縦縞状のノイズが低減されている。図14(d)は図14(b)の元画像にフィルタ(B)を適用した場合の例である。同図における点線および実線は、フィルタを適用した拡大画像の輝度と表示手段に出力される輝度信号をそれぞれ示している。
【0063】
したがって、本例によればサンプリング点の移動量の単位を元画像より細かく任意に設定することができ、従来のように拡大倍率に依存しない高い精度で計測点を指定することができる。また、サンプリング点の移動の過程では拡大画像の変化が分かり易く、所望の計測点まで移動させることが容易である。
【0064】
さらに、適切な補間アルゴリズムを選択することで、拡大画像の見やすさが向上し、計測点の指定を行い易くすることができる。また、拡大倍率は単に整数倍だけでなく、実数倍させることで見易い所望の倍率で表示を行うことができる。
【0065】
尚、上記実施形態の説明では、航空機のエンジン部品であるタービンブレードの欠けについて説明したが、本発明の計測用内視鏡装置は他の各種機器部品の傷や欠け等の計測に利用することができる。
【図面の簡単な説明】
【0066】
【図1】本実施形態の計測用内視鏡装置を説明する図である。
【図2】計測用内視鏡装置の構成を説明するブロック図である。
【図3】リモートコントローラを説明する図である。
【図4】直視型のステレオ光学アダプタを計測用内視鏡先端部に取り付けた構成を示す斜視図である。
【図5】図4のA−A断面図である。
【図6】ステレオ計測により計測点の3次元座標を求める方法を示す図である。
【図7】(a)は、計測用内視鏡装置による計測の流れを説明するフローチャートであり、(b)は、計測点指定を説明するフローチャートであり、(c)は、拡大領域の設定を説明するフローチャートであり、(d)は、拡大画像の生成処理を説明するフローチャートであり、(e)は、サンプリング点の移動を説明するフローチャートである。
【図8】(a)は、読み取られた左右2つの元画像を示す図であり、(b)は、計測点付近にポインティングして拡大画像を表示させた場合の計測画面を示す図であり、(c)は、サンプリング点を移動させた場合の拡大画像を含む計測画面を示す図であり、(d)は、拡大倍率を6倍に変更させた場合の計測画面を示す図であり、(e)は、サンプリング点の移動量の単位を元画像の画素間隔に設定し拡大倍率を6倍に変更させた場合の計測画面を示す図であり、(f)は、計測画面を示す図であり、(g)は、2点間の距離を計測した場合の計測結果が含まれる計測画面を示す図である。
【図9】線形補間で生成されたサンプリング点移動画像の拡大画像を示す図である。
【図10】(a)は、横6画素×縦1画素の元画像を示す図であり、(b)は、元画像のサンプリング点における輝度を示す図であり、(c)は、サンプリング点移動画像の輝度を示す図であり、(d)は、拡大のために画素数を増加させた場合の元画像のサンプリング点における輝度を示す図であり、(e)は、(d)の輝度情報から拡大画像を生成した図である。
【図11】元画像におけるサンプリング点と移動されたサンプリング点を示す図である。
【図12】計測対象の元画像の一例を示す図である。
【図13】図12の拡大領域の単純拡大画像を示す図である。
【図14】(a)は拡大画像に縦縞状のノイズが現れる場合を示す図であり、(b)はこの場合の輝度信号の例を示す図である。また、(c)はフィルタを適用した場合のノイズが低減される例を示す図であり、(d)はこの場合の輝度信号の例を示す図である。
【符号の説明】
【0067】
10・・・計測用内視鏡装置
11・・・内視鏡挿入部
12・・・コントロールユニット
13・・・リモートコントローラ
14・・・液晶モニタ(LCD)
17・・・フェイスマウントディスプレイ(FMD)
18・・・FMDアダプタ
19・・・スピーカ
20・・・マイク
21・・・パーソナルコンピュータ
22・・・コンパクトフラッシュ(登録商標)メモリカード
23・・・PCMCIAメモリカード(PMCIAメモリカード)
24・・・内視鏡ユニット
25・・・カメラコントロールユニット(CCU)
26・・・CPU
27・・・ROM
28・・・RAM
29・・・RS−232Cインターフェイス(RS−232C I/F)
30・・・PCカードインターフェイス(PCカードI/F)
31・・・USBインターフェイス(USB I/F)
32・・・音声信号処理回路
33・・・映像信号処理回路
34、35・・・対物レンズ系
36・・・照明レンズ
37・・・ステレオ光学アダプタ
38・・・固定リング
39・・・内視鏡先端部
43・・・個体撮像素子
43a・・・信号線
53・・・雌ねじ
54・・・雄ねじ
61・・・ジョイスティック
62・・・レバースイッチ
63・・・フリーズスイッチ
64・・・ストアースイッチ
65・・・計測実行スイッチ
66・・・拡大表示切り換え用WIDEスイッチ
67・・・TELEスイッチ
70・・・外部映像入力端子
【特許請求の範囲】
【請求項1】
画素単位でサンプリングして読み取った画像を元画像として取得する元画像取得手段と、前記元画像の一部または全部の領域に対して所定の位置でサンプリングして画像を生成する再サンプリング画像生成手段とを有する計測用内視鏡装置において、
前記再サンプリング画像生成手段において元画像の一部または全部の領域内の各画素に対応するサンプリング点を、元画像の画素間隔より細かい単位で移動させるサンプリング点移動手段と、
該サンプリング点移動手段でサンプリング点を所望の点に移動することによって、元画像の画素間隔より細かい単位で計測点の元画像上の位置を指定する計測点位置指定手段と、
指定された計測点の位置に基づいて、元画像の画素間隔より細かい単位で計測を行う計測手段と、
を有することを特徴とする計測用内視鏡装置。
【請求項2】
前記サンプリング点移動手段によってサンプリング点が移動された画像を生成するサンプリング点移動画像生成手段と、
サンプリング点移動画像を拡大して拡大画像を生成する拡大画像生成手段と、
拡大画像を表示する拡大画像表示手段と、
拡大画像上で計測点の位置を指定する計測点位置指定手段と、
を有することを特徴とする請求項1記載の計測用内視鏡装置。
【請求項3】
前記サンプリング点移動手段で移動されるサンプリング点の移動量の単位を指定するサンプリング点移動量単位指定手段を更に有することを特徴とする請求項1記載の計測用内視鏡装置。
【請求項4】
前記拡大画像表示手段に表示される拡大画像に対してフィルタ処理するフィルタ手段を有することを特徴とする請求項2記載の計測用内視鏡装置。
【請求項1】
画素単位でサンプリングして読み取った画像を元画像として取得する元画像取得手段と、前記元画像の一部または全部の領域に対して所定の位置でサンプリングして画像を生成する再サンプリング画像生成手段とを有する計測用内視鏡装置において、
前記再サンプリング画像生成手段において元画像の一部または全部の領域内の各画素に対応するサンプリング点を、元画像の画素間隔より細かい単位で移動させるサンプリング点移動手段と、
該サンプリング点移動手段でサンプリング点を所望の点に移動することによって、元画像の画素間隔より細かい単位で計測点の元画像上の位置を指定する計測点位置指定手段と、
指定された計測点の位置に基づいて、元画像の画素間隔より細かい単位で計測を行う計測手段と、
を有することを特徴とする計測用内視鏡装置。
【請求項2】
前記サンプリング点移動手段によってサンプリング点が移動された画像を生成するサンプリング点移動画像生成手段と、
サンプリング点移動画像を拡大して拡大画像を生成する拡大画像生成手段と、
拡大画像を表示する拡大画像表示手段と、
拡大画像上で計測点の位置を指定する計測点位置指定手段と、
を有することを特徴とする請求項1記載の計測用内視鏡装置。
【請求項3】
前記サンプリング点移動手段で移動されるサンプリング点の移動量の単位を指定するサンプリング点移動量単位指定手段を更に有することを特徴とする請求項1記載の計測用内視鏡装置。
【請求項4】
前記拡大画像表示手段に表示される拡大画像に対してフィルタ処理するフィルタ手段を有することを特徴とする請求項2記載の計測用内視鏡装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図12】
【図8】
【図9】
【図10】
【図11】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図12】
【図8】
【図9】
【図10】
【図11】
【図13】
【図14】
【公開番号】特開2006−20276(P2006−20276A)
【公開日】平成18年1月19日(2006.1.19)
【国際特許分類】
【出願番号】特願2005−31126(P2005−31126)
【出願日】平成17年2月7日(2005.2.7)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成18年1月19日(2006.1.19)
【国際特許分類】
【出願日】平成17年2月7日(2005.2.7)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]