内視鏡装置
【課題】使用環境の変化に応じて画像処理の内容を変更でき、計測精度の劣化を低減できる内視鏡装置を提供する。
【解決手段】視差を有する対の対物光学系7a,7bを用いて撮像素子8により撮像された信号は、映像信号処理部14を経て画像処理部16の第1画像処理部16及び第2画像処理部17に入力される。検知温度に応じて記憶部20に予め使用環境に応じてテーブル化された基準データを参照する画像処理部選択部19からの指示に応じて、第1画像処理部16は、複数の処理内容における1つの処理内容で画像処理して、対の計測用画像を計測部18に出力し、計測部18は対の計測用画像を用いて被検体の距離や面積等を計測して、計測結果を画像表示装置4に出力する。
【解決手段】視差を有する対の対物光学系7a,7bを用いて撮像素子8により撮像された信号は、映像信号処理部14を経て画像処理部16の第1画像処理部16及び第2画像処理部17に入力される。検知温度に応じて記憶部20に予め使用環境に応じてテーブル化された基準データを参照する画像処理部選択部19からの指示に応じて、第1画像処理部16は、複数の処理内容における1つの処理内容で画像処理して、対の計測用画像を計測部18に出力し、計測部18は対の計測用画像を用いて被検体の距離や面積等を計測して、計測結果を画像表示装置4に出力する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、挿入部の先端部に搭載した撮像素子を駆動し得られた画像から被検体の計測を行う内視鏡装置に関する。
【背景技術】
【0002】
被検体に内視鏡の挿入部を挿入し、挿入部の先端部に搭載された撮像素子により被検体内部を撮像する内視鏡装置は、工業用分野においても広く用いられる。このような内視鏡装置では、被検体を撮像し、その撮像画像を画像処理することで、被検体における距離、面積等の計測を行う計測機能を有しているものがある。
このような計測機能を有した内視鏡装置の従来例として、特開平10−248806号公報に開示されているように、例えば、ステレオ計測用に2つの光学系を持ち、その視差を利用するものがある。この従来例は、視差を持つ2つの光学系により生成した2つの画像における対応点をマッチング処理によって検出し、三角測量の原理を用いて、3次元座標位置を検出する。
【0003】
また、従来の内視鏡装置では、撮像信号のオリジナルの撮像画像データをそのまま画像表示装置に表示するのではなく、各種画像処理を施して表示することで、モニタに表示される表示画像上の被検体の視認性、再現性を高めている。
例えば、内視鏡の撮像素子として使用されるCCDイメージセンサ(以下CCDと略記)やCMOSイメージセンサは、下記のような問題を有しており、画像処理によって解消又は低減している。
a.画素欠陥が発生しやくすく、画素欠陥が発生した画素部分は、被検体の画像にもよるが、白い輝点や黒点となって表示されてしまう。この場合には、欠陥画素の欠損データを周辺画素のデータから補完する画素欠陥補正処理を行うことによって、画素欠陥を目立たなくしている。
【0004】
b.温度変化に敏感で、高温になるほど、固定パターンノイズが増加する(高温になるほど、暗電流が増加し、それに伴いノイズも増長される)。この場合には、黒の撮像画像と被検体の撮像画像との差分により、固定パターンノイズを抽出し、フィルタリングすることで固定パターンノイズを低減・除去する。
また、そのフィルタリング処理の精度を向上させるために、温度と固定パターンノイズの出方の対応データを予め用意し、そのデータに基づき、温度に応じたフィルタリング処理を施す。これにより、固定パターンノイズを低減する。
c.CMOSイメージセンサは、各画素にアンプが用意されているが、そのアンプの特性のばらつきにより、固定パターンノイズが発生してしまう。この場合には、黒の撮像画像と被検体の撮像画像との差分により、固定パターンノイズを抽出し、フィルタリングすることで、固定パターンノイズを低減・除去する。
【0005】
従来、内視鏡装置の挿入部は非常に細く、は、挿入部先端内部の物理的なスペースが狭い為、撮像素子は小型(低画素)のものが採用されることが多い。
また、撮像素子の画素数が低い為、モニタ上に表示する際、アップスケーリングすることが多い。そうすると、仮に画素欠陥が発生していた場合、欠陥画素も拡大されるため、所定の画質を保つために画素欠陥の補正機能が重要になる。
また、挿入部は内視鏡の使用環境・用途の都合上、非常に長く、かつ細い為、挿入部内部に配置される撮像素子を駆動したり、撮像信号を伝送するための電気的な信号線は長く、細くなる。結果、電気的に不利になり、撮像信号にノイズが重畳され、画像ノイズが 発生しやすくなる。その為、ノイズを低減するためのフィルタリング処理が強く行われる傾向になる。
このように、内視鏡装置において、画素欠陥補正処理、フィルタリング処理は必要不可欠な処理となり、他の一般的なカメラ装置に比べ、その重要度が高い。
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、挿入部の先端と被検体との距離、被検体上のキズの大きさ(面積・長さ)などを計測する機能が搭載されている従来例の内視鏡装置においては、上記の画像処理が計測精度を劣化させる主原因に成ることもあった。
従来例の内視鏡装置の計測技術においては、視差画像の対応点をマッチングし、視差を有する画像を用いた三角測量によって3次元座標位置を検出することで、 画像データの幾何学的な歪みを補正できるので、計測精度は高くできるが、被検体を撮像する撮像環境又は使用環境によっては下記のように精度劣化が生じる。
A.画像に固定パターンノイズが重畳されると、輝度分布が実物からずれてしまう為、画像処理後の画像を用いて視差画像のマッチング処理を行うと、それぞれの画像の輝度情報の変化によっては対応点がずれる恐れがあり、計測精度を劣化させる場合がある。
【0007】
B.一方、ノイズを除去する為に、フィルタリング処理を施すと、本来必要な画像情報もノイズとして除去してしまう可能性もあり、その場合も上記の場合と同様に対応点がずれ、計測精度を劣化させる場合がある。
C.画素欠陥補正処理を施す際、周辺画素のデータから補完するが、周辺画素にノイズ成分が重畳されていると、補正後の輝度分布が実物からずれてしまう可能性があり、上記の場合と同様に、対応点がずれ、計測精度を劣化させる場合がある。
このため、使用環境(又は撮像環境)の変化に応じて画像処理の内容を変更でき、画像を用いた計測精度の劣化を低減できる内視鏡装置が望まれる。
本発明は上述した点に鑑みてなされたもので、使用環境の変化に応じて画像処理の内容を変更でき、計測精度の劣化を低減できる内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の内視鏡装置は、挿入部の先端部に設けられ、被検体の光学像を視差を有する対の対物光学系を用いて撮像する撮像素子と、前記撮像素子にて光電変換された撮像画像の信号を映像信号に変換する映像信号処理部と、前記映像信号処理部で生成された映像信号の画像に対し画像処理を施して、前記対の対物光学系に基づく対の計測用画像を生成する画像処理部と、前記画像処理部で生成された前記対の計測用画像を用いて、被検体に対する計測を行う計測部と、前記画像処理部に対して前記画像処理の処理内容を指示する画像処理選択部と、前記画像処理の処理内容を決める上で基準となる基準データを記憶する記憶部と、を有し、前記基準データは、前記計測部による計測を行う使用環境に応じて、前記画像処理としてノイズを低減するフィルタリング処理及び画素欠陥補正処理の少なくとも一方に対する複数の処理内容中の一つを規定するものであり、前記画像処理選択部は、前記記憶部に記憶された基準データを参照し、前記使用環境に応じて前記画像処理部に対して、前記画像処理の複数の処理内容中の一つを選択指示し、前記画像処理部は、前記画像処理選択部からの選択指示に基づき、前記フィルタリング処理及び前記画素欠陥補正処理の少なくとも一方に対する複数の処理内容中の一つに従った画像処理によって前記計測部が計測に使用する前記対の計測用画像を生成することを特徴とする。
【発明の効果】
【0009】
本発明によれば、使用環境の変化に応じて画像処理の内容を変更でき、計測精度の劣化を低減できる。
【図面の簡単な説明】
【0010】
【図1】図1は本発明の第1の実施形態の内視鏡装置の全体構成を示す図。
【図2】図2は画像処理部の構成を示すブロク図。
【図3】図3は同一被検体を左右の対物光学系を用いて画像表示装置に表示した場合の画像と、計測部により計測した距離及び面積の計測結果を表示した様子を示す図。
【図4】図4は記憶部におけるテーブル化して記憶されている基準データの具体例を示す図。
【図5】図5は検知温度が所定温度以上か否かに応じてフィルタリング処理のON,OFFの処理内容を変更する処理を示すフローチャート。
【図6】図6は検知温度が所定温度以上か否かに応じてフィルタリング処理の強度(レベル)の処理内容を変更する処理を示すフローチャート。
【図7】図7は検知温度が所定温度以上か否かに応じてフィルタリング処理の空間フィルタのサイズの大きさの処理内容を変更する処理を示すフローチャート。
【図8】図8は検知温度が所定温度以上か否かに応じてフィルタリング処理としてのクロマサプレスのON,OFFの処理内容を変更する処理を示すフローチャート。
【図9】図9は検知温度が所定温度以上か否かに応じて画素欠陥補正処理の有り、無しの処理内容を変更する処理を示すフローチャート。
【図10】図10は検知温度が所定温度以上か否かに応じて画素欠陥補正処理を行う際の欠陥画素の周囲の補正に用いる画素範囲の処理内容を変更する処理を示すフローチャート。
【図11】図11は本発明の第2の実施形態の内視鏡装置の全体構成を示す図。
【図12】図12は検知温度が所定温度以上の場合に、フィルタリング処理ONとOFFとの2種類の処理内容で計測評価用画像を生成して、計測を行い計測結果に応じて計測用画像を設定する処理を示すフローチャート。
【図13】図13は検知温度が所定温度以上の場合に、画素欠陥補正処理有りと無しとの2種類の処理内容で計測評価用画像を生成して、計測を行い計測結果に応じて計測用画像を設定する処理を示すフローチャート。
【図14】図14は検知温度が所定温度以上の場合に、欠陥画素の周囲の補正に用いる画素範囲を変えた2種類の処理内容で計測評価用画像を生成して、計測を行い計測結果に応じて計測用画像を設定する処理を示すフローチャート。
【発明を実施するための形態】
【0011】
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1に示すように本発明の内視鏡装置1は、ジェットエンジン等の被検体の内部に挿入される細長の挿入部2と、この挿入部2の後端(基端)が接続され、信号処理等を行う内視鏡装置本体部3と、この内視鏡装置本体部(以下、単に本体部と略記)3に接続され、内視鏡画像(単に画像と略記)を表示する画像表示装置4とを有する。
挿入部2の先端部5には被検体の内部のブレード等の被検体を照明する照明手段としての発光ダイオード(LED)6と、照明された被検体を結像する対の対物光学系7a、7bが設けてある。
対物光学系7a,7bは、被検体に対して視差を持つように離間して配置され、両対物光学系7a,7bの結像位置には、被検体の光学像を撮像する1つのCCD又はCMOSイメージャ等の撮像素子8の撮像面が配置されている。本実施形態においては、この撮像素子8の撮像面に左右2つの光学系で結像された被検体の像が視差を有する状態で結像される。
【0012】
両対物光学系7a,7b及び撮像素子8により、被検体を撮像する撮像手段を形成する。
本実施形態においては、既知の視差を有する2つの対物光学系7a,7bを用いることにより、三角測量の原理を利用してステレオ計測(立体計測)を行うことができるようにしている。
なお、上記2つの対物光学系7a,7bの光学特性のデータは、本体部3内部の後述する記憶部その他の記憶部に記憶されている。また、図1では、挿入部2の先端部5に2つの対物光学系7a,7bを一体的に設けた構成例を示しているが、2つの対物光学系7a,7bを備えた光学アダプタを先端部5に着脱自在に接続する構成にしても良い。また、本実施形態では1つの撮像素子8に、左右の像を結ぶようにしているが、2つの撮像素子を用いるようにしても良い。
【0013】
LED6は、挿入部2内を挿通された電源線9を介して本体部3内部のLED駆動部11に接続され、このLED駆動部11から供給されるLED駆動電力によりLED6は発光し、出射する照明光で被検体を照明する。
なお、LED6を用いる代わりに、本体部3内に設けたランプ等の光源で発生した光を挿入部2内に挿通した照明光伝送手段(又は導光手段)としてのライトガイドにより伝送して、照明窓から照明光として出射する構成にしても良い。
また、撮像素子8も挿入部2内を挿通された信号線12a,12bにより、本体部3内部の撮像素子駆動部13と映像信号処理部14にそれぞれ接続される。撮像素子駆動部13は、撮像素子駆動信号を生成し、この撮像素子駆動信号を撮像素子8に印加する。撮像素子8は、撮像素子駆動信号の印加により、光学像を光電変換した(撮像素子8で撮像した)撮像画像に対応する撮像信号を出力する。
【0014】
この撮像信号は映像信号処理部14に入力され、映像信号処理部14は、撮像信号をもとに映像信号を生成する。
映像信号処理部14により生成された映像信号は、該映像信号の画像に対して各種の画像処理を施す画像処理部15に入力される。なお、この映像信号の画像は、上記対の対物光学系7a,7bによる撮像素子8に結像される左右の被検体像に対応する対の画像となる。
画像処理部15は、映像信号処理部14で生成された映像信号の(対の)画像に対して、各種の画像処理を行うものであり、この画像処理部15は、第1画像処理部16と、第2画像処理部17との2つの画像処理部から構成される。
【0015】
第1画像処理部16は、映像信号の(対の)画像に対して画像処理を施して、計測に使用する(対の)計測用画像として計測部18に出力する。
一方、第2画像処理部17は、映像信号の(対の)画像に対する画像処理を施して、表示用の(対の)画像を画像表示装置4に出力し、画像表示装置4にはこの表示用の(対の)画像を表示する。この画像は、撮像素子8に結像された被検体の画像に、各種の画像処理を施したものに対応する。
計測部18は、(対の)計測用画像を用いて、被検体に対する計測の処理を行い、計測の処理を行った映像信号を画像表示装置4に出力し、画像表示装置4中に被検体の画像中において計測の処理結果を表示する。
【0016】
また、本実施形態においては、例えば本体部は、画像処理部15における第1画像処理部16に対して画像処理の内容を指示する画像処理選択部19と、画像処理の内容を決める際に基準となる基準データを有する記憶部20とを有する。
また、本実施形態は、計測部18により計測を行う使用環境を形成する環境温度を検知するために、挿入部2の先端部5内に搭載された撮像素子8の近傍に、この撮像素子8の温度を検知する温度センサ21が配置している。この温度センサ21によるセンサ信号は、信号線22を介して本体部3内の温度検知部23に入力される。この温度検知部23はセンサ信号から温度データに変換する。
【0017】
上記画像処理選択部19は、温度検知部23からの温度データに対応した記憶部20に記憶された基準データを取り込み、第1画像処理部16による画像処理の内容を指示又は選択する指示信号を出力する。
従って、第1画像処理部16は、画像処理選択部19からの指示信号に従って、各種の画像処理を行う。一方、第2画像処理部17は、画像処理選択部19からの指示信号に無関係に各種の画像処理を行い、視認性等を向上した画像を表示できるようにしている。
なお、計測部18に対して使用者(ユーザ)が距離又は面積等の計測指示の信号を出力する計測指示部24は、計測部18の他に画像処理選択部19にも出力する。画像処理選択部19は、計測指示の信号が入力されたタイミングにおける使用環境を形成する環境温度としての検知温度情報を温度検知部23を介して取得する。
【0018】
そして、画像処理選択部19は、この検知温度情報と記憶部20に記憶されている温度に応じた画像処理方法のテーブルデータ(図4参照)とを比較して、検知温度に対応する基準データを選択する。
図2は、画像処理部15周辺部の構成を示す。映像信号処理部14から出力される輝度信号Y及びクロマ信号U,Vは、画像処理部15における第1画像処理部16及び第2画像処理部17に入力される。
第1画像処理部16は、各種の画像処理を行う回路として、暗電流等による固定パターンノイズを低減するフィルタリング処理回路31a及び画素欠陥の補正を行う画素欠陥補正処理回路32aを有する。これらの画像処理により生成された)計測用画像は、計測部18に出力される。
【0019】
なお、フィルタリング処理は、固定パターンノイズを低減のためにONして処理する他に、クロマ信号U,Vに重畳して色ノイズが顕著になるような場合にはクロマ信号U,Vを許容された範囲内で抑圧して色ノイズを低減する処理の場合(後述)も含む。
第2画像処理部17についても、暗電流等による固定パターンノイズを低減するフィルタリング処理回路31b、画素欠陥の補正を行う画素欠陥補正処理回路32bを有するが、第2画像処理部17は第1画像処理部16と異なり、画像処理選択部19からの指示に左右されない。なお、(図示しない)ガンマ補正回路、輪郭強調回路等は、映像信号処理部に設けられ、ガンマ補正、輪郭強調等の処理を施している。
この第2画像処理部17により各種の画像処理された表示用画像の映像信号が画像表示装置4に出力され、画像表示装置4には撮像素子8に結像された被検体の画像が視認性等を向上した画像として表示される。
【0020】
図3は画像表示装置4における被検体の画像の表示例を示す。図3は同じ被検体を左右に視差を有する対物光学系7a,7bにより撮像し、第2画像処理部17により画像処理して画像表示装置4で表示した場合の左右の画像を示す。図3の左側の図は、距離の計測を行った様子を示す。
内視鏡装置1のユーザは、表示された左右の画像の一方の画像(例えば右画像)に対して、計測指示部24に設けられている図示しないマウス等の操作により計測しようとする複数の位置を指定して、計測部18に対して複数の位置間の距離計測を指示する。
例えば、ユーザは、被検体の表面にできた傷の大きさを知ることを望む場合がある。この場合には、ユーザは、一方の画像(例えば右画像)に対して、傷の両端のとなる2つの位置を指定して、計測部18に対して両位置間の距離の計測指示をする。
【0021】
また、この場合の計測指示の信号は画像処理選択部19にも入力され、画像処理選択部19はこの信号が入力された使用環境に対応した基準データを記憶部20から選択し、この基準データに従って第1画像処理部16の画像処理の処理内容を決定(規定)する。そして、第1画像処理部16は、画像処理選択部19による選択指示に対応した画像処理の処理内容に従って画像処理を行う。
計測部18は、第1画像処理部16から出力される映像信号の対の計測用画像、つまり左右の計測用画像を用いて、一方(右又は左)の計測用画像における指定された複数の位置にそれぞれ対応する他方(左又は右)の計測用画像における対応位置をそれぞれ算出する計測処理を行う。
【0022】
そして、複数の位置間の距離の計測処理の結果を、画像表示装置4に出力し、図3の左側に示すように計測処理の結果としての距離を表示する。また、図3の右側は、面積計測を行った様子を示す。
また、使用者は、例えば被検体の表面にできた変形した領域が存在して、その変形した領域の面積を算出することを望む場合がある。この様な場合には、使用者は、一方の画像(例えば右画像)に対して計測指示手段により変形した領域を囲むように複数の位置を指定して、計測部18に対して面積の計測の指示をする。
この場合にも、計測部18は、一方の計測用画像における指定された複数の位置にそれぞれ対応する他方の計測用画像における対応位置をそれぞれ算出する計測処理を行う。
【0023】
そして、複数の位置間の距離の計測処理の結果から面積算出の計測処理を行い、面積の計測結果を画像表示装置4に出力し、図3の右側に示すように計測処理の結果としての面積を表示する。
本実施形態においては、このように距離計測、面積計測等を行う場合、使用環境の変化に対応して記憶部20に記憶された基準データに従って画像処理の処理内容を変更する。そして、このように基準データに従って画像処理の内容を変更することにより、使用環境が変化した場合にも、計測精度の劣化を防止ないしは低減する。
図4は、記憶部20に予め記憶されて、テーブル化された基準データの例を示す。
【0024】
この記憶部20には、各温度データに対してフィルタリング処理を行うか否か(つまりフィルタリング処理ON/OFF)、またフィルタリングを行う場合のフィルタリング処理の強度、空間フィルタのサイズ、(フィルタリング処理における)クロマ信号のサプレスを行うか否か(つまりクロマサプレスON/OFF)、画素欠陥補正処理を行うか否か(つまり画素欠陥補正処理ON/OFF)、また画素欠陥補正処理を行う場合の補正参照範囲のデータが記憶されている。
なお、図4における所定温度X1,X2,X3等は、図4の備考欄に記載しているようにX1<X2<…の関係である。つまり、テーブルの下側ほど、温度が高い場合の基準データに該当する。また、フィルタリング処理の強度を表すレベルL1,L2,…は、L1<L2<…の関係である。一方、フィルタリング処理を行う場合の空間フィルタのサイズは、A>Bの関係である。なお、図4における温度X1は例えば常温領域、X3は高温領域を表す。
【0025】
図4に示す基準データは、実際に各温度においてフィルタリング処理をON及びOFF、画素欠陥補正処理をON及びOFF等して、実際に計測を行った過去に蓄積した計測データから分類して、各温度において精度の良い計測結果が得られる場合の処理内容を決定したものである。従って、図4に示した基準データの処理内容に従って計測用画像を生成すると、多くの場合精度の良い計測を行うことが可能になる。
なお、本実施形態においては、記憶部20は、書き換え可能なフラッシュメモリ等の記憶手段により構成され、さらなる計測データの蓄積結果に基づいて基準データをより信頼性が高い基準データに更新可能にしている。
例えば、図4のテーブルでは、使用環境における温度が所定温度X3以上になると、フィルタリング処理がOFFからONになり、また、ONになった場合には所定温度以上か否かに応じてフィルタリング処理の強度(レベル)が変化する。
【0026】
また、フィルタリング処理は温度が高い場合に、低い場合よりも空間フィルタのサイズを小さくして行う傾向を示している。なお、図4中において、例えば温度X1、X2では、フィルタリング処理は、通常はOFFに設定されるが、ユーザからの選択によりONに設定して行う場合もあるため、記憶部20はその場合に使用されるレベルL1,L2やサイズA×A等も記憶している。
また、図4の備考欄に示すように画素欠陥補正処理を行う場合においては、欠陥画素に隣接する隣接画素を参照して画素欠陥補正処理を行う(施す)場合と、さらに隣接画素の外側に隣接する画素(本実施形態では近傍画素)を参照して画素欠陥補正処理を行う場合とがある。
【0027】
図4のテーブルにおいては、環境温度が低い使用環境の場合の方が欠陥画素の周囲の画素を参照する参照範囲を大きくして欠陥画素補正処理を行う傾向を示している。
つまり、図4の基準データとしては、環境温度が高くなると、フィルタリング処理をOFFからONにする傾向となる。また、環境温度が高くなると、空間フィルタのサイズを小さくする傾向となる。
また、環境温度が高くなると、フィルタリング処理としてクロマ信号に対するサプレス処理をOFFからONにする傾向となる。これに対して、画素欠陥補正処理に関しては、環境温度が高くなると、ONからOFFにする傾向となる。
【0028】
この様な構成による本実施形態の内視鏡装置1は、挿入部2の先端部5に設けられ、被検体の光学像を、視差を有する対の対物光学系7a,7bを用いて撮像する撮像素子8と、前記撮像素子8を駆動するための撮像素子駆動部13と、前記撮像素子8にて光電変換された撮像画像の信号を映像信号に変換する映像信号処理部14と、を有する。
また、内視鏡装置1は、前記映像信号処理部14で生成された映像信号の画像に対し画像処理を施して、前記対の対物光学系7a,7bに基づく対の計測用画像を生成する(第1の画像処理部16を含む)画像処理部15と、前記画像処理部15で生成された前記対の計測用画像を用いて、被検体に対する計測を行う計測部18と、前記画像処理部15に対して前記画像処理部15の処理内容を指示する画像処理選択部19と、前記画像処理部15の処理内容を決める上で基準となる基準データを記憶する記憶部20と、を有する。
【0029】
また、前記基準データは、前記計測部18による計測を行う使用環境に応じて、前記画像処理としてノイズを低減するフィルタリング処理及び画素欠陥補正処理の少なくとも一方に対する複数の処理内容中の一つを規定するものであり、前記画像処理選択部19は、前記記憶部20に記憶された基準データを参照し、前記使用環境に応じて前記画像処理部15に対して、前記画像処理部15の複数の処理内容中の一つを選択指示し、前記画像処理部15は、前記画像処理選択部19からの選択指示に基づき、前記フィルタリング処理及び前記画素欠陥補正処理の少なくとも一方に対する複数の処理内容中の一つに従った画像処理によって前記計測部18が計測に使用する前記対の計測用画像を生成することを特徴とする。
【0030】
次に図4に従った本実施形態の動作を図5から図8を参照して説明する。上述したようにユーザにより、計測指示が行われると、画像処理選択部19は、指示された際の使用環境を形成する温度環境を認識するために、温度センサ21により検知した検知温度Tを取得する。そして、画像処理選択部19は、この検知温度Tに対応する環境温度に応じて、基準データに従ってフィルタリング処理の処理内容としてON/OFFを選択する。
図5のステップS1に示すように画像処理選択部19は、検知温度Tがフィルタリング処理をON/OFFする閾値の温度(この場合、所定温度X3)以上か否かを判定する。検知温度Tが所定温度X3以上であると、ステップS2に示すように画像処理選択部19は、フィルタリング処理をONにする処理内容を選択する。そして、画像処理選択部19は、この選択を第1画像処理部16のフィルタリング処理回路31aに指示する。
【0031】
一方、検知温度Tが所定温度X3未満であると、ステップS3に示すように画像処理選択部19は、フィルタリング処理をOFFにする処理内容を選択する。そして、そして、画像処理選択部19は、この選択を第1画像処理部16のフィルタリング処理回路31aに指示する。第1画像処理部16のフィルタリング処理回路31aは、指示に対応した処理内容でフィルタリング処理を行い、計測用画像を生成する。このようにして図5の処理を終了する。
温度が低い場合には、固定パターン等のノイズの影響が小さいため、本実施形態では図4のテーブルに従って温度が低い場合には、固定パターン等のノイズを除去するフィルタリング処理をOFFにして、画像処理を行う。これにより精度よく計測を行うことができる。
【0032】
一方、温度が高くなると、固定パターン等のノイズが大きくなるため、予め蓄積された基準データに基づいて、所定温度以上の場合フィルタリング処理をOFFからONにする。これにより、計測を精度良く行うことができる。なお、フィルタリング処理をONにした場合には、さらに図6、図7、図8のようにフィルタリング処理の強度、空間フィルタのサイズ、クロマサプレス等の処理内容を選択して、第1画像処理部16のフィルタリング処理回路31aに指示することになる。
図5の手順に従ってフィルタリング処理のON/OFFを行うことにより、計測用画像を用いた計測精度の劣化を防止して行うことができる。
また、フィルタリング処理をONにした場合、さらに図6のステップS6に示すように画像処理選択部19は、検知温度Tがフィルタリング処理の強度を変更する閾値の温度(この場合、所定温度X4)以上か否かを判定する。
【0033】
検知温度Tが所定温度X4以上である判定した場合には、ステップS7に示すように画像処理選択部19は、フィルタリング処理の強度をレベルL4にする選択をする。そして、画像処理選択部19は、この選択を第1画像処理部16のフィルタリング処理回路31aに指示する。
一方、検知温度Tが所定温度X4未満であると、ステップS8に示すように画像処理選択部19は、フィルタリング処理の強度をレベルL3にする選択をする。そして、画像処理選択部19は、この選択を第1画像処理部16のフィルタリング処理回路31aに指示する。第1画像処理部16のフィルタリング処理回路31aは、指示に対応した処理内容でフィルタリング処理を行い、計測用画像を生成する。このようにして、図6の処理を終了する。
【0034】
上述したように温度が高くなった場合、フィルタリング処理をONすることにより、計測の精度の劣化を防止できる。また、フィルタリング処理をONにした状態においても、さらに図6に示すようにフィルタリング処理の強度を変更することにより、変更しない場合よりも計測精度の劣化を防止できる。
具体的には、温度が高くなった場合には、フィルタリング処理の強度を大きく(高く)することにより、計測の精度の劣化を防止できる。
また、図7は画像処理選択部19が検知温度Tに応じてフィルタリング処理する場合の空間フィルタのサイズを選択する動作を示す。以下においては、第1画像処理部16に指示する動作及び、第1画像処理部16が指示に対応した計測用画像を生成する動作の説明を省略する。
【0035】
ステップS11に示すように画像処理選択部19は、検知温度Tが空間フィルタのサイズを変更する閾値の温度(この場合、所定温度X3)以上か否かを判定する。検知温度Tが所定温度X3以上であると、ステップS12に示すように画像処理選択部19は、B×Bの空間フィルタを採用する処理内容を選択する。
一方、検知温度Tが所定温度X3未満であると、ステップS13に示すように画像処理選択部19は、A×Aの空間フィルタを採用する処理内容を選択する。そして、図7の処理を終了する。
上述したように温度が高くなった場合、フィルタリング処理をONすることにより、計測精度の劣化を防止できる。また、フィルタリング処理をONにした状態においても、さらに図7に示すようにフィルタリング処理する場合の空間フィルタのサイズを変更することにより、変更しない場合よりも計測精度の劣化を防止できる。
【0036】
具体的には、温度が高くなった場合には、空間フィルタのサイズを小さくすることにより、計測の精度の劣化を防止できる。
また、図8のステップS16に示すように画像処理選択部19は、検知温度Tがクロマサプレスのフィルタリング処理をON/OFFする閾値の温度(この場合、所定温度X3)以上か否かを判定する。検知温度Tが所定温度X3以上であると、ステップS17に示すように画像処理選択部19は、クロマサプレスのフィルタリング処理をONにする処理内容を選択する。
一方、検知温度Tが所定温度X3未満であると、ステップS18に示すように画像処理選択部19は、クロマサプレスのフィルタリング処理をOFFにする処理内容を選択する。そして、図8の処理を終了する。
【0037】
上述したように温度が高くなった場合、クロマ信号に混入するノイズのために、計測精度の劣化を防止するために、図8に示すようクロマサプレスをONにすることにより、OFFの場合よりも計測の精度の劣化を防止できる。
また、図9のステップS21に示すように画像処理選択部19は、検知温度Tが画素欠陥補正処理有り/無し(ON/OFF)の閾値の温度(この場合、所定温度X3)以上か否かを判定する。検知温度Tが所定温度X3以上であると、ステップS22に示すように画像処理選択部19は、画素欠陥補正処理無し(OFF)にする処理内容を選択する。
一方、検知温度Tが所定温度X3未満であると、ステップS23に示すように画像処理選択部19は、画素欠陥補正処理有り(ON)にする処理内容を選択する。そして、図9の処理を終了する。
【0038】
温度が高くなった場合、画素信号に重畳されるノイズ量が増えるため、画素欠陥補正処理有りの場合、欠陥画素に対して、その周辺画素の輝度値および色値をもとに補正が行われるため、増加したノイズ成分も一緒に重畳されることになる。そのため、対応位置の検出の精度が低下する。このため、閾値の温度以上では画素欠陥補正処理無しにすることにより計測の精度の劣化を防止できる。
また、画素欠陥補正処理有りにした場合、さらに図10のステップS26に示すように画像処理選択部19は、検知温度Tが画素欠陥補正処理の補正参照範囲を変更する閾値の温度(この場合、所定温度X2)以上か否かを判定する。検知温度Tが所定温度X2以上である判定した場合には、ステップS27に示すように画像処理選択部19は、欠陥画素の隣接画素を用いて欠陥画素の補正する処理内容を選択する。
【0039】
一方、検知温度Tが所定温度X2未満であると、ステップS28に示すように画像処理選択部19は、欠陥画素の隣接画素及び近傍画素を用いて欠陥画素の補正する処理内容を選択する。そして、図10の処理を終了する。
画素欠陥補正処理有りにした場合、温度に応じて欠陥画素を補正する場合の欠陥画素の周囲の補正参照範囲を選択することにより、計測の精度の劣化を防止できる。
このように動作する本実施形態によれば、使用環境に応じて予め記憶部20に記憶した基準データに従って、フィルタリング処理又は画素欠陥補正処理のON/OFFを選択して、その選択に従って画像処理した計測用画像を用いて、距離又は面積等の計測を行うようにしているので、精度の高い計測を行うことができる。従って、本実施形態によれば、使用環境が変化した場合にも使用環境に応じて精度の劣化を低減又は防止した計測ができる。
なお、図5−図10により、代表的な処理を示したが、フィルタリング処理と画素欠陥補正処理とを組み合わせた処理を行うようにしても良い。
【0040】
(第2の実施形態)
次に図11を参照して本発明の第2の実施形態を説明する。図11は、本発明の第2の実施形態の内視鏡装置1Bを示し、図1の場合と本体部3Bの構成が一部異なる。
上述した第1の実施形態は、過去に蓄積した計測データから、精度良く計測を行うことができるように分類し、各環境温度に応じて処理内容を決定(規定)できるように基準データとしてテーブル化したものである。この基準データに従った処理内容を採用することにより、使用環境としての環境温度の変化に応じて多くの場合に計測の精度の低下又は劣化を防止することができる。
一方、ユーザは、実際に計測を行う被検体に対して処理内容を変えた場合、その処理内容の変更による計測結果のずれ量(差分量)からノイズによる影響を把握して、ずれ量に応じて計測用画像を設定することを望む場合もある。或いは、例えば温度が高く、ノイズの影響を受け易いような場合には、ユーザは、処理内容を変えて実際に計測を行い、計測結果に応じて計測用画像を設定することを望む場合もある。
【0041】
或いは、基準データとして処理内容が変化する温度付近においては、僅かの温度の違いにより処理内容が変化するため、実際の計測対象物としての被検体の撮像条件(撮像環境)によって基準データを修正した方が精度良く計測できる可能性がある。
また、過去に蓄積したデータに当てはまらないような使用環境に該当する可能性もある。
このような場合に対応するために、本実施形態においては、以下に説明するように異なる処理内容で生成した暫定的な計測用画像(計測評価用画像という)を複数対生成し、それぞれを用いて実際に計測を行い、計測結果に応じて実際の計測に使用する対の計測用画像を決定することができる機能を設けている。
【0042】
本実施形態は、第1の実施形態において、第1画像処理部16がさらに処理内容が異なる2対の計測評価用画像を生成可能にし、計測部18は、2対の計測評価用画像を用いて同一の計測指示に対する2つの計測結果を取得する。そして、2つの計測結果に基づいて、例えば2つの計測結果の差分量と設定範囲との比較結果に応じて2対の計測評価用画像から、実際に計測部18が計測に使用する計測用画像を決定する機能を追加したものである。
本実施形態の内視鏡装置1Bは、図1の内視鏡装置1において、ユーザは計測指示部24から第1の実施形態の計測指示を行う第1計測指示と、計測評価用画像から計測用画像を決定して計測指示を行う第2計測指示とを行うことができる。
【0043】
第1計測指示の場合の動作は、第1の実施形態と同じであるため、以下においては第2計測指示の場合を説明する。
ユーザは第2計測指示として、フィルタリング処理又は画素欠陥補正処理における一方の画像処理における複数の処理内容から互いに異なる2つの処理内容に従った2対の計測評価用画像を生成する指示を行う。
画像処理選択部19は、第2計測指示に応じて、第1画像処理部16に対して、指示された画像処理における互いに異なる2つの処理内容を指示し、第1画像処理部16はその指示に従って2対の計測評価用画像を生成し、計測部18に出力する。つまり、第1画像処理部16は、2対の計測評価用画像を生成する計測評価用画像生成部40を有する。
【0044】
計測部18は、第2計測指示に応じて、2対の計測評価用画像を用いて同一の計測を実施し、それぞれ計測を実施した場合における2つの計測結果を、本体部3B内に設けた計測結果比較部41に出力する。
このように、本実施形態においては本体部3Bは、計測部18から出力される2つの計測結果を比較する計測結果比較部41を有する。この計測結果比較部41は、2つの計測結果を比較する場合、例えば2つの計測結果の差分量を算出し、その差分量が予め設定された設定範囲内か否かの判定を行う。
例えば、処理内容を変更した場合、ノイズのために差分量の絶対値が大きくなることが考えられ、許容される範囲の閾値としての設定範囲以内の場合には基本的には画像処理を行なうもの、又はこれに近い処理内容で計測用画像を生成する。
【0045】
一方、差分量(の絶対値)が設定範囲から逸脱する場合には、ノイズの影響が大きいと考えられるため、画像処理を行わないもの、又は処理内容をより弱くするもので計測用画像を生成する。
本体部3Bは、この設定範囲のデータを記憶する記憶部42を有し、計測結果比較部41は、この設定範囲のデータを参照して計測結果の差分量が、設定範囲内か否かを判定する。なお、この設定範囲のデータを記憶部20が記憶するようにしても良い。また、計測結果比較部41は、差分量の絶対値が正の設定値以内か否かの比較をして差分量がノイズにより許容される設定範囲内か否かの判定を行うようにしても良い。
計測結果比較部41は、差分量と設定範囲との比較結果に応じて、2対の計測評価用画像から実際に計測に用いる1対の計測用画像を選択して決定する計測用画像選択部43を有する。その他の構成は第1の実施形態と同じである。
【0046】
次に図12を参照して本実施形態の動作を具体的に説明する。図12は使用環境としてのユーザが例えば検知温度Tが所定温度X3以上の場合に対して、フィルタリング処理をON/OFFして計測用画像を選択(決定)する様に第2計測指示を行った場合の処理手順を示す。
最初のステップS31において画像処理選択部19は、検知温度Tがフィルタリング処理のON/OFFする閾値の温度(この場合、所定温度X3)以上か否かを判定する。検知温度Tが所定温度X3未満であると、ステップS32に示すように画像処理選択部19は、記憶部20の基準データを参照してフィルタリング処理をOFFにする処理内容を選択する。
【0047】
一方、検知温度Tが所定温度X3以上であると、ステップS33に示すように画像処理選択部19は、フィルタリング処理をONした場合と、OFFにした場合との処理内容を(2対の計測評価用画像を生成するために)選択して、この選択に対応した処理内容を第1画像処理部16のフィルタリング処理回路31aに指示する。
ステップS34に示すように第1画像処理部16(のフィルタリング処理回路31a)は、指示に対応して2対の計測評価用画像を生成し、計測部18に出力する。
ステップS35に示すように計測部18は、2対の計測評価用画像を用いて同一の計測を実施し、2つの計測結果を取得し、計測結果比較部41に出力する。
【0048】
ステップS36に示すように計測結果比較部41は、2つの計測結果に対する比較処理を行う。計測結果比較部41は、2つの計測結果に対する比較処理を行うために、例えば2つの計測結果の差分量を算出する。そして、ステップS37に示すように計測結果比較部41つの計測結果の差分量が設定範囲以内となるか否かの比較を行う。
差分量が設定範囲以内となる比較結果の場合には、ステップS38に示すように計測結果比較部41は、フィルタリング処理がONの場合の対の計測評価用画像を対の計測用画像として選択(設定)する。
一方、差分量が設定範囲以内に収まらないで設定範囲から逸脱する比較結果の場合には、ステップS39に示すように計測結果比較部41は、フィルタリング処理がOFFNの場合の対の計測評価用画像を対の計測用画像として選択(設定)する。
【0049】
このように計測結果が設定範囲内に有るか否かに応じて2対の計測評価用画像から、計測部18が実際に計測に使用する対の計測用画像を選択(設定)して、選択された対の計測用画像を使用して計測を実行することになる。
このように本実施形態においては処理内容が異なる、つまりフィルタリング処理ONと,OFFにした2対の計測評価用画像を生成して、実際の使用環境において実際にそれぞれ計測を行い、計測結果に基づいて対の計測用画像を設定するようにしているので、使用環境が変化するような場合においても、その使用環境に応じて適切な対の計測用画像を設定でき、精度の劣化を防止した計測を行うことが可能になる。
また、ノイズの影響を受け易い温度環境や、処理内容が変わる温度付近や、過去の蓄積したデータには当てはまらないような使用環境に対しても、その使用環境に応じて適切な対の計測用画像を設定でき、精度の劣化を防止した計測を行うことが可能になる。
【0050】
図13はユーザが例えば検知温度Tが所定温度X3以上の場合に対して、画素欠陥補正処理有り/無しにして計測用画像を選択(決定)する様に第2計測指示を行った場合の処理手順を示す。
最初のステップS41において画像処理選択部19は、検知温度Tが画素欠陥補正処理有り/無しにする閾値の温度(この場合、所定温度X3)以上か否かを判定する。検知温度Tが所定温度X3未満であると、ステップS42に示すように画像処理選択部19は、記憶部20の基準データを参照して画素欠陥補正処理有りにする処理内容を選択する。なお、ユーザの選択的な指示により、ステップS42に相当する処理を(特に検知温度が所定温度X3とは異なる所定温度未満のような場合に)行わせるようにしても良い。
【0051】
一方、検知温度Tが所定温度X3以上であると、ステップS43に示すように画像処理選択部19は、画素欠陥補正処理有りの場合と、無しの場合との2種類の処理内容を(2対の計測評価用画像を生成するために)選択する。画像処理選択部19は、この選択に対応した処理内容を第1画像処理部16(の計測評価用画像生成部40を形成する)の画素欠陥補正処理回路32aに指示する。
ステップS44に示すように第1画像処理部16(の画素欠陥補正処理回路32a)は、指示に対応して2対の計測評価用画像を生成し、計測部18に出力する。
ステップS45に示すように計測部18は、2対の計測評価用画像を用いて同一の計測を実施し、2つの計測結果を取得し、2つの計測結果を計測結果比較部41に出力する。
【0052】
ステップS46に示すように計測結果比較部41は、2つの計測結果に対する比較処理を行う。計測結果比較部41は、2つの計測結果に対する比較処理を行うために、例えば2つの計測結果の差分量を算出する。そして、ステップS47に示すように計測結果比較部41は2つの計測結果の差分量が設定範囲以内となるか否かの比較を行う。
差分量が設定範囲以内となる比較結果の場合には、ステップS48に示すように計測結果比較部41は、画素欠陥補正処理有りの場合の対の計測評価用画像を、対の計測用画像として選択(設定)する。
一方、差分量が設定範囲以内に収まらないで設定範囲から逸脱する比較結果の場合には、ステップS49に示すように計測結果比較部41は、画素欠陥補正処理無しの場合の対の計測評価用画像を、対の計測用画像として選択(設定)する。
【0053】
このように計測結果が設定範囲内に有るか否かに応じて2対の計測評価用画像から、計測部18が実際に計測に使用する対の計測用画像を選択(設定)して、選択された対の計測用画像を使用して計測を実行することになる。
このように本実施形態においては処理内容が異なる、つまり画素欠陥補正処理有り、無しにした2対の計測評価用画像を生成して、実際の使用環境において実際にそれぞれ計測を行い、計測結果に基づいて対の計測用画像を設定するようにしているので、使用環境が変化するような場合においても、その使用環境に応じて適切な対の計測用画像を設定でき、精度の劣化を防止した計測を行うことが可能になる。
また、ノイズの影響を受け易い温度環境や、処理内容が変わる温度付近や、過去の蓄積したデータには当てはまらないような使用環境に対しても、その使用環境に応じて精度の劣化を防止した計測を行うことが可能になる。
【0054】
図14はユーザが例えば検知温度Tが所定温度X2以上の場合に対して、画素欠陥補正処理を隣接画素から補正した場合と、隣接画素及び近傍画素から補正した場合とにおいて計測用画像を選択(決定)する様に第2計測指示を行った場合の処理手順を示す。最初のステップS51において画像処理選択部19は、検知温度Tが隣接画素で補正する閾値の温度(この場合、所定温度X2)以上か否かを判定する。検知温度Tが所定温度X2未満であると、ステップS52に示すように画像処理選択部19は、記憶部20の基準データを参照して画素欠陥補正処理を隣接画素及び近傍画素を用いて補正を行う処理内容を選択する。
【0055】
一方、検知温度Tが所定温度X2以上であると、ステップS53に示すように画像処理選択部19は、画素欠陥補正処理を隣接画素及び近傍画素を用いた補正と、隣接画素のみを用いた補正との2種類の処理内容を(2対の計測評価用画像を生成するために)選択する。画像処理選択部19は、この選択に対応した処理内容を第1画像処理部16の画素欠陥補正処理回路32aに指示する。
ステップS54に示すように第1画像処理部16(の画素欠陥補正処理回路32a)は、指示に対応して2対の計測評価用画像を生成し、計測部18に出力する。
ステップS55に示すように計測部18は、2対の計測評価用画像を用いて同一の計測を実施し、2つの計測結果を取得し、2つの計測結果に対する差分量を計測結果比較部41に出力する。
【0056】
ステップS56に示すように計測結果比較部41は、2つの計測結果に対する比較処理を行う。計測結果比較部41は、2つの計測結果に対する比較処理を行うために、例えば2つの計測結果の差分量を算出する。そして、ステップS57に示すように計測結果比較部41は2つの計測結果の差分量が設定範囲以内となるか否かの比較を行う。
差分量が設定範囲以内となる比較結果の場合には、ステップS58に示すように計測結果比較部41は、隣接画素及び近傍画素を用いて補正した場合の対の計測評価用画像を対の計測用画像として選択(設定)する。
一方、差分量が設定範囲以内に収まらないで設定範囲から逸脱する比較結果の場合には、ステップS59に示すように計測結果比較部41は、隣接画素のみを用いて補正した場合の対の計測評価用画像を対の計測用画像として選択(設定)する。
【0057】
このように計測結果が設定範囲内に有るか否かに応じて2対の計測評価用画像から、計測部18が実際に計測に使用する対の計測用画像を選択(設定)して、選択された対の計測用画像を使用して計測を実行することになる。
従って、本実施形態によれば、処理内容が異なる2対の計測評価用画像を生成して、実際の使用環境において実際にそれぞれ計測を行い、計測結果に基づいて対の計測用画像を設定するようにしているので、使用環境が変化するような場合においても、その使用環境に応じて適切な対の計測用画像を設定でき、精度の劣化を低減又は防止した計測を行うことが可能になる。その他、本実施形態は、第1の実施形態と同様の効果も有する。
【0058】
なお、本実施形態においては、図12−図14により代表的な処理を説明したが、図12−図14に示した以外の処理を行うこともできる。例えば、図12の場合において、検知温度Tが所定温度X3の代わりに所定温度X4以上か否かに応じて、図12に類似した処理を行うようにしても良い。
この場合には、検知温度Tが所定温度X4未満の場合には、ステップS32に相当する処理として、画像処理選択部19は、フィルタリング処理の強度が小さいレベルでフィルタリング処理をONにする処理内容を選択する。
一方、検知温度Tが所定温度X4以上の場合には、ステップS33に相当する処理として、画像処理選択部19は、フィルタリング処理の強度が小さいレベルでフィルタリング処理をONと、フィルタリング処理をOFFにした2種類の処理内容を選択して、ステップS34以降の処理を行うようにしても良い。
【0059】
また、図12と、図13又は図14との組み合わせの処理を行うようにしても良い。なお、上述した説明においては、処理内容が異なる2対の計測評価用画像を生成する場合で説明したが、本発明は対の計測評価用画像を生成する場合に限定されるものでなく、3対以上の場合を含む複数対の計測評価用画像を生成し、複数の計測結果の値に応じて、実際にその使用環境で使用する対の計測用画像を設定するようにしても良い。3対以上の計測評価用画像を生成する場合においても、3つ以上の計測結果のずれ量に応じて、予め対の計測用画像として用いる条件を決めておくと良い。
なお、上述した各実施形態等を部分的に組み合わせる等して構成される実施形態も本発明に属する。
【符号の説明】
【0060】
1…内視鏡装置、2…挿入部、3…本体部、4…画像表示装置、5…先端部、6…LED、7a,7b…対物光学系、8…撮像素子、14…映像信号処理部、15…画像処理部、16…第1画像処理部、17…第2画像処理部、18…計測部、19…画像処理選択部、20、42…記憶部、21…温度センサ、23…温度検知部、24…計測指示部、31a,31b…フィルタリング処理回路、32a,32b…画素欠陥補正処理回路、40…計測評価用画像生成部、41…計測結果比較部、43…計測画像選択部
【先行技術文献】
【特許文献】
【0061】
【特許文献1】特開平10−248806号公報
【技術分野】
【0001】
本発明は、挿入部の先端部に搭載した撮像素子を駆動し得られた画像から被検体の計測を行う内視鏡装置に関する。
【背景技術】
【0002】
被検体に内視鏡の挿入部を挿入し、挿入部の先端部に搭載された撮像素子により被検体内部を撮像する内視鏡装置は、工業用分野においても広く用いられる。このような内視鏡装置では、被検体を撮像し、その撮像画像を画像処理することで、被検体における距離、面積等の計測を行う計測機能を有しているものがある。
このような計測機能を有した内視鏡装置の従来例として、特開平10−248806号公報に開示されているように、例えば、ステレオ計測用に2つの光学系を持ち、その視差を利用するものがある。この従来例は、視差を持つ2つの光学系により生成した2つの画像における対応点をマッチング処理によって検出し、三角測量の原理を用いて、3次元座標位置を検出する。
【0003】
また、従来の内視鏡装置では、撮像信号のオリジナルの撮像画像データをそのまま画像表示装置に表示するのではなく、各種画像処理を施して表示することで、モニタに表示される表示画像上の被検体の視認性、再現性を高めている。
例えば、内視鏡の撮像素子として使用されるCCDイメージセンサ(以下CCDと略記)やCMOSイメージセンサは、下記のような問題を有しており、画像処理によって解消又は低減している。
a.画素欠陥が発生しやくすく、画素欠陥が発生した画素部分は、被検体の画像にもよるが、白い輝点や黒点となって表示されてしまう。この場合には、欠陥画素の欠損データを周辺画素のデータから補完する画素欠陥補正処理を行うことによって、画素欠陥を目立たなくしている。
【0004】
b.温度変化に敏感で、高温になるほど、固定パターンノイズが増加する(高温になるほど、暗電流が増加し、それに伴いノイズも増長される)。この場合には、黒の撮像画像と被検体の撮像画像との差分により、固定パターンノイズを抽出し、フィルタリングすることで固定パターンノイズを低減・除去する。
また、そのフィルタリング処理の精度を向上させるために、温度と固定パターンノイズの出方の対応データを予め用意し、そのデータに基づき、温度に応じたフィルタリング処理を施す。これにより、固定パターンノイズを低減する。
c.CMOSイメージセンサは、各画素にアンプが用意されているが、そのアンプの特性のばらつきにより、固定パターンノイズが発生してしまう。この場合には、黒の撮像画像と被検体の撮像画像との差分により、固定パターンノイズを抽出し、フィルタリングすることで、固定パターンノイズを低減・除去する。
【0005】
従来、内視鏡装置の挿入部は非常に細く、は、挿入部先端内部の物理的なスペースが狭い為、撮像素子は小型(低画素)のものが採用されることが多い。
また、撮像素子の画素数が低い為、モニタ上に表示する際、アップスケーリングすることが多い。そうすると、仮に画素欠陥が発生していた場合、欠陥画素も拡大されるため、所定の画質を保つために画素欠陥の補正機能が重要になる。
また、挿入部は内視鏡の使用環境・用途の都合上、非常に長く、かつ細い為、挿入部内部に配置される撮像素子を駆動したり、撮像信号を伝送するための電気的な信号線は長く、細くなる。結果、電気的に不利になり、撮像信号にノイズが重畳され、画像ノイズが 発生しやすくなる。その為、ノイズを低減するためのフィルタリング処理が強く行われる傾向になる。
このように、内視鏡装置において、画素欠陥補正処理、フィルタリング処理は必要不可欠な処理となり、他の一般的なカメラ装置に比べ、その重要度が高い。
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、挿入部の先端と被検体との距離、被検体上のキズの大きさ(面積・長さ)などを計測する機能が搭載されている従来例の内視鏡装置においては、上記の画像処理が計測精度を劣化させる主原因に成ることもあった。
従来例の内視鏡装置の計測技術においては、視差画像の対応点をマッチングし、視差を有する画像を用いた三角測量によって3次元座標位置を検出することで、 画像データの幾何学的な歪みを補正できるので、計測精度は高くできるが、被検体を撮像する撮像環境又は使用環境によっては下記のように精度劣化が生じる。
A.画像に固定パターンノイズが重畳されると、輝度分布が実物からずれてしまう為、画像処理後の画像を用いて視差画像のマッチング処理を行うと、それぞれの画像の輝度情報の変化によっては対応点がずれる恐れがあり、計測精度を劣化させる場合がある。
【0007】
B.一方、ノイズを除去する為に、フィルタリング処理を施すと、本来必要な画像情報もノイズとして除去してしまう可能性もあり、その場合も上記の場合と同様に対応点がずれ、計測精度を劣化させる場合がある。
C.画素欠陥補正処理を施す際、周辺画素のデータから補完するが、周辺画素にノイズ成分が重畳されていると、補正後の輝度分布が実物からずれてしまう可能性があり、上記の場合と同様に、対応点がずれ、計測精度を劣化させる場合がある。
このため、使用環境(又は撮像環境)の変化に応じて画像処理の内容を変更でき、画像を用いた計測精度の劣化を低減できる内視鏡装置が望まれる。
本発明は上述した点に鑑みてなされたもので、使用環境の変化に応じて画像処理の内容を変更でき、計測精度の劣化を低減できる内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の内視鏡装置は、挿入部の先端部に設けられ、被検体の光学像を視差を有する対の対物光学系を用いて撮像する撮像素子と、前記撮像素子にて光電変換された撮像画像の信号を映像信号に変換する映像信号処理部と、前記映像信号処理部で生成された映像信号の画像に対し画像処理を施して、前記対の対物光学系に基づく対の計測用画像を生成する画像処理部と、前記画像処理部で生成された前記対の計測用画像を用いて、被検体に対する計測を行う計測部と、前記画像処理部に対して前記画像処理の処理内容を指示する画像処理選択部と、前記画像処理の処理内容を決める上で基準となる基準データを記憶する記憶部と、を有し、前記基準データは、前記計測部による計測を行う使用環境に応じて、前記画像処理としてノイズを低減するフィルタリング処理及び画素欠陥補正処理の少なくとも一方に対する複数の処理内容中の一つを規定するものであり、前記画像処理選択部は、前記記憶部に記憶された基準データを参照し、前記使用環境に応じて前記画像処理部に対して、前記画像処理の複数の処理内容中の一つを選択指示し、前記画像処理部は、前記画像処理選択部からの選択指示に基づき、前記フィルタリング処理及び前記画素欠陥補正処理の少なくとも一方に対する複数の処理内容中の一つに従った画像処理によって前記計測部が計測に使用する前記対の計測用画像を生成することを特徴とする。
【発明の効果】
【0009】
本発明によれば、使用環境の変化に応じて画像処理の内容を変更でき、計測精度の劣化を低減できる。
【図面の簡単な説明】
【0010】
【図1】図1は本発明の第1の実施形態の内視鏡装置の全体構成を示す図。
【図2】図2は画像処理部の構成を示すブロク図。
【図3】図3は同一被検体を左右の対物光学系を用いて画像表示装置に表示した場合の画像と、計測部により計測した距離及び面積の計測結果を表示した様子を示す図。
【図4】図4は記憶部におけるテーブル化して記憶されている基準データの具体例を示す図。
【図5】図5は検知温度が所定温度以上か否かに応じてフィルタリング処理のON,OFFの処理内容を変更する処理を示すフローチャート。
【図6】図6は検知温度が所定温度以上か否かに応じてフィルタリング処理の強度(レベル)の処理内容を変更する処理を示すフローチャート。
【図7】図7は検知温度が所定温度以上か否かに応じてフィルタリング処理の空間フィルタのサイズの大きさの処理内容を変更する処理を示すフローチャート。
【図8】図8は検知温度が所定温度以上か否かに応じてフィルタリング処理としてのクロマサプレスのON,OFFの処理内容を変更する処理を示すフローチャート。
【図9】図9は検知温度が所定温度以上か否かに応じて画素欠陥補正処理の有り、無しの処理内容を変更する処理を示すフローチャート。
【図10】図10は検知温度が所定温度以上か否かに応じて画素欠陥補正処理を行う際の欠陥画素の周囲の補正に用いる画素範囲の処理内容を変更する処理を示すフローチャート。
【図11】図11は本発明の第2の実施形態の内視鏡装置の全体構成を示す図。
【図12】図12は検知温度が所定温度以上の場合に、フィルタリング処理ONとOFFとの2種類の処理内容で計測評価用画像を生成して、計測を行い計測結果に応じて計測用画像を設定する処理を示すフローチャート。
【図13】図13は検知温度が所定温度以上の場合に、画素欠陥補正処理有りと無しとの2種類の処理内容で計測評価用画像を生成して、計測を行い計測結果に応じて計測用画像を設定する処理を示すフローチャート。
【図14】図14は検知温度が所定温度以上の場合に、欠陥画素の周囲の補正に用いる画素範囲を変えた2種類の処理内容で計測評価用画像を生成して、計測を行い計測結果に応じて計測用画像を設定する処理を示すフローチャート。
【発明を実施するための形態】
【0011】
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1に示すように本発明の内視鏡装置1は、ジェットエンジン等の被検体の内部に挿入される細長の挿入部2と、この挿入部2の後端(基端)が接続され、信号処理等を行う内視鏡装置本体部3と、この内視鏡装置本体部(以下、単に本体部と略記)3に接続され、内視鏡画像(単に画像と略記)を表示する画像表示装置4とを有する。
挿入部2の先端部5には被検体の内部のブレード等の被検体を照明する照明手段としての発光ダイオード(LED)6と、照明された被検体を結像する対の対物光学系7a、7bが設けてある。
対物光学系7a,7bは、被検体に対して視差を持つように離間して配置され、両対物光学系7a,7bの結像位置には、被検体の光学像を撮像する1つのCCD又はCMOSイメージャ等の撮像素子8の撮像面が配置されている。本実施形態においては、この撮像素子8の撮像面に左右2つの光学系で結像された被検体の像が視差を有する状態で結像される。
【0012】
両対物光学系7a,7b及び撮像素子8により、被検体を撮像する撮像手段を形成する。
本実施形態においては、既知の視差を有する2つの対物光学系7a,7bを用いることにより、三角測量の原理を利用してステレオ計測(立体計測)を行うことができるようにしている。
なお、上記2つの対物光学系7a,7bの光学特性のデータは、本体部3内部の後述する記憶部その他の記憶部に記憶されている。また、図1では、挿入部2の先端部5に2つの対物光学系7a,7bを一体的に設けた構成例を示しているが、2つの対物光学系7a,7bを備えた光学アダプタを先端部5に着脱自在に接続する構成にしても良い。また、本実施形態では1つの撮像素子8に、左右の像を結ぶようにしているが、2つの撮像素子を用いるようにしても良い。
【0013】
LED6は、挿入部2内を挿通された電源線9を介して本体部3内部のLED駆動部11に接続され、このLED駆動部11から供給されるLED駆動電力によりLED6は発光し、出射する照明光で被検体を照明する。
なお、LED6を用いる代わりに、本体部3内に設けたランプ等の光源で発生した光を挿入部2内に挿通した照明光伝送手段(又は導光手段)としてのライトガイドにより伝送して、照明窓から照明光として出射する構成にしても良い。
また、撮像素子8も挿入部2内を挿通された信号線12a,12bにより、本体部3内部の撮像素子駆動部13と映像信号処理部14にそれぞれ接続される。撮像素子駆動部13は、撮像素子駆動信号を生成し、この撮像素子駆動信号を撮像素子8に印加する。撮像素子8は、撮像素子駆動信号の印加により、光学像を光電変換した(撮像素子8で撮像した)撮像画像に対応する撮像信号を出力する。
【0014】
この撮像信号は映像信号処理部14に入力され、映像信号処理部14は、撮像信号をもとに映像信号を生成する。
映像信号処理部14により生成された映像信号は、該映像信号の画像に対して各種の画像処理を施す画像処理部15に入力される。なお、この映像信号の画像は、上記対の対物光学系7a,7bによる撮像素子8に結像される左右の被検体像に対応する対の画像となる。
画像処理部15は、映像信号処理部14で生成された映像信号の(対の)画像に対して、各種の画像処理を行うものであり、この画像処理部15は、第1画像処理部16と、第2画像処理部17との2つの画像処理部から構成される。
【0015】
第1画像処理部16は、映像信号の(対の)画像に対して画像処理を施して、計測に使用する(対の)計測用画像として計測部18に出力する。
一方、第2画像処理部17は、映像信号の(対の)画像に対する画像処理を施して、表示用の(対の)画像を画像表示装置4に出力し、画像表示装置4にはこの表示用の(対の)画像を表示する。この画像は、撮像素子8に結像された被検体の画像に、各種の画像処理を施したものに対応する。
計測部18は、(対の)計測用画像を用いて、被検体に対する計測の処理を行い、計測の処理を行った映像信号を画像表示装置4に出力し、画像表示装置4中に被検体の画像中において計測の処理結果を表示する。
【0016】
また、本実施形態においては、例えば本体部は、画像処理部15における第1画像処理部16に対して画像処理の内容を指示する画像処理選択部19と、画像処理の内容を決める際に基準となる基準データを有する記憶部20とを有する。
また、本実施形態は、計測部18により計測を行う使用環境を形成する環境温度を検知するために、挿入部2の先端部5内に搭載された撮像素子8の近傍に、この撮像素子8の温度を検知する温度センサ21が配置している。この温度センサ21によるセンサ信号は、信号線22を介して本体部3内の温度検知部23に入力される。この温度検知部23はセンサ信号から温度データに変換する。
【0017】
上記画像処理選択部19は、温度検知部23からの温度データに対応した記憶部20に記憶された基準データを取り込み、第1画像処理部16による画像処理の内容を指示又は選択する指示信号を出力する。
従って、第1画像処理部16は、画像処理選択部19からの指示信号に従って、各種の画像処理を行う。一方、第2画像処理部17は、画像処理選択部19からの指示信号に無関係に各種の画像処理を行い、視認性等を向上した画像を表示できるようにしている。
なお、計測部18に対して使用者(ユーザ)が距離又は面積等の計測指示の信号を出力する計測指示部24は、計測部18の他に画像処理選択部19にも出力する。画像処理選択部19は、計測指示の信号が入力されたタイミングにおける使用環境を形成する環境温度としての検知温度情報を温度検知部23を介して取得する。
【0018】
そして、画像処理選択部19は、この検知温度情報と記憶部20に記憶されている温度に応じた画像処理方法のテーブルデータ(図4参照)とを比較して、検知温度に対応する基準データを選択する。
図2は、画像処理部15周辺部の構成を示す。映像信号処理部14から出力される輝度信号Y及びクロマ信号U,Vは、画像処理部15における第1画像処理部16及び第2画像処理部17に入力される。
第1画像処理部16は、各種の画像処理を行う回路として、暗電流等による固定パターンノイズを低減するフィルタリング処理回路31a及び画素欠陥の補正を行う画素欠陥補正処理回路32aを有する。これらの画像処理により生成された)計測用画像は、計測部18に出力される。
【0019】
なお、フィルタリング処理は、固定パターンノイズを低減のためにONして処理する他に、クロマ信号U,Vに重畳して色ノイズが顕著になるような場合にはクロマ信号U,Vを許容された範囲内で抑圧して色ノイズを低減する処理の場合(後述)も含む。
第2画像処理部17についても、暗電流等による固定パターンノイズを低減するフィルタリング処理回路31b、画素欠陥の補正を行う画素欠陥補正処理回路32bを有するが、第2画像処理部17は第1画像処理部16と異なり、画像処理選択部19からの指示に左右されない。なお、(図示しない)ガンマ補正回路、輪郭強調回路等は、映像信号処理部に設けられ、ガンマ補正、輪郭強調等の処理を施している。
この第2画像処理部17により各種の画像処理された表示用画像の映像信号が画像表示装置4に出力され、画像表示装置4には撮像素子8に結像された被検体の画像が視認性等を向上した画像として表示される。
【0020】
図3は画像表示装置4における被検体の画像の表示例を示す。図3は同じ被検体を左右に視差を有する対物光学系7a,7bにより撮像し、第2画像処理部17により画像処理して画像表示装置4で表示した場合の左右の画像を示す。図3の左側の図は、距離の計測を行った様子を示す。
内視鏡装置1のユーザは、表示された左右の画像の一方の画像(例えば右画像)に対して、計測指示部24に設けられている図示しないマウス等の操作により計測しようとする複数の位置を指定して、計測部18に対して複数の位置間の距離計測を指示する。
例えば、ユーザは、被検体の表面にできた傷の大きさを知ることを望む場合がある。この場合には、ユーザは、一方の画像(例えば右画像)に対して、傷の両端のとなる2つの位置を指定して、計測部18に対して両位置間の距離の計測指示をする。
【0021】
また、この場合の計測指示の信号は画像処理選択部19にも入力され、画像処理選択部19はこの信号が入力された使用環境に対応した基準データを記憶部20から選択し、この基準データに従って第1画像処理部16の画像処理の処理内容を決定(規定)する。そして、第1画像処理部16は、画像処理選択部19による選択指示に対応した画像処理の処理内容に従って画像処理を行う。
計測部18は、第1画像処理部16から出力される映像信号の対の計測用画像、つまり左右の計測用画像を用いて、一方(右又は左)の計測用画像における指定された複数の位置にそれぞれ対応する他方(左又は右)の計測用画像における対応位置をそれぞれ算出する計測処理を行う。
【0022】
そして、複数の位置間の距離の計測処理の結果を、画像表示装置4に出力し、図3の左側に示すように計測処理の結果としての距離を表示する。また、図3の右側は、面積計測を行った様子を示す。
また、使用者は、例えば被検体の表面にできた変形した領域が存在して、その変形した領域の面積を算出することを望む場合がある。この様な場合には、使用者は、一方の画像(例えば右画像)に対して計測指示手段により変形した領域を囲むように複数の位置を指定して、計測部18に対して面積の計測の指示をする。
この場合にも、計測部18は、一方の計測用画像における指定された複数の位置にそれぞれ対応する他方の計測用画像における対応位置をそれぞれ算出する計測処理を行う。
【0023】
そして、複数の位置間の距離の計測処理の結果から面積算出の計測処理を行い、面積の計測結果を画像表示装置4に出力し、図3の右側に示すように計測処理の結果としての面積を表示する。
本実施形態においては、このように距離計測、面積計測等を行う場合、使用環境の変化に対応して記憶部20に記憶された基準データに従って画像処理の処理内容を変更する。そして、このように基準データに従って画像処理の内容を変更することにより、使用環境が変化した場合にも、計測精度の劣化を防止ないしは低減する。
図4は、記憶部20に予め記憶されて、テーブル化された基準データの例を示す。
【0024】
この記憶部20には、各温度データに対してフィルタリング処理を行うか否か(つまりフィルタリング処理ON/OFF)、またフィルタリングを行う場合のフィルタリング処理の強度、空間フィルタのサイズ、(フィルタリング処理における)クロマ信号のサプレスを行うか否か(つまりクロマサプレスON/OFF)、画素欠陥補正処理を行うか否か(つまり画素欠陥補正処理ON/OFF)、また画素欠陥補正処理を行う場合の補正参照範囲のデータが記憶されている。
なお、図4における所定温度X1,X2,X3等は、図4の備考欄に記載しているようにX1<X2<…の関係である。つまり、テーブルの下側ほど、温度が高い場合の基準データに該当する。また、フィルタリング処理の強度を表すレベルL1,L2,…は、L1<L2<…の関係である。一方、フィルタリング処理を行う場合の空間フィルタのサイズは、A>Bの関係である。なお、図4における温度X1は例えば常温領域、X3は高温領域を表す。
【0025】
図4に示す基準データは、実際に各温度においてフィルタリング処理をON及びOFF、画素欠陥補正処理をON及びOFF等して、実際に計測を行った過去に蓄積した計測データから分類して、各温度において精度の良い計測結果が得られる場合の処理内容を決定したものである。従って、図4に示した基準データの処理内容に従って計測用画像を生成すると、多くの場合精度の良い計測を行うことが可能になる。
なお、本実施形態においては、記憶部20は、書き換え可能なフラッシュメモリ等の記憶手段により構成され、さらなる計測データの蓄積結果に基づいて基準データをより信頼性が高い基準データに更新可能にしている。
例えば、図4のテーブルでは、使用環境における温度が所定温度X3以上になると、フィルタリング処理がOFFからONになり、また、ONになった場合には所定温度以上か否かに応じてフィルタリング処理の強度(レベル)が変化する。
【0026】
また、フィルタリング処理は温度が高い場合に、低い場合よりも空間フィルタのサイズを小さくして行う傾向を示している。なお、図4中において、例えば温度X1、X2では、フィルタリング処理は、通常はOFFに設定されるが、ユーザからの選択によりONに設定して行う場合もあるため、記憶部20はその場合に使用されるレベルL1,L2やサイズA×A等も記憶している。
また、図4の備考欄に示すように画素欠陥補正処理を行う場合においては、欠陥画素に隣接する隣接画素を参照して画素欠陥補正処理を行う(施す)場合と、さらに隣接画素の外側に隣接する画素(本実施形態では近傍画素)を参照して画素欠陥補正処理を行う場合とがある。
【0027】
図4のテーブルにおいては、環境温度が低い使用環境の場合の方が欠陥画素の周囲の画素を参照する参照範囲を大きくして欠陥画素補正処理を行う傾向を示している。
つまり、図4の基準データとしては、環境温度が高くなると、フィルタリング処理をOFFからONにする傾向となる。また、環境温度が高くなると、空間フィルタのサイズを小さくする傾向となる。
また、環境温度が高くなると、フィルタリング処理としてクロマ信号に対するサプレス処理をOFFからONにする傾向となる。これに対して、画素欠陥補正処理に関しては、環境温度が高くなると、ONからOFFにする傾向となる。
【0028】
この様な構成による本実施形態の内視鏡装置1は、挿入部2の先端部5に設けられ、被検体の光学像を、視差を有する対の対物光学系7a,7bを用いて撮像する撮像素子8と、前記撮像素子8を駆動するための撮像素子駆動部13と、前記撮像素子8にて光電変換された撮像画像の信号を映像信号に変換する映像信号処理部14と、を有する。
また、内視鏡装置1は、前記映像信号処理部14で生成された映像信号の画像に対し画像処理を施して、前記対の対物光学系7a,7bに基づく対の計測用画像を生成する(第1の画像処理部16を含む)画像処理部15と、前記画像処理部15で生成された前記対の計測用画像を用いて、被検体に対する計測を行う計測部18と、前記画像処理部15に対して前記画像処理部15の処理内容を指示する画像処理選択部19と、前記画像処理部15の処理内容を決める上で基準となる基準データを記憶する記憶部20と、を有する。
【0029】
また、前記基準データは、前記計測部18による計測を行う使用環境に応じて、前記画像処理としてノイズを低減するフィルタリング処理及び画素欠陥補正処理の少なくとも一方に対する複数の処理内容中の一つを規定するものであり、前記画像処理選択部19は、前記記憶部20に記憶された基準データを参照し、前記使用環境に応じて前記画像処理部15に対して、前記画像処理部15の複数の処理内容中の一つを選択指示し、前記画像処理部15は、前記画像処理選択部19からの選択指示に基づき、前記フィルタリング処理及び前記画素欠陥補正処理の少なくとも一方に対する複数の処理内容中の一つに従った画像処理によって前記計測部18が計測に使用する前記対の計測用画像を生成することを特徴とする。
【0030】
次に図4に従った本実施形態の動作を図5から図8を参照して説明する。上述したようにユーザにより、計測指示が行われると、画像処理選択部19は、指示された際の使用環境を形成する温度環境を認識するために、温度センサ21により検知した検知温度Tを取得する。そして、画像処理選択部19は、この検知温度Tに対応する環境温度に応じて、基準データに従ってフィルタリング処理の処理内容としてON/OFFを選択する。
図5のステップS1に示すように画像処理選択部19は、検知温度Tがフィルタリング処理をON/OFFする閾値の温度(この場合、所定温度X3)以上か否かを判定する。検知温度Tが所定温度X3以上であると、ステップS2に示すように画像処理選択部19は、フィルタリング処理をONにする処理内容を選択する。そして、画像処理選択部19は、この選択を第1画像処理部16のフィルタリング処理回路31aに指示する。
【0031】
一方、検知温度Tが所定温度X3未満であると、ステップS3に示すように画像処理選択部19は、フィルタリング処理をOFFにする処理内容を選択する。そして、そして、画像処理選択部19は、この選択を第1画像処理部16のフィルタリング処理回路31aに指示する。第1画像処理部16のフィルタリング処理回路31aは、指示に対応した処理内容でフィルタリング処理を行い、計測用画像を生成する。このようにして図5の処理を終了する。
温度が低い場合には、固定パターン等のノイズの影響が小さいため、本実施形態では図4のテーブルに従って温度が低い場合には、固定パターン等のノイズを除去するフィルタリング処理をOFFにして、画像処理を行う。これにより精度よく計測を行うことができる。
【0032】
一方、温度が高くなると、固定パターン等のノイズが大きくなるため、予め蓄積された基準データに基づいて、所定温度以上の場合フィルタリング処理をOFFからONにする。これにより、計測を精度良く行うことができる。なお、フィルタリング処理をONにした場合には、さらに図6、図7、図8のようにフィルタリング処理の強度、空間フィルタのサイズ、クロマサプレス等の処理内容を選択して、第1画像処理部16のフィルタリング処理回路31aに指示することになる。
図5の手順に従ってフィルタリング処理のON/OFFを行うことにより、計測用画像を用いた計測精度の劣化を防止して行うことができる。
また、フィルタリング処理をONにした場合、さらに図6のステップS6に示すように画像処理選択部19は、検知温度Tがフィルタリング処理の強度を変更する閾値の温度(この場合、所定温度X4)以上か否かを判定する。
【0033】
検知温度Tが所定温度X4以上である判定した場合には、ステップS7に示すように画像処理選択部19は、フィルタリング処理の強度をレベルL4にする選択をする。そして、画像処理選択部19は、この選択を第1画像処理部16のフィルタリング処理回路31aに指示する。
一方、検知温度Tが所定温度X4未満であると、ステップS8に示すように画像処理選択部19は、フィルタリング処理の強度をレベルL3にする選択をする。そして、画像処理選択部19は、この選択を第1画像処理部16のフィルタリング処理回路31aに指示する。第1画像処理部16のフィルタリング処理回路31aは、指示に対応した処理内容でフィルタリング処理を行い、計測用画像を生成する。このようにして、図6の処理を終了する。
【0034】
上述したように温度が高くなった場合、フィルタリング処理をONすることにより、計測の精度の劣化を防止できる。また、フィルタリング処理をONにした状態においても、さらに図6に示すようにフィルタリング処理の強度を変更することにより、変更しない場合よりも計測精度の劣化を防止できる。
具体的には、温度が高くなった場合には、フィルタリング処理の強度を大きく(高く)することにより、計測の精度の劣化を防止できる。
また、図7は画像処理選択部19が検知温度Tに応じてフィルタリング処理する場合の空間フィルタのサイズを選択する動作を示す。以下においては、第1画像処理部16に指示する動作及び、第1画像処理部16が指示に対応した計測用画像を生成する動作の説明を省略する。
【0035】
ステップS11に示すように画像処理選択部19は、検知温度Tが空間フィルタのサイズを変更する閾値の温度(この場合、所定温度X3)以上か否かを判定する。検知温度Tが所定温度X3以上であると、ステップS12に示すように画像処理選択部19は、B×Bの空間フィルタを採用する処理内容を選択する。
一方、検知温度Tが所定温度X3未満であると、ステップS13に示すように画像処理選択部19は、A×Aの空間フィルタを採用する処理内容を選択する。そして、図7の処理を終了する。
上述したように温度が高くなった場合、フィルタリング処理をONすることにより、計測精度の劣化を防止できる。また、フィルタリング処理をONにした状態においても、さらに図7に示すようにフィルタリング処理する場合の空間フィルタのサイズを変更することにより、変更しない場合よりも計測精度の劣化を防止できる。
【0036】
具体的には、温度が高くなった場合には、空間フィルタのサイズを小さくすることにより、計測の精度の劣化を防止できる。
また、図8のステップS16に示すように画像処理選択部19は、検知温度Tがクロマサプレスのフィルタリング処理をON/OFFする閾値の温度(この場合、所定温度X3)以上か否かを判定する。検知温度Tが所定温度X3以上であると、ステップS17に示すように画像処理選択部19は、クロマサプレスのフィルタリング処理をONにする処理内容を選択する。
一方、検知温度Tが所定温度X3未満であると、ステップS18に示すように画像処理選択部19は、クロマサプレスのフィルタリング処理をOFFにする処理内容を選択する。そして、図8の処理を終了する。
【0037】
上述したように温度が高くなった場合、クロマ信号に混入するノイズのために、計測精度の劣化を防止するために、図8に示すようクロマサプレスをONにすることにより、OFFの場合よりも計測の精度の劣化を防止できる。
また、図9のステップS21に示すように画像処理選択部19は、検知温度Tが画素欠陥補正処理有り/無し(ON/OFF)の閾値の温度(この場合、所定温度X3)以上か否かを判定する。検知温度Tが所定温度X3以上であると、ステップS22に示すように画像処理選択部19は、画素欠陥補正処理無し(OFF)にする処理内容を選択する。
一方、検知温度Tが所定温度X3未満であると、ステップS23に示すように画像処理選択部19は、画素欠陥補正処理有り(ON)にする処理内容を選択する。そして、図9の処理を終了する。
【0038】
温度が高くなった場合、画素信号に重畳されるノイズ量が増えるため、画素欠陥補正処理有りの場合、欠陥画素に対して、その周辺画素の輝度値および色値をもとに補正が行われるため、増加したノイズ成分も一緒に重畳されることになる。そのため、対応位置の検出の精度が低下する。このため、閾値の温度以上では画素欠陥補正処理無しにすることにより計測の精度の劣化を防止できる。
また、画素欠陥補正処理有りにした場合、さらに図10のステップS26に示すように画像処理選択部19は、検知温度Tが画素欠陥補正処理の補正参照範囲を変更する閾値の温度(この場合、所定温度X2)以上か否かを判定する。検知温度Tが所定温度X2以上である判定した場合には、ステップS27に示すように画像処理選択部19は、欠陥画素の隣接画素を用いて欠陥画素の補正する処理内容を選択する。
【0039】
一方、検知温度Tが所定温度X2未満であると、ステップS28に示すように画像処理選択部19は、欠陥画素の隣接画素及び近傍画素を用いて欠陥画素の補正する処理内容を選択する。そして、図10の処理を終了する。
画素欠陥補正処理有りにした場合、温度に応じて欠陥画素を補正する場合の欠陥画素の周囲の補正参照範囲を選択することにより、計測の精度の劣化を防止できる。
このように動作する本実施形態によれば、使用環境に応じて予め記憶部20に記憶した基準データに従って、フィルタリング処理又は画素欠陥補正処理のON/OFFを選択して、その選択に従って画像処理した計測用画像を用いて、距離又は面積等の計測を行うようにしているので、精度の高い計測を行うことができる。従って、本実施形態によれば、使用環境が変化した場合にも使用環境に応じて精度の劣化を低減又は防止した計測ができる。
なお、図5−図10により、代表的な処理を示したが、フィルタリング処理と画素欠陥補正処理とを組み合わせた処理を行うようにしても良い。
【0040】
(第2の実施形態)
次に図11を参照して本発明の第2の実施形態を説明する。図11は、本発明の第2の実施形態の内視鏡装置1Bを示し、図1の場合と本体部3Bの構成が一部異なる。
上述した第1の実施形態は、過去に蓄積した計測データから、精度良く計測を行うことができるように分類し、各環境温度に応じて処理内容を決定(規定)できるように基準データとしてテーブル化したものである。この基準データに従った処理内容を採用することにより、使用環境としての環境温度の変化に応じて多くの場合に計測の精度の低下又は劣化を防止することができる。
一方、ユーザは、実際に計測を行う被検体に対して処理内容を変えた場合、その処理内容の変更による計測結果のずれ量(差分量)からノイズによる影響を把握して、ずれ量に応じて計測用画像を設定することを望む場合もある。或いは、例えば温度が高く、ノイズの影響を受け易いような場合には、ユーザは、処理内容を変えて実際に計測を行い、計測結果に応じて計測用画像を設定することを望む場合もある。
【0041】
或いは、基準データとして処理内容が変化する温度付近においては、僅かの温度の違いにより処理内容が変化するため、実際の計測対象物としての被検体の撮像条件(撮像環境)によって基準データを修正した方が精度良く計測できる可能性がある。
また、過去に蓄積したデータに当てはまらないような使用環境に該当する可能性もある。
このような場合に対応するために、本実施形態においては、以下に説明するように異なる処理内容で生成した暫定的な計測用画像(計測評価用画像という)を複数対生成し、それぞれを用いて実際に計測を行い、計測結果に応じて実際の計測に使用する対の計測用画像を決定することができる機能を設けている。
【0042】
本実施形態は、第1の実施形態において、第1画像処理部16がさらに処理内容が異なる2対の計測評価用画像を生成可能にし、計測部18は、2対の計測評価用画像を用いて同一の計測指示に対する2つの計測結果を取得する。そして、2つの計測結果に基づいて、例えば2つの計測結果の差分量と設定範囲との比較結果に応じて2対の計測評価用画像から、実際に計測部18が計測に使用する計測用画像を決定する機能を追加したものである。
本実施形態の内視鏡装置1Bは、図1の内視鏡装置1において、ユーザは計測指示部24から第1の実施形態の計測指示を行う第1計測指示と、計測評価用画像から計測用画像を決定して計測指示を行う第2計測指示とを行うことができる。
【0043】
第1計測指示の場合の動作は、第1の実施形態と同じであるため、以下においては第2計測指示の場合を説明する。
ユーザは第2計測指示として、フィルタリング処理又は画素欠陥補正処理における一方の画像処理における複数の処理内容から互いに異なる2つの処理内容に従った2対の計測評価用画像を生成する指示を行う。
画像処理選択部19は、第2計測指示に応じて、第1画像処理部16に対して、指示された画像処理における互いに異なる2つの処理内容を指示し、第1画像処理部16はその指示に従って2対の計測評価用画像を生成し、計測部18に出力する。つまり、第1画像処理部16は、2対の計測評価用画像を生成する計測評価用画像生成部40を有する。
【0044】
計測部18は、第2計測指示に応じて、2対の計測評価用画像を用いて同一の計測を実施し、それぞれ計測を実施した場合における2つの計測結果を、本体部3B内に設けた計測結果比較部41に出力する。
このように、本実施形態においては本体部3Bは、計測部18から出力される2つの計測結果を比較する計測結果比較部41を有する。この計測結果比較部41は、2つの計測結果を比較する場合、例えば2つの計測結果の差分量を算出し、その差分量が予め設定された設定範囲内か否かの判定を行う。
例えば、処理内容を変更した場合、ノイズのために差分量の絶対値が大きくなることが考えられ、許容される範囲の閾値としての設定範囲以内の場合には基本的には画像処理を行なうもの、又はこれに近い処理内容で計測用画像を生成する。
【0045】
一方、差分量(の絶対値)が設定範囲から逸脱する場合には、ノイズの影響が大きいと考えられるため、画像処理を行わないもの、又は処理内容をより弱くするもので計測用画像を生成する。
本体部3Bは、この設定範囲のデータを記憶する記憶部42を有し、計測結果比較部41は、この設定範囲のデータを参照して計測結果の差分量が、設定範囲内か否かを判定する。なお、この設定範囲のデータを記憶部20が記憶するようにしても良い。また、計測結果比較部41は、差分量の絶対値が正の設定値以内か否かの比較をして差分量がノイズにより許容される設定範囲内か否かの判定を行うようにしても良い。
計測結果比較部41は、差分量と設定範囲との比較結果に応じて、2対の計測評価用画像から実際に計測に用いる1対の計測用画像を選択して決定する計測用画像選択部43を有する。その他の構成は第1の実施形態と同じである。
【0046】
次に図12を参照して本実施形態の動作を具体的に説明する。図12は使用環境としてのユーザが例えば検知温度Tが所定温度X3以上の場合に対して、フィルタリング処理をON/OFFして計測用画像を選択(決定)する様に第2計測指示を行った場合の処理手順を示す。
最初のステップS31において画像処理選択部19は、検知温度Tがフィルタリング処理のON/OFFする閾値の温度(この場合、所定温度X3)以上か否かを判定する。検知温度Tが所定温度X3未満であると、ステップS32に示すように画像処理選択部19は、記憶部20の基準データを参照してフィルタリング処理をOFFにする処理内容を選択する。
【0047】
一方、検知温度Tが所定温度X3以上であると、ステップS33に示すように画像処理選択部19は、フィルタリング処理をONした場合と、OFFにした場合との処理内容を(2対の計測評価用画像を生成するために)選択して、この選択に対応した処理内容を第1画像処理部16のフィルタリング処理回路31aに指示する。
ステップS34に示すように第1画像処理部16(のフィルタリング処理回路31a)は、指示に対応して2対の計測評価用画像を生成し、計測部18に出力する。
ステップS35に示すように計測部18は、2対の計測評価用画像を用いて同一の計測を実施し、2つの計測結果を取得し、計測結果比較部41に出力する。
【0048】
ステップS36に示すように計測結果比較部41は、2つの計測結果に対する比較処理を行う。計測結果比較部41は、2つの計測結果に対する比較処理を行うために、例えば2つの計測結果の差分量を算出する。そして、ステップS37に示すように計測結果比較部41つの計測結果の差分量が設定範囲以内となるか否かの比較を行う。
差分量が設定範囲以内となる比較結果の場合には、ステップS38に示すように計測結果比較部41は、フィルタリング処理がONの場合の対の計測評価用画像を対の計測用画像として選択(設定)する。
一方、差分量が設定範囲以内に収まらないで設定範囲から逸脱する比較結果の場合には、ステップS39に示すように計測結果比較部41は、フィルタリング処理がOFFNの場合の対の計測評価用画像を対の計測用画像として選択(設定)する。
【0049】
このように計測結果が設定範囲内に有るか否かに応じて2対の計測評価用画像から、計測部18が実際に計測に使用する対の計測用画像を選択(設定)して、選択された対の計測用画像を使用して計測を実行することになる。
このように本実施形態においては処理内容が異なる、つまりフィルタリング処理ONと,OFFにした2対の計測評価用画像を生成して、実際の使用環境において実際にそれぞれ計測を行い、計測結果に基づいて対の計測用画像を設定するようにしているので、使用環境が変化するような場合においても、その使用環境に応じて適切な対の計測用画像を設定でき、精度の劣化を防止した計測を行うことが可能になる。
また、ノイズの影響を受け易い温度環境や、処理内容が変わる温度付近や、過去の蓄積したデータには当てはまらないような使用環境に対しても、その使用環境に応じて適切な対の計測用画像を設定でき、精度の劣化を防止した計測を行うことが可能になる。
【0050】
図13はユーザが例えば検知温度Tが所定温度X3以上の場合に対して、画素欠陥補正処理有り/無しにして計測用画像を選択(決定)する様に第2計測指示を行った場合の処理手順を示す。
最初のステップS41において画像処理選択部19は、検知温度Tが画素欠陥補正処理有り/無しにする閾値の温度(この場合、所定温度X3)以上か否かを判定する。検知温度Tが所定温度X3未満であると、ステップS42に示すように画像処理選択部19は、記憶部20の基準データを参照して画素欠陥補正処理有りにする処理内容を選択する。なお、ユーザの選択的な指示により、ステップS42に相当する処理を(特に検知温度が所定温度X3とは異なる所定温度未満のような場合に)行わせるようにしても良い。
【0051】
一方、検知温度Tが所定温度X3以上であると、ステップS43に示すように画像処理選択部19は、画素欠陥補正処理有りの場合と、無しの場合との2種類の処理内容を(2対の計測評価用画像を生成するために)選択する。画像処理選択部19は、この選択に対応した処理内容を第1画像処理部16(の計測評価用画像生成部40を形成する)の画素欠陥補正処理回路32aに指示する。
ステップS44に示すように第1画像処理部16(の画素欠陥補正処理回路32a)は、指示に対応して2対の計測評価用画像を生成し、計測部18に出力する。
ステップS45に示すように計測部18は、2対の計測評価用画像を用いて同一の計測を実施し、2つの計測結果を取得し、2つの計測結果を計測結果比較部41に出力する。
【0052】
ステップS46に示すように計測結果比較部41は、2つの計測結果に対する比較処理を行う。計測結果比較部41は、2つの計測結果に対する比較処理を行うために、例えば2つの計測結果の差分量を算出する。そして、ステップS47に示すように計測結果比較部41は2つの計測結果の差分量が設定範囲以内となるか否かの比較を行う。
差分量が設定範囲以内となる比較結果の場合には、ステップS48に示すように計測結果比較部41は、画素欠陥補正処理有りの場合の対の計測評価用画像を、対の計測用画像として選択(設定)する。
一方、差分量が設定範囲以内に収まらないで設定範囲から逸脱する比較結果の場合には、ステップS49に示すように計測結果比較部41は、画素欠陥補正処理無しの場合の対の計測評価用画像を、対の計測用画像として選択(設定)する。
【0053】
このように計測結果が設定範囲内に有るか否かに応じて2対の計測評価用画像から、計測部18が実際に計測に使用する対の計測用画像を選択(設定)して、選択された対の計測用画像を使用して計測を実行することになる。
このように本実施形態においては処理内容が異なる、つまり画素欠陥補正処理有り、無しにした2対の計測評価用画像を生成して、実際の使用環境において実際にそれぞれ計測を行い、計測結果に基づいて対の計測用画像を設定するようにしているので、使用環境が変化するような場合においても、その使用環境に応じて適切な対の計測用画像を設定でき、精度の劣化を防止した計測を行うことが可能になる。
また、ノイズの影響を受け易い温度環境や、処理内容が変わる温度付近や、過去の蓄積したデータには当てはまらないような使用環境に対しても、その使用環境に応じて精度の劣化を防止した計測を行うことが可能になる。
【0054】
図14はユーザが例えば検知温度Tが所定温度X2以上の場合に対して、画素欠陥補正処理を隣接画素から補正した場合と、隣接画素及び近傍画素から補正した場合とにおいて計測用画像を選択(決定)する様に第2計測指示を行った場合の処理手順を示す。最初のステップS51において画像処理選択部19は、検知温度Tが隣接画素で補正する閾値の温度(この場合、所定温度X2)以上か否かを判定する。検知温度Tが所定温度X2未満であると、ステップS52に示すように画像処理選択部19は、記憶部20の基準データを参照して画素欠陥補正処理を隣接画素及び近傍画素を用いて補正を行う処理内容を選択する。
【0055】
一方、検知温度Tが所定温度X2以上であると、ステップS53に示すように画像処理選択部19は、画素欠陥補正処理を隣接画素及び近傍画素を用いた補正と、隣接画素のみを用いた補正との2種類の処理内容を(2対の計測評価用画像を生成するために)選択する。画像処理選択部19は、この選択に対応した処理内容を第1画像処理部16の画素欠陥補正処理回路32aに指示する。
ステップS54に示すように第1画像処理部16(の画素欠陥補正処理回路32a)は、指示に対応して2対の計測評価用画像を生成し、計測部18に出力する。
ステップS55に示すように計測部18は、2対の計測評価用画像を用いて同一の計測を実施し、2つの計測結果を取得し、2つの計測結果に対する差分量を計測結果比較部41に出力する。
【0056】
ステップS56に示すように計測結果比較部41は、2つの計測結果に対する比較処理を行う。計測結果比較部41は、2つの計測結果に対する比較処理を行うために、例えば2つの計測結果の差分量を算出する。そして、ステップS57に示すように計測結果比較部41は2つの計測結果の差分量が設定範囲以内となるか否かの比較を行う。
差分量が設定範囲以内となる比較結果の場合には、ステップS58に示すように計測結果比較部41は、隣接画素及び近傍画素を用いて補正した場合の対の計測評価用画像を対の計測用画像として選択(設定)する。
一方、差分量が設定範囲以内に収まらないで設定範囲から逸脱する比較結果の場合には、ステップS59に示すように計測結果比較部41は、隣接画素のみを用いて補正した場合の対の計測評価用画像を対の計測用画像として選択(設定)する。
【0057】
このように計測結果が設定範囲内に有るか否かに応じて2対の計測評価用画像から、計測部18が実際に計測に使用する対の計測用画像を選択(設定)して、選択された対の計測用画像を使用して計測を実行することになる。
従って、本実施形態によれば、処理内容が異なる2対の計測評価用画像を生成して、実際の使用環境において実際にそれぞれ計測を行い、計測結果に基づいて対の計測用画像を設定するようにしているので、使用環境が変化するような場合においても、その使用環境に応じて適切な対の計測用画像を設定でき、精度の劣化を低減又は防止した計測を行うことが可能になる。その他、本実施形態は、第1の実施形態と同様の効果も有する。
【0058】
なお、本実施形態においては、図12−図14により代表的な処理を説明したが、図12−図14に示した以外の処理を行うこともできる。例えば、図12の場合において、検知温度Tが所定温度X3の代わりに所定温度X4以上か否かに応じて、図12に類似した処理を行うようにしても良い。
この場合には、検知温度Tが所定温度X4未満の場合には、ステップS32に相当する処理として、画像処理選択部19は、フィルタリング処理の強度が小さいレベルでフィルタリング処理をONにする処理内容を選択する。
一方、検知温度Tが所定温度X4以上の場合には、ステップS33に相当する処理として、画像処理選択部19は、フィルタリング処理の強度が小さいレベルでフィルタリング処理をONと、フィルタリング処理をOFFにした2種類の処理内容を選択して、ステップS34以降の処理を行うようにしても良い。
【0059】
また、図12と、図13又は図14との組み合わせの処理を行うようにしても良い。なお、上述した説明においては、処理内容が異なる2対の計測評価用画像を生成する場合で説明したが、本発明は対の計測評価用画像を生成する場合に限定されるものでなく、3対以上の場合を含む複数対の計測評価用画像を生成し、複数の計測結果の値に応じて、実際にその使用環境で使用する対の計測用画像を設定するようにしても良い。3対以上の計測評価用画像を生成する場合においても、3つ以上の計測結果のずれ量に応じて、予め対の計測用画像として用いる条件を決めておくと良い。
なお、上述した各実施形態等を部分的に組み合わせる等して構成される実施形態も本発明に属する。
【符号の説明】
【0060】
1…内視鏡装置、2…挿入部、3…本体部、4…画像表示装置、5…先端部、6…LED、7a,7b…対物光学系、8…撮像素子、14…映像信号処理部、15…画像処理部、16…第1画像処理部、17…第2画像処理部、18…計測部、19…画像処理選択部、20、42…記憶部、21…温度センサ、23…温度検知部、24…計測指示部、31a,31b…フィルタリング処理回路、32a,32b…画素欠陥補正処理回路、40…計測評価用画像生成部、41…計測結果比較部、43…計測画像選択部
【先行技術文献】
【特許文献】
【0061】
【特許文献1】特開平10−248806号公報
【特許請求の範囲】
【請求項1】
挿入部の先端部に設けられ、被検体の光学像を視差を有する対の対物光学系を用いて撮像する撮像素子と、
前記撮像素子にて光電変換された撮像画像の信号を映像信号に変換する映像信号処理部と、
前記映像信号処理部で生成された映像信号の画像に対し画像処理を施して、前記対の対物光学系に基づく対の計測用画像を生成する画像処理部と、
前記画像処理部で生成された前記対の計測用画像を用いて、被検体に対する計測を行う計測部と、
前記画像処理部に対して前記画像処理の処理内容を指示する画像処理選択部と、
前記画像処理の処理内容を決める上で基準となる基準データを記憶する記憶部と、
を有し、
前記基準データは、前記計測部による計測を行う使用環境に応じて、前記画像処理としてノイズを低減するフィルタリング処理及び画素欠陥補正処理の少なくとも一方に対する複数の処理内容中の一つを規定するものであり、
前記画像処理選択部は、前記記憶部に記憶された基準データを参照し、前記使用環境に応じて前記画像処理部に対して、前記画像処理の複数の処理内容中の一つを選択指示し、
前記画像処理部は、前記画像処理選択部からの選択指示に基づき、前記フィルタリング処理及び前記画素欠陥補正処理の少なくとも一方に対する複数の処理内容中の一つに従った画像処理によって前記計測部が計測に使用する前記対の計測用画像を生成することを特徴とする内視鏡装置。
【請求項2】
前記画像処理部は、さらに、前記映像信号の画像に対して前記複数の処理内容における前記画像処理を施さない場合と、前記画像処理を施した場合との2対の計測評価用画像を生成する計測評価用画像生成部を有し、
前記計測部は、前記被検体に対しての同一の計測指示に対して、前記画像処理部で生成された前記2対の計測評価用画像を用いて2つの計測結果を算出し、
さらに、前記計測部による2つの計測結果を、予め設定した設定範囲内になるか否かを比較する計測結果比較部を有し、前記計測結果比較部による比較結果が前記設定範囲から逸脱している場合には、前記画像処理部で生成された前記2対の計測評価用画像の中で画像処理を施さない場合の画像を前記対の計測用画像とし、
一方、比較結果が前記設定範囲以内の場合、前記画像処理部で生成された画像処理を施した場合の対の計測評価用画像を前記対の計測用画像として選択すること特徴とする請求項1に記載の内視鏡装置。
【請求項3】
前記使用環境として前記計測部で計測を行う環境温度が所定温度未満の場合、前記映像信号の画像に対して前記画像処理部は、前記基準データを参照して前記フィルタリング処理を施さない、または、前記フィルタリング処理の強度を下げた対の計測用画像を生成し、
一方、前記環境温度が所定温度以上の場合、さらに、前記映像信号の画像に対して前記画像処理部は、前記フィルタリング処理を施した場合と、前記フィルタリング処理を施さない場合との2対の計測評価用画像を生成する計測評価用画像生成部を有し、
前記計測部は、前記被検体に対しての同一の計測指示に対して、前記画像処理部で生成された前記2対の計測評価用画像を用いて2つの計測結果を算出し、
さらに、前記計測部による2つの計測結果を、予め設定した設定範囲内になるか否かを比較する計測結果比較部を有し、前記計測結果比較部による比較結果が前記設定範囲から逸脱している場合には、前記2対の計測評価用画像のうち、フィルタリング処理を施さない場合の対の計測評価用画像を前記計測部が計測に使用する前記計測対象画像として選択することを特徴とする請求項1に記載の内視鏡装置。
【請求項4】
前記使用環境として前記計測部で計測を行う環境温度が所定温度未満の場合、前記映像信号の画像に対して前記画像処理部は、前記基準データを参照して前記画素欠陥補正処理を施して前記対の計測用画像を生成し、
一方、環境温度が所定温度以上の場合、さらに、前記映像信号の画像に対して前記画像処理部は、前記画素欠陥補正処理を施した場合と、施さない場合との2対の画素欠陥補正用計測評価用画像を生成する計測評価用画像生成部を有し、
前記計測部は、前記被検体に対して同一の計測を、前記画像処理部で作成された前記2対の画素欠陥補正用計測評価用画像を用いて2つの計測結果を算出し、
さらに、前記計測部による2つの計測結果を、予め設定した設定範囲内になるか否かを比較する計測結果比較部を有し、前記計測結果比較部による比較結果が前記設定範囲から逸脱している場合には、前記2対の画素欠陥補正用計測評価用画像のうち、前記画素欠陥補正処理を施さない場合の対の画素欠陥補正用計測評価画像を前記計測部が計測に使用する前記計測対象画像として選択することを特徴とする請求項1又は3に記載の内視鏡装置。
【請求項5】
前記使用環境として前記計測部で計測を行う環境温度が所定温度未満の場合、前記映像信号の画像に対して前記画像処理部は、前記基準データを参照して欠陥画素に隣接する隣接画素及び該隣接画素の外側に隣接する近傍画素から前記欠陥画素を補正する前記画素欠陥補正処理を施して前記対の計測用画像を生成し、
一方、環境温度が所定温度以上の場合、さらに、前記映像信号の画像に対して前記画像処理部は、前記欠陥画素に隣接する隣接画素及び近傍画素から前記画素欠陥補正処理を施す場合と、前記欠陥画素に隣接する隣接画素から前記画素欠陥補正処理を施す場合との2対の画素欠陥補正用計測評価用画像を生成する計測評価用画像生成部を有し、
前記計測部は、前記被検体に対して同一の計測を、前記画像処理部で作成された前記2対の画素欠陥補正用計測評価用画像を用いて2つの計測結果を算出し、
さらに、前記計測部による2つの計測結果を、予め設定した設定範囲内になるか否かを比較する計測結果比較部を有し、前記計測結果比較部による比較結果が前記設定範囲から逸脱している場合には、前記2対の画素欠陥補正用計測評価用画像のうち、前記欠陥画素の隣接画素から前記画素欠陥補正処理を施した場合の対の画素欠陥補正用計測評価用画像を前記計測部が計測に使用する前記計測対象画像として選択することを特徴とする請求項1又は3に記載の内視鏡装置。
【請求項1】
挿入部の先端部に設けられ、被検体の光学像を視差を有する対の対物光学系を用いて撮像する撮像素子と、
前記撮像素子にて光電変換された撮像画像の信号を映像信号に変換する映像信号処理部と、
前記映像信号処理部で生成された映像信号の画像に対し画像処理を施して、前記対の対物光学系に基づく対の計測用画像を生成する画像処理部と、
前記画像処理部で生成された前記対の計測用画像を用いて、被検体に対する計測を行う計測部と、
前記画像処理部に対して前記画像処理の処理内容を指示する画像処理選択部と、
前記画像処理の処理内容を決める上で基準となる基準データを記憶する記憶部と、
を有し、
前記基準データは、前記計測部による計測を行う使用環境に応じて、前記画像処理としてノイズを低減するフィルタリング処理及び画素欠陥補正処理の少なくとも一方に対する複数の処理内容中の一つを規定するものであり、
前記画像処理選択部は、前記記憶部に記憶された基準データを参照し、前記使用環境に応じて前記画像処理部に対して、前記画像処理の複数の処理内容中の一つを選択指示し、
前記画像処理部は、前記画像処理選択部からの選択指示に基づき、前記フィルタリング処理及び前記画素欠陥補正処理の少なくとも一方に対する複数の処理内容中の一つに従った画像処理によって前記計測部が計測に使用する前記対の計測用画像を生成することを特徴とする内視鏡装置。
【請求項2】
前記画像処理部は、さらに、前記映像信号の画像に対して前記複数の処理内容における前記画像処理を施さない場合と、前記画像処理を施した場合との2対の計測評価用画像を生成する計測評価用画像生成部を有し、
前記計測部は、前記被検体に対しての同一の計測指示に対して、前記画像処理部で生成された前記2対の計測評価用画像を用いて2つの計測結果を算出し、
さらに、前記計測部による2つの計測結果を、予め設定した設定範囲内になるか否かを比較する計測結果比較部を有し、前記計測結果比較部による比較結果が前記設定範囲から逸脱している場合には、前記画像処理部で生成された前記2対の計測評価用画像の中で画像処理を施さない場合の画像を前記対の計測用画像とし、
一方、比較結果が前記設定範囲以内の場合、前記画像処理部で生成された画像処理を施した場合の対の計測評価用画像を前記対の計測用画像として選択すること特徴とする請求項1に記載の内視鏡装置。
【請求項3】
前記使用環境として前記計測部で計測を行う環境温度が所定温度未満の場合、前記映像信号の画像に対して前記画像処理部は、前記基準データを参照して前記フィルタリング処理を施さない、または、前記フィルタリング処理の強度を下げた対の計測用画像を生成し、
一方、前記環境温度が所定温度以上の場合、さらに、前記映像信号の画像に対して前記画像処理部は、前記フィルタリング処理を施した場合と、前記フィルタリング処理を施さない場合との2対の計測評価用画像を生成する計測評価用画像生成部を有し、
前記計測部は、前記被検体に対しての同一の計測指示に対して、前記画像処理部で生成された前記2対の計測評価用画像を用いて2つの計測結果を算出し、
さらに、前記計測部による2つの計測結果を、予め設定した設定範囲内になるか否かを比較する計測結果比較部を有し、前記計測結果比較部による比較結果が前記設定範囲から逸脱している場合には、前記2対の計測評価用画像のうち、フィルタリング処理を施さない場合の対の計測評価用画像を前記計測部が計測に使用する前記計測対象画像として選択することを特徴とする請求項1に記載の内視鏡装置。
【請求項4】
前記使用環境として前記計測部で計測を行う環境温度が所定温度未満の場合、前記映像信号の画像に対して前記画像処理部は、前記基準データを参照して前記画素欠陥補正処理を施して前記対の計測用画像を生成し、
一方、環境温度が所定温度以上の場合、さらに、前記映像信号の画像に対して前記画像処理部は、前記画素欠陥補正処理を施した場合と、施さない場合との2対の画素欠陥補正用計測評価用画像を生成する計測評価用画像生成部を有し、
前記計測部は、前記被検体に対して同一の計測を、前記画像処理部で作成された前記2対の画素欠陥補正用計測評価用画像を用いて2つの計測結果を算出し、
さらに、前記計測部による2つの計測結果を、予め設定した設定範囲内になるか否かを比較する計測結果比較部を有し、前記計測結果比較部による比較結果が前記設定範囲から逸脱している場合には、前記2対の画素欠陥補正用計測評価用画像のうち、前記画素欠陥補正処理を施さない場合の対の画素欠陥補正用計測評価画像を前記計測部が計測に使用する前記計測対象画像として選択することを特徴とする請求項1又は3に記載の内視鏡装置。
【請求項5】
前記使用環境として前記計測部で計測を行う環境温度が所定温度未満の場合、前記映像信号の画像に対して前記画像処理部は、前記基準データを参照して欠陥画素に隣接する隣接画素及び該隣接画素の外側に隣接する近傍画素から前記欠陥画素を補正する前記画素欠陥補正処理を施して前記対の計測用画像を生成し、
一方、環境温度が所定温度以上の場合、さらに、前記映像信号の画像に対して前記画像処理部は、前記欠陥画素に隣接する隣接画素及び近傍画素から前記画素欠陥補正処理を施す場合と、前記欠陥画素に隣接する隣接画素から前記画素欠陥補正処理を施す場合との2対の画素欠陥補正用計測評価用画像を生成する計測評価用画像生成部を有し、
前記計測部は、前記被検体に対して同一の計測を、前記画像処理部で作成された前記2対の画素欠陥補正用計測評価用画像を用いて2つの計測結果を算出し、
さらに、前記計測部による2つの計測結果を、予め設定した設定範囲内になるか否かを比較する計測結果比較部を有し、前記計測結果比較部による比較結果が前記設定範囲から逸脱している場合には、前記2対の画素欠陥補正用計測評価用画像のうち、前記欠陥画素の隣接画素から前記画素欠陥補正処理を施した場合の対の画素欠陥補正用計測評価用画像を前記計測部が計測に使用する前記計測対象画像として選択することを特徴とする請求項1又は3に記載の内視鏡装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−134875(P2012−134875A)
【公開日】平成24年7月12日(2012.7.12)
【国際特許分類】
【出願番号】特願2010−286563(P2010−286563)
【出願日】平成22年12月22日(2010.12.22)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成24年7月12日(2012.7.12)
【国際特許分類】
【出願日】平成22年12月22日(2010.12.22)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]