説明

内視鏡装置

【課題】光量に対するCCDセンサの出力特性によらず、高精度に、撮像素子が撮影した画像の感度ムラ補正を行なうことができる内視鏡装置を提供する。
【解決手段】感度ムラ補正の補正パラメータとして、複数の照度領域の、それぞれに対応する補正パラメータを有し、画像の照度に応じて、対応する補正パラメータを用いて感度ムラ補正を行なうことにより、前記課題を解決する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、(固体)撮像素子を用いて画像を撮影する内視鏡装置の技術分野に属し、詳しくは、撮像素子の出力特性によらず、適正な感度ムラ補正を行なうことができる内視鏡装置に関する。
【背景技術】
【0002】
生体に病変部が有るか、どの程度、病変部が進行しているかの診断などに、内視鏡(電子内視鏡)が使用されている。
内視鏡では、生体の一部に光を照射して、反射してくる光をCCDセンサ等の撮像素子で撮影して、撮影した画像をディスプレイに表示することにより、生体表面の色、明るさ、構造等の変化を観察し、その観察によって医師が病変部の状態を判断する。
【0003】
周知のように、画像を撮影する撮像素子は、画像を撮影する画素(光量の測定点)を二次元的に配列してなるものである。
ここで、撮像素子の各画素は、完全に均一な特性を有するものではなく、例えば、画素毎に、感度のムラ(感度バラツキ)等を有する。また、各画素の感度ムラは、撮像素子の特性のみならず、レンズの特性(周辺の光量低下など)、撮像素子の受光面の状態、レンズ面の状態等によっても生じる。
【0004】
このような撮像素子の特性のムラ(個体ムラ(バラツキ))を有する状態で画像を撮影しても、適正な画像を得ることはできない。特に、医療用の用途に用いられる内視鏡では、不適正な画像での診断は、診断ミス等にも繋がる重大な問題となる。
そのため、特許文献1や特許文献2に示されるように、内視鏡では、撮像素子で撮影した画像に、感度ムラ補正を行って、個々の画素の個体ムラ等に起因する画質劣化の無い、適正な画像を出力できるようにしている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−211231号公報
【特許文献2】特開昭63−117727号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
内視鏡において、感度ムラ補正は、通常、予め、各画素毎に感度ムラ補正用の補正パラメータを算出して記憶しておき、撮影した画像に対して、各画素の画像データを、対応する補正パラメータで補正(処理)することによって行なう。
【0007】
ここで、前述のように、撮像素子の特性ムラは、撮像素子の特性のみならず、レンズや撮像素子の受光面等の状態にも起因する。従って、感度ムラ補正は、レンズを実装した状態で行なう必要がある。
そのため、特許文献1や特許文献2に記載されるように、感度ムラ補正用の補正パラメータは、一例として、内視鏡によって白色被写体等の全面的に均一な濃度を有する被写体を撮影して、この画像を解析し、全画面で均一な画像が出力できるような補正パラメータを、各画素毎に生成する。
【0008】
ここで、撮像素子は、全ての光量に対して直線状(リニア)の出力特性を有するとは限らない。例えば、受光量が低光量(低照度)の領域よりも、高光量の領域の方が、相対的に出力値が高い場合や、逆に、低い場合が有る。
【0009】
撮像素子の出力特性が直線状である場合には、前述のように感度ムラ補正を行なうことで、撮像素子の特性ムラを適正に補正して、好適な画像を出力することができる。ところが、撮像素子の出力特性が、非直線状である場合には、精度が良い感度ムラ補正を行なうことができず、逆に、補正によって、撮像素子の感度ムラに起因する画像のムラが大きくなってしまう場合も有る。
【0010】
本発明の目的は、前記従来技術の問題点を解決することにあり、撮像素子によって画像を撮影して診断を行なう内視鏡装置において、撮像素子の出力特性によらず、全ての照度領域(全ての濃度領域)域で、適正な感度ムラ補正を行なうことができ、撮像素子の感度ムラが好適に補正された、適正な診断を可能にする画像を、安定て出力できる内視鏡装置を提供することにある。
【課題を解決するための手段】
【0011】
前記目的を達成するために、本発明の内視鏡装置は、撮像素子によって画像を撮影する内視鏡装置であって、感度ムラ補正パラメータを記憶する記憶手段と、前記記憶手段に記憶された感度ムラ補正パラメータを用いて前記撮像素子の感度ムラ補正を行なう感度ムラ補正手段とを有し、かつ、前記記憶手段は、異なる複数の照度領域のそれぞれに応じて、前記感度ムラ補正パラメータを記憶するものであり、また、前記感度ムラ補正手段は、補正する画像の照度に応じた前記感度ムラ補正パラメータを用いて、前記感度ムラ補正を行なうことを特徴とする内視鏡装置を提供する。
【0012】
このような本発明の内視鏡装置において、前記感度ムラ補正パラメータは、前記撮像素子が撮影した画像を用いて補正用画像を作成し、この補正用画像のムラを補正するように生成されたものであり、前記補正用画像として、各照度領域に応じた画像を作成して、各画像を用いて、前記各照度領域に応じた画像のそれぞれに応じた感度ムラ補正パラメータを生成するのが好ましい。
この際において、前記補正用画像を作成するための撮影おいて、観察光の強度を変更することにより、前記各照度領域に応じた画像を作成するのが好ましく、もしくは、前記補正用画像を作成するための撮影において、撮像素子の露光時間を変更することにより、前記各照度領域に応じた画像を作成するのが好ましく、もしくは、前記補正用画像を作成するために、異なる濃度の画像を撮影することにより、前記各照度領域に応じた画像を作成するのが好ましい。
【0013】
また、特殊光観察の機能を有してもよい。
さらに、前記補正用画像を作成するために撮像素子が撮影した画像を、所定数ずつ間引いて選択し、選択した所定数の画像を用いて、前記補正用画像を作成するのが好ましい。この際において、前記選択した画像の所定領域の平均画像データが規定範囲を外れる場合には、この画像は前記補正用画像の作成に使用しないのが好ましく、さらに、選択した画像が、所定の判定画像に対して、所定の閾値以上変動していない場合には、この画像は補正用画像の作成に使用しないのが好ましい。
【発明の効果】
【0014】
上記構成を有する本発明の内視鏡装置によれば、感度ムラ補正(感度バラツキ補正)を行なうための感度ムラ補正パラメータを、高照度領域、中照度領域、および、低照度領域の、それぞれに対応して有し、撮像素子の照度(出力強度(画像濃度))に応じて、対応する照度領域の感度ムラ補正パラメータを用いて、感度ムラ補正を行なう。
そのため、本発明によれば、CCDセンサ等の撮像素子の出力特性が直線状ではない場合であっても、各照度領域に対応じて、精度よく感度ムラ補正を行なうことができ、適正な診断を可能にする画像を、安定して出力することができる。
【図面の簡単な説明】
【0015】
【図1】本発明の内視鏡装置の一例を概念的に示す図である。
【図2】(A)は、内視鏡のスコープ部の構成を概念的に示すブロック図、(B)は、同ビデオコネクタの構成を概念的に示すブロック図である。
【図3】図1に示す内視鏡装置の構成を概念的に示すブロック図である。
【図4】補正用画像の作成方法を説明するためのフローチャートである。
【図5】(A)は、従来の感度ムラ補正を、(B)は、本発明における感度ムラ補正を、それぞれ説明するための概念図である。
【発明を実施するための形態】
【0016】
以下、本発明の内視鏡装置について、添付の図面に示される好適実施例を基に、詳細に説明する。
【0017】
図1に、本発明の内視鏡装置の一例を概念的に示す。
図1に示す内視鏡装置10は、一例として、内視鏡12と、内視鏡12が撮影した画像の処理等を行なうプロセッサ装置14と、内視鏡での撮影(観察)を行なうための照明光を供給する光源装置16と、内視鏡が撮影した画像を表示する表示装置18と、各種の指示等を入力するための入力装置20とを有する。
【0018】
図1に示すように、内視鏡12は、通常の内視鏡と同様、挿入部26と、操作部28と、ユニバーサルコード30と、コネクタ32と、ビデオコネクタ36とを有するものである。また、通常の内視鏡と同様、挿入部26は、基端側の長尺な軟性部38と、CCDセンサ48等が配置される先端のスコープ部(内視鏡先端部)42と、軟性部38とスコープ部42との間の湾曲部(アングル部)40とを有し、さらに、操作部28には、湾曲部40を湾曲させる、操作ノブ28a等が設けられる。
【0019】
図2(A)に、スコープ部42の構成をブロック図で概念的に示す。
図2(A)に示すように、スコープ部42には、撮像レンズ46、CCDセンサ((固体)撮像素子)48、照明用レンズ50、および、光ガイド52が配置される。
なお、図示は省略するが、スコープ部42には、鉗子等の各種の処置具を挿通するための鉗子チャンネルおよび鉗子口、吸引、送気、送水等を行うための送気/送水チャンネルおよび送気/送水口等も設けられる。鉗子チャンネルは、湾曲部40および軟性部38を通って操作部28に設けられる鉗子挿入口に連通し、送気/送水チャンネルは、湾曲部40、軟性部38、操作部28、およびユニバーサルコード30を通って、コネクタ32の吸引手段、送気手段、送水手段との接続部に連通する。
【0020】
光ガイド52は、湾曲部40、軟性部38、操作部28、およびユニバーサルコード30を通って、光源装置16に接続されるコネクタ32まで挿通されている。
後述する光源装置16が照射した照明光は、コネクタ32から光ガイド52に入射して、光ガイド52によって伝搬されて、スコープ部42において、光ガイド52の先端部から照明用レンズ50に入射して、照明用レンズ50によって観察部位に照射される。
【0021】
また、照明光が照射された観察部位の画像は、撮像レンズ46によってCCDセンサ48の受光面に結像される。
CCDセンサ48の出力信号は、信号線によって、スコープ部42から湾曲部40、軟性部38、操作部28、ユニバーサルコード30、およびコネクタ32を通ってビデオコネクタ36(後述する信号処理部54)に送られる。
【0022】
内視鏡12は、通常の観察時(診断時)には、ビデオコネクタ36をプロセッサ装置14の接続部14aに、コネクタ32を光源装置16の接続部16aに、それぞれ接続して、使用される。
なお、コネクタ32には、通常の内視鏡と同様、さらに、観察部位の吸引や送気を行なう吸引手段や送気手段、観察部位に水を噴射するための吸水手段等が接続される。
【0023】
図2(B)に、ビデオコネクタ36の構成をブロック図で概念的に示す。
図示例の内視鏡装置10においては、好ましい態様として、内視鏡12のビデオコネクタ36(ビデオコネクタ36が有する電子回路基板)に、信号処理部54、画像補正部56、およびメモリ58が配置されており、ビデオコネクタ36において、CCDセンサ48の出力信号に対して、所定の処理を行う。
【0024】
すなわち、CCDのセンサ48の出力信号は、信号処理部54に供給され、信号処理部54において、増幅、A/D変換、log変換等の所定の信号処理を行われる。
信号処理部54で処理された画像は、次いで、画像補正部56において、所定の画像補正が行なわれ、接続部14aからプロセッサ装置14に供給される。画像補正部56には、感度ムラ補正を行なう感度ムラ補正部56aが設けられる。
【0025】
内視鏡12において、ビデオコネクタ36の画像補正部56で施す画像補正には、特に限定はなく、各種の画像補正(画像処理)が例示される。
一例として、感度ムラ補正部56aで行なう感度ムラ補正(感度バラツキ補正(ゲインムラ補正))以外に、オフセット補正、欠陥画素補正、ホワイトバランス調整、色相彩度補正、および、ガンマ補正(階調補正)等が例示される。
さらに、実施する画像補正の種類によっては、必要に応じて、メモリ54に、特殊光観察と白色光観察とで、それぞれに対応する補正パラメータを記憶しておき、画像補正部52が、観察光に応じた補正パラメータを用いて、画像補正を行なうようにしてもよい。
【0026】
ここで、本発明の内視鏡装置にかかる内視鏡12では、感度ムラ補正部56aで行なう感度ムラ補正は、撮影した画像の照度(CCDセンサの画素が受けた照度(光量)、すなわち出力信号強度)に応じて、高照度領域、中照度領域、および、低照度領域で、それぞれの照度に対応する感度ムラ補正パラメータによって行なう。
この点に関しては、後に詳述する。
【0027】
メモリ58は、画像補正部56における画像の補正を行なうための補正パラメータを記憶するものである。
ここで、図2(B)に概念的に示すように、メモリ58は、感度ムラ補正パラメータを記憶する領域60が設けられている。この領域60において、領域60Hには高照度領域に対応する感度ムラ補正パラメータHが、領域60Mには中照度領域に対応する感度ムラ補正パラメータMが、領域60Lには低照度領域に対応する感度ムラ補正パラメータLが、それぞれ、記憶される。
画像補正部56における各補正は、いずれも、予め生成してメモリ58に記憶しておいた補正パラメータ等を用いて、画像データを処理する、公知の方法で行えばよい。感度ムラ補正も、感度ムラ補正パラメータを用いた感度ムラ補正の処理自体は、基本的に、公知の感度ムラ補正と同様に行なえばよい。
【0028】
なお、メモリ58に記憶される補正パラメータは、いずれも、起動時、1日1回、1週間に1回等、所定の間隔で更新される(内視鏡12の較正が行なわれる)。内視鏡12の較正も、同様に、公知の方法で行なえばよい。
しかしながら、本発明は、これに限定はされない。例えば、内視鏡12およびプロセッサ装置14が補正パラメータの生成手段を有さず、後述するような、画像補正部52における補正パラメータを生成する、専用の装置を用いる構成であれば、工場出荷時などに、この専用の装置によって補正パラメータを生成して、内視鏡12のビデオコネクタ36のメモリ54等に供給/記憶するようにしてもよい。
また、補正パラメータの更新は、必ずしも、上記のように定期的に行なう必要はなく、任意のタイミングで、補正パラメータの更新を行なえばよい。
【0029】
なお、図示例の装置は、内視鏡12のビデオコネクタ36に、信号処理部54、画像補正部56、および、メモリ58が配置されているが、本発明は、これに限定はされない。
例えば、内視鏡12のビデオコネクタ36以外の部位、一例として、可能であれば、信号処理部54をスコープ部42に配置して、画像補正部56およびメモリ58をビデオコネクタ36に配置にもよく、もしくは、スコープ部42に、信号処理部54、画像補正部56およびメモリ58が配置してもよい。
また、信号処理部54、画像補正部56、および、メモリ58は、ビデオコネクタ38ではなく、コネクタ32が有してもよい。あるいは、信号処理部54、画像補正部56、および、メモリ58を、操作部28が有してもよい。
もしくは、信号処理部54をコネクタ32に配置し、画像補正部56およびメモリ58をビデオコネクタ36に配置する構成、信号処理部54を操作部28に配置し、画像補正部56およびメモリ58をコネクタ32に配置する構成など、操作部28、コネクタ32およびビデオコネクタ38に、各部位を分割して配置してもよい。
【0030】
あるいは、信号処理部54、画像補正部56、および、メモリ58が、全て、プロセッサ装置14に配置される構成でもよい。あるいは、信号処理部54のみ、ビデオコネクタ36(ビデオコネクタ36やコネクタ32などの内視鏡12内部)に配置され、画像補正部56およびメモリ58が、プロセッサ装置14に配置される構成でもよい。
また、信号処理部54の一部の処理機能が、ビデオコネクタ36(同前)に配置され、信号処理部54の残りの処理機能、ならびに、画像補正部56およびメモリ58が、プロセッサ装置14に配置される構成でもよい。さらに、信号処理部54と、画像補正部56の一部の補正機能とがビデオコネクタ36(同前)に配置され、画像補正部56の残りの補正機能が、プロセッサ装置14に配置される構成でもよい。
【0031】
図3に、内視鏡装置10の構成をブロック図で概念的に示す。
光源装置16は、内視鏡12による観察を行なうための照明光を照射する、公知の照明装置である。図3に示すように、図示例の光源装置16は、通常観察を行なうための白色光発生部62に加えて、狭帯域観察を行なうための狭帯域光発生部64を有する。
なお、本発明において、光源装置16は、この構成に限定はされず、白色光発生部62のみを有するものであってもよく、狭帯域光発生部64に変えて、あるいは狭帯域光発生部64に加えて、赤外光を発生する赤外光発生部など、狭帯域光観察以外の特殊光観察を行なうための観察光の発生部を有してもよい。
【0032】
白色光発生部62が発生した白色光は光ガイド62aによって、他方、狭帯域光発生部64が発生した狭帯域光は光ガイド64bによって、共に、接続部16aに伝搬される。
両観察光は、共に、接続部16aに内視鏡12のコネクタ32が接続されることによって、接続部16aから、内視鏡12の光ガイド52に伝搬され、さらに光ガイド52によってスコープ部42まで伝搬されて、観察光レンズ50から観察部位に照射される。
【0033】
プロセッサ装置14は、内視鏡12が撮影した画像に所定の処理を施して、表示装置18に表示させるものであり、画像処理部68と、条件設定部70と、制御部74とを有して構成される。
内視鏡12が撮影した画像(画像データ)は、ビデオコネクタ36からプロセッサ装置14に供給され、プロセッサ装置14(画像処理部68)において、各種の画像処理を施された後、表示装置18に表示される。
なお、プロセッサ装置14および光源装置16は、図示した部位以外にも、記憶装置や電源装置など、公知の内視鏡装置のプロセッサ装置および光源装置が有する各種の部位を有してもよいのは、もちろんである。
【0034】
制御部74は、プロセッサ装置14の制御、および、内視鏡装置10の全体の制御を行なう部位である。
【0035】
画像処理部68は、内視鏡12が撮影した画像に、入力装置20によって入力された指示に応じた処理等、各種の画像処理を行なって、表示装置18による表示用の画像(画像データ)とするものである。
なお、画像処理部68で行なう画像処理には、特に限定はなく、ノイズ除去、輪郭強調(シャープネス処理)等の公知の画像処理が、各種、利用可能である。また、これらの画像処理は、いずれも、内視鏡装置で行なわれている公知の方法で行なえばよい。
【0036】
条件設定部70は、ビデオコネクタ36の画像補正部56で行なう画像補正に用いる補正パラメータ(画像補正条件)の生成や欠陥画素の検出、画像処理部68における画像処理条件等を設定するものである。
なお、本発明において、感度ムラ補正以外の、画像処理部68における画像処理条件の設定や、画像補正部56における補正パラメータの生成、欠陥画素の検出等は、実施する処理に応じて、公知の方法で行なえばよい。
なお、図示例のように、画像補正部56がビデオコネクタ36(内視鏡12)、に配置される場合には、画像補正部56における補正パラメータの生成手段も、ビデオコネクタ36(ビデオコネクタ36やコネクタ32等の内視鏡12内部)に設けてもよい。あるいは、内視鏡12もプロセッサ装置14も、画像補正部56における補正パラメータの生成手段を有さず、画像補正部56における補正パラメータの生成を行なう、パーソナルコンピュータ等で構成される専用の装置を有してもよい。
【0037】
前述のように、条件設定部70には、感度ムラ補正パラメータ生成部72を有する。
感度ムラ補正パラメータ生成部72は、ビデオコネクタ36の画像補正部56の感度ムラ補正部56aで行なう感度ムラ補正の補正パラメータを生成するものである。
ここで、本発明の内視鏡装置10において、感度ムラ補正は、CCDセンサ48((固体)撮像素子)の各画素毎に生成された1つの感度ムラ補正パラメータで行なうのではなく、各画素毎に、画像の照度(CCDセンサが受けた光量(出力強度/画像濃度))に応じて、高照度領域、中照度領域および低照度領域のそれぞれに対応して生成された感度ムラ補正パラメータを用いて、感度ムラ補正を行なう。
【0038】
以下、条件設定部70および感度ムラ補正パラメータ設定部72の作用を説明することにより、本発明の内視鏡装置10について、より詳細に説明する。
【0039】
感度ムラ補正パラメータを生成する際(内視鏡の較正を行なう際)には、まず、感度ムラ補正パラメータ(あるいはさらに、それ以外の補正の補正パラメータ)を生成するための補正用画像を作成する。
図4に、補正用画像の作成方法の一例のフローチャートを示す。
【0040】
入力装置20等によって、感度ムラ補正の補正パラメータの生成指示(内視鏡12の較正を行なう指示)が出されたら、制御手段74が、表示装置18に、補正用画像を作成するための撮影を行なう旨の指示を表示する。
補正用画像は、一例として、内視鏡12によって、白色の被写体等の一様濃度の被写体等を撮影することで作成される。あるいは、専用の一様濃度の被写体を用いずに、内視鏡12による観察中に撮影した画像(通常画像)を用いて、補正用画像を作成してもよい。
以下に示す補正用画像の作成方法は、特に、通常画像を用いて補正用画像を作成する際に、特に好適な方法である。従って、一様濃度の被写体等を撮影して補正用画像を作成する場合には、単純に、複数枚の撮影画像の平均画像を、補正用画像とする方法も、好適に利用可能である。
補正用画像の作成のために撮影された画像は、条件設定部70に供給され、後述する処理が行なわれる。なお、この際には、ビデオコネクタ36の信号処理部54で処理された画像(画像データ)は、画像補正部56では何の処理もされることなく、信号処理手段50でのみ処理された状態の画像が、プロセッサ装置14の条件設定部70に供給される。
【0041】
なお、感度ムラ補正の補正パラメータを生成するための撮影に先立ち、あるいは、後で、オフセット補正(暗時補正)用の補正パラメータを生成するために、スコープ部42を完全に遮光した状態で撮影を行い、この画像を条件設定部70に供給して、オフセット補正パラメータ(offset)を生成してもよい。オフセット補正パラメータの生成は、公知の方法によれば良いのは、前述のとおりである。
生成したオフセット補正パラメータは、ビデオコネクタ36のメモリ58に供給され、所定の領域に記憶される。
【0042】
ここで、補正用画像は、1画像(1フレーム)から作成してもよいが、適宜、設定された所定枚数(所定フレーム数)の画像から作成するのが好ましい。
特に、補正用画像に被写体の構造が取り込まれるのを防止して、内視鏡12が有する感度ムラ(バラツキ)を適正に反映した画像を得るために、連続する画像から所定数を間引いて画像を選択し、選択した所定枚数の画像から、補正画像を作成するのが好ましい。また、被写体の構造の影響を、より好適に排除するために、表示装置18に、被写体の異なる部位を撮影する旨の表示をしてもよい。
例えば、2画像を間引くとすれば、1枚目および2枚目の画像を間引いて3枚目を選択し、4枚目および5枚目を間引いて6枚目を選択し、以下、同様に、9枚目、12枚目、15枚目……と、2画像を間引いた後の画像を選択する。なお、間引きの数は、2に限定はされず、適宜、設定すればよく、また、間引き0(全画像選択)でもよいが、少なくとも1枚は間引くのが好ましい。
【0043】
次いで、条件設定部70は、選択した画像の輝度レベル(光量レベル)を検出して、所定の輝度で撮影が行なわれているか否か(NG/OK)を確認する。なお、この輝度の確認は、後述する、高照度、中照度、および、低照度の各補正用画像で異なる。
輝度レベルは、一例として、画像を3×3で9分割して、中央領域の平均輝度(平均信号強度/平均濃度)を算出して、この平均輝度が所定の範囲に入っている場合はOK、所定範囲外の場合にはNGとし、NGの場合には、この画像は、補正用画像の作成には用いない。
【0044】
なお、選択した画像がNGであった場合には、次の画像を選択してもよく、あるいは、変更を行なわずに間引き/選択を繰り返してもよい。
例えば、上記2枚間引きの例で、選択した6枚目の画像がNGであって場合には、7枚目を選択して、それ以降、同様に、2枚ずつの間引きを行なって選択(すなわち、10枚目、13枚目……を選択)するようにしてもよく、もしくは、選択する画像を変更することなく、先と同様に9枚目、12枚目…を選択してもよい。
この点に関しては、次の画像移動量の検出でも、同様である。
【0045】
選択した画像の輝度レベルが適正である場合には、次いで、画像移動量を検出する。
画像移動量とは、すなわち、画像の変化量である。図示例においては、ある程度、異なる画像(変化の有る画像)を選択して、補正用画像を作成することにより、先の間引きと同様に、補正用画像に、被写体の構造が取り込まれるのを防止して、感度ムラ等を適正に反映した補正用画像を作成している。
【0046】
画像移動量は、例えば、選択した画像と判定画像との差の絶対値を取り、これが所定の閾値Tを超えている場合にはOK、閾値T以下である場合にはNGとする。すなわち、
|(選択画像)−(判定画像)|>T
ならばOK、
|(選択画像)−(判定画像)|<T
ならばNGとし、NGの場合には、この画像は、補正用画像の作成には用いない。
なお、判定画像は、一例として、選択画像の1つ前(1フレーム前)の画像等が例示される。また、画像の比較は、平均輝度、全画素値の平均等で行なえばよい。
【0047】
画像移動量が適正である場合には、この画像を、補正用画像を作成するための画像として取り込み、以下、取り込んだ画像の数が所定枚数となるまで、上記操作を繰り返す。
所定枚数の画像を取り込んだら、条件設定部70は、次いで、取り込んだ画像の加算平均画像を作成し、これを補正用画像とする。なお、補正用画像を作成するための画像の取り込み枚数には、特に限定は無いが、100〜10000程度が好ましい。なお、以上の例では、輝度レベルと画像移動量の両方を判定して、画像を取り込んでいるが、本発明は、これに限定はされず、何れか一方のみの判定を行なうものでもよく、あるいは、両者共に判定を行なわなくてもよい。
【0048】
ここで、本発明の内視鏡装置10においては、このような補正用画像を、高照度の補正用画像、中照度の補正用画像、および、低照度の補正用画像の3種、作成する。
高照度の補正用画像とは、CCDセンサ48に高い照度の光(高光量の光)が入射するようにして作成した補正用画像である。すなわち、この際には、CCDセンサ48の各画素からの出力信号は大きく(強く)なり、画像濃度としては低濃度となる。
中照度(中間照度)の補正用画像とは、CCDセンサ48に中間程度の照度の光(中光量の光)が入射するようにして作成した補正用画像である。すなわち、この際には、CCDセンサ48の各画素からの出力信号は、ダイナミックレンジの中央領域となり、画像濃度としては中程度の濃度となる。
低照度の補正用画像とは、CCDセンサ48に低照度の光(低光量の光)が入射するようにして作成した補正用画像である。すなわち、この際には、CCDセンサ48の各画素からの出力信号は小さくなり、画像濃度として高濃度となる。
【0049】
高照度、中照度、および、低照度の補正用画像の作成方法には、特に限定はない。
一例として、CCDセンサ48(撮像素子)での露光時間(電子シャッタスピード)を調整することにより、高照度、中照度、および、低照度の補正用画像を作成する方法が例示される。
別の方法として、光源装置16から照射する観察光の強度を調整することにより、高照度、中照度、および、低照度の補正用画像を作成する方法が例示される。
さらに別の方法として、補正用画像を作成するために内視鏡12によって画像を撮影する被写体として、異なる濃度の3種の一様濃度画像(濃度の異なる3つの被写体でも可)を有する被写体を用いることにより、高照度、中照度、および、低照度の補正用画像を作成する方法が例示される。
【0050】
条件設定部70が高照度、中照度、および、低照度の補正用画像を作成したら、この補正用画像は、順次、感度ムラ補正パラメータ生成部72に供給される。
感度ムラ補正パラメータ生成部72は、高照度の補正用画像を用いて、CCDセンサ48の各画素に対応して、高照度領域の画像の感度ムラ補正を行なうための感度ムラ補正パラメータHを生成する。高光量領域の画像とは、前述のように、CCDセンサ48の画素が受けた光量が高い領域であり、すなわち、画素の出力強度が高い領域(低濃度領域)である。
また、中照度の補正用画像を用いて、CCDセンサ48の各画素に対応して、中照度領域の画像の感度ムラ補正を行なうための感度ムラ補正パラメータMを生成する。中光量領域の画像とは、前述のように、CCDセンサ48の画素が受けた光量が中程度の領域であり、すなわち、画素の出力強度が中程度の領域(中濃度領域)である。
さらに、低照度の補正用画像を用いて、CCDセンサ48の各画素に対応して、低照度領域の画像の感度ムラ補正を行なうための感度ムラ補正パラメータLを生成する。低光量領域の画像とは、前述のように、CCDセンサ48の画素が受けた光量が低い領域であり、すなわち、画素の出力強度が低い領域(高濃度領域)である。
【0051】
感度ムラ補正パラメータ生成部72が生成した感度ムラ補正パラメータH、感度ムラ補正パラメータM、および、感度ムラ補正パラメータLは、内視鏡12のビデオコネクタ36のメモリ58に供給され、それぞれ、所定の領域に記憶される。
観察時(診断時)には、ビデオコネクタ36の画像補正部56は、撮影された画像の照度に応じて、メモリ58から、対応する照度領域の感度ムラ補正パラメータを読み出して感度ムラ補正を行なう。
【0052】
本発明の内視鏡装置10は、このような構成を有することにより、CCDセンサ48の出力強度が、光量に対して直線状ではない場合でも、全ての光量領域に対応して、適正な感度ムラ補正を行なうことを可能にしている。
【0053】
従来の感度ムラ補正は、図5(A)に概念的に示すように、CCDセンサなどの撮像素子の個々の画素(画素a〜画素c)に対して、1つの感度ムラ補正パラメータを用いて、補正を行なうことにより、全ての画素で感度ムラ(感度バラツキ)の無い画像を出力しようとしている。
このような感度ムラ補正方法では、CCDセンサ48の出力強度が、光量に対して直線状(リニア)である場合には、問題なく、適正な感度ムラ補正を行なうことができる。しかしながら、CCDセンサ48の出力強度が、光量に対して非直線状である場合には、画像の照度によっては、適正な補正が出来ず、逆に、補正によって画像のムラ(バラツキ)が大きくなってしまう場合が有る。
【0054】
これに対して、本発明の内視鏡装置10では、図5(B)に概念的に示すように、高照度領域(領域H)、中照度領域(領域M)、および、低照度領域(領域L)の、それぞれに対応して、感度ムラ補正パラメータを有し、CCDセンサ48が受けた光量(照度)に応じて、対応する照度領域の感度ムラ補正パラメータを用いて、感度ムラ補正を行なう。
そのため、本発明によれば、CCDセンサ48((固体)撮像素子)の出力特性が直線状ではない場合であっても、各照度領域に対応じて、精度よく感度ムラ補正を行なうことができ、適正な診断を可能にする画像を、安定て出力することができる。また、CCDセンサ48の直線性が悪い場合でも、ダイナミックレンジを適正に改善し、良好なS/N比でCCDセンサ48を使用することができる。
【0055】
本発明において、高照度領域、中照度領域、および、低照度領域には、特に限定はなく、CCDセンサ48((固体)撮像素子)の出力特性などに応じて、適宜、設定すればよい。
一例として、高照度領域は、CCDセンサ48の飽和出力レベルの信号強度80%超の領域が、中照度領域は、同80%以下20%超の領域が、低照度領域は、同20%以下の領域が、それぞれ、例示される。
前述の高照度、中照度、および低照度の補正用画像は、補正用画像を作成する際にCCDセンサ48に入射する光が、各照度領域の中間程度(好ましくは中央の飽和出力レベルの±5%の範囲)の照度(光量)となるように、前述の露光時間、観察光強度、画像濃度などを調整/設定して、作成すればよい。
【0056】
なお、本発明においては、照度領域を高照度領域、中照度領域、および、低照度領域の3つに分けるのに限定はされない。
例えば、低照度領域と高照度領域のように、照度領域を2つに分けてもよく、あるいは、4つ以上に照度領域を分けて、それぞれで、感度ムラ補正パラメータを有してもよい。
【0057】
また、補正用画像を用いた感度ムラ補正パラメータの生成方法にも、特に限定はなく、内視鏡装置で利用可能な、公知の感度ムラ補正パラメータの生成方法が、各種、利用可能である。
一例として、高照度、中照度および低照度の各補正用画像において、全ての画素(好ましくは、欠陥画素を除く全画素)の平均値を算出する。次いで、全ての画素に対して、補正用画像の画素値に乗算することによって、各画素の画素値が前記平均値となる感度ムラ補正パラメータを算出する方法が、例示される。あるいは、平均値ではなく、全画素中の最高値や、最低値に合わせるように、感度ムラ補正パラメータを算出してもよい。
【0058】
なお、本発明の内視鏡装置10においては、補正用画像を作成したら、感度ムラ補正パラメータ生成部72での、感度ムラ補正用のパラメータの生成に先立ち、欠陥画素の検出を行なってもよい。
欠陥画素の検出方法は、公知の方法が、各種、利用可能である。一例として、全画素の平均値を算出し、着目画素(欠陥画素か否かを判定する画素)の画素値を、算出した平均値で除して、この値が所定の範囲に入っている画素を適正な画素、所定の範囲外である画素を欠陥画素として、検出する。
【0059】
このようにして欠陥画素を検出したら、その情報(位置情報)は、ビデオコネクタ36のメモリ58に供給され、記憶される。画像補正部56は、この欠陥画素の情報を補正パラメータとして、欠陥画素補正を行なう。
なお、欠陥画素補正は、後述するような周辺画素を用いる補完等、公知の方法で行なえばよいのは、前述のとおりである。
【0060】
このようにして、感度ムラ補正パラメータ生成部72が感度ムラ補正パラメータを生成したら、生成した感度ムラ補正パラメータを、接続部14aから内視鏡12のビデオコネクタ36に供給する。
ビデオコネクタ36に供給された各感度ムラ補正パラメータは、メモリ58の所定領域に記憶される。すなわち、図2(B)に示すように、高照度領域に対応する感度ムラ補正パラメータHはメモリ58の領域60Hに、中照度領域に対応する感度ムラ補正パラメータMはメモリ58の領域Mに、低照度領域に対応する感度ムラ補正パラメータLはメモリ58の領域60Lに、それぞれ、記憶される。
【0061】
内視鏡12による撮影(観察)を行なう際には、光源装置16からの観察光の照射によって撮影したCCDセンサ48の出力信号は、まず、信号処理部54で増幅やA/D変換等の所定の信号処理を施された後に、画像補正部56において、オフセット補正やホワイトバランス調整等の所定の画像補正を行なわれる。
ここで、画像補正部56の感度ムラ補正部56aは、撮影した画像の照度に応じて、各画素毎に、対応する照度領域の感度ムラ補正パラメータを用いて感度ムラ補正を行なう。すなわち、補正する画像の照度領域が高照度領域である場合には、メモリ58の領域60Hから対応する感度ムラ補正パラメータHを読み出し、補正する画像の照度領域が中照度領域である場合には、メモリ58の領域60Mから対応する感度ムラ補正パラメータMを読み出し、補正する画像の照度領域が低照度領域である場合には、メモリ58の領域60Lから対応する感度ムラ補正パラメータLを読み出して、各画素毎に感度ムラ補正を行なう。
感度ムラ補正は、一例として、各画素の画像(画像データ)に、対応する感度ムラ補正パラメータを乗算することにより行なう。好ましくは、画像補正部56は、CCDセンサのオフセットを考慮して、感度ムラ補正前の画像データをG、感度ムラ補正パラメータをP、感度ムラ補正後の画像データをG’として、暗時補正パラメータ(offset)を用いて、下記式によって感度ムラ補正を行なう。
G’=(G−offset)P+offset
【0062】
画像補正部56で補正された画像は、接続部16aからプロセッサ装置14に供給され、画像処理部68において所定の画像処理を施されて、表示装置18に表示される。
ここで、この画像は、照度領域に応じた感度補正パラメータによる感度補正を行なわれている画像であるので、CCDセンサ48の出力特性によらず、低照度から高照度(高濃度から低濃度)まで、高精度に感度ムラ補正がおこなわれた、高画質な画像である。
【0063】
以上、本発明の内視鏡装置について説明したが、本発明は、上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行なってもよいのは、もちろんである。
【産業上の利用可能性】
【0064】
内視鏡を利用する医療現場等で、好適に利用可能である。
【符号の説明】
【0065】
10 内視鏡装置
12 内視鏡
14 プロセッサ装置
16 光源装置
18 表示装置
20 入力装置
26 挿入部
28 操作部
30 ユニバーサルコード
32 コネクタ
36 ビデオコネクタ
38 軟性部
40 湾曲部
42 スコープ部
46 撮像レンズ
48 CCDセンサ
50 照明用レンズ
52 光ガイド
54 信号処理部
56 画像補正部
58 メモリ
60 領域
62 白色光発生部
64 狭帯域光発生部
68 画像処理部
70 条件設定部
72 感度ムラ補正パラメータ生成部

【特許請求の範囲】
【請求項1】
撮像素子によって画像を撮影する内視鏡装置であって、
感度ムラ補正パラメータを記憶する記憶手段と、前記記憶手段に記憶された感度ムラ補正パラメータを用いて前記撮像素子の感度ムラ補正を行なう感度ムラ補正手段とを有し、
かつ、前記記憶手段は、異なる複数の照度領域のそれぞれに応じて、前記感度ムラ補正パラメータを記憶するものであり、また、前記感度ムラ補正手段は、補正する画像の照度に応じた前記感度ムラ補正パラメータを用いて、前記感度ムラ補正を行なうことを特徴とする内視鏡装置。
【請求項2】
前記感度ムラ補正パラメータは、前記撮像素子が撮影した画像を用いて補正用画像を作成し、この補正用画像のムラを補正するように生成されたものであり、
前記補正用画像として、各照度領域に応じた画像を作成して、各画像を用いて、前記各照度領域のそれぞれに応じた感度ムラ補正パラメータを生成する請求項1に記載の内視鏡装置。
【請求項3】
前記補正用画像を作成するための撮影おいて、観察光の強度を変更することにより、前記各照度領域に応じた画像を作成する請求項2に記載の内視鏡装置。
【請求項4】
前記補正用画像を作成するための撮影において、撮像素子の露光時間を変更することにより、前記各照度領域に応じた画像を作成する請求項2に記載の内視鏡装置。
【請求項5】
前記補正用画像を作成するために、異なる濃度の画像を撮影することにより、前記各照度領域に応じた画像を作成する請求項2に記載の内視鏡装置。
【請求項6】
特殊光観察の機能を有する請求項1〜5のいずれかに記載の内視鏡装置。
【請求項7】
前記補正用画像を作成するために撮像素子が撮影した画像を、所定数ずつ間引いて選択し、選択した所定数の画像を用いて、前記補正用画像を作成する請求項1〜6のいずれかに記載の内視鏡装置。
【請求項8】
前記選択した画像の所定領域の平均画像データが規定範囲を外れる場合には、この画像は前記補正用画像の作成に使用しない請求項7に記載の内視鏡装置。
【請求項9】
選択した画像が、所定の判定画像に対して、所定の閾値以上変動していない場合には、この画像は補正用画像の作成に使用しない請求項7または8に記載の内視鏡装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2012−85720(P2012−85720A)
【公開日】平成24年5月10日(2012.5.10)
【国際特許分類】
【出願番号】特願2010−233405(P2010−233405)
【出願日】平成22年10月18日(2010.10.18)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】