内視鏡用画像処理装置及び内視鏡装置
【課題】 処理対象画像信号が前方視野に対応する前方領域及び側方視野に対応する側方領域のいずれに対応するかを判定し、前方領域と判定された場合に前方領域に対応した倍率色収差補正処理を行う内視鏡用画像処理装置及び内視鏡装置等を提供すること。
【解決手段】 内視鏡用画像処理装置は、前方視野に対応する前方画像及び側方視野に対応する側方画像を取得する画像取得部（ＡＤ変換部２０４）と、観察光学系についての倍率色収差補正処理を行う倍率色収差補正部２０６とを含み、倍率色収差補正部２０６は、処理対象画像信号が前方視野及び側方視野のいずれに対応するかの判定処理を行うとともに、処理対象画像信号が前方視野に対応すると判定された場合には、倍率色収差補正処理として、倍率色収差補正処理を行う。
【解決手段】 内視鏡用画像処理装置は、前方視野に対応する前方画像及び側方視野に対応する側方画像を取得する画像取得部（ＡＤ変換部２０４）と、観察光学系についての倍率色収差補正処理を行う倍率色収差補正部２０６とを含み、倍率色収差補正部２０６は、処理対象画像信号が前方視野及び側方視野のいずれに対応するかの判定処理を行うとともに、処理対象画像信号が前方視野に対応すると判定された場合には、倍率色収差補正処理として、倍率色収差補正処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡用画像処理装置及び内視鏡装置等に関する。
【背景技術】
【０００２】
特許文献１では、前方視野と側方視野の両方を同時に観察できる状態と前方視野のみ観察できる状態を可変絞りで切換えるようにした光学系が示されている。前方視野と側方視野の両方を観察できる状態は内視鏡に用いる場合に特に大腸のヒダ裏観察に有効であり、今まで見落としていた病変の発見が期待できる。図１は、前方視野と側方視野の両方を同時に観察できる状態と前方視野のみ観察できる状態を可変絞りで切換えるようにした光学系の一例を示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１１７６６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
光学系レンズを通って来た光がイメージセンサーに当たるまでに、それぞれの色の波長ごとにレンズを通るときの屈折率が異なり、結像する像の大きさが異なってしまうため色つき現象が生じる。これを倍率色収差という。この現象は、特に広角レンズの画面の隅のほうに強く出て目立つ。また、前記のように前方と側方に対応する２系統の対物レンズ光学系の場合、光学レンズ構成の違い及び光学レンズを通ってきた光がイメージセンサーに当たるまでの経路が異なるため、形成した画像信号に発生する倍率色収差の度合いも異なる。
【０００５】
本発明の幾つかの態様によれば、処理対象画像信号が前方視野に対応する前方領域及び側方視野に対応する側方領域のいずれに対応するかを判定し、前方領域と判定された場合に前方領域に対応した倍率色収差補正処理を行う内視鏡用画像処理装置及び内視鏡装置等を提供することができる。
【課題を解決するための手段】
【０００６】
本発明の一態様は、前方視野に対応する前方画像及び側方視野に対応する側方画像を取得する画像取得部と、観察光学系についての倍率色収差補正処理を行う倍率色収差補正部と、を含み、前記倍率色収差補正部は、処理対象画像信号が前記前方視野及び前記側方視野のいずれに対応するかの判定処理を行うとともに、前記処理対象画像信号が前記前方視野に対応すると判定された場合には、前記倍率色収差補正処理として、前方倍率色収差補正処理を行う内視鏡用画像処理装置に関係する。
【０００７】
本発明の一態様では、処理対象画像信号が前方視野及び側方視野のいずれに対応するかを判定し、前方視野に対応すると判定された場合に、前方倍率色収差補正処理を行う。よって、前方視野を観察する光学系と側方視野を観察する光学系の条件が異なる場合にも、前方視野に対しては前方視野用の適切な倍率色収差補正処理を行うことができる。
【０００８】
また、本発明の他の態様は、前方視野に対応する前方画像及び側方視野に対応する側方画像を取得する画像取得部と、前記前方画像に対する倍率色収差補正処理である第１の倍率色収差補正処理と、前記側方視野に対する倍率色収差補正処理である第２の倍率色収差補正処理を行う倍率色収差補正部と、を含む内視鏡用画像処理装置に関係する。
【０００９】
本発明の他の態様では、前方画像に対しては前方画像用の倍率色収差補正処理を行い、側方画像に対しては側方画像用の倍率色収差補正処理を行う内視鏡用画像処理装置を実現することができる。
【００１０】
また、本発明の他の態様は、前記の内視鏡用画像処理装置を含む内視鏡装置に関係する。
【図面の簡単な説明】
【００１１】
【図１】本実施形態で用いられる広域撮像系の構成例。
【図２】広域撮像系により取得される撮像画像の例。
【図３】本実施形態の内視鏡用画像処理装置を含む内視鏡装置の構成例。
【図４】倍率色収差補正部の構成例。
【図５】切替部の構成例。
【図６】判定情報として保存されるマスクデータの例。
【図７】前方倍率色収差補正部の構成例。
【図８】補正係数保存部に保存されるパラメータの例。
【図９】像高自乗と像高比との関係を説明する図。
【図１０】前方像高算出部の構成例。
【図１１】バイキュービック補間の手法を説明する図。
【図１２】側方倍率色収差補正部の構成例。
【図１３】側方像高算出部の構成例。
【図１４】合成部の構成例。
【図１５】前方領域を拡大することによる境界領域の補正処理を説明する図。
【図１６】側方領域を拡大することによる境界領域の補正処理を説明する図。
【図１７】本実施形態の内視鏡用画像処理装置を含む内視鏡装置の他の構成例。
【図１８】ベイヤ配列の撮像素子の構成例。
【図１９】２板方式の撮像素子の構成例。
【図２０】面順次方式の撮像素子を用いた場合の例。
【発明を実施するための形態】
【００１２】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１３】
１．本実施形態の手法
まず本実施形態の手法について説明する。光学系におけるレンズの屈折率は波長によって異なる。そのため、同じレンズを用いても波長によって焦点距離が異なることになり、像の大きさが異なる。これを倍率色収差という。倍率色収差により色ずれが発生してしまうと画像がぼけたようになり好ましくない。そのため、倍率色収差に対しては補正処理が行われる。
【００１４】
本実施形態においては、前方視野と側方視野の両方を観察可能な光学系を用いる。これは例えば前方観察光学系と側方観察光学系の２つの光学系を用いることにより実現できる。あるいは１つの光学系を用いて時系列的に観察領域を切り替えてもよい。このような場合には、前方視野の観察時と、側方視野の観察時で光学系の条件が変わるため、１通りのパラメータのみでは倍率色収差補正を行うことができない。
【００１５】
また、前方視野と側方視野の両方を同時に結像する光学系を用いて撮像する場合、取得された撮像画像には、図２のように、前方視野に対応する前方領域と側方視野に対応する側方領域の間に暗い境界領域が生じることがある。特に、前方領域の周辺は屈折系のレンズにより周辺視野の光量が低下（グラデーションが発生）し、境界領域はグラデーション領域と連結した状態の黒い帯状の領域となる。これは、図１に示したように前方視野と側方視野の間に死角が生じることや、前方視野の周縁部では光量が足らず、画像が暗くなってしまうことによる。例えば内視鏡装置による大腸の観察時には、境界領域が存在すると、境界領域に本来のヒダが無い状態でも当該境界領域を生体のヒダと誤認する可能性等があり好ましくない。
【００１６】
そこで本出願人は以下の手法を提案する。まず、倍率色収差補正処理は、前方領域と側方領域とで異なるパラメータを用いて処理を行う。このようにすることで、前方視野観察時と側方視野観察時とでの光学系の条件の違いに対応することが可能になる。さらに付加的な処理として、倍率色収差補正処理が行われた後の前方領域及び側方領域の少なくとも一方に対して変倍処理を行った上で合成処理を行うことで、境界領域を縮小する。これは例えば、前方領域を外側に拡大した上で側方領域と合成すればよい。このようにすることで、境界領域を縮小することができ、観察をスムーズにすること等が可能になる。
【００１７】
以下、第１の実施形態では、３板の撮像素子を用いた場合における、倍率色収差補正処理について説明する。ここでは、付加的な処理である境界領域補正処理についても説明する。また、第２の実施形態では、単板或いは２板の撮像素子を用いた場合、或いは面順次方式を用いた場合の倍率色収差補正処理について説明する（境界領域補正処理については第１の実施形態と同様であるため省略する）。また、変形例として、光学系の光軸中心のずれの補正についても述べる。
【００１８】
２．第１の実施形態
図３は、本実施形態の内視鏡用画像処理装置を含む内視鏡装置の構成例である。内視鏡装置は、挿入部１０２、ライトガイド１０３、光源部１０４、前方観察光学系２０１、側方観察光学系２０２、撮像素子２０３、ＡＤ変換部２０４、画像処理部２０５、倍率色収差補正部２０６、表示部２０７、制御部２１０、外部Ｉ／Ｆ部２１１、合成部３０４及び補正係数保存部２１２を備えている。また、光源部１０４、ＡＤ変換部２０４、画像処理部２０５、倍率色収差補正部２０６、表示部２０７、制御部２１０、外部Ｉ／Ｆ部２１１、合成部３０４及び補正係数保存部２１２は、プロセッサ部１０００を構成している。ただしプロセッサ部１０００は、図３の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００１９】
この内視鏡装置は内視鏡診察や治療に適用するため、挿入部１０２は体内に挿入できるように湾曲が可能で細長い形状になっており、光源部１０４が出射する光は湾曲可能なライトガイド１０３を経由して、被写体１０１へ照射される。挿入部１０２の先端部には、前方観察光学系２０１および側方観察光学系２０２が配置されている。本内視鏡装置は、前方視野を観察する前方観察光学系２０１及び側方視野を観察する側方観察光学系２０２を備え、前方視野と側方視野の両方を同時に観察できる光学系となっている。ただし、光学系の構成はこれに限定されるものではない。例えば、１つの光学系を用い、観察対象を時系列的に切り替える（あるタイミングでは前方視野を観察し、別のタイミングでは側方視野を観察する）ようにしてもよい。被写体１０１からの前方視野の反射光は前方観察光学系２０１を、側方視野の反射光は側方観察光学系２０２を介して、撮像素子２０３に結像する。撮像素子２０３により出力されたアナログ画像信号はＡＤ変換部２０４へ転送される。
【００２０】
挿入部１０２は、プロセッサ部１０００と着脱可能となっている。医者は、診察目的に応じて複数種類のスコープ（挿入部１０２）から必要なスコープを選択し、このプロセッサ部１０００に装着して診察或いは治療を行う。
【００２１】
ＡＤ変換部２０４（画像取得部）は、画像処理部２０５、倍率色収差補正部２０６及び合成部３０４を介して表示部２０７へ接続している。制御部２１０は、ＡＤ変換部２０４、画像処理部２０５、倍率色収差補正部２０６、合成部３０４、表示部２０７及び外部Ｉ／Ｆ部２１１と双方向に接続している。
【００２２】
ＡＤ変換部２０４は、撮像素子２０３からのアナログ画像信号をデジタル化してデジタル画像信号（以下画像信号と略称）として画像処理部２０５へ転送する。
【００２３】
画像処理部２０５は、制御部２１０の制御に基づき、ＡＤ変換部２０４からの画像信号に対して公知の画像信号処理を行う。ホワイトバランス処理、カラーマネージメント処理、階調変換処理などを行う。処理後のＲＧＢ信号を倍率色収差補正部２０６へ転送する。
【００２４】
図４は、倍率色収差補正部２０６の構成の一例であり、倍率色収差補正部２０６は切替部３０１、前方倍率色収差補正部３０２、側方倍率色収差補正部３０３を含む。また、図４では明示されていないが、前方補正係数保存部３０５、及び側方補正係数保存部３０６は補正係数保存部２１２に含まれるものとする。画像処理部２０５は、切替部３０１を介して前方倍率色収差補正部３０２、側方倍率色収差補正部３０３及び合成部３０４へ接続している。前方倍率色収差補正部３０２は、合成部３０４を介して表示部２０７へ接続している。側方倍率色収差補正部３０３は、合成部３０４へ接続している。前方補正係数保存部３０５は、前方倍率色収差補正部３０２へ接続している。側方補正係数保存部３０６は、側方倍率色収差補正部３０３へ接続している。制御部２１０は、切替部３０１、前方倍率色収差補正部３０２、側方倍率色収差補正部３０３、合成部３０４、前方補正係数保存部３０５、及び側方補正係数保存部３０６と双方向に接続している。
【００２５】
画像処理部２０５からのＲＧＢ信号は、制御部２１０の制御に基づき切替部３０１へ転送される。
【００２６】
図５は、切替部３０１の構成の一例であり、切替部３０１は領域判定部４０１及び判定情報保存部４０２を備えている。画像処理部２０５は、領域判定部４０１を介して前方倍率色収差補正部３０２へ接続している。判定情報保存部４０２は、領域判定部４０１へ接続している。制御部２１０は、領域判定部４０１及び判定情報保存部４０２と双方向に接続している。
【００２７】
領域判定部４０１は、制御部２１０の制御に基づき、画像処理部２０５からの画像信号（ＲＧＢ３板）に対して前方領域か或いは側方領域かを判定する。図２に示されているように、画像信号は、中央部円形部分が前方領域、その周辺にドーナッツ状に側方領域、２つの領域の間の死角となる境界領域、及び側方領域外側の対象外領域（撮像された画像信号以外の部分）から構成されている。図６に示されているように、事前に前方領域、側方領域、境界領域及び対象外領域を分けるマスクデータを判定情報保存部４０２に保存する。領域判定部４０１は、判定情報保存部４０２からマスクデータを抽出し、画像処理部２０５からの画像信号に対して画素単位で領域判定を行う。領域判定により前方領域であると判定された場合には、画像信号を前方倍率色収差補正部３０２へ転送する。側方領域であると判定された場合、画像信号を側方倍率色収差補正部３０３へ転送する。他の領域に属する場合、画像信号を合成部３０４へ転送する。また、マスクデータも合成部３０４へ転送する。
【００２８】
図７は、前方倍率色収差補正部３０２の構成の一例であり、前方倍率色収差補正部３０２は前方像高算出部５０１及び前方補間部５０２を備えている。切替部３０１は、前方像高算出部５０１及び前方補間部５０２を介して合成部３０４に接続している。切替部３０１は、前方補間部５０２に接続している。前方補正係数保存部３０５は、前方像高算出部５０１及び前方補間部５０２に接続している。制御部２１０は、前方像高算出部５０１及び前方補間部５０２と双方向に接続している。
【００２９】
本実施形態では、画素ごとにＧ画像信号の像高に対するＲ画像信号及びＢ画像信号の像高比に基づき、Ｒ画像信号とＢ画像信号の実際の像高を算出して補間処理により倍率ズレ量を補正する。図８に示されているように、事前に前方領域の中心点（前方対物レンズ光学系の光軸中心に対応する画素）座標（Ｘｆ，Ｙｆ）及び前方領域に対応する円形の半径Ｒｆを前方補正係数保存部３０５に保存しておく。また、側方領域の中心点（側方対物レンズ光学系の光軸中心に対応する画素）座標（Ｘｓ,Ｙｓ）、及び側方領域に対応するドーナッツ状円形の内側半径Ｒｓ１と外側半径Ｒｓ２を側方補正係数保存部３０６に保存する。以降の説明では、前方領域の中心点と側方領域の中心点を同じ画素にあることとし、同じ座標をもつものとするが、これに限定されるものではない。
【００３０】
図９は、Ｇ画像信号の像高に対するＲ画像信号及びＢ画像信号の像高比のグラフ例を示している。横軸はＧ画像信号の像高自乗Ｑに対応し、縦軸はＲとＢ画像信号の像高比Ｙに対応している。具体的には、Ｇ画像信号の像高自乗は下式（１）のようになり、Ｒ画像信号の像高比Ｙ（Ｒ）は下式（２）、Ｂ画像信号の像高比Ｙ（Ｂ）は下式（３）のようになる。
【００３１】
Ｑ＝Ｘｇ２／Ｘｍａｘ２ ・・・・・（１）
Ｙ（Ｒ）＝Ｘｒ／Ｘｇ ・・・・・（２）
Ｙ（Ｂ）＝Ｘｂ／Ｘｇ ・・・・・（３）
ただし、ＸｒはＲ画像信号の像高、ＸｂはＢ画像信号の像高、ＸｇはＧ画像信号の像高、ＸｍａｘはＧ信号の最大像高に対応している。本実施形態では、Ｘｍａｘは図８に示されている前方領域に対応する円形の半径Ｒｆに対応している。
【００３２】
また、Ｇ画像信号の像高自乗Ｑに対して、Ｒ画像信号の像高比Ｙ（Ｒ）とＢ画像信号の像高比Ｙ（Ｂ）は下式（４）及び（５）に表わされているような対応関係を持っている。
【００３３】
Ｙ（Ｒ）＝αｒＱ２＋βｒＱ＋γｒ ・・・・・（４）
Ｙ（Ｂ）＝αｂＱ２＋βｂＱ＋γｂ ・・・・・（５）
ただし、αｒ、βｒ、γｒはＲ画像信号に対応する像高比係数であり、αｂ、βｂ、γｂはＢ画像信号に対応する像高比係数である。これらの係数は前方領域を撮像する前方観察光学系の倍率色収差状況を調べて設計されたものであり、事前に前方補正係数保存部３０５に保存されている。
【００３４】
前方像高算出部５０１は、制御部２１０の制御に基づき、画素ごとに前方領域に対応する画像信号の画素位置情報を用いて、前方補正係数保存部３０５からの像高比係数を検出して像高比を換算し、像高比からＲ画像信号とＢ画像信号の実像高（換算座標値）を算出する。図１０は、前方像高算出部５０１の構成の一例であり、前方像高算出部５０１は相対位置算出部６０１、像高自乗算出部６０２、像高比算出部６０３、実像高算出部６０４を備えている。切替部３０１は、相対位置算出部６０１、像高自乗算出部６０２、像高比算出部６０３及び実像高算出部６０４を介して前方補間部５０２に接続している。切替部３０１は、前方補間部５０２へ接続している。前方補正係数保存部３０５は、相対位置算出部６０１、像高自乗算出部６０２、像高比算出部６０３及び実像高算出部６０４に接続している。制御部２１０は、相対位置算出部６０１、像高自乗算出部６０２、像高比算出部６０３及び実像高算出部６０４と双方向に接続している。
【００３５】
本実施形態では、まず、相対位置算出部６０１は、制御部２１０の制御に基づき、前方補正係数保存部３０５から前方領域の中心点（前方対物レンズ光学系の光軸中心に対応する画素）座標（Ｘｆ，Ｙｆ）を抽出して、下式（６）により光軸中心に対する注目画素の相対位置（ｐｏｓＸ，ｐｏｓＹ）を算出し、像高自乗算出部６０２へ転送する。
【００３６】
ｐｏｓＸ＝ｉ−Ｘｆ
ｐｏｓＹ＝ｊ−Ｙｆ ・・・・・（６）
ただし、ｉは注目画素の横軸座標であり、ｊは注目座標の縦軸座標である。
【００３７】
続いて像高自乗算出部６０２は、制御部２１０の制御に基づき、注目画素の相対位置（ｐｏｓＸ，ｐｏｓＹ）と、前方補正係数保存部３０５に保存されている前方領域に対応する円形の半径Ｒｆとから、上式（１）によりＧ画像信号の像高自乗Ｑを算出し、像高比算出部６０３へ転送する。次に、像高比算出部６０３は、制御部２１０の制御に基づき、前方補正係数保存部３０５から像高比係数を抽出し、上式（４）によりＲ画像信号の像高比Ｙ（Ｒ）を算出するとともに、式（５）によりＢ画像信号の像高比Ｙ（Ｂ）を算出し、実像高算出部６０４へ転送する。さらに、実像高算出部６０４は、制御部２１０の制御に基づき、前方補正係数保存部３０５から前方領域の中心点（前方対物レンズ光学系の光軸中心に対応する画素）座標（Ｘｆ，Ｙｆ）を抽出して、下式（７）及び（８）により注目画素のＲ画像信号とＢ画像信号の換算座標値を算出する。
【００３８】
ＲｅａｌＸ（Ｒ）＝Ｙ（Ｒ）×ｐｏｓＸ＋Ｘｆ
ＲｅａｌＹ（Ｒ）＝Ｙ（Ｒ）×ｐｏｓＹ＋Ｙｆ ・・・・・（７）
ＲｅａｌＸ（Ｂ）＝Ｙ（Ｂ）×ｐｏｓＸ＋Ｘｆ
ＲｅａｌＹ（Ｂ）＝Ｙ（Ｂ）×ｐｏｓＹ＋Ｙｆ ・・・・・（８）
ただし、ＲｅａｌＸ（Ｒ）は注目画素のＲ画像信号の換算横軸座標値であり、ＲｅａｌＹ（Ｒ）は注目画素のＲ画像信号の換算縦軸座標値である。また、ＲｅａｌＸ（Ｂ）は注目画素のＢ画像信号の換算横軸座標値であり、ＲｅａｌＹ（Ｂ）注目画素のＢ画像信号の換算縦軸座標値である。
【００３９】
ここで、上式（２）及び（３）に示したように、Ｙ（Ｒ）はＲ画像信号の像高とＧ画像信号の像高の比であり、Ｙ（Ｂ）はＢ画像信号の像高とＧ画像信号の像高の比である。ｐｏｓＸ、ｐｏｓＹは光軸中心に対応する座標を原点としたときのＧ画像信号の座標であるから、Ｇ画像信号の像高に対応する。よって、上式（７）及び（８）の右辺第１項はＹ（Ｒ）或いはＹ（Ｂ）に対してＧ画像信号の像高値が乗算されていることになるため、Ｒ画像信号或いはＢ画像信号の像高値に対応した値となる。さらに右辺第２項により座標変換が行われ、原点が光軸中心に対応する座標系から基準座標系（例えば画像の左上の点を原点とした座標系等）に戻されることになる。つまり換算座標値とは、基準座標を原点とした場合の、Ｒ画像信号或いはＢ画像信号の像高値に対応する座標値のことである。
【００４０】
算出した注目画素のＲ画像信号とＢ画像信号の換算座標値情報を前方補間部５０２へ転送する。
【００４１】
前方補間部５０２は、制御部２１０の制御に基づき、画素ごとに前方像高算出部５０１からの注目画素のＲ画像信号及びＢ画像信号の換算座標値情報を用いて公知のバイキュービック補間方法で補間処理を行う。具体的には、図１１に示されているように、求めたい位置（ｘｘ,ｙｙ）（Ｒ画像信号の場合は（ＲｅａｌＸ（Ｒ），ＲｅａｌＹ（Ｒ））、Ｂ画像信号の場合は（ＲｅａｌＸ（Ｂ），ＲｅａｌＹ（Ｂ）））の画素値Ｖを周り１６点の画素値ｆ１１，ｆ１２，…，ｆ４４（Ｒ画像信号の場合は注目画素周り１６点のＲ画像信号の画素値、Ｂ画像信号の場合は注目画素周り１６点のＢ画像信号の画素値）を用いて下式（９）により求める。
【数１】
【００４２】
ただし［ｘｘ］をｘｘを超えない最大の整数とした場合に式（９）の各値は下式（１０）、（１１）のようになる。
ｘ１＝１＋ｘｘ−[ｘｘ]
ｘ２＝ｘｘ−[ｘｘ]
ｘ３＝[ｘｘ]＋１−ｘｘ
ｘ４＝[ｘｘ]＋２−ｘｘ
ｙ１＝１＋ｙｙ−[ｙｙ]
ｙ２＝ｙｙ−[ｙｙ]
ｙ３＝[ｙｙ]＋１−ｙｙ
ｙ４＝[ｙｙ]＋２−ｙｙ ・・・・・（１０）
ｈ（ｔ）＝ｓｉｎ（πｔ）／πｔ ・・・・・（１１）
補間後のＲ画像信号とＢ画像信号を合成部３０４へ転送する。
【００４３】
一方、図１２は側方倍率色収差補正部３０３の構成の一例であり、図１３は側方像高算出部５１１の構成の一例である。これらは、図２に示されている側方領域の倍率色収差の補正を行う。側方倍率色収差補正部３０３は、図７に示した前方倍率色収差補正部３０２と同様の構成であり、側方像高算出部５１１は、図１０に示した前方像高算出部５０１と同様の構成である。行われる処理も、前方倍率色収差補正部３０２及び前方像高算出部５０１と同様である。
【００４４】
上述した式（１）〜（３）については前方の場合と同様である。ただし、式（１）におけるＸｍａｘが前方の場合は図８におけるＲｆに対応したのに対して、側方の場合は図８におけるＲｓ２に対応する点が異なる。これはＸｍａｘとして像高の最大値を用いることによる。また、式（４）及び（５）における補正係数αｒ、βｒ、γｒ及びαｂ、βｂ、γｂは前方の場合と異なる値を用いる。前方視野の観察に用いられる光学系と、側方視野の観察に用いられる光学系は異なるものであることが想定されるところ、補正係数は光学系の設計により決定されるものであるから、前方と側方で同じ値を用いることはできないためである。さらに、式（６）〜（８）についてはＸｆ，Ｙｆではなく、Ｘｓ，Ｙｓを用いることになる。像高は光学系の光軸中心に対応する座標を基準点（例えば原点）として求める必要があるが、前方視野を観察する光学系と側方視野を観察する光学系とでは、光軸中心に対応する座標が異なることが一般的だからである。
【００４５】
合成部３０４は、制御部２１０の制御に基づき、切替部３０１からのマスクデータを用いて、前方倍率色収差補正部３０２から取得された補正後の前方領域に対応する画像信号と、側方倍率収差補正部３０３から取得された補正後の側方領域に対応する画像信号を合成し、表示部２０７へ転送する。
【００４６】
本実施形態では、ＡＤ変換部２０４からの画像信号に対して公知の画像信号処理を実施してから倍率色収差補正を実現しているが、このような構成に限定される必要がない。例えば、ＡＤ変換部２０４からのＲＧＢ３板の画像信号に対して倍率色収差補正を実施してから公知の画像信号を行う構成にしてもよい。
【００４７】
さらに、以上説明した本実施形態における画像信号処理は、ハードウェアにより実現しているが、このような構成に限定される必要がない。例えば、ＡＤ変換処理後の画像信号を未処理のままのロー（ＲＡＷ）データとしてメモリカードなどの記録媒体に記録するとともに、制御部２１０からの撮像時の情報（ＡＧＣ感度やホワイトバランス係数など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像信号処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の転送は、上述と同様に、記録媒体を介して行うに限らず、通信回線などを介して行うようにしても構わない。
【００４８】
以上の本実施形態では、内視鏡用画像処理装置は、図３に示したように前方視野に対応する前方画像及び側方視野に対応する側方画像を取得する画像取得部（ＡＤ変換部２０４）と、観察光学系についての倍率色収差補正処理を行う倍率色収差補正部２０６とを含む。そして、倍率色収差補正部２０６は、処理対象画像信号が前方視野及び側方視野のいずれに対応するかの判定処理を行う。判定処理の結果、処理対象画像信号が前方視野に対応すると判定された場合には、倍率色収差補正処理として前方倍率色収差補正処理を行う。
【００４９】
ここで、光学系としては図１に示したように、前方視野を観察する前方観察光学系と、側方視野を観察する側方観察光学系の２系統の光学系を有するものとするが、これに限定されるものではない。１つの光学系で時系列的に前方画像と側方画像を取得してもよい。
【００５０】
これにより、処理対象画像信号が前方視野に対応するのか、側方視野に対応するのかの判定を行った上で、前方視野に対応する場合に前方倍率色収差補正処理を行うことが可能になる。前方観察光学系と側方観察光学系の２系統の光学系を持つ場合であっても、１つの光学系を時系列的に切り替える場合であっても、前方視野を観察する際と側方視野を観察する際とでは光学系の条件が異なる。倍率色収差は光学系の設計により、その色ずれの程度が決定されるものであるから、光学系の条件が変われば当然用いるパラメータを変更する必要がある。よって、適切なパラメータを用いた倍率色収差補正処理を行うためには、上述した本実施形態の手法のように、処理対象画像信号が前方視野及び側方視野のいずれに対応するのかを判定した上で、前方視野に対応した場合に、前方視野用のパラメータを用いて前方倍率色収差補正処理を行うとよい。
【００５１】
また、倍率色収差補正部は、処理対象画像信号が側方視野に対応すると判定された場合には、倍率色収差補正処理として側方倍率色収差補正処理を行ってもよい。
【００５２】
これにより、前方領域に対してだけでなく、側方領域に対しても適切な倍率色収差補正処理を行うことが可能になる。上述したように、側方倍率色収差補正処理を行う場合には、前方倍率色収差補正処理を行う場合とは異なる補正係数を用いることになる。具体的には、式（４）及び（５）における補正係数αｒ、βｒ、γｒ及びαｂ、βｂ、γｂが異なる他、式（６）〜（８）についてはＸｆ，Ｙｆではなく、Ｘｓ，Ｙｓを用いることになる。
【００５３】
また、画像取得部（例えばＡＤ変換部２０４）は、前方画像及び側方画像が１枚の画像として形成された画像信号を取得してもよい。そして、倍率色収差補正部２０６は、取得した１枚の画像の中で、処理対象画像信号が前方視野及び側方視野のいずれに対応するかの判定処理を行うための判定情報を保存する判定情報保存部４０２（図５に示す）を含んでもよい。
【００５４】
ここで、前方画像及び側方画像が１枚の画像として形成された画像信号とは、例えば図２に示すような画像に対応する画像信号であってもよい。
【００５５】
これにより、例えば図２に示すような画像を取得した上で、判定情報を用いて処理対象画像信号が前方視野及び側方視野のいずれに対応するのかを判定することが可能になる。前方画像と側方画像をどのように１枚の画像として形成するかは、光学系等の設計により決定されるものであるから、判定情報は事前に決定しておくことが可能である。よって、判定情報保存部４０２を設けて事前に決定した判定情報を保存しておくことで、判定処理を容易に行うことができる。
【００５６】
また、１枚の画像における前方視野に対応する領域を前方領域とし、１枚の画像における側方視野に対応する領域を側方領域とした場合に、内視鏡用画像処理装置は、前方領域と側方領域の境界となる領域である境界領域を縮小する補正を行う境界領域補正部を含んでもよい。
【００５７】
ここで、境界領域補正部は図３に示す合成部３０４に対応する。合成部３０４は、倍率色収差補正が行われた前方画像と側方画像を合成する合成処理を行うものである。この合成処理は、境界領域を縮小する補正処理を含むものであってもよい。つまり、境界領域補正部は、境界領域を縮小する補正処理が付加された合成部３０４として実現されてもよく、その場合の構成は例えば図１４に示すようになる。
【００５８】
これにより、境界領域を縮小することが可能になる。ここで、境界領域を縮小する補正は、境界領域の面積を減少させる処理と、境界領域を完全に無くす（ゼロにする）処理を含みうる。境界領域は、前方視野と側方視野の間の死角が生じたり、前方視野の周縁部で光量が足りなくなることに起因して生じるものである。境界領域は観察に支障をきたすものであり、特に内視鏡装置での大腸等の観察においては、境界領域を生体のヒダと誤認するおそれもある。よって、境界領域を縮小することで、観察を円滑に進めることが可能になる。
【００５９】
ここで、合成部３０４に境界領域補正処理を付加した場合について説明する。図１４は、合成部３０４に境界補正処理を付加した場合の構成の一例であり、合成部３０４は前方バッファー部７０１、側方バッファー部７０２、画像倍率調整部７０３、変倍画像合成部７０４及び係数保存部７０５を備えている。前方倍率色収差補正部３０２は、前方バッファー部７０１、画像倍率調整部７０３、変倍画像合成部７０４を介して、表示部２０７へ接続している。側方倍率色収差補正部３０３は側方バッファー部７０２へ接続している。切替部３０１は、画像倍率調整部７０３及び変倍画像合成部７０４へ接続している。前方バッファー部７０１は、変倍画像合成部７０４へ接続している。制御部２１０は、前方バッファー部７０１、側方バッファー部７０２、画像倍率調整部７０３及び変倍画像合成部７０４と双方向に接続している。
【００６０】
前方倍率色収差補正部３０２から取得された補正後の前方領域に対応する画像信号を、前方バッファー部７０１へ保存する。また、側方倍率色収差補正部３０３から取得された補正後の側方領域に対応する画像信号を、側方バッファー部７０２へ保存する。前記のように、前方視野と側方視野の両方を同時に観察できる状態とした撮像画像は、中央部が前方視野、その周辺にドーナッツ状に側方視野が配置されて、２つの視野の間の死角となる境界領域が形成される。特に前方視野の周辺は屈折系のレンズにより周辺視野の光量が低下（グラデーションが発生）し、境界領域はグラデーション領域と連結した状態の黒い帯状の領域となる。医者により診断が行われる際、この黒い帯状領域は邪魔になるため、なるべく小さく縮小する必要がある。
【００６１】
本実施形態では、図１５に示されているように前方領域に対して、光軸を中心に外側に拡大する処理を行い、黒い帯状領域の表示面積を縮小させる。この場合、制御部２１０の制御に基づき、前方バッファー部７０１から前方領域に対応する画像信号を画像倍率調整部７０３へ転送する。画像倍率調整部７０３は、制御部２１０の制御に基づき、切替部３０１からのマスクデータ及び係数保存部７０５から所定の調整倍率係数を抽出して公知の拡大縮小処理で前方領域に対応する画像信号を拡大して変倍画像合成部７０４へ転送する。調整倍率係数は、前方視野と側方視野の間の死角となる境界領域及びグラデーションの特性に基づき事前に設計し、係数保存部７０５へ保存する。一方、側方バッファー部７０２は、制御部２１０の制御に基づき、側方領域に対応する画像信号を変倍画像合成部７０４へ転送する。変倍画像合成部７０４は、制御部２１０の制御に基づき、切替部３０１からのマスクデータを用いて、画像倍率調整部７０３からの前方領域に対応する拡大後の画像信号と側方バッファー部７０２からの側方領域に対応する画像信号を合成する。このような処理を行うことで図１５に示したように、前方領域に対応する画像信号の拡大により、黒い帯状領域の表示面積が小さくなっている。
【００６２】
なお、図１６に示されているように側方領域に対応する画像信号を所定の調整倍率係数で拡大して、前方領域に対応する画像信号をそのままで合成する構成にしてもよい。或いは、制御部２１０の制御に基づき、ユーザーが外部Ｉ／Ｆ部２１１を介して拡大領域を選定する構成にしてもよい。
【００６３】
このようにすることによって、診断時に医者に与える可能性がある黒い帯状領域によるストレスを軽減する効果が得られる。
【００６４】
また、境界領域補正処理が付加された合成部３０４（境界領域補正部）は、図２に示したように観察光学系の光軸を中心とした円形状（ただし真円に限定されるものではない）の領域となる境界領域において、前方領域及び側方領域の少なくとも一方の変倍処理を行うことで、境界領域を縮小する補正を行ってもよい。
【００６５】
これにより、図２のような形状の境界領域を縮小する補正が可能になる。前方領域及び側方領域の少なくとも一方の変倍処理とは、図１５に示したように前方領域を外側に拡大する処理であってもよいし、図１６に示したように側方領域を内側に拡大する処理であってもよい。また、これらに限定されず、前方領域と側方領域の両方の変倍処理を行ってもよい。境界領域を縮小することで観察を円滑に進めることが可能になる。
【００６６】
また、境界領域補正処理が付加された合成部３０４（境界領域補正部）は、倍率色収差補正部２０６により前方倍率色収差補正処理が行われた後の前方領域に対して変倍処理を行ってもよいし、倍率色収差補正部２０６により側方倍率色収差補正処理が行われた後の側方領域に対して変倍処理を行ってもよい。
【００６７】
これにより、合成部３０４による変倍処理は倍率色収差補正部２０６による倍率色収差補正処理後に行うことが可能になる。倍率色収差補正前は、本来同一の座標に存在するべきＲ画像信号、Ｇ画像信号、Ｂ画像信号が異なる座標に存在してしまっている。よって、倍率色収差補正処理の前に変倍処理を行ってしまうと、各画像信号のずれ量（本実施形態では例えばＧ画像信号に対するＲ画像信号とＢ画像信号のずれ量）が変化してしまうため、倍率色収差補正処理に用いるパラメータを変更する必要が生じてしまう。よって、合成部３０４による変倍処理は、倍率色収差補正処理後に行うことが望ましい。
【００６８】
また、判定情報保存部４０２は、前方領域及び側方領域を規定するデータであるマスクデータを判定情報として保存してもよい。
【００６９】
これにより、マスクデータを用いた領域判定が可能になる。マスクデータとしては、図６に示したようなデータを用いればよい。判定情報であるマスクデータは上述したように事前計算が可能であり、実際に判定処理を行う際の負荷を軽減することができる。
【００７０】
また、倍率色収差補正部２０６は、側方視野を観察する側方観察光学系の光軸を中心とした円形状（ただし真円に限定されるものではない）の領域に対して、側方倍率色収差補正処理を行ってもよい。
【００７１】
これにより、図２に示したような円形状（厳密には中心部分が抜けたドーナツ形状）の側方領域に対して、側方倍率色収差補正処理を行うことが可能になる。
【００７２】
また、内視鏡用画像処理装置は、図３に示したように、倍率色収差補正処理に用いられる補正係数を保存する補正係数保存部２１２を含んでもよい。
【００７３】
これにより、倍率色収差補正処理に用いられるパラメータを補正係数として保存しておくことが可能になる。補正係数保存部２１２に保存される補正係数も光学系の設計により決定されるため、判定情報保存部４０２に保存される判定情報と同様に事前計算が可能である。そのため、補正係数保存部２１２を設け補正係数を保存しておくことで、倍率色収差補正処理時の処理負荷を軽減することができる。
【００７４】
また、第１〜第Ｎ（Ｎは２以上の整数）の色信号における第ｉ（ｉは１≦ｉ≦Ｎの整数）の色信号の像高の自乗値を像高自乗とし、前記第ｉの色信号の像高と第ｋ（ｋはｋ≠ｉ、１≦ｋ≦Ｎの整数）の色信号の像高の比を像高比とした場合に、補正係数保存部２１２は、像高自乗と像高比との対応関係を決定する係数を、補正係数として保存してもよい。
【００７５】
これにより、式（４）及び（５）におけるαｒ、βｒ、γｒ及びαｂ、βｂ、γｂを補正係数として保存しておくことが可能になる。本実施形態においては、色信号はＲＧＢの３つであり、第ｉの色信号がＧ画像信号に対応し、第ｋの色信号がＲ画像信号及びＢ画像信号に対応する。また、第ｉの色信号の像高の自乗値である像高自乗とは式（１）のＱに対応し（Ｑは厳密には像高Ｘｇの自乗値と、像高最大値Ｘｍａｘの自乗値の比）、像高比とは式（２）のＹ（Ｒ）及び式（３）のＹ（Ｂ）に対応する。
【００７６】
また、補正係数保存部２１２は、前方倍率色収差補正処理に用いられる前方補正係数を補正係数として保存してもよいし、側方倍率色収差補正処理に用いられる側方補正係数を補正係数として保存してもよい。
【００７７】
これにより、前方倍率色収差補正処理に用いられる前方補正係数と、側方倍率色収差補正処理に用いられる側方補正係数とを異なる値として保存しておくことが可能になる（光学系の設計次第では同じ値になることを妨げるものではない）。一般的に前方観察光学系と側方観察光学系では、光学系の条件が異なる。これは前方観察光学系と側方観察光学系が異なる２系統の光学系である場合はもちろん、１つの光学系を時系列的に切り替える場合も同様である。よって、前方視野と側方視野のどちらを観察しているかに応じて、倍率色収差補正処理に用いられる補正係数を切り替える必要があるため、補正係数保存部２１２は、前方補正係数と側方補正係数を保存しておくとよい。具体的には、補正係数保存部２１２は、図４に示したように前方補正係数保存部３０５と側方補正係数保存部３０６とを含んでもよい。
【００７８】
また、画像取得部（例えばＡＤ変換部２０４）は、撮像素子により取得された画像信号に基づいて前方画像及び側方画像を取得する。そして、当該撮像素子は、ベイヤ方式、２板方式、３板方式、面順次方式のうちの少なくとも１つの撮像方式に対応する方式を用いて画像信号を取得してもよい。
【００７９】
これにより、本実施形態において上述してきた３板方式の撮像素子に限定されず、第２の実施形態において述べるように、単板（ベイヤ）方式や２板方式、面順次方式を用いて前方画像及び側方画像を取得することが可能になる。
【００８０】
また、倍率色収差補正部２０６は、前方視野を観察する前方観察光学系の光軸を中心とした円形状（ただし真円に限定されるものではない）の領域に対して、前方倍率色収差補正処理を行ってもよい。
【００８１】
これにより、図２に示したような円形状の前方領域に対して、前方倍率色収差補正処理を行うことが可能になる。
【００８２】
また、以上の本実施形態は、前方視野に対応する前方画像及び側方視野に対応する側方画像を取得する画像取得部（例えばＡＤ変換部２０４）と、前方画像に対する倍率色収差補正処理である第１の倍率色収差補正処理と、側方画像に対する倍率色収差補正処理である第２の倍率色収差補正処理とを行う倍率色収差補正部２０６とを含む内視鏡用画像処理装置に関係する。
【００８３】
これにより、前方画像と側方画像を取得した上で、前方画像に対しては前方画像用の倍率色収差補正処理を行い、側方画像に対しては側方画像用の倍率色収差補正処理を行う内視鏡用画像処理装置を実現することが可能になる。前方画像と側方画像とで光学系の条件が異なるため、異なる倍率色収差補正処理が必要になることは上述してきたとおりである。
【００８４】
また、以上の本実施形態は、上述してきた内視鏡用画像処理装置を含む内視鏡装置に関係する。
【００８５】
これにより、本実施形態の内視鏡用画像処理装置を含む内視鏡装置を実現することが可能になる。前方視野と側方視野の両方を観察可能な広角の光学系を用いることで視野範囲を広くすることができる。そのため、内視鏡装置においては、生体のヒダの裏側のような、通常の光学系では観察が困難な領域を観察することが可能になり、病変の発見等が容易になる。そのような広角の光学系を用いることで、前方領域と側方領域とで倍率色収差補正処理を変化させなくてはならないという問題が生じるところ、本実施形態の手法を用いることで、それぞれの領域に対して適切に倍率色収差補正処理を行うことが可能になる。また、合成部３０４が境界領域補正処理を含む構成であれば、生体内の観察においてヒダ等と誤認する可能性のある境界領域を縮小することが可能になり、観察をよりスムーズにすることができる。
【００８６】
３．第２の実施形態
図１７は、本実施形態の内視鏡用画像処理装置を含む内視鏡装置の構成例である。内視鏡装置は、挿入部１０２、ライトガイド１０３、光源部１０４、前方観察光学系２０１、側方観察光学系２０２、撮像素子２０３、ＡＤ変換部２０４、倍率色収差補正部２１５、画像処理部２１６、表示部２０７、制御部２１０、外部Ｉ／Ｆ部２１１、合成部３０４及び補正係数保存部２１２を備えている。また、光源部１０４、ＡＤ変換部２０４、倍率色収差補正部２１５、画像処理部２１６、表示部２０７、制御部２１０、外部Ｉ／Ｆ部２１１、合成部３０４及び補正係数保存部２１２は、プロセッサ部１０００を構成している。本実施形態では、図１８に示されているように撮像素子２０３は原色単板とする。
【００８７】
本実施形態において、第１の実施形態と同じ構成に関する内容を省略し、異なる部分のみを説明する。
【００８８】
ＡＤ変換部２０４は、倍率色収差補正部２１５、画像処理部２１６、合成部３０４を介して表示部２０７へ接続している。制御部２１０は、ＡＤ変換部２０４、倍率色収差補正部２１５、画像処理部２１６、表示部２０７、外部Ｉ／Ｆ部２１１及び合成部３０４と双方向に接続している。
【００８９】
ＡＤ変換部２０４は、撮像素子２０３からのアナログ画像信号をデジタル化して原色単板デジタル画像信号（以下画像信号と略称）として倍率色収差補正部２１５へ転送する。
【００９０】
第１の実施形態では、ＲＧＢ３板の画像信号に対して倍率色収差補正を行うため、画素ごとにＲ画像信号とＢ画像信号に対してそれぞれ補正処理を行う。これに対して、本実施例では、原色単板の画像信号に対して倍率色収差を行うため、１画素には１種類の色画像信号しか対応していない。前方倍率色収差補正部３０２は、制御部２１０の制御に基づき、画素ごとに画像信号の色種類を判定する。Ｒ画像信号の場合には、Ｇ画像信号の像高対するＲ画像信号の像高比に基づき、Ｒ画像信号の像高を算出して補間処理により倍率ズレ量を補正する。Ｂ画像信号の場合には、Ｇ画像信号の像高対するＢ画像信号の像高比に基づき、Ｂ画像信号の像高を算出して補間処理により倍率ズレ量を補正する。Ｇ画像信号の場合には、倍率色補正処理を行わない。
【００９１】
なお、本実施形態の１つの変形例として、図１９に示されているように撮像素子２０３は原色２板の構成であってもよい。Ｒ画像信号とＢ画像信号から構成するチャンネルにおいて、前方倍率色収差補正部３０２は、制御部２１０の制御に基づき、画素ごとに画像信号の色種類を判定する。Ｒ画像信号の場合には、Ｇ画像信号の像高対するＲ画像信号の像高比に基づき、Ｒ画像信号の像高を算出して補間処理により倍率ズレ量を補正する。Ｂ画像信号の場合には、Ｇ画像信号の像高対するＢ画像信号の像高比に基づき、Ｂ画像信号の像高を算出して補間処理により倍率ズレ量を補正する。一方、Ｇ画像信号から構成するチャンネルの画像信号に対して倍率色補正処理を行わない。
【００９２】
さらに、図２０に示されているように撮像素子２０３が面順次方式の場合には、時系列方向にＲ画像信号から構成するＲチャンネル画像信号、Ｇ画像信号から構成するＧチャンネル画像信号、Ｂ画像信号から構成するＢチャンネル画像信号が順次に入力される。その場合、Ｒチャンネル画像信号の場合には、画素ごとにＧ画像信号の像高対するＲ画像信号の像高比に基づき、Ｒ画像信号の像高を算出して補間処理により倍率ズレ量を補正する。Ｂチャンネル画像信号の場合には、画素ごとにＧ画像信号の像高対するＢ画像信号の像高比に基づき、Ｂ画像信号の像高を算出して補間処理により倍率ズレ量を補正する。一方、Ｇチャンネル画像信号に対して倍率色補正処理を行わない。
【００９３】
また、本実施形態では、前方観察光学系の光軸のずれ（例えば製造工程において発生するずれ）を補正してから倍率色収差補正を行ってもよい。前方観察光学系の光軸のずれ量（ｐｘ，ｐｙ）を事前に測定し前方補正係数保存部３０５に保存する。
【００９４】
本実施形態では、前方像高算出部５０１の相対位置算出部６０１は、制御部２１０の制御に基づき、前方補正係数保存部３０５から前方領域の中心点（前方対物レンズ光学系の光軸中心に対応する画素）座標（Ｘｆ，Ｙｆ）及び前方観察光学系の光軸のずれ量（ｐｘ，ｐｙ）を抽出する。そして、下式（１２）により光軸中心に対する注目画素の相対位置（ｐｏｓＸ，ｐｏｓＹ）を算出し、像高自乗算出部６０２へ転送する。
【００９５】
ｐｏｓＸ＝ｉ−Ｘｆ−ｐｘ
ｐｏｓＹ＝ｊ−Ｙｆ−ｐｙ ・・・・・（１２）
ただし、ｉは注目画素の横軸座標であり、ｊは注目座標の縦軸座標である。
【００９６】
続いて、像高自乗算出部６０２は、制御部２１０の制御に基づき、注目画素の相対位置（ｐｏｓＸ，ｐｏｓＹ）と、前方補正係数保存部３０５に保存されている前方領域に対応する円形の半径Ｒｆとから、上式（１）によりＧ画像信号の像高自乗Ｑを算出し、像高比算出部６０３へ転送する。次に、像高比算出部６０３は、制御部２１０の制御に基づき、前方補正係数保存部３０５から像高比係数を抽出し、上式（４）によりＲ画像信号の像高比Ｙ（Ｒ）を算出するとともに、上式（５）によりＢ画像信号の像高比Ｙ（Ｂ）を算出し、実像高算出部６０４へ転送する。さらに、実像高算出部６０４は、制御部２１０の制御に基づき、前方補正係数保存部３０５から前方領域の中心点（前方対物レンズ光学系の光軸中心に対応する画素）座標（Ｘｆ，Ｙｆ）を抽出して、下式（１３）及び（１４）により注目画素のＲ画像信号とＢ画像信号の換算座標値を算出する。
【００９７】
ＲｅａｌＸ（Ｒ）＝Ｙ（Ｒ）×ｐｏｓＸ＋Ｘｆ＋ｐｘ
ＲｅａｌＹ（Ｒ）＝Ｙ（Ｒ）×ｐｏｓＹ＋Ｙｆ＋ｐｙ ・・・・・（１３）
ＲｅａｌＸ（Ｂ）＝Ｙ（Ｂ）×ｐｏｓＸ＋Ｘｆ＋ｐｘ
ＲｅａｌＹ（Ｂ）＝Ｙ（Ｂ）×ｐｏｓＹ＋Ｙｆ＋ｐｙ ・・・・・（１４）
ただし、ＲｅａｌＸ（Ｒ）は注目画素のＲ画像信号の換算横軸座標値であり、ＲｅａｌＹ（Ｒ）は注目画素のＲ画像信号の換算縦軸座標値である。また、ＲｅａｌＸ（Ｂ）は注目画素のＢ画像信号の換算横軸座標値であり、ＲｅａｌＹ（Ｂ）は注目画素のＢ画像信号の換算縦軸座標値である。算出した注目画素のＲ画像信号とＢ画像信号の換算座標値情報を前方補間部５０２へ転送する。
【００９８】
画像処理部２１６は、制御部２１０の制御に基づき、倍率色収差補正部２１５からの原色単板画像信号に対して公知の画像信号処理を行う。原色単板から原色３板補間処理、ホワイトバランス処理、カラーマネージメント処理、階調変換処理などを行う。処理後のＲＧＢ信号を表示部２０７へ転送する。
【００９９】
なお、側方観察光学系の光軸のずれについて、前方観察光学系の場合と同様に補正してもよい。その場合、上式（１２）〜（１４）におけるＸｆ，ＹｆをＸｓ，Ｙｓに変更する必要がある。また、側方観察光学系の光軸のずれ量（ｐｘ’，ｐｙ’）を事前に測定しておき、上式（１２）〜（１４）におけるｐｘ，ｐｙをｐｘ’，ｐｙ’に変更する。
【０１００】
以上の本実施形態では、補正係数保存部２１２は、前方観察光学系の光軸のずれの補正に用いられる前方光軸ずれ補正係数を保存してもよいし、側方観察光学系の光軸のずれの補正に用いられる側方光軸ずれ補正係数を保存してもよい。
【０１０１】
これにより、観察光学系の光軸のずれを補正した上で倍率色収差補正処理を行うことが可能になる。上式（６）〜（８）或いは上式（１２）〜（１４）で示したように、像高は光軸中心に対応する座標値を基準として算出する。よって、光軸にずれが生じている場合には適切な補正を行わないと倍率色収差補正処理に影響が及んでしまう。そこで本実施形態では、光軸のずれ（例えば製造時等に生じることが考えられる）を補正係数保存部２１２に保存しておき、倍率色収差補正処理の際に光軸のずれを補正している。具体的には上式（１２）〜（１４）におけるｐｘ、ｐｙである（側方の場合は異なる値ｐｘ’、ｐｙ’となる）。図４に示したように、補正係数保存部２１２が前方補正係数保存部３０５と側方補正係数保存部３０６を含む場合には、前方補正係数保存部３０５において前方光軸ずれ補正係数を保存し、側方補正係数保存部３０６において側方光軸ずれ補正係数を保存してもよい。
【０１０２】
以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１０３】
１０１ 被写体、１０２ 挿入部、１０３ ライトガイド、１０４ 光源部、２０１ 前方観察光学系、２０２ 側方観察光学系、２０３ 撮像素子、２０４ ＡＤ変換部、２０５ 画像処理部、２０６ 倍率色収差補正部、２０７ 表示部、２１０ 制御部、２１１ 外部Ｉ／Ｆ部、２１２ 補正係数保存部、２１５ 倍率色収差補正部、２１６ 画像処理部、３０１ 切替部、３０２ 前方倍率色収差補正部、３０３ 側方倍率色収差補正部、３０４ 合成部、３０５ 前方補正係数保存部、３０６ 側方補正係数保存部、４０１ 領域判定部、４０２ 判定情報保存部、５０１ 前方像高算出部、５０２ 前方補間部、５１１ 側方像高算出部、６０１ 相対位置算出部、６０２ 像高自乗算出部、６０３ 像高比算出部、６０４ 実像高算出部、７０１ 前方バッファー部、７０２ 側方バッファー部、７０３ 画像倍率調整部、７０４ 変倍画像合成部、７０５ 係数保存部、１０００ プロセッサ部
【技術分野】
【０００１】
本発明は、内視鏡用画像処理装置及び内視鏡装置等に関する。
【背景技術】
【０００２】
特許文献１では、前方視野と側方視野の両方を同時に観察できる状態と前方視野のみ観察できる状態を可変絞りで切換えるようにした光学系が示されている。前方視野と側方視野の両方を観察できる状態は内視鏡に用いる場合に特に大腸のヒダ裏観察に有効であり、今まで見落としていた病変の発見が期待できる。図１は、前方視野と側方視野の両方を同時に観察できる状態と前方視野のみ観察できる状態を可変絞りで切換えるようにした光学系の一例を示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１１７６６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
光学系レンズを通って来た光がイメージセンサーに当たるまでに、それぞれの色の波長ごとにレンズを通るときの屈折率が異なり、結像する像の大きさが異なってしまうため色つき現象が生じる。これを倍率色収差という。この現象は、特に広角レンズの画面の隅のほうに強く出て目立つ。また、前記のように前方と側方に対応する２系統の対物レンズ光学系の場合、光学レンズ構成の違い及び光学レンズを通ってきた光がイメージセンサーに当たるまでの経路が異なるため、形成した画像信号に発生する倍率色収差の度合いも異なる。
【０００５】
本発明の幾つかの態様によれば、処理対象画像信号が前方視野に対応する前方領域及び側方視野に対応する側方領域のいずれに対応するかを判定し、前方領域と判定された場合に前方領域に対応した倍率色収差補正処理を行う内視鏡用画像処理装置及び内視鏡装置等を提供することができる。
【課題を解決するための手段】
【０００６】
本発明の一態様は、前方視野に対応する前方画像及び側方視野に対応する側方画像を取得する画像取得部と、観察光学系についての倍率色収差補正処理を行う倍率色収差補正部と、を含み、前記倍率色収差補正部は、処理対象画像信号が前記前方視野及び前記側方視野のいずれに対応するかの判定処理を行うとともに、前記処理対象画像信号が前記前方視野に対応すると判定された場合には、前記倍率色収差補正処理として、前方倍率色収差補正処理を行う内視鏡用画像処理装置に関係する。
【０００７】
本発明の一態様では、処理対象画像信号が前方視野及び側方視野のいずれに対応するかを判定し、前方視野に対応すると判定された場合に、前方倍率色収差補正処理を行う。よって、前方視野を観察する光学系と側方視野を観察する光学系の条件が異なる場合にも、前方視野に対しては前方視野用の適切な倍率色収差補正処理を行うことができる。
【０００８】
また、本発明の他の態様は、前方視野に対応する前方画像及び側方視野に対応する側方画像を取得する画像取得部と、前記前方画像に対する倍率色収差補正処理である第１の倍率色収差補正処理と、前記側方視野に対する倍率色収差補正処理である第２の倍率色収差補正処理を行う倍率色収差補正部と、を含む内視鏡用画像処理装置に関係する。
【０００９】
本発明の他の態様では、前方画像に対しては前方画像用の倍率色収差補正処理を行い、側方画像に対しては側方画像用の倍率色収差補正処理を行う内視鏡用画像処理装置を実現することができる。
【００１０】
また、本発明の他の態様は、前記の内視鏡用画像処理装置を含む内視鏡装置に関係する。
【図面の簡単な説明】
【００１１】
【図１】本実施形態で用いられる広域撮像系の構成例。
【図２】広域撮像系により取得される撮像画像の例。
【図３】本実施形態の内視鏡用画像処理装置を含む内視鏡装置の構成例。
【図４】倍率色収差補正部の構成例。
【図５】切替部の構成例。
【図６】判定情報として保存されるマスクデータの例。
【図７】前方倍率色収差補正部の構成例。
【図８】補正係数保存部に保存されるパラメータの例。
【図９】像高自乗と像高比との関係を説明する図。
【図１０】前方像高算出部の構成例。
【図１１】バイキュービック補間の手法を説明する図。
【図１２】側方倍率色収差補正部の構成例。
【図１３】側方像高算出部の構成例。
【図１４】合成部の構成例。
【図１５】前方領域を拡大することによる境界領域の補正処理を説明する図。
【図１６】側方領域を拡大することによる境界領域の補正処理を説明する図。
【図１７】本実施形態の内視鏡用画像処理装置を含む内視鏡装置の他の構成例。
【図１８】ベイヤ配列の撮像素子の構成例。
【図１９】２板方式の撮像素子の構成例。
【図２０】面順次方式の撮像素子を用いた場合の例。
【発明を実施するための形態】
【００１２】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１３】
１．本実施形態の手法
まず本実施形態の手法について説明する。光学系におけるレンズの屈折率は波長によって異なる。そのため、同じレンズを用いても波長によって焦点距離が異なることになり、像の大きさが異なる。これを倍率色収差という。倍率色収差により色ずれが発生してしまうと画像がぼけたようになり好ましくない。そのため、倍率色収差に対しては補正処理が行われる。
【００１４】
本実施形態においては、前方視野と側方視野の両方を観察可能な光学系を用いる。これは例えば前方観察光学系と側方観察光学系の２つの光学系を用いることにより実現できる。あるいは１つの光学系を用いて時系列的に観察領域を切り替えてもよい。このような場合には、前方視野の観察時と、側方視野の観察時で光学系の条件が変わるため、１通りのパラメータのみでは倍率色収差補正を行うことができない。
【００１５】
また、前方視野と側方視野の両方を同時に結像する光学系を用いて撮像する場合、取得された撮像画像には、図２のように、前方視野に対応する前方領域と側方視野に対応する側方領域の間に暗い境界領域が生じることがある。特に、前方領域の周辺は屈折系のレンズにより周辺視野の光量が低下（グラデーションが発生）し、境界領域はグラデーション領域と連結した状態の黒い帯状の領域となる。これは、図１に示したように前方視野と側方視野の間に死角が生じることや、前方視野の周縁部では光量が足らず、画像が暗くなってしまうことによる。例えば内視鏡装置による大腸の観察時には、境界領域が存在すると、境界領域に本来のヒダが無い状態でも当該境界領域を生体のヒダと誤認する可能性等があり好ましくない。
【００１６】
そこで本出願人は以下の手法を提案する。まず、倍率色収差補正処理は、前方領域と側方領域とで異なるパラメータを用いて処理を行う。このようにすることで、前方視野観察時と側方視野観察時とでの光学系の条件の違いに対応することが可能になる。さらに付加的な処理として、倍率色収差補正処理が行われた後の前方領域及び側方領域の少なくとも一方に対して変倍処理を行った上で合成処理を行うことで、境界領域を縮小する。これは例えば、前方領域を外側に拡大した上で側方領域と合成すればよい。このようにすることで、境界領域を縮小することができ、観察をスムーズにすること等が可能になる。
【００１７】
以下、第１の実施形態では、３板の撮像素子を用いた場合における、倍率色収差補正処理について説明する。ここでは、付加的な処理である境界領域補正処理についても説明する。また、第２の実施形態では、単板或いは２板の撮像素子を用いた場合、或いは面順次方式を用いた場合の倍率色収差補正処理について説明する（境界領域補正処理については第１の実施形態と同様であるため省略する）。また、変形例として、光学系の光軸中心のずれの補正についても述べる。
【００１８】
２．第１の実施形態
図３は、本実施形態の内視鏡用画像処理装置を含む内視鏡装置の構成例である。内視鏡装置は、挿入部１０２、ライトガイド１０３、光源部１０４、前方観察光学系２０１、側方観察光学系２０２、撮像素子２０３、ＡＤ変換部２０４、画像処理部２０５、倍率色収差補正部２０６、表示部２０７、制御部２１０、外部Ｉ／Ｆ部２１１、合成部３０４及び補正係数保存部２１２を備えている。また、光源部１０４、ＡＤ変換部２０４、画像処理部２０５、倍率色収差補正部２０６、表示部２０７、制御部２１０、外部Ｉ／Ｆ部２１１、合成部３０４及び補正係数保存部２１２は、プロセッサ部１０００を構成している。ただしプロセッサ部１０００は、図３の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００１９】
この内視鏡装置は内視鏡診察や治療に適用するため、挿入部１０２は体内に挿入できるように湾曲が可能で細長い形状になっており、光源部１０４が出射する光は湾曲可能なライトガイド１０３を経由して、被写体１０１へ照射される。挿入部１０２の先端部には、前方観察光学系２０１および側方観察光学系２０２が配置されている。本内視鏡装置は、前方視野を観察する前方観察光学系２０１及び側方視野を観察する側方観察光学系２０２を備え、前方視野と側方視野の両方を同時に観察できる光学系となっている。ただし、光学系の構成はこれに限定されるものではない。例えば、１つの光学系を用い、観察対象を時系列的に切り替える（あるタイミングでは前方視野を観察し、別のタイミングでは側方視野を観察する）ようにしてもよい。被写体１０１からの前方視野の反射光は前方観察光学系２０１を、側方視野の反射光は側方観察光学系２０２を介して、撮像素子２０３に結像する。撮像素子２０３により出力されたアナログ画像信号はＡＤ変換部２０４へ転送される。
【００２０】
挿入部１０２は、プロセッサ部１０００と着脱可能となっている。医者は、診察目的に応じて複数種類のスコープ（挿入部１０２）から必要なスコープを選択し、このプロセッサ部１０００に装着して診察或いは治療を行う。
【００２１】
ＡＤ変換部２０４（画像取得部）は、画像処理部２０５、倍率色収差補正部２０６及び合成部３０４を介して表示部２０７へ接続している。制御部２１０は、ＡＤ変換部２０４、画像処理部２０５、倍率色収差補正部２０６、合成部３０４、表示部２０７及び外部Ｉ／Ｆ部２１１と双方向に接続している。
【００２２】
ＡＤ変換部２０４は、撮像素子２０３からのアナログ画像信号をデジタル化してデジタル画像信号（以下画像信号と略称）として画像処理部２０５へ転送する。
【００２３】
画像処理部２０５は、制御部２１０の制御に基づき、ＡＤ変換部２０４からの画像信号に対して公知の画像信号処理を行う。ホワイトバランス処理、カラーマネージメント処理、階調変換処理などを行う。処理後のＲＧＢ信号を倍率色収差補正部２０６へ転送する。
【００２４】
図４は、倍率色収差補正部２０６の構成の一例であり、倍率色収差補正部２０６は切替部３０１、前方倍率色収差補正部３０２、側方倍率色収差補正部３０３を含む。また、図４では明示されていないが、前方補正係数保存部３０５、及び側方補正係数保存部３０６は補正係数保存部２１２に含まれるものとする。画像処理部２０５は、切替部３０１を介して前方倍率色収差補正部３０２、側方倍率色収差補正部３０３及び合成部３０４へ接続している。前方倍率色収差補正部３０２は、合成部３０４を介して表示部２０７へ接続している。側方倍率色収差補正部３０３は、合成部３０４へ接続している。前方補正係数保存部３０５は、前方倍率色収差補正部３０２へ接続している。側方補正係数保存部３０６は、側方倍率色収差補正部３０３へ接続している。制御部２１０は、切替部３０１、前方倍率色収差補正部３０２、側方倍率色収差補正部３０３、合成部３０４、前方補正係数保存部３０５、及び側方補正係数保存部３０６と双方向に接続している。
【００２５】
画像処理部２０５からのＲＧＢ信号は、制御部２１０の制御に基づき切替部３０１へ転送される。
【００２６】
図５は、切替部３０１の構成の一例であり、切替部３０１は領域判定部４０１及び判定情報保存部４０２を備えている。画像処理部２０５は、領域判定部４０１を介して前方倍率色収差補正部３０２へ接続している。判定情報保存部４０２は、領域判定部４０１へ接続している。制御部２１０は、領域判定部４０１及び判定情報保存部４０２と双方向に接続している。
【００２７】
領域判定部４０１は、制御部２１０の制御に基づき、画像処理部２０５からの画像信号（ＲＧＢ３板）に対して前方領域か或いは側方領域かを判定する。図２に示されているように、画像信号は、中央部円形部分が前方領域、その周辺にドーナッツ状に側方領域、２つの領域の間の死角となる境界領域、及び側方領域外側の対象外領域（撮像された画像信号以外の部分）から構成されている。図６に示されているように、事前に前方領域、側方領域、境界領域及び対象外領域を分けるマスクデータを判定情報保存部４０２に保存する。領域判定部４０１は、判定情報保存部４０２からマスクデータを抽出し、画像処理部２０５からの画像信号に対して画素単位で領域判定を行う。領域判定により前方領域であると判定された場合には、画像信号を前方倍率色収差補正部３０２へ転送する。側方領域であると判定された場合、画像信号を側方倍率色収差補正部３０３へ転送する。他の領域に属する場合、画像信号を合成部３０４へ転送する。また、マスクデータも合成部３０４へ転送する。
【００２８】
図７は、前方倍率色収差補正部３０２の構成の一例であり、前方倍率色収差補正部３０２は前方像高算出部５０１及び前方補間部５０２を備えている。切替部３０１は、前方像高算出部５０１及び前方補間部５０２を介して合成部３０４に接続している。切替部３０１は、前方補間部５０２に接続している。前方補正係数保存部３０５は、前方像高算出部５０１及び前方補間部５０２に接続している。制御部２１０は、前方像高算出部５０１及び前方補間部５０２と双方向に接続している。
【００２９】
本実施形態では、画素ごとにＧ画像信号の像高に対するＲ画像信号及びＢ画像信号の像高比に基づき、Ｒ画像信号とＢ画像信号の実際の像高を算出して補間処理により倍率ズレ量を補正する。図８に示されているように、事前に前方領域の中心点（前方対物レンズ光学系の光軸中心に対応する画素）座標（Ｘｆ，Ｙｆ）及び前方領域に対応する円形の半径Ｒｆを前方補正係数保存部３０５に保存しておく。また、側方領域の中心点（側方対物レンズ光学系の光軸中心に対応する画素）座標（Ｘｓ,Ｙｓ）、及び側方領域に対応するドーナッツ状円形の内側半径Ｒｓ１と外側半径Ｒｓ２を側方補正係数保存部３０６に保存する。以降の説明では、前方領域の中心点と側方領域の中心点を同じ画素にあることとし、同じ座標をもつものとするが、これに限定されるものではない。
【００３０】
図９は、Ｇ画像信号の像高に対するＲ画像信号及びＢ画像信号の像高比のグラフ例を示している。横軸はＧ画像信号の像高自乗Ｑに対応し、縦軸はＲとＢ画像信号の像高比Ｙに対応している。具体的には、Ｇ画像信号の像高自乗は下式（１）のようになり、Ｒ画像信号の像高比Ｙ（Ｒ）は下式（２）、Ｂ画像信号の像高比Ｙ（Ｂ）は下式（３）のようになる。
【００３１】
Ｑ＝Ｘｇ２／Ｘｍａｘ２ ・・・・・（１）
Ｙ（Ｒ）＝Ｘｒ／Ｘｇ ・・・・・（２）
Ｙ（Ｂ）＝Ｘｂ／Ｘｇ ・・・・・（３）
ただし、ＸｒはＲ画像信号の像高、ＸｂはＢ画像信号の像高、ＸｇはＧ画像信号の像高、ＸｍａｘはＧ信号の最大像高に対応している。本実施形態では、Ｘｍａｘは図８に示されている前方領域に対応する円形の半径Ｒｆに対応している。
【００３２】
また、Ｇ画像信号の像高自乗Ｑに対して、Ｒ画像信号の像高比Ｙ（Ｒ）とＢ画像信号の像高比Ｙ（Ｂ）は下式（４）及び（５）に表わされているような対応関係を持っている。
【００３３】
Ｙ（Ｒ）＝αｒＱ２＋βｒＱ＋γｒ ・・・・・（４）
Ｙ（Ｂ）＝αｂＱ２＋βｂＱ＋γｂ ・・・・・（５）
ただし、αｒ、βｒ、γｒはＲ画像信号に対応する像高比係数であり、αｂ、βｂ、γｂはＢ画像信号に対応する像高比係数である。これらの係数は前方領域を撮像する前方観察光学系の倍率色収差状況を調べて設計されたものであり、事前に前方補正係数保存部３０５に保存されている。
【００３４】
前方像高算出部５０１は、制御部２１０の制御に基づき、画素ごとに前方領域に対応する画像信号の画素位置情報を用いて、前方補正係数保存部３０５からの像高比係数を検出して像高比を換算し、像高比からＲ画像信号とＢ画像信号の実像高（換算座標値）を算出する。図１０は、前方像高算出部５０１の構成の一例であり、前方像高算出部５０１は相対位置算出部６０１、像高自乗算出部６０２、像高比算出部６０３、実像高算出部６０４を備えている。切替部３０１は、相対位置算出部６０１、像高自乗算出部６０２、像高比算出部６０３及び実像高算出部６０４を介して前方補間部５０２に接続している。切替部３０１は、前方補間部５０２へ接続している。前方補正係数保存部３０５は、相対位置算出部６０１、像高自乗算出部６０２、像高比算出部６０３及び実像高算出部６０４に接続している。制御部２１０は、相対位置算出部６０１、像高自乗算出部６０２、像高比算出部６０３及び実像高算出部６０４と双方向に接続している。
【００３５】
本実施形態では、まず、相対位置算出部６０１は、制御部２１０の制御に基づき、前方補正係数保存部３０５から前方領域の中心点（前方対物レンズ光学系の光軸中心に対応する画素）座標（Ｘｆ，Ｙｆ）を抽出して、下式（６）により光軸中心に対する注目画素の相対位置（ｐｏｓＸ，ｐｏｓＹ）を算出し、像高自乗算出部６０２へ転送する。
【００３６】
ｐｏｓＸ＝ｉ−Ｘｆ
ｐｏｓＹ＝ｊ−Ｙｆ ・・・・・（６）
ただし、ｉは注目画素の横軸座標であり、ｊは注目座標の縦軸座標である。
【００３７】
続いて像高自乗算出部６０２は、制御部２１０の制御に基づき、注目画素の相対位置（ｐｏｓＸ，ｐｏｓＹ）と、前方補正係数保存部３０５に保存されている前方領域に対応する円形の半径Ｒｆとから、上式（１）によりＧ画像信号の像高自乗Ｑを算出し、像高比算出部６０３へ転送する。次に、像高比算出部６０３は、制御部２１０の制御に基づき、前方補正係数保存部３０５から像高比係数を抽出し、上式（４）によりＲ画像信号の像高比Ｙ（Ｒ）を算出するとともに、式（５）によりＢ画像信号の像高比Ｙ（Ｂ）を算出し、実像高算出部６０４へ転送する。さらに、実像高算出部６０４は、制御部２１０の制御に基づき、前方補正係数保存部３０５から前方領域の中心点（前方対物レンズ光学系の光軸中心に対応する画素）座標（Ｘｆ，Ｙｆ）を抽出して、下式（７）及び（８）により注目画素のＲ画像信号とＢ画像信号の換算座標値を算出する。
【００３８】
ＲｅａｌＸ（Ｒ）＝Ｙ（Ｒ）×ｐｏｓＸ＋Ｘｆ
ＲｅａｌＹ（Ｒ）＝Ｙ（Ｒ）×ｐｏｓＹ＋Ｙｆ ・・・・・（７）
ＲｅａｌＸ（Ｂ）＝Ｙ（Ｂ）×ｐｏｓＸ＋Ｘｆ
ＲｅａｌＹ（Ｂ）＝Ｙ（Ｂ）×ｐｏｓＹ＋Ｙｆ ・・・・・（８）
ただし、ＲｅａｌＸ（Ｒ）は注目画素のＲ画像信号の換算横軸座標値であり、ＲｅａｌＹ（Ｒ）は注目画素のＲ画像信号の換算縦軸座標値である。また、ＲｅａｌＸ（Ｂ）は注目画素のＢ画像信号の換算横軸座標値であり、ＲｅａｌＹ（Ｂ）注目画素のＢ画像信号の換算縦軸座標値である。
【００３９】
ここで、上式（２）及び（３）に示したように、Ｙ（Ｒ）はＲ画像信号の像高とＧ画像信号の像高の比であり、Ｙ（Ｂ）はＢ画像信号の像高とＧ画像信号の像高の比である。ｐｏｓＸ、ｐｏｓＹは光軸中心に対応する座標を原点としたときのＧ画像信号の座標であるから、Ｇ画像信号の像高に対応する。よって、上式（７）及び（８）の右辺第１項はＹ（Ｒ）或いはＹ（Ｂ）に対してＧ画像信号の像高値が乗算されていることになるため、Ｒ画像信号或いはＢ画像信号の像高値に対応した値となる。さらに右辺第２項により座標変換が行われ、原点が光軸中心に対応する座標系から基準座標系（例えば画像の左上の点を原点とした座標系等）に戻されることになる。つまり換算座標値とは、基準座標を原点とした場合の、Ｒ画像信号或いはＢ画像信号の像高値に対応する座標値のことである。
【００４０】
算出した注目画素のＲ画像信号とＢ画像信号の換算座標値情報を前方補間部５０２へ転送する。
【００４１】
前方補間部５０２は、制御部２１０の制御に基づき、画素ごとに前方像高算出部５０１からの注目画素のＲ画像信号及びＢ画像信号の換算座標値情報を用いて公知のバイキュービック補間方法で補間処理を行う。具体的には、図１１に示されているように、求めたい位置（ｘｘ,ｙｙ）（Ｒ画像信号の場合は（ＲｅａｌＸ（Ｒ），ＲｅａｌＹ（Ｒ））、Ｂ画像信号の場合は（ＲｅａｌＸ（Ｂ），ＲｅａｌＹ（Ｂ）））の画素値Ｖを周り１６点の画素値ｆ１１，ｆ１２，…，ｆ４４（Ｒ画像信号の場合は注目画素周り１６点のＲ画像信号の画素値、Ｂ画像信号の場合は注目画素周り１６点のＢ画像信号の画素値）を用いて下式（９）により求める。
【数１】
【００４２】
ただし［ｘｘ］をｘｘを超えない最大の整数とした場合に式（９）の各値は下式（１０）、（１１）のようになる。
ｘ１＝１＋ｘｘ−[ｘｘ]
ｘ２＝ｘｘ−[ｘｘ]
ｘ３＝[ｘｘ]＋１−ｘｘ
ｘ４＝[ｘｘ]＋２−ｘｘ
ｙ１＝１＋ｙｙ−[ｙｙ]
ｙ２＝ｙｙ−[ｙｙ]
ｙ３＝[ｙｙ]＋１−ｙｙ
ｙ４＝[ｙｙ]＋２−ｙｙ ・・・・・（１０）
ｈ（ｔ）＝ｓｉｎ（πｔ）／πｔ ・・・・・（１１）
補間後のＲ画像信号とＢ画像信号を合成部３０４へ転送する。
【００４３】
一方、図１２は側方倍率色収差補正部３０３の構成の一例であり、図１３は側方像高算出部５１１の構成の一例である。これらは、図２に示されている側方領域の倍率色収差の補正を行う。側方倍率色収差補正部３０３は、図７に示した前方倍率色収差補正部３０２と同様の構成であり、側方像高算出部５１１は、図１０に示した前方像高算出部５０１と同様の構成である。行われる処理も、前方倍率色収差補正部３０２及び前方像高算出部５０１と同様である。
【００４４】
上述した式（１）〜（３）については前方の場合と同様である。ただし、式（１）におけるＸｍａｘが前方の場合は図８におけるＲｆに対応したのに対して、側方の場合は図８におけるＲｓ２に対応する点が異なる。これはＸｍａｘとして像高の最大値を用いることによる。また、式（４）及び（５）における補正係数αｒ、βｒ、γｒ及びαｂ、βｂ、γｂは前方の場合と異なる値を用いる。前方視野の観察に用いられる光学系と、側方視野の観察に用いられる光学系は異なるものであることが想定されるところ、補正係数は光学系の設計により決定されるものであるから、前方と側方で同じ値を用いることはできないためである。さらに、式（６）〜（８）についてはＸｆ，Ｙｆではなく、Ｘｓ，Ｙｓを用いることになる。像高は光学系の光軸中心に対応する座標を基準点（例えば原点）として求める必要があるが、前方視野を観察する光学系と側方視野を観察する光学系とでは、光軸中心に対応する座標が異なることが一般的だからである。
【００４５】
合成部３０４は、制御部２１０の制御に基づき、切替部３０１からのマスクデータを用いて、前方倍率色収差補正部３０２から取得された補正後の前方領域に対応する画像信号と、側方倍率収差補正部３０３から取得された補正後の側方領域に対応する画像信号を合成し、表示部２０７へ転送する。
【００４６】
本実施形態では、ＡＤ変換部２０４からの画像信号に対して公知の画像信号処理を実施してから倍率色収差補正を実現しているが、このような構成に限定される必要がない。例えば、ＡＤ変換部２０４からのＲＧＢ３板の画像信号に対して倍率色収差補正を実施してから公知の画像信号を行う構成にしてもよい。
【００４７】
さらに、以上説明した本実施形態における画像信号処理は、ハードウェアにより実現しているが、このような構成に限定される必要がない。例えば、ＡＤ変換処理後の画像信号を未処理のままのロー（ＲＡＷ）データとしてメモリカードなどの記録媒体に記録するとともに、制御部２１０からの撮像時の情報（ＡＧＣ感度やホワイトバランス係数など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像信号処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の転送は、上述と同様に、記録媒体を介して行うに限らず、通信回線などを介して行うようにしても構わない。
【００４８】
以上の本実施形態では、内視鏡用画像処理装置は、図３に示したように前方視野に対応する前方画像及び側方視野に対応する側方画像を取得する画像取得部（ＡＤ変換部２０４）と、観察光学系についての倍率色収差補正処理を行う倍率色収差補正部２０６とを含む。そして、倍率色収差補正部２０６は、処理対象画像信号が前方視野及び側方視野のいずれに対応するかの判定処理を行う。判定処理の結果、処理対象画像信号が前方視野に対応すると判定された場合には、倍率色収差補正処理として前方倍率色収差補正処理を行う。
【００４９】
ここで、光学系としては図１に示したように、前方視野を観察する前方観察光学系と、側方視野を観察する側方観察光学系の２系統の光学系を有するものとするが、これに限定されるものではない。１つの光学系で時系列的に前方画像と側方画像を取得してもよい。
【００５０】
これにより、処理対象画像信号が前方視野に対応するのか、側方視野に対応するのかの判定を行った上で、前方視野に対応する場合に前方倍率色収差補正処理を行うことが可能になる。前方観察光学系と側方観察光学系の２系統の光学系を持つ場合であっても、１つの光学系を時系列的に切り替える場合であっても、前方視野を観察する際と側方視野を観察する際とでは光学系の条件が異なる。倍率色収差は光学系の設計により、その色ずれの程度が決定されるものであるから、光学系の条件が変われば当然用いるパラメータを変更する必要がある。よって、適切なパラメータを用いた倍率色収差補正処理を行うためには、上述した本実施形態の手法のように、処理対象画像信号が前方視野及び側方視野のいずれに対応するのかを判定した上で、前方視野に対応した場合に、前方視野用のパラメータを用いて前方倍率色収差補正処理を行うとよい。
【００５１】
また、倍率色収差補正部は、処理対象画像信号が側方視野に対応すると判定された場合には、倍率色収差補正処理として側方倍率色収差補正処理を行ってもよい。
【００５２】
これにより、前方領域に対してだけでなく、側方領域に対しても適切な倍率色収差補正処理を行うことが可能になる。上述したように、側方倍率色収差補正処理を行う場合には、前方倍率色収差補正処理を行う場合とは異なる補正係数を用いることになる。具体的には、式（４）及び（５）における補正係数αｒ、βｒ、γｒ及びαｂ、βｂ、γｂが異なる他、式（６）〜（８）についてはＸｆ，Ｙｆではなく、Ｘｓ，Ｙｓを用いることになる。
【００５３】
また、画像取得部（例えばＡＤ変換部２０４）は、前方画像及び側方画像が１枚の画像として形成された画像信号を取得してもよい。そして、倍率色収差補正部２０６は、取得した１枚の画像の中で、処理対象画像信号が前方視野及び側方視野のいずれに対応するかの判定処理を行うための判定情報を保存する判定情報保存部４０２（図５に示す）を含んでもよい。
【００５４】
ここで、前方画像及び側方画像が１枚の画像として形成された画像信号とは、例えば図２に示すような画像に対応する画像信号であってもよい。
【００５５】
これにより、例えば図２に示すような画像を取得した上で、判定情報を用いて処理対象画像信号が前方視野及び側方視野のいずれに対応するのかを判定することが可能になる。前方画像と側方画像をどのように１枚の画像として形成するかは、光学系等の設計により決定されるものであるから、判定情報は事前に決定しておくことが可能である。よって、判定情報保存部４０２を設けて事前に決定した判定情報を保存しておくことで、判定処理を容易に行うことができる。
【００５６】
また、１枚の画像における前方視野に対応する領域を前方領域とし、１枚の画像における側方視野に対応する領域を側方領域とした場合に、内視鏡用画像処理装置は、前方領域と側方領域の境界となる領域である境界領域を縮小する補正を行う境界領域補正部を含んでもよい。
【００５７】
ここで、境界領域補正部は図３に示す合成部３０４に対応する。合成部３０４は、倍率色収差補正が行われた前方画像と側方画像を合成する合成処理を行うものである。この合成処理は、境界領域を縮小する補正処理を含むものであってもよい。つまり、境界領域補正部は、境界領域を縮小する補正処理が付加された合成部３０４として実現されてもよく、その場合の構成は例えば図１４に示すようになる。
【００５８】
これにより、境界領域を縮小することが可能になる。ここで、境界領域を縮小する補正は、境界領域の面積を減少させる処理と、境界領域を完全に無くす（ゼロにする）処理を含みうる。境界領域は、前方視野と側方視野の間の死角が生じたり、前方視野の周縁部で光量が足りなくなることに起因して生じるものである。境界領域は観察に支障をきたすものであり、特に内視鏡装置での大腸等の観察においては、境界領域を生体のヒダと誤認するおそれもある。よって、境界領域を縮小することで、観察を円滑に進めることが可能になる。
【００５９】
ここで、合成部３０４に境界領域補正処理を付加した場合について説明する。図１４は、合成部３０４に境界補正処理を付加した場合の構成の一例であり、合成部３０４は前方バッファー部７０１、側方バッファー部７０２、画像倍率調整部７０３、変倍画像合成部７０４及び係数保存部７０５を備えている。前方倍率色収差補正部３０２は、前方バッファー部７０１、画像倍率調整部７０３、変倍画像合成部７０４を介して、表示部２０７へ接続している。側方倍率色収差補正部３０３は側方バッファー部７０２へ接続している。切替部３０１は、画像倍率調整部７０３及び変倍画像合成部７０４へ接続している。前方バッファー部７０１は、変倍画像合成部７０４へ接続している。制御部２１０は、前方バッファー部７０１、側方バッファー部７０２、画像倍率調整部７０３及び変倍画像合成部７０４と双方向に接続している。
【００６０】
前方倍率色収差補正部３０２から取得された補正後の前方領域に対応する画像信号を、前方バッファー部７０１へ保存する。また、側方倍率色収差補正部３０３から取得された補正後の側方領域に対応する画像信号を、側方バッファー部７０２へ保存する。前記のように、前方視野と側方視野の両方を同時に観察できる状態とした撮像画像は、中央部が前方視野、その周辺にドーナッツ状に側方視野が配置されて、２つの視野の間の死角となる境界領域が形成される。特に前方視野の周辺は屈折系のレンズにより周辺視野の光量が低下（グラデーションが発生）し、境界領域はグラデーション領域と連結した状態の黒い帯状の領域となる。医者により診断が行われる際、この黒い帯状領域は邪魔になるため、なるべく小さく縮小する必要がある。
【００６１】
本実施形態では、図１５に示されているように前方領域に対して、光軸を中心に外側に拡大する処理を行い、黒い帯状領域の表示面積を縮小させる。この場合、制御部２１０の制御に基づき、前方バッファー部７０１から前方領域に対応する画像信号を画像倍率調整部７０３へ転送する。画像倍率調整部７０３は、制御部２１０の制御に基づき、切替部３０１からのマスクデータ及び係数保存部７０５から所定の調整倍率係数を抽出して公知の拡大縮小処理で前方領域に対応する画像信号を拡大して変倍画像合成部７０４へ転送する。調整倍率係数は、前方視野と側方視野の間の死角となる境界領域及びグラデーションの特性に基づき事前に設計し、係数保存部７０５へ保存する。一方、側方バッファー部７０２は、制御部２１０の制御に基づき、側方領域に対応する画像信号を変倍画像合成部７０４へ転送する。変倍画像合成部７０４は、制御部２１０の制御に基づき、切替部３０１からのマスクデータを用いて、画像倍率調整部７０３からの前方領域に対応する拡大後の画像信号と側方バッファー部７０２からの側方領域に対応する画像信号を合成する。このような処理を行うことで図１５に示したように、前方領域に対応する画像信号の拡大により、黒い帯状領域の表示面積が小さくなっている。
【００６２】
なお、図１６に示されているように側方領域に対応する画像信号を所定の調整倍率係数で拡大して、前方領域に対応する画像信号をそのままで合成する構成にしてもよい。或いは、制御部２１０の制御に基づき、ユーザーが外部Ｉ／Ｆ部２１１を介して拡大領域を選定する構成にしてもよい。
【００６３】
このようにすることによって、診断時に医者に与える可能性がある黒い帯状領域によるストレスを軽減する効果が得られる。
【００６４】
また、境界領域補正処理が付加された合成部３０４（境界領域補正部）は、図２に示したように観察光学系の光軸を中心とした円形状（ただし真円に限定されるものではない）の領域となる境界領域において、前方領域及び側方領域の少なくとも一方の変倍処理を行うことで、境界領域を縮小する補正を行ってもよい。
【００６５】
これにより、図２のような形状の境界領域を縮小する補正が可能になる。前方領域及び側方領域の少なくとも一方の変倍処理とは、図１５に示したように前方領域を外側に拡大する処理であってもよいし、図１６に示したように側方領域を内側に拡大する処理であってもよい。また、これらに限定されず、前方領域と側方領域の両方の変倍処理を行ってもよい。境界領域を縮小することで観察を円滑に進めることが可能になる。
【００６６】
また、境界領域補正処理が付加された合成部３０４（境界領域補正部）は、倍率色収差補正部２０６により前方倍率色収差補正処理が行われた後の前方領域に対して変倍処理を行ってもよいし、倍率色収差補正部２０６により側方倍率色収差補正処理が行われた後の側方領域に対して変倍処理を行ってもよい。
【００６７】
これにより、合成部３０４による変倍処理は倍率色収差補正部２０６による倍率色収差補正処理後に行うことが可能になる。倍率色収差補正前は、本来同一の座標に存在するべきＲ画像信号、Ｇ画像信号、Ｂ画像信号が異なる座標に存在してしまっている。よって、倍率色収差補正処理の前に変倍処理を行ってしまうと、各画像信号のずれ量（本実施形態では例えばＧ画像信号に対するＲ画像信号とＢ画像信号のずれ量）が変化してしまうため、倍率色収差補正処理に用いるパラメータを変更する必要が生じてしまう。よって、合成部３０４による変倍処理は、倍率色収差補正処理後に行うことが望ましい。
【００６８】
また、判定情報保存部４０２は、前方領域及び側方領域を規定するデータであるマスクデータを判定情報として保存してもよい。
【００６９】
これにより、マスクデータを用いた領域判定が可能になる。マスクデータとしては、図６に示したようなデータを用いればよい。判定情報であるマスクデータは上述したように事前計算が可能であり、実際に判定処理を行う際の負荷を軽減することができる。
【００７０】
また、倍率色収差補正部２０６は、側方視野を観察する側方観察光学系の光軸を中心とした円形状（ただし真円に限定されるものではない）の領域に対して、側方倍率色収差補正処理を行ってもよい。
【００７１】
これにより、図２に示したような円形状（厳密には中心部分が抜けたドーナツ形状）の側方領域に対して、側方倍率色収差補正処理を行うことが可能になる。
【００７２】
また、内視鏡用画像処理装置は、図３に示したように、倍率色収差補正処理に用いられる補正係数を保存する補正係数保存部２１２を含んでもよい。
【００７３】
これにより、倍率色収差補正処理に用いられるパラメータを補正係数として保存しておくことが可能になる。補正係数保存部２１２に保存される補正係数も光学系の設計により決定されるため、判定情報保存部４０２に保存される判定情報と同様に事前計算が可能である。そのため、補正係数保存部２１２を設け補正係数を保存しておくことで、倍率色収差補正処理時の処理負荷を軽減することができる。
【００７４】
また、第１〜第Ｎ（Ｎは２以上の整数）の色信号における第ｉ（ｉは１≦ｉ≦Ｎの整数）の色信号の像高の自乗値を像高自乗とし、前記第ｉの色信号の像高と第ｋ（ｋはｋ≠ｉ、１≦ｋ≦Ｎの整数）の色信号の像高の比を像高比とした場合に、補正係数保存部２１２は、像高自乗と像高比との対応関係を決定する係数を、補正係数として保存してもよい。
【００７５】
これにより、式（４）及び（５）におけるαｒ、βｒ、γｒ及びαｂ、βｂ、γｂを補正係数として保存しておくことが可能になる。本実施形態においては、色信号はＲＧＢの３つであり、第ｉの色信号がＧ画像信号に対応し、第ｋの色信号がＲ画像信号及びＢ画像信号に対応する。また、第ｉの色信号の像高の自乗値である像高自乗とは式（１）のＱに対応し（Ｑは厳密には像高Ｘｇの自乗値と、像高最大値Ｘｍａｘの自乗値の比）、像高比とは式（２）のＹ（Ｒ）及び式（３）のＹ（Ｂ）に対応する。
【００７６】
また、補正係数保存部２１２は、前方倍率色収差補正処理に用いられる前方補正係数を補正係数として保存してもよいし、側方倍率色収差補正処理に用いられる側方補正係数を補正係数として保存してもよい。
【００７７】
これにより、前方倍率色収差補正処理に用いられる前方補正係数と、側方倍率色収差補正処理に用いられる側方補正係数とを異なる値として保存しておくことが可能になる（光学系の設計次第では同じ値になることを妨げるものではない）。一般的に前方観察光学系と側方観察光学系では、光学系の条件が異なる。これは前方観察光学系と側方観察光学系が異なる２系統の光学系である場合はもちろん、１つの光学系を時系列的に切り替える場合も同様である。よって、前方視野と側方視野のどちらを観察しているかに応じて、倍率色収差補正処理に用いられる補正係数を切り替える必要があるため、補正係数保存部２１２は、前方補正係数と側方補正係数を保存しておくとよい。具体的には、補正係数保存部２１２は、図４に示したように前方補正係数保存部３０５と側方補正係数保存部３０６とを含んでもよい。
【００７８】
また、画像取得部（例えばＡＤ変換部２０４）は、撮像素子により取得された画像信号に基づいて前方画像及び側方画像を取得する。そして、当該撮像素子は、ベイヤ方式、２板方式、３板方式、面順次方式のうちの少なくとも１つの撮像方式に対応する方式を用いて画像信号を取得してもよい。
【００７９】
これにより、本実施形態において上述してきた３板方式の撮像素子に限定されず、第２の実施形態において述べるように、単板（ベイヤ）方式や２板方式、面順次方式を用いて前方画像及び側方画像を取得することが可能になる。
【００８０】
また、倍率色収差補正部２０６は、前方視野を観察する前方観察光学系の光軸を中心とした円形状（ただし真円に限定されるものではない）の領域に対して、前方倍率色収差補正処理を行ってもよい。
【００８１】
これにより、図２に示したような円形状の前方領域に対して、前方倍率色収差補正処理を行うことが可能になる。
【００８２】
また、以上の本実施形態は、前方視野に対応する前方画像及び側方視野に対応する側方画像を取得する画像取得部（例えばＡＤ変換部２０４）と、前方画像に対する倍率色収差補正処理である第１の倍率色収差補正処理と、側方画像に対する倍率色収差補正処理である第２の倍率色収差補正処理とを行う倍率色収差補正部２０６とを含む内視鏡用画像処理装置に関係する。
【００８３】
これにより、前方画像と側方画像を取得した上で、前方画像に対しては前方画像用の倍率色収差補正処理を行い、側方画像に対しては側方画像用の倍率色収差補正処理を行う内視鏡用画像処理装置を実現することが可能になる。前方画像と側方画像とで光学系の条件が異なるため、異なる倍率色収差補正処理が必要になることは上述してきたとおりである。
【００８４】
また、以上の本実施形態は、上述してきた内視鏡用画像処理装置を含む内視鏡装置に関係する。
【００８５】
これにより、本実施形態の内視鏡用画像処理装置を含む内視鏡装置を実現することが可能になる。前方視野と側方視野の両方を観察可能な広角の光学系を用いることで視野範囲を広くすることができる。そのため、内視鏡装置においては、生体のヒダの裏側のような、通常の光学系では観察が困難な領域を観察することが可能になり、病変の発見等が容易になる。そのような広角の光学系を用いることで、前方領域と側方領域とで倍率色収差補正処理を変化させなくてはならないという問題が生じるところ、本実施形態の手法を用いることで、それぞれの領域に対して適切に倍率色収差補正処理を行うことが可能になる。また、合成部３０４が境界領域補正処理を含む構成であれば、生体内の観察においてヒダ等と誤認する可能性のある境界領域を縮小することが可能になり、観察をよりスムーズにすることができる。
【００８６】
３．第２の実施形態
図１７は、本実施形態の内視鏡用画像処理装置を含む内視鏡装置の構成例である。内視鏡装置は、挿入部１０２、ライトガイド１０３、光源部１０４、前方観察光学系２０１、側方観察光学系２０２、撮像素子２０３、ＡＤ変換部２０４、倍率色収差補正部２１５、画像処理部２１６、表示部２０７、制御部２１０、外部Ｉ／Ｆ部２１１、合成部３０４及び補正係数保存部２１２を備えている。また、光源部１０４、ＡＤ変換部２０４、倍率色収差補正部２１５、画像処理部２１６、表示部２０７、制御部２１０、外部Ｉ／Ｆ部２１１、合成部３０４及び補正係数保存部２１２は、プロセッサ部１０００を構成している。本実施形態では、図１８に示されているように撮像素子２０３は原色単板とする。
【００８７】
本実施形態において、第１の実施形態と同じ構成に関する内容を省略し、異なる部分のみを説明する。
【００８８】
ＡＤ変換部２０４は、倍率色収差補正部２１５、画像処理部２１６、合成部３０４を介して表示部２０７へ接続している。制御部２１０は、ＡＤ変換部２０４、倍率色収差補正部２１５、画像処理部２１６、表示部２０７、外部Ｉ／Ｆ部２１１及び合成部３０４と双方向に接続している。
【００８９】
ＡＤ変換部２０４は、撮像素子２０３からのアナログ画像信号をデジタル化して原色単板デジタル画像信号（以下画像信号と略称）として倍率色収差補正部２１５へ転送する。
【００９０】
第１の実施形態では、ＲＧＢ３板の画像信号に対して倍率色収差補正を行うため、画素ごとにＲ画像信号とＢ画像信号に対してそれぞれ補正処理を行う。これに対して、本実施例では、原色単板の画像信号に対して倍率色収差を行うため、１画素には１種類の色画像信号しか対応していない。前方倍率色収差補正部３０２は、制御部２１０の制御に基づき、画素ごとに画像信号の色種類を判定する。Ｒ画像信号の場合には、Ｇ画像信号の像高対するＲ画像信号の像高比に基づき、Ｒ画像信号の像高を算出して補間処理により倍率ズレ量を補正する。Ｂ画像信号の場合には、Ｇ画像信号の像高対するＢ画像信号の像高比に基づき、Ｂ画像信号の像高を算出して補間処理により倍率ズレ量を補正する。Ｇ画像信号の場合には、倍率色補正処理を行わない。
【００９１】
なお、本実施形態の１つの変形例として、図１９に示されているように撮像素子２０３は原色２板の構成であってもよい。Ｒ画像信号とＢ画像信号から構成するチャンネルにおいて、前方倍率色収差補正部３０２は、制御部２１０の制御に基づき、画素ごとに画像信号の色種類を判定する。Ｒ画像信号の場合には、Ｇ画像信号の像高対するＲ画像信号の像高比に基づき、Ｒ画像信号の像高を算出して補間処理により倍率ズレ量を補正する。Ｂ画像信号の場合には、Ｇ画像信号の像高対するＢ画像信号の像高比に基づき、Ｂ画像信号の像高を算出して補間処理により倍率ズレ量を補正する。一方、Ｇ画像信号から構成するチャンネルの画像信号に対して倍率色補正処理を行わない。
【００９２】
さらに、図２０に示されているように撮像素子２０３が面順次方式の場合には、時系列方向にＲ画像信号から構成するＲチャンネル画像信号、Ｇ画像信号から構成するＧチャンネル画像信号、Ｂ画像信号から構成するＢチャンネル画像信号が順次に入力される。その場合、Ｒチャンネル画像信号の場合には、画素ごとにＧ画像信号の像高対するＲ画像信号の像高比に基づき、Ｒ画像信号の像高を算出して補間処理により倍率ズレ量を補正する。Ｂチャンネル画像信号の場合には、画素ごとにＧ画像信号の像高対するＢ画像信号の像高比に基づき、Ｂ画像信号の像高を算出して補間処理により倍率ズレ量を補正する。一方、Ｇチャンネル画像信号に対して倍率色補正処理を行わない。
【００９３】
また、本実施形態では、前方観察光学系の光軸のずれ（例えば製造工程において発生するずれ）を補正してから倍率色収差補正を行ってもよい。前方観察光学系の光軸のずれ量（ｐｘ，ｐｙ）を事前に測定し前方補正係数保存部３０５に保存する。
【００９４】
本実施形態では、前方像高算出部５０１の相対位置算出部６０１は、制御部２１０の制御に基づき、前方補正係数保存部３０５から前方領域の中心点（前方対物レンズ光学系の光軸中心に対応する画素）座標（Ｘｆ，Ｙｆ）及び前方観察光学系の光軸のずれ量（ｐｘ，ｐｙ）を抽出する。そして、下式（１２）により光軸中心に対する注目画素の相対位置（ｐｏｓＸ，ｐｏｓＹ）を算出し、像高自乗算出部６０２へ転送する。
【００９５】
ｐｏｓＸ＝ｉ−Ｘｆ−ｐｘ
ｐｏｓＹ＝ｊ−Ｙｆ−ｐｙ ・・・・・（１２）
ただし、ｉは注目画素の横軸座標であり、ｊは注目座標の縦軸座標である。
【００９６】
続いて、像高自乗算出部６０２は、制御部２１０の制御に基づき、注目画素の相対位置（ｐｏｓＸ，ｐｏｓＹ）と、前方補正係数保存部３０５に保存されている前方領域に対応する円形の半径Ｒｆとから、上式（１）によりＧ画像信号の像高自乗Ｑを算出し、像高比算出部６０３へ転送する。次に、像高比算出部６０３は、制御部２１０の制御に基づき、前方補正係数保存部３０５から像高比係数を抽出し、上式（４）によりＲ画像信号の像高比Ｙ（Ｒ）を算出するとともに、上式（５）によりＢ画像信号の像高比Ｙ（Ｂ）を算出し、実像高算出部６０４へ転送する。さらに、実像高算出部６０４は、制御部２１０の制御に基づき、前方補正係数保存部３０５から前方領域の中心点（前方対物レンズ光学系の光軸中心に対応する画素）座標（Ｘｆ，Ｙｆ）を抽出して、下式（１３）及び（１４）により注目画素のＲ画像信号とＢ画像信号の換算座標値を算出する。
【００９７】
ＲｅａｌＸ（Ｒ）＝Ｙ（Ｒ）×ｐｏｓＸ＋Ｘｆ＋ｐｘ
ＲｅａｌＹ（Ｒ）＝Ｙ（Ｒ）×ｐｏｓＹ＋Ｙｆ＋ｐｙ ・・・・・（１３）
ＲｅａｌＸ（Ｂ）＝Ｙ（Ｂ）×ｐｏｓＸ＋Ｘｆ＋ｐｘ
ＲｅａｌＹ（Ｂ）＝Ｙ（Ｂ）×ｐｏｓＹ＋Ｙｆ＋ｐｙ ・・・・・（１４）
ただし、ＲｅａｌＸ（Ｒ）は注目画素のＲ画像信号の換算横軸座標値であり、ＲｅａｌＹ（Ｒ）は注目画素のＲ画像信号の換算縦軸座標値である。また、ＲｅａｌＸ（Ｂ）は注目画素のＢ画像信号の換算横軸座標値であり、ＲｅａｌＹ（Ｂ）は注目画素のＢ画像信号の換算縦軸座標値である。算出した注目画素のＲ画像信号とＢ画像信号の換算座標値情報を前方補間部５０２へ転送する。
【００９８】
画像処理部２１６は、制御部２１０の制御に基づき、倍率色収差補正部２１５からの原色単板画像信号に対して公知の画像信号処理を行う。原色単板から原色３板補間処理、ホワイトバランス処理、カラーマネージメント処理、階調変換処理などを行う。処理後のＲＧＢ信号を表示部２０７へ転送する。
【００９９】
なお、側方観察光学系の光軸のずれについて、前方観察光学系の場合と同様に補正してもよい。その場合、上式（１２）〜（１４）におけるＸｆ，ＹｆをＸｓ，Ｙｓに変更する必要がある。また、側方観察光学系の光軸のずれ量（ｐｘ’，ｐｙ’）を事前に測定しておき、上式（１２）〜（１４）におけるｐｘ，ｐｙをｐｘ’，ｐｙ’に変更する。
【０１００】
以上の本実施形態では、補正係数保存部２１２は、前方観察光学系の光軸のずれの補正に用いられる前方光軸ずれ補正係数を保存してもよいし、側方観察光学系の光軸のずれの補正に用いられる側方光軸ずれ補正係数を保存してもよい。
【０１０１】
これにより、観察光学系の光軸のずれを補正した上で倍率色収差補正処理を行うことが可能になる。上式（６）〜（８）或いは上式（１２）〜（１４）で示したように、像高は光軸中心に対応する座標値を基準として算出する。よって、光軸にずれが生じている場合には適切な補正を行わないと倍率色収差補正処理に影響が及んでしまう。そこで本実施形態では、光軸のずれ（例えば製造時等に生じることが考えられる）を補正係数保存部２１２に保存しておき、倍率色収差補正処理の際に光軸のずれを補正している。具体的には上式（１２）〜（１４）におけるｐｘ、ｐｙである（側方の場合は異なる値ｐｘ’、ｐｙ’となる）。図４に示したように、補正係数保存部２１２が前方補正係数保存部３０５と側方補正係数保存部３０６を含む場合には、前方補正係数保存部３０５において前方光軸ずれ補正係数を保存し、側方補正係数保存部３０６において側方光軸ずれ補正係数を保存してもよい。
【０１０２】
以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１０３】
１０１ 被写体、１０２ 挿入部、１０３ ライトガイド、１０４ 光源部、２０１ 前方観察光学系、２０２ 側方観察光学系、２０３ 撮像素子、２０４ ＡＤ変換部、２０５ 画像処理部、２０６ 倍率色収差補正部、２０７ 表示部、２１０ 制御部、２１１ 外部Ｉ／Ｆ部、２１２ 補正係数保存部、２１５ 倍率色収差補正部、２１６ 画像処理部、３０１ 切替部、３０２ 前方倍率色収差補正部、３０３ 側方倍率色収差補正部、３０４ 合成部、３０５ 前方補正係数保存部、３０６ 側方補正係数保存部、４０１ 領域判定部、４０２ 判定情報保存部、５０１ 前方像高算出部、５０２ 前方補間部、５１１ 側方像高算出部、６０１ 相対位置算出部、６０２ 像高自乗算出部、６０３ 像高比算出部、６０４ 実像高算出部、７０１ 前方バッファー部、７０２ 側方バッファー部、７０３ 画像倍率調整部、７０４ 変倍画像合成部、７０５ 係数保存部、１０００ プロセッサ部
【特許請求の範囲】
【請求項１】
前方視野に対応する前方画像及び側方視野に対応する側方画像を取得する画像取得部と、
観察光学系により生じた倍率色収差を補正する倍率色収差補正部と、
を含み、
前記倍率色収差補正部は、
処理対象画像信号が前記前方視野及び前記側方視野のいずれに対応するかの判定処理を行うとともに、前記処理対象画像信号が前記前方視野に対応すると判定された場合には、前記倍率色収差補正処理として、前方倍率色収差補正処理を行うことを特徴とする内視鏡用画像処理装置。
【請求項２】
請求項１において、
前記倍率色収差補正部は、
前記処理対象画像信号が前記側方視野に対応すると判定された場合には、前記倍率色収差補正処理として、側方倍率色収差補正処理を行うことを特徴とする内視鏡用画像処理装置。
【請求項３】
請求項２において、
前記画像取得部は、
前記前方画像及び前記側方画像が１枚の画像として形成された画像信号を取得し、
前記倍率色収差補正部は、
取得した前記１枚の画像の中で、前記処理対象画像信号が前記前方視野及び前記側方視野のいずれに対応するかの前記判定処理を行うための判定情報を保存する判定情報保存部を含むことを特徴とする内視鏡用画像処理装置。
【請求項４】
請求項３において、
前記１枚の画像における前記前方視野に対応する領域を前方領域とし、前記１枚の画像における前記側方視野に対応する領域を側方領域とした場合に、
前記前方領域と前記側方領域の境界となる領域である境界領域を縮小する補正を行う境界領域補正部を含むことを特徴とする内視鏡用画像処理装置。
【請求項５】
請求項４において、
前記境界領域補正部は、
前記観察光学系の光軸を中心とした円形状の領域となる前記境界領域において、前記前方領域及び前記側方領域の少なくとも一方の変倍処理を行うことで前記境界領域を縮小する補正を行うことを特徴とする内視鏡用画像処理装置。
【請求項６】
請求項５において、
前記境界領域補正部は、
前記倍率色収差補正部により前記前方倍率色収差補正処理が行われた後の前記前方領域に対して変倍処理を行うことを特徴とする内視鏡用画像処理装置。
【請求項７】
請求項５において、
前記境界領域補正部は、
前記倍率色収差補正部により前記側方倍率色収差補正処理が行われた後の前記側方領域に対して変倍処理を行うことを特徴とする内視鏡用画像処理装置。
【請求項８】
請求項３において、
前記１枚の画像における前記前方視野に対応する領域を前方領域とし、前記１枚の画像における前記側方視野に対応する領域を側方領域とした場合に、
前記判定情報保存部は、
前記前方領域及び前記側方領域を規定するデータであるマスクデータを、前記判定情報として保存することを特徴とする内視鏡用画像処理装置。
【請求項９】
請求項２において、
前記倍率色収差補正部は、
前記側方視野を観察する前記観察光学系の光軸を中心とした円形状の領域に対して、前記側方倍率色収差補正処理を行うことを特徴とする内視鏡用画像処理装置。
【請求項１０】
請求項１において、
前記倍率色収差補正処理に用いられる補正係数を保存する補正係数保存部を含むことを特徴とする内視鏡用画像処理装置。
【請求項１１】
請求項１０において、
第１〜第Ｎ（Ｎは２以上の整数）の色信号における第ｉ（ｉは１≦ｉ≦Ｎの整数）の色信号の像高の自乗値を像高自乗とし、前記第ｉの色信号の像高と第ｋ（ｋはｋ≠ｉ、１≦ｋ≦Ｎの整数）の色信号の像高の比を像高比とした場合に、
前記補正係数保存部は、
前記像高自乗と前記像高比との対応関係を決定する係数を、前記補正係数として保存することを特徴とする内視鏡用画像処理装置。
【請求項１２】
請求項１０において、
前記補正係数保存部は、
前記前方倍率色収差補正処理に用いられる前方補正係数を、前記補正係数として保存することを特徴とする内視鏡用画像処理装置。
【請求項１３】
請求項１０において、
前記倍率色収差補正部は、
前記領域判定部により前記処理対象画像信号が前記側方領域に対応すると判定された場合には、前記倍率色収差補正処理として、側方倍率色収差補正処理を行い、
前記補正係数保存部は、
前記側方倍率色収差補正処理に用いられる側方補正係数を、前記補正係数として保存することを特徴とする内視鏡用画像処理装置。
【請求項１４】
請求項１において、
前記画像取得部は、
撮像素子により取得された画像信号に基づいて前記前方画像及び前記側方画像を取得し、
前記撮像素子は、
ベイヤ方式、２板方式、３板方式及び面順次方式のうちの少なくとも１つの撮像方式に対応する方式を用いて、前記画像信号を取得することを特徴とする内視鏡用画像処理装置。
【請求項１５】
請求項１において、
前記倍率色収差補正部は、
前記前方視野を観察する前記観察光学系の光軸を中心とした円形状の領域に対して、前記前方倍率色収差補正処理を行うことを特徴とする内視鏡用画像処理装置。
【請求項１６】
請求項１５において、
前記倍率色収差補正処理に用いられる補正係数を保存する補正係数保存部を含み、
前記補正係数保存部は、
前記前方視野を観察する前記観察光学系の前記光軸のずれの補正に用いられる前方光軸ずれ補正係数を保存することを特徴とする内視鏡用画像処理装置。
【請求項１７】
請求項９において、
前記倍率色収差補正処理に用いられる補正係数を保存する補正係数保存部を含み、
前記補正係数保存部は、
前記側方視野を観察する前記観察光学系の前記光軸のずれの補正に用いられる側方光軸ずれ補正係数を保存することを特徴とする内視鏡用画像処理装置。
【請求項１８】
前方視野に対応する前方画像及び側方視野に対応する側方画像を取得する画像取得部と、
前記前方画像に対する倍率色収差補正処理である第１の倍率色収差補正処理と、前記側方視野に対する倍率色収差補正処理である第２の倍率色収差補正処理を行う倍率色収差補正部と、
を含むことを特徴とする内視鏡用画像処理装置。
【請求項１９】
請求項１乃至１８のいずれかに記載の内視鏡用画像処理装置を含むことを特徴とする内視鏡装置。
【請求項１】
前方視野に対応する前方画像及び側方視野に対応する側方画像を取得する画像取得部と、
観察光学系により生じた倍率色収差を補正する倍率色収差補正部と、
を含み、
前記倍率色収差補正部は、
処理対象画像信号が前記前方視野及び前記側方視野のいずれに対応するかの判定処理を行うとともに、前記処理対象画像信号が前記前方視野に対応すると判定された場合には、前記倍率色収差補正処理として、前方倍率色収差補正処理を行うことを特徴とする内視鏡用画像処理装置。
【請求項２】
請求項１において、
前記倍率色収差補正部は、
前記処理対象画像信号が前記側方視野に対応すると判定された場合には、前記倍率色収差補正処理として、側方倍率色収差補正処理を行うことを特徴とする内視鏡用画像処理装置。
【請求項３】
請求項２において、
前記画像取得部は、
前記前方画像及び前記側方画像が１枚の画像として形成された画像信号を取得し、
前記倍率色収差補正部は、
取得した前記１枚の画像の中で、前記処理対象画像信号が前記前方視野及び前記側方視野のいずれに対応するかの前記判定処理を行うための判定情報を保存する判定情報保存部を含むことを特徴とする内視鏡用画像処理装置。
【請求項４】
請求項３において、
前記１枚の画像における前記前方視野に対応する領域を前方領域とし、前記１枚の画像における前記側方視野に対応する領域を側方領域とした場合に、
前記前方領域と前記側方領域の境界となる領域である境界領域を縮小する補正を行う境界領域補正部を含むことを特徴とする内視鏡用画像処理装置。
【請求項５】
請求項４において、
前記境界領域補正部は、
前記観察光学系の光軸を中心とした円形状の領域となる前記境界領域において、前記前方領域及び前記側方領域の少なくとも一方の変倍処理を行うことで前記境界領域を縮小する補正を行うことを特徴とする内視鏡用画像処理装置。
【請求項６】
請求項５において、
前記境界領域補正部は、
前記倍率色収差補正部により前記前方倍率色収差補正処理が行われた後の前記前方領域に対して変倍処理を行うことを特徴とする内視鏡用画像処理装置。
【請求項７】
請求項５において、
前記境界領域補正部は、
前記倍率色収差補正部により前記側方倍率色収差補正処理が行われた後の前記側方領域に対して変倍処理を行うことを特徴とする内視鏡用画像処理装置。
【請求項８】
請求項３において、
前記１枚の画像における前記前方視野に対応する領域を前方領域とし、前記１枚の画像における前記側方視野に対応する領域を側方領域とした場合に、
前記判定情報保存部は、
前記前方領域及び前記側方領域を規定するデータであるマスクデータを、前記判定情報として保存することを特徴とする内視鏡用画像処理装置。
【請求項９】
請求項２において、
前記倍率色収差補正部は、
前記側方視野を観察する前記観察光学系の光軸を中心とした円形状の領域に対して、前記側方倍率色収差補正処理を行うことを特徴とする内視鏡用画像処理装置。
【請求項１０】
請求項１において、
前記倍率色収差補正処理に用いられる補正係数を保存する補正係数保存部を含むことを特徴とする内視鏡用画像処理装置。
【請求項１１】
請求項１０において、
第１〜第Ｎ（Ｎは２以上の整数）の色信号における第ｉ（ｉは１≦ｉ≦Ｎの整数）の色信号の像高の自乗値を像高自乗とし、前記第ｉの色信号の像高と第ｋ（ｋはｋ≠ｉ、１≦ｋ≦Ｎの整数）の色信号の像高の比を像高比とした場合に、
前記補正係数保存部は、
前記像高自乗と前記像高比との対応関係を決定する係数を、前記補正係数として保存することを特徴とする内視鏡用画像処理装置。
【請求項１２】
請求項１０において、
前記補正係数保存部は、
前記前方倍率色収差補正処理に用いられる前方補正係数を、前記補正係数として保存することを特徴とする内視鏡用画像処理装置。
【請求項１３】
請求項１０において、
前記倍率色収差補正部は、
前記領域判定部により前記処理対象画像信号が前記側方領域に対応すると判定された場合には、前記倍率色収差補正処理として、側方倍率色収差補正処理を行い、
前記補正係数保存部は、
前記側方倍率色収差補正処理に用いられる側方補正係数を、前記補正係数として保存することを特徴とする内視鏡用画像処理装置。
【請求項１４】
請求項１において、
前記画像取得部は、
撮像素子により取得された画像信号に基づいて前記前方画像及び前記側方画像を取得し、
前記撮像素子は、
ベイヤ方式、２板方式、３板方式及び面順次方式のうちの少なくとも１つの撮像方式に対応する方式を用いて、前記画像信号を取得することを特徴とする内視鏡用画像処理装置。
【請求項１５】
請求項１において、
前記倍率色収差補正部は、
前記前方視野を観察する前記観察光学系の光軸を中心とした円形状の領域に対して、前記前方倍率色収差補正処理を行うことを特徴とする内視鏡用画像処理装置。
【請求項１６】
請求項１５において、
前記倍率色収差補正処理に用いられる補正係数を保存する補正係数保存部を含み、
前記補正係数保存部は、
前記前方視野を観察する前記観察光学系の前記光軸のずれの補正に用いられる前方光軸ずれ補正係数を保存することを特徴とする内視鏡用画像処理装置。
【請求項１７】
請求項９において、
前記倍率色収差補正処理に用いられる補正係数を保存する補正係数保存部を含み、
前記補正係数保存部は、
前記側方視野を観察する前記観察光学系の前記光軸のずれの補正に用いられる側方光軸ずれ補正係数を保存することを特徴とする内視鏡用画像処理装置。
【請求項１８】
前方視野に対応する前方画像及び側方視野に対応する側方画像を取得する画像取得部と、
前記前方画像に対する倍率色収差補正処理である第１の倍率色収差補正処理と、前記側方視野に対する倍率色収差補正処理である第２の倍率色収差補正処理を行う倍率色収差補正部と、
を含むことを特徴とする内視鏡用画像処理装置。
【請求項１９】
請求項１乃至１８のいずれかに記載の内視鏡用画像処理装置を含むことを特徴とする内視鏡装置。
【図２】
【図３】
【図４】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１】
【図６】
【図８】
【図１８】
【図１９】
【図２０】
【図３】
【図４】
【図５】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１】
【図６】
【図８】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１３−６６６４８（Ｐ２０１３−６６６４８Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０８７６５（Ｐ２０１１−２０８７６５）
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]