制御装置、内視鏡装置、絞り制御方法及びプログラム
【課題】解像度の低下を抑制したパンフォーカスを可能にする制御装置、内視鏡装置、絞り制御方法及びプログラム等を提供すること。
【解決手段】制御装置は、内視鏡装置の撮像光学系により撮像された被写体画像を取得する画像取得部３２０と、被写体画像内の画素の画素値に基づいて、被写体画像内において観察対象となる領域である観察領域の合焦・非合焦を判定する判定部３３０と、その判定の結果に基づいて、撮像光学系の絞りを制御する絞り制御部３４０と、を含む。
【解決手段】制御装置は、内視鏡装置の撮像光学系により撮像された被写体画像を取得する画像取得部３２０と、被写体画像内の画素の画素値に基づいて、被写体画像内において観察対象となる領域である観察領域の合焦・非合焦を判定する判定部３３０と、その判定の結果に基づいて、撮像光学系の絞りを制御する絞り制御部３４０と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置、内視鏡装置、絞り制御方法及びプログラム等に関する。
【背景技術】
【０００２】
従来から医療の分野においては、先端にＣＣＤなどが取り付けられた細長いスコープ部を被検体の体腔内に挿入し、被検体の体腔内を撮影して腫瘍などを観察する内視鏡が広く利用されている。内視鏡では、被検体の体腔内を照明により照らし、その照明下で撮影が行われる。この場合、観察に十分な光量の照明光が照射されている範囲において焦点が合っている画像が求められる。すなわち、近距離の被写体から遠距離の被写体までが撮像光学系の被写界深度内に含まれるパンフォーカス画像が求められる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２４０５３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、近年、診断の精度を向上させるために内視鏡画像の高画質化が求められ、従来よりも高画素の撮像素子が採用され始めている。それに伴い撮像素子の画素ピッチが小さくなると、撮像光学系の許容錯乱円が小さくなるため被写界深度が狭くなる。このため、上記の近距離の被写体から遠距離の被写体まで焦点が合っている画像の取得が困難になっている。被写界深度は絞りを絞ることで拡大することが可能だが、それに伴い小絞りボケという現象により解像度が低下するという課題がある。
【０００５】
例えば特許文献１には、観察に好適な被写体画像、すなわち画像全体で焦点が合っている画像を取得する手法が開示されている。
【０００６】
しかしながら、この手法では、複数の焦点位置で撮影した画像から、画像全体で焦点の合っている画像を合成するため、１枚の画像を取得するために複数回の撮影が必要となる。このため、観察時のフレームレートが減少してちらつきや違和感の原因となり、診断におけるユーザの疲労が増加する恐れがある。
【０００７】
本発明の幾つかの態様によれば、解像度の低下を抑制したパンフォーカスを可能にする制御装置、内視鏡装置、絞り制御方法及びプログラム等を提供できる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、内視鏡装置の撮像光学系により撮像された被写体画像を取得する画像取得部と、前記被写体画像内の画素の画素値に基づいて、前記被写体画像内において観察対象となる領域である観察領域の合焦・非合焦を判定する判定部と、前記判定の結果に基づいて、前記撮像光学系の絞りを制御する絞り制御部と、を含む制御装置に関係する。
【０００９】
本発明の一態様によれば、被写体画像内の画素の画素値に基づいて観察領域の合焦・非合焦が判定され、その判定結果に基づいて撮像光学系の絞りが制御される。これにより、解像度の低下を抑制したパンフォーカスが可能になる。
【００１０】
また本発明の他の態様は、上記に記載された制御装置を含む内視鏡装置に関係する。
【００１１】
また本発明のさらに他の態様は、撮像光学系により撮像された被写体画像を取得し、前記被写体画像内の画素の画素値に基づいて、前記被写体画像内において観察すべき領域である観察領域の合焦・非合焦を判定し、前記判定の結果に基づいて、前記撮像光学系の絞りを制御する絞り制御方法に関係する。
【００１２】
また本発明のさらに他の態様は、撮像光学系により撮像された被写体画像を取得する画像取得部と、前記被写体画像内の画素の画素値に基づいて、前記被写体画像内において観察すべき領域である観察領域の合焦・非合焦を判定する判定部と、前記判定の結果に基づいて、前記撮像光学系の絞りを制御する絞り制御部として、コンピュータを機能させるプログラムに関係する。
【図面の簡単な説明】
【００１３】
【図１】本実施形態の内視鏡装置の構成例。
【図２】判定部の詳細な構成例。
【図３】図３（Ａ）、図３（Ｂ）は、分割観察領域についての説明図。
【図４】判定部の変形例。
【図５】絞り制御処理のフローチャート例。
【図６】絞り制御処理における絞り値算出についての説明図。
【図７】絞り制御処理における絞り値算出についての説明図。
【図８】管腔状の被写体における絞り制御処理についての説明図。
【図９】非管腔状の被写体における絞り制御処理についての説明図。
【図１０】本実施形態の内視鏡装置の第２の構成例。
【図１１】判定部の第２の詳細な構成例。
【図１２】コンピュータシステムの構成を示すシステム構成図。
【図１３】コンピュータシステムにおける本体部の構成を示すブロック図。
【発明を実施するための形態】
【００１４】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１５】
１．本実施形態の概要
まず本実施形態の概要について説明する。上述のように、画素ピッチの減少に伴って、解像度を確保しつつパンフォーカスを実現することが困難となっている。
【００１６】
具体的には、点光源が光学系を通って結像面上に結像する範囲を錯乱円という。また、錯乱円を点と見なせる範囲、つまり焦点が合っていると見なせる結像面上の範囲を許容錯乱円という。錯乱円は、点光源が焦点位置にある場合に最小となり、点光源が焦点位置から離れるにつれ大きくなる。錯乱円が許容錯乱円内に収まる点光源の範囲が被写界深度であるので、画素ピッチの減少に伴って許容錯乱円が小さくなると被写界深度が狭くなる。
【００１７】
また、絞りを絞ることで被写界深度を拡大することが可能だが、それに伴い小絞りボケ（回折限界）という現象が生じる。許容錯乱円が小さいほど小絞りボケの影響が大きくなるため、画素ピッチが小さくなるとパンフォーカスと高解像度を両立することが難しくなる。例えば現行の内視鏡では、パンフォーカスを実現しつつ、小絞りボケによる解像度の低下が最小限となる絞り値（aperture value）に設計されている。しかしながら、管腔状のものや平坦なものなど、観察対象によって必要な被写界深度は異なっている。そのため、絞り値が固定されていると、被写界深度が狭くてよい場合であっても小絞りボケの影響を受けてしまう。
【００１８】
また近年では、病変の精密診断を行なうために、拡大観察が可能な撮像光学系の要求が強まっている。拡大観察を可能とする内視鏡の撮像光学系では、その被写界深度がさらに狭くなる傾向にある。
【００１９】
そこで本実施形態では、観察領域に応じて適応的に絞りを制御することで、小絞りボケによる解像度の低下を最小限に抑えながら必要な被写界深度を確保する。具体的には、図１０（Ｂ）に示すように、観察領域を分割観察領域Ａ１〜Ａ５に分割し、Ａ１〜Ａ５の合焦判定を行う。そして、その合焦判定結果に基づいて、分割観察領域Ａ１〜Ａ５が被写界深度に含まれるように撮像光学系の絞り値（絞り量）を調整する。これにより、観察したい被写体に焦点が合っている観察に好適な画像を、解像度の低下を必要最小限にして提供できる。また、フレームレートが低下しないため、ちらつき等も生じず、ユーザの負担を増加させることがない。
【００２０】
２．第１の実施形態
２．１．内視鏡装置
図１に本実施形態の内視鏡装置の構成例を示す。この内視鏡装置は、光源部１００と、撮像部２００（挿入部）と、制御装置３００（信号処理部）と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお、本実施形態は図１の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。
【００２１】
光源部１００は、白色光源１１０と、集光レンズ１２０を含む。白色光源１１０は白色光を発する。集光レンズ１２０は、白色光源１１０で発せられた光を後述するライトガイドファイバ２１０に集光する。
【００２２】
撮像部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００は、ライトガイドファイバ２１０と、照明レンズ２２０と、対物レンズ２３０と、可変絞り２４０と、撮像素子２５０を含む。ライトガイドファイバ２１０は、光源部１００で集光された光を撮像部２００の先端まで導く。照明レンズ２２０は、そのライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて観察対象に照射する。対物レンズ２３０は、観察対象から戻る反射光を撮像素子２５０に集光する。可変絞り２４０は、対物レンズ２３０から撮像素子２５０までの光路上に配置されている。そして、後述する絞り制御部３４０より出力される絞り制御信号に基づいて、撮像素子２５０に集光される光量を制御する。撮像素子２５０は、検出した反射光に基づくアナログ信号を、後述するＡ／Ｄ変換部３１０に出力する。
【００２３】
対物レンズ２３０は光学系の拡大率を変更可能な拡大機能を有している。ユーザは外部Ｉ／Ｆ部５００を操作することにより任意のタイミングでその拡大率を変更できる。より具体的には、後述する制御部３５０が、外部Ｉ／Ｆ部５００の操作により制御信号を生成し、対物レンズ２３０は、その制御信号に基づいてその拡大率を変更する。
【００２４】
制御装置３００は、Ａ／Ｄ変換部３１０と、画像取得部３２０と、判定部３３０と、絞り制御部３４０と、制御部３５０（信号処理制御部）と、調光部３６０を含む。Ａ／Ｄ変換部３１０は、画像取得部３２０に接続されている。画像取得部３２０は、判定部３３０と、調光部３６０と、表示部４００に接続されている。判定部３３０は、絞り制御部３４０に接続されている。絞り制御部３４０は、可変絞り２４０と、調光部３６０に接続されており、これらを制御する。制御部３５０は、Ａ／Ｄ変換部３１０と、画像取得部３２０と、判定部３３０と、絞り制御部３４０と、表示部４００と、外部Ｉ／Ｆ部５００に双方向に接続しており、これらを相互に制御する。調光部３６０は、白色光源１１０に接続されており、これを制御する。
【００２５】
Ａ／Ｄ変換部３１０は、撮像素子２５０から出力されるアナログ信号をデジタル信号に変換し、画像取得部３２０に出力する。
【００２６】
画像取得部３２０は、制御部３５０より出力される制御信号に基づいて、Ａ／Ｄ変換部３１０から出力されるデジタル信号に対して例えば公知の補間処理やホワイトバランス処理、色変換処理、階調変換処理等の画像処理を行い、被写体画像として取得する。画像取得部３２０は、取得した被写体画像を、判定部３３０と、表示部４００に出力する。
【００２７】
判定部３３０は、観察領域を設定し、その観察領域における合焦・非合焦の判定を行う。具体的には、判定部３３０は、観察領域を複数の分割観察領域に分割し、各分割観察領域における合焦・非合焦の判定を行い、その判定結果を絞り制御部３４０に出力する。
【００２８】
絞り制御部３４０は、判定部３３０による判定結果に基づいて絞り値を制御する。具体的には、絞り制御部３４０は、全ての分割観察領域が合焦している場合には絞り値を小さくする（絞りを開ける）。また絞り制御部３４０は、分割観察領域が１つでも非合焦の場合には、観察領域を包含する目標被写界深度を算出し、絞り値を調整して被写界深度を目標被写界深度に合わせる。
【００２９】
制御部３５０は、Ａ／Ｄ変換部３１０と、画像取得部３２０と、判定部３３０と、絞り制御部３４０と、表示部４００と、外部Ｉ／Ｆ部５００に接続されており、これらを制御する制御信号を出力する。
【００３０】
調光部３６０は、画像取得部３２０により取得される被写体画像の平均的な明るさが一定となるように、白色光源１１０が発する光量を制御する。また調光部３６０は、絞り値の変化に応じて、光量の制御方法を変える。具体的には調光部３６０は、ある時刻に取得された被写体画像の平均的な明るさが予め設定された基準値と異なった場合、その平均的な明るさと基準値との差分に基づいて、被写体画像の平均的な明るさが所定時間の経過後に基準値となるように光量を制御する。光量の制御は、所定の時間、一定の変化率で行う。また、調光部３６０は、絞り制御部３４０より出力される絞り値の変化を検出すると、絞り値の変化前後で被写体画像の平均的な明るさが変化しないように光量を制御する。具体的には調光部３６０は、絞り値の変化によりレンズ有効外径がα倍になった場合、光量を１／α２倍にする。その後調光部３６０は、平均的な明るさと基準値との差分に基づく上述の方法により光量の制御を行う。
【００３１】
表示部４００は、画像取得部３２０により取得された被写体画像を、内視鏡モニタ等の画像表示装置に出力する。
【００３２】
外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザからの入力等を行うためのインターフェースである。外部Ｉ／Ｆ部５００は、電源のオン／オフを行うための電源スイッチや、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。
【００３３】
２．２．判定部
図２に判定部３３０の詳細な構成例を示す。図２に示すように、判定部３３０は、観察領域設定部３３１と、分割部３３２と、合焦判定部３３３を含む。
【００３４】
画像取得部３２０により取得された被写体画像は、観察領域設定部３３１に出力される。観察領域設定部３３１は、分割部３３２と、絞り制御部３４０に接続されている。分割部３３２は、合焦判定部３３３に接続されている。合焦判定部３３３は、絞り制御部３４０に接続されている。
【００３５】
観察領域設定部３３１は、画像取得部３２０により取得された被写体画像の画素値に基づいて、被写体画像内に観察領域を設定する。例えば、被写体画像がＲ信号、Ｇ信号、Ｂ信号を持ったカラー画像である場合、観察領域設定部３３１はＲ信号に基づいて観察領域を設定する。これは、Ｒ信号の信号値がほぼ距離の影響のみを反映しているためである。すなわち、各信号値は被写体までの距離の２乗に逆比例するが、Ｇ，Ｂ信号はヘモグロビンによる吸光にも影響されて血管部の信号値が小さくなる。このため、Ｇ，Ｂ信号においては血管部なので信号値が小さいのか、距離が遠いため信号値が小さいのか容易に判別できない。一方、Ｒ信号はヘモグロビンに比較的吸光されにくく、信号値はほぼ距離の影響のみを反映している。そのため、Ｒ信号を利用することで被写体までの距離に基づいて観察領域を設定できる。
【００３６】
観察領域の設定手法について詳細に説明する。図３（Ａ）にＲ信号値（画素値）のヒストグラムを模式的に示す。図３（Ａ）に示すように、第１の閾値Ｖｔ１とその第１の閾値Ｖｔ１より大きな値である第２の閾値Ｖｔ２を設定する。そして、Ｒ信号値が第１の閾値Ｖｔ１より大きく、第２の閾値Ｖｔ２以下の画素を観察領域として設定する。これは、被写体画像上で遠い被写体のＲ信号値は小さく、近い被写体のＲ信号値は大きいためである。すなわち図３（Ｂ）に示すように、Ｒ信号値がＶｔ１である被写体からＲ信号値がＶｔ２である被写体までの範囲が観察領域に設定される。
【００３７】
なお、観察領域に対して例えば公知の方法でラベリング処理を行い、同一のラベルが付与された画素数が所定の閾値以下の領域を観察領域から除去してもよい。
【００３８】
本実施形態では、第１の閾値Ｖｔ１及び第２の閾値Ｖｔ２を被写体の形状に基づいて設定する。具体的には、被写体の形状が管腔状である場合、管腔状でない場合に比べて、第１の閾値Ｖｔ１をより小さい値に設定し、第２の閾値をより大きい値に設定する。内視鏡装置では、被写体画像の平均的な明るさが一定の値となるように、被写体に照射する光量の制御を行っている。このため、被写体画像の平均的な明るさ（例えばＲ信号値の平均値）が所定の範囲にある場合に、光量の制御が完了したと判定し、上述の手法により観察領域を設定する。被写体が管腔状である場合、撮像部２００の先端から見て近い被写体から遠い被写体まで広い範囲で合焦しているパンフォーカスが求められる。そのため、広い範囲がその観察領域に設定されるように、第１の閾値Ｖｔ１と第２の閾値Ｖｔ２との差分を大きく設定する。一方被写体が管腔状でない場合、合焦する範囲は広くなくてもよいため、第１の閾値Ｖｔ１と第２の閾値Ｖｔ２との差分を、被写体が管腔状である場合に比べて小さく設定する。
【００３９】
第１の閾値Ｖｔ１と第２の閾値Ｖｔ２は、管腔状等の様々な被写体を撮影して取得した被写体画像から予め決定する。被写体の形状は、例えば被写体画像のＲ信号値のヒストグラムから算出される統計量から判定される。例えば、その統計量は尖度であり、その尖度が所定の閾値以上であれば被写体は管腔状であると判定する。管腔状の被写体の場合、撮像部に近く明るい部分から遠く暗い部分まで撮像するためＲ信号値が幅広い値に分布し、ヒストグラムが広がる傾向にある。そのため、ヒストグラムの広がりを示す統計量である尖度を用いることで被写体形状を判定することが可能である。
【００４０】
なお上記では、被写体画像のＲ信号値及び、そのＲ信号値に対応する第１の閾値Ｖｔ１及び第２の閾値Ｖｔ２に基づいて観察領域を設定したが、本実施形態ではこれに限定されない。例えば、Ｒ，Ｇ，Ｂ信号値から公知の方法で算出される輝度信号及び、その輝度信号に対応する第３の閾値及び第４の閾値に基づいて観察領域を設定してもよい。
【００４１】
分割部３３２は、観察領域設定部３３１により設定された観察領域を、第１〜第Ｎの分割観察領域（Ｎ個の領域。Ｎは自然数）に分割する。具体的には図３（Ａ）に示すように、分割部３３２は、観察領域内のＲ信号値からヒストグラムを作成し、ヒストグラムをＮ区間に分割する。図３（Ａ）の例では、第１〜第５の区間Ｚ１〜Ｚ５に分割する。そして分割部３３２は、Ｒ信号値が区間Ｚ１〜Ｚ５に含まれる画素を被写体画像から抽出し、その区間Ｚ１〜Ｚ５に含まれる画素をそれぞれ第１〜第５の分割観察領域とする。このようにして、図３（Ｂ）に示すように観察領域が第１〜第５の分割観察領域Ａ１〜Ａ５に分割される。Ｒ信号値は距離の二乗に反比例するため、分割観察領域は撮像部からの距離の区間に対応している。
【００４２】
例えば、分割部３３２は、各区間に含まれる画素数が可能な限り等しくなるようにヒストグラムを分割する。本実施形態では、例えば各区間におけるＲ信号値の平均値を求め、その各区間における平均値の平均値を観察領域におけるＲ信号値の平均値とし、その観察領域におけるＲ信号値の平均値に基づいて各区間の合焦判定を行う。このような場合に、各区間に含まれる画素数を等しくすることで、観察領域におけるＲ信号値の平均値を適切に算出できる。
【００４３】
なお本実施形態では、上記の分割手法に限定されず、例えばグラフカット手法などの公知の手法により、観察領域をＮ個の分割観察領域に分割してもよい。
【００４４】
合焦判定部３３３は、分割部３３２により分割された分割観察領域毎に合焦しているか否かを判定する。具体的には、合焦判定部３３３は、各分割観察領域におけるコントラストを算出し、そのコントラストが所定の合焦閾値以上であれば合焦と判定し、所定の合焦閾値より小さければ非合焦であると判定する。
【００４５】
例えば、コントラストの算出手法として、分割観察領域の画素のＧ信号又はＢ信号に対してディジタルフィルタ処理を行う手法を用いる。ディジタルフィルタ処理は各信号に対して行う。例えば、ディジタルフィルタ処理は、公知のラプラシアンフィルタによるフィルタリング処理である。フィルタリング処理の結果、分割観察領域内の画素毎にＧ信号又はＢ信号における出力値が得られる。合焦判定部３３３は、その出力値の絶対値をコントラストとする。そして、合焦判定部３３３は、そのコントラストと合焦閾値との比較結果に基づいて合焦判定を行う。
【００４６】
合焦閾値は、分割観察領域毎に算出したＲ信号の平均値に対応した値である。具体的には、各分割観察領域におけるＲ信号の平均値と合焦閾値との関係を保持したテーブルを参照して、分割観察領域毎に算出した平均値に対応する合焦閾値を取得する。そして、合焦判定部３３３は、分割観察領域のコントラストが合焦閾値より大きければ、その分割観察領域は合焦であると判定し、小さければ、その分割観察領域は非合焦であると判定する。合焦判定部３３３は、分割観察領域毎に算出した平均Ｒ信号値を代表信号値とし、その代表信号値と、各分割観察領域の合焦判定結果とを絞り制御部３４０に出力する。
【００４７】
なお、コントラストを算出するためのディジタルフィルタは、予め取得した被写体画像のＧ信号又はＢ信号から空間周波数を解析し、被写体画像に特徴的な周波数成分を強調するように設計してもよい。
【００４８】
２．３．判定部の変形例
図４に判定部３３０の変形例を示す。図４に示すように、判定部３３０は、観察領域設定部３３１と、分割部３３２と、合焦判定部３３３と、受付部３３４を含む。観察領域設定部３３１と受付部３３４以外の構成要素は、上述の構成例と同様である。
【００４９】
受付部３３４は、ユーザが入力した観察領域に関する情報を観察領域補助情報として受け付け、その観察領域補助情報を観察領域設定部３３１に出力する。具体的には、観察領域補助情報は、ユーザにより外部Ｉ／Ｆ部５００を介して入力され、外部Ｉ／Ｆ部５００から制御部３５０に出力される。そして、制御部３５０は、観察領域補助情報を含んだ制御信号を生成する。受付部３３４は、その制御信号から観察領域補助情報を抽出することで、観察領域補助情報を受け付ける。
【００５０】
例えば、観察領域補助情報は、上述の第１の閾値Ｖｔ１及び第２の閾値Ｖｔ２である。この場合、例えば、ユーザに対して被写体画像のヒストグラムを提示し、ユーザがそのヒストグラムに基づいて任意の第１の閾値Ｖｔ１及び第２の閾値Ｖｔ２をキーボード等で入力する。
【００５１】
なお、種々の被写体形状に対応する第１の閾値Ｖｔ１及び第２の閾値Ｖｔ２の組み合わせを予め記憶しておき、ユーザがその組み合わせを任意のタイミングで選択してもよい。また、観察領域補助情報は、被写体画像内の領域を示す領域情報であってもよい。この場合、例えば内視鏡モニタがタッチパネルを具備し、その内視鏡モニタに表示されている被写体画像に対してユーザがタッチペン等の入力装置を用いて領域情報を入力する。ユーザが直接タッチパネルに触れてその領域情報を入力してもよい。
【００５２】
観察領域設定部３３１は、受付部３３４から出力された観察領域補助情報に対応する手法により被写体画像内に観察領域を設定する。観察領域補助情報が第１の閾値Ｖｔ１及び第２の閾値Ｖｔ２である場合、被写体画像においてＲ信号が第１の閾値Ｖｔ１以上かつ第２の閾値Ｖｔ２以下である画素を観察領域として設定する。また、観察領域補助情報が領域情報である場合、その領域情報が示す領域を観察領域として設定する。
【００５３】
２．４．絞り制御部
次に、絞り制御部３４０について詳細に説明する。絞り制御部３４０は、観察領域設定部３３１により判別された被写体の形状、及び、合焦判定部３３３からの各分割観察領域における代表信号値と合焦判定結果に基づいて、可変絞り２４０の絞り値を制御する。
【００５４】
図５に、絞り制御部３４０が絞り値を制御する処理のフローチャート例を示す。この絞り制御処理は、合焦判定が行われる度に開始される。図５に示すように、この処理が開始されると、絞り値の変更が禁止される期間である変更禁止期間中であるか否かを判定する（ステップＳ１）。後述する処理により変更禁止期間を設定される場合があり、その変更禁止期間中であれば処理を終了する（ステップＳ１、Ｙｅｓ）。
【００５５】
変更禁止期間中でない場合（ステップＳ１、Ｎｏ）、合焦判定に基づいて絞り値の制御を行う。まず、全ての分割観察領域において合焦判定が合焦であるかを判定する（ステップＳ２）。全て合焦の場合（ステップＳ２、Ｙｅｓ）、絞り値を小さくする。例えば、可変絞り２４０を１段開く（ステップＳ３）。
【００５６】
ステップＳ２の条件を満たさなかった場合（ステップＳ２、Ｎｏ）、直前の絞り制御処理においてステップＳ３が行われたか否かの判定、及び非合焦判定の数の判定を行う（ステップＳ４）。ここで、直前の絞り制御処理とは、現在行われている絞り制御処理に対応する合焦判定を除いて、最も新しく行われた合焦判定を受けて開始された絞り制御処理を指す。直前の絞り制御処理においてステップＳ３が行われ、かつ非合焦判定の数が所定数以上の場合（ステップＳ４、Ｙｅｓ）、変更禁止期間を設定し（ステップＳ５）、可変絞り２４０の絞り値を元に戻す（ステップＳ６）。このように絞り値を制御することで、ユーザがパンフォーカスで被写体を観察している最中に、被写界深度を安定させることができる。
【００５７】
ステップＳ４の条件を満たさなかった場合（ステップＳ４、Ｎｏ）、全ての合焦判定が非合焦であるか否かを判定する（ステップＳ７）。全て非合焦である場合（ステップＳ７、Ｙｅｓ）、絞り値を大きくする。例えば、可変絞り２４０を１段絞る（ステップＳ６）。
【００５８】
ステップＳ７の条件を満たさなかった場合（ステップＳ７、Ｎｏ）、撮像部先端から被写体までの距離を疑似的に表した疑似距離を算出する（ステップＳ８）。具体的には、上述の代表信号値の２乗根の逆数を疑似距離とする。次に、その疑似距離に基づいて現在の絞り値における被写界深度と、目標となる絞り値における目標被写界深度と、を算出する（ステップＳ９）。
【００５９】
具体的には、図６に示すように、疑似距離を横軸に、合焦判定を縦軸にプロットしたグラフを作成する。ここで、縦軸の数値は、合焦判定が合焦であれば１とし、非合焦であれば０とする。次に、そのプロット点に対し最小二乗法を用いて上に凸な２次の近似関数を算出する。疑似距離の軸上における近似関数の頂点の位置を、内視鏡装置の撮像光学系の焦点位置とする。ここで、焦点位置や、被写界深度、目標被写界深度は、実世界の物理的距離ではなく疑似距離で表される値である。次に、合焦と判定された分割観察領域のうち、疑似距離軸上において焦点位置から最も遠い分割観察領域の位置を深度端とする。そして、焦点位置から深度端までの疑似距離を疑似被写界深度とする。
【００６０】
なお、図７に示すように、合焦と判定された分割観察領域が１つである場合、その合焦と判定された分割観察領域の疑似距離軸上における位置を焦点位置とする。そして、疑似距離軸上において焦点位置から最も近い分割観察領域の位置と、焦点位置との中間位置（例えば１／２の位置）を深度端とする。焦点位置から深度端までの疑似距離を疑似被写界深度とする。
【００６１】
また、上記では疑似距離と合焦判定の関係を二次関数により近似したが、ガウス関数で近似してもよい。この場合、ガウス関数の平均値を焦点位置とし、ガウス関数の標準偏差を疑似被写界深度とする。また、合焦と判定された分割観察領域のうち、ガウス近似関数の値が最も小さい分割観察領域の位置を深度端とする。
【００６２】
次に、図６に示すように、深度端と焦点位置の位置関係に基づいて、疑似被写界深度が後方被写界深度か前方被写界深度かを判定する。具体的には、深度端が焦点位置よりも遠くに存在すれば後方被写界深度と判定し、深度端が焦点位置よりも近くに存在すれば前方被写界深度と判定する。次に、焦点位置から最も遠い分割観察領域を目標深度端とし、その目標深度端と焦点位置との間の疑似距離を目標被写界深度とする。目標深度端が焦点位置より遠方にある場合には目標被写界深度を後方目標被写界深度とし、目標深度端が焦点位置より近方にある場合には目標被写界深度を前方目標被写界深度とする。
【００６３】
次に、図５に示すように、被写体の形状を判定する（ステップＳ１０）。被写体の形状が管腔状の場合（ステップＳ１０、Ｙｅｓ）、疑似距離に基づいて算出した上述の値と内視鏡撮像光学系の設計データとに基づいて、目標となる絞り値を算出する（ステップＳ１１）。
【００６４】
絞り値の算出について詳細に説明する。説明の準備のため、まず被写界深度について説明する。後方被写界深度Ｋｂと前方被写界深度Ｋｆは、それぞれ下式（１）、（２）により表される。ここで、Ｌは焦点位置、ｒは許容錯乱円径、ＦはＦ値、ｆは焦点距離である。
【数１】
【数２】
【００６５】
また、Ｆ値は下式（３）により算出される。ここで、ｄは現在の絞り値におけるレンズの有効口径である。絞り値が大きくなればｄは小さくなる。
【数３】
【００６６】
上式（１）、（２）を書き直すと、下式（４）、（５）となる。
【数４】
【数５】
【００６７】
後方目標被写界深度Ｏｂと前方目標被写界深度Ｏｆは、それぞれ下式（６）、（７）により表される。ここで、ｄ’は目標とするレンズの有効口径である。
【数６】
【数７】
【００６８】
次に、目標とするレンズの有効口径ｄ’の算出について説明する。ｄ’が求まれば、Ｆ＝ｆ／ｄ’により目標とするＦ値が求まる。まず、図８に示すように管腔状の被写体の場合、内視鏡先端から相対的なある一定の範囲Ｄａｄにおいて合焦していることが求められる。管腔状の場合には撮像部の抜き差しが可能であるため、被写界深度Ｄａｄの幅さえ確保されていれば、抜き差しによって観察領域を被写界深度に入れることが可能なためである。この場合、被写界深度Ｄａｄの幅が目標被写界深度Ｄｔｇの幅となればよいので、ｄ’を下式（８）、（９）により算出する。下式（９）は、上式（６）と（７）にＬ＝Ｌｔ、ｒ＝ｒｔ、ｆ＝ｆｔを代入し、Ｏｂ＋Ｏｆ＝Ｗｏをｄ’について解くことで求められる。なおＤａｄ≧Ｄｔｇであってもよい。
【数８】
【数９】
【００６９】
上式（８）、（９）において、Ｗｔは実世界での物理的な被写界深度、Ｌｔは実世界での物理的な焦点距離、ｒｔは実世界での物理的な許容錯乱円の径、ｆｔは実世界での物理的な焦点距離である。これらの値は、内視鏡装置の撮像光学系の設計データにより既知または算出可能である。
【００７０】
ここで、図６や図７では、後方被写界深度Ｋｂと前方被写界深度Ｋｆのいずれか一方、及び、後方目標被写界深度Ｏｂと前方目標被写界深度Ｏｆのいずれか一方が求められている。上式（８）では、例えばＫｂ＝Ｋｆ、Ｏｂ＝ＯｆとしてＷｏを算出する。あるいは、合焦と判定された分割観察領域の位置のうちの最遠位置から最近位置までの疑似距離をＫｂ＋Ｋｆとし、全ての分割観察領域の位置のうちの最遠位置から最近位置までの疑似距離をＯｂ＋Ｏｆとしてもよい。
【００７１】
次に、図５に示すように被写体が管腔状でない場合（ステップＳ１０、Ｎｏ）、疑似距離に基づいて算出した値より目標となる絞り値を算出する（ステップＳ１２）。図９に示すように、被写体が管腔状でない場合、ある位置に存在する被写体全体において合焦していることが求められる。すなわち、被写界深度Ｄａｄが目標被写界深度Ｄｔｇと一致（深度端が目標深度端と一致）すればよい。
【００７２】
深度端が焦点位置より遠方、及び目標深度端が焦点位置より遠方の場合、目標とするレンズの有効口径ｄ’を下式（１０）により算出する。下式（１０）は、上式（４）及び上式（６）に基づいて算出される。
【数１０】
【００７３】
深度端が焦点位置より遠方、及び目標深度端が焦点位置より近方の場合、目標とするレンズの有効口径ｄ’を下式（１１）により算出する。下式（１１）は、上式（４）及び上式（７）に基づいて算出される。
【数１１】
【００７４】
深度端が焦点位置より近方、及び目標深度端が焦点位置より遠方の場合、目標とするレンズの有効口径ｄ’を下式（１２）により算出する。下式（１２）は、上式（５）及び上式（６）に基づいて算出される。
【数１２】
【００７５】
深度端が焦点位置より近方、及び目標深度端が焦点位置より近方の場合、目標とするレンズの有効口径ｄ’を下式（１３）により算出する。下式（１３）は、上式（５）及び上式（７）に基づいて算出される。
【数１３】
【００７６】
次に、図５に示すように、レンズの有効口径が、上式（８）〜（１３）のいずれかで算出したｄ’となるように絞り制御信号を可変絞り２４０に出力し、可変絞り２４０の絞り値を制御する（ステップＳ１３）。上述のステップＳ３、Ｓ６、Ｓ１３を行った後、絞り制御処理は終了する。
【００７７】
なお、後述する制御部３５０から出力される制御信号に基づいて、対物レンズ２３０の拡大動作の開始を検出した場合、可変絞り２４０の絞り値を拡大動作に対応した所定の絞り値に制御する。例えば、被写体に対して拡大観察を行った場合、非拡大観察時に比べて被写界深度が狭くなるため光軸方向の手ブレによってピントが外れやすくなる。そのため、光軸方向の手ブレ等の影響が所定量存在したとしても被写体が収まる被写界深度を実現する絞り値を予め取得しておく。この絞り値は、対物レンズ２３０が取り得る拡大率毎に取得しておく。
【００７８】
以上によれば、本実施形態の制御装置３００は、画像取得部３２０と判定部３３０と絞り制御部３４０を含む。画像取得部３２０は、内視鏡装置の撮像光学系により撮像された被写体画像を取得する。判定部３３０は、被写体画像内の画素の画素値に基づいて、被写体画像内において観察対象となる領域（観察すべき領域）である観察領域の合焦・非合焦を判定する。絞り制御部３４０は、その判定の結果に基づいて、撮像光学系の絞りを制御する。
【００７９】
このようにすれば、ユーザが観察したい範囲の被写体に焦点が合っているか否かを被写体画像に基づいて判定し、焦点が合っていない場合は撮像光学系の可変絞りを制御することで観察したい範囲に焦点を合わせることができる。これにより、観察したい範囲に焦点が合った好適な画像をユーザに提供することができる。また、必要最小限の範囲に焦点が合うように絞り値を制御できるため、小絞りボケによる解像度の低下も最小限に抑えることができる。また、上述の特許文献１のようにフレームレートを減少させる必要がないため、観察においてユーザが感じる疲労を軽減できる。
【００８０】
なお本実施形態では、撮像光学系は図１の対物レンズ２３０と、可変絞り２４０と、撮像素子２５０に対応する。また、絞りは可変絞り２４０に対応する。ここで、観察領域とは、被写体画像においてユーザが観察対象とする領域であり、例えば観察領域設定部３３１により設定されてもよいし、ユーザからの指示により設定されてもよい。観察領域は１つの領域であってもよいし、複数の分割観察領域に分割されてもよい。
【００８１】
また本実施形態では、図２に示すように判定部３３０は観察領域を複数の分割観察領域に分割する分割部３３２を有する。判定部３３０は、分割された各分割観察領域の合焦・非合焦を判定する。絞り制御部３４０は、その各分割観察領域の判定結果に基づいて、撮像光学系の絞りを制御する。
【００８２】
具体的には図５のＳ２、Ｓ３に示すように、絞り制御部３４０は、判定部３３０により複数の分割観察領域の全てが合焦であると判定された場合、絞りの絞り値を小さくする制御を行う。一方図５のＳ４〜Ｓ１３に示すように、絞り制御部３４０は、判定部３３０により少なくとも一つ以上の分割観察領域が非合焦であると判定された場合、絞りの絞り値を大きくする制御を行う。
【００８３】
このようにすれば、分割観察領域の全てが合焦の場合には被写界深度が縮小され、分割観察領域が１つでも非合焦の場合には被写界深度が拡大される。これにより、観察領域を含む必要最小限の被写界深度を実現できる。
【００８４】
ここで、絞り値とは、絞りの開口を表す値であり、例えばＦ値である。絞り値を小さくする場合、現在の開口よりも開口が大きくなり、絞り値を大きくする場合、現在の開口よりも開口が小さくなる。絞り値は、無段階に連続的に調整可能であってもよいし、段階的に調整可能であってもよい。
【００８５】
また本実施形態では、図５のＳ８〜Ｓ１０、Ｓ１２〜Ｓ１３で上述のように、絞り制御部３４０は、判定部３３０により少なくとも一つ以上の分割観察領域が非合焦であると判定された場合、各分割観察領域に対応する実空間上の対応点が、撮像光学系の被写界深度の範囲に含まれるように撮像光学系の絞りを制御する。例えば本実施形態では非管腔状の被写体と判定された場合にこの絞り制御を行う。
【００８６】
このようにすれば、各分割観察領域に対応する実空間上の対応点が被写界深度に含まれる場合の絞り値を算出し、その絞り値に基づいて撮像光学系の絞りを制御できる。これにより、観察領域を含む必要最小限の被写界深度を実現可能である。
【００８７】
ここで、各分割観察領域に対応する実空間上の対応点とは、例えば撮像部から各分割観察領域までの代表距離に対応する光軸上の点である。例えば、上述のように分割観察領域内のＲ信号値の平均値を代表信号値とする場合、代表信号値の二乗根の逆数である疑似距離が代表距離に対応する。また、後述する第２実施例では、距離推定部３７０により撮像部から各分割観察領域までの実距離が推定され、その推定された実距離が代表距離に対応する。
【００８８】
また本実施形態では、図６等で上述のように、絞り制御部３４０は、各分割観察領域に対応する実空間上の対応点のうちの最遠点及び最近点（目標深度端）が、少なくとも撮像光学系の被写界深度の範囲に含まれるように撮像光学系の絞りを制御する。より具体的には上式（１０）〜（１３）で上述のように、絞り制御部３４０は、最遠点と被写界深度の遠点とが一致（後方目標被写界深度と後方被写界深度が一致）するように、又は、最近点と被写界深度の近点とが一致（前方目標被写界深度と前方被写界深度が一致）するように撮像光学系の絞りを制御する。
【００８９】
このようにすれば、各分割観察領域に対応する実空間上の対応点が被写界深度に含まれるように絞り値を制御し、観察領域を含む必要最小限の被写界深度を実現できる。
【００９０】
また本実施形態では、図５のＳ８〜Ｓ１１、Ｓ１３で上述のように、絞り制御部３４０は、判定部３３０により少なくとも一つ以上の分割観察領域が非合焦であると判定された場合、撮像光学系の被写界深度が、各分割観察領域に対応する実空間上の対応点のうちの最近点から最遠点までの距離以上となるように撮像光学系の絞りを制御する。例えば本実施形態では管腔状の被写体と判定された場合にこの絞り制御を行う。
【００９１】
このようにすれば、被写界深度の幅が目標被写界深度の幅以上となる場合の絞り値を算出し、その絞り値に基づいて絞りを制御できる。これにより、図８等で上述のように観察領域にピントを合わせるために必要な被写界深度を確保できる。
【００９２】
また本実施形態では、図５のＳ４〜Ｓ５、Ｓ１で上述のように、絞り制御部３４０は、判定部３３０による前回の判定において、複数の分割観察領域の全てが合焦であると判定され、判定部３３０による今回の判定において、複数の分割観察領域のうちの所定数以上の分割領域が非合焦であると判定された場合、絞り値の変更を禁止する変更禁止期間を設定する。そして絞り制御部３４０は、変更禁止期間が経過するまで絞り値を変更しない。
【００９３】
このようにすれば、被写界深度が急激に拡大縮小を繰り返すことを抑制できる。すなわち、図５のＳ２、Ｓ３に示すように絞りを開けて被写界深度を縮小した場合、絞り値１段階の調整による被写界深度の変化が大き過ぎることがある。このような場合に、すぐに絞り値を１段階絞って被写界深度を元に戻すと、被写界深度の拡大縮小を繰り返すことになり観察しにくい映像になってしまう。この点本実施形態では、変更禁止期間を設けるため被写界深度の急激な拡大縮小を抑制できる。
【００９４】
また本実施形態では、絞り制御部３４０は、判定部３３０により観察領域が非合焦であると判定された場合、撮像光学系の絞りの絞り値を大きくする。
【００９５】
観察領域は複数の分割観察領域に分割されてもよいし、１つの観察領域であってもよい。観察領域が１つの領域である場合、例えば、その領域が合焦と判定された場合には絞り値を１段階小さくし（絞りを開け）、その領域が非合焦と判定された場合には絞り値を１段階大きくすれば（絞りを絞れば）よい。
【００９６】
また本実施形態では、図２に示すように、判定部３３０は、被写体画像上において観察領域を設定する観察領域設定部３３１を有する。判定部３３０は、設定された観察領域内の画素の画素値（例えばＲ信号値の平均値）に基づいて、観察領域の合焦・非合焦を判定する。具体的には、観察領域設定部３３１は、被写体画像内の画素の画素値（Ｒ信号値）に基づいて観察領域を設定する。
【００９７】
このようにすれば、観察領域設定部３３１により自動的に観察領域を設定し、合焦判定を行うことが可能になる。
【００９８】
また本実施形態では、図４に示すように、被写体画像上における観察領域を特定するための情報（観察領域補助情報）をユーザから受け付ける受付部３３４をさらに含んでもよい。この場合、観察領域設定部３３１は、受け付けた情報に基づいて観察領域を設定する。
【００９９】
このようにすれば、ユーザが指示した領域を観察領域に設定し、合焦判定を行うことが可能になる。観察領域を特定するための情報は、例えば閾値Ｖｔ１、Ｖｔ２や、領域を表す座標情報などである。
【０１００】
また本実施形態では、被写体画像は、ＲＧＢのチャンネルを有するカラー画像である。判定部３３０は、Ｇチャンネル及びＢチャンネルの少なくとも一方のコントラストを算出するコントラスト算出部を有する。判定部３３０は、算出されたコントラストに基づいて観察領域の合焦・非合焦を判定する。
【０１０１】
このようにすれば、ＧチャンネルまたはＢチャンネルのコントラストに基づいて合焦判定できる。あるいは、Ｇチャンネル及びＢチャンネルの両方のコントラストに基づいて合焦判定できる。ＧチャンネルやＢチャンネルではヘモグロビンの吸収により血管構造が写りやすいため、コントラストを用いた合焦判定の精度を向上できる。なお本実施形態では、コントラスト算出部は図２や図４の合焦判定部３３３に対応する。
【０１０２】
また本実施形態では、撮像光学系は、被写体の撮像倍率を可変に設定可能である（被写体の一部を拡大して撮像する拡大機能を有する）。絞り制御部３４０は、撮像倍率に応じて絞りの絞り値を制御する。具体的には、絞り制御部３４０は、撮像倍率に応じて変化した撮像光学系の焦点距離又は焦点位置に基づいて、撮像光学系の被写界深度が所定の被写界深度となるように絞り値を制御する。
【０１０３】
このようにすれば、上述のように光軸方向の手ブレによって観察領域が被写界深度から外れてしまうことを抑制することが可能になる。
【０１０４】
ここで、撮像光学系の撮像倍率は、例えば、撮像部先端を被写体に接近させ、それに伴って焦点位置を撮像部側に近づけることで可変に設定可能である。この場合、焦点位置に応じて絞り値を制御する。あるいは、いわゆる光学ズームにより撮像光学系の焦点距離を長くすることで可変に設定可能である。この場合、焦点距離に応じて絞り値を制御する。
【０１０５】
また本実施形態では、図１に示すように、被写体に照射する光量を制御する調光部３６０をさらに含む。調光部３６０は、絞りの絞り値に基づいて光量を制御する。
【０１０６】
このようにすれば、絞り値の変更により画像の明るさが変化してしまうことを抑制できる。例えば、画像の明るさ（例えば輝度）の平均値が絞り値変更の前後で同一となるように光量を制御することで、画像の明るさの平均値を一定に保つことができる。
【０１０７】
３．第２の実施形態
第２の実施形態では、絞り値だけでなく焦点位置の制御を行うことで、解像度の低下をより抑制しながらパンフォーカスを実現する。この第２の実施形態について説明する。
【０１０８】
図１０に本実施形態の内視鏡装置の第２の構成例を示す。この内視鏡装置は、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。撮像部２００及び制御装置３００以外は上述の第１の実施形態と同様であるため、適宜説明を省略する。
【０１０９】
撮像部２００は、ライトガイドファイバ２１０と、照明レンズ２２０と、対物レンズ２３０と、可変絞り２４０と、撮像素子２５０を含む。対物レンズ２３０以外は、第１の実施形態と同様である。
【０１１０】
対物レンズ２３０は、焦点位置調整機能をさらに備えており、後述する焦点位置制御部３９０から出力される焦点位置制御信号に基づいて、焦点位置を調整する。
【０１１１】
制御装置３００は、Ａ／Ｄ変換部３１０と、画像取得部３２０と、判定部３３０と、絞り制御部３４０と、制御部３５０と、調光部３６０と、距離推定部３７０と、制御値算出部３８０と、焦点位置制御部３９０を含む。Ａ／Ｄ変換部３１０と、画像取得部３２０と、制御部３５０と、調光部３６０は第１の実施形態と同様である。
【０１１２】
判定部３３０は、絞り制御部３４０と、距離推定部３７０に接続されている。絞り制御部３４０は、可変絞り２４０と、調光部３６０に接続されており、これらを制御する。調光部３６０は、白色光源１１０と、距離推定部３７０に接続されている。距離推定部３７０は、制御値算出部３８０に接続されている。制御値算出部３８０は、絞り制御部３４０と、焦点位置制御部３９０に接続されている。焦点位置制御部３９０は、対物レンズ２３０に接続されており、焦点位置を制御する。
【０１１３】
図１１に判定部３３０の第２の詳細な構成例を示す。図１１に示すように、判定部３３０は、観察領域設定部３３１と、分割部３３２と、合焦判定部３３３を含む。合焦判定部３３３以外は第１の実施形態と同様である。
【０１１４】
合焦判定部３３３は、第１の実施形態と同様に分割観察領域毎に合焦判定を行う。合焦判定部３３３は、合焦判定結果を、絞り制御部３４０と距離推定部３７０に出力する。
【０１１５】
図１０の調光部３６０は、第１の実施形態と同様に、画像取得部３２０により取得される被写体画像の平均的な明るさが一定となるように、白色光源１１０が発する光量を制御する。また調光部３６０は、絞り値の変化に応じて光量の制御手法を変える。調光部３６０は、距離推定部３７０に白色光源１１０の光量を通知する。
【０１１６】
距離推定部３７０は、判定部３３０から出力される分割観察領域の画素値、及び分割観察領域における合焦判定結果、及び調光部３６０より通知される白色光源１１０の光量に基づいて、分割観察領域に対応する被写体までの物理的な距離を推定する。分割観察領域毎の合焦判定が全て合焦である場合、距離推定部３７０は起動せず被写体までの物理的な距離を推定しない。分割観察領域毎の合焦判定が１つでも非合焦である場合、距離推定部３７０は起動し、被写体までの物理的な距離を推定する。具体的には、予め様々な白色光源１１０の光量において種々の距離から被写体画像を取得し、その光量と距離に応じた被写体画像の画素値（例えばＲ信号値）をテーブルとして保持しておく。そして、距離推定部３７０は、調光部３６０より通知される光量と、判定部３３０からの分割観察領域毎の代表信号値とに基づいてテーブルを参照し、各分割観察領域に対応する被写体距離を推定する。
【０１１７】
推定した各分割観察領域の被写体距離のうち撮像部から最も遠くに存在する分割観察領域を最遠点とし、撮像部から最も近くに存在する分割観察領域を最近点とする。距離推定部３７０は、最遠点の被写体距離である最遠点距離と、最近点の被写体距離である最近点距離を、制御値算出部３８０に出力する。
【０１１８】
なお、第１の実施形態における絞り制御部３４０と同様に疑似距離において算出した被写界深度と、撮像光学系の設計データに基づいて算出した物理的な被写界深度と、の関係に基づいて下式（１４）により被写体距離Ｄｔを推定してもよい。ここで、Ｗｔは撮像光学系の設計データに基づいて算出した物理的な被写界深度である。Ｗｐは疑似距離において算出した被写界深度である。Ｄｐは被写体までの疑似距離である。
【数１４】
【０１１９】
制御値算出部３８０は、距離推定部３７０から出力される最遠点距離と最近点距離に基づいて、絞り値と焦点位置を算出する。具体的には、最遠点と撮像光学系の被写界深度の遠点とが一致するとともに、最近点と撮像光学系の被写界深度の近点とが一致する絞り値と焦点位置を算出する。
【０１２０】
絞り値と焦点位置の算出手法について詳細に説明する。被写界深度の遠点までの距離Ｄｂと、被写界深度の近点までの距離Ｄｆは、それぞれ下式（１５）、（１６）により算出される。ここで、Ｌは焦点位置であり、ｒは許容錯乱円径であり、ＦはＦ値であり、ｆは焦点距離である。
【数１５】
【数１６】
【０１２１】
上式（１５）、（１６）は、上式（３）を用いて下式（１７）、（１８）に書き直せる。
【数１７】
【数１８】
【０１２２】
上式（１７）、（１８）をＬ、ｄについて解くと、下式（１９）、（２０）となる。ｒ、ｆは、撮像光学系の設計データから算出される。
【数１９】
【数２０】
【０１２３】
本実施形態では、最遠点と被写界深度の遠点とを一致させるとともに、最近点と被写界深度の近点とを一致させる。すなわち、被写界深度の遠点までの距離Ｄｂと被写界深度の近点までの距離Ｄｆを、距離推定部３７０により算出された最遠点距離と最近点距離にそれぞれ一致させる。よって、上式（１９）、（２０）において、Ｄｂに最遠点距離を代入し、Ｄｆに最近点距離を代入することで、焦点位置Ｌとレンズ有効口径ｄが算出される。そして、算出されたレンズ有効口径ｄを上式（３）に代入して絞り値（Ｆ値）を算出する。
【０１２４】
制御値算出部３８０は、算出した絞り値を絞り制御部３４０に出力し、焦点位置を焦点位置制御部３９０に出力する。
【０１２５】
絞り制御部３４０は、判定部３３０から出力される分割観察領域毎の合焦判定結果が全て合焦である場合、第１の実施形態と同様に絞り値が小さくなるように可変絞り２４０の動作を制御する。絞り制御部３４０は、分割観察領域毎の合焦判定結果が一つでも非合焦である場合、制御値算出部３８０から出力された絞り値となるように可変絞り２４０の動作を制御する。また、絞り制御部３４０は、絞り値が変化しても被写体に照射される光量を一定に保持するために、絞り値を調光部３６０に通知する。具体的には、絞り制御部３４０は、絞り値に基づいて絞り制御信号を生成し、その絞り制御信号を可変絞り２４０と調光部３６０に出力する。
【０１２６】
焦点位置制御部３９０は、制御値算出部３８０から出力された焦点位置となるように対物レンズ２３０の動作を制御する。具体的には、焦点位置制御部３９０は、算出された焦点位置に基づいて焦点位置制御信号を生成し、その焦点位置制御信号を対物レンズ２３０に出力する。
【０１２７】
なお、上記の各実施形態では制御装置は内視鏡に接続されているが、本実施形態はこれに限定されない。例えば、内視鏡で取得した画像情報をネットワークを介してサーバに転送し、サーバで処理を行う構成であってもよい。具体的には、各実施形態における制御装置３００はサーバであり、無線若しくは有線のネットワークを介して他の構成要素と通信を行う構成であってもよい。
【０１２８】
以上によれば、図１０に示すように制御装置３００は、撮像光学系の焦点位置を制御する焦点位置制御部３９０をさらに含む。上式（１５）〜（２０）で上述のように、絞り制御部３４０及び焦点位置制御部３９０は、分割観察領域に対応する実空間上の対応点のうちの最遠点と被写界深度の遠点とが一致するとともに、分割観察領域に対応する実空間上の対応点のうちの最近点と被写界深度の近点とが一致するように、撮像光学系の絞り及び焦点位置を制御する。
【０１２９】
具体的には、制御装置３００は距離推定部３７０をさらに含む。距離推定部３７０は、被写体画像内の画素の画素値に基づいて、撮像光学系から最遠点までの第１距離と撮像光学系から最近点までの第２距離を推定する。絞り制御部３４０及び焦点位置制御部３９０は、最遠点と被写界深度の遠点とが一致するとともに、最近点と被写界深度の近点とが一致する場合の撮像光学系の絞り値及び焦点位置を、第１距離と第２距離に基づいて算出する。
【０１３０】
このようにすれば、撮像光学系の被写界深度を目標被写界深度に一致させること、すなわち、撮像光学系の被写界深度を観察領域に一致させることが可能になる。これにより、観察領域を被写界深度内に含めながら絞りを最大限開けることができ、小絞りボケによる解像度の低下を第１の実施形態よりもさらに抑制可能である。
【０１３１】
また本実施形態では、被写体画像は、ＲＧＢのチャンネルを有するカラー画像である。距離推定部３７０は、Ｒチャンネル内の画素の画素値に基づいて第１距離と第２距離を推定する。
【０１３２】
このようにすれば、Ｒ信号値に基づいて分割観察領域までの距離を推定できる。上述のようにＲチャンネルは、ＧチャンネルやＢチャンネルに比べてヘモグロビンの吸収が少ない。そのためＲチャンネルを用いることで距離を高精度に推定可能になる。
【０１３３】
４．ソフトウェア
上記の本実施形態では、制御装置３００を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、撮像部により取得された画像に対してＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【０１３４】
制御装置３００の各部が行う処理をソフトウェアとして実現する場合には、撮像部を別体とし、ワークステーションやパソコン等の公知のコンピュータシステムを制御装置として用いてもよい。この場合、制御装置３００の各部が行う処理を実現するためのプログラム（制御プログラム）を予め用意し、この制御プログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。
【０１３５】
図１２は、本変形例におけるコンピュータシステム６００の構成を示すシステム構成図であり、図１３は、このコンピュータシステム６００における本体部６１０の構成を示すブロック図である。図１２に示すように、コンピュータシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピュータシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。
【０１３６】
また、このコンピュータシステム６００における本体部６１０は、図１３に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０及びマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワーク又は広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース６１８を備える。
【０１３７】
さらに、このコンピュータシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８及びローカルエリアネットワーク又は広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。
【０１３８】
そして、このコンピュータシステム６００は、所定の記録媒体に記録された絞り制御プログラム（例えば図５）を参照して、処理手順を実現するための絞り制御プログラムを読み出して実行することで制御装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）６８１又はサーバ６８２が接続されるローカルエリアネットワーク又は広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピュータシステム６００によって読み取り可能な絞り制御プログラムを記録するあらゆる記録媒体を含む。
【０１３９】
すなわち、絞り制御プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピュータシステム６００は、このような記録媒体から絞り制御プログラムを読み出して実行することで制御装置を実現する。なお、絞り制御プログラムは、コンピュータシステム６００によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）６８１又はサーバ６８２が絞り制御プログラムを実行する場合や、これらが協働して絞り制御プログラムを実行するような場合にも、本発明を同様に適用することができる。
【０１４０】
また本実施形態は、本実施形態の各部（画像取得部、判定部、絞り制御部、制御部、調光部等）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。
【０１４１】
またコンピュータプログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。
【０１４２】
以上、本発明を適用した実施形態及びその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【０１４３】
また、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【０１４４】
１００ 光源部、１１０ 白色光源、１２０ 集光レンズ、２００ 撮像部、
２１０ ライトガイドファイバ、２２０ 照明レンズ、２３０ 対物レンズ、
２４０ 可変絞り、２５０ 撮像素子、３００ 制御装置、３１０ Ａ／Ｄ変換部、
３２０ 画像取得部、３３０ 判定部、３３１ 観察領域設定部、３３２ 分割部、
３３３ 合焦判定部、３３４ 受付部、３４０ 絞り制御部、３５０ 制御部、
３６０ 調光部、３７０ 距離推定部、３８０ 制御値算出部、
３９０ 焦点位置制御部、４００ 表示部、５００ 外部Ｉ／Ｆ部、
６００ コンピュータシステム、６１０ 本体部、
６１１ ＣＰＵ、６１２ ＲＡＭ、６１３ ＲＯＭ、６１４ ＨＤＤ、
６１５ ＣＤ−ＲＯＭドライブ、６１６ ＵＳＢポート、
６１７ Ｉ／Ｏインターフェース、６１８ ＬＡＮインターフェース、
６２０ ディスプレイ、６２１ 表示画面、６３０ キーボード、６４０ マウス、
６５０ モデム、６６０ ＣＤ−ＲＯＭ、６７０ ＵＳＢメモリ、６８１ ＰＣ、
６８２ サーバ、６８３ プリンタ、
Ａ１〜Ａ５ 分割観察領域、Ｄａｄ 被写界深度、Ｄｔｇ 目標被写界深度、
Ｆ Ｆ値、Ｋｂ 後方被写界深度、Ｋｆ 前方被写界深度、Ｌ 焦点位置、
Ｎ１ 広域エリアネットワーク、Ｎ３ 公衆回線、Ｏｂ 後方目標被写界深度、
Ｏｆ 前方目標被写界深度、Ｖｔ１ 第１の閾値、Ｖｔ２ 第２の閾値、
Ｚ１〜Ｚ５ 区間、ｄ レンズ有効口径、ｆ 焦点距離、ｒ 許容錯乱円
【技術分野】
【０００１】
本発明は、制御装置、内視鏡装置、絞り制御方法及びプログラム等に関する。
【背景技術】
【０００２】
従来から医療の分野においては、先端にＣＣＤなどが取り付けられた細長いスコープ部を被検体の体腔内に挿入し、被検体の体腔内を撮影して腫瘍などを観察する内視鏡が広く利用されている。内視鏡では、被検体の体腔内を照明により照らし、その照明下で撮影が行われる。この場合、観察に十分な光量の照明光が照射されている範囲において焦点が合っている画像が求められる。すなわち、近距離の被写体から遠距離の被写体までが撮像光学系の被写界深度内に含まれるパンフォーカス画像が求められる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２４０５３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、近年、診断の精度を向上させるために内視鏡画像の高画質化が求められ、従来よりも高画素の撮像素子が採用され始めている。それに伴い撮像素子の画素ピッチが小さくなると、撮像光学系の許容錯乱円が小さくなるため被写界深度が狭くなる。このため、上記の近距離の被写体から遠距離の被写体まで焦点が合っている画像の取得が困難になっている。被写界深度は絞りを絞ることで拡大することが可能だが、それに伴い小絞りボケという現象により解像度が低下するという課題がある。
【０００５】
例えば特許文献１には、観察に好適な被写体画像、すなわち画像全体で焦点が合っている画像を取得する手法が開示されている。
【０００６】
しかしながら、この手法では、複数の焦点位置で撮影した画像から、画像全体で焦点の合っている画像を合成するため、１枚の画像を取得するために複数回の撮影が必要となる。このため、観察時のフレームレートが減少してちらつきや違和感の原因となり、診断におけるユーザの疲労が増加する恐れがある。
【０００７】
本発明の幾つかの態様によれば、解像度の低下を抑制したパンフォーカスを可能にする制御装置、内視鏡装置、絞り制御方法及びプログラム等を提供できる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、内視鏡装置の撮像光学系により撮像された被写体画像を取得する画像取得部と、前記被写体画像内の画素の画素値に基づいて、前記被写体画像内において観察対象となる領域である観察領域の合焦・非合焦を判定する判定部と、前記判定の結果に基づいて、前記撮像光学系の絞りを制御する絞り制御部と、を含む制御装置に関係する。
【０００９】
本発明の一態様によれば、被写体画像内の画素の画素値に基づいて観察領域の合焦・非合焦が判定され、その判定結果に基づいて撮像光学系の絞りが制御される。これにより、解像度の低下を抑制したパンフォーカスが可能になる。
【００１０】
また本発明の他の態様は、上記に記載された制御装置を含む内視鏡装置に関係する。
【００１１】
また本発明のさらに他の態様は、撮像光学系により撮像された被写体画像を取得し、前記被写体画像内の画素の画素値に基づいて、前記被写体画像内において観察すべき領域である観察領域の合焦・非合焦を判定し、前記判定の結果に基づいて、前記撮像光学系の絞りを制御する絞り制御方法に関係する。
【００１２】
また本発明のさらに他の態様は、撮像光学系により撮像された被写体画像を取得する画像取得部と、前記被写体画像内の画素の画素値に基づいて、前記被写体画像内において観察すべき領域である観察領域の合焦・非合焦を判定する判定部と、前記判定の結果に基づいて、前記撮像光学系の絞りを制御する絞り制御部として、コンピュータを機能させるプログラムに関係する。
【図面の簡単な説明】
【００１３】
【図１】本実施形態の内視鏡装置の構成例。
【図２】判定部の詳細な構成例。
【図３】図３（Ａ）、図３（Ｂ）は、分割観察領域についての説明図。
【図４】判定部の変形例。
【図５】絞り制御処理のフローチャート例。
【図６】絞り制御処理における絞り値算出についての説明図。
【図７】絞り制御処理における絞り値算出についての説明図。
【図８】管腔状の被写体における絞り制御処理についての説明図。
【図９】非管腔状の被写体における絞り制御処理についての説明図。
【図１０】本実施形態の内視鏡装置の第２の構成例。
【図１１】判定部の第２の詳細な構成例。
【図１２】コンピュータシステムの構成を示すシステム構成図。
【図１３】コンピュータシステムにおける本体部の構成を示すブロック図。
【発明を実施するための形態】
【００１４】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１５】
１．本実施形態の概要
まず本実施形態の概要について説明する。上述のように、画素ピッチの減少に伴って、解像度を確保しつつパンフォーカスを実現することが困難となっている。
【００１６】
具体的には、点光源が光学系を通って結像面上に結像する範囲を錯乱円という。また、錯乱円を点と見なせる範囲、つまり焦点が合っていると見なせる結像面上の範囲を許容錯乱円という。錯乱円は、点光源が焦点位置にある場合に最小となり、点光源が焦点位置から離れるにつれ大きくなる。錯乱円が許容錯乱円内に収まる点光源の範囲が被写界深度であるので、画素ピッチの減少に伴って許容錯乱円が小さくなると被写界深度が狭くなる。
【００１７】
また、絞りを絞ることで被写界深度を拡大することが可能だが、それに伴い小絞りボケ（回折限界）という現象が生じる。許容錯乱円が小さいほど小絞りボケの影響が大きくなるため、画素ピッチが小さくなるとパンフォーカスと高解像度を両立することが難しくなる。例えば現行の内視鏡では、パンフォーカスを実現しつつ、小絞りボケによる解像度の低下が最小限となる絞り値（aperture value）に設計されている。しかしながら、管腔状のものや平坦なものなど、観察対象によって必要な被写界深度は異なっている。そのため、絞り値が固定されていると、被写界深度が狭くてよい場合であっても小絞りボケの影響を受けてしまう。
【００１８】
また近年では、病変の精密診断を行なうために、拡大観察が可能な撮像光学系の要求が強まっている。拡大観察を可能とする内視鏡の撮像光学系では、その被写界深度がさらに狭くなる傾向にある。
【００１９】
そこで本実施形態では、観察領域に応じて適応的に絞りを制御することで、小絞りボケによる解像度の低下を最小限に抑えながら必要な被写界深度を確保する。具体的には、図１０（Ｂ）に示すように、観察領域を分割観察領域Ａ１〜Ａ５に分割し、Ａ１〜Ａ５の合焦判定を行う。そして、その合焦判定結果に基づいて、分割観察領域Ａ１〜Ａ５が被写界深度に含まれるように撮像光学系の絞り値（絞り量）を調整する。これにより、観察したい被写体に焦点が合っている観察に好適な画像を、解像度の低下を必要最小限にして提供できる。また、フレームレートが低下しないため、ちらつき等も生じず、ユーザの負担を増加させることがない。
【００２０】
２．第１の実施形態
２．１．内視鏡装置
図１に本実施形態の内視鏡装置の構成例を示す。この内視鏡装置は、光源部１００と、撮像部２００（挿入部）と、制御装置３００（信号処理部）と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお、本実施形態は図１の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。
【００２１】
光源部１００は、白色光源１１０と、集光レンズ１２０を含む。白色光源１１０は白色光を発する。集光レンズ１２０は、白色光源１１０で発せられた光を後述するライトガイドファイバ２１０に集光する。
【００２２】
撮像部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００は、ライトガイドファイバ２１０と、照明レンズ２２０と、対物レンズ２３０と、可変絞り２４０と、撮像素子２５０を含む。ライトガイドファイバ２１０は、光源部１００で集光された光を撮像部２００の先端まで導く。照明レンズ２２０は、そのライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて観察対象に照射する。対物レンズ２３０は、観察対象から戻る反射光を撮像素子２５０に集光する。可変絞り２４０は、対物レンズ２３０から撮像素子２５０までの光路上に配置されている。そして、後述する絞り制御部３４０より出力される絞り制御信号に基づいて、撮像素子２５０に集光される光量を制御する。撮像素子２５０は、検出した反射光に基づくアナログ信号を、後述するＡ／Ｄ変換部３１０に出力する。
【００２３】
対物レンズ２３０は光学系の拡大率を変更可能な拡大機能を有している。ユーザは外部Ｉ／Ｆ部５００を操作することにより任意のタイミングでその拡大率を変更できる。より具体的には、後述する制御部３５０が、外部Ｉ／Ｆ部５００の操作により制御信号を生成し、対物レンズ２３０は、その制御信号に基づいてその拡大率を変更する。
【００２４】
制御装置３００は、Ａ／Ｄ変換部３１０と、画像取得部３２０と、判定部３３０と、絞り制御部３４０と、制御部３５０（信号処理制御部）と、調光部３６０を含む。Ａ／Ｄ変換部３１０は、画像取得部３２０に接続されている。画像取得部３２０は、判定部３３０と、調光部３６０と、表示部４００に接続されている。判定部３３０は、絞り制御部３４０に接続されている。絞り制御部３４０は、可変絞り２４０と、調光部３６０に接続されており、これらを制御する。制御部３５０は、Ａ／Ｄ変換部３１０と、画像取得部３２０と、判定部３３０と、絞り制御部３４０と、表示部４００と、外部Ｉ／Ｆ部５００に双方向に接続しており、これらを相互に制御する。調光部３６０は、白色光源１１０に接続されており、これを制御する。
【００２５】
Ａ／Ｄ変換部３１０は、撮像素子２５０から出力されるアナログ信号をデジタル信号に変換し、画像取得部３２０に出力する。
【００２６】
画像取得部３２０は、制御部３５０より出力される制御信号に基づいて、Ａ／Ｄ変換部３１０から出力されるデジタル信号に対して例えば公知の補間処理やホワイトバランス処理、色変換処理、階調変換処理等の画像処理を行い、被写体画像として取得する。画像取得部３２０は、取得した被写体画像を、判定部３３０と、表示部４００に出力する。
【００２７】
判定部３３０は、観察領域を設定し、その観察領域における合焦・非合焦の判定を行う。具体的には、判定部３３０は、観察領域を複数の分割観察領域に分割し、各分割観察領域における合焦・非合焦の判定を行い、その判定結果を絞り制御部３４０に出力する。
【００２８】
絞り制御部３４０は、判定部３３０による判定結果に基づいて絞り値を制御する。具体的には、絞り制御部３４０は、全ての分割観察領域が合焦している場合には絞り値を小さくする（絞りを開ける）。また絞り制御部３４０は、分割観察領域が１つでも非合焦の場合には、観察領域を包含する目標被写界深度を算出し、絞り値を調整して被写界深度を目標被写界深度に合わせる。
【００２９】
制御部３５０は、Ａ／Ｄ変換部３１０と、画像取得部３２０と、判定部３３０と、絞り制御部３４０と、表示部４００と、外部Ｉ／Ｆ部５００に接続されており、これらを制御する制御信号を出力する。
【００３０】
調光部３６０は、画像取得部３２０により取得される被写体画像の平均的な明るさが一定となるように、白色光源１１０が発する光量を制御する。また調光部３６０は、絞り値の変化に応じて、光量の制御方法を変える。具体的には調光部３６０は、ある時刻に取得された被写体画像の平均的な明るさが予め設定された基準値と異なった場合、その平均的な明るさと基準値との差分に基づいて、被写体画像の平均的な明るさが所定時間の経過後に基準値となるように光量を制御する。光量の制御は、所定の時間、一定の変化率で行う。また、調光部３６０は、絞り制御部３４０より出力される絞り値の変化を検出すると、絞り値の変化前後で被写体画像の平均的な明るさが変化しないように光量を制御する。具体的には調光部３６０は、絞り値の変化によりレンズ有効外径がα倍になった場合、光量を１／α２倍にする。その後調光部３６０は、平均的な明るさと基準値との差分に基づく上述の方法により光量の制御を行う。
【００３１】
表示部４００は、画像取得部３２０により取得された被写体画像を、内視鏡モニタ等の画像表示装置に出力する。
【００３２】
外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザからの入力等を行うためのインターフェースである。外部Ｉ／Ｆ部５００は、電源のオン／オフを行うための電源スイッチや、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。
【００３３】
２．２．判定部
図２に判定部３３０の詳細な構成例を示す。図２に示すように、判定部３３０は、観察領域設定部３３１と、分割部３３２と、合焦判定部３３３を含む。
【００３４】
画像取得部３２０により取得された被写体画像は、観察領域設定部３３１に出力される。観察領域設定部３３１は、分割部３３２と、絞り制御部３４０に接続されている。分割部３３２は、合焦判定部３３３に接続されている。合焦判定部３３３は、絞り制御部３４０に接続されている。
【００３５】
観察領域設定部３３１は、画像取得部３２０により取得された被写体画像の画素値に基づいて、被写体画像内に観察領域を設定する。例えば、被写体画像がＲ信号、Ｇ信号、Ｂ信号を持ったカラー画像である場合、観察領域設定部３３１はＲ信号に基づいて観察領域を設定する。これは、Ｒ信号の信号値がほぼ距離の影響のみを反映しているためである。すなわち、各信号値は被写体までの距離の２乗に逆比例するが、Ｇ，Ｂ信号はヘモグロビンによる吸光にも影響されて血管部の信号値が小さくなる。このため、Ｇ，Ｂ信号においては血管部なので信号値が小さいのか、距離が遠いため信号値が小さいのか容易に判別できない。一方、Ｒ信号はヘモグロビンに比較的吸光されにくく、信号値はほぼ距離の影響のみを反映している。そのため、Ｒ信号を利用することで被写体までの距離に基づいて観察領域を設定できる。
【００３６】
観察領域の設定手法について詳細に説明する。図３（Ａ）にＲ信号値（画素値）のヒストグラムを模式的に示す。図３（Ａ）に示すように、第１の閾値Ｖｔ１とその第１の閾値Ｖｔ１より大きな値である第２の閾値Ｖｔ２を設定する。そして、Ｒ信号値が第１の閾値Ｖｔ１より大きく、第２の閾値Ｖｔ２以下の画素を観察領域として設定する。これは、被写体画像上で遠い被写体のＲ信号値は小さく、近い被写体のＲ信号値は大きいためである。すなわち図３（Ｂ）に示すように、Ｒ信号値がＶｔ１である被写体からＲ信号値がＶｔ２である被写体までの範囲が観察領域に設定される。
【００３７】
なお、観察領域に対して例えば公知の方法でラベリング処理を行い、同一のラベルが付与された画素数が所定の閾値以下の領域を観察領域から除去してもよい。
【００３８】
本実施形態では、第１の閾値Ｖｔ１及び第２の閾値Ｖｔ２を被写体の形状に基づいて設定する。具体的には、被写体の形状が管腔状である場合、管腔状でない場合に比べて、第１の閾値Ｖｔ１をより小さい値に設定し、第２の閾値をより大きい値に設定する。内視鏡装置では、被写体画像の平均的な明るさが一定の値となるように、被写体に照射する光量の制御を行っている。このため、被写体画像の平均的な明るさ（例えばＲ信号値の平均値）が所定の範囲にある場合に、光量の制御が完了したと判定し、上述の手法により観察領域を設定する。被写体が管腔状である場合、撮像部２００の先端から見て近い被写体から遠い被写体まで広い範囲で合焦しているパンフォーカスが求められる。そのため、広い範囲がその観察領域に設定されるように、第１の閾値Ｖｔ１と第２の閾値Ｖｔ２との差分を大きく設定する。一方被写体が管腔状でない場合、合焦する範囲は広くなくてもよいため、第１の閾値Ｖｔ１と第２の閾値Ｖｔ２との差分を、被写体が管腔状である場合に比べて小さく設定する。
【００３９】
第１の閾値Ｖｔ１と第２の閾値Ｖｔ２は、管腔状等の様々な被写体を撮影して取得した被写体画像から予め決定する。被写体の形状は、例えば被写体画像のＲ信号値のヒストグラムから算出される統計量から判定される。例えば、その統計量は尖度であり、その尖度が所定の閾値以上であれば被写体は管腔状であると判定する。管腔状の被写体の場合、撮像部に近く明るい部分から遠く暗い部分まで撮像するためＲ信号値が幅広い値に分布し、ヒストグラムが広がる傾向にある。そのため、ヒストグラムの広がりを示す統計量である尖度を用いることで被写体形状を判定することが可能である。
【００４０】
なお上記では、被写体画像のＲ信号値及び、そのＲ信号値に対応する第１の閾値Ｖｔ１及び第２の閾値Ｖｔ２に基づいて観察領域を設定したが、本実施形態ではこれに限定されない。例えば、Ｒ，Ｇ，Ｂ信号値から公知の方法で算出される輝度信号及び、その輝度信号に対応する第３の閾値及び第４の閾値に基づいて観察領域を設定してもよい。
【００４１】
分割部３３２は、観察領域設定部３３１により設定された観察領域を、第１〜第Ｎの分割観察領域（Ｎ個の領域。Ｎは自然数）に分割する。具体的には図３（Ａ）に示すように、分割部３３２は、観察領域内のＲ信号値からヒストグラムを作成し、ヒストグラムをＮ区間に分割する。図３（Ａ）の例では、第１〜第５の区間Ｚ１〜Ｚ５に分割する。そして分割部３３２は、Ｒ信号値が区間Ｚ１〜Ｚ５に含まれる画素を被写体画像から抽出し、その区間Ｚ１〜Ｚ５に含まれる画素をそれぞれ第１〜第５の分割観察領域とする。このようにして、図３（Ｂ）に示すように観察領域が第１〜第５の分割観察領域Ａ１〜Ａ５に分割される。Ｒ信号値は距離の二乗に反比例するため、分割観察領域は撮像部からの距離の区間に対応している。
【００４２】
例えば、分割部３３２は、各区間に含まれる画素数が可能な限り等しくなるようにヒストグラムを分割する。本実施形態では、例えば各区間におけるＲ信号値の平均値を求め、その各区間における平均値の平均値を観察領域におけるＲ信号値の平均値とし、その観察領域におけるＲ信号値の平均値に基づいて各区間の合焦判定を行う。このような場合に、各区間に含まれる画素数を等しくすることで、観察領域におけるＲ信号値の平均値を適切に算出できる。
【００４３】
なお本実施形態では、上記の分割手法に限定されず、例えばグラフカット手法などの公知の手法により、観察領域をＮ個の分割観察領域に分割してもよい。
【００４４】
合焦判定部３３３は、分割部３３２により分割された分割観察領域毎に合焦しているか否かを判定する。具体的には、合焦判定部３３３は、各分割観察領域におけるコントラストを算出し、そのコントラストが所定の合焦閾値以上であれば合焦と判定し、所定の合焦閾値より小さければ非合焦であると判定する。
【００４５】
例えば、コントラストの算出手法として、分割観察領域の画素のＧ信号又はＢ信号に対してディジタルフィルタ処理を行う手法を用いる。ディジタルフィルタ処理は各信号に対して行う。例えば、ディジタルフィルタ処理は、公知のラプラシアンフィルタによるフィルタリング処理である。フィルタリング処理の結果、分割観察領域内の画素毎にＧ信号又はＢ信号における出力値が得られる。合焦判定部３３３は、その出力値の絶対値をコントラストとする。そして、合焦判定部３３３は、そのコントラストと合焦閾値との比較結果に基づいて合焦判定を行う。
【００４６】
合焦閾値は、分割観察領域毎に算出したＲ信号の平均値に対応した値である。具体的には、各分割観察領域におけるＲ信号の平均値と合焦閾値との関係を保持したテーブルを参照して、分割観察領域毎に算出した平均値に対応する合焦閾値を取得する。そして、合焦判定部３３３は、分割観察領域のコントラストが合焦閾値より大きければ、その分割観察領域は合焦であると判定し、小さければ、その分割観察領域は非合焦であると判定する。合焦判定部３３３は、分割観察領域毎に算出した平均Ｒ信号値を代表信号値とし、その代表信号値と、各分割観察領域の合焦判定結果とを絞り制御部３４０に出力する。
【００４７】
なお、コントラストを算出するためのディジタルフィルタは、予め取得した被写体画像のＧ信号又はＢ信号から空間周波数を解析し、被写体画像に特徴的な周波数成分を強調するように設計してもよい。
【００４８】
２．３．判定部の変形例
図４に判定部３３０の変形例を示す。図４に示すように、判定部３３０は、観察領域設定部３３１と、分割部３３２と、合焦判定部３３３と、受付部３３４を含む。観察領域設定部３３１と受付部３３４以外の構成要素は、上述の構成例と同様である。
【００４９】
受付部３３４は、ユーザが入力した観察領域に関する情報を観察領域補助情報として受け付け、その観察領域補助情報を観察領域設定部３３１に出力する。具体的には、観察領域補助情報は、ユーザにより外部Ｉ／Ｆ部５００を介して入力され、外部Ｉ／Ｆ部５００から制御部３５０に出力される。そして、制御部３５０は、観察領域補助情報を含んだ制御信号を生成する。受付部３３４は、その制御信号から観察領域補助情報を抽出することで、観察領域補助情報を受け付ける。
【００５０】
例えば、観察領域補助情報は、上述の第１の閾値Ｖｔ１及び第２の閾値Ｖｔ２である。この場合、例えば、ユーザに対して被写体画像のヒストグラムを提示し、ユーザがそのヒストグラムに基づいて任意の第１の閾値Ｖｔ１及び第２の閾値Ｖｔ２をキーボード等で入力する。
【００５１】
なお、種々の被写体形状に対応する第１の閾値Ｖｔ１及び第２の閾値Ｖｔ２の組み合わせを予め記憶しておき、ユーザがその組み合わせを任意のタイミングで選択してもよい。また、観察領域補助情報は、被写体画像内の領域を示す領域情報であってもよい。この場合、例えば内視鏡モニタがタッチパネルを具備し、その内視鏡モニタに表示されている被写体画像に対してユーザがタッチペン等の入力装置を用いて領域情報を入力する。ユーザが直接タッチパネルに触れてその領域情報を入力してもよい。
【００５２】
観察領域設定部３３１は、受付部３３４から出力された観察領域補助情報に対応する手法により被写体画像内に観察領域を設定する。観察領域補助情報が第１の閾値Ｖｔ１及び第２の閾値Ｖｔ２である場合、被写体画像においてＲ信号が第１の閾値Ｖｔ１以上かつ第２の閾値Ｖｔ２以下である画素を観察領域として設定する。また、観察領域補助情報が領域情報である場合、その領域情報が示す領域を観察領域として設定する。
【００５３】
２．４．絞り制御部
次に、絞り制御部３４０について詳細に説明する。絞り制御部３４０は、観察領域設定部３３１により判別された被写体の形状、及び、合焦判定部３３３からの各分割観察領域における代表信号値と合焦判定結果に基づいて、可変絞り２４０の絞り値を制御する。
【００５４】
図５に、絞り制御部３４０が絞り値を制御する処理のフローチャート例を示す。この絞り制御処理は、合焦判定が行われる度に開始される。図５に示すように、この処理が開始されると、絞り値の変更が禁止される期間である変更禁止期間中であるか否かを判定する（ステップＳ１）。後述する処理により変更禁止期間を設定される場合があり、その変更禁止期間中であれば処理を終了する（ステップＳ１、Ｙｅｓ）。
【００５５】
変更禁止期間中でない場合（ステップＳ１、Ｎｏ）、合焦判定に基づいて絞り値の制御を行う。まず、全ての分割観察領域において合焦判定が合焦であるかを判定する（ステップＳ２）。全て合焦の場合（ステップＳ２、Ｙｅｓ）、絞り値を小さくする。例えば、可変絞り２４０を１段開く（ステップＳ３）。
【００５６】
ステップＳ２の条件を満たさなかった場合（ステップＳ２、Ｎｏ）、直前の絞り制御処理においてステップＳ３が行われたか否かの判定、及び非合焦判定の数の判定を行う（ステップＳ４）。ここで、直前の絞り制御処理とは、現在行われている絞り制御処理に対応する合焦判定を除いて、最も新しく行われた合焦判定を受けて開始された絞り制御処理を指す。直前の絞り制御処理においてステップＳ３が行われ、かつ非合焦判定の数が所定数以上の場合（ステップＳ４、Ｙｅｓ）、変更禁止期間を設定し（ステップＳ５）、可変絞り２４０の絞り値を元に戻す（ステップＳ６）。このように絞り値を制御することで、ユーザがパンフォーカスで被写体を観察している最中に、被写界深度を安定させることができる。
【００５７】
ステップＳ４の条件を満たさなかった場合（ステップＳ４、Ｎｏ）、全ての合焦判定が非合焦であるか否かを判定する（ステップＳ７）。全て非合焦である場合（ステップＳ７、Ｙｅｓ）、絞り値を大きくする。例えば、可変絞り２４０を１段絞る（ステップＳ６）。
【００５８】
ステップＳ７の条件を満たさなかった場合（ステップＳ７、Ｎｏ）、撮像部先端から被写体までの距離を疑似的に表した疑似距離を算出する（ステップＳ８）。具体的には、上述の代表信号値の２乗根の逆数を疑似距離とする。次に、その疑似距離に基づいて現在の絞り値における被写界深度と、目標となる絞り値における目標被写界深度と、を算出する（ステップＳ９）。
【００５９】
具体的には、図６に示すように、疑似距離を横軸に、合焦判定を縦軸にプロットしたグラフを作成する。ここで、縦軸の数値は、合焦判定が合焦であれば１とし、非合焦であれば０とする。次に、そのプロット点に対し最小二乗法を用いて上に凸な２次の近似関数を算出する。疑似距離の軸上における近似関数の頂点の位置を、内視鏡装置の撮像光学系の焦点位置とする。ここで、焦点位置や、被写界深度、目標被写界深度は、実世界の物理的距離ではなく疑似距離で表される値である。次に、合焦と判定された分割観察領域のうち、疑似距離軸上において焦点位置から最も遠い分割観察領域の位置を深度端とする。そして、焦点位置から深度端までの疑似距離を疑似被写界深度とする。
【００６０】
なお、図７に示すように、合焦と判定された分割観察領域が１つである場合、その合焦と判定された分割観察領域の疑似距離軸上における位置を焦点位置とする。そして、疑似距離軸上において焦点位置から最も近い分割観察領域の位置と、焦点位置との中間位置（例えば１／２の位置）を深度端とする。焦点位置から深度端までの疑似距離を疑似被写界深度とする。
【００６１】
また、上記では疑似距離と合焦判定の関係を二次関数により近似したが、ガウス関数で近似してもよい。この場合、ガウス関数の平均値を焦点位置とし、ガウス関数の標準偏差を疑似被写界深度とする。また、合焦と判定された分割観察領域のうち、ガウス近似関数の値が最も小さい分割観察領域の位置を深度端とする。
【００６２】
次に、図６に示すように、深度端と焦点位置の位置関係に基づいて、疑似被写界深度が後方被写界深度か前方被写界深度かを判定する。具体的には、深度端が焦点位置よりも遠くに存在すれば後方被写界深度と判定し、深度端が焦点位置よりも近くに存在すれば前方被写界深度と判定する。次に、焦点位置から最も遠い分割観察領域を目標深度端とし、その目標深度端と焦点位置との間の疑似距離を目標被写界深度とする。目標深度端が焦点位置より遠方にある場合には目標被写界深度を後方目標被写界深度とし、目標深度端が焦点位置より近方にある場合には目標被写界深度を前方目標被写界深度とする。
【００６３】
次に、図５に示すように、被写体の形状を判定する（ステップＳ１０）。被写体の形状が管腔状の場合（ステップＳ１０、Ｙｅｓ）、疑似距離に基づいて算出した上述の値と内視鏡撮像光学系の設計データとに基づいて、目標となる絞り値を算出する（ステップＳ１１）。
【００６４】
絞り値の算出について詳細に説明する。説明の準備のため、まず被写界深度について説明する。後方被写界深度Ｋｂと前方被写界深度Ｋｆは、それぞれ下式（１）、（２）により表される。ここで、Ｌは焦点位置、ｒは許容錯乱円径、ＦはＦ値、ｆは焦点距離である。
【数１】
【数２】
【００６５】
また、Ｆ値は下式（３）により算出される。ここで、ｄは現在の絞り値におけるレンズの有効口径である。絞り値が大きくなればｄは小さくなる。
【数３】
【００６６】
上式（１）、（２）を書き直すと、下式（４）、（５）となる。
【数４】
【数５】
【００６７】
後方目標被写界深度Ｏｂと前方目標被写界深度Ｏｆは、それぞれ下式（６）、（７）により表される。ここで、ｄ’は目標とするレンズの有効口径である。
【数６】
【数７】
【００６８】
次に、目標とするレンズの有効口径ｄ’の算出について説明する。ｄ’が求まれば、Ｆ＝ｆ／ｄ’により目標とするＦ値が求まる。まず、図８に示すように管腔状の被写体の場合、内視鏡先端から相対的なある一定の範囲Ｄａｄにおいて合焦していることが求められる。管腔状の場合には撮像部の抜き差しが可能であるため、被写界深度Ｄａｄの幅さえ確保されていれば、抜き差しによって観察領域を被写界深度に入れることが可能なためである。この場合、被写界深度Ｄａｄの幅が目標被写界深度Ｄｔｇの幅となればよいので、ｄ’を下式（８）、（９）により算出する。下式（９）は、上式（６）と（７）にＬ＝Ｌｔ、ｒ＝ｒｔ、ｆ＝ｆｔを代入し、Ｏｂ＋Ｏｆ＝Ｗｏをｄ’について解くことで求められる。なおＤａｄ≧Ｄｔｇであってもよい。
【数８】
【数９】
【００６９】
上式（８）、（９）において、Ｗｔは実世界での物理的な被写界深度、Ｌｔは実世界での物理的な焦点距離、ｒｔは実世界での物理的な許容錯乱円の径、ｆｔは実世界での物理的な焦点距離である。これらの値は、内視鏡装置の撮像光学系の設計データにより既知または算出可能である。
【００７０】
ここで、図６や図７では、後方被写界深度Ｋｂと前方被写界深度Ｋｆのいずれか一方、及び、後方目標被写界深度Ｏｂと前方目標被写界深度Ｏｆのいずれか一方が求められている。上式（８）では、例えばＫｂ＝Ｋｆ、Ｏｂ＝ＯｆとしてＷｏを算出する。あるいは、合焦と判定された分割観察領域の位置のうちの最遠位置から最近位置までの疑似距離をＫｂ＋Ｋｆとし、全ての分割観察領域の位置のうちの最遠位置から最近位置までの疑似距離をＯｂ＋Ｏｆとしてもよい。
【００７１】
次に、図５に示すように被写体が管腔状でない場合（ステップＳ１０、Ｎｏ）、疑似距離に基づいて算出した値より目標となる絞り値を算出する（ステップＳ１２）。図９に示すように、被写体が管腔状でない場合、ある位置に存在する被写体全体において合焦していることが求められる。すなわち、被写界深度Ｄａｄが目標被写界深度Ｄｔｇと一致（深度端が目標深度端と一致）すればよい。
【００７２】
深度端が焦点位置より遠方、及び目標深度端が焦点位置より遠方の場合、目標とするレンズの有効口径ｄ’を下式（１０）により算出する。下式（１０）は、上式（４）及び上式（６）に基づいて算出される。
【数１０】
【００７３】
深度端が焦点位置より遠方、及び目標深度端が焦点位置より近方の場合、目標とするレンズの有効口径ｄ’を下式（１１）により算出する。下式（１１）は、上式（４）及び上式（７）に基づいて算出される。
【数１１】
【００７４】
深度端が焦点位置より近方、及び目標深度端が焦点位置より遠方の場合、目標とするレンズの有効口径ｄ’を下式（１２）により算出する。下式（１２）は、上式（５）及び上式（６）に基づいて算出される。
【数１２】
【００７５】
深度端が焦点位置より近方、及び目標深度端が焦点位置より近方の場合、目標とするレンズの有効口径ｄ’を下式（１３）により算出する。下式（１３）は、上式（５）及び上式（７）に基づいて算出される。
【数１３】
【００７６】
次に、図５に示すように、レンズの有効口径が、上式（８）〜（１３）のいずれかで算出したｄ’となるように絞り制御信号を可変絞り２４０に出力し、可変絞り２４０の絞り値を制御する（ステップＳ１３）。上述のステップＳ３、Ｓ６、Ｓ１３を行った後、絞り制御処理は終了する。
【００７７】
なお、後述する制御部３５０から出力される制御信号に基づいて、対物レンズ２３０の拡大動作の開始を検出した場合、可変絞り２４０の絞り値を拡大動作に対応した所定の絞り値に制御する。例えば、被写体に対して拡大観察を行った場合、非拡大観察時に比べて被写界深度が狭くなるため光軸方向の手ブレによってピントが外れやすくなる。そのため、光軸方向の手ブレ等の影響が所定量存在したとしても被写体が収まる被写界深度を実現する絞り値を予め取得しておく。この絞り値は、対物レンズ２３０が取り得る拡大率毎に取得しておく。
【００７８】
以上によれば、本実施形態の制御装置３００は、画像取得部３２０と判定部３３０と絞り制御部３４０を含む。画像取得部３２０は、内視鏡装置の撮像光学系により撮像された被写体画像を取得する。判定部３３０は、被写体画像内の画素の画素値に基づいて、被写体画像内において観察対象となる領域（観察すべき領域）である観察領域の合焦・非合焦を判定する。絞り制御部３４０は、その判定の結果に基づいて、撮像光学系の絞りを制御する。
【００７９】
このようにすれば、ユーザが観察したい範囲の被写体に焦点が合っているか否かを被写体画像に基づいて判定し、焦点が合っていない場合は撮像光学系の可変絞りを制御することで観察したい範囲に焦点を合わせることができる。これにより、観察したい範囲に焦点が合った好適な画像をユーザに提供することができる。また、必要最小限の範囲に焦点が合うように絞り値を制御できるため、小絞りボケによる解像度の低下も最小限に抑えることができる。また、上述の特許文献１のようにフレームレートを減少させる必要がないため、観察においてユーザが感じる疲労を軽減できる。
【００８０】
なお本実施形態では、撮像光学系は図１の対物レンズ２３０と、可変絞り２４０と、撮像素子２５０に対応する。また、絞りは可変絞り２４０に対応する。ここで、観察領域とは、被写体画像においてユーザが観察対象とする領域であり、例えば観察領域設定部３３１により設定されてもよいし、ユーザからの指示により設定されてもよい。観察領域は１つの領域であってもよいし、複数の分割観察領域に分割されてもよい。
【００８１】
また本実施形態では、図２に示すように判定部３３０は観察領域を複数の分割観察領域に分割する分割部３３２を有する。判定部３３０は、分割された各分割観察領域の合焦・非合焦を判定する。絞り制御部３４０は、その各分割観察領域の判定結果に基づいて、撮像光学系の絞りを制御する。
【００８２】
具体的には図５のＳ２、Ｓ３に示すように、絞り制御部３４０は、判定部３３０により複数の分割観察領域の全てが合焦であると判定された場合、絞りの絞り値を小さくする制御を行う。一方図５のＳ４〜Ｓ１３に示すように、絞り制御部３４０は、判定部３３０により少なくとも一つ以上の分割観察領域が非合焦であると判定された場合、絞りの絞り値を大きくする制御を行う。
【００８３】
このようにすれば、分割観察領域の全てが合焦の場合には被写界深度が縮小され、分割観察領域が１つでも非合焦の場合には被写界深度が拡大される。これにより、観察領域を含む必要最小限の被写界深度を実現できる。
【００８４】
ここで、絞り値とは、絞りの開口を表す値であり、例えばＦ値である。絞り値を小さくする場合、現在の開口よりも開口が大きくなり、絞り値を大きくする場合、現在の開口よりも開口が小さくなる。絞り値は、無段階に連続的に調整可能であってもよいし、段階的に調整可能であってもよい。
【００８５】
また本実施形態では、図５のＳ８〜Ｓ１０、Ｓ１２〜Ｓ１３で上述のように、絞り制御部３４０は、判定部３３０により少なくとも一つ以上の分割観察領域が非合焦であると判定された場合、各分割観察領域に対応する実空間上の対応点が、撮像光学系の被写界深度の範囲に含まれるように撮像光学系の絞りを制御する。例えば本実施形態では非管腔状の被写体と判定された場合にこの絞り制御を行う。
【００８６】
このようにすれば、各分割観察領域に対応する実空間上の対応点が被写界深度に含まれる場合の絞り値を算出し、その絞り値に基づいて撮像光学系の絞りを制御できる。これにより、観察領域を含む必要最小限の被写界深度を実現可能である。
【００８７】
ここで、各分割観察領域に対応する実空間上の対応点とは、例えば撮像部から各分割観察領域までの代表距離に対応する光軸上の点である。例えば、上述のように分割観察領域内のＲ信号値の平均値を代表信号値とする場合、代表信号値の二乗根の逆数である疑似距離が代表距離に対応する。また、後述する第２実施例では、距離推定部３７０により撮像部から各分割観察領域までの実距離が推定され、その推定された実距離が代表距離に対応する。
【００８８】
また本実施形態では、図６等で上述のように、絞り制御部３４０は、各分割観察領域に対応する実空間上の対応点のうちの最遠点及び最近点（目標深度端）が、少なくとも撮像光学系の被写界深度の範囲に含まれるように撮像光学系の絞りを制御する。より具体的には上式（１０）〜（１３）で上述のように、絞り制御部３４０は、最遠点と被写界深度の遠点とが一致（後方目標被写界深度と後方被写界深度が一致）するように、又は、最近点と被写界深度の近点とが一致（前方目標被写界深度と前方被写界深度が一致）するように撮像光学系の絞りを制御する。
【００８９】
このようにすれば、各分割観察領域に対応する実空間上の対応点が被写界深度に含まれるように絞り値を制御し、観察領域を含む必要最小限の被写界深度を実現できる。
【００９０】
また本実施形態では、図５のＳ８〜Ｓ１１、Ｓ１３で上述のように、絞り制御部３４０は、判定部３３０により少なくとも一つ以上の分割観察領域が非合焦であると判定された場合、撮像光学系の被写界深度が、各分割観察領域に対応する実空間上の対応点のうちの最近点から最遠点までの距離以上となるように撮像光学系の絞りを制御する。例えば本実施形態では管腔状の被写体と判定された場合にこの絞り制御を行う。
【００９１】
このようにすれば、被写界深度の幅が目標被写界深度の幅以上となる場合の絞り値を算出し、その絞り値に基づいて絞りを制御できる。これにより、図８等で上述のように観察領域にピントを合わせるために必要な被写界深度を確保できる。
【００９２】
また本実施形態では、図５のＳ４〜Ｓ５、Ｓ１で上述のように、絞り制御部３４０は、判定部３３０による前回の判定において、複数の分割観察領域の全てが合焦であると判定され、判定部３３０による今回の判定において、複数の分割観察領域のうちの所定数以上の分割領域が非合焦であると判定された場合、絞り値の変更を禁止する変更禁止期間を設定する。そして絞り制御部３４０は、変更禁止期間が経過するまで絞り値を変更しない。
【００９３】
このようにすれば、被写界深度が急激に拡大縮小を繰り返すことを抑制できる。すなわち、図５のＳ２、Ｓ３に示すように絞りを開けて被写界深度を縮小した場合、絞り値１段階の調整による被写界深度の変化が大き過ぎることがある。このような場合に、すぐに絞り値を１段階絞って被写界深度を元に戻すと、被写界深度の拡大縮小を繰り返すことになり観察しにくい映像になってしまう。この点本実施形態では、変更禁止期間を設けるため被写界深度の急激な拡大縮小を抑制できる。
【００９４】
また本実施形態では、絞り制御部３４０は、判定部３３０により観察領域が非合焦であると判定された場合、撮像光学系の絞りの絞り値を大きくする。
【００９５】
観察領域は複数の分割観察領域に分割されてもよいし、１つの観察領域であってもよい。観察領域が１つの領域である場合、例えば、その領域が合焦と判定された場合には絞り値を１段階小さくし（絞りを開け）、その領域が非合焦と判定された場合には絞り値を１段階大きくすれば（絞りを絞れば）よい。
【００９６】
また本実施形態では、図２に示すように、判定部３３０は、被写体画像上において観察領域を設定する観察領域設定部３３１を有する。判定部３３０は、設定された観察領域内の画素の画素値（例えばＲ信号値の平均値）に基づいて、観察領域の合焦・非合焦を判定する。具体的には、観察領域設定部３３１は、被写体画像内の画素の画素値（Ｒ信号値）に基づいて観察領域を設定する。
【００９７】
このようにすれば、観察領域設定部３３１により自動的に観察領域を設定し、合焦判定を行うことが可能になる。
【００９８】
また本実施形態では、図４に示すように、被写体画像上における観察領域を特定するための情報（観察領域補助情報）をユーザから受け付ける受付部３３４をさらに含んでもよい。この場合、観察領域設定部３３１は、受け付けた情報に基づいて観察領域を設定する。
【００９９】
このようにすれば、ユーザが指示した領域を観察領域に設定し、合焦判定を行うことが可能になる。観察領域を特定するための情報は、例えば閾値Ｖｔ１、Ｖｔ２や、領域を表す座標情報などである。
【０１００】
また本実施形態では、被写体画像は、ＲＧＢのチャンネルを有するカラー画像である。判定部３３０は、Ｇチャンネル及びＢチャンネルの少なくとも一方のコントラストを算出するコントラスト算出部を有する。判定部３３０は、算出されたコントラストに基づいて観察領域の合焦・非合焦を判定する。
【０１０１】
このようにすれば、ＧチャンネルまたはＢチャンネルのコントラストに基づいて合焦判定できる。あるいは、Ｇチャンネル及びＢチャンネルの両方のコントラストに基づいて合焦判定できる。ＧチャンネルやＢチャンネルではヘモグロビンの吸収により血管構造が写りやすいため、コントラストを用いた合焦判定の精度を向上できる。なお本実施形態では、コントラスト算出部は図２や図４の合焦判定部３３３に対応する。
【０１０２】
また本実施形態では、撮像光学系は、被写体の撮像倍率を可変に設定可能である（被写体の一部を拡大して撮像する拡大機能を有する）。絞り制御部３４０は、撮像倍率に応じて絞りの絞り値を制御する。具体的には、絞り制御部３４０は、撮像倍率に応じて変化した撮像光学系の焦点距離又は焦点位置に基づいて、撮像光学系の被写界深度が所定の被写界深度となるように絞り値を制御する。
【０１０３】
このようにすれば、上述のように光軸方向の手ブレによって観察領域が被写界深度から外れてしまうことを抑制することが可能になる。
【０１０４】
ここで、撮像光学系の撮像倍率は、例えば、撮像部先端を被写体に接近させ、それに伴って焦点位置を撮像部側に近づけることで可変に設定可能である。この場合、焦点位置に応じて絞り値を制御する。あるいは、いわゆる光学ズームにより撮像光学系の焦点距離を長くすることで可変に設定可能である。この場合、焦点距離に応じて絞り値を制御する。
【０１０５】
また本実施形態では、図１に示すように、被写体に照射する光量を制御する調光部３６０をさらに含む。調光部３６０は、絞りの絞り値に基づいて光量を制御する。
【０１０６】
このようにすれば、絞り値の変更により画像の明るさが変化してしまうことを抑制できる。例えば、画像の明るさ（例えば輝度）の平均値が絞り値変更の前後で同一となるように光量を制御することで、画像の明るさの平均値を一定に保つことができる。
【０１０７】
３．第２の実施形態
第２の実施形態では、絞り値だけでなく焦点位置の制御を行うことで、解像度の低下をより抑制しながらパンフォーカスを実現する。この第２の実施形態について説明する。
【０１０８】
図１０に本実施形態の内視鏡装置の第２の構成例を示す。この内視鏡装置は、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。撮像部２００及び制御装置３００以外は上述の第１の実施形態と同様であるため、適宜説明を省略する。
【０１０９】
撮像部２００は、ライトガイドファイバ２１０と、照明レンズ２２０と、対物レンズ２３０と、可変絞り２４０と、撮像素子２５０を含む。対物レンズ２３０以外は、第１の実施形態と同様である。
【０１１０】
対物レンズ２３０は、焦点位置調整機能をさらに備えており、後述する焦点位置制御部３９０から出力される焦点位置制御信号に基づいて、焦点位置を調整する。
【０１１１】
制御装置３００は、Ａ／Ｄ変換部３１０と、画像取得部３２０と、判定部３３０と、絞り制御部３４０と、制御部３５０と、調光部３６０と、距離推定部３７０と、制御値算出部３８０と、焦点位置制御部３９０を含む。Ａ／Ｄ変換部３１０と、画像取得部３２０と、制御部３５０と、調光部３６０は第１の実施形態と同様である。
【０１１２】
判定部３３０は、絞り制御部３４０と、距離推定部３７０に接続されている。絞り制御部３４０は、可変絞り２４０と、調光部３６０に接続されており、これらを制御する。調光部３６０は、白色光源１１０と、距離推定部３７０に接続されている。距離推定部３７０は、制御値算出部３８０に接続されている。制御値算出部３８０は、絞り制御部３４０と、焦点位置制御部３９０に接続されている。焦点位置制御部３９０は、対物レンズ２３０に接続されており、焦点位置を制御する。
【０１１３】
図１１に判定部３３０の第２の詳細な構成例を示す。図１１に示すように、判定部３３０は、観察領域設定部３３１と、分割部３３２と、合焦判定部３３３を含む。合焦判定部３３３以外は第１の実施形態と同様である。
【０１１４】
合焦判定部３３３は、第１の実施形態と同様に分割観察領域毎に合焦判定を行う。合焦判定部３３３は、合焦判定結果を、絞り制御部３４０と距離推定部３７０に出力する。
【０１１５】
図１０の調光部３６０は、第１の実施形態と同様に、画像取得部３２０により取得される被写体画像の平均的な明るさが一定となるように、白色光源１１０が発する光量を制御する。また調光部３６０は、絞り値の変化に応じて光量の制御手法を変える。調光部３６０は、距離推定部３７０に白色光源１１０の光量を通知する。
【０１１６】
距離推定部３７０は、判定部３３０から出力される分割観察領域の画素値、及び分割観察領域における合焦判定結果、及び調光部３６０より通知される白色光源１１０の光量に基づいて、分割観察領域に対応する被写体までの物理的な距離を推定する。分割観察領域毎の合焦判定が全て合焦である場合、距離推定部３７０は起動せず被写体までの物理的な距離を推定しない。分割観察領域毎の合焦判定が１つでも非合焦である場合、距離推定部３７０は起動し、被写体までの物理的な距離を推定する。具体的には、予め様々な白色光源１１０の光量において種々の距離から被写体画像を取得し、その光量と距離に応じた被写体画像の画素値（例えばＲ信号値）をテーブルとして保持しておく。そして、距離推定部３７０は、調光部３６０より通知される光量と、判定部３３０からの分割観察領域毎の代表信号値とに基づいてテーブルを参照し、各分割観察領域に対応する被写体距離を推定する。
【０１１７】
推定した各分割観察領域の被写体距離のうち撮像部から最も遠くに存在する分割観察領域を最遠点とし、撮像部から最も近くに存在する分割観察領域を最近点とする。距離推定部３７０は、最遠点の被写体距離である最遠点距離と、最近点の被写体距離である最近点距離を、制御値算出部３８０に出力する。
【０１１８】
なお、第１の実施形態における絞り制御部３４０と同様に疑似距離において算出した被写界深度と、撮像光学系の設計データに基づいて算出した物理的な被写界深度と、の関係に基づいて下式（１４）により被写体距離Ｄｔを推定してもよい。ここで、Ｗｔは撮像光学系の設計データに基づいて算出した物理的な被写界深度である。Ｗｐは疑似距離において算出した被写界深度である。Ｄｐは被写体までの疑似距離である。
【数１４】
【０１１９】
制御値算出部３８０は、距離推定部３７０から出力される最遠点距離と最近点距離に基づいて、絞り値と焦点位置を算出する。具体的には、最遠点と撮像光学系の被写界深度の遠点とが一致するとともに、最近点と撮像光学系の被写界深度の近点とが一致する絞り値と焦点位置を算出する。
【０１２０】
絞り値と焦点位置の算出手法について詳細に説明する。被写界深度の遠点までの距離Ｄｂと、被写界深度の近点までの距離Ｄｆは、それぞれ下式（１５）、（１６）により算出される。ここで、Ｌは焦点位置であり、ｒは許容錯乱円径であり、ＦはＦ値であり、ｆは焦点距離である。
【数１５】
【数１６】
【０１２１】
上式（１５）、（１６）は、上式（３）を用いて下式（１７）、（１８）に書き直せる。
【数１７】
【数１８】
【０１２２】
上式（１７）、（１８）をＬ、ｄについて解くと、下式（１９）、（２０）となる。ｒ、ｆは、撮像光学系の設計データから算出される。
【数１９】
【数２０】
【０１２３】
本実施形態では、最遠点と被写界深度の遠点とを一致させるとともに、最近点と被写界深度の近点とを一致させる。すなわち、被写界深度の遠点までの距離Ｄｂと被写界深度の近点までの距離Ｄｆを、距離推定部３７０により算出された最遠点距離と最近点距離にそれぞれ一致させる。よって、上式（１９）、（２０）において、Ｄｂに最遠点距離を代入し、Ｄｆに最近点距離を代入することで、焦点位置Ｌとレンズ有効口径ｄが算出される。そして、算出されたレンズ有効口径ｄを上式（３）に代入して絞り値（Ｆ値）を算出する。
【０１２４】
制御値算出部３８０は、算出した絞り値を絞り制御部３４０に出力し、焦点位置を焦点位置制御部３９０に出力する。
【０１２５】
絞り制御部３４０は、判定部３３０から出力される分割観察領域毎の合焦判定結果が全て合焦である場合、第１の実施形態と同様に絞り値が小さくなるように可変絞り２４０の動作を制御する。絞り制御部３４０は、分割観察領域毎の合焦判定結果が一つでも非合焦である場合、制御値算出部３８０から出力された絞り値となるように可変絞り２４０の動作を制御する。また、絞り制御部３４０は、絞り値が変化しても被写体に照射される光量を一定に保持するために、絞り値を調光部３６０に通知する。具体的には、絞り制御部３４０は、絞り値に基づいて絞り制御信号を生成し、その絞り制御信号を可変絞り２４０と調光部３６０に出力する。
【０１２６】
焦点位置制御部３９０は、制御値算出部３８０から出力された焦点位置となるように対物レンズ２３０の動作を制御する。具体的には、焦点位置制御部３９０は、算出された焦点位置に基づいて焦点位置制御信号を生成し、その焦点位置制御信号を対物レンズ２３０に出力する。
【０１２７】
なお、上記の各実施形態では制御装置は内視鏡に接続されているが、本実施形態はこれに限定されない。例えば、内視鏡で取得した画像情報をネットワークを介してサーバに転送し、サーバで処理を行う構成であってもよい。具体的には、各実施形態における制御装置３００はサーバであり、無線若しくは有線のネットワークを介して他の構成要素と通信を行う構成であってもよい。
【０１２８】
以上によれば、図１０に示すように制御装置３００は、撮像光学系の焦点位置を制御する焦点位置制御部３９０をさらに含む。上式（１５）〜（２０）で上述のように、絞り制御部３４０及び焦点位置制御部３９０は、分割観察領域に対応する実空間上の対応点のうちの最遠点と被写界深度の遠点とが一致するとともに、分割観察領域に対応する実空間上の対応点のうちの最近点と被写界深度の近点とが一致するように、撮像光学系の絞り及び焦点位置を制御する。
【０１２９】
具体的には、制御装置３００は距離推定部３７０をさらに含む。距離推定部３７０は、被写体画像内の画素の画素値に基づいて、撮像光学系から最遠点までの第１距離と撮像光学系から最近点までの第２距離を推定する。絞り制御部３４０及び焦点位置制御部３９０は、最遠点と被写界深度の遠点とが一致するとともに、最近点と被写界深度の近点とが一致する場合の撮像光学系の絞り値及び焦点位置を、第１距離と第２距離に基づいて算出する。
【０１３０】
このようにすれば、撮像光学系の被写界深度を目標被写界深度に一致させること、すなわち、撮像光学系の被写界深度を観察領域に一致させることが可能になる。これにより、観察領域を被写界深度内に含めながら絞りを最大限開けることができ、小絞りボケによる解像度の低下を第１の実施形態よりもさらに抑制可能である。
【０１３１】
また本実施形態では、被写体画像は、ＲＧＢのチャンネルを有するカラー画像である。距離推定部３７０は、Ｒチャンネル内の画素の画素値に基づいて第１距離と第２距離を推定する。
【０１３２】
このようにすれば、Ｒ信号値に基づいて分割観察領域までの距離を推定できる。上述のようにＲチャンネルは、ＧチャンネルやＢチャンネルに比べてヘモグロビンの吸収が少ない。そのためＲチャンネルを用いることで距離を高精度に推定可能になる。
【０１３３】
４．ソフトウェア
上記の本実施形態では、制御装置３００を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、撮像部により取得された画像に対してＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【０１３４】
制御装置３００の各部が行う処理をソフトウェアとして実現する場合には、撮像部を別体とし、ワークステーションやパソコン等の公知のコンピュータシステムを制御装置として用いてもよい。この場合、制御装置３００の各部が行う処理を実現するためのプログラム（制御プログラム）を予め用意し、この制御プログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。
【０１３５】
図１２は、本変形例におけるコンピュータシステム６００の構成を示すシステム構成図であり、図１３は、このコンピュータシステム６００における本体部６１０の構成を示すブロック図である。図１２に示すように、コンピュータシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピュータシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。
【０１３６】
また、このコンピュータシステム６００における本体部６１０は、図１３に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０及びマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワーク又は広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース６１８を備える。
【０１３７】
さらに、このコンピュータシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８及びローカルエリアネットワーク又は広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。
【０１３８】
そして、このコンピュータシステム６００は、所定の記録媒体に記録された絞り制御プログラム（例えば図５）を参照して、処理手順を実現するための絞り制御プログラムを読み出して実行することで制御装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）６８１又はサーバ６８２が接続されるローカルエリアネットワーク又は広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピュータシステム６００によって読み取り可能な絞り制御プログラムを記録するあらゆる記録媒体を含む。
【０１３９】
すなわち、絞り制御プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピュータシステム６００は、このような記録媒体から絞り制御プログラムを読み出して実行することで制御装置を実現する。なお、絞り制御プログラムは、コンピュータシステム６００によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）６８１又はサーバ６８２が絞り制御プログラムを実行する場合や、これらが協働して絞り制御プログラムを実行するような場合にも、本発明を同様に適用することができる。
【０１４０】
また本実施形態は、本実施形態の各部（画像取得部、判定部、絞り制御部、制御部、調光部等）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。
【０１４１】
またコンピュータプログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。
【０１４２】
以上、本発明を適用した実施形態及びその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【０１４３】
また、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【０１４４】
１００ 光源部、１１０ 白色光源、１２０ 集光レンズ、２００ 撮像部、
２１０ ライトガイドファイバ、２２０ 照明レンズ、２３０ 対物レンズ、
２４０ 可変絞り、２５０ 撮像素子、３００ 制御装置、３１０ Ａ／Ｄ変換部、
３２０ 画像取得部、３３０ 判定部、３３１ 観察領域設定部、３３２ 分割部、
３３３ 合焦判定部、３３４ 受付部、３４０ 絞り制御部、３５０ 制御部、
３６０ 調光部、３７０ 距離推定部、３８０ 制御値算出部、
３９０ 焦点位置制御部、４００ 表示部、５００ 外部Ｉ／Ｆ部、
６００ コンピュータシステム、６１０ 本体部、
６１１ ＣＰＵ、６１２ ＲＡＭ、６１３ ＲＯＭ、６１４ ＨＤＤ、
６１５ ＣＤ−ＲＯＭドライブ、６１６ ＵＳＢポート、
６１７ Ｉ／Ｏインターフェース、６１８ ＬＡＮインターフェース、
６２０ ディスプレイ、６２１ 表示画面、６３０ キーボード、６４０ マウス、
６５０ モデム、６６０ ＣＤ−ＲＯＭ、６７０ ＵＳＢメモリ、６８１ ＰＣ、
６８２ サーバ、６８３ プリンタ、
Ａ１〜Ａ５ 分割観察領域、Ｄａｄ 被写界深度、Ｄｔｇ 目標被写界深度、
Ｆ Ｆ値、Ｋｂ 後方被写界深度、Ｋｆ 前方被写界深度、Ｌ 焦点位置、
Ｎ１ 広域エリアネットワーク、Ｎ３ 公衆回線、Ｏｂ 後方目標被写界深度、
Ｏｆ 前方目標被写界深度、Ｖｔ１ 第１の閾値、Ｖｔ２ 第２の閾値、
Ｚ１〜Ｚ５ 区間、ｄ レンズ有効口径、ｆ 焦点距離、ｒ 許容錯乱円
【特許請求の範囲】
【請求項１】
内視鏡装置の撮像光学系により撮像された被写体画像を取得する画像取得部と、
前記被写体画像内の画素の画素値に基づいて、前記被写体画像内において観察対象となる領域である観察領域の合焦・非合焦を判定する判定部と、
前記判定の結果に基づいて、前記撮像光学系の絞りを制御する絞り制御部と、
を含むことを特徴とする制御装置。
【請求項２】
請求項１において、
前記判定部は、
前記観察領域を複数の分割観察領域に分割する分割部を有し、
前記判定部は、
前記分割された各分割観察領域の合焦・非合焦を判定し、
前記絞り制御部は、
前記各分割観察領域の判定結果に基づいて、前記撮像光学系の絞りを制御することを特徴とする制御装置。
【請求項３】
請求項２において、
前記絞り制御部は、
前記判定部により前記複数の分割観察領域の全てが合焦であると判定された場合、前記絞りの絞り値を小さくする制御を行うことを特徴とする制御装置。
【請求項４】
請求項２において、
前記絞り制御部は、
前記判定部により少なくとも一つ以上の分割観察領域が非合焦であると判定された場合、前記絞りの絞り値を大きくする制御を行うことを特徴とする制御装置。
【請求項５】
請求項２において、
前記絞り制御部は、
前記判定部により少なくとも一つ以上の分割観察領域が非合焦であると判定された場合、前記各分割観察領域に対応する実空間上の対応点が、前記撮像光学系の被写界深度の範囲に含まれるように前記撮像光学系の絞りを制御することを特徴とする制御装置。
【請求項６】
請求項５において、
前記絞り制御部は、
前記各分割観察領域に対応する実空間上の対応点のうちの最遠点及び最近点が、少なくとも前記撮像光学系の被写界深度の範囲に含まれるように前記撮像光学系の絞りを制御することを特徴とする制御装置。
【請求項７】
請求項６において、
前記絞り制御部は、
前記最遠点と前記被写界深度の遠点とが一致するように、又は、前記最近点と前記被写界深度の近点とが一致するように前記撮像光学系の絞りを制御することを特徴とする制御装置。
【請求項８】
請求項６において、
前記撮像光学系の焦点位置を制御する焦点位置制御部をさらに含み、
前記絞り制御部は、
前記最遠点と前記被写界深度の遠点とが一致するとともに、前記最近点と前記被写界深度の近点とが一致するように、前記撮像光学系の絞りを制御し、
前記焦点位置制御部は、
前記最遠点と前記被写界深度の遠点とが一致するとともに、前記最近点と前記被写界深度の近点とが一致するように、前記撮像光学系の焦点位置を制御することを特徴とする制御装置。
【請求項９】
請求項８において、
前記被写体画像内の画素の画素値に基づいて、前記撮像光学系から前記最遠点までの第１距離と前記撮像光学系から前記最近点までの第２距離を推定する距離推定部をさらに含み、
前記絞り制御部は、
前記最遠点と前記被写界深度の遠点とが一致するとともに、前記最近点と前記被写界深度の近点とが一致する場合の前記撮像光学系の絞り値を、前記第１距離と前記第２距離に基づいて算出し、
前記焦点位置制御部は、
前記最遠点と前記被写界深度の遠点とが一致するとともに、前記最近点と前記被写界深度の近点とが一致する場合の前記撮像光学系の焦点位置を、前記第１距離と前記第２距離に基づいて算出することを特徴とする制御装置。
【請求項１０】
請求項２において、
前記絞り制御部は、
前記判定部により少なくとも一つ以上の分割観察領域が非合焦であると判定された場合、前記撮像光学系の被写界深度が、前記各分割観察領域に対応する実空間上の対応点のうちの最近点から最遠点までの距離以上となるように前記撮像光学系の絞りを制御することを特徴とする制御装置。
【請求項１１】
請求項２において、
前記絞り制御部は、
前記判定部による前回の判定において、前記複数の分割観察領域の全てが合焦であると判定され、前記判定部による今回の判定において、前記複数の分割観察領域のうちの所定数以上の分割領域が非合焦であると判定された場合、前記絞り値の変更を禁止する変更禁止期間を設定し、
前記絞り制御部は、
前記変更禁止期間が経過するまで前記絞り値を変更しないことを特徴とする制御装置。
【請求項１２】
請求項１において、
前記絞り制御部は、
前記判定部により前記観察領域が非合焦であると判定された場合、前記撮像光学系の絞りの絞り値を大きくすることを特徴とする制御装置。
【請求項１３】
請求項１において、
前記判定部は、
前記被写体画像上において前記観察領域を設定する観察領域設定部を有し、
前記判定部は、
前記設定された観察領域内の画素の画素値に基づいて、前記観察領域の合焦・非合焦を判定することを特徴とする制御装置。
【請求項１４】
請求項１３において、
前記観察領域設定部は、
前記被写体画像内の画素の画素値に基づいて、前記観察領域を設定することを特徴とする制御装置。
【請求項１５】
請求項１３において、
前記被写体画像上における前記観察領域を特定するための情報をユーザから受け付ける受付部をさらに含み、
前記観察領域設定部は、
前記受け付けた情報に基づいて、前記観察領域を設定することを特徴とする制御装置。
【請求項１６】
請求項１において、
前記被写体画像は、
ＲＧＢのチャンネルを有するカラー画像であり、
前記判定部は、
前記Ｇチャンネル及びＢチャンネルの少なくとも一方のコントラストを算出するコントラスト算出部を有し、
前記判定部は、
前記算出されたコントラストに基づいて前記観察領域の合焦・非合焦を判定することを特徴とする制御装置。
【請求項１７】
請求項９において、
前記被写体画像は、
ＲＧＢのチャンネルを有するカラー画像であり、
前記距離推定部は、
前記Ｒチャンネル内の画素の画素値に基づいて前記第１距離と前記第２距離を推定することを特徴とする制御装置。
【請求項１８】
請求項１において、
前記撮像光学系は、
被写体の撮像倍率を可変に設定可能であり、
前記絞り制御部は、
前記撮像倍率に応じて前記絞りの絞り値を制御することを特徴とする制御装置。
【請求項１９】
請求項１８において、
前記絞り制御部は、
前記撮像倍率に伴って変化した前記撮像光学系の焦点距離又は焦点位置に基づいて、前記撮像光学系の被写界深度が所定の被写界深度となるように前記絞り値を制御することを特徴とする制御装置。
【請求項２０】
請求項１において、
被写体に照射する光量を制御する調光部をさらに含み、
前記調光部は、
前記絞りの絞り値に基づいて前記光量を制御することを特徴とする記載の制御装置。
【請求項２１】
請求項１乃至２０のいずれかに記載された制御装置を含むことを特徴とする内視鏡装置。
【請求項２２】
撮像光学系により撮像された被写体画像を取得し、
前記被写体画像内の画素の画素値に基づいて、前記被写体画像内において観察すべき領域である観察領域の合焦・非合焦を判定し、
前記判定の結果に基づいて、前記撮像光学系の絞りを制御することを特徴とする絞り制御方法。
【請求項２３】
請求項２２において、
前記観察領域を複数の分割観察領域に分割し、
前記分割された各分割観察領域の合焦・非合焦を判定し、
前記各分割観察領域の判定結果に基づいて、前記撮像光学系の絞りを制御することを特徴とする絞り制御方法。
【請求項２４】
撮像光学系により撮像された被写体画像を取得する画像取得部と、
前記被写体画像内の画素の画素値に基づいて、前記被写体画像内において観察すべき領域である観察領域の合焦・非合焦を判定する判定部と、
前記判定の結果に基づいて、前記撮像光学系の絞りを制御する絞り制御部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項２５】
請求項２４において、
前記判定部は、
前記観察領域を複数の分割観察領域に分割する分割部を有し、
前記判定部は、
前記分割された各分割観察領域の合焦・非合焦を判定し、
前記絞り制御部は、
前記各分割観察領域の判定結果に基づいて、前記撮像光学系の絞りを制御することを特徴とするプログラム。
【請求項１】
内視鏡装置の撮像光学系により撮像された被写体画像を取得する画像取得部と、
前記被写体画像内の画素の画素値に基づいて、前記被写体画像内において観察対象となる領域である観察領域の合焦・非合焦を判定する判定部と、
前記判定の結果に基づいて、前記撮像光学系の絞りを制御する絞り制御部と、
を含むことを特徴とする制御装置。
【請求項２】
請求項１において、
前記判定部は、
前記観察領域を複数の分割観察領域に分割する分割部を有し、
前記判定部は、
前記分割された各分割観察領域の合焦・非合焦を判定し、
前記絞り制御部は、
前記各分割観察領域の判定結果に基づいて、前記撮像光学系の絞りを制御することを特徴とする制御装置。
【請求項３】
請求項２において、
前記絞り制御部は、
前記判定部により前記複数の分割観察領域の全てが合焦であると判定された場合、前記絞りの絞り値を小さくする制御を行うことを特徴とする制御装置。
【請求項４】
請求項２において、
前記絞り制御部は、
前記判定部により少なくとも一つ以上の分割観察領域が非合焦であると判定された場合、前記絞りの絞り値を大きくする制御を行うことを特徴とする制御装置。
【請求項５】
請求項２において、
前記絞り制御部は、
前記判定部により少なくとも一つ以上の分割観察領域が非合焦であると判定された場合、前記各分割観察領域に対応する実空間上の対応点が、前記撮像光学系の被写界深度の範囲に含まれるように前記撮像光学系の絞りを制御することを特徴とする制御装置。
【請求項６】
請求項５において、
前記絞り制御部は、
前記各分割観察領域に対応する実空間上の対応点のうちの最遠点及び最近点が、少なくとも前記撮像光学系の被写界深度の範囲に含まれるように前記撮像光学系の絞りを制御することを特徴とする制御装置。
【請求項７】
請求項６において、
前記絞り制御部は、
前記最遠点と前記被写界深度の遠点とが一致するように、又は、前記最近点と前記被写界深度の近点とが一致するように前記撮像光学系の絞りを制御することを特徴とする制御装置。
【請求項８】
請求項６において、
前記撮像光学系の焦点位置を制御する焦点位置制御部をさらに含み、
前記絞り制御部は、
前記最遠点と前記被写界深度の遠点とが一致するとともに、前記最近点と前記被写界深度の近点とが一致するように、前記撮像光学系の絞りを制御し、
前記焦点位置制御部は、
前記最遠点と前記被写界深度の遠点とが一致するとともに、前記最近点と前記被写界深度の近点とが一致するように、前記撮像光学系の焦点位置を制御することを特徴とする制御装置。
【請求項９】
請求項８において、
前記被写体画像内の画素の画素値に基づいて、前記撮像光学系から前記最遠点までの第１距離と前記撮像光学系から前記最近点までの第２距離を推定する距離推定部をさらに含み、
前記絞り制御部は、
前記最遠点と前記被写界深度の遠点とが一致するとともに、前記最近点と前記被写界深度の近点とが一致する場合の前記撮像光学系の絞り値を、前記第１距離と前記第２距離に基づいて算出し、
前記焦点位置制御部は、
前記最遠点と前記被写界深度の遠点とが一致するとともに、前記最近点と前記被写界深度の近点とが一致する場合の前記撮像光学系の焦点位置を、前記第１距離と前記第２距離に基づいて算出することを特徴とする制御装置。
【請求項１０】
請求項２において、
前記絞り制御部は、
前記判定部により少なくとも一つ以上の分割観察領域が非合焦であると判定された場合、前記撮像光学系の被写界深度が、前記各分割観察領域に対応する実空間上の対応点のうちの最近点から最遠点までの距離以上となるように前記撮像光学系の絞りを制御することを特徴とする制御装置。
【請求項１１】
請求項２において、
前記絞り制御部は、
前記判定部による前回の判定において、前記複数の分割観察領域の全てが合焦であると判定され、前記判定部による今回の判定において、前記複数の分割観察領域のうちの所定数以上の分割領域が非合焦であると判定された場合、前記絞り値の変更を禁止する変更禁止期間を設定し、
前記絞り制御部は、
前記変更禁止期間が経過するまで前記絞り値を変更しないことを特徴とする制御装置。
【請求項１２】
請求項１において、
前記絞り制御部は、
前記判定部により前記観察領域が非合焦であると判定された場合、前記撮像光学系の絞りの絞り値を大きくすることを特徴とする制御装置。
【請求項１３】
請求項１において、
前記判定部は、
前記被写体画像上において前記観察領域を設定する観察領域設定部を有し、
前記判定部は、
前記設定された観察領域内の画素の画素値に基づいて、前記観察領域の合焦・非合焦を判定することを特徴とする制御装置。
【請求項１４】
請求項１３において、
前記観察領域設定部は、
前記被写体画像内の画素の画素値に基づいて、前記観察領域を設定することを特徴とする制御装置。
【請求項１５】
請求項１３において、
前記被写体画像上における前記観察領域を特定するための情報をユーザから受け付ける受付部をさらに含み、
前記観察領域設定部は、
前記受け付けた情報に基づいて、前記観察領域を設定することを特徴とする制御装置。
【請求項１６】
請求項１において、
前記被写体画像は、
ＲＧＢのチャンネルを有するカラー画像であり、
前記判定部は、
前記Ｇチャンネル及びＢチャンネルの少なくとも一方のコントラストを算出するコントラスト算出部を有し、
前記判定部は、
前記算出されたコントラストに基づいて前記観察領域の合焦・非合焦を判定することを特徴とする制御装置。
【請求項１７】
請求項９において、
前記被写体画像は、
ＲＧＢのチャンネルを有するカラー画像であり、
前記距離推定部は、
前記Ｒチャンネル内の画素の画素値に基づいて前記第１距離と前記第２距離を推定することを特徴とする制御装置。
【請求項１８】
請求項１において、
前記撮像光学系は、
被写体の撮像倍率を可変に設定可能であり、
前記絞り制御部は、
前記撮像倍率に応じて前記絞りの絞り値を制御することを特徴とする制御装置。
【請求項１９】
請求項１８において、
前記絞り制御部は、
前記撮像倍率に伴って変化した前記撮像光学系の焦点距離又は焦点位置に基づいて、前記撮像光学系の被写界深度が所定の被写界深度となるように前記絞り値を制御することを特徴とする制御装置。
【請求項２０】
請求項１において、
被写体に照射する光量を制御する調光部をさらに含み、
前記調光部は、
前記絞りの絞り値に基づいて前記光量を制御することを特徴とする記載の制御装置。
【請求項２１】
請求項１乃至２０のいずれかに記載された制御装置を含むことを特徴とする内視鏡装置。
【請求項２２】
撮像光学系により撮像された被写体画像を取得し、
前記被写体画像内の画素の画素値に基づいて、前記被写体画像内において観察すべき領域である観察領域の合焦・非合焦を判定し、
前記判定の結果に基づいて、前記撮像光学系の絞りを制御することを特徴とする絞り制御方法。
【請求項２３】
請求項２２において、
前記観察領域を複数の分割観察領域に分割し、
前記分割された各分割観察領域の合焦・非合焦を判定し、
前記各分割観察領域の判定結果に基づいて、前記撮像光学系の絞りを制御することを特徴とする絞り制御方法。
【請求項２４】
撮像光学系により撮像された被写体画像を取得する画像取得部と、
前記被写体画像内の画素の画素値に基づいて、前記被写体画像内において観察すべき領域である観察領域の合焦・非合焦を判定する判定部と、
前記判定の結果に基づいて、前記撮像光学系の絞りを制御する絞り制御部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項２５】
請求項２４において、
前記判定部は、
前記観察領域を複数の分割観察領域に分割する分割部を有し、
前記判定部は、
前記分割された各分割観察領域の合焦・非合焦を判定し、
前記絞り制御部は、
前記各分割観察領域の判定結果に基づいて、前記撮像光学系の絞りを制御することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１５７４１６（Ｐ２０１２−１５７４１６Ａ）
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願番号】特願２０１１−１７４８１（Ｐ２０１１−１７４８１）
【出願日】平成２３年１月３１日（２０１１．１．３１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願日】平成２３年１月３１日（２０１１．１．３１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]