合焦制御装置、内視鏡システム及び合焦制御方法
【課題】 １群駆動レンズでＡＦを行う場合に、ＡＦ評価値取得時に発生する倍率変動による悪影響を抑止する合焦制御装置、内視鏡システム及び合焦制御方法等を提供すること。
【解決手段】 合焦制御装置は、撮像倍率の変更に伴い合焦物体位置が変更される撮像光学系の駆動を制御する合焦制御部３３０と、撮像光学系を介した撮像によって、異なる撮像倍率で撮像された複数の画像を取得する画像取得部３１０と、撮像倍率及び画像における被写体のサイズの少なくとも一方の変動である倍率変動を検出する倍率変動検出部３２０とを含み、合焦制御部３３０は画像及び倍率変動に基づいて算出した、撮像光学系の焦点状態を表すＡＦ評価値に基づいて撮像光学系を駆動することによって、撮像光学系の合焦制御を行う。
【解決手段】 合焦制御装置は、撮像倍率の変更に伴い合焦物体位置が変更される撮像光学系の駆動を制御する合焦制御部３３０と、撮像光学系を介した撮像によって、異なる撮像倍率で撮像された複数の画像を取得する画像取得部３１０と、撮像倍率及び画像における被写体のサイズの少なくとも一方の変動である倍率変動を検出する倍率変動検出部３２０とを含み、合焦制御部３３０は画像及び倍率変動に基づいて算出した、撮像光学系の焦点状態を表すＡＦ評価値に基づいて撮像光学系を駆動することによって、撮像光学系の合焦制御を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合焦制御装置、内視鏡システム及び合焦制御方法等に関する。
【背景技術】
【０００２】
従来、体腔内の組織に対して照明光を照射し、それらの反射光から作成した画像信号を用いて診断・処置を行う内視鏡装置が広く使用されている。内視鏡光学系は一般に、被写界深度の広い、パンフォーカスに設計されているため、通常観察時には被写体の遠点から近点までピントの合った画像が取得できる。
【０００３】
しかし、拡大観察時には被写界深度が浅くなるため、ピントが合わない（以降、合焦しないと表記）頻度が高くなる。ユーザは合焦した内視鏡画像において被写体を観察するため、ユーザは合焦操作を手動で行う必要があり、大きな負担となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２５８１６４号公報
【非特許文献】
【０００５】
【非特許文献１】回転不変位相限定相関による画像の回転角度計測について 映像情報メディア学会技術報告 22(45), 55-60, 1998-09-14
【非特許文献２】David G. Lowe, “Distinctive image features from scale-invariant keypoints” , Journal of Computer Vision, 60, 2 , pp. 91-110, 2004.
【非特許文献３】M.A.Fischler and R. C. Bolles, "Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography," Commun. ACM, no.24, vol.6, pp.381-395, June 1981.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
拡大観察時に合焦が困難という課題の解決策として、オートフォーカス（以降、ＡＦと表記）の導入が考えられる。ＡＦを導入することにより、ユーザは手動による合焦作業から開放される。例えば特許文献１の内視鏡装置は、通常観察と拡大観察のどちらの状態においてもＡＦを行っている。
【０００７】
ここで、ＡＦを実現するために、図１９（Ａ）、図１９（Ｂ）に示す光学系の構成が考えられる。図１９（Ａ）に示す１群駆動レンズは、ズームレンズを駆動することで合焦物体位置を制御するため、合焦物体位置を変更すると倍率も同時に変化してしまう。一方、図１９（Ｂ）に示す２群駆動レンズでは、ズームレンズとフォーカスレンズを駆動可能であるため、倍率と合焦物体位置を独立に制御できる利点がある。しかし２群駆動レンズは、１群駆動レンズに比べ構成が複雑になる。そのため、１群駆動レンズに比べて、実装が困難であり、さらに内視鏡の径が太くなる問題がある。
【０００８】
以上の理由から、内視鏡スコープにおいては、図１９（Ａ）に示す１群駆動レンズの実装が望ましい。
【０００９】
しかし、１群駆動レンズの場合、上述のように合焦物体位置を変更すると倍率も同時に変化してしまうため、コントラストＡＦにおいて安定的にコントラスト値（画像の高周波成分）を算出できないという課題がある。コントラストＡＦでは、合焦時には画像の高周波成
分が極大になるとの前提から、フィルタリング処理で画像から抽出した高周波成分が極大値をとるように、レンズを駆動する。しかし、１群駆動レンズによるＡＦ動作に伴い倍率も変化すると、画像の周波数特性そのものも変化してしまい、コントラスト値の極大値探索が困難になる。
【００１０】
本発明の幾つかの態様によれば、１群駆動レンズでＡＦを行う場合に、ＡＦ評価値取得時に発生する倍率変動による悪影響を抑止する合焦制御装置、内視鏡システム及び合焦制御方法等を提供することができる。
【課題を解決するための手段】
【００１１】
本発明の一態様は、撮像倍率の変更に伴い合焦物体位置が変更される撮像光学系の駆動を制御する合焦制御部と、前記撮像光学系を介した撮像によって、異なる前記撮像倍率で撮像された複数の画像を取得する画像取得部と、前記撮像倍率及び前記画像における被写体のサイズの少なくとも一方の変動である倍率変動を検出する倍率変動検出部と、を含み、前記合焦制御部は、前記画像及び前記倍率変動に基づいて、前記撮像光学系の焦点状態を表すＡＦ評価値を算出し、算出した前記ＡＦ評価値に基づいて前記撮像光学系を駆動することによって、前記撮像光学系の合焦制御を行う合焦制御装置に関係する。
【００１２】
本発明の一態様では、撮像倍率の変更に伴い合焦物体位置が変更される撮像光学系において、撮像倍率及び画像における被写体のサイズの少なくとも一方の変動である倍率変動を検出し、検出した倍率変動に基づいてＡＦ評価値を算出する。これにより、異なる合焦物体位置においてＡＦ評価値の算出を行う際、合焦物体位置の変更に伴う撮像倍率の変更による影響を抑止し、安定的にＡＦ評価値を算出すること等が可能になる。
【００１３】
また、本発明の他の態様は、撮像倍率の変更に伴い合焦物体位置が変更される撮像光学系の駆動を制御する合焦制御部と、前記撮像光学系を介した撮像によって、異なる前記撮像倍率で撮像された複数の画像を取得する画像取得部と、前記撮像倍率及び前記画像における被写体のサイズの少なくとも一方の変動である倍率変動を検出する倍率変動検出部と、を含み、前記合焦制御部は、前記画像及び前記倍率変動に基づいて、前記撮像光学系の焦点状態を表すＡＦ評価値を算出し、算出した前記ＡＦ評価値に基づいて前記撮像光学系を駆動することによって、前記撮像光学系の合焦制御を行う内視鏡システムに関係する。
【００１４】
また、本発明の他の態様は、撮像倍率の変更に伴い合焦物体位置が変更される撮像光学系の駆動を制御する合焦制御方法であって、前記撮像光学系を介した撮像によって、異なる前記撮像倍率で撮像された複数の画像を取得し、前記撮像倍率及び前記画像における被写体のサイズの少なくとも一方の変動である倍率変動を検出し、取得した前記画像及び検出した前記倍率変動に基づいて、前記撮像光学系の焦点状態を表すＡＦ評価値を算出し、算出した前記ＡＦ評価値に基づいて前記撮像光学系を駆動することによって、前記撮像光学系の合焦制御を行う合焦制御方法に関係する。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態にかかる合焦制御装置及びそれを含む内視鏡システムの構成例。
【図２】撮像素子の構成例。
【図３】第１の実施形態の合焦制御部の構成例。
【図４】倍率変動に応じたフィルタ周波数特性の変更手法を説明する図。
【図５】第２の実施形態にかかる合焦制御装置及びそれを含む内視鏡システムの構成例。
【図６】第２の実施形態の倍率変動検出部の構成例。
【図７】第２の実施形態の倍率変動検出部の他の構成例。
【図８】第２の実施形態の合焦制御部の構成例。
【図９】図９（Ａ）、図９（Ｂ）は倍率変動に応じた評価領域の設定手法を説明する図。
【図１０】第２の実施形態の合焦制御部の他の構成例。
【図１１】図１１（Ａ）、図１１（Ｂ）は初期評価領域の設定手法を説明する図。
【図１２】第３の実施形態にかかる合焦制御装置及びそれを含む内視鏡システムの構成例。
【図１３】第３の実施形態の倍率変動検出部の構成例。
【図１４】図１４（Ａ）〜図１４（Ｃ）は倍率変動に伴う内視鏡画像の変動例、図１４（Ｄ）、図１４（Ｅ）は倍率変動に応じて取得される変倍画像の例。
【図１５】図１５（Ａ）〜図１５（Ｅ）は倍率変動が許容変倍率の範囲内の場合の内視鏡画像と変倍画像の例。
【図１６】図１６（Ａ）〜図１６（Ｅ）は倍率変動が許容変倍率よりも小さい場合の内視鏡画像と変倍画像の例。
【図１７】図１７（Ａ）〜図１７（Ｅ）は倍率変動が許容変倍率よりも大きい場合の内視鏡画像と変倍画像の例。
【図１８】第３の実施形態の合焦制御部の構成例。
【図１９】図１９（Ａ）は１群駆動レンズの例、図１９（Ｂ）は２群駆動レンズの例。
【図２０】第４の実施形態にかかる合焦制御装置及びそれを含む内視鏡システムの構成例。
【図２１】第４の実施形態の画像変倍部の構成例。
【図２２】第４の実施形態の表示倍率調整部の構成例。
【図２３】検出された倍率変動の例。
【図２４】低周波の倍率変動を基準とした場合の、高周波の倍率変動による変動の例。
【図２５】検出された倍率変動から高周波成分の影響を低減した例。
【図２６】ウォブリングによる画角領域の変動を説明する図。
【図２７】第４の実施形態の画像調整部の構成例。
【図２８】図２８（Ａ）は画像変倍処理として拡大処理が行われた例、図２８（Ｂ）は画像変倍処理として縮小処理が行われた例。
【図２９】第４の実施形態の変形例における目標画角領域の説明図。
【図３０】第４の実施形態の変形例の処理を説明する図。
【発明を実施するための形態】
【００１６】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１７】
１．本実施形態の手法
まず本実施形態の手法について説明する。１群駆動レンズ（図１９（Ａ））ではズームレンズを移動させることで合焦物体位置を変更する。つまり、合焦物体位置の移動には撮像倍率の変動を伴うことになる。よって１群駆動レンズを用いてＡＦ（ＡｕｔｏＦｏｃｕｓ）を行おうとした場合、ＡＦに用いるＡＦ評価値（例えばコントラスト値）の算出が問題となる。
【００１８】
なお、合焦物体位置とは、物体、撮像光学系、像面等を含む系が合焦状態にある場合の、基準位置に対する当該物体の相対的な位置（物点）である。具体的には、所与の位置に像面を設定し、撮像光学系を所与の状態とした場合に、当該撮像光学系により前記像面上に結像する像が合焦している場合の当該物体の位置を表す。本実施形態の合焦制御装置（或いは内視鏡システム）等では、像面は撮像部に含まれる撮像素子の面と一致することが想定されるため、撮像素子の面が固定されている場合、光学系の状態を決定すれば合焦物体位置は決定可能となる。
【００１９】
コントラストＡＦにおいて、合焦物体位置を変化させてそれぞれの位置でコントラスト値を算出し、算出したコントラスト値の極大値を求めるように、ＡＦでは複数のＡＦ評価値の関係を求めることが想定される。しかし、１群駆動レンズでは上述したように、合焦物体位置を変えると撮像倍率も変化してしまう。そのため、あるタイミングでのＡＦ評価値算出に用いた画像に比べて、別のタイミングでの画像は被写体の倍率が変化しており、ＡＦ評価値を安定的に算出することができない。例えば、ＡＦ動作中に撮像倍率が増加した（拡大された）場合には、画像に含まれる高周波成分が低周波側にシフトする（エッジがなまる）ことになり、拡大前と拡大後でＡＦ評価値の算出条件が異なってしまう。よって、ＡＦ評価値の大小を適切に判断することができず、ＡＦ動作に支障をきたす。
【００２０】
そこで本出願人は、倍率変動（倍率変動情報）を補償するようなＡＦ評価値の算出手法を提案する。具体的には、３つの手法を提案しており、第１の実施形態では、倍率変動に基づいてＡＦ評価値の算出時に用いられるフィルタの周波数特性を変更する。第２の実施形態では、ＡＦ評価値の算出対象となる画素の範囲を表す評価領域のサイズを、倍率変動に基づいて変更する。第３の実施形態では、画像自体に対して倍率変動に基づいて変倍処理を施し、変倍処理後の変倍画像を用いてＡＦ評価値を算出する。
【００２１】
また、倍率変動の取得手法も２通り考えられ、第１の実施形態では、撮像光学系からの制御情報（例えばズームレンズ位置に関するレンズ制御信号）に基づいて、倍率変動を取得する。また、第２の実施形態では、撮像した画像上での被写体サイズに基づいて倍率変動を取得する。なお、制御情報により取得された倍率変動は、撮像倍率の変動を示す情報であるのに対して、画像での被写体サイズにより取得された倍率変動は、撮像倍率の変動に加えて、撮像光学系と被写体との相対距離の変動を示す情報である。
【００２２】
以下の実施形態では、ＡＦ評価値算出手法と、倍率変動検出手法の組み合わせとして、第１の実施形態においてフィルタ処理とレンズ制御信号の組み合わせを記載し、第２の実施形態において評価領域と被写体サイズの組み合わせを記載しているが、これに限定されるものではない。３つのＡＦ評価値算出手法と、２つの倍率変動検出手法の組み合わせは任意である。また、レンズ制御信号に基づく倍率変動と、被写体サイズに基づく倍率変動の両方を取得してもよく、特にＡＦ評価値算出手法として変倍処理を用いる場合に有用である。詳細については第３の実施形態及びその変形例で詳述する。
【００２３】
また、ＡＦ評価値算出の際のズームレンズの駆動（ウォブリング）により撮像倍率が変動することで、ユーザ（ドクター）に提示する表示画像の倍率（画角）も高頻度に変化することになる。しかし、表示画像に基づき診断を行う際、表示画像の画角の高頻度での変化は、ドクターにとってストレスになりやすく、適切な診断を妨げる要因となる。よって、撮像した画像に対して適切な変倍処理を行うことで、ユーザにとって観察しやすい表示画像を生成、表示してもよい。具体的な手法は、第３の実施形態及び第４の実施形態で説明する。なお、第４の実施形態では、ＡＦ評価値算出手法は上述のいずれの手法を用いてもよいものとする。
【００２４】
なお、以下の説明においては多くの箇所で、隣接する２タイミング間での撮像倍率或いは被写体サイズの比が倍率変動Ｚであり、Ｚの直積である累積倍率Ａは所与の２タイミング間（隣接してもよいし、しなくてもよい）での撮像倍率等の比に相当する値であるものとしている。しかし、倍率変動Ｚと累積倍率Ａは算出手法が異なるが、ともに異なる２タイミング間での撮像倍率等の変動を表すものであり、本質的には同様の意味を持つ。よって、本実施形態においては、累積倍率Ａも広義には倍率変動に含まれるものとする。このことから、区別可能な箇所については、上述したように隣接２タイミング間の比を倍率変動Ｚとし、Ｚの直積をＡとして異なる用語で説明しているが、区別することが難しい（或いは区別する必要がない）箇所については、「倍率変動」という用語はＺ及びＡのどちらを指してもよいものとしている。
【００２５】
２．第１の実施形態
本実施形態に係る合焦制御装置を含む内視鏡装置について、図１を参照して説明する。内視鏡装置は、光源部１００と、挿入部２００と、信号処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。
【００２６】
光源部１００は、白色光源１１０と、集光レンズ１２０を備えている。白色光源１１０は白色光を発する。集光レンズ１２０は、白色光源１１０で発せられた光を後述するライトガイドファイバ２１０に集光する。
【００２７】
挿入部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。挿入部２００は、ライトガイドファイバ２１０と、照明レンズ２２０と、撮像部２３０を備えている。ライトガイドファイバ２１０は、光源部１００で集光された光を挿入部２００の先端まで導く。照明レンズ２２０は、ライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて観察対象に照射する。撮像部２３０は、対物レンズ２３１と、撮像素子２３２と、Ａ／Ｄ変換部２３３を備えている。対物レンズ２３１は、観察対象から戻る反射光を撮像素子２３２に集光する。また、対物レンズ２３１は、倍率および合焦物体位置を同時に変更する機能を備えている。撮像素子２３２は、検出した反射光に基づくアナログ信号を、Ａ／Ｄ変換部２３３に出力する。Ａ／Ｄ変換部２３３は、後述する制御部３４０にて出力される制御信号に基づき、撮像素子２３２から出力されるアナログ信号をデジタル信号に変換し、ＲＡＷ画像として信号処理部３００に出力する。ここで、撮像素子２３２は、原色ベイヤ配列を有しており、撮像素子２３２で取得される画像は原色ベイヤ画像である。原色ベイヤ画像とは、各画素が図２に示すように、市松状にＲＧＢいずれかの信号を有した画像である。
【００２８】
信号処理部３００は、画像取得部３１０と、倍率変動検出部３２０と、合焦制御部３３０と、制御部３４０を備えている。撮像部２３０より出力されるＲＡＷ画像は、画像取得部３１０に出力されている。画像取得部３１０は、合焦制御部３３０と、表示部４００に接続されている。倍率変動検出部３２０は、合焦制御部３３０に接続されている。合焦制御部３３０は、対物レンズ２３１に接続されており、レンズ制御信号による対物レンズ２３１の制御に基づいて、倍率および合焦物体位置を制御する。当該レンズ制御信号は、倍率変動検出部３２０にも出力される。制御部３４０は、撮像部２３０と、倍率変動検出部３２０と、合焦制御部３３０と、画像取得部３１０と、表示部４００と、外部Ｉ／Ｆ部５００に双方向に接続しており、これらを制御信号により相互に制御する。制御信号は、被写体に自動的に焦点を合わせるオートフォーカス（以降、ＡＦと表記）機能の開始・終了を示す、ＡＦトリガ信号を含んでいる。以降、制御部３４０に接続する各構成要件は、制御信号によりＡＦ動作の開始・終了を検知するとして説明する。
【００２９】
画像取得部３１０は、撮像部２３０より出力されるＲＡＷ画像に対し、ホワイトバランス処理、デモザイキング処理など既存の画像処理を行い、内視鏡画像を取得する。取得した内視鏡画像は、合焦制御部３３０と、表示部４００に出力される。ここで、内視鏡画像とはＲＧＢのカラー画像である。
【００３０】
倍率変動検出部３２０は、後述する合焦制御部３３０より出力されるレンズ制御信号に基づき、経時的な対物レンズ２３１の倍率変動を検出する。例えば、時刻ｔ（現在）における対物レンズ２３１の倍率がｚｔ、時刻ｔ−１における対物レンズ２３１の倍率がｚｔ−１の場合、倍率変動検出部３２０は、Ｚｔ＝ｚｔ/ｚｔ−１を倍率変動として、合焦制御部３３０に出力する。ここで、時刻ｔおよびｔ−１は、制御信号が倍率変動検出部３２０に出力される時刻であり、時刻ｔ−１とは時刻ｔの直前に制御信号が倍率変動検出部３２０に出力された時刻である。
【００３１】
合焦制御部３３０は、制御信号によりＡＦ動作の開始を検知すると、画像取得部３１０より出力される内視鏡画像および、倍率変動検出部３２０より出力される倍率変動に基づき、対物レンズ２３１の制御を行って合焦物体位置を制御する。本実施形態においては、合焦物体位置を変更すると同時に撮像倍率も変動するが、ここでは説明のため合焦物体位置を制御する、とのみ表記する。
【００３２】
合焦制御部３３０の具体的な構成について図３を参照して説明する。合焦制御部３３０は、フィルタ選択部３３１と、コントラスト値算出部３３２と、レンズ制御部３３３を備えている。画像取得部３１０より出力される内視鏡画像は、コントラスト値算出部３３２に出力されている。倍率変動検出部３２０より出力される倍率変動は、フィルタ選択部３３１に出力される。フィルタ選択部３３１は、コントラスト値算出部３３２に接続されている。コントラスト値算出部３３２は、レンズ制御部３３３に接続されている。レンズ制御部３３３は、対物レンズ２３１に接続され、レンズ制御信号を出力することでこれを制御する。またレンズ制御信号は、倍率変動検出部３２０にも出力されている。
【００３３】
フィルタ選択部３３１は、倍率変動検出部３２０より出力される倍率変動に基づき、後述するコントラスト値算出に利用するフィルタを所定のフィルタ群より選択する。ここで、フィルタとは公知のハイパスフィルタである。また、説明を簡便にするため、フィルタ群に含まれるフィルタは３つとする。具体的なフィルタ選択方法は、まず制御信号よりＡＦ動作の開始を検知すると、下式（１）で累積倍率を算出する。
【数１】
【００３４】
但し、ｔは現時刻、Ａｔは現時刻における累積倍率、ｓはＡＦ動作が開始した時刻を表す。また、ｉは時刻を示すインデックス、Ｚは倍率変動の値（倍率変動値）である。つまり累積倍率は、ＡＦ動作開始時から現在までの倍率変動の値の直積である。図４を参照して、累積倍率に基づくハイパスフィルタ選択を説明する。図４はハイパスフィルタの周波数特性を示している。累積倍率が１．０より大きい場合、つまりＡＦ動作開始時より倍率が高い場合には、ＡＦ動作開始時に比べて、より低周波信号を通過するハイパスフィルタを選択する。累積倍率が１．０より小さい場合、つまりＡＦ動作開始時より倍率が低い場合、ＡＦ動作開始時に比べて、より高周波信号を通過するハイパスフィルタを選択する。また、本実施形態ではフィルタ群は３つのフィルタで構成された場合について説明したが、より多数のフィルタであってもかまわない。この場合、累積倍率の高低の程度が強まれば強まるほど、低周波もしくは高周波信号をより通過する。また、所定のハイパスフィルタに対して、累積倍率に基づきその周波数特性を変更して用いてもかまわない。この場合、下式（２）の周波数特性となるフィルタを設計する。
【数２】
【００３５】
但し、Ｇｔ（ｕ）は時刻ｔにおけるフィルタの周波数特性。ｕは空間周波数。Ｇｏ（ｕ）は所定のフィルタの周波数特性である。
【００３６】
また、本実施形態ではフィルタとしてハイパスフィルタを利用したが、バンドパスフィルタを利用してもかまわない。この場合もハイパスフィルタと同様に、ＡＦ動作開始時より倍率が高い場合は低周波信号を、ＡＦ動作開始時より倍率が低い場合は高周波信号を、より通過する周波数特性を有したフィルタを選択する。
【００３７】
コントラスト値算出部３３２は、画像取得部３１０より出力される内視鏡画像に対し、フィルタ選択部３３１で選択されたフィルタによるフィルタリング処理を行い、コントラスト値を算出する。具体的にコントラスト値とは、内視鏡画像中央に位置する所定サイズの矩形領域における、フィルタリング処理された内視鏡画像の画素値の総和である。ここでコントラスト値は、内視鏡画像のＧ信号にのみフィルタリング処理を行って算出する。これは、内視鏡画像における主な被写体である体腔内は、局所的な画素値の変化がＧ信号において最も大きく、コントラスト値算出に適しているためである。算出したコントラスト値は、レンズ制御部３３３に出力される。また本実施形態において、コントラスト値はＧ信号のみより算出したが、ＲＧＢ全ての信号に対しチャンネルごとにフィルタリング処理を行い、ＲＧＢ信号ごとの総和を合計して算出しても構わない。
【００３８】
レンズ制御部３３３は、コントラスト値算出部３３２より出力されるコントラスト値に基づき、対物レンズ２３１を制御するレンズ制御信号を出力する。コントラスト値に基づく具体的な合焦制御方法は、ＡＦ技術として公知であるため詳細な技術説明は省略する。レンズ制御信号は、対物レンズ２３１と、倍率変動検出部３２０に出力される。
【００３９】
表示部４００は、画像取得部３１０より出力される内視鏡画像を、内視鏡モニタ等の画像表示装置上に出力する。
【００４０】
外部Ｉ／Ｆ部５００は、合焦制御装置に対するユーザからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタン、被写体に自動的に焦点を合わせるオートフォーカス動作を開始するＡＦボタンなどを含んで構成されている。
【００４１】
本発明の一態様では、倍率変動と合焦物体位置変動が連動する内視鏡撮像光学系を通して、内視鏡画像が取得される。内視鏡撮像光学系の倍率変動を、内視鏡撮像光学系の制御信号より検出する。検出した倍率変動に基づきハイパスフィルタの周波数特性を選択する。当該ハイパスフィルタにより内視鏡画像にフィルタリング処理を行うことで、コントラスト値を算出する。算出したコントラスト値が極大値をとるよう撮像光学系を制御することで、ＡＦ機能を実現する。倍率変動に応じて、適切な周波数特性のフィルタによるコントラスト値算出を行うことで、倍率変動に対して安定的にＡＦ動作を行うことができる。
【００４２】
以上の本実施形態では、合焦制御装置は図１に示したように、撮像光学系の駆動を制御する合焦制御部３３０と、撮像光学系を介した撮像によって、異なる撮像倍率で撮像された複数の画像を取得する画像取得部３１０と、倍率変動を検出する倍率変動検出部３２０とを含む。合焦制御部３３０は、画像取得部３１０で取得された画像と、倍率変動検出部３２０で検出された倍率変動に基づいて撮像光学系の焦点状態を表すＡＦ評価値を算出し、ＡＦ評価値に基づいて撮像光学系を駆動することで合焦制御を行う。
【００４３】
ここで、撮像光学系は、撮像倍率の変更に伴い合焦物体位置が変更される構成であるものとする。つまり、図１９（Ａ）に示したような１群駆動レンズを前提とする。また、倍率変動とは、撮像倍率の変動、及び画像上での被写体のサイズの変動の少なくとも一方を表すものである。撮像倍率の例で言えば、撮像倍率が２倍から３倍へ変化した場合、その変化の度合い（比であれば３／２＝１．５であるし、差であれば３−２＝１である）を倍率変動とする。被写体のサイズの例で言えば、被写体上の２点間の距離が画像において１０ピクセルから２０ピクセルに変化した場合、その変化の度合い（比であれば２、差であれば１０）を倍率変動とする。倍率変動は、広義には比や差に限定されず、撮像倍率等の変動の度合いを表す他の情報（倍率変動情報）であってもよいが、本実施形態においては狭義には比を表すものとして説明する。またＡＦ評価値とは、ＡＦを実行するに当たって評価対象となる値のことであり、例えばコントラストＡＦにおけるコントラスト値であってもよい。
【００４４】
これにより、１群駆動レンズを用いた場合にもＡＦ評価値を適切に算出することが可能になるため、ＡＦを適切に実行することが可能になる。コントラストＡＦにおけるコントラスト値がそうであるように、ＡＦ評価値は合焦物体位置の異なる複数のタイミングでそれぞれ取得され、取得した複数のＡＦ評価値の比較を行うことが想定される。しかし、上述したように１群駆動レンズでは合焦物体位置の変更に伴い撮像倍率が変更されてしまうため、ＡＦ評価値の算出状況が変化してしまう。具体的には、撮像倍率が大きくなれば、拡大処理となるため画像の高周波成分が低周波側に移ってしまう。コントラスト値の一例として画像の高周波成分を用いることが考えられるように、画像の周波数成分の変化はＡＦ評価値に影響を与える。よって、本実施形態では、画像からＡＦ評価値を算出する際に、倍率変動（例えば撮像倍率の変動）に基づいた処理（具体的には倍率変動に伴う影響を補償するような処理）を行う。そうすることで安定的にＡＦ評価値を算出できるため、ＡＦを適切に実行することができる。
【００４５】
また、合焦制御部３３０は、倍率変動に応じた周波数特性を有するフィルタを用いたフィルタ処理を、画像に対して施すフィルタ処理部（フィルタ選択部３３１で選択されたフィルタによる処理を行うもので、上述の説明では図３におけるコントラスト値算出部３３２に対応する）を含んでもよい。
【００４６】
これにより、倍率変動に基づいたＡＦ評価値の算出処理として、当該算出処理に用いるフィルタの周波数特性を変更することが可能になる。上述したように、倍率変動に伴い画像の周波数特性が変化する。よって、フィルタの周波数特性を一定にした場合、合焦状態は一定であったとしても、倍率変動前にはフィルタを通過していた信号成分が、倍率変動後にはフィルタを通過しないことも考えられる。合焦状態が一定であるのならば、フィルタを通過する信号成分（信号値）は同程度のはずであるから、倍率変動による画像の周波数成分の変動に対応させてフィルタ特性も変更する必要がある。
【００４７】
また、フィルタ処理部は、倍率変動が大きいほどカットオフ周波数の低いハイパスフィルタを用いたフィルタ処理を行ってもよい。また、倍率変動が小さいほどカットオフ周波数の高いハイパスフィルタを用いたフィルタ処理を行ってもよい。
【００４８】
なお、ここでは上述したように倍率変動として撮像倍率（或いは被写体のサイズ）の変化の度合いとして２つの撮像倍率の比を用いるものとする。つまり、倍率変動が大きいとは、変動前に比べて変動後の撮像倍率が大きくなっている（拡大されている）状況であり、倍率変動が小さいとは、変動前に比べて変動後の撮像倍率が小さくなっている（縮小されている）状況である。ただし、倍率変動は拡大された場合に大きくなり、縮小された場合に小さくなるものであればよく、撮像倍率の差（拡大時は正の値、縮小時は負の値となる）であってもよいし、他の値であってもよい。
【００４９】
これにより、倍率変動に伴う画像の周波数成分の変化に対応させて、フィルタの周波数特性を変更することが可能になる。上述したように倍率変動が大きい、つまり拡大された場合には、エッジ成分がなまり、本来フィルタを通過するはずの高周波成分が低周波側にシフトする。この低周波側にシフトした信号成分もＡＦ評価値の算出に用いる必要があることから、このような場合にはハイパスフィルタのカットオフ周波数を低く設定する。逆に、倍率変動が小さい、つまり縮小された場合には、本来ＡＦ評価値の算出に用いられないような低周波成分まで高周波側にシフトしてくる。この信号成分はフィルタでカットする必要があるため、ハイパスフィルタのカットオフ周波数は高く設定する。
【００５０】
また、フィルタ処理部は、倍率変動が大きいほど通過帯域が低い周波数帯域であるバンドパスフィルタを用いたフィルタ処理を行ってもよい。また、倍率変動が小さいほど通過帯域が高い周波数帯域であるバンドパスフィルタを用いたフィルタ処理を行ってもよい。
【００５１】
これにより、ＡＦ評価値の算出にバンドパスフィルタを用いることも可能になる。なお、倍率変動に伴う画像の周波数成分の変化にあわせて、フィルタの周波数特性を変更する点についてはハイパスフィルタの例と同様であるため、詳細な説明は省略する。
【００５２】
また、倍率変動検出部３２０は、第１のタイミングにおける倍率評価値に対する、第２のタイミングにおける倍率評価値の比を、第２のタイミングでの倍率変動として検出してもよい。本実施形態においては、倍率評価値は撮像倍率であってもよい。
【００５３】
ここで、第２のタイミングは第１のタイミングとは時間的に異なるものとする。また、倍率評価値とは、上述した撮像倍率及び画像における被写体のサイズの少なくとも一方である。
【００５４】
これにより、異なる２つのタイミングの間での倍率評価値（撮像倍率）の比を倍率変動として検出することが可能になる。この場合、倍率評価値が変動しない場合の倍率変動が１となり、倍率変動が１より大きければ拡大に対応し、１より小さければ縮小に対応することになる。
【００５５】
また、上述した第１のタイミングは、ＡＦ評価値の算出を開始するタイミングであってもよい。
【００５６】
なお、第２のタイミングは第１のタイミングよりも時間的に後であり、かつ、ＡＦ評価値の算出タイミングに対応する。本実施形態における説明では、第２のタイミングは現在の処理タイミングを表している。
【００５７】
これにより、ＡＦ評価値の算出を開始するタイミングに対する倍率評価値の変動（狭義には倍率評価値の比）を求めることが可能になる。ＡＦ評価値の算出を開始するタイミングとは、ＡＦ動作を開始するタイミングであってもよい。上述してきたように、ＡＦ評価値を安定的に算出するためには、倍率変動の影響を補償するような処理を行う必要がある。その際、どの程度補償するか（本実施形態であれば、フィルタの周波数特性をどの程度変更するか）の基準が無くてはならない。つまり、第１のタイミングとしてＡＦ評価値の算出を開始するタイミングを用いれば、以降のＡＦ評価値算出タイミングにおける算出処理は、第１のタイミングからの倍率変動を補償した上で行われるため、第１のタイミングと同等の条件でＡＦ評価値を算出することが可能になる。なお、この場合には、算出される倍率変動は、本実施形態の説明における式（１）の累積倍率Ａｔに相当する。
【００５８】
ただし、倍率変動は累積倍率を指すものに限定されず、本実施形態で説明したように、第１のタイミングと第２のタイミングは、時間的に隣接するＡＦ評価値の取得タイミングであってもよい。
【００５９】
これにより、時間的に隣接するタイミングでの倍率評価値の変動（狭義には倍率評価値の比）を求めることが可能になる。隣接タイミング間での倍率変動を補償する処理が行えることはもちろんであるが、隣接タイミング間での倍率変動の積を求めることで任意のタイミングの間での倍率変動が得られるため、その間での倍率変動を補償する処理を行うことも可能である。例えばＡＦ動作開始時からの倍率変動の直積は、上述した累積倍率に他ならない。
【００６０】
また、以上の本実施形態は、撮像光学系の駆動を制御する合焦制御部３３０と、撮像光学系を介した撮像によって、異なる撮像倍率で撮像された複数の画像を取得する画像取得部３１０と、倍率変動を検出する倍率変動検出部３２０とを含む内視鏡システムに適用できる。合焦制御部３３０は、画像取得部３１０で取得された画像と、倍率変動検出部３２０で検出された倍率変動に基づいて撮像光学系の焦点状態を表すＡＦ評価値を算出し、ＡＦ評価値に基づいて撮像光学系を駆動することで合焦制御を行う。
【００６１】
なお、内視鏡システムは、図１に示したように光源部１００、挿入部２００、表示部４００、外部Ｉ／Ｆ部５００等を含んでもよい。
【００６２】
これにより、１群駆動レンズを用いた場合にもＡＦ評価値を適切に算出することが可能な内視鏡システムを実現することができる。内視鏡システムでは挿入部２００は生体内に挿入されることになるため、小型化することが望ましく、そのために挿入部２００に含まれる撮像光学系の構成をシンプルにすることが考えられる。よって、図１９（Ａ）に示した１群駆動レンズを採用することが想定され、その場合には上述してきた倍率変動による影響を補償する必要が生じる。
【００６３】
３．第２の実施形態
本実施形態に係る合焦制御装置を含む内視鏡装置について、図５を参照して説明する。内視鏡装置は、光源部１００と、挿入部２００と、信号処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。信号処理部３００および表示部４００以外は、第１の実施形態と同様であるため説明を省略する。
【００６４】
信号処理部３００は、画像取得部３１０と、倍率変動検出部３２０と、合焦制御部３３０と、制御部３４０を備えている。画像取得部３１０は、倍率変動検出部３２０と、合焦制御部３３０と、表示部４００に接続されている。倍率変動検出部３２０は、合焦制御部３３０に接続されている。合焦制御部３３０は、対物レンズ２３１に接続されており、レンズ制御信号による対物レンズ２３１の制御に基づいて、倍率および合焦物体位置を制御する。制御部３４０は、撮像部２３０と、倍率変動検出部３２０と、合焦制御部３３０と、画像取得部３１０と表示部４００と、外部Ｉ／Ｆ部５００に双方向に接続しており、これらを制御信号により相互に制御する。
【００６５】
画像取得部３１０は第１の実施形態と同様のため説明を省略する。画像取得部３１０にて取得した内視鏡画像は、倍率変動検出部３２０に出力される。
【００６６】
倍率変動検出部３２０は、画像取得部３１０より出力される内視鏡画像の画素値に基づき、内視鏡画像における被写体のサイズ変化を、倍率変動として検出する。検出された倍率変動は、合焦制御部３３０に出力される。本実施形態における倍率変動検出部３２０の構成を、図６を参照して説明する。倍率変動検出部３２０は、フレームメモリ３２１と、ＲＩＰＯＣ算出部３２２を備えている。画像取得部３１０より出力される内視鏡画像は、フレームメモリ３２１と、ＲＩＰＯＣ算出部３２２に出力される。フレームメモリ３２１は、ＲＩＰＯＣ算出部３２２に接続されている。ＲＩＰＯＣ算出部３２２は、合焦制御部３３０に接続されている。
【００６７】
フレームメモリ３２１は、画像取得部３１０より出力される内視鏡画像を、１フレーム遅延させてＲＩＰＯＣ算出部３２２に出力する。
【００６８】
ＲＩＰＯＣ算出部３２２は、画像取得部３１０より出力される内視鏡画像および、フレームメモリ３２１より出力される内視鏡画像に基づき、各内視鏡画像における被写体のサイズ変化を倍率変動として算出する。以降説明のため、前者の内視鏡画像を現在画像、後者の内視鏡画像を過去画像と表記する。ここで、現在画像および過去画像より倍率変動を算出する技術、回転不変位相限定相関法（以降ＲＩＰＯＣ法と表記）は公知技術のため、詳細な技術説明は省略する。技術の詳細は非特許文献１に詳しい。ＲＩＰＯＣ法では、過去画像を基準として現在画像における被写体の平行移動・サイズ変化・回転を検出することができる。この内サイズ変化を倍率変動として合焦制御部３３０に出力する。
【００６９】
次に、本実施形態における倍率変動検出部３２０の変形例について、図７を参照して説明する。倍率変動検出部３２０は、フレームメモリ３２１と、特徴点対応部３２３を備えている。画像取得部３１０より出力される内視鏡画像は、フレームメモリ３２１と、特徴点対応部３２３に出力される。フレームメモリ３２１は、特徴点対応部３２３に接続されている。特徴点対応部３２３は、合焦制御部３３０に接続されている。
【００７０】
フレームメモリ３２１は、画像取得部３１０より出力される内視鏡画像を、１フレーム遅延させて特徴点対応部３２３に出力する。
【００７１】
特徴点対応部３２３は、画像取得部３１０より出力される現在画像および、フレームメモリ３２１より出力される過去画像より、特徴点を検出しその対応関係から現在画像および過去画像の倍率変動を検出する。ここで、現在画像および過去画像より特徴点を検出する技術は公知であるため、詳細な技術説明は省略する。ここで特徴点は、公知技術のＳＩＦＴ特徴量に基づき検出する。ＳＩＦＴ特徴量は画像の回転、スケール変化、照明変化にロバストな特徴量である。ＳＩＦＴ特徴量に関する詳細は非特許文献２に詳しい。次に、現在画像および過去画像より検出される特徴点を、各画像間で対応させる。特徴点間の対応についても公知技術であるため説明は省略する。ここでは、ＲＡＮＳＡＣと呼ばれる手法で、特徴点間の対応関係を検出する。ＲＡＮＳＡＣは、複数の特徴点をランダムに抽出・組み合わせて算出した対応関係候補を、抽出されなかった特徴点に適応しその妥当性を評価する、という演算を繰り返すことで、大多数の特徴点間を満足する対応関係を決定する手法である。ＲＡＮＳＡＣに関する詳細は非特許文献３に詳しい。ここでは、対応関係は座標変換の一つとして知られるアフィン変換である。但し、ここで座標変換は、過去画像から現在画像への変換である。公知技術であるため詳細な説明は省略するが、アフィン変換は並進、回転、変倍の項で構成されており、この変倍の項を倍率変動として、合焦制御部３３０に出力する。
【００７２】
合焦制御部３３０は、制御信号よりＡＦ動作の開始を検知すると、画像取得部３１０より出力される内視鏡画像および、倍率変動検出部３２０より検出された倍率変動に基づき、対物レンズ２３１の制御を行って合焦物体位置を制御する。本実施形態における合焦制御部３３０の具体的な構成について、図８を参照して説明する。合焦制御部３３０は、コントラスト値算出部３３２と、レンズ制御部３３３と、評価領域設定部３３４を備えている。画像取得部３１０より出力される内視鏡画像は、コントラスト値算出部３３２に出力されている。倍率変動検出部３２０より出力される倍率変動は、評価領域設定部３３４に出力されている。評価領域設定部３３４は、コントラスト値算出部３３２に接続されている。コントラスト値算出部３３２は、レンズ制御部３３３に接続されている。レンズ制御部３３３は、対物レンズ２３１に接続されており、これを制御する。
【００７３】
評価領域設定部３３４は、倍率変動検出部３２０より出力される倍率変動に基づき、内視鏡画像上に評価領域を設定する。具体的にはまず、制御信号よりＡＦ動作の開始を検知すると、初期評価領域を設定する。初期評価領域は内視鏡画像の中央に位置する矩形領域であり、そのサイズは内視鏡画像のサイズに所定の比率を乗じて算出される。その後、初期評価領域を評価領域倍率で変倍し、評価領域とする。ここで、評価領域倍率は上述した式（１）で算出した累積倍率と等しい。評価領域倍率に基づき設定される評価領域を、図９を参照して説明する。図９（Ａ）はＡＦ動作開始時の内視鏡画像および初期評価領域である。図９（Ｂ）は時刻ｔにおける内視鏡画像および評価領域である。この時、図９（Ａ）における初期評価領域のサイズと、図９（Ｂ）における評価領域のサイズとの比率が評価領域倍率Ｖｔ（式（１）のＡｔに等しい）である。つまり、評価領域倍率が大きければ大きいほど、評価領域のサイズは大きくなる。算出した評価領域倍率は、コントラスト値算出部３３２に出力される。
【００７４】
コントラスト値算出部３３２は、評価領域設定部３３４より出力される評価領域倍率に基づき、画像取得部３１０より出力される内視鏡画像上に設定された評価領域の画素値を用いてコントラスト値を算出する。具体的には、ハイパスフィルタによるフィルタリング処理を行った内視鏡画像の画素値を、評価領域内で総和しこれをコントラスト値とする。算出したコントラスト値は、レンズ制御部３３３に出力される。また、評価領域内の最大画素値および最小画素値の差をコントラスト値としても構わない。
【００７５】
レンズ制御部３３３は、第１の実施形態と同様であるため、説明を省略する。
【００７６】
このように、倍率変動を補償するように、コントラスト値を算出する評価領域を設定することで、倍率変動のコントラスト値に対する影響を低減し、安定的にＡＦ動作を行うことができる。
【００７７】
また、初期評価領域のサイズは、内視鏡画像に所定の比率を乗じて算出されたが、当該所定の比率はＡＦ動作開始時における対物レンズ２３１の倍率に応じて可変であっても構わない。説明のため、当該所定の比率を初期評価領域倍率とする。この場合の合焦制御部３３０の構成を図１０に示す。図９を参照して説明した合焦制御部３３０と異なる点は、レンズ制御信号が評価領域設定部３３４にも出力される点である。評価領域設定部３３４は、レンズ制御信号に基づき、ＡＦ動作開始時における対物レンズ２３１の倍率を取得する。図１１を参照して、初期評価倍率とＡＦ動作開始時における倍率との関係を説明する。図１１（Ｂ）は図１１（Ａ）に比べて高倍率であるため、初期評価倍率を大きく設定する。このように初期評価倍率を設定することで、倍率変動により評価領域倍率が１．０を超える、または０．０に近づく頻度を低減できる。これは、低倍率でＡＦ動作を開始する場合、現在より高倍率にして観察を行う可能性が高く、高倍率でＡＦ動作を開始する場合はその逆となるためである。次に、これらの状況を避けるべき理由について説明する。評価領域倍率が１．０を超えると、内視鏡画像全体を超えてコントラスト値を算出しなければならない可能性が出てくる。しかし、画像信号は内視鏡画像上にのみ存在するため、コントラスト値から倍率変動の影響を低減する効果が限定的になるためである。また、評価領域倍率が０．０に近づくと、コントラスト値が極端に小さな評価領域から算出され、ＡＦ動作が不安定となるためである。
【００７８】
表示部４００は、画像取得部３１０より出力される内視鏡画像を、内視鏡モニタ等の画像表示装置上に出力する。
【００７９】
本発明の一態様では、倍率変動と合焦物体位置変動が連動する内視鏡撮像光学系を通して、内視鏡画像が取得される。内視鏡撮像光学系の倍率変動を、内視鏡画像より検出する。検出した倍率変動を補償するようにサイズを可変とした評価領域を内視鏡画像内に設定し、当該評価領域内の画素に対してハイパスフィルタによるフィルタリング処理を行うことでコントラスト値を算出する。算出したコントラスト値が極大値をとるよう撮像光学系を制御することで、ＡＦ機能を実現する。倍率変動を補償するようにサイズを変更した評価領域よりコントラスト値を算出することで、倍率変動に対して安定的にＡＦ動作を行うことができる。
【００８０】
以上の本実施形態では、合焦制御部３３０は図８に示したように、ＡＦ評価値の算出に用いられる画素を含む領域である評価領域を画像に設定する評価領域設定部３３４を含む。そして評価領域設定部３３４は、倍率変動に基づいて、設定する評価領域のサイズを変更する。
【００８１】
ここで、評価領域は上述したようにＡＦ評価値の算出に用いられる画素を含む領域であり、当該算出に用いられる画素に対応する被写体に対してピントが合わせられることになる。そのため、評価領域は画像上のピントを合わせたい位置に対して設定されることが望ましいが、画像内からピントを合わせたい領域を自動的に認識することは難しく、また、拡大観察においては画像中央に注目していることが多いと考えられるため、本実施形態においては画像の中央に評価領域が設定されるものとする。また図９（Ａ）等では矩形領域を用いて説明しているが、評価領域の形状はこれに限定されるものではない。
【００８２】
これにより、倍率変動に応じて適切なサイズの評価領域を設定できるため、安定的なＡＦ評価値の算出が可能になる。倍率変動がある（比であれば倍率変動の値が１ではない）状況では、撮像光学系により撮像され画像上に表示される領域が変化することになる。つまり、撮像される被写体のサイズが変更されると言ってもよい。よって、評価領域に含まれる被写体の範囲が変化する（拡大であれば、拡大前に比べて拡大後の評価領域には被写体の狭い範囲しか含まれない）。そうなれば画像に含まれるエッジの量等も変化することになり好ましくない。そこで本実施形態では、倍率変動を補償する形で評価領域のサイズを変更するものとする。
【００８３】
また、評価領域設定部３３４は、倍率変動が大きいほど評価領域のサイズを大きく設定してもよい。また、倍率変動が小さいほど評価領域のサイズを小さく設定してもよい。
【００８４】
これにより、倍率変動に応じた評価領域のサイズの設定が可能になる。上述したように、画像上での被写体のサイズが変化した場合、評価領域に含まれるエッジの量等が変化してしまうことが問題となる。よって、評価領域に含まれる被写体の範囲が変化しないように、評価領域のサイズを変更すればよい。つまり、倍率変動が大きい（拡大されている）場合には、評価領域のサイズも大きくし、倍率変動が小さい（縮小されている）場合には評価領域のサイズを小さくすることになる。
【００８５】
また、倍率変動検出部３２０は、第１のタイミングと第２のタイミングの間での倍率変動を検出し、評価領域設定部３３４は、第１のタイミングでの評価領域である基準評価領域に対して、倍率変動の値を用いた変倍処理を施すことで、第２のタイミングでの評価領域を設定してもよい。
【００８６】
ここで、第１のタイミングとはＡＦ動作の開始タイミングであってもよく、その場合基準評価領域とは上述した初期評価領域に他ならない。
【００８７】
これにより、倍率変動に応じた評価領域のサイズの設定が可能になる。上述したように、評価領域に含まれる被写体の範囲が変化しないように、評価領域のサイズを設定すればよい。ここで、倍率変動が画像上での被写体のサイズの比（図９におけるＶｔ）を表すのであれば、被写体サイズがＶｔ倍になっているということであるから、評価領域のサイズもＶｔ倍すればよい。図９（Ａ）、図９（Ｂ）のように評価領域が矩形であれば、縦の長さ及び横の長さをそれぞれＶｔ倍すれば評価領域のサイズが求められる。なお、第１のタイミングにおける被写体のサイズをｃ１（単位は例えばピクセル）、第２にタイミングにおける被写体のサイズをｃ２とすればＶｔ＝ｃ２／ｃ１である。このＶｔはｃ１，ｃ２から直接求められてもよいが、本実施形態の手法では、隣接タイミング間の倍率変動Ｚの直積である累積倍率Ａｔを求めることになる（Ａｔ＝Ｖｔである）。
【００８８】
また、評価領域設定部３３４は、第１のタイミングにおいて、撮像倍率又は画像における被写体のサイズが大きいほど基準評価領域のサイズを大きく設定してもよい。また、撮像倍率又は画像における被写体のサイズが小さいほど基準評価領域のサイズを小さく設定してもよい。
【００８９】
これにより、第１のタイミングにおける評価領域（基準評価領域、狭義には初期評価領域であってもよい）のサイズを適切に設定することが可能になる。これは倍率変動として撮像倍率の変動を考えると理解しやすい。例えば撮像倍率が１倍〜１００倍まで変更可能な撮像光学系を用いるとする。このとき、第１のタイミングでの撮像倍率が１００倍に近い高倍率であった場合には、以降のタイミング（第２のタイミング等）においては、撮像倍率はそれほど上昇せず、むしろ下がる可能性が高いと考えられる。よって、倍率変動は小さい値が想定され、評価領域も基準評価領域よりも小さな領域が設定される。このような場合には、評価領域がＡＦ評価値の算出が困難になるほど小さくなることを抑止するために、基準評価領域は大きくするとよい。逆に１倍に近い低倍率であれば、倍率変動が大きくなり、評価領域も大きい領域が設定されることが想定できる。このような場合には、画像（撮像画像、内視鏡画像）の大きさを超える評価領域が設定されないように、基準評価領域は小さくするとよい。なお、画像上の被写体のサイズに基づいて倍率変動が決定される場合には、撮像倍率のように変動幅（上述の例では１倍〜１００倍等）が明確ではないため、第１のタイミングにおける被写体サイズが大きいのか小さいのかを判断するための基準を、何らかの手法により設定する必要がある。一例としては、画像から絶対的なサイズが明確な被写体（例えば所与の部位における血管の太さ等）を認識し、当該被写体の画像上のサイズの基準としてもよい。
【００９０】
また、倍率変動検出部３２０は、第１のタイミングにおける被写体のサイズに対する、第２のタイミングにおける被写体のサイズの比を、第２のタイミングでの倍率変動として検出してもよい。具体的には、第１のタイミングでの画像及び第２のタイミングでの画像に対して、位相限定相関法を用いてもよい。また、第１のタイミングでの画像及び第２のタイミングでの画像に対して複数の特徴点を設定し、設定した複数の特徴点の位置に基づいて倍率変動を検出してもよい。
【００９１】
ここで、第２のタイミングは第１のタイミングとは時間的に異なるものとする。
【００９２】
これにより、異なる２つのタイミングの間での被写体のサイズの比を倍率変動として検出することが可能になる。これは、第１のタイミングでの被写体のサイズがｄ１（例えばピクセル）であり、第２のタイミングでの被写体サイズがｄ２であるとすれば、第２のタイミングでの倍率変動ＺｔはＺｔ＝ｄ２／ｄ１で表される。これは例えば、ＲＩＰＯＣ法を用いてもよいし、ＳＩＦＴ特徴量を設定してＲＡＮＳＡＣにより対応関係を評価することで求めてもよい。
【００９３】
この際、各タイミングにおける被写体サイズは絶対的な値である必要はない。例えば第１、第２のタイミングと異なる第３のタイミングを考える。このとき各タイミングにおける被写体サイズｄ１、ｄ２、ｄ３を求めれば、第１と第２のタイミング間の倍率変動はｄ２／ｄ１、第２と第３ではｄ３／ｄ２、第１と第３ではｄ３／ｄ１等として求められる。しかし、このようにするには被写体の同一部分のサイズを常に求める必要がある。例えば、第１のタイミングで被写体上の第１の特徴点と第２の特徴点間の距離を、サイズを表す情報としたならば、第２，第３のタイミングにおいても第１の特徴点に対応する第１の対応点及び第２の特徴点に対応する第２の対応点を求める必要がある。しかし、サイズを求める被写体の部分は常に一定にする必要はなく、第１，第２のタイミング間では倍率変動Ｚ１２＝ｄ２／ｄ１を求め、第２，第３のタイミング間では倍率変動Ｚ２３＝ｄ３’／ｄ２’を求めてもよい。つまり、Ｚ１２を求める際と、Ｚ２３を求める際で、被写体のサイズを求める部分が異なってもよいということである。この場合、第１，第３のタイミング間の倍率変動はｄ１とｄ３’からは求められないが、Ｚ１２×Ｚ２３により累積倍率として求めることが可能である。
【００９４】
４．第３の実施形態
本実施形態に係る合焦制御装置を含む内視鏡装置について、図１２を参照して説明する。内視鏡装置は、光源部１００と、挿入部２００と、信号処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。信号処理部３００以外は、第１の実施形態と同様であるため説明を省略する。
【００９５】
信号処理部３００は、画像取得部３１０と、倍率変動検出部３２０と、合焦制御部３３０と、制御部３４０と、画像変倍部３５０を備えている。撮像部２３０より出力されるＲＡＷ画像は、画像取得部３１０に出力されている。画像取得部３１０は、倍率変動検出部３２０と、画像変倍部３５０に接続されている。倍率変動検出部３２０は、画像変倍部３５０に接続されている。画像変倍部３５０は、合焦制御部３３０と、表示部４００に接続されている。合焦制御部３３０は、対物レンズ２３１に接続されており、レンズ制御信号による対物レンズ２３１の制御に基づいて、倍率および合焦物体位置を制御する。レンズ制御信号は、倍率変動検出部３２０にも出力される。制御部３４０は、撮像部２３０と、画像取得部３１０と、倍率変動検出部３２０と、合焦制御部３３０と、画像変倍部３５０と、表示部４００と、外部Ｉ／Ｆ部５００に双方向に接続しており、これらを制御信号により相互に制御する。
【００９６】
画像取得部３１０は、第１の実施形態と同様のため説明を省略する。取得した内視鏡画像は、倍率変動検出部３２０と、画像変倍部３５０に出力される。
【００９７】
倍率変動検出部３２０は、後述する合焦制御部３３０より出力されるレンズ制御信号に基づきレンズ倍率変動を検出し、レンズ倍率変動及び、画像取得部３１０より出力される内視鏡画像に基づき、被写体距離変動を検出する。ここでレンズ倍率変動とは、対物レンズ２３１の倍率変動である。また被写体距離変動とは、対物レンズ２３１と被写体との相対距離変動である。本実施形態における倍率変動検出部３２０の具体的な構成について、図１３を参照して説明する。本実施形態における倍率変動検出部３２０は、レンズ倍率変動検出部３２４と、距離変動検出部３２５を備えている。後述する合焦制御部３３０より出力されるレンズ制御信号は、レンズ倍率変動検出部３２４に出力されている。画像取得部３１０より出力される内視鏡画像は、距離変動検出部３２５に出力されている。レンズ倍率変動検出部３２４は、距離変動検出部３２５と、画像変倍部３５０に接続されている。距離変動検出部３２５は、画像変倍部３５０に接続されている。
【００９８】
レンズ倍率変動検出部３２４は、後述する合焦制御部３３０より出力するレンズ制御信号に基づき、対物レンズ２３１の移動に伴う倍率変動、レンズ倍率変動を検出する。その動作は、第１の実施形態における倍率変動検出部３２０と同様のため、説明を省略する。またレンズ倍率変動は、第１の実施形態における倍率変動と同様であるが、以降説明のため表記を変更する。検出したレンズ倍率変動は、距離変動検出部３２５と、画像変倍部３５０に出力される。
【００９９】
距離変動検出部３２５は、画像取得部３１０より取得される内視鏡画像および、レンズ倍率変動検出部３２４より出力されるレンズ倍率変動に基づき、被写体と内視鏡との相対距離の変動、距離変動を検出する。具体的にはまず、経時的な内視鏡画像の倍率変動である画像倍率変動を検出する。これは、第２の実施形態における倍率変動検出部３２０の動作と同様であるため、説明は省略する。経時的な内視鏡画像の倍率変動は、光学系の倍率変動による要因と、内視鏡と被写体との相対距離変動による要因が含まれており、これらの積で表すことができる。つまり画像倍率変動は、レンズ倍率変動と距離変動との積であり、距離変動は画像倍率変動をレンズ倍率変動で除することで検出できる。検出した距離変動は、画像変倍部３５０に出力される。
【０１００】
画像変倍部３５０は、制御信号よりＡＦ動作の開始を検知すると、画像取得部３１０より出力される内視鏡画像を、倍率変動検出部３２０より出力される倍率変動に基づき拡大若しくは縮小する。以降、拡大縮小処理を合わせて変倍処理と表記する。まず、倍率変動に基づき変倍率（画像変倍率）を下式（３）より算出する。
【数３】
【０１０１】
但し、ｔは現時刻、Ｍｔは現時刻における変倍率、ｓはＡＦ動作が開始した時刻を表す。また、ｉは時刻を示すインデックス、Ｚは倍率変動、Ａは式（１）と同様に累積倍率である。つまり変倍率は、ＡＦ動作開始時から現在までの倍率変動の直積（累積倍率）の逆数である。
【０１０２】
変倍処理（画像変倍処理）について、図１４（Ａ）〜図１４（Ｅ）で説明する。図１４（Ａ）は、ＡＦ開始時における内視鏡画像である。図１４（Ｂ）のように変倍率が１．０より大きい場合（つまり累積倍率が１．０より小さい場合）、図１４（Ｄ）のように内視鏡画像を拡大し、変倍画像とする。また、図１４（Ｃ）のように変倍率が１．０より小さい場合（累積倍率が１．０より大きい場合）、図１４（Ｅ）のように内視鏡画像を縮小し、変倍画像とする。変倍処理された内視鏡画像は、変倍画像として合焦制御部３３０と、表示部４００に出力される。このようにすることで、ＡＦ動作中は被写体の大きさが変化しない画像が、合焦制御部３３０および表示部４００に出力される。合焦制御部は、倍率変動による影響を低減して後述するコントラスト値を算出することができる。また表示部４００は、倍率変動に伴い被写体の表示倍率が頻繁に変動し、ユーザが映像酔いを起こすといった現象を抑制することができる。変倍処理は、ＡＦ動作終了まで行う。また、ＡＦ動作中でない場合、入力された内視鏡画像をそのまま表示部４００に出力する。
【０１０３】
また画像変倍部３５０は、合焦制御部３３０に出力する変倍画像と、表示部４００に出力する変倍画像とで、異なる変倍処理を行っても構わない。具体的には、表示部４００に出力する変倍画像は、上式（３）により求めた変倍率に基づいて算出される基準倍率を用いて変倍処理されても構わない。基準倍率は、下式（４）で算出される。一方、合焦制御部３３０に出力する変倍画像は、上記の説明と同様に変倍処理される。
【数４】
【０１０４】
但し、Ｂｔは現時刻における基準倍率である。つまり基準倍率は、時刻ｓから現時刻までの変倍率の平均である。基準倍率で変倍処理された変倍画像が、表示部４００に出力される。基準倍率を用いない場合、ＡＦ動作中は、被写体の大きさは変化しない画像が表示されるが、変倍処理により画像の解像感は変化するため、ユーザが違和感を覚える可能性がある。これは、変倍処理は補間処理を行う必要があり、当該補間処理により画像の周波数特性が変化するためである。基準倍率を用いることで、被写体の表示倍率変動を抑制しつつ、解像感変化も小さくすることができる。
【０１０５】
また表示部４００に出力する変倍画像は、所定の許容変倍率にさらに基づき変倍処理されても構わない。この場合の変倍率は下式（５）で算出される。
【数５】
【０１０６】
但し、Ｒは許容変倍率であり、０．０〜１．０の値をとる。つまり、被写体の表示倍率の変動を、許容変倍率で表される範囲内に抑えて、変倍率を算出する。以降説明のため、許容変倍率で表される範囲を、許容変倍範囲と表記する。また許容変倍範囲は、倍率変動値および被写体表示倍率変動（例えば図１５（Ｂ）と図１５（Ｅ）の間の被写体サイズの比）の双方に対して定義されるが、範囲を規定する値が等しいため、特に区別せずに説明する。許容変倍範囲を利用した変倍処理について、図１６（Ａ）〜図１６（Ｅ）を参照して説明する。図１６（Ａ）〜図１６（Ｅ）は、時刻ｔにおける倍率変動値が許容変倍範囲を上回る場合である。図１６（Ａ）は、時刻ｔ−１に取得された内視鏡画像。図１６（Ｂ）は、時刻ｔ−１に変倍処理された変倍画像。図１６（Ｃ）は、時刻ｔに取得された内視鏡画像である。図１６（Ｄ）は、図１６（Ｂ）に示した内視鏡画像と、被写体の表示倍率が等しくなるよう変倍処理を行った変倍画像である。図１６（Ｅ）は、許容変倍範囲の上限までは、被写体の表示倍率変動を許容した変倍画像である。図１７（Ａ）〜図１７（Ｅ）は、時刻ｔにおける倍率変動値が許容変倍範囲を下回る場合である。図１７（Ａ）は、時刻ｔ−１に取得された内視鏡画像。図１７（Ｂ）は、時刻ｔ−１に変倍処理された変倍画像。図１７（Ｃ）は、時刻ｔに取得された内視鏡画像である。図１７（Ｄ）は、図１７（Ｂ）に示した内視鏡画像と、被写体の表示倍率が等しくなるよう変倍処理を行った変倍画像である。図１７（Ｅ）は、許容変倍範囲の下限までは、被写体の表示倍率変動を許容した変倍画像である。このようにすることで、ユーザが映像酔いを起こさないよう表示倍率の変動を許容変倍範囲内で抑制しつつ、解像感変化も小さくすることができる。
【０１０７】
また、合焦制御部３３０に出力する変倍画像と、表示部４００に出力する変倍画像とで、異なる倍率変動値に基づいて変倍率を算出し、変倍処理を行っても構わない。具体的には、合焦制御部３３０に出力する変倍画像は、レンズ倍率変動検出部３２４より出力されるレンズ倍率変動と、距離変動検出部３２５より出力される距離変動との積で変倍処理を行っても構わない。但し、表示部４００に出力する変倍画像は、レンズ倍率変動のみを補償するように変倍処理する。このようにすることで、被写体との相対距離変動による内視鏡画像の周波数特性変化に対して、安定的にＡＦ動作を行うことができる。一方、レンズ倍率変動のみを補償し、距離変動は補償しないことで、内視鏡操作による被写体との相対距離変動と表示される画像とのずれを低減することができる。
【０１０８】
また、表示部４００に出力する変倍画像に対する変倍処理は、ＡＦ動作終了後に続行しても構わない。具体的にはＡＦ動作終了後、上式（５）で示したＭｔが、下式（６）を満たすまで変倍処理を続行する。
【数６】
【０１０９】
但し、ＡＦ動作終了後の変倍率Ｍｔは、倍率変動値とは無関係に上式（６）のみによって算出される。或いは、所定の時間が経過するまで変倍処理を続行しても構わない。
【０１１０】
ＡＦ動作終了後、表示部４００に出力する変倍画像に対する変倍処理を突然終了すると、ＡＦ動作終了前後で被写体の表示倍率が大きく変化し、ユーザが違和感を覚える可能性がある。このようにすることで、ＡＦ動作終了前後の表示倍率変化を緩やかにすることが可能となり、ユーザの違和感を低減できる。
【０１１１】
合焦制御部３３０は、制御信号よりＡＦ動作の開始を検知すると、後述する画像変倍部３５０より出力される変倍画像の画素値に基づき、対物レンズ２３１の制御を行って合焦物体位置を制御する。合焦制御部３３０の具体的な構成について図１８を参照して説明する。合焦制御部３３０は、コントラスト値算出部３３２と、レンズ制御部３３３を備えている。画像変倍部３５０より出力される変倍画像は、コントラスト値算出部３３２に出力されている。コントラスト値算出部３３２は、レンズ制御部３３３に接続されている。レンズ制御部３３３は、対物レンズ２３１に接続され、レンズ制御信号を出力することでこれを制御する。またレンズ制御信号は、倍率変動検出部３２０にも出力されている。
【０１１２】
コントラスト値算出部３３２は、画像変倍部３５０より出力される変倍画像に対しフィルタリング処理を行い、コントラスト値を算出する。具体的にコントラスト値とは、フィルタリング処理された変倍画像の画素値の、変倍画像中央に位置する所定サイズの矩形領域における総和である。ここで、フィルタリング処理で利用するフィルタは、公知のハイパスフィルタである。算出したコントラスト値は、レンズ制御部３３３に出力される。
【０１１３】
レンズ制御部３３３は、コントラスト値算出部３３２より出力されるコントラスト値に基づき、対物レンズ２３１を制御するレンズ制御信号を出力する。コントラスト値に基づく具体的な合焦制御方法は、ＡＦ技術として公知であるため詳細な技術説明は省略する。レンズ制御信号は、対物レンズ２３１と、倍率変動検出部３２０に出力される。
【０１１４】
表示部４００は、画像変倍部３５０より出力される変倍画像を、内視鏡モニタ等の画像表示装置上に出力する。但し、変倍画像のサイズが表示可能な画像サイズより大きい場合、変倍画像の中央から表示可能な画像サイズのみを抽出して表示する。また、変倍画像のサイズが表示可能な画像サイズより小さい場合、中央に変倍画像を表示し、周囲の表示領域は黒レベルを表示する。また出力される画像（ＡＦ動作中以外は内視鏡画像であり、ＡＦ動作中は変倍画像）を常に若干変倍（拡大）処理し、その中央部を表示しても構わない。このようにすることで、表示領域において黒レベルが表示される頻度を低減することができる。
【０１１５】
また、本実施形態の距離変動検出部３２５において、光学系の倍率変動および画像の倍率変動より距離変動を算出したが、内視鏡そのものが何らかの測距手段、例えば２眼構成による三角測量など、を備えている場合、当該測距手段により直接算出しても構わない。
【０１１６】
本発明の一態様では、倍率変動と合焦物体位置変動が連動する内視鏡撮像光学系を通して、内視鏡画像が取得される。内視鏡撮像光学系の制御信号および内視鏡画像より、内視鏡撮像光学系の倍率変動および内視鏡と被写体との相対距離変動を検出する。検出した倍率変動に基づき、倍率変動を補償するように内視鏡画像を変倍処理する。変倍処理した内視鏡画像に対し、ハイパスフィルタによるフィルタリング処理を行うことでコントラスト値を算出する。算出したコントラスト値が極大値をとるよう撮像光学系を制御することで、ＡＦ機能を実現する。倍率変動を補償するように変倍処理した内視鏡画像よりコントラスト値を算出することで、倍率変動に対して安定的にＡＦ動作を行うことができる。また、倍率変動に伴いユーザに表示する画像を変倍することで、被写体の表示倍率の頻繁な変動による映像酔いを低減することができる。また、ＡＦのコントラスト値は内視鏡光学系の倍率変動および被写体との相対距離変動を補償して算出し、表示画像は内視鏡光学系の倍率変動のみを補償して変倍処理することで、ＡＦ動作は安定させつつ、表示画像においては相対距離変動を補償しないことで、操作による内視鏡移動と表示画像との違和感を低減することができる。
【０１１７】
以上の本実施形態では、合焦制御装置は図１２に示したように、倍率変動に基づいて、画像に対して画像変倍処理を施して変倍画像を取得する画像変倍部３５０を含む。そして、合焦制御部３３０は、変倍画像に基づいて撮像光学系の焦点状態を表すＡＦ評価値を算出する。
【０１１８】
これにより、倍率変動に応じて適切なサイズの変倍画像が取得できるため、安定的なＡＦ評価値の算出が可能になる。倍率変動があった場合、画像に含まれるエッジの量等が変化してしまい、ＡＦ評価値の算出に支障をきたすため、それを補償する処理を行うという点では第２の実施形態と同様である。本実施形態は、評価領域を一定として画像自体の大きさを変更する点が第２の実施形態と異なる。
【０１１９】
また、画像変倍部３５０は、倍率変動が大きいほど小さい前記変倍画像を取得してもよい。また、倍率変動が小さいほど大きい変倍画像を取得してもよい。
【０１２０】
これにより、倍率変動に応じた大きさの変倍画像の取得が可能になる。倍率変動が大きい場合には、画像（内視鏡画像）が拡大されたと言うことであるから、画像変倍処理として縮小処理を行って小さい変倍画像を取得することになる。これは、図１４（Ａ）から図１４（Ｃ）へ内視鏡画像が拡大された場合に、図１４（Ｃ）に対して縮小処理を行うことで図１４（Ｅ）に示した変倍画像を取得することに相当する。これにより、図１４（Ａ）と図１４（Ｅ）とでは被写体サイズが同等となるため、評価領域（本実施形態では一定のサイズの領域）に含まれるエッジの量等の変動が押さえられる。逆に、図１４（Ａ）から図１４（Ｂ）のように倍率変動が小さい（縮小された）場合には、図１４（Ｂ）に対して画像変倍処理として拡大処理を施して図１４（Ｄ）のような変倍画像を取得すればよい。
【０１２１】
また、倍率変動検出部３２０は、第１のタイミングと、第２のタイミングの間での倍率変動を検出し、画像変倍部３５０は、第２のタイミングで画像取得部において取得された画像に対して、倍率変動の値の逆数を用いた画像変倍処理を施すことで、変倍画像を取得してもよい。
【０１２２】
これにより、画像変倍処理の具体例として、倍率変動の値の逆数を用いた処理が可能になる。ここで、倍率変動は第１のタイミングでの被写体のサイズ（或いは撮像倍率）と、第２のタイミングでの被写体のサイズの比であるものとする。つまり、第１のタイミングでの被写体のサイズをｅ１（単位は例えばピクセル）とし、第２のタイミングでの被写体サイズをｅ２とした場合、倍率変動ＺはＺ＝ｅ２／ｅ１となる。このとき、画像変倍処理に用いる倍率（画像変倍率）をＭとすると、Ｍ＝１／Ｚである。具体的な数字を用いて例を示す。第１のタイミングでの被写体サイズｅ１＝１０とし（例えば図１４（Ａ）に対応）、第２のタイミンでの被写体サイズｅ２＝５（例えば図１４（Ｂ）に対応）とする。その場合倍率変動Ｚ＝５／１０＝０．５となる。この際、小さくなってしまった被写体サイズを１０に戻すような画像変倍処理を施せばいいことから、画像変倍率ＭをＭ＝１／０．５＝２とすればよい。第２のタイミングでは、当該タイミングで取得された画像（内視鏡画像であり図１４（Ｂ））に対して、画像変倍処理を行うため、第２のタイミングでの変倍画像は２倍の拡大処理が行われることになる（変倍画像は図１４（Ｄ）に対応）。よって、第２のタイミングでの内視鏡画像では５であった被写体サイズが、２倍の画像変倍処理が行われることで、１０に拡大されることになる。よって、第１のタイミングでの被写体サイズ（ｅ１＝１０）と、第２のタイミングでの変倍画像の被写体サイズを同等にすることができる。なお、倍率変動が１より大きい場合（拡大された場合）であっても処理は同様であり、大きくなった被写体サイズを縮小することになる。
【０１２３】
また、画像変倍部３５０は、取得した変倍画像を、合焦制御部３３０に出力するとともに、表示装置（図１２の表示部４００に対応）に対して出力してもよい。
【０１２４】
これにより、画像変倍処理により取得された変倍画像を表示装置において表示することが可能になる。第１、第２の実施形態では、ＡＦ評価値の安定的な算出を可能にする処理は行われるものの、表示装置（表示部４００）で表示される表示画像としては、画像取得部３１０で取得された画像をそのまま用いる。よって、合焦動作の際に起こる合焦物体位置の変動（例えばコントラストＡＦでのウォブリング等）に伴う倍率変動により、表示画像にちらつきが生じることが避けられない。例えば、図１４（Ａ）〜図１４（Ｃ）が時系列的に取得されたとするならば、被写体が小さくなったり大きくなったりしてしまう。そこで、画像変倍部３５０により取得された変倍画像を表示装置に対しても出力する。このようにすれば倍率変動（例えば撮像倍率の変動）を補償する画像変倍処理が行われた画像が表示されるため、ちらつきを押さえることが可能になる。例えば、図１４（Ａ）〜図１４（Ｃ）が時系列的に取得されたとするならば、表示画像は図１４（Ａ）、図１４（Ｄ）、図１４（Ｅ）が順に表示されることになる。
【０１２５】
また、画像変倍部３５０は、画像に対して第１の画像変倍処理を行った第１の変倍画像を合焦制御部３３０に出力するとともに、画像に対して第２の画像変倍処理を行った第２の変倍画像を表示装置に出力してもよい。
【０１２６】
ここで、第１の画像変倍処理と第２の画像変倍処理は異なる処理であり、例えば、画像変倍処理に用いる画像変倍率が異なる処理であってもよい。
【０１２７】
これにより、合焦制御部３３０に出力する変倍画像と、表示装置に出力する変倍画像を異なるものにすることができる。よって、合焦制御部３３０におけるＡＦ評価値算出処理に適した変倍画像と、表示装置での表示に適した変倍画像が異なる場合にも、それぞれに適した変倍画像を出力することが可能になる。
【０１２８】
また、倍率変動検出部３２０は、倍率変動として画像における被写体のサイズの変動である第１の倍率変動と、撮像倍率の変動である第２の倍率変動を検出してもよい。そして、画像変倍部３５０は、第１の画像変倍処理として、第１の倍率変動に基づいた画像変倍処理を行って第１の変倍画像を取得し合焦制御部３３０に出力する。また、第２の画像変倍処理として、第２の倍率変動に基づいた画像変倍処理を行って第２の変倍画像を取得し表示装置に出力する。
【０１２９】
これにより、合焦制御部３３０へ出力する変倍画像については、倍率変動として被写体サイズの変動を用いた画像変倍処理を行うことができる。また、表示装置へ出力する変倍画像については、倍率変動として撮像倍率の変動を用いた画像変倍処理を行うことができる。ここで、撮像倍率の変動（第２の倍率変動）は撮像光学系の変化に起因するものであるのに対し、画像での被写体サイズの変動（第１の倍率変動）とは、撮像倍率による変動の他、撮像部（挿入部２００）と被写体との相対距離の変動等、複数の要因を含むものである。本実施形態における画像変倍処理は、倍率変動の影響を補償する処理であるから、第１の画像変倍処理と第２の画像変倍処理とで、用いる倍率変動を切り替えることで、ある倍率変動要因を一方では補償し、他方では補償しないといった処理が可能になる。
【０１３０】
その際、合焦制御部３３０におけるＡＦ評価値算出処理は、画像に対する画像処理（例えば高周波成分の抽出等）により行われる。よって、合焦制御部３３０への出力に対応する第１の画像変倍処理では、画像に変動を与える要因は、撮像倍率であっても相対距離であっても全て補償することが望ましい。このことから、第１の画像変倍処理に用いる倍率変動（第１の倍率変動）は、画像での被写体のサイズの変動を用いる。それに対して、表示装置での表示画像では補償することが好ましくない倍率変動要因が考えられる。例えば、撮像部と被写体の相対距離まで補償してしまうと、当該相対距離の変動による画像の変動を抑止する方向の画像変倍処理が行われることになる。すると、ユーザが撮像部を操作して前後に動かしたとしても、表示される画像の変動が抑止されてしまう。これではユーザの操作が機器に反映されているのかを判断することが難しく、場合によっては撮像部を被写体に近づけすぎて衝突させてしまいかねない。よって、第２の画像変倍処理に用いる倍率変動（第２の倍率変動）は、撮像倍率の変動を用いる。
【０１３１】
また、画像変倍部３５０における画像変倍処理が、第１〜第Ｎ（Ｎは２以上の整数）のタイミングの期間で行われる場合に、倍率変動検出部３２０は、第ｉ（１≦ｉ≦Ｎ）のタイミングで第ｉの倍率変動を検出してもよい。そして、画像変倍部３５０は、第ｋ（１≦ｋ≦Ｎ）のタイミングにおける第２の画像変倍処理として、第１〜第ｋの倍率変動に基づいた処理を行うことで、第２の変倍画像を取得して表示装置に出力してもよい。
【０１３２】
これにより、表示装置に表示する画像の解像感の変動を抑止して、自然な画像を提供することが可能になる。本実施形態では、所与の基準タイミングにおける撮像倍率をｇ０、第ｋのタイミングでの撮像倍率をｇｋとした場合に、第ｋの倍率変動ＡｋをＡｋ＝ｇｋ／ｇ０とする。なお、Ａｋは上述の説明における累積倍率に相当し、当該累積倍率は隣接するタイミング間の倍率変動（撮像倍率の比）の直積で求められてもよい。この際、第ｋのタイミングでの画像変倍処理とは、当該タイミングで取得された画像（内視鏡画像）に対して１／Ａｋ倍の変倍処理を施し、基準タイミングと第ｋのタイミング間での撮像倍率の変動による影響を抑えることである。しかし、画像変倍処理による補償は、画像の拡大縮小を伴うものであり、解像感の変動が生じてしまう。例えば、拡大処理では画素値の補間処理が行われるためエッジがなまることになる。このように解像感が変動すると、ユーザにとって見にくい画像となってしまい観察等に支障をきたすおそれがある。よってここでは、画像変倍処理の倍率（画像変倍率）として１／Ａｋをそのまま使うのではなく、過去のタイミング（第１〜第ｋ−１のタイミング）での倍率変動Ａ１〜Ａｋ−１も用いるものとする。具体的には上述した式（４）の手法のように、あるタイミングｔでの画像変倍率Ｂｔを、あるタイミングｓからタイミングｔまでの画像変倍率の平均値（倍率変動Ａの逆数の平均値）として求めてもよい。このようにすることで、ある程度倍率変動の影響（撮像倍率の変動の影響）が残るものの、解像感の変動を押さえることができ、自然な画像をユーザに提供することが可能になる。
【０１３３】
また、画像変倍部３５０における画像変倍処理が、第１〜第Ｎ（Ｎは２以上の整数）のタイミングの期間で行われる場合に、倍率変動検出部３２０は、第ｉ（１≦ｉ≦Ｎ）のタイミングで第ｉの倍率変動を検出してもよい。そして、画像変倍部３５０は、第ｍ（１≦ｍ≦Ｎ）のタイミングでの倍率変動が、所与の許容変倍範囲に含まれるか否かの判定を行い、許容変倍範囲に含まれる場合には、第ｍのタイミングにおける第２の画像変倍処理として、第ｍのタイミングの前の第ｍ−１のタイミングにおける第２の画像変倍処理と同様の画像変倍処理を行う。また、許容変倍範囲に含まれない場合には、第ｍのタイミングにおける第２の画像変倍処理として、第ｍの倍率変動の値の逆数に比べて１に近い値を用いた画像変倍処理を行う。
【０１３４】
表示装置に表示する画像の解像感の変動を抑止して、自然な画像を提供することが可能になる。倍率変動の影響の補償処理において、処理の強度を敢えて弱くすることで、倍率変動の影響は多少残るものの、解像感の変動を押さえる点については上述の例と同様である。
【０１３５】
具体的には上式（５）及び図１５（Ａ）〜図１５（Ｅ）等に示した手法が考えられる。上式（５）において、Ｍｔはタイミングｔでの画像変倍率、１．０−Ｒ〜１．０＋Ｒが許容変倍率（Ｒ＝０．１とすれば０．９〜１．１となる、Ｒは１より小さい正数）、Ｚｔはタイミングｔでの倍率変動であり例えばタイミングｔ―１での撮像倍率に対するタイミングｔでの撮像倍率の比である。１．０−Ｒ≦Ｚｔ≦１．０＋Ｒの場合、つまり倍率変動（撮像倍率の変動でもよいが、説明をわかりやすくするため画像での被写体サイズの変動を用いて述べる）が許容変倍率の範囲内である場合には、タイミングｔでの画像変倍率Ｍｔはタイミングｔ−１での画像変倍率Ｍｔ−１を用いる。倍率変動がＺｔであるため、図１５（Ａ）に対して、図１５（Ｃ）の画像は被写体サイズがＺｔ倍されていることになる。また、タイミングｔ−１での画像変倍率がＭｔ−１であるため、タイミングｔ−１での表示画像（変倍画像）である図１５（Ｂ）の画像は図１５（Ａ）に対して被写体サイズがＭｔ−１倍になっている。ここで、ＡＦ評価値の安定的な算出のための画像変倍処理は、画像での被写体サイズを同等に保つ処理であるため、タイミングｔでの変倍画像の被写体サイズは図１５（Ｂ）と同等にする必要がある。図１５（Ａ）に対する図１５（Ｃ）の比率がＺｔであり、図１５（Ａ）に対する図１５（Ｂ）の比率がＭｔ−１であることから、図１５（Ｃ）に対してＭｔ−１／Ｚｔ倍の画像変倍処理を施した図１５（Ｄ）が表示装置に出力されるはずである。しかし、ここではある程度の倍率変動の影響（被写体サイズの変動）を許容しているため、Ｍｔ＝Ｍｔ−１として、図１５（Ｃ）に対してＭｔ−１倍の画像変倍処理を施した図１５（Ｅ）を表示装置への出力画像とする。つまり、表示画像は図１５（Ｂ）から図１５（Ｅ）へと変化することになり、被写体サイズはＺｔ倍だけ異なることになる。
【０１３６】
それに対して、倍率変動が許容変倍率の範囲外、例えばＺｔ＜１．０−Ｒの場合には、図１６（Ａ）〜図１６（Ｅ）のようになる。タイミングｔ−１とタイミングｔとで変倍画像での被写体サイズを変更しないようにした場合、タイミングｔでの変倍画像は図１６（Ｄ）のようになる。しかし、図１６（Ｄ）を用いた場合、Ｚｔが許容変倍率から外れる程度に小さいことから、ある程度大きい画像変倍率での拡大処理を行うことになり、図１６（Ｂ）から図１６（Ｄ）の間で解像感が大きく変化してしまう。そこで、Ｍｔ＝（１．０−Ｒ）Ｍｔ−１／Ｚｔとすることで、変倍画像である図１６（Ｅ）を求める。このようにすることで、図１６（Ｂ）に対する図１６（Ｅ）の被写体サイズの比を１．０−Ｒとすることができる。つまり、倍率変動が許容変倍率の下限値よりも小さい場合には、表示画像の被写体サイズの変動が当該下限値に収まるような画像変倍処理が行われることになる。
【０１３７】
同様に、図１７（Ａ）〜図１７（Ｅ）に示したように、倍率変動が許容変倍率の上限値よりも大きい場合には、表示画像の被写体サイズの変動が当該上限値に収まるような画像変倍処理が行われる。つまり、倍率変動に応じた変倍画像を出力するが、隣接タイミング間での表示画像上の被写体サイズ変動が許容変倍率の範囲内であれば、当該変動を許容することが可能になる。このようにすることで、ある程度倍率変動の影響が残るものの、解像感の変動を押さえることができ、自然な画像をユーザに提供することが可能になる。
【０１３８】
また、倍率変動検出部３２０は図１３に示したように、撮像光学系から被写体までの距離情報の変動を検出する距離変動検出部３２５を含んでもよい。そして、距離変動検出部３２５は、撮像倍率の変動と、被写体のサイズの変動とに基づいて、距離情報の変動を検出する。
【０１３９】
これにより、撮像光学系から被写体までの相対距離を表す距離情報の変動を検出することが可能になる。画像での被写体サイズの変動要因としては、撮像倍率の変動と、距離情報の変動が考えられる。よって、その他の要因を無視できるものとすれば、撮像倍率の変動がＮ、距離情報の変動がＭとした場合に、撮像倍率の変動である第１の倍率変動はＮで表され、被写体サイズの変動である第２の倍率変動はＮ×Ｍで表される。よって、第２の倍率変動を第１の倍率変動で割ることでＭが求められる。なお、Ｍは距離情報の変動（例えば２タイミング間での距離情報の比）であるため、各タイミングにおける距離を求める場合には、何らかの処理が必要になることも考えられる。
【０１４０】
５．第４の実施形態
第３の実施形態で上述したように、ユーザの診断を妨げないためにも、表示部４００で表示する際にも画像変倍処理後の画像を用いることが望ましい。しかし、第３の実施形態の手法では、倍率変動にウォブリング以外に起因するものが含まれる場合が考慮されていない。
【０１４１】
具体的には、ＡＦ評価値算出のためのズームレンズの駆動（ウォブリング）を行うとともに、撮像倍率を変化させる意図で（例えば被写体を拡大して観察する意図で）ズームレンズを駆動した場合には、ウォブリングによる高周波の倍率変動と、意図的な倍率変更に伴う低周波の倍率変動が合成されたもの（例えば図２３に示した変動）が倍率変動検出部３２０において検出される倍率変動となる。
【０１４２】
この場合、ウォブリングによる高周波の倍率変動は、上述したとおり観察や診断の妨げとなるため、当該倍率変動を抑止する画像変倍処理を行うことが望ましい。一方、低周波の倍率変動については、ユーザの意図を反映したズームレンズの駆動によるものであるため、当該倍率変動を抑止することは好ましくない。例えば、ユーザが被写体を拡大しようとしてズームレンズの駆動を指示したのに、表示部４００に表示される画像には当該指示が反映されない（被写体サイズが変化しない）ことになるためである。
【０１４３】
よって本実施形態では、倍率変動検出部３２０より出力される倍率変動（ここではＺ［ｔ］及び累積倍率Ａ［ｔ］を含む）に基づいて、ウォブリングによる高周波の倍率変動を検出し、低周波の倍率変動と分離することで、高周波の倍率変動による表示画像への影響を抑止しつつ、低周波の倍率変動による表示画像への影響を維持する手法を用いるものとする。
【０１４４】
また、倍率変動を被写体のサイズから検出する場合には、ウォブリングを行うとともに、撮像部２３０自体が被写体に接近する場合（広義には撮像部２３０の光軸方向における、被写体と撮像部２３０の間の距離が変化する場合）にも、同様の問題が生じる。距離変化によっても画像上の被写体サイズは変動するため、ウォブリングによる高周波の倍率変動と、距離変化に伴う低周波の倍率変動が合成されたものが倍率変動検出部３２０において検出される倍率変動となるためである。なお、倍率変動を撮像光学系からの制御情報に基づいて検出する場合には、検出された倍率変動は距離変化による影響を受けないため、過剰な画像変倍処理（望ましい画角変動を抑止する処理）を行うことはない。
【０１４５】
本実施形態に係る合焦制御装置を含む内視鏡装置について、図２０を参照して説明する。内視鏡装置は、光源部１００と、挿入部２００と、信号処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。信号処理部３００以外は、第１の実施形態と同様であるため説明を省略する。
【０１４６】
信号処理部３００は、画像取得部３１０と、倍率変動検出部３２０と、合焦制御部３３０と、制御部３４０と、画像変倍部３５０を備えている。撮像部２３０より出力されるＲＡＷ画像は、画像取得部３１０に出力されている。画像取得部３１０は、倍率変動検出部３２０と、画像変倍部３５０と、合焦制御部３３０に接続されている。倍率変動検出部３２０は、画像変倍部３５０と合焦制御部３３０に接続されている。画像変倍部３５０は、表示部４００に接続されている。合焦制御部３３０は、対物レンズ２３１に接続されており、レンズ制御信号による対物レンズ２３１の制御に基づいて、倍率および合焦物体位置を制御する。制御部３４０は、撮像部２３０と、画像取得部３１０と、倍率変動検出部３２０と、合焦制御部３３０と、画像変倍部３５０と、表示部４００と、外部Ｉ／Ｆ部５００に双方向に接続しており、これらを制御信号により相互に制御する。
【０１４７】
本実施形態の倍率変動検出部３２０は、第２の実施形態と同様に、内視鏡画像における被写体のサイズ変化を倍率変動として検出することを想定している。ただし、第１の実施形態と同様にレンズ制御信号に基づき、対物レンズ２３１の倍率変動を検出する構成であってもよいし、被写体のサイズ変化と、対物レンズ２３１の倍率変動の両方を用いてもよい。
【０１４８】
また、図１２で示した第３の実施形態の画像変倍部３５０では、合焦制御部３３０と表示部４００の両方に画像変倍処理後の変倍画像を出力していた。しかし、本実施形態での画像変倍部３５０は、少なくとも表示部４００に対して変倍画像（表示画像）を出力するものである。本実施形態での合焦制御部３３０での処理は、第１〜第３の実施形態のいずれの手法を用いてもよいため、第１又は第２の実施形態の手法であれば、変倍画像の合焦制御部３３０への出力は不要であるが、第３の実施形態の手法であれば変倍画像を合焦制御部３３０へ出力する必要があるためである。
【０１４９】
本実施形態における画像変倍部３５０の構成を、図２１を参照して説明する。画像変倍部３５０は、変動倍率蓄積部３５１、表示倍率調整部３５２及び画像調整部３５３を備えている。倍率変動検出部３２０は、変動倍率蓄積部３５１と表示倍率調整部３５２に接続されている。変動倍率蓄積部３５１は、表示倍率調整部３５２と画像調整部３５３を介して表示部４００に接続されている。画像取得部３１０は、画像調整部３５３に接続されている。制御部３４０は、変動倍率蓄積部３５１、表示倍率調整部３５２および画像調整部３５３に双方向に接続しており、これらを制御信号により相互に制御する。
【０１５０】
倍率変動検出部３２０は、倍率変動を変動倍率蓄積部３５１と表示倍率調整部３５２に出力する。また、累積倍率を表示倍率調整部３５２に出力する。
【０１５１】
変動倍率蓄積部３５１は、現時刻に対応する画像の倍率変動を１フレーム遅延させて表示倍率調整部３５２に出力する。
【０１５２】
表示倍率調整部３５２は、倍率変動検出部３２０により出力される倍率変動及び累積倍率と、変動倍率蓄積部３５１により出力される１フレーム前の倍率変動に基づき、累積倍率からウォブリングによる高周波の変倍成分を平滑化し、ズーム制御に伴う移動による低周波成分に対応する表示倍率を算出する。
【０１５３】
本実施形態における表示倍率調整部３５２の構成を、図２２を参照して説明する。表示倍率調整部３５２は、倍率差分算出部５２０、倍率差分平均算出部５２１、補正倍率算出部５２２、表示倍率補正部５２３を備えている。倍率変動検出部３２０は、倍率差分算出部５２０に接続されている。変動倍率蓄積部３５１は、倍率差分算出部５２０と倍率差分平均算出部５２１に接続されている。倍率差分算出部５２０は、倍率差分平均算出部５２１、補正倍率算出部５２２と表示倍率補正部５２３を介して、画像調整部３５３に接続されている。制御部３４０は、倍率差分算出部５２０、倍率差分平均算出部５２１、補正倍率算出部５２２、表示倍率補正部５２３に双方向に接続しており、これらを制御信号により相互に制御する。
【０１５４】
倍率差分算出部５２０は、下式（７）により倍率変動検出部３２０から出力される現時刻に対応する画像の倍率変動と、変動倍率蓄積部３５１から出力される時間的に１フレーム前の画像の倍率変動との差分値を算出して、その結果を倍率差分平均算出部５２１へ転送する。
C[t] = Z[t] - Z[t-1] ・・・・・（７）
【０１５５】
但し、ｔは現時刻、Ｚ［ｔ］は現時刻対応する画像の倍率変動、Ｚ［ｔ−１］は時間的に直前画像（１フレーム前の画像）の倍率変動、Ｃ［ｔ］は現時刻での倍率変動差分値を表す。なお、倍率変動Ｚ［ｔ］や累積倍率Ａ［ｔ］は倍率を表す値であるため正の値をとるのに対して、Ｃ［ｔ］は倍率変動の差分値を表すため、負の値も取り得るものである。
【０１５６】
倍率差分平均算出部５２１は、下式（８）により倍率差分平均値を算出し、補正倍率算出部５２２へ転送する。
【数７】
【０１５７】
但し、ｔは現時刻、ｓはＡＦ動作が開始した時刻、ＡｖＣは倍率差分平均値、ＮはＡＦ動作が開始した時刻により現時刻まで撮像した画像の枚数、Ｃ［ｉ］は倍率変動差分値を表す。
【０１５８】
ここで本出願人は、下式（９）に基づいて求められるＤ［ｔ］が、累積倍率Ａ［ｔ］から高周波の倍率変動成分を除去した値（広義には低減した値）であり、例えば図２３のＦ１に相当するものとなることを確認した。よって、補正倍率算出部５２２は、下式（９）でウォブリングによる高周波成分を除いた倍率変動を算出して、表示倍率補正部５２３へ転送する。
D[t]= A[t] - (C[t] - AvC) ・・・・・（９）
【０１５９】
但し、ｔは現時刻、Ａ［ｔ］は現時刻の累積倍率、Ｃ［ｔ］は現時刻の倍率変動差分値、ＡｖＣは倍率差分平均値、Ｄ［ｔ］はウォブリングによる高周波成分を除いた倍率変動を表す。この処理について、タイミングｔ１とタイミングｔ２を具体例として用いて説明したものが図２３である。なお、Ｄ［ｔ］や後述するＥ［ｔ］は、時刻ｔとその直前のタイミングの間の倍率の比と言うよりは、その直積に相当する（時刻ｔと所与の基準タイミングの間の倍率の比に相当する）値である。よって、Ｄ［ｔ］やＥ［ｔ］の値の持つ意味は、Ｚ［ｔ］ではなく累積倍率Ａ［ｔ］に近いものである。
【０１６０】
また、図２４に（Ｃ［ｔ］−ＡｖＣ）の時間変化の例、図２５のＤ［ｔ］の時間変化の例を示す。上述したように、Ｄ［ｔ］に相当する倍率変動は、表示画像に対して反映させることが望ましい。よって、Ｄ［ｔ］を目標倍率変動として設定し、表示画像が基準となる倍率（例えばＡＦ制御開始時の倍率等）に対してＤ［ｔ］倍された画像となるように、画像変倍処理を行えばよい。
【０１６１】
具体的には、表示倍率補正部５２３は、下式（１０）を用いて表示倍率を補正するための表示倍率補正係数を算出して画像調整部３５３へ転送する。
E[t] = A[t] / D[t] ・・・・・（１０）
【０１６２】
但し、ｔは現時刻、Ａ［ｔ］は現時刻の累積倍率、Ｄ［ｔ］はウォブリングによる高周波成分を除いた倍率変動、Ｅ［ｔ］は表示倍率補正係数を表す。ここで、Ａ［ｔ］が高周波と低周波の両方を含んでおり、Ｄ［ｔ］が高周波を除いたもの（低周波に相当）であるから、Ｅ［ｔ］はウォブリングによる高周波成分に相当する倍率変動に対応する。
【０１６３】
仮に、画像取得部３１０が取得した画像に対して、Ａ［ｔ］を用いた画像変倍処理を行うと（例えば第３の実施形態で示したＢ［ｔ］＝１／Ａ［ｔ］を変倍係数とする処理を行うと）、上述したように表示画像に反映させるべき低周波の倍率変動まで補正することになる。これは、上式（１０）に従えば、Ｄ［ｔ］とＥ［ｔ］の両方を補正係数に用いてしまっていることに起因する。つまり、上式（１０）で求めたＥ［ｔ］を用いた画像変倍処理（具体的には１／Ｅ［ｔ］を変倍係数とする画像変倍処理）を行えば、所望の表示画像を生成することが可能になる。
【０１６４】
よって、画像調整部３５３は、表示倍率補正部５２３により入力された表示倍率補正係数を用いて、画像取得部３１０による入力された画像に対して、画像サイズを調整する。
【０１６５】
図２６は、ウォブリングによる影響を補正するために、画像サイズを調整する仕組みを示す。なお図２６の各画角領域は、撮像される被写体の範囲を表すものであり、撮像部２３０で撮像され、画像取得部３１０で取得される画像のサイズ自体は同一であることが想定される。つまり、画角領域が大きいほど、広い範囲の被写体を所与の大きさの画像におさめることになるため、倍率で言えば低倍率（縮小された状態）に対応することになる。
【０１６６】
図２６に示したように、撮像画角領域の大きさの昇順に沿って、実際撮像画角領域１（ウォブリングあり）、目標撮像画角領域（ウォブリングなし）及び実際撮像画角領域２（ウォブリングあり）がある。実際撮像画角領域１（ウォブリングあり）は、対物レンズ２３１によるウォブリングの影響により、対物レンズ２３１の位置がウォブリングの発生しない場合のレンズ位置に比べてＺ方向（垂直方向）に対象物から遠く離れているときの撮像画角領域に対応している。これに対して、実際撮像画角領域２（ウォブリングあり）は、対物レンズ２３１によるウォブリングの影響により、対物レンズ２３１がウォブリングの発生しない場合のレンズ位置に比べてＺ方向に対象物から近く接近しているときの撮像画角領域に対応している。一方、目標撮像画角領域（ウォブリングなし）は、ウォブリングが発生しないときの撮像画角領域に対応している。本実施例では、ウォブリングの影響により画角領域が変化したとしても、表示部４００に表示される表示画像に含まれる被写体の範囲が、目標撮像画角領域（ウォブリングなし）に対応する（狭義には同一となる）ように画像サイズを調整する。これにより、表示画像に対するウォブリングの影響を抑止することができる。低周波の倍率変動がある場合には、目標撮像画角領域（ウォブリングなし）の大きさもそれに合わせ変化するため、目標撮像画角領域（ウォブリングなし）を目標としておけば低周波の倍率変動まで補正してしまうことはない。
【０１６７】
本実施形態における画像調整部３５３の構成を、図２７を参照して説明する。画像調整部３５３は、拡大縮小部７２０、画像サイズ制御部７２１を備えている。表示倍率調整部３５２は、拡大縮小部７２０、画像サイズ制御部７２１を介して表示部４００に接続されている。画像取得部３１０は、拡大縮小部７２０に接続している。制御部３４０は、拡大縮小部７２０、画像サイズ制御部７２１に双方向に接続しており、これらを制御信号により相互に制御する。
【０１６８】
拡大縮小部７２０は、制御部３４０の制御に基づき、画像取得部３１０からの画像（画像サイズ：横幅ｉｍｇＷｉｄｔｈ、縦幅ｉｍｇＨｅｉｇｈｔ）に対し、表示倍率調整部３５２からの表示倍率補正係数Ｅ［ｔ］を用いて拡大縮小処理を行う。
【０１６９】
実際撮像画角領域１（ウォブリングあり）の場合、上式（１０）により算出された表示倍率補正係数Ｅ［ｔ］が１より小さく、目標に比べて倍率が低い（縮小されている）状態となっている。よって、画像取得部３１０からの画像に対して、公知の補間技術により拡大処理を行う。
【０１７０】
一方、実際撮像画角領域２（ウォブリングあり）の場合、上式（１０）により算出された表示倍率補正係数Ｅ［ｔ］が１より大きく、目標に比べて倍率が高い（拡大されている）状態となっている。よって、画像取得部３１０からの画像に対して、公知の補間技術により縮小処理を行う。拡大縮小部７２０は、拡大縮小処理後の画像を画像サイズ制御部７２１へ転送する。
【０１７１】
画像サイズ制御部７２１は、制御部３４０の制御に基づき、拡大縮小部７２０からの画像に対して表示部４００に表示するための画像サイズ制御処理を行う。図２８（Ａ）、図２８（Ｂ）に処理の具体例を示す。なお、図２８（Ａ）、図２８（Ｂ）は、画像取得部３１０で取得された画像に対して、画像変倍処理が行われた後の変倍画像のサイズを表したものである。具体的には、目標撮像画角領域が撮像部２３０で撮像されたと仮定した場合の仮想画像と、画像変倍処理後の画像とで、被写体のサイズが同一となるように前記画像変倍処理が行われた際の画像変倍処理後の画像サイズを表している。
【０１７２】
図２８（Ａ）に示したように、実際撮像画角領域１（ウォブリングあり）の場合、拡大処理により、拡大縮小部７２０から出力される画像サイズは、画像取得部３１０で取得された画像サイズ（横幅ｉｍｇＷｉｄｔｈ、縦幅ｉｍｇＨｅｉｇｈｔ）に比べて大きい。そのため、本実施例では、画像サイズ制御部７２１は、拡大縮小部７２０からの画像に対して切り出し処理を実施する。具体的には、拡大後の画像に対し、画像の縦幅、横幅の中心にある画素を中心に、上下左右対称に目標撮像画角領域の画像サイズに合わせて画像を切り出す処理を実施する。
【０１７３】
一方、図２８（Ｂ）に示したように、実際撮像画角領域２（ウォブリングあり）の場合、縮小処理により、拡大縮小部７２０から出力される画像サイズは、画像取得部３１０で取得された画像サイズ（横幅ｉｍｇＷｉｄｔｈ、縦幅ｉｍｇＨｅｉｇｈｔ）に比べて小さい。そのため、本実施例では、画像サイズ制御部７２１は、拡大縮小部７２０からの画像に対して周辺補間処理を実施する。具体的には、縮小後の画像は、目標撮像画角領域の画像サイズより小さいため、縮小画像に対し、画像の縦幅、横幅の中心にある画素を中心に、上下左右対称に横幅ｉｍｇＷｉｄｔｈ、縦幅ｉｍｇＨｅｉｇｈｔになるように足りない周辺領域（図２８（Ｂ）に示めされる破線と実線に囲まれる部分）に画素を付け加えて補間する。例えば、この周辺領域にある画素の画素値をすべて固定値（例えば０）に設定すればよい。補間処理後の画像を表示部４００へ出力して表示する。
【０１７４】
なお、画像補間処理については種々の方法が知られており、例えば公知のミラー方式やコピー方式等の補間方法を用いてもよい。
【０１７５】
このように、画像取得部３１０により入力された内視鏡画像から倍率変動を検出して表示するための画像サイズを調整することで、ウォブリングによる高周波成分を抑制することができる。
【０１７６】
なお、本実施形態では図２６に示したように、ウォブリングなしの状態での画角を目標撮像画角領域として画像サイズを調整する構成例を示したが、これに限定する必要はない。本実施形態の変形例として、前記実際撮像画角領域２（ウォブリングあり）を目標撮像画角領域とする構成にしてもよい。
【０１７７】
例えば、表示倍率補正部５２３は、下式（１１）或いは（１２）でウォブリングによる高周波成分を除くための画像変倍処理に用いる表示倍率補正係数を算出して画像調整部３５３へ転送してもよい。
E’[t] = ( A[t] * A[t] ）/ ( D[t] * D[t] ) * P1 ・・・・・（１１）
E’[t] = ( A[t] * A[t] ）/ ( D[t] * D[t] ) + P2 ・・・・・（１２）
【０１７８】
但し、ｔは現時刻、Ａ［ｔ］は現時刻の累積倍率、Ｄ［ｔ］はウォブリングによる高周波成分を除いた倍率変動、Ｅ’［ｔ］は表示倍率補正係数、Ｐ１、Ｐ２は定数を表す。
【０１７９】
拡大縮小部７２０は、制御部３４０の制御に基づき、画像取得部３１０からの画像が、図２９に示されているような実際撮像画角領域２（ウォブリングあり）に対応している場合、画像を処理せずに（前記実際撮像画角領域２（ウォブリングあり）を目標撮像画角領域とする構成のため）、画像サイズ制御部７２１へ転送する。
【０１８０】
一方、拡大縮小部７２０は、制御部３４０の制御に基づき、画像取得部３１０からの画像が、図２９に示されているような実際撮像画角領域１（ウォブリングあり）に対応している場合、画像取得部３１０からの画像（画像サイズ：横幅ｉｍｇＷｉｄｔｈ、縦幅ｉｍｇＨｅｉｇｈｔ）に対し、表示倍率調整部３５２からの表示倍率補正係数Ｅ’［ｔ］を用いて拡大処理を行う（例えば画像サイズを１／Ｅ’［ｔ］倍する処理を行えばよい）。拡大縮小部７２０は、処理後の拡大画像を画像サイズ制御部７２１へ転送する。
【０１８１】
画像サイズ制御部７２１は、上述した例と同様に画像サイズの制御処理を行う。ただし、本変形例では実際撮像画角領域２を目標としており、拡大縮小部７２０では実際撮像画角領域１（ウォブリングあり）の場合に拡大処理が行われるのみである。つまり、画像サイズ制御部７２１は、実際撮像画角領域１に対応するタイミングにおいて、画像を切り出す処理を実施し、表示部４００へ出力する。一方、実際撮像画角領域２の場合、拡大縮小部７２０からの画像に対して処理せずに、表示部４００へ出力すればよい。
【０１８２】
以上の変形例の処理の説明図を図３０に示す。Ｄ［ｔ］の算出までは図２３の例と同様である。図２３の例では、Ａ［ｔ］／Ｄ［ｔ］（＝Ｅ［ｔ］）を用いて変倍処理を行うことで、低周波の倍率変動（Ｇ１）よりも下にある点の値（例えば時刻ｔ１での値）を増加させ、Ｇ１よりも上にある点の値（例えば時刻ｔ２での値）を減少させることで、処理対象期間における表示画像の倍率をＧ１で示した低周波の倍率変動に近づける処理を行っていた。
【０１８３】
それとは異なり、上述した変形例では、低周波の倍率変動（Ｇ１）を基準とするのではなく、Ｇ１よりも上の点はそのままにして、Ｇ１より下の点の値を増加させることで、処理対象期間における倍率変動を、Ｇ１とは異なる低周波の倍率変動（例えば図３０におけるＧ２）に補正するものである。
【０１８４】
具体的には、低周波の倍率変動（Ｇ１）を基準した場合の、高周波の倍率変動による上側変動（図３０のＦ３等）と下側変動（図３０のＦ４等）が、ともにＡ［ｔ］／Ｄ［ｔ］に基づく処理により補正されていたことを考えれば、下側の点に対してＡ［ｔ］／Ｄ［ｔ］に基づく処理を２回行えば、下側変動に対応する点を上側変動に対応する点（すなわちＧ２に対応する点）に持ち上げることができると考えられる。
【０１８５】
つまり、ｔ１やｔ３等、下側の点のタイミングにおいては｛Ａ［ｔ］／Ｄ［ｔ］｝２を用いた処理を行い、ｔ２等、上側の点のタイミングにおいては処理をスキップすればよい。これは、タイミングに応じて上式（１１）、（１２）のＥ’［ｔ］を用いた画像変倍処理を行うことに他ならない。ただし、Ａ［ｔ］／Ｄ［ｔ］に誤差がある場合、それを２回用いることで誤差が蓄積し、最終的な画像変倍処理の精度が問題となるおそれがある。よって上式（１１）や（１２）では精度の向上等を考慮して、係数Ｐ１，Ｐ２を用いるものとしている。
【０１８６】
変形例の手法を用いることで、拡大縮小部７２０での処理は拡大処理に限定されるため、画像サイズ制御部７２１での制御処理も切り出し処理に限定することができる。拡大縮小部７２０で縮小処理が行われた場合、画像サイズ制御部７２１では補間処理が行われるため、上述したように周辺領域では有用な情報が取得できない（固定値が入れられる）場合があるが、変形例ではそのような問題を考慮しなくてもよいことになる。
【０１８７】
ただし、Ｅ’［ｔ］を用いた画像変倍処理を行うタイミングと、行わないタイミングとに分ける必要があることから、画像変倍部では処理対象タイミングにおいて画像変倍処理を行うべきか否かを適切に判定する必要がある。例えば図３０のｔ１，ｔ２，ｔ３がそれぞれ隣接するタイミングである場合（つまりウォブリングの変動に合わせて画像が取得される場合）であれば、画像が取得できない等の例外を除き、１タイミング毎に画像変倍処理を行うか否かを切り替えればよい。
【０１８８】
以上の本実施形態では、合焦制御装置は図２０に示したように、画像に対して画像変倍処理を施して、表示部４００に表示される表示画像を取得する画像変倍部３５０を含む。そして、画像変倍部３５０は、検出された倍率変動のうち、大域的な変動を表す大域倍率変動を目標倍率変動として求め、求めた目標倍率変動に基づいて画像変倍処理を行う。
【０１８９】
ここで、大域的とは、局所的と対をなす用語であり、比較的大きい範囲を対象とする場合に用いる。よって大域的な変動である大域倍率変動とは、倍率変動を大きい範囲での変動と小さい範囲での変動（局所的な変動）とに分けた場合に、大きい範囲での変動を指すものである。ここでの「範囲」とは時間的なスパンであってもよいし、値自体の変動度合いであってもよい。図２３の例であれば、実線で表される倍率変動は、図２４の要素と図２５の要素とに分けて考えることができる。この際、図２４では縦軸方向の値の変動が小さく、図２５では図２４に比べて縦軸方向の値の変動が大きいことを持って、図２５に示したＤ［ｔ］を大域倍率変動としてもよい。或いは、図２４及び図２５の値の変動が周期性を有すると仮定した場合に、その１周期の長さを考えてもよい。この場合、図２４では上下動が頻繁に起こっていることから周期は短いのに対して、図２５では少なくとも図示した範囲での周期性は認められず周期は非常に長いと考えられる。つまり、時間軸での範囲を考えた場合にも、図２４は局所的な変動であり、図２５のＤ［ｔ］が大域倍率変動となる。言い換えれば、倍率変動を高周波の倍率変動と低周波の倍率変動に分けた場合に、低周波の倍率変動が大域倍率変動の一例として考えられるということになる。
【０１９０】
これにより、適切な画像変倍処理により取得された表示画像を表示部４００に表示することができるため、ユーザに対して観察等のしやすい画像を提示することが可能になる。特に大域倍率変動として低周波の倍率変動を考えた場合、倍率変動のうち大域倍率変動でない要素（高周波の倍率変動）は、表示画像の画角を高頻度で変更する要因となるため、ユーザにとっての画像の見やすさを著しく損ねることになる。その点、大域倍率変動を目標とすればそのような問題は抑止可能である。
【０１９１】
また以上の本実施形態では、合焦制御装置は図２０に示したように、画像に対して画像変倍処理を施して、表示部４００に表示される表示画像を取得する画像変倍部３５０を含む。そして、画像変倍部３５０は、検出された倍率変動のうち、合焦制御に伴う撮像光学系の駆動に起因する変動を除いた変動を、目標倍率変動として求め、目標倍率変動に基づいて画像変倍処理を行うことで、合焦制御に伴う撮像光学系の駆動に起因する画角の変動をキャンセルする。
【０１９２】
ここで、合焦制御に伴う撮像光学系の駆動とは、具体的にはコントラストＡＦに伴うウォブリング動作が考えられる。一般的に、ＡＦ動作はその開始から終了までの時間が短いほど、ユーザにとって使いやすく好ましい。よって、ウォブリングによる撮像光学系（狭義にはズームレンズ）の駆動は高速で行われることが想定され、当該駆動による倍率変動とは、その他の要因による倍率変動に比べて、非常に高い頻度で（高周波で）行われることが想定される。
【０１９３】
これにより、ウォブリング等による高頻度での倍率変動の除いた倍率変動を目標として表示画像を取得することができるため、ユーザに対して観察等のしやすい画像を提示することが可能になる。具体的には、検出した倍率変動が図２３、ウォブリングによる倍率変動が図２４となり、ウォブリングの影響を除いた倍率変動（目標倍率変動）が図２５となる。本実施形態の手法を用いることで、ウォブリングの影響により表示画像が見づらくなることを抑止しつつ、他の要因による倍率変動（図２５）については表示画像に対して反映されることができる。つまり、意図的に撮像倍率を変更した場合、或いは撮像部２３０を被写体に近づけた場合等に、ユーザはそれらの結果を表示画像の変化から把握することが可能になる。
【０１９４】
なお、大域倍率変動、或いは合焦制御に伴う撮像光学系の駆動に起因する変動を除いた変動とは、図２５（図２３のＦ１や図３０のＧ１）に限定されるものではなく、変形例において上述した図３０のＧ２であってもよい。
【０１９５】
また、画像変倍部３５０は図２２に示したように、第１のタイミングと、第１のタイミングとは異なる第２のタイミングの間での倍率変動の差分情報である倍率変動差分情報を算出する倍率差分算出部５２０と、倍率変動差分情報の平均値を表す倍率差分平均情報を算出する倍率差分平均算出部５２１とを含んでもよい。そして、画像変倍部３５０は、検出された倍率変動と、倍率変動差分情報と、倍率差分平均情報とに基づいて、目標倍率変動を求める。
【０１９６】
ここで、倍率変動差分情報とは上述したＣ［ｔ］であってもよく、倍率差分平均情報とは上述したＡｖＣであってもよい。
【０１９７】
これにより、倍率変動差分情報と倍率差分平均情報に基づいて目標倍率変動を求めることが可能になる。具体的には、倍率変動（特に累積倍率Ａ［ｔ］）と、Ｃ［ｔ］、ＡｖＣとを用いて、上式（９）を用いて目標倍率変動Ｄ［ｔ］を求めてもよい。
【０１９８】
また、画像変倍部３５０は、検出された倍率変動と、目標倍率変動に基づいて画像変倍係数を求め、求めた画像変倍係数を用いて画像変倍処理を行ってもよい。そして、画像変倍部３５０は、画像に対して、画像変倍係数を用いた拡大縮小処理を行うことで、前記表示画像を取得する
【０１９９】
これにより、画像変倍係数を求めて、求めた画像変倍係数に基づく画像変倍処理が可能になる。ここで、本実施形態の目標倍率変動Ｄ［ｔ］とは、基準となる倍率に対して、Ｄ［ｔ］倍された画像を表示画像とすることで、ユーザにとって見やすい画像を提示できるという意味を持つ。それに対して、画像取得部３１０で取得される画像はＡ［ｔ］（＝Ｄ［ｔ］×Ｅ［ｔ］）倍された状態となっており、Ｅ［ｔ］分だけ余計な倍率変動が加わってしまっている。つまり、目標に合わせるためにはＤ［ｔ］そのものではなく、Ａ［ｔ］とＤ［ｔ］からＥ［ｔ］を求める処理を行う必要があり、これは上式（１０）を解く処理に相当する。実際の画像変倍処理は、過剰分のＥ［ｔ］をキャンセルする処理を行えばよく、これは例えば１／Ｅ［ｔ］を係数として乗じる画像変倍処理であってもよい。
【０２００】
また、倍率変動検出部３２０は、画像における被写体のサイズの変動を、倍率変動として検出してもよい。そして、画像変倍部３５０は、被写体のサイズの変動である倍率変動に基づいて、目標倍率変動を求める。
【０２０１】
これにより、被写体のサイズの変動を倍率変動として検出する（特に撮像倍率の変動を制御信号等から取得しない）場合にも、本実施形態の手法を用いることが可能になる。上述したように、被写体のサイズの変動を倍率変動とする場合、撮像部２３０と被写体との距離が変化した場合にも、当該変化が倍率変動に反映される。つまり、検出した倍率変動をそのまま表示画像に対する画像変倍処理に用いてしまったのでは、撮像部２３０と被写体の距離が変化しているにもかかわらず、表示画像上で被写体サイズが変化しないという状況が起こりうる。その場合、ユーザは被写体との距離を把握できず、撮像部２３０と被写体が衝突する可能性が高まり、特に合焦制御装置として内視鏡装置を用いる場合には、生体を損傷させることになり非常に危険である。よって、被写体のサイズの変動を倍率変動として検出する場合には、本実施形態の手法が有用であると言える。
【０２０２】
以上、本発明を適用した４つの実施の形態１〜４およびその変形例について説明したが、本発明は、各実施の形態１〜４やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜４や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜４や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０２０３】
１００ 光源部、１１０ 白色光源、１２０ 集光レンズ、２００ 挿入部、
２１０ ライトガイドファイバ、２２０ 照明レンズ、２３０ 撮像部、
２３１ 対物レンズ、２３２ 撮像素子、２３３ 変換部、３００ 信号処理部、
３１０ 画像取得部、３２０ 倍率変動検出部、３２１ フレームメモリ、
３２２ ＲＩＰＯＣ算出部、３２３ 特徴点対応部、３２４ レンズ倍率変動検出部、
３２５ 距離変動検出部、３３０ 合焦制御部、３３１ フィルタ選択部、
３３２ コントラスト値算出部、３３３ レンズ制御部、３３４ 評価領域設定部、
３４０ 制御部、３５０ 画像変倍部、３５１ 変動倍率蓄積部、
３５２ 表示倍率調整部、３５３ 画像調整部、４００ 表示部、
５００ 外部Ｉ／Ｆ部、５２０ 倍率差分算出部、５２１ 倍率差分平均算出部、
５２２ 補正倍率算出部、５２３ 表示倍率補正部、７２０ 拡大縮小部、
７２１ 画像サイズ制御部
【技術分野】
【０００１】
本発明は、合焦制御装置、内視鏡システム及び合焦制御方法等に関する。
【背景技術】
【０００２】
従来、体腔内の組織に対して照明光を照射し、それらの反射光から作成した画像信号を用いて診断・処置を行う内視鏡装置が広く使用されている。内視鏡光学系は一般に、被写界深度の広い、パンフォーカスに設計されているため、通常観察時には被写体の遠点から近点までピントの合った画像が取得できる。
【０００３】
しかし、拡大観察時には被写界深度が浅くなるため、ピントが合わない（以降、合焦しないと表記）頻度が高くなる。ユーザは合焦した内視鏡画像において被写体を観察するため、ユーザは合焦操作を手動で行う必要があり、大きな負担となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２５８１６４号公報
【非特許文献】
【０００５】
【非特許文献１】回転不変位相限定相関による画像の回転角度計測について 映像情報メディア学会技術報告 22(45), 55-60, 1998-09-14
【非特許文献２】David G. Lowe, “Distinctive image features from scale-invariant keypoints” , Journal of Computer Vision, 60, 2 , pp. 91-110, 2004.
【非特許文献３】M.A.Fischler and R. C. Bolles, "Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography," Commun. ACM, no.24, vol.6, pp.381-395, June 1981.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
拡大観察時に合焦が困難という課題の解決策として、オートフォーカス（以降、ＡＦと表記）の導入が考えられる。ＡＦを導入することにより、ユーザは手動による合焦作業から開放される。例えば特許文献１の内視鏡装置は、通常観察と拡大観察のどちらの状態においてもＡＦを行っている。
【０００７】
ここで、ＡＦを実現するために、図１９（Ａ）、図１９（Ｂ）に示す光学系の構成が考えられる。図１９（Ａ）に示す１群駆動レンズは、ズームレンズを駆動することで合焦物体位置を制御するため、合焦物体位置を変更すると倍率も同時に変化してしまう。一方、図１９（Ｂ）に示す２群駆動レンズでは、ズームレンズとフォーカスレンズを駆動可能であるため、倍率と合焦物体位置を独立に制御できる利点がある。しかし２群駆動レンズは、１群駆動レンズに比べ構成が複雑になる。そのため、１群駆動レンズに比べて、実装が困難であり、さらに内視鏡の径が太くなる問題がある。
【０００８】
以上の理由から、内視鏡スコープにおいては、図１９（Ａ）に示す１群駆動レンズの実装が望ましい。
【０００９】
しかし、１群駆動レンズの場合、上述のように合焦物体位置を変更すると倍率も同時に変化してしまうため、コントラストＡＦにおいて安定的にコントラスト値（画像の高周波成分）を算出できないという課題がある。コントラストＡＦでは、合焦時には画像の高周波成
分が極大になるとの前提から、フィルタリング処理で画像から抽出した高周波成分が極大値をとるように、レンズを駆動する。しかし、１群駆動レンズによるＡＦ動作に伴い倍率も変化すると、画像の周波数特性そのものも変化してしまい、コントラスト値の極大値探索が困難になる。
【００１０】
本発明の幾つかの態様によれば、１群駆動レンズでＡＦを行う場合に、ＡＦ評価値取得時に発生する倍率変動による悪影響を抑止する合焦制御装置、内視鏡システム及び合焦制御方法等を提供することができる。
【課題を解決するための手段】
【００１１】
本発明の一態様は、撮像倍率の変更に伴い合焦物体位置が変更される撮像光学系の駆動を制御する合焦制御部と、前記撮像光学系を介した撮像によって、異なる前記撮像倍率で撮像された複数の画像を取得する画像取得部と、前記撮像倍率及び前記画像における被写体のサイズの少なくとも一方の変動である倍率変動を検出する倍率変動検出部と、を含み、前記合焦制御部は、前記画像及び前記倍率変動に基づいて、前記撮像光学系の焦点状態を表すＡＦ評価値を算出し、算出した前記ＡＦ評価値に基づいて前記撮像光学系を駆動することによって、前記撮像光学系の合焦制御を行う合焦制御装置に関係する。
【００１２】
本発明の一態様では、撮像倍率の変更に伴い合焦物体位置が変更される撮像光学系において、撮像倍率及び画像における被写体のサイズの少なくとも一方の変動である倍率変動を検出し、検出した倍率変動に基づいてＡＦ評価値を算出する。これにより、異なる合焦物体位置においてＡＦ評価値の算出を行う際、合焦物体位置の変更に伴う撮像倍率の変更による影響を抑止し、安定的にＡＦ評価値を算出すること等が可能になる。
【００１３】
また、本発明の他の態様は、撮像倍率の変更に伴い合焦物体位置が変更される撮像光学系の駆動を制御する合焦制御部と、前記撮像光学系を介した撮像によって、異なる前記撮像倍率で撮像された複数の画像を取得する画像取得部と、前記撮像倍率及び前記画像における被写体のサイズの少なくとも一方の変動である倍率変動を検出する倍率変動検出部と、を含み、前記合焦制御部は、前記画像及び前記倍率変動に基づいて、前記撮像光学系の焦点状態を表すＡＦ評価値を算出し、算出した前記ＡＦ評価値に基づいて前記撮像光学系を駆動することによって、前記撮像光学系の合焦制御を行う内視鏡システムに関係する。
【００１４】
また、本発明の他の態様は、撮像倍率の変更に伴い合焦物体位置が変更される撮像光学系の駆動を制御する合焦制御方法であって、前記撮像光学系を介した撮像によって、異なる前記撮像倍率で撮像された複数の画像を取得し、前記撮像倍率及び前記画像における被写体のサイズの少なくとも一方の変動である倍率変動を検出し、取得した前記画像及び検出した前記倍率変動に基づいて、前記撮像光学系の焦点状態を表すＡＦ評価値を算出し、算出した前記ＡＦ評価値に基づいて前記撮像光学系を駆動することによって、前記撮像光学系の合焦制御を行う合焦制御方法に関係する。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態にかかる合焦制御装置及びそれを含む内視鏡システムの構成例。
【図２】撮像素子の構成例。
【図３】第１の実施形態の合焦制御部の構成例。
【図４】倍率変動に応じたフィルタ周波数特性の変更手法を説明する図。
【図５】第２の実施形態にかかる合焦制御装置及びそれを含む内視鏡システムの構成例。
【図６】第２の実施形態の倍率変動検出部の構成例。
【図７】第２の実施形態の倍率変動検出部の他の構成例。
【図８】第２の実施形態の合焦制御部の構成例。
【図９】図９（Ａ）、図９（Ｂ）は倍率変動に応じた評価領域の設定手法を説明する図。
【図１０】第２の実施形態の合焦制御部の他の構成例。
【図１１】図１１（Ａ）、図１１（Ｂ）は初期評価領域の設定手法を説明する図。
【図１２】第３の実施形態にかかる合焦制御装置及びそれを含む内視鏡システムの構成例。
【図１３】第３の実施形態の倍率変動検出部の構成例。
【図１４】図１４（Ａ）〜図１４（Ｃ）は倍率変動に伴う内視鏡画像の変動例、図１４（Ｄ）、図１４（Ｅ）は倍率変動に応じて取得される変倍画像の例。
【図１５】図１５（Ａ）〜図１５（Ｅ）は倍率変動が許容変倍率の範囲内の場合の内視鏡画像と変倍画像の例。
【図１６】図１６（Ａ）〜図１６（Ｅ）は倍率変動が許容変倍率よりも小さい場合の内視鏡画像と変倍画像の例。
【図１７】図１７（Ａ）〜図１７（Ｅ）は倍率変動が許容変倍率よりも大きい場合の内視鏡画像と変倍画像の例。
【図１８】第３の実施形態の合焦制御部の構成例。
【図１９】図１９（Ａ）は１群駆動レンズの例、図１９（Ｂ）は２群駆動レンズの例。
【図２０】第４の実施形態にかかる合焦制御装置及びそれを含む内視鏡システムの構成例。
【図２１】第４の実施形態の画像変倍部の構成例。
【図２２】第４の実施形態の表示倍率調整部の構成例。
【図２３】検出された倍率変動の例。
【図２４】低周波の倍率変動を基準とした場合の、高周波の倍率変動による変動の例。
【図２５】検出された倍率変動から高周波成分の影響を低減した例。
【図２６】ウォブリングによる画角領域の変動を説明する図。
【図２７】第４の実施形態の画像調整部の構成例。
【図２８】図２８（Ａ）は画像変倍処理として拡大処理が行われた例、図２８（Ｂ）は画像変倍処理として縮小処理が行われた例。
【図２９】第４の実施形態の変形例における目標画角領域の説明図。
【図３０】第４の実施形態の変形例の処理を説明する図。
【発明を実施するための形態】
【００１６】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１７】
１．本実施形態の手法
まず本実施形態の手法について説明する。１群駆動レンズ（図１９（Ａ））ではズームレンズを移動させることで合焦物体位置を変更する。つまり、合焦物体位置の移動には撮像倍率の変動を伴うことになる。よって１群駆動レンズを用いてＡＦ（ＡｕｔｏＦｏｃｕｓ）を行おうとした場合、ＡＦに用いるＡＦ評価値（例えばコントラスト値）の算出が問題となる。
【００１８】
なお、合焦物体位置とは、物体、撮像光学系、像面等を含む系が合焦状態にある場合の、基準位置に対する当該物体の相対的な位置（物点）である。具体的には、所与の位置に像面を設定し、撮像光学系を所与の状態とした場合に、当該撮像光学系により前記像面上に結像する像が合焦している場合の当該物体の位置を表す。本実施形態の合焦制御装置（或いは内視鏡システム）等では、像面は撮像部に含まれる撮像素子の面と一致することが想定されるため、撮像素子の面が固定されている場合、光学系の状態を決定すれば合焦物体位置は決定可能となる。
【００１９】
コントラストＡＦにおいて、合焦物体位置を変化させてそれぞれの位置でコントラスト値を算出し、算出したコントラスト値の極大値を求めるように、ＡＦでは複数のＡＦ評価値の関係を求めることが想定される。しかし、１群駆動レンズでは上述したように、合焦物体位置を変えると撮像倍率も変化してしまう。そのため、あるタイミングでのＡＦ評価値算出に用いた画像に比べて、別のタイミングでの画像は被写体の倍率が変化しており、ＡＦ評価値を安定的に算出することができない。例えば、ＡＦ動作中に撮像倍率が増加した（拡大された）場合には、画像に含まれる高周波成分が低周波側にシフトする（エッジがなまる）ことになり、拡大前と拡大後でＡＦ評価値の算出条件が異なってしまう。よって、ＡＦ評価値の大小を適切に判断することができず、ＡＦ動作に支障をきたす。
【００２０】
そこで本出願人は、倍率変動（倍率変動情報）を補償するようなＡＦ評価値の算出手法を提案する。具体的には、３つの手法を提案しており、第１の実施形態では、倍率変動に基づいてＡＦ評価値の算出時に用いられるフィルタの周波数特性を変更する。第２の実施形態では、ＡＦ評価値の算出対象となる画素の範囲を表す評価領域のサイズを、倍率変動に基づいて変更する。第３の実施形態では、画像自体に対して倍率変動に基づいて変倍処理を施し、変倍処理後の変倍画像を用いてＡＦ評価値を算出する。
【００２１】
また、倍率変動の取得手法も２通り考えられ、第１の実施形態では、撮像光学系からの制御情報（例えばズームレンズ位置に関するレンズ制御信号）に基づいて、倍率変動を取得する。また、第２の実施形態では、撮像した画像上での被写体サイズに基づいて倍率変動を取得する。なお、制御情報により取得された倍率変動は、撮像倍率の変動を示す情報であるのに対して、画像での被写体サイズにより取得された倍率変動は、撮像倍率の変動に加えて、撮像光学系と被写体との相対距離の変動を示す情報である。
【００２２】
以下の実施形態では、ＡＦ評価値算出手法と、倍率変動検出手法の組み合わせとして、第１の実施形態においてフィルタ処理とレンズ制御信号の組み合わせを記載し、第２の実施形態において評価領域と被写体サイズの組み合わせを記載しているが、これに限定されるものではない。３つのＡＦ評価値算出手法と、２つの倍率変動検出手法の組み合わせは任意である。また、レンズ制御信号に基づく倍率変動と、被写体サイズに基づく倍率変動の両方を取得してもよく、特にＡＦ評価値算出手法として変倍処理を用いる場合に有用である。詳細については第３の実施形態及びその変形例で詳述する。
【００２３】
また、ＡＦ評価値算出の際のズームレンズの駆動（ウォブリング）により撮像倍率が変動することで、ユーザ（ドクター）に提示する表示画像の倍率（画角）も高頻度に変化することになる。しかし、表示画像に基づき診断を行う際、表示画像の画角の高頻度での変化は、ドクターにとってストレスになりやすく、適切な診断を妨げる要因となる。よって、撮像した画像に対して適切な変倍処理を行うことで、ユーザにとって観察しやすい表示画像を生成、表示してもよい。具体的な手法は、第３の実施形態及び第４の実施形態で説明する。なお、第４の実施形態では、ＡＦ評価値算出手法は上述のいずれの手法を用いてもよいものとする。
【００２４】
なお、以下の説明においては多くの箇所で、隣接する２タイミング間での撮像倍率或いは被写体サイズの比が倍率変動Ｚであり、Ｚの直積である累積倍率Ａは所与の２タイミング間（隣接してもよいし、しなくてもよい）での撮像倍率等の比に相当する値であるものとしている。しかし、倍率変動Ｚと累積倍率Ａは算出手法が異なるが、ともに異なる２タイミング間での撮像倍率等の変動を表すものであり、本質的には同様の意味を持つ。よって、本実施形態においては、累積倍率Ａも広義には倍率変動に含まれるものとする。このことから、区別可能な箇所については、上述したように隣接２タイミング間の比を倍率変動Ｚとし、Ｚの直積をＡとして異なる用語で説明しているが、区別することが難しい（或いは区別する必要がない）箇所については、「倍率変動」という用語はＺ及びＡのどちらを指してもよいものとしている。
【００２５】
２．第１の実施形態
本実施形態に係る合焦制御装置を含む内視鏡装置について、図１を参照して説明する。内視鏡装置は、光源部１００と、挿入部２００と、信号処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。
【００２６】
光源部１００は、白色光源１１０と、集光レンズ１２０を備えている。白色光源１１０は白色光を発する。集光レンズ１２０は、白色光源１１０で発せられた光を後述するライトガイドファイバ２１０に集光する。
【００２７】
挿入部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。挿入部２００は、ライトガイドファイバ２１０と、照明レンズ２２０と、撮像部２３０を備えている。ライトガイドファイバ２１０は、光源部１００で集光された光を挿入部２００の先端まで導く。照明レンズ２２０は、ライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて観察対象に照射する。撮像部２３０は、対物レンズ２３１と、撮像素子２３２と、Ａ／Ｄ変換部２３３を備えている。対物レンズ２３１は、観察対象から戻る反射光を撮像素子２３２に集光する。また、対物レンズ２３１は、倍率および合焦物体位置を同時に変更する機能を備えている。撮像素子２３２は、検出した反射光に基づくアナログ信号を、Ａ／Ｄ変換部２３３に出力する。Ａ／Ｄ変換部２３３は、後述する制御部３４０にて出力される制御信号に基づき、撮像素子２３２から出力されるアナログ信号をデジタル信号に変換し、ＲＡＷ画像として信号処理部３００に出力する。ここで、撮像素子２３２は、原色ベイヤ配列を有しており、撮像素子２３２で取得される画像は原色ベイヤ画像である。原色ベイヤ画像とは、各画素が図２に示すように、市松状にＲＧＢいずれかの信号を有した画像である。
【００２８】
信号処理部３００は、画像取得部３１０と、倍率変動検出部３２０と、合焦制御部３３０と、制御部３４０を備えている。撮像部２３０より出力されるＲＡＷ画像は、画像取得部３１０に出力されている。画像取得部３１０は、合焦制御部３３０と、表示部４００に接続されている。倍率変動検出部３２０は、合焦制御部３３０に接続されている。合焦制御部３３０は、対物レンズ２３１に接続されており、レンズ制御信号による対物レンズ２３１の制御に基づいて、倍率および合焦物体位置を制御する。当該レンズ制御信号は、倍率変動検出部３２０にも出力される。制御部３４０は、撮像部２３０と、倍率変動検出部３２０と、合焦制御部３３０と、画像取得部３１０と、表示部４００と、外部Ｉ／Ｆ部５００に双方向に接続しており、これらを制御信号により相互に制御する。制御信号は、被写体に自動的に焦点を合わせるオートフォーカス（以降、ＡＦと表記）機能の開始・終了を示す、ＡＦトリガ信号を含んでいる。以降、制御部３４０に接続する各構成要件は、制御信号によりＡＦ動作の開始・終了を検知するとして説明する。
【００２９】
画像取得部３１０は、撮像部２３０より出力されるＲＡＷ画像に対し、ホワイトバランス処理、デモザイキング処理など既存の画像処理を行い、内視鏡画像を取得する。取得した内視鏡画像は、合焦制御部３３０と、表示部４００に出力される。ここで、内視鏡画像とはＲＧＢのカラー画像である。
【００３０】
倍率変動検出部３２０は、後述する合焦制御部３３０より出力されるレンズ制御信号に基づき、経時的な対物レンズ２３１の倍率変動を検出する。例えば、時刻ｔ（現在）における対物レンズ２３１の倍率がｚｔ、時刻ｔ−１における対物レンズ２３１の倍率がｚｔ−１の場合、倍率変動検出部３２０は、Ｚｔ＝ｚｔ/ｚｔ−１を倍率変動として、合焦制御部３３０に出力する。ここで、時刻ｔおよびｔ−１は、制御信号が倍率変動検出部３２０に出力される時刻であり、時刻ｔ−１とは時刻ｔの直前に制御信号が倍率変動検出部３２０に出力された時刻である。
【００３１】
合焦制御部３３０は、制御信号によりＡＦ動作の開始を検知すると、画像取得部３１０より出力される内視鏡画像および、倍率変動検出部３２０より出力される倍率変動に基づき、対物レンズ２３１の制御を行って合焦物体位置を制御する。本実施形態においては、合焦物体位置を変更すると同時に撮像倍率も変動するが、ここでは説明のため合焦物体位置を制御する、とのみ表記する。
【００３２】
合焦制御部３３０の具体的な構成について図３を参照して説明する。合焦制御部３３０は、フィルタ選択部３３１と、コントラスト値算出部３３２と、レンズ制御部３３３を備えている。画像取得部３１０より出力される内視鏡画像は、コントラスト値算出部３３２に出力されている。倍率変動検出部３２０より出力される倍率変動は、フィルタ選択部３３１に出力される。フィルタ選択部３３１は、コントラスト値算出部３３２に接続されている。コントラスト値算出部３３２は、レンズ制御部３３３に接続されている。レンズ制御部３３３は、対物レンズ２３１に接続され、レンズ制御信号を出力することでこれを制御する。またレンズ制御信号は、倍率変動検出部３２０にも出力されている。
【００３３】
フィルタ選択部３３１は、倍率変動検出部３２０より出力される倍率変動に基づき、後述するコントラスト値算出に利用するフィルタを所定のフィルタ群より選択する。ここで、フィルタとは公知のハイパスフィルタである。また、説明を簡便にするため、フィルタ群に含まれるフィルタは３つとする。具体的なフィルタ選択方法は、まず制御信号よりＡＦ動作の開始を検知すると、下式（１）で累積倍率を算出する。
【数１】
【００３４】
但し、ｔは現時刻、Ａｔは現時刻における累積倍率、ｓはＡＦ動作が開始した時刻を表す。また、ｉは時刻を示すインデックス、Ｚは倍率変動の値（倍率変動値）である。つまり累積倍率は、ＡＦ動作開始時から現在までの倍率変動の値の直積である。図４を参照して、累積倍率に基づくハイパスフィルタ選択を説明する。図４はハイパスフィルタの周波数特性を示している。累積倍率が１．０より大きい場合、つまりＡＦ動作開始時より倍率が高い場合には、ＡＦ動作開始時に比べて、より低周波信号を通過するハイパスフィルタを選択する。累積倍率が１．０より小さい場合、つまりＡＦ動作開始時より倍率が低い場合、ＡＦ動作開始時に比べて、より高周波信号を通過するハイパスフィルタを選択する。また、本実施形態ではフィルタ群は３つのフィルタで構成された場合について説明したが、より多数のフィルタであってもかまわない。この場合、累積倍率の高低の程度が強まれば強まるほど、低周波もしくは高周波信号をより通過する。また、所定のハイパスフィルタに対して、累積倍率に基づきその周波数特性を変更して用いてもかまわない。この場合、下式（２）の周波数特性となるフィルタを設計する。
【数２】
【００３５】
但し、Ｇｔ（ｕ）は時刻ｔにおけるフィルタの周波数特性。ｕは空間周波数。Ｇｏ（ｕ）は所定のフィルタの周波数特性である。
【００３６】
また、本実施形態ではフィルタとしてハイパスフィルタを利用したが、バンドパスフィルタを利用してもかまわない。この場合もハイパスフィルタと同様に、ＡＦ動作開始時より倍率が高い場合は低周波信号を、ＡＦ動作開始時より倍率が低い場合は高周波信号を、より通過する周波数特性を有したフィルタを選択する。
【００３７】
コントラスト値算出部３３２は、画像取得部３１０より出力される内視鏡画像に対し、フィルタ選択部３３１で選択されたフィルタによるフィルタリング処理を行い、コントラスト値を算出する。具体的にコントラスト値とは、内視鏡画像中央に位置する所定サイズの矩形領域における、フィルタリング処理された内視鏡画像の画素値の総和である。ここでコントラスト値は、内視鏡画像のＧ信号にのみフィルタリング処理を行って算出する。これは、内視鏡画像における主な被写体である体腔内は、局所的な画素値の変化がＧ信号において最も大きく、コントラスト値算出に適しているためである。算出したコントラスト値は、レンズ制御部３３３に出力される。また本実施形態において、コントラスト値はＧ信号のみより算出したが、ＲＧＢ全ての信号に対しチャンネルごとにフィルタリング処理を行い、ＲＧＢ信号ごとの総和を合計して算出しても構わない。
【００３８】
レンズ制御部３３３は、コントラスト値算出部３３２より出力されるコントラスト値に基づき、対物レンズ２３１を制御するレンズ制御信号を出力する。コントラスト値に基づく具体的な合焦制御方法は、ＡＦ技術として公知であるため詳細な技術説明は省略する。レンズ制御信号は、対物レンズ２３１と、倍率変動検出部３２０に出力される。
【００３９】
表示部４００は、画像取得部３１０より出力される内視鏡画像を、内視鏡モニタ等の画像表示装置上に出力する。
【００４０】
外部Ｉ／Ｆ部５００は、合焦制御装置に対するユーザからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタン、被写体に自動的に焦点を合わせるオートフォーカス動作を開始するＡＦボタンなどを含んで構成されている。
【００４１】
本発明の一態様では、倍率変動と合焦物体位置変動が連動する内視鏡撮像光学系を通して、内視鏡画像が取得される。内視鏡撮像光学系の倍率変動を、内視鏡撮像光学系の制御信号より検出する。検出した倍率変動に基づきハイパスフィルタの周波数特性を選択する。当該ハイパスフィルタにより内視鏡画像にフィルタリング処理を行うことで、コントラスト値を算出する。算出したコントラスト値が極大値をとるよう撮像光学系を制御することで、ＡＦ機能を実現する。倍率変動に応じて、適切な周波数特性のフィルタによるコントラスト値算出を行うことで、倍率変動に対して安定的にＡＦ動作を行うことができる。
【００４２】
以上の本実施形態では、合焦制御装置は図１に示したように、撮像光学系の駆動を制御する合焦制御部３３０と、撮像光学系を介した撮像によって、異なる撮像倍率で撮像された複数の画像を取得する画像取得部３１０と、倍率変動を検出する倍率変動検出部３２０とを含む。合焦制御部３３０は、画像取得部３１０で取得された画像と、倍率変動検出部３２０で検出された倍率変動に基づいて撮像光学系の焦点状態を表すＡＦ評価値を算出し、ＡＦ評価値に基づいて撮像光学系を駆動することで合焦制御を行う。
【００４３】
ここで、撮像光学系は、撮像倍率の変更に伴い合焦物体位置が変更される構成であるものとする。つまり、図１９（Ａ）に示したような１群駆動レンズを前提とする。また、倍率変動とは、撮像倍率の変動、及び画像上での被写体のサイズの変動の少なくとも一方を表すものである。撮像倍率の例で言えば、撮像倍率が２倍から３倍へ変化した場合、その変化の度合い（比であれば３／２＝１．５であるし、差であれば３−２＝１である）を倍率変動とする。被写体のサイズの例で言えば、被写体上の２点間の距離が画像において１０ピクセルから２０ピクセルに変化した場合、その変化の度合い（比であれば２、差であれば１０）を倍率変動とする。倍率変動は、広義には比や差に限定されず、撮像倍率等の変動の度合いを表す他の情報（倍率変動情報）であってもよいが、本実施形態においては狭義には比を表すものとして説明する。またＡＦ評価値とは、ＡＦを実行するに当たって評価対象となる値のことであり、例えばコントラストＡＦにおけるコントラスト値であってもよい。
【００４４】
これにより、１群駆動レンズを用いた場合にもＡＦ評価値を適切に算出することが可能になるため、ＡＦを適切に実行することが可能になる。コントラストＡＦにおけるコントラスト値がそうであるように、ＡＦ評価値は合焦物体位置の異なる複数のタイミングでそれぞれ取得され、取得した複数のＡＦ評価値の比較を行うことが想定される。しかし、上述したように１群駆動レンズでは合焦物体位置の変更に伴い撮像倍率が変更されてしまうため、ＡＦ評価値の算出状況が変化してしまう。具体的には、撮像倍率が大きくなれば、拡大処理となるため画像の高周波成分が低周波側に移ってしまう。コントラスト値の一例として画像の高周波成分を用いることが考えられるように、画像の周波数成分の変化はＡＦ評価値に影響を与える。よって、本実施形態では、画像からＡＦ評価値を算出する際に、倍率変動（例えば撮像倍率の変動）に基づいた処理（具体的には倍率変動に伴う影響を補償するような処理）を行う。そうすることで安定的にＡＦ評価値を算出できるため、ＡＦを適切に実行することができる。
【００４５】
また、合焦制御部３３０は、倍率変動に応じた周波数特性を有するフィルタを用いたフィルタ処理を、画像に対して施すフィルタ処理部（フィルタ選択部３３１で選択されたフィルタによる処理を行うもので、上述の説明では図３におけるコントラスト値算出部３３２に対応する）を含んでもよい。
【００４６】
これにより、倍率変動に基づいたＡＦ評価値の算出処理として、当該算出処理に用いるフィルタの周波数特性を変更することが可能になる。上述したように、倍率変動に伴い画像の周波数特性が変化する。よって、フィルタの周波数特性を一定にした場合、合焦状態は一定であったとしても、倍率変動前にはフィルタを通過していた信号成分が、倍率変動後にはフィルタを通過しないことも考えられる。合焦状態が一定であるのならば、フィルタを通過する信号成分（信号値）は同程度のはずであるから、倍率変動による画像の周波数成分の変動に対応させてフィルタ特性も変更する必要がある。
【００４７】
また、フィルタ処理部は、倍率変動が大きいほどカットオフ周波数の低いハイパスフィルタを用いたフィルタ処理を行ってもよい。また、倍率変動が小さいほどカットオフ周波数の高いハイパスフィルタを用いたフィルタ処理を行ってもよい。
【００４８】
なお、ここでは上述したように倍率変動として撮像倍率（或いは被写体のサイズ）の変化の度合いとして２つの撮像倍率の比を用いるものとする。つまり、倍率変動が大きいとは、変動前に比べて変動後の撮像倍率が大きくなっている（拡大されている）状況であり、倍率変動が小さいとは、変動前に比べて変動後の撮像倍率が小さくなっている（縮小されている）状況である。ただし、倍率変動は拡大された場合に大きくなり、縮小された場合に小さくなるものであればよく、撮像倍率の差（拡大時は正の値、縮小時は負の値となる）であってもよいし、他の値であってもよい。
【００４９】
これにより、倍率変動に伴う画像の周波数成分の変化に対応させて、フィルタの周波数特性を変更することが可能になる。上述したように倍率変動が大きい、つまり拡大された場合には、エッジ成分がなまり、本来フィルタを通過するはずの高周波成分が低周波側にシフトする。この低周波側にシフトした信号成分もＡＦ評価値の算出に用いる必要があることから、このような場合にはハイパスフィルタのカットオフ周波数を低く設定する。逆に、倍率変動が小さい、つまり縮小された場合には、本来ＡＦ評価値の算出に用いられないような低周波成分まで高周波側にシフトしてくる。この信号成分はフィルタでカットする必要があるため、ハイパスフィルタのカットオフ周波数は高く設定する。
【００５０】
また、フィルタ処理部は、倍率変動が大きいほど通過帯域が低い周波数帯域であるバンドパスフィルタを用いたフィルタ処理を行ってもよい。また、倍率変動が小さいほど通過帯域が高い周波数帯域であるバンドパスフィルタを用いたフィルタ処理を行ってもよい。
【００５１】
これにより、ＡＦ評価値の算出にバンドパスフィルタを用いることも可能になる。なお、倍率変動に伴う画像の周波数成分の変化にあわせて、フィルタの周波数特性を変更する点についてはハイパスフィルタの例と同様であるため、詳細な説明は省略する。
【００５２】
また、倍率変動検出部３２０は、第１のタイミングにおける倍率評価値に対する、第２のタイミングにおける倍率評価値の比を、第２のタイミングでの倍率変動として検出してもよい。本実施形態においては、倍率評価値は撮像倍率であってもよい。
【００５３】
ここで、第２のタイミングは第１のタイミングとは時間的に異なるものとする。また、倍率評価値とは、上述した撮像倍率及び画像における被写体のサイズの少なくとも一方である。
【００５４】
これにより、異なる２つのタイミングの間での倍率評価値（撮像倍率）の比を倍率変動として検出することが可能になる。この場合、倍率評価値が変動しない場合の倍率変動が１となり、倍率変動が１より大きければ拡大に対応し、１より小さければ縮小に対応することになる。
【００５５】
また、上述した第１のタイミングは、ＡＦ評価値の算出を開始するタイミングであってもよい。
【００５６】
なお、第２のタイミングは第１のタイミングよりも時間的に後であり、かつ、ＡＦ評価値の算出タイミングに対応する。本実施形態における説明では、第２のタイミングは現在の処理タイミングを表している。
【００５７】
これにより、ＡＦ評価値の算出を開始するタイミングに対する倍率評価値の変動（狭義には倍率評価値の比）を求めることが可能になる。ＡＦ評価値の算出を開始するタイミングとは、ＡＦ動作を開始するタイミングであってもよい。上述してきたように、ＡＦ評価値を安定的に算出するためには、倍率変動の影響を補償するような処理を行う必要がある。その際、どの程度補償するか（本実施形態であれば、フィルタの周波数特性をどの程度変更するか）の基準が無くてはならない。つまり、第１のタイミングとしてＡＦ評価値の算出を開始するタイミングを用いれば、以降のＡＦ評価値算出タイミングにおける算出処理は、第１のタイミングからの倍率変動を補償した上で行われるため、第１のタイミングと同等の条件でＡＦ評価値を算出することが可能になる。なお、この場合には、算出される倍率変動は、本実施形態の説明における式（１）の累積倍率Ａｔに相当する。
【００５８】
ただし、倍率変動は累積倍率を指すものに限定されず、本実施形態で説明したように、第１のタイミングと第２のタイミングは、時間的に隣接するＡＦ評価値の取得タイミングであってもよい。
【００５９】
これにより、時間的に隣接するタイミングでの倍率評価値の変動（狭義には倍率評価値の比）を求めることが可能になる。隣接タイミング間での倍率変動を補償する処理が行えることはもちろんであるが、隣接タイミング間での倍率変動の積を求めることで任意のタイミングの間での倍率変動が得られるため、その間での倍率変動を補償する処理を行うことも可能である。例えばＡＦ動作開始時からの倍率変動の直積は、上述した累積倍率に他ならない。
【００６０】
また、以上の本実施形態は、撮像光学系の駆動を制御する合焦制御部３３０と、撮像光学系を介した撮像によって、異なる撮像倍率で撮像された複数の画像を取得する画像取得部３１０と、倍率変動を検出する倍率変動検出部３２０とを含む内視鏡システムに適用できる。合焦制御部３３０は、画像取得部３１０で取得された画像と、倍率変動検出部３２０で検出された倍率変動に基づいて撮像光学系の焦点状態を表すＡＦ評価値を算出し、ＡＦ評価値に基づいて撮像光学系を駆動することで合焦制御を行う。
【００６１】
なお、内視鏡システムは、図１に示したように光源部１００、挿入部２００、表示部４００、外部Ｉ／Ｆ部５００等を含んでもよい。
【００６２】
これにより、１群駆動レンズを用いた場合にもＡＦ評価値を適切に算出することが可能な内視鏡システムを実現することができる。内視鏡システムでは挿入部２００は生体内に挿入されることになるため、小型化することが望ましく、そのために挿入部２００に含まれる撮像光学系の構成をシンプルにすることが考えられる。よって、図１９（Ａ）に示した１群駆動レンズを採用することが想定され、その場合には上述してきた倍率変動による影響を補償する必要が生じる。
【００６３】
３．第２の実施形態
本実施形態に係る合焦制御装置を含む内視鏡装置について、図５を参照して説明する。内視鏡装置は、光源部１００と、挿入部２００と、信号処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。信号処理部３００および表示部４００以外は、第１の実施形態と同様であるため説明を省略する。
【００６４】
信号処理部３００は、画像取得部３１０と、倍率変動検出部３２０と、合焦制御部３３０と、制御部３４０を備えている。画像取得部３１０は、倍率変動検出部３２０と、合焦制御部３３０と、表示部４００に接続されている。倍率変動検出部３２０は、合焦制御部３３０に接続されている。合焦制御部３３０は、対物レンズ２３１に接続されており、レンズ制御信号による対物レンズ２３１の制御に基づいて、倍率および合焦物体位置を制御する。制御部３４０は、撮像部２３０と、倍率変動検出部３２０と、合焦制御部３３０と、画像取得部３１０と表示部４００と、外部Ｉ／Ｆ部５００に双方向に接続しており、これらを制御信号により相互に制御する。
【００６５】
画像取得部３１０は第１の実施形態と同様のため説明を省略する。画像取得部３１０にて取得した内視鏡画像は、倍率変動検出部３２０に出力される。
【００６６】
倍率変動検出部３２０は、画像取得部３１０より出力される内視鏡画像の画素値に基づき、内視鏡画像における被写体のサイズ変化を、倍率変動として検出する。検出された倍率変動は、合焦制御部３３０に出力される。本実施形態における倍率変動検出部３２０の構成を、図６を参照して説明する。倍率変動検出部３２０は、フレームメモリ３２１と、ＲＩＰＯＣ算出部３２２を備えている。画像取得部３１０より出力される内視鏡画像は、フレームメモリ３２１と、ＲＩＰＯＣ算出部３２２に出力される。フレームメモリ３２１は、ＲＩＰＯＣ算出部３２２に接続されている。ＲＩＰＯＣ算出部３２２は、合焦制御部３３０に接続されている。
【００６７】
フレームメモリ３２１は、画像取得部３１０より出力される内視鏡画像を、１フレーム遅延させてＲＩＰＯＣ算出部３２２に出力する。
【００６８】
ＲＩＰＯＣ算出部３２２は、画像取得部３１０より出力される内視鏡画像および、フレームメモリ３２１より出力される内視鏡画像に基づき、各内視鏡画像における被写体のサイズ変化を倍率変動として算出する。以降説明のため、前者の内視鏡画像を現在画像、後者の内視鏡画像を過去画像と表記する。ここで、現在画像および過去画像より倍率変動を算出する技術、回転不変位相限定相関法（以降ＲＩＰＯＣ法と表記）は公知技術のため、詳細な技術説明は省略する。技術の詳細は非特許文献１に詳しい。ＲＩＰＯＣ法では、過去画像を基準として現在画像における被写体の平行移動・サイズ変化・回転を検出することができる。この内サイズ変化を倍率変動として合焦制御部３３０に出力する。
【００６９】
次に、本実施形態における倍率変動検出部３２０の変形例について、図７を参照して説明する。倍率変動検出部３２０は、フレームメモリ３２１と、特徴点対応部３２３を備えている。画像取得部３１０より出力される内視鏡画像は、フレームメモリ３２１と、特徴点対応部３２３に出力される。フレームメモリ３２１は、特徴点対応部３２３に接続されている。特徴点対応部３２３は、合焦制御部３３０に接続されている。
【００７０】
フレームメモリ３２１は、画像取得部３１０より出力される内視鏡画像を、１フレーム遅延させて特徴点対応部３２３に出力する。
【００７１】
特徴点対応部３２３は、画像取得部３１０より出力される現在画像および、フレームメモリ３２１より出力される過去画像より、特徴点を検出しその対応関係から現在画像および過去画像の倍率変動を検出する。ここで、現在画像および過去画像より特徴点を検出する技術は公知であるため、詳細な技術説明は省略する。ここで特徴点は、公知技術のＳＩＦＴ特徴量に基づき検出する。ＳＩＦＴ特徴量は画像の回転、スケール変化、照明変化にロバストな特徴量である。ＳＩＦＴ特徴量に関する詳細は非特許文献２に詳しい。次に、現在画像および過去画像より検出される特徴点を、各画像間で対応させる。特徴点間の対応についても公知技術であるため説明は省略する。ここでは、ＲＡＮＳＡＣと呼ばれる手法で、特徴点間の対応関係を検出する。ＲＡＮＳＡＣは、複数の特徴点をランダムに抽出・組み合わせて算出した対応関係候補を、抽出されなかった特徴点に適応しその妥当性を評価する、という演算を繰り返すことで、大多数の特徴点間を満足する対応関係を決定する手法である。ＲＡＮＳＡＣに関する詳細は非特許文献３に詳しい。ここでは、対応関係は座標変換の一つとして知られるアフィン変換である。但し、ここで座標変換は、過去画像から現在画像への変換である。公知技術であるため詳細な説明は省略するが、アフィン変換は並進、回転、変倍の項で構成されており、この変倍の項を倍率変動として、合焦制御部３３０に出力する。
【００７２】
合焦制御部３３０は、制御信号よりＡＦ動作の開始を検知すると、画像取得部３１０より出力される内視鏡画像および、倍率変動検出部３２０より検出された倍率変動に基づき、対物レンズ２３１の制御を行って合焦物体位置を制御する。本実施形態における合焦制御部３３０の具体的な構成について、図８を参照して説明する。合焦制御部３３０は、コントラスト値算出部３３２と、レンズ制御部３３３と、評価領域設定部３３４を備えている。画像取得部３１０より出力される内視鏡画像は、コントラスト値算出部３３２に出力されている。倍率変動検出部３２０より出力される倍率変動は、評価領域設定部３３４に出力されている。評価領域設定部３３４は、コントラスト値算出部３３２に接続されている。コントラスト値算出部３３２は、レンズ制御部３３３に接続されている。レンズ制御部３３３は、対物レンズ２３１に接続されており、これを制御する。
【００７３】
評価領域設定部３３４は、倍率変動検出部３２０より出力される倍率変動に基づき、内視鏡画像上に評価領域を設定する。具体的にはまず、制御信号よりＡＦ動作の開始を検知すると、初期評価領域を設定する。初期評価領域は内視鏡画像の中央に位置する矩形領域であり、そのサイズは内視鏡画像のサイズに所定の比率を乗じて算出される。その後、初期評価領域を評価領域倍率で変倍し、評価領域とする。ここで、評価領域倍率は上述した式（１）で算出した累積倍率と等しい。評価領域倍率に基づき設定される評価領域を、図９を参照して説明する。図９（Ａ）はＡＦ動作開始時の内視鏡画像および初期評価領域である。図９（Ｂ）は時刻ｔにおける内視鏡画像および評価領域である。この時、図９（Ａ）における初期評価領域のサイズと、図９（Ｂ）における評価領域のサイズとの比率が評価領域倍率Ｖｔ（式（１）のＡｔに等しい）である。つまり、評価領域倍率が大きければ大きいほど、評価領域のサイズは大きくなる。算出した評価領域倍率は、コントラスト値算出部３３２に出力される。
【００７４】
コントラスト値算出部３３２は、評価領域設定部３３４より出力される評価領域倍率に基づき、画像取得部３１０より出力される内視鏡画像上に設定された評価領域の画素値を用いてコントラスト値を算出する。具体的には、ハイパスフィルタによるフィルタリング処理を行った内視鏡画像の画素値を、評価領域内で総和しこれをコントラスト値とする。算出したコントラスト値は、レンズ制御部３３３に出力される。また、評価領域内の最大画素値および最小画素値の差をコントラスト値としても構わない。
【００７５】
レンズ制御部３３３は、第１の実施形態と同様であるため、説明を省略する。
【００７６】
このように、倍率変動を補償するように、コントラスト値を算出する評価領域を設定することで、倍率変動のコントラスト値に対する影響を低減し、安定的にＡＦ動作を行うことができる。
【００７７】
また、初期評価領域のサイズは、内視鏡画像に所定の比率を乗じて算出されたが、当該所定の比率はＡＦ動作開始時における対物レンズ２３１の倍率に応じて可変であっても構わない。説明のため、当該所定の比率を初期評価領域倍率とする。この場合の合焦制御部３３０の構成を図１０に示す。図９を参照して説明した合焦制御部３３０と異なる点は、レンズ制御信号が評価領域設定部３３４にも出力される点である。評価領域設定部３３４は、レンズ制御信号に基づき、ＡＦ動作開始時における対物レンズ２３１の倍率を取得する。図１１を参照して、初期評価倍率とＡＦ動作開始時における倍率との関係を説明する。図１１（Ｂ）は図１１（Ａ）に比べて高倍率であるため、初期評価倍率を大きく設定する。このように初期評価倍率を設定することで、倍率変動により評価領域倍率が１．０を超える、または０．０に近づく頻度を低減できる。これは、低倍率でＡＦ動作を開始する場合、現在より高倍率にして観察を行う可能性が高く、高倍率でＡＦ動作を開始する場合はその逆となるためである。次に、これらの状況を避けるべき理由について説明する。評価領域倍率が１．０を超えると、内視鏡画像全体を超えてコントラスト値を算出しなければならない可能性が出てくる。しかし、画像信号は内視鏡画像上にのみ存在するため、コントラスト値から倍率変動の影響を低減する効果が限定的になるためである。また、評価領域倍率が０．０に近づくと、コントラスト値が極端に小さな評価領域から算出され、ＡＦ動作が不安定となるためである。
【００７８】
表示部４００は、画像取得部３１０より出力される内視鏡画像を、内視鏡モニタ等の画像表示装置上に出力する。
【００７９】
本発明の一態様では、倍率変動と合焦物体位置変動が連動する内視鏡撮像光学系を通して、内視鏡画像が取得される。内視鏡撮像光学系の倍率変動を、内視鏡画像より検出する。検出した倍率変動を補償するようにサイズを可変とした評価領域を内視鏡画像内に設定し、当該評価領域内の画素に対してハイパスフィルタによるフィルタリング処理を行うことでコントラスト値を算出する。算出したコントラスト値が極大値をとるよう撮像光学系を制御することで、ＡＦ機能を実現する。倍率変動を補償するようにサイズを変更した評価領域よりコントラスト値を算出することで、倍率変動に対して安定的にＡＦ動作を行うことができる。
【００８０】
以上の本実施形態では、合焦制御部３３０は図８に示したように、ＡＦ評価値の算出に用いられる画素を含む領域である評価領域を画像に設定する評価領域設定部３３４を含む。そして評価領域設定部３３４は、倍率変動に基づいて、設定する評価領域のサイズを変更する。
【００８１】
ここで、評価領域は上述したようにＡＦ評価値の算出に用いられる画素を含む領域であり、当該算出に用いられる画素に対応する被写体に対してピントが合わせられることになる。そのため、評価領域は画像上のピントを合わせたい位置に対して設定されることが望ましいが、画像内からピントを合わせたい領域を自動的に認識することは難しく、また、拡大観察においては画像中央に注目していることが多いと考えられるため、本実施形態においては画像の中央に評価領域が設定されるものとする。また図９（Ａ）等では矩形領域を用いて説明しているが、評価領域の形状はこれに限定されるものではない。
【００８２】
これにより、倍率変動に応じて適切なサイズの評価領域を設定できるため、安定的なＡＦ評価値の算出が可能になる。倍率変動がある（比であれば倍率変動の値が１ではない）状況では、撮像光学系により撮像され画像上に表示される領域が変化することになる。つまり、撮像される被写体のサイズが変更されると言ってもよい。よって、評価領域に含まれる被写体の範囲が変化する（拡大であれば、拡大前に比べて拡大後の評価領域には被写体の狭い範囲しか含まれない）。そうなれば画像に含まれるエッジの量等も変化することになり好ましくない。そこで本実施形態では、倍率変動を補償する形で評価領域のサイズを変更するものとする。
【００８３】
また、評価領域設定部３３４は、倍率変動が大きいほど評価領域のサイズを大きく設定してもよい。また、倍率変動が小さいほど評価領域のサイズを小さく設定してもよい。
【００８４】
これにより、倍率変動に応じた評価領域のサイズの設定が可能になる。上述したように、画像上での被写体のサイズが変化した場合、評価領域に含まれるエッジの量等が変化してしまうことが問題となる。よって、評価領域に含まれる被写体の範囲が変化しないように、評価領域のサイズを変更すればよい。つまり、倍率変動が大きい（拡大されている）場合には、評価領域のサイズも大きくし、倍率変動が小さい（縮小されている）場合には評価領域のサイズを小さくすることになる。
【００８５】
また、倍率変動検出部３２０は、第１のタイミングと第２のタイミングの間での倍率変動を検出し、評価領域設定部３３４は、第１のタイミングでの評価領域である基準評価領域に対して、倍率変動の値を用いた変倍処理を施すことで、第２のタイミングでの評価領域を設定してもよい。
【００８６】
ここで、第１のタイミングとはＡＦ動作の開始タイミングであってもよく、その場合基準評価領域とは上述した初期評価領域に他ならない。
【００８７】
これにより、倍率変動に応じた評価領域のサイズの設定が可能になる。上述したように、評価領域に含まれる被写体の範囲が変化しないように、評価領域のサイズを設定すればよい。ここで、倍率変動が画像上での被写体のサイズの比（図９におけるＶｔ）を表すのであれば、被写体サイズがＶｔ倍になっているということであるから、評価領域のサイズもＶｔ倍すればよい。図９（Ａ）、図９（Ｂ）のように評価領域が矩形であれば、縦の長さ及び横の長さをそれぞれＶｔ倍すれば評価領域のサイズが求められる。なお、第１のタイミングにおける被写体のサイズをｃ１（単位は例えばピクセル）、第２にタイミングにおける被写体のサイズをｃ２とすればＶｔ＝ｃ２／ｃ１である。このＶｔはｃ１，ｃ２から直接求められてもよいが、本実施形態の手法では、隣接タイミング間の倍率変動Ｚの直積である累積倍率Ａｔを求めることになる（Ａｔ＝Ｖｔである）。
【００８８】
また、評価領域設定部３３４は、第１のタイミングにおいて、撮像倍率又は画像における被写体のサイズが大きいほど基準評価領域のサイズを大きく設定してもよい。また、撮像倍率又は画像における被写体のサイズが小さいほど基準評価領域のサイズを小さく設定してもよい。
【００８９】
これにより、第１のタイミングにおける評価領域（基準評価領域、狭義には初期評価領域であってもよい）のサイズを適切に設定することが可能になる。これは倍率変動として撮像倍率の変動を考えると理解しやすい。例えば撮像倍率が１倍〜１００倍まで変更可能な撮像光学系を用いるとする。このとき、第１のタイミングでの撮像倍率が１００倍に近い高倍率であった場合には、以降のタイミング（第２のタイミング等）においては、撮像倍率はそれほど上昇せず、むしろ下がる可能性が高いと考えられる。よって、倍率変動は小さい値が想定され、評価領域も基準評価領域よりも小さな領域が設定される。このような場合には、評価領域がＡＦ評価値の算出が困難になるほど小さくなることを抑止するために、基準評価領域は大きくするとよい。逆に１倍に近い低倍率であれば、倍率変動が大きくなり、評価領域も大きい領域が設定されることが想定できる。このような場合には、画像（撮像画像、内視鏡画像）の大きさを超える評価領域が設定されないように、基準評価領域は小さくするとよい。なお、画像上の被写体のサイズに基づいて倍率変動が決定される場合には、撮像倍率のように変動幅（上述の例では１倍〜１００倍等）が明確ではないため、第１のタイミングにおける被写体サイズが大きいのか小さいのかを判断するための基準を、何らかの手法により設定する必要がある。一例としては、画像から絶対的なサイズが明確な被写体（例えば所与の部位における血管の太さ等）を認識し、当該被写体の画像上のサイズの基準としてもよい。
【００９０】
また、倍率変動検出部３２０は、第１のタイミングにおける被写体のサイズに対する、第２のタイミングにおける被写体のサイズの比を、第２のタイミングでの倍率変動として検出してもよい。具体的には、第１のタイミングでの画像及び第２のタイミングでの画像に対して、位相限定相関法を用いてもよい。また、第１のタイミングでの画像及び第２のタイミングでの画像に対して複数の特徴点を設定し、設定した複数の特徴点の位置に基づいて倍率変動を検出してもよい。
【００９１】
ここで、第２のタイミングは第１のタイミングとは時間的に異なるものとする。
【００９２】
これにより、異なる２つのタイミングの間での被写体のサイズの比を倍率変動として検出することが可能になる。これは、第１のタイミングでの被写体のサイズがｄ１（例えばピクセル）であり、第２のタイミングでの被写体サイズがｄ２であるとすれば、第２のタイミングでの倍率変動ＺｔはＺｔ＝ｄ２／ｄ１で表される。これは例えば、ＲＩＰＯＣ法を用いてもよいし、ＳＩＦＴ特徴量を設定してＲＡＮＳＡＣにより対応関係を評価することで求めてもよい。
【００９３】
この際、各タイミングにおける被写体サイズは絶対的な値である必要はない。例えば第１、第２のタイミングと異なる第３のタイミングを考える。このとき各タイミングにおける被写体サイズｄ１、ｄ２、ｄ３を求めれば、第１と第２のタイミング間の倍率変動はｄ２／ｄ１、第２と第３ではｄ３／ｄ２、第１と第３ではｄ３／ｄ１等として求められる。しかし、このようにするには被写体の同一部分のサイズを常に求める必要がある。例えば、第１のタイミングで被写体上の第１の特徴点と第２の特徴点間の距離を、サイズを表す情報としたならば、第２，第３のタイミングにおいても第１の特徴点に対応する第１の対応点及び第２の特徴点に対応する第２の対応点を求める必要がある。しかし、サイズを求める被写体の部分は常に一定にする必要はなく、第１，第２のタイミング間では倍率変動Ｚ１２＝ｄ２／ｄ１を求め、第２，第３のタイミング間では倍率変動Ｚ２３＝ｄ３’／ｄ２’を求めてもよい。つまり、Ｚ１２を求める際と、Ｚ２３を求める際で、被写体のサイズを求める部分が異なってもよいということである。この場合、第１，第３のタイミング間の倍率変動はｄ１とｄ３’からは求められないが、Ｚ１２×Ｚ２３により累積倍率として求めることが可能である。
【００９４】
４．第３の実施形態
本実施形態に係る合焦制御装置を含む内視鏡装置について、図１２を参照して説明する。内視鏡装置は、光源部１００と、挿入部２００と、信号処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。信号処理部３００以外は、第１の実施形態と同様であるため説明を省略する。
【００９５】
信号処理部３００は、画像取得部３１０と、倍率変動検出部３２０と、合焦制御部３３０と、制御部３４０と、画像変倍部３５０を備えている。撮像部２３０より出力されるＲＡＷ画像は、画像取得部３１０に出力されている。画像取得部３１０は、倍率変動検出部３２０と、画像変倍部３５０に接続されている。倍率変動検出部３２０は、画像変倍部３５０に接続されている。画像変倍部３５０は、合焦制御部３３０と、表示部４００に接続されている。合焦制御部３３０は、対物レンズ２３１に接続されており、レンズ制御信号による対物レンズ２３１の制御に基づいて、倍率および合焦物体位置を制御する。レンズ制御信号は、倍率変動検出部３２０にも出力される。制御部３４０は、撮像部２３０と、画像取得部３１０と、倍率変動検出部３２０と、合焦制御部３３０と、画像変倍部３５０と、表示部４００と、外部Ｉ／Ｆ部５００に双方向に接続しており、これらを制御信号により相互に制御する。
【００９６】
画像取得部３１０は、第１の実施形態と同様のため説明を省略する。取得した内視鏡画像は、倍率変動検出部３２０と、画像変倍部３５０に出力される。
【００９７】
倍率変動検出部３２０は、後述する合焦制御部３３０より出力されるレンズ制御信号に基づきレンズ倍率変動を検出し、レンズ倍率変動及び、画像取得部３１０より出力される内視鏡画像に基づき、被写体距離変動を検出する。ここでレンズ倍率変動とは、対物レンズ２３１の倍率変動である。また被写体距離変動とは、対物レンズ２３１と被写体との相対距離変動である。本実施形態における倍率変動検出部３２０の具体的な構成について、図１３を参照して説明する。本実施形態における倍率変動検出部３２０は、レンズ倍率変動検出部３２４と、距離変動検出部３２５を備えている。後述する合焦制御部３３０より出力されるレンズ制御信号は、レンズ倍率変動検出部３２４に出力されている。画像取得部３１０より出力される内視鏡画像は、距離変動検出部３２５に出力されている。レンズ倍率変動検出部３２４は、距離変動検出部３２５と、画像変倍部３５０に接続されている。距離変動検出部３２５は、画像変倍部３５０に接続されている。
【００９８】
レンズ倍率変動検出部３２４は、後述する合焦制御部３３０より出力するレンズ制御信号に基づき、対物レンズ２３１の移動に伴う倍率変動、レンズ倍率変動を検出する。その動作は、第１の実施形態における倍率変動検出部３２０と同様のため、説明を省略する。またレンズ倍率変動は、第１の実施形態における倍率変動と同様であるが、以降説明のため表記を変更する。検出したレンズ倍率変動は、距離変動検出部３２５と、画像変倍部３５０に出力される。
【００９９】
距離変動検出部３２５は、画像取得部３１０より取得される内視鏡画像および、レンズ倍率変動検出部３２４より出力されるレンズ倍率変動に基づき、被写体と内視鏡との相対距離の変動、距離変動を検出する。具体的にはまず、経時的な内視鏡画像の倍率変動である画像倍率変動を検出する。これは、第２の実施形態における倍率変動検出部３２０の動作と同様であるため、説明は省略する。経時的な内視鏡画像の倍率変動は、光学系の倍率変動による要因と、内視鏡と被写体との相対距離変動による要因が含まれており、これらの積で表すことができる。つまり画像倍率変動は、レンズ倍率変動と距離変動との積であり、距離変動は画像倍率変動をレンズ倍率変動で除することで検出できる。検出した距離変動は、画像変倍部３５０に出力される。
【０１００】
画像変倍部３５０は、制御信号よりＡＦ動作の開始を検知すると、画像取得部３１０より出力される内視鏡画像を、倍率変動検出部３２０より出力される倍率変動に基づき拡大若しくは縮小する。以降、拡大縮小処理を合わせて変倍処理と表記する。まず、倍率変動に基づき変倍率（画像変倍率）を下式（３）より算出する。
【数３】
【０１０１】
但し、ｔは現時刻、Ｍｔは現時刻における変倍率、ｓはＡＦ動作が開始した時刻を表す。また、ｉは時刻を示すインデックス、Ｚは倍率変動、Ａは式（１）と同様に累積倍率である。つまり変倍率は、ＡＦ動作開始時から現在までの倍率変動の直積（累積倍率）の逆数である。
【０１０２】
変倍処理（画像変倍処理）について、図１４（Ａ）〜図１４（Ｅ）で説明する。図１４（Ａ）は、ＡＦ開始時における内視鏡画像である。図１４（Ｂ）のように変倍率が１．０より大きい場合（つまり累積倍率が１．０より小さい場合）、図１４（Ｄ）のように内視鏡画像を拡大し、変倍画像とする。また、図１４（Ｃ）のように変倍率が１．０より小さい場合（累積倍率が１．０より大きい場合）、図１４（Ｅ）のように内視鏡画像を縮小し、変倍画像とする。変倍処理された内視鏡画像は、変倍画像として合焦制御部３３０と、表示部４００に出力される。このようにすることで、ＡＦ動作中は被写体の大きさが変化しない画像が、合焦制御部３３０および表示部４００に出力される。合焦制御部は、倍率変動による影響を低減して後述するコントラスト値を算出することができる。また表示部４００は、倍率変動に伴い被写体の表示倍率が頻繁に変動し、ユーザが映像酔いを起こすといった現象を抑制することができる。変倍処理は、ＡＦ動作終了まで行う。また、ＡＦ動作中でない場合、入力された内視鏡画像をそのまま表示部４００に出力する。
【０１０３】
また画像変倍部３５０は、合焦制御部３３０に出力する変倍画像と、表示部４００に出力する変倍画像とで、異なる変倍処理を行っても構わない。具体的には、表示部４００に出力する変倍画像は、上式（３）により求めた変倍率に基づいて算出される基準倍率を用いて変倍処理されても構わない。基準倍率は、下式（４）で算出される。一方、合焦制御部３３０に出力する変倍画像は、上記の説明と同様に変倍処理される。
【数４】
【０１０４】
但し、Ｂｔは現時刻における基準倍率である。つまり基準倍率は、時刻ｓから現時刻までの変倍率の平均である。基準倍率で変倍処理された変倍画像が、表示部４００に出力される。基準倍率を用いない場合、ＡＦ動作中は、被写体の大きさは変化しない画像が表示されるが、変倍処理により画像の解像感は変化するため、ユーザが違和感を覚える可能性がある。これは、変倍処理は補間処理を行う必要があり、当該補間処理により画像の周波数特性が変化するためである。基準倍率を用いることで、被写体の表示倍率変動を抑制しつつ、解像感変化も小さくすることができる。
【０１０５】
また表示部４００に出力する変倍画像は、所定の許容変倍率にさらに基づき変倍処理されても構わない。この場合の変倍率は下式（５）で算出される。
【数５】
【０１０６】
但し、Ｒは許容変倍率であり、０．０〜１．０の値をとる。つまり、被写体の表示倍率の変動を、許容変倍率で表される範囲内に抑えて、変倍率を算出する。以降説明のため、許容変倍率で表される範囲を、許容変倍範囲と表記する。また許容変倍範囲は、倍率変動値および被写体表示倍率変動（例えば図１５（Ｂ）と図１５（Ｅ）の間の被写体サイズの比）の双方に対して定義されるが、範囲を規定する値が等しいため、特に区別せずに説明する。許容変倍範囲を利用した変倍処理について、図１６（Ａ）〜図１６（Ｅ）を参照して説明する。図１６（Ａ）〜図１６（Ｅ）は、時刻ｔにおける倍率変動値が許容変倍範囲を上回る場合である。図１６（Ａ）は、時刻ｔ−１に取得された内視鏡画像。図１６（Ｂ）は、時刻ｔ−１に変倍処理された変倍画像。図１６（Ｃ）は、時刻ｔに取得された内視鏡画像である。図１６（Ｄ）は、図１６（Ｂ）に示した内視鏡画像と、被写体の表示倍率が等しくなるよう変倍処理を行った変倍画像である。図１６（Ｅ）は、許容変倍範囲の上限までは、被写体の表示倍率変動を許容した変倍画像である。図１７（Ａ）〜図１７（Ｅ）は、時刻ｔにおける倍率変動値が許容変倍範囲を下回る場合である。図１７（Ａ）は、時刻ｔ−１に取得された内視鏡画像。図１７（Ｂ）は、時刻ｔ−１に変倍処理された変倍画像。図１７（Ｃ）は、時刻ｔに取得された内視鏡画像である。図１７（Ｄ）は、図１７（Ｂ）に示した内視鏡画像と、被写体の表示倍率が等しくなるよう変倍処理を行った変倍画像である。図１７（Ｅ）は、許容変倍範囲の下限までは、被写体の表示倍率変動を許容した変倍画像である。このようにすることで、ユーザが映像酔いを起こさないよう表示倍率の変動を許容変倍範囲内で抑制しつつ、解像感変化も小さくすることができる。
【０１０７】
また、合焦制御部３３０に出力する変倍画像と、表示部４００に出力する変倍画像とで、異なる倍率変動値に基づいて変倍率を算出し、変倍処理を行っても構わない。具体的には、合焦制御部３３０に出力する変倍画像は、レンズ倍率変動検出部３２４より出力されるレンズ倍率変動と、距離変動検出部３２５より出力される距離変動との積で変倍処理を行っても構わない。但し、表示部４００に出力する変倍画像は、レンズ倍率変動のみを補償するように変倍処理する。このようにすることで、被写体との相対距離変動による内視鏡画像の周波数特性変化に対して、安定的にＡＦ動作を行うことができる。一方、レンズ倍率変動のみを補償し、距離変動は補償しないことで、内視鏡操作による被写体との相対距離変動と表示される画像とのずれを低減することができる。
【０１０８】
また、表示部４００に出力する変倍画像に対する変倍処理は、ＡＦ動作終了後に続行しても構わない。具体的にはＡＦ動作終了後、上式（５）で示したＭｔが、下式（６）を満たすまで変倍処理を続行する。
【数６】
【０１０９】
但し、ＡＦ動作終了後の変倍率Ｍｔは、倍率変動値とは無関係に上式（６）のみによって算出される。或いは、所定の時間が経過するまで変倍処理を続行しても構わない。
【０１１０】
ＡＦ動作終了後、表示部４００に出力する変倍画像に対する変倍処理を突然終了すると、ＡＦ動作終了前後で被写体の表示倍率が大きく変化し、ユーザが違和感を覚える可能性がある。このようにすることで、ＡＦ動作終了前後の表示倍率変化を緩やかにすることが可能となり、ユーザの違和感を低減できる。
【０１１１】
合焦制御部３３０は、制御信号よりＡＦ動作の開始を検知すると、後述する画像変倍部３５０より出力される変倍画像の画素値に基づき、対物レンズ２３１の制御を行って合焦物体位置を制御する。合焦制御部３３０の具体的な構成について図１８を参照して説明する。合焦制御部３３０は、コントラスト値算出部３３２と、レンズ制御部３３３を備えている。画像変倍部３５０より出力される変倍画像は、コントラスト値算出部３３２に出力されている。コントラスト値算出部３３２は、レンズ制御部３３３に接続されている。レンズ制御部３３３は、対物レンズ２３１に接続され、レンズ制御信号を出力することでこれを制御する。またレンズ制御信号は、倍率変動検出部３２０にも出力されている。
【０１１２】
コントラスト値算出部３３２は、画像変倍部３５０より出力される変倍画像に対しフィルタリング処理を行い、コントラスト値を算出する。具体的にコントラスト値とは、フィルタリング処理された変倍画像の画素値の、変倍画像中央に位置する所定サイズの矩形領域における総和である。ここで、フィルタリング処理で利用するフィルタは、公知のハイパスフィルタである。算出したコントラスト値は、レンズ制御部３３３に出力される。
【０１１３】
レンズ制御部３３３は、コントラスト値算出部３３２より出力されるコントラスト値に基づき、対物レンズ２３１を制御するレンズ制御信号を出力する。コントラスト値に基づく具体的な合焦制御方法は、ＡＦ技術として公知であるため詳細な技術説明は省略する。レンズ制御信号は、対物レンズ２３１と、倍率変動検出部３２０に出力される。
【０１１４】
表示部４００は、画像変倍部３５０より出力される変倍画像を、内視鏡モニタ等の画像表示装置上に出力する。但し、変倍画像のサイズが表示可能な画像サイズより大きい場合、変倍画像の中央から表示可能な画像サイズのみを抽出して表示する。また、変倍画像のサイズが表示可能な画像サイズより小さい場合、中央に変倍画像を表示し、周囲の表示領域は黒レベルを表示する。また出力される画像（ＡＦ動作中以外は内視鏡画像であり、ＡＦ動作中は変倍画像）を常に若干変倍（拡大）処理し、その中央部を表示しても構わない。このようにすることで、表示領域において黒レベルが表示される頻度を低減することができる。
【０１１５】
また、本実施形態の距離変動検出部３２５において、光学系の倍率変動および画像の倍率変動より距離変動を算出したが、内視鏡そのものが何らかの測距手段、例えば２眼構成による三角測量など、を備えている場合、当該測距手段により直接算出しても構わない。
【０１１６】
本発明の一態様では、倍率変動と合焦物体位置変動が連動する内視鏡撮像光学系を通して、内視鏡画像が取得される。内視鏡撮像光学系の制御信号および内視鏡画像より、内視鏡撮像光学系の倍率変動および内視鏡と被写体との相対距離変動を検出する。検出した倍率変動に基づき、倍率変動を補償するように内視鏡画像を変倍処理する。変倍処理した内視鏡画像に対し、ハイパスフィルタによるフィルタリング処理を行うことでコントラスト値を算出する。算出したコントラスト値が極大値をとるよう撮像光学系を制御することで、ＡＦ機能を実現する。倍率変動を補償するように変倍処理した内視鏡画像よりコントラスト値を算出することで、倍率変動に対して安定的にＡＦ動作を行うことができる。また、倍率変動に伴いユーザに表示する画像を変倍することで、被写体の表示倍率の頻繁な変動による映像酔いを低減することができる。また、ＡＦのコントラスト値は内視鏡光学系の倍率変動および被写体との相対距離変動を補償して算出し、表示画像は内視鏡光学系の倍率変動のみを補償して変倍処理することで、ＡＦ動作は安定させつつ、表示画像においては相対距離変動を補償しないことで、操作による内視鏡移動と表示画像との違和感を低減することができる。
【０１１７】
以上の本実施形態では、合焦制御装置は図１２に示したように、倍率変動に基づいて、画像に対して画像変倍処理を施して変倍画像を取得する画像変倍部３５０を含む。そして、合焦制御部３３０は、変倍画像に基づいて撮像光学系の焦点状態を表すＡＦ評価値を算出する。
【０１１８】
これにより、倍率変動に応じて適切なサイズの変倍画像が取得できるため、安定的なＡＦ評価値の算出が可能になる。倍率変動があった場合、画像に含まれるエッジの量等が変化してしまい、ＡＦ評価値の算出に支障をきたすため、それを補償する処理を行うという点では第２の実施形態と同様である。本実施形態は、評価領域を一定として画像自体の大きさを変更する点が第２の実施形態と異なる。
【０１１９】
また、画像変倍部３５０は、倍率変動が大きいほど小さい前記変倍画像を取得してもよい。また、倍率変動が小さいほど大きい変倍画像を取得してもよい。
【０１２０】
これにより、倍率変動に応じた大きさの変倍画像の取得が可能になる。倍率変動が大きい場合には、画像（内視鏡画像）が拡大されたと言うことであるから、画像変倍処理として縮小処理を行って小さい変倍画像を取得することになる。これは、図１４（Ａ）から図１４（Ｃ）へ内視鏡画像が拡大された場合に、図１４（Ｃ）に対して縮小処理を行うことで図１４（Ｅ）に示した変倍画像を取得することに相当する。これにより、図１４（Ａ）と図１４（Ｅ）とでは被写体サイズが同等となるため、評価領域（本実施形態では一定のサイズの領域）に含まれるエッジの量等の変動が押さえられる。逆に、図１４（Ａ）から図１４（Ｂ）のように倍率変動が小さい（縮小された）場合には、図１４（Ｂ）に対して画像変倍処理として拡大処理を施して図１４（Ｄ）のような変倍画像を取得すればよい。
【０１２１】
また、倍率変動検出部３２０は、第１のタイミングと、第２のタイミングの間での倍率変動を検出し、画像変倍部３５０は、第２のタイミングで画像取得部において取得された画像に対して、倍率変動の値の逆数を用いた画像変倍処理を施すことで、変倍画像を取得してもよい。
【０１２２】
これにより、画像変倍処理の具体例として、倍率変動の値の逆数を用いた処理が可能になる。ここで、倍率変動は第１のタイミングでの被写体のサイズ（或いは撮像倍率）と、第２のタイミングでの被写体のサイズの比であるものとする。つまり、第１のタイミングでの被写体のサイズをｅ１（単位は例えばピクセル）とし、第２のタイミングでの被写体サイズをｅ２とした場合、倍率変動ＺはＺ＝ｅ２／ｅ１となる。このとき、画像変倍処理に用いる倍率（画像変倍率）をＭとすると、Ｍ＝１／Ｚである。具体的な数字を用いて例を示す。第１のタイミングでの被写体サイズｅ１＝１０とし（例えば図１４（Ａ）に対応）、第２のタイミンでの被写体サイズｅ２＝５（例えば図１４（Ｂ）に対応）とする。その場合倍率変動Ｚ＝５／１０＝０．５となる。この際、小さくなってしまった被写体サイズを１０に戻すような画像変倍処理を施せばいいことから、画像変倍率ＭをＭ＝１／０．５＝２とすればよい。第２のタイミングでは、当該タイミングで取得された画像（内視鏡画像であり図１４（Ｂ））に対して、画像変倍処理を行うため、第２のタイミングでの変倍画像は２倍の拡大処理が行われることになる（変倍画像は図１４（Ｄ）に対応）。よって、第２のタイミングでの内視鏡画像では５であった被写体サイズが、２倍の画像変倍処理が行われることで、１０に拡大されることになる。よって、第１のタイミングでの被写体サイズ（ｅ１＝１０）と、第２のタイミングでの変倍画像の被写体サイズを同等にすることができる。なお、倍率変動が１より大きい場合（拡大された場合）であっても処理は同様であり、大きくなった被写体サイズを縮小することになる。
【０１２３】
また、画像変倍部３５０は、取得した変倍画像を、合焦制御部３３０に出力するとともに、表示装置（図１２の表示部４００に対応）に対して出力してもよい。
【０１２４】
これにより、画像変倍処理により取得された変倍画像を表示装置において表示することが可能になる。第１、第２の実施形態では、ＡＦ評価値の安定的な算出を可能にする処理は行われるものの、表示装置（表示部４００）で表示される表示画像としては、画像取得部３１０で取得された画像をそのまま用いる。よって、合焦動作の際に起こる合焦物体位置の変動（例えばコントラストＡＦでのウォブリング等）に伴う倍率変動により、表示画像にちらつきが生じることが避けられない。例えば、図１４（Ａ）〜図１４（Ｃ）が時系列的に取得されたとするならば、被写体が小さくなったり大きくなったりしてしまう。そこで、画像変倍部３５０により取得された変倍画像を表示装置に対しても出力する。このようにすれば倍率変動（例えば撮像倍率の変動）を補償する画像変倍処理が行われた画像が表示されるため、ちらつきを押さえることが可能になる。例えば、図１４（Ａ）〜図１４（Ｃ）が時系列的に取得されたとするならば、表示画像は図１４（Ａ）、図１４（Ｄ）、図１４（Ｅ）が順に表示されることになる。
【０１２５】
また、画像変倍部３５０は、画像に対して第１の画像変倍処理を行った第１の変倍画像を合焦制御部３３０に出力するとともに、画像に対して第２の画像変倍処理を行った第２の変倍画像を表示装置に出力してもよい。
【０１２６】
ここで、第１の画像変倍処理と第２の画像変倍処理は異なる処理であり、例えば、画像変倍処理に用いる画像変倍率が異なる処理であってもよい。
【０１２７】
これにより、合焦制御部３３０に出力する変倍画像と、表示装置に出力する変倍画像を異なるものにすることができる。よって、合焦制御部３３０におけるＡＦ評価値算出処理に適した変倍画像と、表示装置での表示に適した変倍画像が異なる場合にも、それぞれに適した変倍画像を出力することが可能になる。
【０１２８】
また、倍率変動検出部３２０は、倍率変動として画像における被写体のサイズの変動である第１の倍率変動と、撮像倍率の変動である第２の倍率変動を検出してもよい。そして、画像変倍部３５０は、第１の画像変倍処理として、第１の倍率変動に基づいた画像変倍処理を行って第１の変倍画像を取得し合焦制御部３３０に出力する。また、第２の画像変倍処理として、第２の倍率変動に基づいた画像変倍処理を行って第２の変倍画像を取得し表示装置に出力する。
【０１２９】
これにより、合焦制御部３３０へ出力する変倍画像については、倍率変動として被写体サイズの変動を用いた画像変倍処理を行うことができる。また、表示装置へ出力する変倍画像については、倍率変動として撮像倍率の変動を用いた画像変倍処理を行うことができる。ここで、撮像倍率の変動（第２の倍率変動）は撮像光学系の変化に起因するものであるのに対し、画像での被写体サイズの変動（第１の倍率変動）とは、撮像倍率による変動の他、撮像部（挿入部２００）と被写体との相対距離の変動等、複数の要因を含むものである。本実施形態における画像変倍処理は、倍率変動の影響を補償する処理であるから、第１の画像変倍処理と第２の画像変倍処理とで、用いる倍率変動を切り替えることで、ある倍率変動要因を一方では補償し、他方では補償しないといった処理が可能になる。
【０１３０】
その際、合焦制御部３３０におけるＡＦ評価値算出処理は、画像に対する画像処理（例えば高周波成分の抽出等）により行われる。よって、合焦制御部３３０への出力に対応する第１の画像変倍処理では、画像に変動を与える要因は、撮像倍率であっても相対距離であっても全て補償することが望ましい。このことから、第１の画像変倍処理に用いる倍率変動（第１の倍率変動）は、画像での被写体のサイズの変動を用いる。それに対して、表示装置での表示画像では補償することが好ましくない倍率変動要因が考えられる。例えば、撮像部と被写体の相対距離まで補償してしまうと、当該相対距離の変動による画像の変動を抑止する方向の画像変倍処理が行われることになる。すると、ユーザが撮像部を操作して前後に動かしたとしても、表示される画像の変動が抑止されてしまう。これではユーザの操作が機器に反映されているのかを判断することが難しく、場合によっては撮像部を被写体に近づけすぎて衝突させてしまいかねない。よって、第２の画像変倍処理に用いる倍率変動（第２の倍率変動）は、撮像倍率の変動を用いる。
【０１３１】
また、画像変倍部３５０における画像変倍処理が、第１〜第Ｎ（Ｎは２以上の整数）のタイミングの期間で行われる場合に、倍率変動検出部３２０は、第ｉ（１≦ｉ≦Ｎ）のタイミングで第ｉの倍率変動を検出してもよい。そして、画像変倍部３５０は、第ｋ（１≦ｋ≦Ｎ）のタイミングにおける第２の画像変倍処理として、第１〜第ｋの倍率変動に基づいた処理を行うことで、第２の変倍画像を取得して表示装置に出力してもよい。
【０１３２】
これにより、表示装置に表示する画像の解像感の変動を抑止して、自然な画像を提供することが可能になる。本実施形態では、所与の基準タイミングにおける撮像倍率をｇ０、第ｋのタイミングでの撮像倍率をｇｋとした場合に、第ｋの倍率変動ＡｋをＡｋ＝ｇｋ／ｇ０とする。なお、Ａｋは上述の説明における累積倍率に相当し、当該累積倍率は隣接するタイミング間の倍率変動（撮像倍率の比）の直積で求められてもよい。この際、第ｋのタイミングでの画像変倍処理とは、当該タイミングで取得された画像（内視鏡画像）に対して１／Ａｋ倍の変倍処理を施し、基準タイミングと第ｋのタイミング間での撮像倍率の変動による影響を抑えることである。しかし、画像変倍処理による補償は、画像の拡大縮小を伴うものであり、解像感の変動が生じてしまう。例えば、拡大処理では画素値の補間処理が行われるためエッジがなまることになる。このように解像感が変動すると、ユーザにとって見にくい画像となってしまい観察等に支障をきたすおそれがある。よってここでは、画像変倍処理の倍率（画像変倍率）として１／Ａｋをそのまま使うのではなく、過去のタイミング（第１〜第ｋ−１のタイミング）での倍率変動Ａ１〜Ａｋ−１も用いるものとする。具体的には上述した式（４）の手法のように、あるタイミングｔでの画像変倍率Ｂｔを、あるタイミングｓからタイミングｔまでの画像変倍率の平均値（倍率変動Ａの逆数の平均値）として求めてもよい。このようにすることで、ある程度倍率変動の影響（撮像倍率の変動の影響）が残るものの、解像感の変動を押さえることができ、自然な画像をユーザに提供することが可能になる。
【０１３３】
また、画像変倍部３５０における画像変倍処理が、第１〜第Ｎ（Ｎは２以上の整数）のタイミングの期間で行われる場合に、倍率変動検出部３２０は、第ｉ（１≦ｉ≦Ｎ）のタイミングで第ｉの倍率変動を検出してもよい。そして、画像変倍部３５０は、第ｍ（１≦ｍ≦Ｎ）のタイミングでの倍率変動が、所与の許容変倍範囲に含まれるか否かの判定を行い、許容変倍範囲に含まれる場合には、第ｍのタイミングにおける第２の画像変倍処理として、第ｍのタイミングの前の第ｍ−１のタイミングにおける第２の画像変倍処理と同様の画像変倍処理を行う。また、許容変倍範囲に含まれない場合には、第ｍのタイミングにおける第２の画像変倍処理として、第ｍの倍率変動の値の逆数に比べて１に近い値を用いた画像変倍処理を行う。
【０１３４】
表示装置に表示する画像の解像感の変動を抑止して、自然な画像を提供することが可能になる。倍率変動の影響の補償処理において、処理の強度を敢えて弱くすることで、倍率変動の影響は多少残るものの、解像感の変動を押さえる点については上述の例と同様である。
【０１３５】
具体的には上式（５）及び図１５（Ａ）〜図１５（Ｅ）等に示した手法が考えられる。上式（５）において、Ｍｔはタイミングｔでの画像変倍率、１．０−Ｒ〜１．０＋Ｒが許容変倍率（Ｒ＝０．１とすれば０．９〜１．１となる、Ｒは１より小さい正数）、Ｚｔはタイミングｔでの倍率変動であり例えばタイミングｔ―１での撮像倍率に対するタイミングｔでの撮像倍率の比である。１．０−Ｒ≦Ｚｔ≦１．０＋Ｒの場合、つまり倍率変動（撮像倍率の変動でもよいが、説明をわかりやすくするため画像での被写体サイズの変動を用いて述べる）が許容変倍率の範囲内である場合には、タイミングｔでの画像変倍率Ｍｔはタイミングｔ−１での画像変倍率Ｍｔ−１を用いる。倍率変動がＺｔであるため、図１５（Ａ）に対して、図１５（Ｃ）の画像は被写体サイズがＺｔ倍されていることになる。また、タイミングｔ−１での画像変倍率がＭｔ−１であるため、タイミングｔ−１での表示画像（変倍画像）である図１５（Ｂ）の画像は図１５（Ａ）に対して被写体サイズがＭｔ−１倍になっている。ここで、ＡＦ評価値の安定的な算出のための画像変倍処理は、画像での被写体サイズを同等に保つ処理であるため、タイミングｔでの変倍画像の被写体サイズは図１５（Ｂ）と同等にする必要がある。図１５（Ａ）に対する図１５（Ｃ）の比率がＺｔであり、図１５（Ａ）に対する図１５（Ｂ）の比率がＭｔ−１であることから、図１５（Ｃ）に対してＭｔ−１／Ｚｔ倍の画像変倍処理を施した図１５（Ｄ）が表示装置に出力されるはずである。しかし、ここではある程度の倍率変動の影響（被写体サイズの変動）を許容しているため、Ｍｔ＝Ｍｔ−１として、図１５（Ｃ）に対してＭｔ−１倍の画像変倍処理を施した図１５（Ｅ）を表示装置への出力画像とする。つまり、表示画像は図１５（Ｂ）から図１５（Ｅ）へと変化することになり、被写体サイズはＺｔ倍だけ異なることになる。
【０１３６】
それに対して、倍率変動が許容変倍率の範囲外、例えばＺｔ＜１．０−Ｒの場合には、図１６（Ａ）〜図１６（Ｅ）のようになる。タイミングｔ−１とタイミングｔとで変倍画像での被写体サイズを変更しないようにした場合、タイミングｔでの変倍画像は図１６（Ｄ）のようになる。しかし、図１６（Ｄ）を用いた場合、Ｚｔが許容変倍率から外れる程度に小さいことから、ある程度大きい画像変倍率での拡大処理を行うことになり、図１６（Ｂ）から図１６（Ｄ）の間で解像感が大きく変化してしまう。そこで、Ｍｔ＝（１．０−Ｒ）Ｍｔ−１／Ｚｔとすることで、変倍画像である図１６（Ｅ）を求める。このようにすることで、図１６（Ｂ）に対する図１６（Ｅ）の被写体サイズの比を１．０−Ｒとすることができる。つまり、倍率変動が許容変倍率の下限値よりも小さい場合には、表示画像の被写体サイズの変動が当該下限値に収まるような画像変倍処理が行われることになる。
【０１３７】
同様に、図１７（Ａ）〜図１７（Ｅ）に示したように、倍率変動が許容変倍率の上限値よりも大きい場合には、表示画像の被写体サイズの変動が当該上限値に収まるような画像変倍処理が行われる。つまり、倍率変動に応じた変倍画像を出力するが、隣接タイミング間での表示画像上の被写体サイズ変動が許容変倍率の範囲内であれば、当該変動を許容することが可能になる。このようにすることで、ある程度倍率変動の影響が残るものの、解像感の変動を押さえることができ、自然な画像をユーザに提供することが可能になる。
【０１３８】
また、倍率変動検出部３２０は図１３に示したように、撮像光学系から被写体までの距離情報の変動を検出する距離変動検出部３２５を含んでもよい。そして、距離変動検出部３２５は、撮像倍率の変動と、被写体のサイズの変動とに基づいて、距離情報の変動を検出する。
【０１３９】
これにより、撮像光学系から被写体までの相対距離を表す距離情報の変動を検出することが可能になる。画像での被写体サイズの変動要因としては、撮像倍率の変動と、距離情報の変動が考えられる。よって、その他の要因を無視できるものとすれば、撮像倍率の変動がＮ、距離情報の変動がＭとした場合に、撮像倍率の変動である第１の倍率変動はＮで表され、被写体サイズの変動である第２の倍率変動はＮ×Ｍで表される。よって、第２の倍率変動を第１の倍率変動で割ることでＭが求められる。なお、Ｍは距離情報の変動（例えば２タイミング間での距離情報の比）であるため、各タイミングにおける距離を求める場合には、何らかの処理が必要になることも考えられる。
【０１４０】
５．第４の実施形態
第３の実施形態で上述したように、ユーザの診断を妨げないためにも、表示部４００で表示する際にも画像変倍処理後の画像を用いることが望ましい。しかし、第３の実施形態の手法では、倍率変動にウォブリング以外に起因するものが含まれる場合が考慮されていない。
【０１４１】
具体的には、ＡＦ評価値算出のためのズームレンズの駆動（ウォブリング）を行うとともに、撮像倍率を変化させる意図で（例えば被写体を拡大して観察する意図で）ズームレンズを駆動した場合には、ウォブリングによる高周波の倍率変動と、意図的な倍率変更に伴う低周波の倍率変動が合成されたもの（例えば図２３に示した変動）が倍率変動検出部３２０において検出される倍率変動となる。
【０１４２】
この場合、ウォブリングによる高周波の倍率変動は、上述したとおり観察や診断の妨げとなるため、当該倍率変動を抑止する画像変倍処理を行うことが望ましい。一方、低周波の倍率変動については、ユーザの意図を反映したズームレンズの駆動によるものであるため、当該倍率変動を抑止することは好ましくない。例えば、ユーザが被写体を拡大しようとしてズームレンズの駆動を指示したのに、表示部４００に表示される画像には当該指示が反映されない（被写体サイズが変化しない）ことになるためである。
【０１４３】
よって本実施形態では、倍率変動検出部３２０より出力される倍率変動（ここではＺ［ｔ］及び累積倍率Ａ［ｔ］を含む）に基づいて、ウォブリングによる高周波の倍率変動を検出し、低周波の倍率変動と分離することで、高周波の倍率変動による表示画像への影響を抑止しつつ、低周波の倍率変動による表示画像への影響を維持する手法を用いるものとする。
【０１４４】
また、倍率変動を被写体のサイズから検出する場合には、ウォブリングを行うとともに、撮像部２３０自体が被写体に接近する場合（広義には撮像部２３０の光軸方向における、被写体と撮像部２３０の間の距離が変化する場合）にも、同様の問題が生じる。距離変化によっても画像上の被写体サイズは変動するため、ウォブリングによる高周波の倍率変動と、距離変化に伴う低周波の倍率変動が合成されたものが倍率変動検出部３２０において検出される倍率変動となるためである。なお、倍率変動を撮像光学系からの制御情報に基づいて検出する場合には、検出された倍率変動は距離変化による影響を受けないため、過剰な画像変倍処理（望ましい画角変動を抑止する処理）を行うことはない。
【０１４５】
本実施形態に係る合焦制御装置を含む内視鏡装置について、図２０を参照して説明する。内視鏡装置は、光源部１００と、挿入部２００と、信号処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。信号処理部３００以外は、第１の実施形態と同様であるため説明を省略する。
【０１４６】
信号処理部３００は、画像取得部３１０と、倍率変動検出部３２０と、合焦制御部３３０と、制御部３４０と、画像変倍部３５０を備えている。撮像部２３０より出力されるＲＡＷ画像は、画像取得部３１０に出力されている。画像取得部３１０は、倍率変動検出部３２０と、画像変倍部３５０と、合焦制御部３３０に接続されている。倍率変動検出部３２０は、画像変倍部３５０と合焦制御部３３０に接続されている。画像変倍部３５０は、表示部４００に接続されている。合焦制御部３３０は、対物レンズ２３１に接続されており、レンズ制御信号による対物レンズ２３１の制御に基づいて、倍率および合焦物体位置を制御する。制御部３４０は、撮像部２３０と、画像取得部３１０と、倍率変動検出部３２０と、合焦制御部３３０と、画像変倍部３５０と、表示部４００と、外部Ｉ／Ｆ部５００に双方向に接続しており、これらを制御信号により相互に制御する。
【０１４７】
本実施形態の倍率変動検出部３２０は、第２の実施形態と同様に、内視鏡画像における被写体のサイズ変化を倍率変動として検出することを想定している。ただし、第１の実施形態と同様にレンズ制御信号に基づき、対物レンズ２３１の倍率変動を検出する構成であってもよいし、被写体のサイズ変化と、対物レンズ２３１の倍率変動の両方を用いてもよい。
【０１４８】
また、図１２で示した第３の実施形態の画像変倍部３５０では、合焦制御部３３０と表示部４００の両方に画像変倍処理後の変倍画像を出力していた。しかし、本実施形態での画像変倍部３５０は、少なくとも表示部４００に対して変倍画像（表示画像）を出力するものである。本実施形態での合焦制御部３３０での処理は、第１〜第３の実施形態のいずれの手法を用いてもよいため、第１又は第２の実施形態の手法であれば、変倍画像の合焦制御部３３０への出力は不要であるが、第３の実施形態の手法であれば変倍画像を合焦制御部３３０へ出力する必要があるためである。
【０１４９】
本実施形態における画像変倍部３５０の構成を、図２１を参照して説明する。画像変倍部３５０は、変動倍率蓄積部３５１、表示倍率調整部３５２及び画像調整部３５３を備えている。倍率変動検出部３２０は、変動倍率蓄積部３５１と表示倍率調整部３５２に接続されている。変動倍率蓄積部３５１は、表示倍率調整部３５２と画像調整部３５３を介して表示部４００に接続されている。画像取得部３１０は、画像調整部３５３に接続されている。制御部３４０は、変動倍率蓄積部３５１、表示倍率調整部３５２および画像調整部３５３に双方向に接続しており、これらを制御信号により相互に制御する。
【０１５０】
倍率変動検出部３２０は、倍率変動を変動倍率蓄積部３５１と表示倍率調整部３５２に出力する。また、累積倍率を表示倍率調整部３５２に出力する。
【０１５１】
変動倍率蓄積部３５１は、現時刻に対応する画像の倍率変動を１フレーム遅延させて表示倍率調整部３５２に出力する。
【０１５２】
表示倍率調整部３５２は、倍率変動検出部３２０により出力される倍率変動及び累積倍率と、変動倍率蓄積部３５１により出力される１フレーム前の倍率変動に基づき、累積倍率からウォブリングによる高周波の変倍成分を平滑化し、ズーム制御に伴う移動による低周波成分に対応する表示倍率を算出する。
【０１５３】
本実施形態における表示倍率調整部３５２の構成を、図２２を参照して説明する。表示倍率調整部３５２は、倍率差分算出部５２０、倍率差分平均算出部５２１、補正倍率算出部５２２、表示倍率補正部５２３を備えている。倍率変動検出部３２０は、倍率差分算出部５２０に接続されている。変動倍率蓄積部３５１は、倍率差分算出部５２０と倍率差分平均算出部５２１に接続されている。倍率差分算出部５２０は、倍率差分平均算出部５２１、補正倍率算出部５２２と表示倍率補正部５２３を介して、画像調整部３５３に接続されている。制御部３４０は、倍率差分算出部５２０、倍率差分平均算出部５２１、補正倍率算出部５２２、表示倍率補正部５２３に双方向に接続しており、これらを制御信号により相互に制御する。
【０１５４】
倍率差分算出部５２０は、下式（７）により倍率変動検出部３２０から出力される現時刻に対応する画像の倍率変動と、変動倍率蓄積部３５１から出力される時間的に１フレーム前の画像の倍率変動との差分値を算出して、その結果を倍率差分平均算出部５２１へ転送する。
C[t] = Z[t] - Z[t-1] ・・・・・（７）
【０１５５】
但し、ｔは現時刻、Ｚ［ｔ］は現時刻対応する画像の倍率変動、Ｚ［ｔ−１］は時間的に直前画像（１フレーム前の画像）の倍率変動、Ｃ［ｔ］は現時刻での倍率変動差分値を表す。なお、倍率変動Ｚ［ｔ］や累積倍率Ａ［ｔ］は倍率を表す値であるため正の値をとるのに対して、Ｃ［ｔ］は倍率変動の差分値を表すため、負の値も取り得るものである。
【０１５６】
倍率差分平均算出部５２１は、下式（８）により倍率差分平均値を算出し、補正倍率算出部５２２へ転送する。
【数７】
【０１５７】
但し、ｔは現時刻、ｓはＡＦ動作が開始した時刻、ＡｖＣは倍率差分平均値、ＮはＡＦ動作が開始した時刻により現時刻まで撮像した画像の枚数、Ｃ［ｉ］は倍率変動差分値を表す。
【０１５８】
ここで本出願人は、下式（９）に基づいて求められるＤ［ｔ］が、累積倍率Ａ［ｔ］から高周波の倍率変動成分を除去した値（広義には低減した値）であり、例えば図２３のＦ１に相当するものとなることを確認した。よって、補正倍率算出部５２２は、下式（９）でウォブリングによる高周波成分を除いた倍率変動を算出して、表示倍率補正部５２３へ転送する。
D[t]= A[t] - (C[t] - AvC) ・・・・・（９）
【０１５９】
但し、ｔは現時刻、Ａ［ｔ］は現時刻の累積倍率、Ｃ［ｔ］は現時刻の倍率変動差分値、ＡｖＣは倍率差分平均値、Ｄ［ｔ］はウォブリングによる高周波成分を除いた倍率変動を表す。この処理について、タイミングｔ１とタイミングｔ２を具体例として用いて説明したものが図２３である。なお、Ｄ［ｔ］や後述するＥ［ｔ］は、時刻ｔとその直前のタイミングの間の倍率の比と言うよりは、その直積に相当する（時刻ｔと所与の基準タイミングの間の倍率の比に相当する）値である。よって、Ｄ［ｔ］やＥ［ｔ］の値の持つ意味は、Ｚ［ｔ］ではなく累積倍率Ａ［ｔ］に近いものである。
【０１６０】
また、図２４に（Ｃ［ｔ］−ＡｖＣ）の時間変化の例、図２５のＤ［ｔ］の時間変化の例を示す。上述したように、Ｄ［ｔ］に相当する倍率変動は、表示画像に対して反映させることが望ましい。よって、Ｄ［ｔ］を目標倍率変動として設定し、表示画像が基準となる倍率（例えばＡＦ制御開始時の倍率等）に対してＤ［ｔ］倍された画像となるように、画像変倍処理を行えばよい。
【０１６１】
具体的には、表示倍率補正部５２３は、下式（１０）を用いて表示倍率を補正するための表示倍率補正係数を算出して画像調整部３５３へ転送する。
E[t] = A[t] / D[t] ・・・・・（１０）
【０１６２】
但し、ｔは現時刻、Ａ［ｔ］は現時刻の累積倍率、Ｄ［ｔ］はウォブリングによる高周波成分を除いた倍率変動、Ｅ［ｔ］は表示倍率補正係数を表す。ここで、Ａ［ｔ］が高周波と低周波の両方を含んでおり、Ｄ［ｔ］が高周波を除いたもの（低周波に相当）であるから、Ｅ［ｔ］はウォブリングによる高周波成分に相当する倍率変動に対応する。
【０１６３】
仮に、画像取得部３１０が取得した画像に対して、Ａ［ｔ］を用いた画像変倍処理を行うと（例えば第３の実施形態で示したＢ［ｔ］＝１／Ａ［ｔ］を変倍係数とする処理を行うと）、上述したように表示画像に反映させるべき低周波の倍率変動まで補正することになる。これは、上式（１０）に従えば、Ｄ［ｔ］とＥ［ｔ］の両方を補正係数に用いてしまっていることに起因する。つまり、上式（１０）で求めたＥ［ｔ］を用いた画像変倍処理（具体的には１／Ｅ［ｔ］を変倍係数とする画像変倍処理）を行えば、所望の表示画像を生成することが可能になる。
【０１６４】
よって、画像調整部３５３は、表示倍率補正部５２３により入力された表示倍率補正係数を用いて、画像取得部３１０による入力された画像に対して、画像サイズを調整する。
【０１６５】
図２６は、ウォブリングによる影響を補正するために、画像サイズを調整する仕組みを示す。なお図２６の各画角領域は、撮像される被写体の範囲を表すものであり、撮像部２３０で撮像され、画像取得部３１０で取得される画像のサイズ自体は同一であることが想定される。つまり、画角領域が大きいほど、広い範囲の被写体を所与の大きさの画像におさめることになるため、倍率で言えば低倍率（縮小された状態）に対応することになる。
【０１６６】
図２６に示したように、撮像画角領域の大きさの昇順に沿って、実際撮像画角領域１（ウォブリングあり）、目標撮像画角領域（ウォブリングなし）及び実際撮像画角領域２（ウォブリングあり）がある。実際撮像画角領域１（ウォブリングあり）は、対物レンズ２３１によるウォブリングの影響により、対物レンズ２３１の位置がウォブリングの発生しない場合のレンズ位置に比べてＺ方向（垂直方向）に対象物から遠く離れているときの撮像画角領域に対応している。これに対して、実際撮像画角領域２（ウォブリングあり）は、対物レンズ２３１によるウォブリングの影響により、対物レンズ２３１がウォブリングの発生しない場合のレンズ位置に比べてＺ方向に対象物から近く接近しているときの撮像画角領域に対応している。一方、目標撮像画角領域（ウォブリングなし）は、ウォブリングが発生しないときの撮像画角領域に対応している。本実施例では、ウォブリングの影響により画角領域が変化したとしても、表示部４００に表示される表示画像に含まれる被写体の範囲が、目標撮像画角領域（ウォブリングなし）に対応する（狭義には同一となる）ように画像サイズを調整する。これにより、表示画像に対するウォブリングの影響を抑止することができる。低周波の倍率変動がある場合には、目標撮像画角領域（ウォブリングなし）の大きさもそれに合わせ変化するため、目標撮像画角領域（ウォブリングなし）を目標としておけば低周波の倍率変動まで補正してしまうことはない。
【０１６７】
本実施形態における画像調整部３５３の構成を、図２７を参照して説明する。画像調整部３５３は、拡大縮小部７２０、画像サイズ制御部７２１を備えている。表示倍率調整部３５２は、拡大縮小部７２０、画像サイズ制御部７２１を介して表示部４００に接続されている。画像取得部３１０は、拡大縮小部７２０に接続している。制御部３４０は、拡大縮小部７２０、画像サイズ制御部７２１に双方向に接続しており、これらを制御信号により相互に制御する。
【０１６８】
拡大縮小部７２０は、制御部３４０の制御に基づき、画像取得部３１０からの画像（画像サイズ：横幅ｉｍｇＷｉｄｔｈ、縦幅ｉｍｇＨｅｉｇｈｔ）に対し、表示倍率調整部３５２からの表示倍率補正係数Ｅ［ｔ］を用いて拡大縮小処理を行う。
【０１６９】
実際撮像画角領域１（ウォブリングあり）の場合、上式（１０）により算出された表示倍率補正係数Ｅ［ｔ］が１より小さく、目標に比べて倍率が低い（縮小されている）状態となっている。よって、画像取得部３１０からの画像に対して、公知の補間技術により拡大処理を行う。
【０１７０】
一方、実際撮像画角領域２（ウォブリングあり）の場合、上式（１０）により算出された表示倍率補正係数Ｅ［ｔ］が１より大きく、目標に比べて倍率が高い（拡大されている）状態となっている。よって、画像取得部３１０からの画像に対して、公知の補間技術により縮小処理を行う。拡大縮小部７２０は、拡大縮小処理後の画像を画像サイズ制御部７２１へ転送する。
【０１７１】
画像サイズ制御部７２１は、制御部３４０の制御に基づき、拡大縮小部７２０からの画像に対して表示部４００に表示するための画像サイズ制御処理を行う。図２８（Ａ）、図２８（Ｂ）に処理の具体例を示す。なお、図２８（Ａ）、図２８（Ｂ）は、画像取得部３１０で取得された画像に対して、画像変倍処理が行われた後の変倍画像のサイズを表したものである。具体的には、目標撮像画角領域が撮像部２３０で撮像されたと仮定した場合の仮想画像と、画像変倍処理後の画像とで、被写体のサイズが同一となるように前記画像変倍処理が行われた際の画像変倍処理後の画像サイズを表している。
【０１７２】
図２８（Ａ）に示したように、実際撮像画角領域１（ウォブリングあり）の場合、拡大処理により、拡大縮小部７２０から出力される画像サイズは、画像取得部３１０で取得された画像サイズ（横幅ｉｍｇＷｉｄｔｈ、縦幅ｉｍｇＨｅｉｇｈｔ）に比べて大きい。そのため、本実施例では、画像サイズ制御部７２１は、拡大縮小部７２０からの画像に対して切り出し処理を実施する。具体的には、拡大後の画像に対し、画像の縦幅、横幅の中心にある画素を中心に、上下左右対称に目標撮像画角領域の画像サイズに合わせて画像を切り出す処理を実施する。
【０１７３】
一方、図２８（Ｂ）に示したように、実際撮像画角領域２（ウォブリングあり）の場合、縮小処理により、拡大縮小部７２０から出力される画像サイズは、画像取得部３１０で取得された画像サイズ（横幅ｉｍｇＷｉｄｔｈ、縦幅ｉｍｇＨｅｉｇｈｔ）に比べて小さい。そのため、本実施例では、画像サイズ制御部７２１は、拡大縮小部７２０からの画像に対して周辺補間処理を実施する。具体的には、縮小後の画像は、目標撮像画角領域の画像サイズより小さいため、縮小画像に対し、画像の縦幅、横幅の中心にある画素を中心に、上下左右対称に横幅ｉｍｇＷｉｄｔｈ、縦幅ｉｍｇＨｅｉｇｈｔになるように足りない周辺領域（図２８（Ｂ）に示めされる破線と実線に囲まれる部分）に画素を付け加えて補間する。例えば、この周辺領域にある画素の画素値をすべて固定値（例えば０）に設定すればよい。補間処理後の画像を表示部４００へ出力して表示する。
【０１７４】
なお、画像補間処理については種々の方法が知られており、例えば公知のミラー方式やコピー方式等の補間方法を用いてもよい。
【０１７５】
このように、画像取得部３１０により入力された内視鏡画像から倍率変動を検出して表示するための画像サイズを調整することで、ウォブリングによる高周波成分を抑制することができる。
【０１７６】
なお、本実施形態では図２６に示したように、ウォブリングなしの状態での画角を目標撮像画角領域として画像サイズを調整する構成例を示したが、これに限定する必要はない。本実施形態の変形例として、前記実際撮像画角領域２（ウォブリングあり）を目標撮像画角領域とする構成にしてもよい。
【０１７７】
例えば、表示倍率補正部５２３は、下式（１１）或いは（１２）でウォブリングによる高周波成分を除くための画像変倍処理に用いる表示倍率補正係数を算出して画像調整部３５３へ転送してもよい。
E’[t] = ( A[t] * A[t] ）/ ( D[t] * D[t] ) * P1 ・・・・・（１１）
E’[t] = ( A[t] * A[t] ）/ ( D[t] * D[t] ) + P2 ・・・・・（１２）
【０１７８】
但し、ｔは現時刻、Ａ［ｔ］は現時刻の累積倍率、Ｄ［ｔ］はウォブリングによる高周波成分を除いた倍率変動、Ｅ’［ｔ］は表示倍率補正係数、Ｐ１、Ｐ２は定数を表す。
【０１７９】
拡大縮小部７２０は、制御部３４０の制御に基づき、画像取得部３１０からの画像が、図２９に示されているような実際撮像画角領域２（ウォブリングあり）に対応している場合、画像を処理せずに（前記実際撮像画角領域２（ウォブリングあり）を目標撮像画角領域とする構成のため）、画像サイズ制御部７２１へ転送する。
【０１８０】
一方、拡大縮小部７２０は、制御部３４０の制御に基づき、画像取得部３１０からの画像が、図２９に示されているような実際撮像画角領域１（ウォブリングあり）に対応している場合、画像取得部３１０からの画像（画像サイズ：横幅ｉｍｇＷｉｄｔｈ、縦幅ｉｍｇＨｅｉｇｈｔ）に対し、表示倍率調整部３５２からの表示倍率補正係数Ｅ’［ｔ］を用いて拡大処理を行う（例えば画像サイズを１／Ｅ’［ｔ］倍する処理を行えばよい）。拡大縮小部７２０は、処理後の拡大画像を画像サイズ制御部７２１へ転送する。
【０１８１】
画像サイズ制御部７２１は、上述した例と同様に画像サイズの制御処理を行う。ただし、本変形例では実際撮像画角領域２を目標としており、拡大縮小部７２０では実際撮像画角領域１（ウォブリングあり）の場合に拡大処理が行われるのみである。つまり、画像サイズ制御部７２１は、実際撮像画角領域１に対応するタイミングにおいて、画像を切り出す処理を実施し、表示部４００へ出力する。一方、実際撮像画角領域２の場合、拡大縮小部７２０からの画像に対して処理せずに、表示部４００へ出力すればよい。
【０１８２】
以上の変形例の処理の説明図を図３０に示す。Ｄ［ｔ］の算出までは図２３の例と同様である。図２３の例では、Ａ［ｔ］／Ｄ［ｔ］（＝Ｅ［ｔ］）を用いて変倍処理を行うことで、低周波の倍率変動（Ｇ１）よりも下にある点の値（例えば時刻ｔ１での値）を増加させ、Ｇ１よりも上にある点の値（例えば時刻ｔ２での値）を減少させることで、処理対象期間における表示画像の倍率をＧ１で示した低周波の倍率変動に近づける処理を行っていた。
【０１８３】
それとは異なり、上述した変形例では、低周波の倍率変動（Ｇ１）を基準とするのではなく、Ｇ１よりも上の点はそのままにして、Ｇ１より下の点の値を増加させることで、処理対象期間における倍率変動を、Ｇ１とは異なる低周波の倍率変動（例えば図３０におけるＧ２）に補正するものである。
【０１８４】
具体的には、低周波の倍率変動（Ｇ１）を基準した場合の、高周波の倍率変動による上側変動（図３０のＦ３等）と下側変動（図３０のＦ４等）が、ともにＡ［ｔ］／Ｄ［ｔ］に基づく処理により補正されていたことを考えれば、下側の点に対してＡ［ｔ］／Ｄ［ｔ］に基づく処理を２回行えば、下側変動に対応する点を上側変動に対応する点（すなわちＧ２に対応する点）に持ち上げることができると考えられる。
【０１８５】
つまり、ｔ１やｔ３等、下側の点のタイミングにおいては｛Ａ［ｔ］／Ｄ［ｔ］｝２を用いた処理を行い、ｔ２等、上側の点のタイミングにおいては処理をスキップすればよい。これは、タイミングに応じて上式（１１）、（１２）のＥ’［ｔ］を用いた画像変倍処理を行うことに他ならない。ただし、Ａ［ｔ］／Ｄ［ｔ］に誤差がある場合、それを２回用いることで誤差が蓄積し、最終的な画像変倍処理の精度が問題となるおそれがある。よって上式（１１）や（１２）では精度の向上等を考慮して、係数Ｐ１，Ｐ２を用いるものとしている。
【０１８６】
変形例の手法を用いることで、拡大縮小部７２０での処理は拡大処理に限定されるため、画像サイズ制御部７２１での制御処理も切り出し処理に限定することができる。拡大縮小部７２０で縮小処理が行われた場合、画像サイズ制御部７２１では補間処理が行われるため、上述したように周辺領域では有用な情報が取得できない（固定値が入れられる）場合があるが、変形例ではそのような問題を考慮しなくてもよいことになる。
【０１８７】
ただし、Ｅ’［ｔ］を用いた画像変倍処理を行うタイミングと、行わないタイミングとに分ける必要があることから、画像変倍部では処理対象タイミングにおいて画像変倍処理を行うべきか否かを適切に判定する必要がある。例えば図３０のｔ１，ｔ２，ｔ３がそれぞれ隣接するタイミングである場合（つまりウォブリングの変動に合わせて画像が取得される場合）であれば、画像が取得できない等の例外を除き、１タイミング毎に画像変倍処理を行うか否かを切り替えればよい。
【０１８８】
以上の本実施形態では、合焦制御装置は図２０に示したように、画像に対して画像変倍処理を施して、表示部４００に表示される表示画像を取得する画像変倍部３５０を含む。そして、画像変倍部３５０は、検出された倍率変動のうち、大域的な変動を表す大域倍率変動を目標倍率変動として求め、求めた目標倍率変動に基づいて画像変倍処理を行う。
【０１８９】
ここで、大域的とは、局所的と対をなす用語であり、比較的大きい範囲を対象とする場合に用いる。よって大域的な変動である大域倍率変動とは、倍率変動を大きい範囲での変動と小さい範囲での変動（局所的な変動）とに分けた場合に、大きい範囲での変動を指すものである。ここでの「範囲」とは時間的なスパンであってもよいし、値自体の変動度合いであってもよい。図２３の例であれば、実線で表される倍率変動は、図２４の要素と図２５の要素とに分けて考えることができる。この際、図２４では縦軸方向の値の変動が小さく、図２５では図２４に比べて縦軸方向の値の変動が大きいことを持って、図２５に示したＤ［ｔ］を大域倍率変動としてもよい。或いは、図２４及び図２５の値の変動が周期性を有すると仮定した場合に、その１周期の長さを考えてもよい。この場合、図２４では上下動が頻繁に起こっていることから周期は短いのに対して、図２５では少なくとも図示した範囲での周期性は認められず周期は非常に長いと考えられる。つまり、時間軸での範囲を考えた場合にも、図２４は局所的な変動であり、図２５のＤ［ｔ］が大域倍率変動となる。言い換えれば、倍率変動を高周波の倍率変動と低周波の倍率変動に分けた場合に、低周波の倍率変動が大域倍率変動の一例として考えられるということになる。
【０１９０】
これにより、適切な画像変倍処理により取得された表示画像を表示部４００に表示することができるため、ユーザに対して観察等のしやすい画像を提示することが可能になる。特に大域倍率変動として低周波の倍率変動を考えた場合、倍率変動のうち大域倍率変動でない要素（高周波の倍率変動）は、表示画像の画角を高頻度で変更する要因となるため、ユーザにとっての画像の見やすさを著しく損ねることになる。その点、大域倍率変動を目標とすればそのような問題は抑止可能である。
【０１９１】
また以上の本実施形態では、合焦制御装置は図２０に示したように、画像に対して画像変倍処理を施して、表示部４００に表示される表示画像を取得する画像変倍部３５０を含む。そして、画像変倍部３５０は、検出された倍率変動のうち、合焦制御に伴う撮像光学系の駆動に起因する変動を除いた変動を、目標倍率変動として求め、目標倍率変動に基づいて画像変倍処理を行うことで、合焦制御に伴う撮像光学系の駆動に起因する画角の変動をキャンセルする。
【０１９２】
ここで、合焦制御に伴う撮像光学系の駆動とは、具体的にはコントラストＡＦに伴うウォブリング動作が考えられる。一般的に、ＡＦ動作はその開始から終了までの時間が短いほど、ユーザにとって使いやすく好ましい。よって、ウォブリングによる撮像光学系（狭義にはズームレンズ）の駆動は高速で行われることが想定され、当該駆動による倍率変動とは、その他の要因による倍率変動に比べて、非常に高い頻度で（高周波で）行われることが想定される。
【０１９３】
これにより、ウォブリング等による高頻度での倍率変動の除いた倍率変動を目標として表示画像を取得することができるため、ユーザに対して観察等のしやすい画像を提示することが可能になる。具体的には、検出した倍率変動が図２３、ウォブリングによる倍率変動が図２４となり、ウォブリングの影響を除いた倍率変動（目標倍率変動）が図２５となる。本実施形態の手法を用いることで、ウォブリングの影響により表示画像が見づらくなることを抑止しつつ、他の要因による倍率変動（図２５）については表示画像に対して反映されることができる。つまり、意図的に撮像倍率を変更した場合、或いは撮像部２３０を被写体に近づけた場合等に、ユーザはそれらの結果を表示画像の変化から把握することが可能になる。
【０１９４】
なお、大域倍率変動、或いは合焦制御に伴う撮像光学系の駆動に起因する変動を除いた変動とは、図２５（図２３のＦ１や図３０のＧ１）に限定されるものではなく、変形例において上述した図３０のＧ２であってもよい。
【０１９５】
また、画像変倍部３５０は図２２に示したように、第１のタイミングと、第１のタイミングとは異なる第２のタイミングの間での倍率変動の差分情報である倍率変動差分情報を算出する倍率差分算出部５２０と、倍率変動差分情報の平均値を表す倍率差分平均情報を算出する倍率差分平均算出部５２１とを含んでもよい。そして、画像変倍部３５０は、検出された倍率変動と、倍率変動差分情報と、倍率差分平均情報とに基づいて、目標倍率変動を求める。
【０１９６】
ここで、倍率変動差分情報とは上述したＣ［ｔ］であってもよく、倍率差分平均情報とは上述したＡｖＣであってもよい。
【０１９７】
これにより、倍率変動差分情報と倍率差分平均情報に基づいて目標倍率変動を求めることが可能になる。具体的には、倍率変動（特に累積倍率Ａ［ｔ］）と、Ｃ［ｔ］、ＡｖＣとを用いて、上式（９）を用いて目標倍率変動Ｄ［ｔ］を求めてもよい。
【０１９８】
また、画像変倍部３５０は、検出された倍率変動と、目標倍率変動に基づいて画像変倍係数を求め、求めた画像変倍係数を用いて画像変倍処理を行ってもよい。そして、画像変倍部３５０は、画像に対して、画像変倍係数を用いた拡大縮小処理を行うことで、前記表示画像を取得する
【０１９９】
これにより、画像変倍係数を求めて、求めた画像変倍係数に基づく画像変倍処理が可能になる。ここで、本実施形態の目標倍率変動Ｄ［ｔ］とは、基準となる倍率に対して、Ｄ［ｔ］倍された画像を表示画像とすることで、ユーザにとって見やすい画像を提示できるという意味を持つ。それに対して、画像取得部３１０で取得される画像はＡ［ｔ］（＝Ｄ［ｔ］×Ｅ［ｔ］）倍された状態となっており、Ｅ［ｔ］分だけ余計な倍率変動が加わってしまっている。つまり、目標に合わせるためにはＤ［ｔ］そのものではなく、Ａ［ｔ］とＤ［ｔ］からＥ［ｔ］を求める処理を行う必要があり、これは上式（１０）を解く処理に相当する。実際の画像変倍処理は、過剰分のＥ［ｔ］をキャンセルする処理を行えばよく、これは例えば１／Ｅ［ｔ］を係数として乗じる画像変倍処理であってもよい。
【０２００】
また、倍率変動検出部３２０は、画像における被写体のサイズの変動を、倍率変動として検出してもよい。そして、画像変倍部３５０は、被写体のサイズの変動である倍率変動に基づいて、目標倍率変動を求める。
【０２０１】
これにより、被写体のサイズの変動を倍率変動として検出する（特に撮像倍率の変動を制御信号等から取得しない）場合にも、本実施形態の手法を用いることが可能になる。上述したように、被写体のサイズの変動を倍率変動とする場合、撮像部２３０と被写体との距離が変化した場合にも、当該変化が倍率変動に反映される。つまり、検出した倍率変動をそのまま表示画像に対する画像変倍処理に用いてしまったのでは、撮像部２３０と被写体の距離が変化しているにもかかわらず、表示画像上で被写体サイズが変化しないという状況が起こりうる。その場合、ユーザは被写体との距離を把握できず、撮像部２３０と被写体が衝突する可能性が高まり、特に合焦制御装置として内視鏡装置を用いる場合には、生体を損傷させることになり非常に危険である。よって、被写体のサイズの変動を倍率変動として検出する場合には、本実施形態の手法が有用であると言える。
【０２０２】
以上、本発明を適用した４つの実施の形態１〜４およびその変形例について説明したが、本発明は、各実施の形態１〜４やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜４や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜４や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０２０３】
１００ 光源部、１１０ 白色光源、１２０ 集光レンズ、２００ 挿入部、
２１０ ライトガイドファイバ、２２０ 照明レンズ、２３０ 撮像部、
２３１ 対物レンズ、２３２ 撮像素子、２３３ 変換部、３００ 信号処理部、
３１０ 画像取得部、３２０ 倍率変動検出部、３２１ フレームメモリ、
３２２ ＲＩＰＯＣ算出部、３２３ 特徴点対応部、３２４ レンズ倍率変動検出部、
３２５ 距離変動検出部、３３０ 合焦制御部、３３１ フィルタ選択部、
３３２ コントラスト値算出部、３３３ レンズ制御部、３３４ 評価領域設定部、
３４０ 制御部、３５０ 画像変倍部、３５１ 変動倍率蓄積部、
３５２ 表示倍率調整部、３５３ 画像調整部、４００ 表示部、
５００ 外部Ｉ／Ｆ部、５２０ 倍率差分算出部、５２１ 倍率差分平均算出部、
５２２ 補正倍率算出部、５２３ 表示倍率補正部、７２０ 拡大縮小部、
７２１ 画像サイズ制御部
【特許請求の範囲】
【請求項１】
撮像倍率の変更に伴い合焦物体位置が変更される撮像光学系の駆動を制御する合焦制御部と、
前記撮像光学系を介した撮像によって、異なる前記撮像倍率で撮像された複数の画像を取得する画像取得部と、
前記撮像倍率及び前記画像における被写体のサイズの少なくとも一方の変動である倍率変動を検出する倍率変動検出部と、
を含み、
前記合焦制御部は、
前記画像及び前記倍率変動に基づいて、前記撮像光学系の焦点状態を表すＡＦ(AutoFocus)評価値を算出し、算出した前記ＡＦ評価値に基づいて前記撮像光学系を駆動すること
によって、前記撮像光学系の合焦制御を行うことを特徴とする合焦制御装置。
【請求項２】
請求項１において、
前記合焦制御部は、
前記倍率変動に応じた周波数特性を有するフィルタを用いたフィルタ処理を、前記画像に対して施すフィルタ処理部を含むことを特徴とする合焦制御装置。
【請求項３】
請求項２において、
前記フィルタ処理部は、
前記フィルタ処理として、前記倍率変動が大きいほど、カットオフ周波数の低いハイパスフィルタを用いた処理を行い、前記倍率変動が小さいほど、前記カットオフ周波数の高いハイパスフィルタを用いた処理を行うことを特徴とする合焦制御装置。
【請求項４】
請求項２において、
前記フィルタ処理部は、
前記フィルタ処理として、前記倍率変動が大きいほど、通過帯域が低い周波数帯域であるバンドパスフィルタを用いた処理を行い、前記倍率変動が小さいほど、前記通過帯域が高い周波数帯域であるバンドパスフィルタを用いた処理を行うことを特徴とする合焦制御装置。
【請求項５】
請求項１において、
前記合焦制御部は、
前記ＡＦ評価値の算出に用いられる画素を含む領域である評価領域を前記画像に設定する評価領域設定部を含み、
前記評価領域設定部は、
前記倍率変動に基づいて、設定する前記評価領域のサイズを変更することを特徴とする合焦制御装置。
【請求項６】
請求項５において、
前記評価領域設定部は、
前記倍率変動が大きいほど、前記評価領域のサイズを大きく設定し、前記倍率変動が小さいほど、前記評価領域のサイズを小さく設定することを特徴とする合焦制御装置。
【請求項７】
請求項６において、
前記倍率変動検出部は、
第１のタイミングと、前記第１のタイミングとは異なる第２のタイミングの間での前記倍率変動を検出し、
前記評価領域設定部は、
前記第１のタイミングでの前記評価領域である基準評価領域に対して、前記倍率変動の値を用いた変倍処理を施すことで、前記第２のタイミングでの前記評価領域を設定することを特徴とする合焦制御装置。
【請求項８】
請求項７において、
前記評価領域設定部は、
前記第１のタイミングにおいて、前記撮像倍率又は前記画像における前記被写体の前記サイズが大きいほど前記基準評価領域のサイズを大きく設定し、前記撮像倍率又は前記画像における前記被写体の前記サイズが小さいほど前記基準評価領域のサイズを小さく設定することを特徴とする合焦制御装置。
【請求項９】
請求項１において、
前記倍率変動に基づいて、前記画像に対して画像変倍処理を施して変倍画像を取得する画像変倍部を含み、
前記合焦制御部は、
前記画像及び前記倍率変動に基づいて取得された前記変倍画像に基づいて、前記撮像光学系の焦点状態を表すＡＦ評価値を算出することを特徴とする合焦制御装置。
【請求項１０】
請求項９において、
前記画像変倍部は、
前記倍率変動が大きいほど、小さい前記変倍画像を取得し、前記倍率変動が小さいほど、大きい前記変倍画像を取得することを特徴とする合焦制御装置。
【請求項１１】
請求項１０において、
前記倍率変動検出部は、
第１のタイミングと、前記第１のタイミングとは異なる第２のタイミングの間での前記倍率変動を検出し、
前記画像変倍部は、
前記第２のタイミングで前記画像取得部において取得された前記画像に対して、前記倍率変動の値の逆数を用いた画像変倍処理を施すことで、前記変倍画像を取得することを特徴とする合焦制御装置。
【請求項１２】
請求項９において、
前記画像変倍部は、
取得した前記変倍画像を、前記合焦制御部に出力するとともに、表示装置に対して出力することを特徴とする合焦制御装置。
【請求項１３】
請求項１２において、
前記画像変倍部は、
前記画像に対して第１の画像変倍処理を行った第１の変倍画像を前記合焦制御部に出力するとともに、前記画像に対して前記第１の画像変倍処理とは異なる第２の画像変倍処理を行った第２の変倍画像を前記表示装置に出力することを特徴とする合焦制御装置。
【請求項１４】
請求項１３において、
前記倍率変動検出部は、
前記倍率変動として前記画像における前記被写体の前記サイズの変動である第１の倍率変動と、前記撮像倍率の変動である第２の倍率変動を検出し、
前記画像変倍部は、
前記第１の画像変倍処理として、前記第１の倍率変動に基づいた画像変倍処理を行って前記第１の変倍画像を取得し、前記第２の画像変倍処理として、前記第２の倍率変動に基づいた画像変倍処理を行って前記第２の変倍画像を取得することを特徴とする合焦制御装置。
【請求項１５】
請求項１３において、
前記画像変倍部における前記画像変倍処理が、第１〜第Ｎ（Ｎは２以上の整数）のタイミングの期間で行われる場合に、
前記倍率変動検出部は、
第ｉ（１≦ｉ≦Ｎ）のタイミングで第ｉの倍率変動を検出し、
前記画像変倍部は、
第ｋ（１≦ｋ≦Ｎ）のタイミングにおける前記第２の画像変倍処理として、第１〜第ｋの倍率変動に基づいた処理を行うことで、前記第２の変倍画像を取得して前記表示装置に出力することを特徴とする合焦制御装置。
【請求項１６】
請求項１３において、
前記画像変倍部における前記画像変倍処理が、第１〜第Ｎ（Ｎは２以上の整数）のタイミングの期間で行われる場合に、
前記倍率変動検出部は、
第ｉ（１≦ｉ≦Ｎ）のタイミングで第ｉの倍率変動を検出し、
前記画像変倍部は、
第ｍ（１≦ｍ≦Ｎ）のタイミングでの前記倍率変動が、所与の許容変倍範囲に含まれるか否かの判定を行い、前記許容変倍範囲に含まれる場合には、前記第ｍのタイミングにおける前記第２の画像変倍処理として、前記第ｍのタイミングの前の第ｍ−１のタイミングにおける前記第２の画像変倍処理と同様の画像変倍処理を行い、前記許容変倍範囲に含まれない場合には、前記第ｍのタイミングにおける前記第２の画像変倍処理として、第ｍの倍率変動の値の逆数に比べて１に近い値を用いた画像変倍処理を行うことを特徴とする合焦制御装置。
【請求項１７】
請求項１において、
前記撮像倍率及び前記画像における被写体のサイズの少なくとも一方を倍率評価値とした場合に、
前記倍率変動検出部は、
第１のタイミングにおける前記倍率評価値に対する、前記第１のタイミングとは異なる第２のタイミングにおける前記倍率評価値の比を、前記第２のタイミングでの前記倍率変動として検出することを特徴とする合焦制御装置。
【請求項１８】
請求項１７において、
前記倍率変動検出部は、
第１のタイミングにおける前記撮像倍率に対する、前記第１のタイミングとは異なる第２のタイミングにおける前記撮像倍率の比を、前記第２のタイミングでの前記倍率変動として検出することを特徴とする合焦制御装置。
【請求項１９】
請求項１７において、
前記倍率変動検出部は、
第１のタイミングにおける前記被写体の前記サイズに対する、前記第１のタイミングとは異なる第２のタイミングにおける前記被写体の前記サイズの比を、前記第２のタイミングでの前記倍率変動として検出することを特徴とする合焦制御装置。
【請求項２０】
請求項１９において、
前記倍率変動検出部は、
前記第１のタイミングでの前記画像及び前記第２のタイミングでの前記画像に対して、位相限定相関法を用いることで前記倍率変動を検出することを特徴とする合焦制御装置。
【請求項２１】
請求項１９において、
前記倍率変動検出部は、
前記第１のタイミングでの前記画像及び前記第２のタイミングでの前記画像に対して複数の特徴点を設定し、設定した複数の前記特徴点の位置に基づいて、前記倍率変動を検出することを特徴とする合焦制御装置。
【請求項２２】
請求項１７において、
前記第１のタイミングは、
前記ＡＦ評価値の算出を開始するタイミングであることを特徴とする合焦制御装置。
【請求項２３】
請求項１７において、
前記第１のタイミングと前記第２のタイミングは、時間的に隣接する前記ＡＦ評価値の取得タイミングであることを特徴とする合焦制御装置。
【請求項２４】
請求項１において、
前記倍率変動検出部は、
前記撮像光学系から前記被写体までの距離情報の変動を検出する距離変動検出部を含み、
前記距離変動検出部は、
前記撮像倍率の変動と、前記被写体の前記サイズの変動とに基づいて、前記距離情報の変動を検出することを特徴とする合焦制御装置。
【請求項２５】
請求項１において、
前記画像に対して画像変倍処理を施して、表示部に表示される表示画像を取得する画像変倍部を含み、
前記画像変倍部は、
検出された前記倍率変動のうち、大域的な変動を表す大域倍率変動を目標倍率変動として求め、求めた前記目標倍率変動に基づいて前記画像変倍処理を行うことを特徴とする合焦制御装置。
【請求項２６】
請求項１において、
前記画像に対して画像変倍処理を施して、表示部に表示される表示画像を取得する画像変倍部を含み、
前記画像変倍部は、
検出された前記倍率変動のうち、前記合焦制御に伴う前記撮像光学系の前記駆動に起因する変動を除いた変動を、目標倍率変動として求め、前記目標倍率変動に基づいて前記画像変倍処理を行うことで、前記合焦制御に伴う前記撮像光学系の前記駆動に起因する画角の変動をキャンセルすることを特徴とする合焦制御装置。
【請求項２７】
請求項２５又は２６において、
前記画像変倍部は、
第１のタイミングと、前記第１のタイミングとは異なる第２のタイミングの間での前記倍率変動の差分情報である倍率変動差分情報を算出する倍率差分算出部と、
前記倍率変動差分情報の平均値を表す倍率差分平均情報を算出する倍率差分平均算出部とを含み、
前記画像変倍部は、
検出された前記倍率変動と、前記倍率変動差分情報と、前記倍率差分平均情報とに基づいて、前記目標倍率変動を求めることを特徴とする合焦制御装置。
【請求項２８】
請求項２７において、
前記画像変倍部は、
検出された前記倍率変動と、前記目標倍率変動に基づいて画像変倍係数を求め、求めた前記画像変倍係数を用いて前記画像変倍処理を行うことを特徴とする合焦制御装置。
【請求項２９】
請求項２８において、
前記画像変倍部は、
前記画像に対して、前記画像変倍係数を用いた拡大縮小処理を行うことで、前記表示画像を取得することを特徴とする合焦制御装置。
【請求項３０】
請求項２５又は２６において、
前記倍率変動検出部は、
前記画像における前記被写体のサイズの変動を、前記倍率変動として検出し、
前記画像変倍部は、
前記被写体のサイズの変動である前記倍率変動に基づいて、前記目標倍率変動を求めることを特徴とする合焦制御装置。
【請求項３１】
撮像倍率の変更に伴い合焦物体位置が変更される撮像光学系の駆動を制御する合焦制御部と、
前記撮像光学系を介した撮像によって、異なる前記撮像倍率で撮像された複数の画像を取得する画像取得部と、
前記撮像倍率及び前記画像における被写体のサイズの少なくとも一方の変動である倍率変動を検出する倍率変動検出部と、
を含み、
前記合焦制御部は、
前記画像及び前記倍率変動に基づいて、前記撮像光学系の焦点状態を表すＡＦ(AutoFocus)評価値を算出し、算出した前記ＡＦ評価値に基づいて前記撮像光学系を駆動すること
によって、前記撮像光学系の合焦制御を行うことを特徴とする内視鏡システム。
【請求項３２】
撮像倍率の変更に伴い合焦物体位置が変更される撮像光学系の駆動を制御する合焦制御方法であって、
前記撮像光学系を介した撮像によって、異なる前記撮像倍率で撮像された複数の画像を取得し、
前記撮像倍率及び前記画像における被写体のサイズの少なくとも一方の変動である倍率変動を検出し、
取得した前記画像及び検出した前記倍率変動に基づいて、前記撮像光学系の焦点状態を表すＡＦ(AutoFocus)評価値を算出し、算出した前記ＡＦ評価値に基づいて前記撮像光学系を駆動することによって、前記撮像光学系の合焦制御を行うことを特徴とする合焦制御方法。
【請求項１】
撮像倍率の変更に伴い合焦物体位置が変更される撮像光学系の駆動を制御する合焦制御部と、
前記撮像光学系を介した撮像によって、異なる前記撮像倍率で撮像された複数の画像を取得する画像取得部と、
前記撮像倍率及び前記画像における被写体のサイズの少なくとも一方の変動である倍率変動を検出する倍率変動検出部と、
を含み、
前記合焦制御部は、
前記画像及び前記倍率変動に基づいて、前記撮像光学系の焦点状態を表すＡＦ(AutoFocus)評価値を算出し、算出した前記ＡＦ評価値に基づいて前記撮像光学系を駆動すること
によって、前記撮像光学系の合焦制御を行うことを特徴とする合焦制御装置。
【請求項２】
請求項１において、
前記合焦制御部は、
前記倍率変動に応じた周波数特性を有するフィルタを用いたフィルタ処理を、前記画像に対して施すフィルタ処理部を含むことを特徴とする合焦制御装置。
【請求項３】
請求項２において、
前記フィルタ処理部は、
前記フィルタ処理として、前記倍率変動が大きいほど、カットオフ周波数の低いハイパスフィルタを用いた処理を行い、前記倍率変動が小さいほど、前記カットオフ周波数の高いハイパスフィルタを用いた処理を行うことを特徴とする合焦制御装置。
【請求項４】
請求項２において、
前記フィルタ処理部は、
前記フィルタ処理として、前記倍率変動が大きいほど、通過帯域が低い周波数帯域であるバンドパスフィルタを用いた処理を行い、前記倍率変動が小さいほど、前記通過帯域が高い周波数帯域であるバンドパスフィルタを用いた処理を行うことを特徴とする合焦制御装置。
【請求項５】
請求項１において、
前記合焦制御部は、
前記ＡＦ評価値の算出に用いられる画素を含む領域である評価領域を前記画像に設定する評価領域設定部を含み、
前記評価領域設定部は、
前記倍率変動に基づいて、設定する前記評価領域のサイズを変更することを特徴とする合焦制御装置。
【請求項６】
請求項５において、
前記評価領域設定部は、
前記倍率変動が大きいほど、前記評価領域のサイズを大きく設定し、前記倍率変動が小さいほど、前記評価領域のサイズを小さく設定することを特徴とする合焦制御装置。
【請求項７】
請求項６において、
前記倍率変動検出部は、
第１のタイミングと、前記第１のタイミングとは異なる第２のタイミングの間での前記倍率変動を検出し、
前記評価領域設定部は、
前記第１のタイミングでの前記評価領域である基準評価領域に対して、前記倍率変動の値を用いた変倍処理を施すことで、前記第２のタイミングでの前記評価領域を設定することを特徴とする合焦制御装置。
【請求項８】
請求項７において、
前記評価領域設定部は、
前記第１のタイミングにおいて、前記撮像倍率又は前記画像における前記被写体の前記サイズが大きいほど前記基準評価領域のサイズを大きく設定し、前記撮像倍率又は前記画像における前記被写体の前記サイズが小さいほど前記基準評価領域のサイズを小さく設定することを特徴とする合焦制御装置。
【請求項９】
請求項１において、
前記倍率変動に基づいて、前記画像に対して画像変倍処理を施して変倍画像を取得する画像変倍部を含み、
前記合焦制御部は、
前記画像及び前記倍率変動に基づいて取得された前記変倍画像に基づいて、前記撮像光学系の焦点状態を表すＡＦ評価値を算出することを特徴とする合焦制御装置。
【請求項１０】
請求項９において、
前記画像変倍部は、
前記倍率変動が大きいほど、小さい前記変倍画像を取得し、前記倍率変動が小さいほど、大きい前記変倍画像を取得することを特徴とする合焦制御装置。
【請求項１１】
請求項１０において、
前記倍率変動検出部は、
第１のタイミングと、前記第１のタイミングとは異なる第２のタイミングの間での前記倍率変動を検出し、
前記画像変倍部は、
前記第２のタイミングで前記画像取得部において取得された前記画像に対して、前記倍率変動の値の逆数を用いた画像変倍処理を施すことで、前記変倍画像を取得することを特徴とする合焦制御装置。
【請求項１２】
請求項９において、
前記画像変倍部は、
取得した前記変倍画像を、前記合焦制御部に出力するとともに、表示装置に対して出力することを特徴とする合焦制御装置。
【請求項１３】
請求項１２において、
前記画像変倍部は、
前記画像に対して第１の画像変倍処理を行った第１の変倍画像を前記合焦制御部に出力するとともに、前記画像に対して前記第１の画像変倍処理とは異なる第２の画像変倍処理を行った第２の変倍画像を前記表示装置に出力することを特徴とする合焦制御装置。
【請求項１４】
請求項１３において、
前記倍率変動検出部は、
前記倍率変動として前記画像における前記被写体の前記サイズの変動である第１の倍率変動と、前記撮像倍率の変動である第２の倍率変動を検出し、
前記画像変倍部は、
前記第１の画像変倍処理として、前記第１の倍率変動に基づいた画像変倍処理を行って前記第１の変倍画像を取得し、前記第２の画像変倍処理として、前記第２の倍率変動に基づいた画像変倍処理を行って前記第２の変倍画像を取得することを特徴とする合焦制御装置。
【請求項１５】
請求項１３において、
前記画像変倍部における前記画像変倍処理が、第１〜第Ｎ（Ｎは２以上の整数）のタイミングの期間で行われる場合に、
前記倍率変動検出部は、
第ｉ（１≦ｉ≦Ｎ）のタイミングで第ｉの倍率変動を検出し、
前記画像変倍部は、
第ｋ（１≦ｋ≦Ｎ）のタイミングにおける前記第２の画像変倍処理として、第１〜第ｋの倍率変動に基づいた処理を行うことで、前記第２の変倍画像を取得して前記表示装置に出力することを特徴とする合焦制御装置。
【請求項１６】
請求項１３において、
前記画像変倍部における前記画像変倍処理が、第１〜第Ｎ（Ｎは２以上の整数）のタイミングの期間で行われる場合に、
前記倍率変動検出部は、
第ｉ（１≦ｉ≦Ｎ）のタイミングで第ｉの倍率変動を検出し、
前記画像変倍部は、
第ｍ（１≦ｍ≦Ｎ）のタイミングでの前記倍率変動が、所与の許容変倍範囲に含まれるか否かの判定を行い、前記許容変倍範囲に含まれる場合には、前記第ｍのタイミングにおける前記第２の画像変倍処理として、前記第ｍのタイミングの前の第ｍ−１のタイミングにおける前記第２の画像変倍処理と同様の画像変倍処理を行い、前記許容変倍範囲に含まれない場合には、前記第ｍのタイミングにおける前記第２の画像変倍処理として、第ｍの倍率変動の値の逆数に比べて１に近い値を用いた画像変倍処理を行うことを特徴とする合焦制御装置。
【請求項１７】
請求項１において、
前記撮像倍率及び前記画像における被写体のサイズの少なくとも一方を倍率評価値とした場合に、
前記倍率変動検出部は、
第１のタイミングにおける前記倍率評価値に対する、前記第１のタイミングとは異なる第２のタイミングにおける前記倍率評価値の比を、前記第２のタイミングでの前記倍率変動として検出することを特徴とする合焦制御装置。
【請求項１８】
請求項１７において、
前記倍率変動検出部は、
第１のタイミングにおける前記撮像倍率に対する、前記第１のタイミングとは異なる第２のタイミングにおける前記撮像倍率の比を、前記第２のタイミングでの前記倍率変動として検出することを特徴とする合焦制御装置。
【請求項１９】
請求項１７において、
前記倍率変動検出部は、
第１のタイミングにおける前記被写体の前記サイズに対する、前記第１のタイミングとは異なる第２のタイミングにおける前記被写体の前記サイズの比を、前記第２のタイミングでの前記倍率変動として検出することを特徴とする合焦制御装置。
【請求項２０】
請求項１９において、
前記倍率変動検出部は、
前記第１のタイミングでの前記画像及び前記第２のタイミングでの前記画像に対して、位相限定相関法を用いることで前記倍率変動を検出することを特徴とする合焦制御装置。
【請求項２１】
請求項１９において、
前記倍率変動検出部は、
前記第１のタイミングでの前記画像及び前記第２のタイミングでの前記画像に対して複数の特徴点を設定し、設定した複数の前記特徴点の位置に基づいて、前記倍率変動を検出することを特徴とする合焦制御装置。
【請求項２２】
請求項１７において、
前記第１のタイミングは、
前記ＡＦ評価値の算出を開始するタイミングであることを特徴とする合焦制御装置。
【請求項２３】
請求項１７において、
前記第１のタイミングと前記第２のタイミングは、時間的に隣接する前記ＡＦ評価値の取得タイミングであることを特徴とする合焦制御装置。
【請求項２４】
請求項１において、
前記倍率変動検出部は、
前記撮像光学系から前記被写体までの距離情報の変動を検出する距離変動検出部を含み、
前記距離変動検出部は、
前記撮像倍率の変動と、前記被写体の前記サイズの変動とに基づいて、前記距離情報の変動を検出することを特徴とする合焦制御装置。
【請求項２５】
請求項１において、
前記画像に対して画像変倍処理を施して、表示部に表示される表示画像を取得する画像変倍部を含み、
前記画像変倍部は、
検出された前記倍率変動のうち、大域的な変動を表す大域倍率変動を目標倍率変動として求め、求めた前記目標倍率変動に基づいて前記画像変倍処理を行うことを特徴とする合焦制御装置。
【請求項２６】
請求項１において、
前記画像に対して画像変倍処理を施して、表示部に表示される表示画像を取得する画像変倍部を含み、
前記画像変倍部は、
検出された前記倍率変動のうち、前記合焦制御に伴う前記撮像光学系の前記駆動に起因する変動を除いた変動を、目標倍率変動として求め、前記目標倍率変動に基づいて前記画像変倍処理を行うことで、前記合焦制御に伴う前記撮像光学系の前記駆動に起因する画角の変動をキャンセルすることを特徴とする合焦制御装置。
【請求項２７】
請求項２５又は２６において、
前記画像変倍部は、
第１のタイミングと、前記第１のタイミングとは異なる第２のタイミングの間での前記倍率変動の差分情報である倍率変動差分情報を算出する倍率差分算出部と、
前記倍率変動差分情報の平均値を表す倍率差分平均情報を算出する倍率差分平均算出部とを含み、
前記画像変倍部は、
検出された前記倍率変動と、前記倍率変動差分情報と、前記倍率差分平均情報とに基づいて、前記目標倍率変動を求めることを特徴とする合焦制御装置。
【請求項２８】
請求項２７において、
前記画像変倍部は、
検出された前記倍率変動と、前記目標倍率変動に基づいて画像変倍係数を求め、求めた前記画像変倍係数を用いて前記画像変倍処理を行うことを特徴とする合焦制御装置。
【請求項２９】
請求項２８において、
前記画像変倍部は、
前記画像に対して、前記画像変倍係数を用いた拡大縮小処理を行うことで、前記表示画像を取得することを特徴とする合焦制御装置。
【請求項３０】
請求項２５又は２６において、
前記倍率変動検出部は、
前記画像における前記被写体のサイズの変動を、前記倍率変動として検出し、
前記画像変倍部は、
前記被写体のサイズの変動である前記倍率変動に基づいて、前記目標倍率変動を求めることを特徴とする合焦制御装置。
【請求項３１】
撮像倍率の変更に伴い合焦物体位置が変更される撮像光学系の駆動を制御する合焦制御部と、
前記撮像光学系を介した撮像によって、異なる前記撮像倍率で撮像された複数の画像を取得する画像取得部と、
前記撮像倍率及び前記画像における被写体のサイズの少なくとも一方の変動である倍率変動を検出する倍率変動検出部と、
を含み、
前記合焦制御部は、
前記画像及び前記倍率変動に基づいて、前記撮像光学系の焦点状態を表すＡＦ(AutoFocus)評価値を算出し、算出した前記ＡＦ評価値に基づいて前記撮像光学系を駆動すること
によって、前記撮像光学系の合焦制御を行うことを特徴とする内視鏡システム。
【請求項３２】
撮像倍率の変更に伴い合焦物体位置が変更される撮像光学系の駆動を制御する合焦制御方法であって、
前記撮像光学系を介した撮像によって、異なる前記撮像倍率で撮像された複数の画像を取得し、
前記撮像倍率及び前記画像における被写体のサイズの少なくとも一方の変動である倍率変動を検出し、
取得した前記画像及び検出した前記倍率変動に基づいて、前記撮像光学系の焦点状態を表すＡＦ(AutoFocus)評価値を算出し、算出した前記ＡＦ評価値に基づいて前記撮像光学系を駆動することによって、前記撮像光学系の合焦制御を行うことを特徴とする合焦制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１３−１０１３１４（Ｐ２０１３−１０１３１４Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１２−１９３９３２（Ｐ２０１２−１９３９３２）
【出願日】平成２４年９月４日（２０１２．９．４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２４年９月４日（２０１２．９．４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]