内視鏡装置及びプログラム
【課題】動画像における奥行き方向のブレを抑制可能な内視鏡装置及びプログラム等を提供すること。
【解決手段】内視鏡装置は、時系列に画像を取得する画像取得部と、撮像部の光軸に沿った方向である奥行き方向のブレを補正するための補正係数を算出する係数算出部７０３と、その補正係数に基づいて、時系列に取得された画像の奥行き方向のブレを補正する処理を行う奥行きブレ補正処理部７０４と、を含む。
【解決手段】内視鏡装置は、時系列に画像を取得する画像取得部と、撮像部の光軸に沿った方向である奥行き方向のブレを補正するための補正係数を算出する係数算出部７０３と、その補正係数に基づいて、時系列に取得された画像の奥行き方向のブレを補正する処理を行う奥行きブレ補正処理部７０４と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡装置及びプログラム等に関する。
【背景技術】
【０００２】
近年、内視鏡装置では、被写体を拡大観察した鑑別診断が行われている。拡大観察では一般的に、被写体像の劣化のない光学ズームが用いられる。一方、ＣＣＤ等で取得された画像データ上での電子ズームは被写体像の劣化を伴うが、光学ズームされた被写体像を更に拡大して表示することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−４９５９９号公報
【特許文献２】特開２００９−７１３８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような拡大観察では、拡大率が大きいほどブレの影響が大きくなるという課題がある。例えば、体腔内を観察する内視鏡装置では、心臓の拍動により食道などの臓器に拍動が生じる。そのため、奥行き方向で被写体ブレが発生し、視認性などの観察性能が劣化してしまう。
【０００５】
例えば特許文献１には、拡大観察を行う内視鏡装置においてスコープ先端の動きを検出してブレ補正を行う手法が開示されている。この手法では、内視鏡湾曲部に方向と角速度を検出する移動量検出手段を備え、移動方向や移動距離に基づいてブレ補正を行う。しかしながら、この手法では、スコープ先端の動きを検出するため被写体側のブレについてはブレ補正を行うことができない。
【０００６】
また特許文献２には、被写体の動き量を検出し、さらにフリーズ指示信号を検出して動画を的確なタイミングで静止させて静止画を取得する手法が開示されている。この手法では、画像の周期性を検出することで、ブレの少ない最適なフリーズ画像を生成する。しかしながら、この手法では、動画像のブレ補正を行うことはできない。
【０００７】
本発明の幾つかの態様によれば、動画像における奥行き方向のブレを抑制可能な内視鏡装置及びプログラム等を提供することができる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、時系列に画像を取得する画像取得部と、撮像部の光軸に沿った方向である奥行き方向のブレを補正するための補正係数を算出する係数算出部と、前記補正係数に基づいて、時系列に取得された前記画像の前記奥行き方向のブレを補正する処理を行う奥行きブレ補正処理部と、を含む内視鏡装置に関係する。
【０００９】
本発明の一態様によれば、時系列に画像が取得され、奥行き方向のブレを補正するための補正係数が算出され、時系列に取得された画像の奥行き方向のブレを補正係数に基づいて補正する処理が行われる。これにより、動画像における奥行き方向のブレを抑制することが可能になる
【００１０】
また、本発明の他の態様は、時系列に画像を取得する画像取得部と、撮像部の光軸に沿った方向である奥行き方向のブレを補正するための補正係数を算出する係数算出部と、前記補正係数に基づいて、時系列に取得された前記画像の前記奥行き方向のブレを補正する処理を行う奥行きブレ補正処理部として、コンピュータを機能させることを特徴とするプログラムに関係する。
【図面の簡単な説明】
【００１１】
【図１】内視鏡装置の構成例。
【図２】回転色フィルタの詳細な構成例。
【図３】色フィルタの分光特性例。
【図４】画像処理部の詳細な構成例。
【図５】ブレ補正処理部の詳細な構成例。
【図６】図６（Ａ）〜図６（Ｇ）は、ブレ補正処理についての説明図である。
【図７】ブレ補正処理に用いられる特徴点データの例。
【図８】画像処理プログラムのフローチャート例。
【図９】ブレ補正処理の詳細なフローチャート例。
【図１０】内視鏡装置の第２の構成例。
【図１１】画像処理部の第２の詳細な構成例。
【図１２】ブレ補正処理部の第２の詳細な構成例。
【図１３】ブレ補正処理の第２の詳細なフローチャート例。
【図１４】内視鏡装置の第３の構成例。
【図１５】画像処理部の第３の詳細な構成例。
【図１６】ブレ補正処理部の第３の詳細な構成例。
【図１７】コンピュータシステムの構成を示すシステム構成図。
【図１８】コンピュータシステムにおける本体部の構成を示すブロック図。
【発明を実施するための形態】
【００１２】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１３】
１．本実施形態の手法
まず、本実施形態が行う奥行き方向のブレ補正の概要について説明する。ドクターは、内視鏡先端を消化管に挿入すると、最初は拡大観察を行わず、先端部を動かして病変の探索を行う（スクリーニング）。次に、病変部を発見した時は、光学ズームや電子ズームを用いて被写体を拡大し、内視鏡先端部を静止させて病変部の観察を行う。
【００１４】
このとき、被写体の動きや撮像部の動きによって被写体像にブレが生じる。図１に示すように、このブレには、撮像部２００の光軸方向のブレが含まれており、この光軸方向のブレは画像の奥行き方向のブレとなって見える。この奥行き方向のブレは、例えば心臓の拍動による臓器の動きや、消化管の蠕動運動により生じる。被写体像のブレは、拡大観察時の拡大率に応じて大きくなるため、動画像で観察した場合、拡大率が大きくなるほど画像が大きくブレて見えることになる。
【００１５】
そこで本実施形態では、図６（Ａ）、図６（Ｂ）に示すように、時系列に取得した画像の倍率変化に応じて電子ズームや光学ズームの倍率調整を行い、図６（Ｃ）に示すように、時系列に取得した画像上での被写体の大きさを一定にする。これにより、臓器の拍動等による奥行き方向の動画像のブレを軽減し、動画像の視認性を向上できる。
【００１６】
２．内視鏡装置の第１の構成例
図１に、奥行き方向のブレ補正を行う内視鏡装置の第１の構成例を示す。内視鏡装置（内視鏡システム）は、光源部１００と、撮像部２００と、制御装置３００（狭義にはプロセッサ部）と、表示部４００と、外部Ｉ／Ｆ部５００を含む。
【００１７】
光源部１００は、被写体を照明するための照明光を出射する。光源部１００は、白色光源１０１と、光源絞り１０２と、光源絞り１０２を駆動する光源絞り駆動部１０３を含む。また、光源部１００は、複数の分光透過率を持った回転色フィルタ１０４と、回転色フィルタ１０４を駆動する回転駆動部１０５と、回転色フィルタ１０４による分光特性を持った光をライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０６を含む。
【００１８】
光源絞り駆動部１０３は、制御装置３００の制御部３２０からの制御信号に基づいて光源絞り１０２の開閉を行うことで光量の調整を行う。
【００１９】
回転色フィルタ１０４は、例えば図２に示すように、三原色の赤の色フィルタ６０１と、緑の色フィルタ６０２と、青の色フィルタ６０３と、回転モータ８０３から構成されている。これら３つの色フィルタ６０１〜６０３は、例えば図３に示す分光特性を有する。
【００２０】
回転駆動部１０５は、制御装置３００の制御部３２０からの制御信号に基づいて、撮像素子２０６の撮像期間と同期して回転色フィルタ１０４を所定回転数で回転させる。例えば回転色フィルタ１０４を１秒間に２０回転させると、各色フィルタ６０１〜６０３は６０分の１秒間隔で入射白色光を横切ることになる。そのため、撮像素子２０６は、６０分の１秒間隔で３原色の各色光（ＲあるいはＧあるいはＢ）での反射光の画像の撮像と転送を完了することになる。ここで、撮像素子２０６は、例えばモノクロ撮像を行う。この場合、Ｒ画像、Ｇ画像、Ｂ画像は、６０分の１秒間隔で面順次で撮像される。
【００２１】
撮像部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２０１と、そのライトガイドファイバ２０１により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２０２を含む。また、撮像部２００は、観察対象から戻る反射光を集光する対物レンズ２０３と、可変絞り２０４と、制御部３２０の制御に基づいて可変絞り２０４を開閉する対物絞り駆動部２０５を含む。また、撮像部２００は、集光した反射光を検出するための撮像素子２０６と、撮像素子２０６からの光電変換されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部２０７を含む。例えば、撮像素子２０６は、モノクロ単板撮像素子であり、ＣＣＤやＣＭＯＳセンサにより構成される。
【００２２】
制御装置３００は、内視鏡装置の各構成要素の制御や、画像処理を行う。制御装置３００は、画像処理部３１０と、制御部３２０を含む。
【００２３】
画像処理部３１０には、Ａ／Ｄ変換部２０７でデジタルデータに変換された画像（画像信号）が転送される。画像処理部３１０で処理された画像は、表示部４００に転送される。
【００２４】
制御部３２０は、光源絞り駆動部１０３と、回転駆動部１０５と、対物絞り駆動部２０５と、撮像素子２０６と、画像処理部３１０と、外部Ｉ／Ｆ部５００に接続され、これらの制御を行う。
【００２５】
表示部４００は、画像処理部３１０からの画像や動画像を表示する。例えば表示部４００は、ＣＲＴや液晶モニタ等の動画表示可能な表示装置である。
【００２６】
外部Ｉ／Ｆ部５００は、この撮像装置に対するユーザーからの入力等を行うためのインターフェースである。例えば、外部Ｉ／Ｆ部５００は、電源のオン／オフを行うための電源スイッチや、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を制御部３２０へ転送する。
【００２７】
３．画像処理部
次に、上述の画像処理部３１０について説明する。図４に、画像処理部３１０の詳細な構成例を示す。画像処理部３１０は、前処理部３１１と、同時化処理部３１２と、ブレ補正処理部３１３と、後処理部３１４を含む。
【００２８】
Ａ／Ｄ変換部２０７は、前処理部３１１に接続されている。前処理部３１１は、同時化処理部３１２に接続されている。同時化処理部３１２は、ブレ補正処理部３１３に接続されている。ブレ補正処理部３１３は、後処理部３１４に接続されている。後処理部３１４は、表示部４００に接続されている。制御部３２０は、前処理部３１１と、同時化処理部３１２と、ブレ補正処理部３１３と、後処理部３１４とに接続され、これらの制御を行う。
【００２９】
前処理部３１１は、制御部３２０に予め保存されているＯＢクランプ値やゲイン補正値、ＷＢ係数値を用いて、Ａ／Ｄ変換部２０７で変換されて入力されるデジタル画像に対して、ＯＢクランプ処理やゲイン補正処理、ＷＢ補正処理を行う。前処理を施された画像は、同時化処理部３１２へ転送される。
【００３０】
同時化処理部３１２は、前処理部３１１で処理を施された画像に対して、面順次のＲ画像、Ｇ画像、Ｂ画像を同時化する処理を、制御部３２０の制御信号に基づいて行う。同時化処理された画像は、ブレ補正処理部３１３へ転送される。
【００３１】
ブレ補正処理部３１３は、同時化処理された時系列の画像に対してブレ補正を行う。ブレ補正処理部３１３は、ブレ補正として、奥行き方向のブレ補正や、平面方向のブレ補正を行う。ブレ補正処理を施された画像は、後処理部３１４へ転送される。
【００３２】
後処理部３１４は、制御部３２０に予め保存されている階調変換係数や色変換係数、輪郭強調係数、拡大率を用いて、階調変換処理や色処理、輪郭強調処理、拡大処理を行う。後処理を施された画像は、表示部４００へ転送される。
【００３３】
４．ブレ補正処理部
次に、ブレ補正処理部３１３について説明する。図５に、ブレ補正処理部３１３の詳細な構成例を示す。ブレ補正処理部３１３は、第１記憶部７０１と、補正開始検出部７０２と、係数算出部７０３と、奥行きブレ補正処理部７０４と、トリミング部７０５と、第２記憶部７０６と、判定部７０７と、平面ブレ補正処理部７０８を含む。
【００３４】
同時化処理部３１２は、第１記憶部７０１と、補正開始検出部７０２に接続されている。第１記憶部７０１は、補正開始検出部７０２と、係数算出部７０３に接続されている。補正開始検出部７０２は、係数算出部７０３と、後処理部３１４に接続されている。係数算出部７０３は、奥行きブレ補正処理部７０４に接続されている。奥行きブレ補正処理部７０４トリミング部７０５に接続されている。トリミング部７０５は、第２記憶部７０６と、判定部７０７に接続されている。第２記憶部７０６は、判定部７０７に接続されている。判定部７０７は、平面ブレ補正処理部７０８と、後処理部３１４に接続されている。平面ブレ補正処理部７０８は、後処理部３１４に接続されている。制御部３２０は、補正開始検出部７０２と、係数算出部７０３と、奥行きブレ補正処理部７０４と、トリミング部７０５と、判定部７０７と、平面ブレ補正処理部７０８に接続され、これらの制御を行う。
【００３５】
第１記憶部７０１は、同時化処理部３１２から入力された画像（画像信号）を記憶する。
【００３６】
補正開始検出部７０２は、ブレ補正を開始するか否かの判定を行う。具体的には、補正開始検出部７０２は、同時化処理部３１２から入力された画像と、第１記憶部７０１に記憶された１フレーム前に取得された画像の特徴点をマッチングし、マッチングした特徴点の動きベクトルから動き量Ｍｖ１を算出する。例えば、動き量Ｍｖ１は、画像全体の特徴点の動きベクトルの平均である。
【００３７】
次に、補正開始検出部７０２は、算出された動き量Ｍｖ１と所定の閾値ＴｈＭｖ１とを比較し、画像上での被写体の動きが大きいか否かの判定を行う。閾値ＴｈＭｖ１は、予め設定された値を用いてもよいし、制御部３２０により自動的に設定されてもよい。補正開始検出部７０２は、動き量Ｍｖ１が閾値ＴｈＭｖ１より小さい場合、すなわち被写体の動きが少ない場合には、ドクターが被写体を詳細に観察している状態であると判断する。この場合、補正開始検出部７０２は、ブレ補正を開始するために、画像を係数算出部７０３に転送する。一方、補正開始検出部７０２は、動き量Ｍｖ１が閾値ＴｈＭｖ１以上である場合、すなわち被写体の動きが大きい場合には、ドクターが被写体をスクリーニングしている状態であると判断する。この場合、補正開始検出部７０２は画像を後処理部３１４に転送し、ブレ補正は行われない。
【００３８】
なお、本実施形態では、ドクターが外部Ｉ／Ｆ部５００を用いて補正開始を入力し、その入力に基づいてブレ補正を行ってもよい。この場合、補正開始が入力されると、外部Ｉ／Ｆ部５００から制御部３２０を介して補正開始信号が入力され、画像が係数算出部７０３に転送される。
【００３９】
係数算出部７０３は、補正開始検出部７０２から入力された画像と、第１記憶部７０１に記憶された１フレーム前に取得された画像とに基づいて、奥行き方向のブレを補正するための補正係数を算出する。具体的には、係数算出部７０３には、補正開始検出部７０２により求められた特徴点の情報が入力される。特徴点の情報は、現在フレームの画像の特徴点と、１フレーム前の画像の特徴点の情報である。係数算出部７０３は、これらの特徴点の相似形状から、倍率Ｍａｇを算出する。
【００４０】
例えば、図６（Ｂ）に示す時刻ｔで取得された画像から抽出した特徴点による多角形と、図６（Ａ）に示す時刻ｔ−１で取得された画像から抽出した特徴点による多角形を考える。時刻ｔの画像は現在フレームの画像であり、時刻ｔ−１の画像は第１記憶部７０１に記憶された１フレーム前の画像である。係数算出部７０３は、時刻ｔの多角形と時刻ｔ−１の多角形の面積が同程度となるような倍率Ｍａｇを算出する。例えば、係数算出部７０３は、時刻ｔ−１の面積に対する時刻ｔの面積の比を倍率Ｍａｇとして算出する。算出された倍率Ｍａｇは、奥行きブレ補正処理部７０４に転送される。
【００４１】
奥行きブレ補正処理部７０４は、係数算出部７０３から入力された倍率Ｍａｇに基づいて画像を拡大または縮小する。具体的には、奥行きブレ補正処理部７０４は、倍率Ｍａｇの逆数を拡大率とした拡大処理を電子ズームにより行う。例えば、拡大処理または縮小処理には公知の補間処理を用いる。図６（Ｃ）に、時刻ｔで取得した画像を倍率Ｍａｇで拡大した画像の例を示す。このように、奥行きブレ補正処理部７０４は、各時刻（各フレーム）の画像上での被写体の大きさを一定にする処理を行う。拡大処理を施された画像は、トリミング部７０５に転送される。
【００４２】
トリミング部７０５は、奥行きブレ補正処理部７０４から入力された画像をトリミングする。トリミング範囲は、予め指定された所定の範囲を用いてもよいし、外部Ｉ／Ｆ部５００から制御部３２０を介して指定されてもよい。図６（Ｄ）に、図６（Ｃ）に示す画像に対するトリミング範囲の例を示す。図６（Ｅ）に示すように、画像がトリミング範囲より小さい場合は、画像の外側の範囲にマスク処理を施す。なお、画像がトリミング範囲より小さい場合の処理は、上記に限らず、画像をトリミング範囲と同じ大きさまで拡大してもよい。このように、トリミング部７０５は、奥行きブレ補正により拡大縮小された画像から一定サイズの画像を取り出す処理を行う。トリミングされた画像は第２記憶部７０６と、判定部７０７と、平面ブレ補正処理部７０８に転送される。
【００４３】
第２記憶部７０６は、トリミング部７０５から入力された画像を記憶する。
【００４４】
判定部７０７は、奥行き補正処理が安定しているか否かの判定を行う。具体的には、判定部７０７は、トリミング部７０５から入力された画像と、第２記憶部７０６に記憶された１フレーム前の画像との相関値を検出する。そして、判定部７０７は、その相関値に基づいて、奥行きブレ補正が安定しているか否かの判定を行う。
【００４５】
例えば、図６（Ｆ）に、図６（Ｄ）に示す画像をトリミングした画像の例を示す。また、図６（Ｇ）に、図６（Ｆ）の画像より１フレーム前に取得された画像をトリミングした画像の例を示す。判定部７０７は、これらの画像の特徴点をマッチングし、マッチングした特徴点の動きベクトルから動き量Ｍｖ２を算出する。具体的には、動き量Ｍｖ２は、画像全体の特徴点の動きベクトルの平均である。
【００４６】
次に、判定部７０７は、算出された動き量Ｍｖ２と所定の閾値ＴｈＭｖ２とを比較し、画像上での被写体の動きが大きいか否かの判定を行う。閾値ＴｈＭｖ２は予め設定された値を用いてもよいし、制御部３２０により自動的に設定されてもよい。判定部７０７は、動き量Ｍｖ２が閾値ＴｈＭｖ２より小さい場合、すなわち被写体の動きが少ない場合には、奥行きブレ補正が安定していると判断する。この場合、判定部７０７は、上下左右方向の平面ブレ補正を開始するために、画像を平面ブレ補正処理部７０８に転送する。一方、判定部７０７は、動き量Ｍｖ２が閾値ＴｈＭｖ２以上である場合、すなわち被写体の動きが大きい場合には、奥行きブレ補正が安定していない状態であると判断する。この場合、判定部７０７は、画像を後処理部３１４に転送し、平面ブレ補正は行われない。
【００４７】
平面ブレ補正処理部７０８は、判定部７０７から入力された画像に対して、上下左右方向のブレ補正である平面ブレ補正を行う。例えば、平面ブレ補正は、公知の電子式ブレ補正により行われる。電子式ブレ補正では、例えば、フレーム間の被写体の動きベクトルをマッチング処理により求め、その動きベクトルに応じてトリミング範囲を設定する。被写体の動きベクトルに応じてトリミングするため、被写体の平面ブレが抑制されたトリミング画像が取得される。平面ブレ補正処理を施された画像は、後処理部３１４に転送される。
【００４８】
なお、上記では判定部７０７がマッチング処理により特徴点の動きベクトルを求める場合について説明したが、本実施形態ではこれに限定されない。例えば、判定部７０７は、補正開始検出部７０２が求めた特徴点の情報と係数算出部７０３が求めた補正係数に基づいて、奥行きブレ補正後の画像における特徴点の動きベクトルを算出してもよい。
【００４９】
図７に、ブレ補正処理における特徴点データの例を示す。図７に示すように、現在フレームの画像ｆ（ｔ）での特徴点Ｐ１〜Ｐ３の座標と、１フレーム前の画像ｆ（ｔ−１）での特徴点Ｐ１’〜Ｐ３’の座標が求められる。例えば図６（Ａ）に示すように、特徴点は、病変部や血管交差部等のマッチング処理に適した領域である。特徴点Ｐ１’〜Ｐ３’は、マッチング処理により特徴点Ｐ１〜Ｐ３に対応付けられている。
【００５０】
補正開始検出部７０２は、これらの特徴点の座標を用いて動きベクトルＰ１−Ｐ１’〜Ｐ３−Ｐ３’を求め、この動きベクトルに基づいてブレ補正処理の開始判定を行う。開始条件を満たすと、係数算出部７０３は、特徴点Ｐ１〜Ｐ３による多角形の面積と特徴点Ｐ１’〜Ｐ３’による多角形の面積を求め、それらの面積から倍率Ｍａｇを求める。奥行きブレ補正処理部７０４は、その倍率Ｍａｇにより画像ｆ（ｔ）に対して電子ズーム処理を行う。
【００５１】
判定部７０７は、特徴点Ｐ１〜Ｐ３の座標と倍率Ｍａｇに基づいて、奥行きブレ補正後の特徴点の座標Ｍａｇ・Ｐ１〜Ｍａｇ・Ｐ３を算出する。判定部７０７は、この座標Ｍａｇ・Ｐ１〜Ｍａｇ・Ｐ３と特徴点Ｐ１’〜Ｐ３’の座標に基づいて、奥行きブレ補正後の動きベクトルＭａｇ・Ｐ１−Ｐ１’〜Ｍａｇ・Ｐ３−Ｐ３’を算出する。そして、判定部７０７は、動きベクトルＭａｇ・Ｐ１−Ｐ１’〜Ｍａｇ・Ｐ３−Ｐ３’に基づいて、平面ブレ補正の開始判定を行う。
【００５２】
５．プログラム
なお本実施形態では、画像処理部３１０の各部が行う処理の一部または全部をソフトウェアで構成することとしてもよい。この場合、例えば図１７等で後述するコンピュータシステムのＣＰＵが画像処理プログラムを実行する。
【００５３】
図８に、画像処理プログラムのフローチャート例を示す。図８に示すように、この処理が開始されると、時系列の画像に対して、光源との同期信号や撮影モードなどのヘッダ情報を入力する（Ｓ１１）。
【００５４】
次に、画像を予め確保しておいた画像バッファに入力する（Ｓ１２）。次に、入力された画像に対して、例えば公知のＯＢクランプ処理やゲイン補正処理、ＷＢ補正処理等の処理を行う（Ｓ１３）。次に、入力された時系列の画像を、光源との同期信号に従い同時化する処理を行う（Ｓ１４）。次に、画像に対してブレ補正処理を行う（Ｓ１５）。ブレ補正処理については、図９で詳細に後述する。次に、ブレ補正処理された画像に対して階調変換処理や色処理、輪郭強調処理等の処理を行う（Ｓ１６）。次に、後処理された画像を出力する（Ｓ１７）。
【００５５】
次に、時系列画像のうち最終の画像の処理が終了したか否かを判定する（Ｓ１８）。終了していないと判定した場合には、ステップＳ１２へ戻り、次の画像に対してステップＳ１２〜Ｓ１７の処理を繰り返して行う（Ｓ１８，Ｎｏ）。一方、全画像の処理が終了していると判定した場合には、この処理を終了する（Ｓ１８，Ｙｅｓ）。
【００５６】
図９に、図８のステップＳ１５に示すブレ補正処理の詳細なフローチャート例を示す。図９に示すように、この処理が開始されると、入力された画像と、その画像より過去の画像との特徴点をマッチングし、マッチングした特徴点の動きベクトルから動き量Ｍｖ１を算出する（Ｓ２１）。このとき、過去の画像として、ステップＳ２２で使用する第１作業用画像バッファに記憶された画像を用いる。次に、入力された画像を予め確保しておいた第１作業用画像バッファにコピーする（Ｓ２２）。
【００５７】
次に、動き量Ｍｖ１が、予め設定された閾値ＴｈＭｖ１より大きいか否かの判定を行う（Ｓ２３）。動き量Ｍｖ１が閾値ＴｈＭｖ１以上の場合は処理を終了する（Ｓ２３，Ｎｏ）。一方、動き量Ｍｖ１が閾値ＴｈＭｖ１よりも小さい場合（Ｓ２３，Ｙｅｓ）は、第１作業用バッファの画像の特徴点を含む多角形の面積と、入力された画像の特徴点を含む多角形の面積とが、同程度となるような倍率Ｍａｇを算出する（Ｓ２４）。次に、倍率Ｍａｇを用いて拡大処理を行うことで、奥行きブレ補正処理を行う（Ｓ２５）。次に、奥行きブレ補正処理を施された画像から所定の範囲をトリミングする（Ｓ２６）。次に、トリミングされた画像と、その画像より過去のトリミングされた画像との特徴点をマッチングし、マッチングした特徴点の動きベクトルから動き量Ｍｖ２を算出する（Ｓ２７）。このとき、過去のトリミングされた画像として、ステップＳ２８で使用する第２作業用画像バッファに記憶された画像を用いる。次に、トリミングされた画像を予め確保しておいた第２作業用画像バッファにコピーする（Ｓ２８）。
【００５８】
次に、動き量Ｍｖ２が、予め設定された閾値ＴｈＭｖ２より大きいか否かの判定を行う（Ｓ２９）。動き量Ｍｖ２が閾値ＴｈＭｖ２以上の場合は処理を終了する（Ｓ２９，Ｎｏ）。一方、動き量Ｍｖ２が閾値ＴｈＭｖ２よりも小さい場合は、上下左右方向の平面ブレ補正処理を行う（Ｓ３０）。
【００５９】
このような処理を行うことで、臓器の拍動により被写体が動いている場合でも、被写体を一定の大きさで表示することが可能となるため、ドクターの負荷を軽減しながら病変部の観察性能を向上させる内視鏡装置を提供することが可能となる。
【００６０】
さて上述のように、心臓の拍動による臓器の動き等によって、撮像部の奥行き方向の被写体ブレが生じ、そのブレによって観察部位の視認性が劣化するという課題がある。例えば、拡大観察時には撮像部を被写体に正対させて高倍率で観察するため、奥行き方向のブレが大きくなる。
【００６１】
この点、本実施形態の内視鏡装置は、図５に示すように、画像取得部と、係数算出部７０３と、奥行きブレ補正処理部７０４を含む。画像取得部は、時系列に画像を取得する。係数算出部７０３は、撮像部２００の光軸に沿った方向である奥行き方向のブレを補正するための補正係数Ｍａｇを算出する。奥行きブレ補正処理部７０４は、時系列に取得された画像の奥行き方向のブレを補正係数Ｍａｇに基づいて補正する処理を行う。
【００６２】
これにより、動画像における奥行き方向のブレを抑制することが可能になる。すなわち、補正係数Ｍａｇに基づいて画像の奥行き方向のブレを補正することで、臓器の拍動により被写体が奥行き方向に動いている場合であっても、動画像のブレを軽減して表示できる。これにより、視認性等の観察性能を向上できるため、ドクターの負荷を軽減できる。
【００６３】
ここで、図４に示すように、本実施形態では同時化処理部３１２が画像取得部に対応する。すなわち、撮像素子２０６が動画像として時系列に画像を撮像し、Ａ／Ｄ変換部２０７がデジタルデータに変換し、前処理部３１１が前処理を行う。そして、同時化処理部３１２が同時化処理を行うことで、動画像として時系列に画像を取得する。
【００６４】
また本実施形態では、画像取得部は、第１画像と、第１画像の後の第２画像を時系列に取得する。係数算出部７０３は、第１画像に対する第２画像の倍率に対応する補正係数Ｍａｇを算出する。奥行きブレ補正処理部７０４は、奥行き方向のブレにより生じる画像の倍率変化を、補正係数Ｍａｇに基づいて補正することで、奥行き方向のブレ補正を行う。
【００６５】
このようにすれば、補正係数Ｍａｇに基づいて奥行き方向のブレを補正することが可能になる。具体的には、第１画像に対する第２画像の倍率に対応する補正係数Ｍａｇを求めることで、時系列に取得された画像の倍率変化を補正係数Ｍａｇに基づいて補正することができる。
【００６６】
ここで、第１画像とは、例えば処理対象フレームの１フレーム前の画像であり、第２画像とは、例えば処理対象フレームの画像である。また、第１画像に対する第２画像の倍率に対応する補正係数とは、第１画像と第２画像から画像処理により求めた倍率であってもよく、後述するＡＦレンズ位置等の他の情報から求めた倍率であってもよい。また、倍率変化の補正とは、第２画像の倍率を補正する場合に限らない。例えば、後述するように、第２画像の後の第３画像の撮像倍率を光学ズームで補正してもよい。
【００６７】
また本実施形態では、図５に示すように、奥行きブレ補正処理を開始するタイミングを検出する補正開始検出部７０２を含む。奥行きブレ補正処理部７０４は、補正開始検出部７０２によりタイミングが検出された場合に、奥行きブレ補正処理を開始する。
【００６８】
このようにすれば、奥行きブレ補正が必要な状態となった場合に奥行き方向のブレを補正する処理を行うことができる。例えば、撮像部の光軸に沿った方向の被写体像のブレが所定の基準範囲を超えたと判定した場合に、奥行きブレ補正処理を開始させることが可能である。これにより、例えば消化管に沿って撮像部を移動させて病変部をサーチしている場合に、奥行きブレ補正処理がサーチの妨げとなることを抑制できる。
【００６９】
また本実施形態では、図５に示すように、判定部７０７と、平面ブレ補正処理部７０８を含む。判定部７０７は、奥行きブレ補正処理後の奥行き方向のブレが、所定の基準範囲内となったか否かを判定する。平面ブレ補正処理部７０８は、奥行き方向のブレが所定の基準範囲内となったと判定部７０７により判定された場合に、撮像部２００の光軸に直交する方向のブレである平面ブレを補正する処理を行う。
【００７０】
このようにすれば、奥行き方向のブレが所定の基準範囲に収まっている（安定した）場合に、平面ブレを補正する処理を行うことができる。例えば、奥行きブレが十分補正されていない状態では画像の倍率変化が大きい。この場合、フレーム間のマッチング精度が悪く、平面ブレ補正の精度が劣化する。そのため、奥行きブレを判定して平面ブレを補正することで、平面ブレ補正の精度を向上できる。
【００７１】
また本実施形態では、図６（Ａ）等で上述のように、係数算出部７０３は、第１画像の特徴点Ｐ１’〜Ｐ３’に囲まれた領域の面積と、第１画像の特徴点Ｐ１’〜Ｐ３’に対応する第２画像の特徴点Ｐ１〜Ｐ３に囲まれた領域の面積との比に基づいて、第１画像に対する第２画像の倍率を算出し、算出した倍率を補正係数Ｍａｇとする。
【００７２】
このようにすれば、第１画像に対する第２画像の倍率を補正係数として求めることができる。また、その補正係数を、画像処理により算出できる。
【００７３】
また本実施形態では、奥行きブレ補正処理部７０４は、画像のサイズを補正係数Ｍａｇに基づいて拡大または縮小することで、奥行きブレ補正処理を行う。具体的には、係数算出部７０３は、第１画像に対する第２画像の倍率を補正係数Ｍａｇとして算出する。そして、奥行きブレ補正処理部７０４は、第２画像のサイズを補正係数Ｍａｇに基づいて拡大または縮小する。また図５に示すように、内視鏡装置は、奥行きブレ補正処理が施された画像から所定サイズの画像をトリミングするトリミング部を含む。
【００７４】
このようにすれば、画像サイズの拡縮を行う電子ズームによる奥行きブレ補正を行うことができる。具体的には、補正係数として倍率を算出し、その倍率により第２画像を電子ズームすることで奥行きブレを補正できる。電子ズームを用いることで、奥行き方向のブレ補正にメカ機構が不要なため、撮像部の先端部を太くする必要がない。また、トリミングを行うことで、電子ズームにより変化した画像サイズを所定サイズで表示できる。
【００７５】
また本実施形態では、補正開始検出部７０２は、画像における被写体の動き情報に基づいて、奥行きブレ補正処理を行うか否かを判定する。奥行きブレ補正処理部７０４は、補正開始検出部７０２により奥行きブレ補正処理を行うと判定された場合に、奥行きブレ補正処理を開始する。具体的には、補正開始検出部７０２は、第１画像と第２画像の被写体の動き情報に基づいて奥行き方向のブレの大きさを表す動き量Ｍｖ１を求め、その動き量Ｍｖ１が閾値ＴｈＭｖ１よりも大きい場合に、奥行きブレ補正処理を行うと判定する。
【００７６】
例えば本実施形態では、補正開始検出部７０２は、マッチング処理により特徴点Ｐ１〜Ｐ３の座標を求め、その特徴点Ｐ１〜Ｐ３の動きベクトルを動き情報として求め、その動きベクトルの平均値を動き量Ｍｖ１とする。
【００７７】
このようにすれば、画像処理により求めた動き情報に基づいて開始タイミングを検出できる。また、動き量Ｍｖ１と閾値ＴｈＭｖ１の大小判定を行うことで、奥行き方向のブレが所定の基準範囲内であるかを判定できる。
【００７８】
また本実施形態では、判定部７０７は、奥行きブレ補正処理後の画像の動き情報に基づいて、奥行きブレ補正処理後の奥行き方向のブレが所定の基準範囲内となったか否かを判定する。具体的には、判定部７０７は、第１画像の特徴点Ｐ１’〜Ｐ３’と、第１画像の特徴点に対応する第２画像の特徴点Ｐ１〜Ｐ３との間の奥行きブレ補正処理後の動き情報に基づいて、奥行き方向のブレの大きさを表す動き量Ｍｖ２を求める。そして、判定部７０７は、動き量Ｍｖ２が閾値ＴｈＭｖ２よりも小さい場合に、平面ブレ補正処理を行うと判定する。
【００７９】
このようにすれば、平面ブレ補正処理を開始するタイミングを、奥行きブレ補正処理後の画像の動き情報に基づいて検出できる。また、動き量Ｍｖ２と閾値ＴｈＭｖ２の大小判定を行うことで、奥行きブレ補正処理後の奥行き方向のブレが所定の基準範囲内であるかを判定できる。
【００８０】
また本実施形態では、平面ブレ補正処理部７０８は、電子式ブレ補正により平面ブレを補正する処理を行う。なお電子式ブレ補正では、判定部７０７が算出した特徴点の動きベクトルを用いて補正を行ってもよいし、新たなマッチング処理により動きベクトルを求めて補正を行ってもよい。
【００８１】
なお上記では、撮像された画像に基づいて被写体の動き情報を求める場合を例に説明したが、本実施形態ではこれに限定されない。例えば撮像部２００の先端部にセンサを設け、そのセンサにより先端部の動き情報を取得し、その動き情報に基づいて奥行きブレ補正処理や平面ブレ補正処理を行ってもよい。
【００８２】
６．内視鏡装置の第２の構成例
本実施形態では、撮像部がオートフォーカス処理を行い、そのオートフォーカス処理により設定されたピント位置に基づいて拡大率Ｍａｇを算出してもよい。図１０に、この場合の構成例として内視鏡装置の第２の構成例を示す。図１０に示す内視鏡装置は、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお、図１等で上述の第１の構成例と同一の構成要素については同一の符号を付し、適宜説明を省略する。
【００８３】
撮像部２００には、ＡＦ用レンズ２０８と、ＡＦ用レンズ駆動部２０９が追加される。ＡＦ用レンズ２０８は、ＡＦ用レンズ駆動部２０９により光軸方向に移動する。ＡＦ用レンズ駆動部２０９は、制御部３２０の制御信号に基づいてＡＦ用レンズ２０８を所定位置に移動させる。
【００８４】
制御装置３００では、第１の構成例に比べて、画像処理部３１０の詳細な構成が異なり、制御部３２０の制御内容がＡＦ制御の追加に伴い変更されている。
【００８５】
図１１に、画像処理部３１０の第２の詳細な構成例を示す。画像処理部３１０には、ＡＦ制御部３１５が追加される。また、図４等で上述の構成例と比べて、ブレ補正処理部３１３の詳細が異なる。同時化処理部３１２は、ブレ補正処理部３１３と、ＡＦ制御部３１５に接続されている。ＡＦ制御部３１５は、ブレ補正処理部３１３に接続されている。また、ＡＦ制御部３１５は、制御部３２０と相互に接続されている。
【００８６】
ＡＦ制御部３１５は、制御部３２０の制御によりＡＦ制御を行う。例えば、ＡＦ制御部３１５は、制御部３２０の制御により可変絞り２０４が開放状態に設定された場合にＡＦ制御を行う。具体的には、ＡＦ制御部３１５は、同時化処理部３１２から入力された画像に基づいて、コントラストＡＦ処理を行い、制御部３２０を介して、ＡＦ制御信号をＡＦ用レンズ駆動部２０９に転送する。コントラストＡＦ処理は、例えば公知の処理が用いられる。以下にコントラストＡＦ処理の概要を説明する。
【００８７】
まず、レンズの初期位置ｐ１でＡＦ評価値Ａ１を算出する。ＡＦ評価値とは、ここでは、例えば、ハイパスフィルタを通した画像の信号値の総和とする。次に、ｐ１から無限遠方向または至近方向に一定量ＡＦ用レンズ２０８を移動した位置ｐ２で、ＡＦ評価値Ａ２を算出する。ＡＦ評価値Ａ１とＡ２を比較し、合焦位置がどちらの方向かの判定を行う。次に、合焦位置に向かい一定量ＡＦ用レンズ２０８を移動し、位置ｐ３、ｐ４でＡＦ評価値Ａ３、Ａ４を算出する。ここで、ＡＦ評価値がピークすなわち合焦位置を、通り過ぎた場合、合焦位置付近の３点と、ＡＦ評価値により合焦位置を補間演算して算出する。補間演算には、例えば直線補間等の公知の技術を用いる。補間方法は、上記に限らず、ラグランジュ補間や、スプライン補間などを用いてもよい。算出された合焦位置にＡＦ用レンズを移動しＡＦ処理の最初に戻る。
【００８８】
次に、ブレ補正処理部３１３について説明する。図１２に、ブレ補正処理部３１３の第２の詳細な構成例を示す。ブレ補正処理部３１３では、図５等で上述の構成例と比べて、第１記憶部７０１が削除される。また、補正開始検出部７０２と、係数算出部７０３の詳細が異なる。ＡＦ制御部３１５は、補正開始検出部７０２と、係数算出部７０３に接続されている。
【００８９】
補正開始検出部７０２は、ＡＦ制御部３１５がＡＦ制御を開始したタイミングでブレ補正を開始する。補正開始検出部７０２は、ＡＦ制御部３１５がＡＦ制御を行っている場合は、画像を係数算出部７０３に転送する。補正開始検出部７０２は、ＡＦ制御部３１５がＡＦ制御を行っていない場合は、画像を後処理部３１４に転送する。
【００９０】
係数算出部７０３は、ＡＦ制御部３１５から入力されるＡＦ制御信号に基づいて、奥行きブレ補正係数を算出する。具体的には、係数算出部７０３は、ＡＦ用レンズ２０８の合焦位置と、次のタイミングで合焦位置に移動したときのＡＦ用レンズ２０８の位置と、に基づいて倍率Ｍａｇを算出する。より具体的には係数算出部７０３は、ＡＦ用レンズ２０８の位置と焦点距離の対応を示したＬＵＴ（ルックアップテーブル）を用いて、ＡＦ用レンズ２０８の位置での焦点距離ｆａと、次のタイミングで合焦位置に移動したときのＡＦ用レンズ２０８の位置での焦点距離ｆｂを求める。そして、係数算出部７０３は、焦点距離ｆａと焦点距離ｆｂの比から倍率Ｍａｇを算出する。
【００９１】
例えば以下に示すように、ＬＵＴではＡＦ用レンズ２０８の位置と焦点距離が対応付けられている。ここで、ｎは自然数である。
レンズ位置：焦点距離ｆ
ｘ１：ｆｘ１
ｘ２：ｆｘ２
ｘ３：ｆｘ３
・ ・
・ ・
ｘｎ：ｆｘｎ
【００９２】
ＡＦ制御部３１５からのＡＦレンズ位置情報を取得し、上記のＬＵＴを参照することで、ＡＦレンズ位置から焦点距離ｆが求まる。処理対象画像を撮像したときの焦点距離をｆｔとし、処理対象画像より１フレーム前の画像を撮像したときの焦点距離をｆｔ−１とすると、倍率Ｍａｇは下式（１）により求まる。
Ｍａｇ＝ｆｔ−１／ｆｔ ・・・ （１）
【００９３】
７．プログラムの第２の例
なお本実施形態では、図１１に示す画像処理部３１０の各部が行う処理の一部または全部をソフトウェアで構成することとしてもよい。この場合、例えば図１７等で後述するコンピュータシステムのＣＰＵが画像処理プログラムを実行する。
【００９４】
図１３に、ブレ補正処理の第２のフローチャート例を示す。なお、図８で上述のフローチャートとはステップＳ１１とＳ１５の詳細が異なり、他のステップについては同様である。すなわち、ステップＳ１１では、入力されるヘッダ情報にＡＦ制御信号が追加される。ステップＳ１５の詳細については、図１３を用いて説明する。
【００９５】
図１３では、図９のフローチャート例に比べてステップＳ２１〜Ｓ２３が削除され、ステップＳ１２３が追加される。ステップＳ１２３では、画像のヘッダ情報から、ＡＦ制御されたタイミングで取得された画像であるか否かの判定を行い、ＡＦ制御されている時に取得された画像の場合Ｓ２４へ行く。一方、ＡＦ制御されていない時に取得された画像の場合は、処理を終了する。
【００９６】
上記の実施形態によれば、撮像部２００は、オートフォーカス処理を行う光学系を有する。係数算出部７０３は、オートフォーカス処理により調整された光学系のフォーカス位置に基づいて補正係数Ｍａｇを算出する。具体的には、上式（１）に示すように、係数算出部７０３は、第１画像を撮像したときのフォーカス位置ｆｔ−１と第２画像を撮像したときのフォーカス位置ｆｔに基づいて第１画像に対する第２画像の倍率ｆｔ−１／ｆｔを算出し、算出した倍率を補正係数Ｍａｇとする。
【００９７】
このようにすれば、オートフォーカスを用いることで、撮像系の被写界深度が浅い拡大観察の場合でも常にフォーカスが合った状態にできる。これにより、常にフォーカスの合った状態で奥行き方向のブレ補正を行うことが可能になり、ドクターの負荷を軽減し、観察性能を向上させることができる。また撮像部から被写体までの距離がフォーカス位置により分かるため、フォーカス位置の比で倍率を求めることができる。
【００９８】
ここで、図１０に示すように、オートフォーカス処理は、制御部３２０がＡＦ用レンズ駆動部２０９を制御し、ＡＦ用レンズ駆動部２０９がＡＦ用レンズ２０８を駆動することで実現される。光学系のフォーカス位置とは、被写体にピントが合った場合における撮像部から被写体までの距離であり、ＡＦ用レンズ２０８の位置によって決まる。ＡＦ用レンズの位置は、例えばＡＦ用レンズ２０８から対物レンズ２０３までの距離である。上述のように、ＡＦ用レンズの位置からフォーカス位置（焦点距離ｆ）が求められる。
【００９９】
また本実施形態では、補正開始検出部７０２は、オートフォーカス処理の動作状態に基づいて奥行きブレ補正処理を行うか否かを判定する。例えば、撮像部２００の光学系は、光学ズーム処理を行ってもよい。この場合、オートフォーカス処理は、通常観察モードでの光学ズーム倍率よりも高倍率の拡大観察モードにおいて、オン状態に設定される。補正開始検出部７０２は、オートフォーカス処理がオン状態に設定された場合に、奥行きブレ補正処理を行うと判定する。
【０１００】
このようにすれば、オートフォーカス処理の動作状態に基づいて奥行きブレ補正の開始タイミングを検出できる。例えば、オートフォーカス処理のオン・オフや、フォーカス調整の頻度や、ＡＦ用レンズ位置の移動量などに応じて開始タイミングを検出できる。また、拡大観察モードにおいてオートフォーカス処理をオン状態に設定して開始タイミングを検出することで、ブレの大きい拡大観察時に奥行きブレ補正を行うことができる。
【０１０１】
８．内視鏡装置の第３の構成例
本実施形態では、撮像部が光学ズーム機能を有し、光学ズームにより奥行き方向のブレを補正してもよい。図１４に、この場合の構成例として内視鏡装置の第３の構成例を示す。内視鏡装置は、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお、図１等で上述の第１の構成例と同一の構成要素については同一の符号を付し、適宜説明を省略する。
【０１０２】
撮像部２００には、ズーム用レンズ２１０と、ズーム用レンズ駆動部２１１が追加される。ズーム用レンズ２１０は、ズーム用レンズ駆動部２１１により光軸方向に移動する。ズーム用レンズ駆動部２１１は、制御部３２０からの制御信号に基づいて、ズーム用レンズ２１０を所定位置に移動させる。
【０１０３】
制御装置３００では、図１に示す第１の構成例に比べて、画像処理部３１０の詳細が異なり、制御部３２０の制御内容がズーム制御の追加に伴い変更されている。
【０１０４】
図１５に、画像処理部３１０の第３の詳細な構成例示す。画像処理部３１０には、図４に示す構成例に比べて、ズーム制御部３１６が追加される。また、ブレ補正処理部３１３の詳細が異なる。ブレ補正処理部３１３は、ズーム制御部３１６に接続される。ズーム制御部３１６は、制御部３２０と相互に接続されている。
【０１０５】
ズーム制御部３１６は、奥行きブレ補正処理を行う際の補正係数に基づいて、光学的なズーム制御を行う。具体的には、ズーム制御部３１６は、ブレ補正処理部３１３から入力される倍率Ｍａｇに基づいて、制御部３２０を介してズーム用レンズ駆動部２１１にズーム制御信号を転送する。ズーム制御部３１６は、倍率Ｍａｇと現在の焦点距離ｆａから、ズーム後の焦点距離ｆｂを算出する。ズーム制御部３１６は、ズーム後の焦点距離ｆｂからレンズ位置を算出する。例えばズーム制御部３１６は、焦点距離とレンズ位置が対応付けられたＬＵＴを参照してレンズ位置を求め、そのレンズ位置に基づいてズーム用レンズ駆動部２１１を制御する。
【０１０６】
次に、ブレ補正処理部３１３について詳細に説明する。図１６に、ブレ補正処理部３１３の第３の詳細な構成例を示す。図１６に示すブレ補正処理部３１３では、図５に示す構成例に比べて、奥行きブレ補正処理部７０４、トリミング部７０５、第２記憶部７０６、判定部７０７が削除される。また、補正開始検出部７０２と、係数算出部７０３の詳細が異なっている。係数算出部７０３は、平面ブレ補正処理部７０８と、後処理部３１４、ズーム制御部３１６に接続されている。
【０１０７】
補正開始検出部７０２は、奥行きブレ補正（光学ズーム制御）や平面ブレ補正を行うか否かの判定を行う。補正開始検出部７０２は、図６（Ａ）等で上述の手法と同様に、マッチング処理により動き量Ｍｖを算出する。補正開始検出部７０２は、動き量Ｍｖを閾値ＴｈＭｖ１及びＴｈＭｖ２と比較する（ＴｈＭｖ１＞ＴｈＭｖ２）。
【０１０８】
補正開始検出部７０２は、動き量Ｍｖが閾値ＴｈＭｖ２より小さい場合、制御部３２０を介して、平面ブレ補正を行う制御信号を係数算出部７０３に転送し、画像を係数算出部７０３に転送する。補正開始検出部７０２は、動き量Ｍｖが閾値ＴｈＭｖ１より小さく、閾値ＴｈＭｖ２以上の場合、制御部３２０を介して、平面ブレ補正を行わない制御信号を係数算出部７０３に転送し、画像を係数算出部７０３に転送する。補正開始検出部７０２は、動き量Ｍｖが閾値ＴｈＭｖ１以上の場合、画像を後処理部３１４に転送する。
【０１０９】
係数算出部７０３は、算出した倍率Ｍａｇをズーム制御部３１６に転送する。また、制御部３２０から入力された制御信号が平面ブレ補正を行う場合は、画像を平面ブレ補正処理部７０８に転送する。一方、係数算出部７０３は、制御部３２０から入力された制御信号が平面ブレ補正を行わない場合は、画像を後処理部３１４に転送する。
【０１１０】
上記の実施形態によれば、撮像部２００は、光学ズーム処理を行う光学系を有する。奥行きブレ補正処理部７０４は、光学系の光学ズーム倍率を補正係数Ｍａｇに基づいて調整することで、奥行きブレ補正処理を行う。例えば本実施形態では、第１画像〜第３画像を時系列に取得し、第１画像に対する第２画像の倍率を補正係数とし、第２画像の後の第３画像を撮像する際に、その補正係数の逆数の倍率だけ光学ズーム倍率を変化させる制御を行う。
【０１１１】
このようにすれば、光学ズームを用いることで画質劣化のない奥行きブレ補正を行うことができ、ドクターの負荷を軽減し、観察性能を向上させることができる。また、心臓の拍動は１回／秒程度であり、一般的な撮像のフレームレート（例えば３０フレーム／秒）よりも遅い。そのため、光学ズームでは１フレーム遅れて補正がされるが、奥行き方向のブレを十分抑制することが可能である。
【０１１２】
なお上記の実施形態では、撮像素子２０６がモノクロ単板撮像素子である場合を例に説明したが、本実施形態ではこれに限定されず、例えば撮像素子２０６が原色ベイヤ配列フィルタの撮像素子や補色フィルタの撮像素子であってもよい。この場合、光源部の回転色フィルタ１０４や、回転駆動部１０５は不要である。また、画像処理部３１０の同時化処理部３１２は、補間処理（デモザイキング処理）を行う。この補間処理は、例えば公知の線形補間等により実現可能である。
【０１１３】
また上記の実施形態では、ＡＦ機能または光学ズーム機能を有する場合を例に説明したが、本実施形態ではＡＦ機能と光学ズーム機能の両方を有してもよい。
【０１１４】
９．コンピュータシステム
上記の本実施形態では、画像処理部３１０を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、カプセル内視鏡などの撮像装置を用いて予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。予め取得された画像とは、例えば、Ａ／Ｄ変換部２０７が出力するベイヤ配列の出力画像を、ＲＡＷファイルとして記録媒体に記録した画像である。
【０１１５】
撮像部を別体とし、画像処理部３１０の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピュータシステムを画像処理装置として用いることができる。そして、画像処理部３１０の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。
【０１１６】
図１７は、本変形例におけるコンピュータシステム６００の構成を示すシステム構成図であり、図１８は、このコンピュータシステム６００における本体部６１０の構成を示すブロック図である。図１７に示すように、コンピュータシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピュータシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。
【０１１７】
また、このコンピュータシステム６００における本体部６１０は、図１８に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース６１８を備える。
【０１１８】
さらに、このコンピュータシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。
【０１１９】
そして、このコンピュータシステム６００は、所定の記録媒体に記録された画像処理プログラム（例えば図８、図９、図１３）を参照して、後述する処理手順を実現するための画像処理プログラムを読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピュータシステム６００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
【０１２０】
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピュータシステム６００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム６００によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【０１２１】
これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピュータシステムでソフトウェア的に処理を行うことが可能になる。
【０１２２】
また本実施形態は、本実施形態の各部（前処理部、同時化処理部、ブレ補正処理部、後処理部等）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。
【０１２３】
ここで、プログラムコードとは、時系列に取得された画像を取得する画像取得部と、撮像部の光軸に沿った方向である奥行き方向のブレを補正するための補正係数を算出する係数算出部と、前記補正係数に基づいて、前記画像の前記奥行き方向のブレを補正する処理を行う奥行きブレ補正処理部と、を実現する。
【０１２４】
またコンピュータプログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。
【０１２５】
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【０１２６】
また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（画像、内視鏡システム、奥行き方向等）と共に記載された用語（画像信号、内視鏡装置、光軸方向等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【０１２７】
１００ 光源部、１０１ 白色光源、１０３ 光源絞り駆動部、
１０４ 回転色フィルタ、１０５ 回転駆動部、１０６ 集光レンズ、２００ 撮像部、
２０１ ライトガイドファイバ、２０２ 照明レンズ、２０３ 対物レンズ、
２０４ 可変絞り、２０５ 対物絞り駆動部、２０６ 撮像素子、
２０７ Ａ／Ｄ変換部、２０８ ＡＦ用レンズ、２０９ ＡＦ用レンズ駆動部、
２１０ ズーム用レンズ、２１１ ズーム用レンズ駆動部、３００ 制御装置、
３１０ 画像処理部、３１１ 前処理部、３１２ 同時化処理部、
３１３ ブレ補正処理部、３１４ 後処理部、３１５ ＡＦ制御部、
３１６ ズーム制御部、３２０ 制御部、４００ 表示部、５００ 外部Ｉ／Ｆ部、
６００ コンピュータシステム、６０１〜６０３ 色フィルタ、６１０ 本体部、
６１１ ＣＰＵ、６１２ ＲＡＭ、６１３ ＲＯＭ、６１４ ＨＤＤ、
６１５ ＣＤ−ＲＯＭドライブ、６１６ ＵＳＢポート、
６１７ Ｉ／Ｏインターフェース、６１８ ＬＡＮインターフェース、
６２０ ディスプレイ、６２１ 表示画面、６３０ キーボード、６４０ マウス、
６５０ モデム、６６０ ＣＤ−ＲＯＭ、６７０ ＵＳＢメモリ、６８１ ＰＣ、
６８２ サーバ、６８３ プリンタ、７０１ 第１記憶部、７０２ 補正開始検出部、
７０３ 係数算出部、７０４ 奥行きブレ補正処理部、７０５ トリミング部、
７０６ 第２記憶部、７０７ 判定部、７０８ 平面ブレ補正処理部、
８０３ 回転モータ、
ｆｔ フォーカス位置、Ｍａｇ 補正係数、Ｍｖ１，Ｍｖ２ 動き量、
Ｎ１ 広域エリアネットワーク、Ｎ３ 公衆回線、Ｐ１〜Ｐ３ 特徴点、
ＴｈＭｖ１ 閾値、ＴｈＭｖ２ 閾値
【技術分野】
【０００１】
本発明は、内視鏡装置及びプログラム等に関する。
【背景技術】
【０００２】
近年、内視鏡装置では、被写体を拡大観察した鑑別診断が行われている。拡大観察では一般的に、被写体像の劣化のない光学ズームが用いられる。一方、ＣＣＤ等で取得された画像データ上での電子ズームは被写体像の劣化を伴うが、光学ズームされた被写体像を更に拡大して表示することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−４９５９９号公報
【特許文献２】特開２００９−７１３８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような拡大観察では、拡大率が大きいほどブレの影響が大きくなるという課題がある。例えば、体腔内を観察する内視鏡装置では、心臓の拍動により食道などの臓器に拍動が生じる。そのため、奥行き方向で被写体ブレが発生し、視認性などの観察性能が劣化してしまう。
【０００５】
例えば特許文献１には、拡大観察を行う内視鏡装置においてスコープ先端の動きを検出してブレ補正を行う手法が開示されている。この手法では、内視鏡湾曲部に方向と角速度を検出する移動量検出手段を備え、移動方向や移動距離に基づいてブレ補正を行う。しかしながら、この手法では、スコープ先端の動きを検出するため被写体側のブレについてはブレ補正を行うことができない。
【０００６】
また特許文献２には、被写体の動き量を検出し、さらにフリーズ指示信号を検出して動画を的確なタイミングで静止させて静止画を取得する手法が開示されている。この手法では、画像の周期性を検出することで、ブレの少ない最適なフリーズ画像を生成する。しかしながら、この手法では、動画像のブレ補正を行うことはできない。
【０００７】
本発明の幾つかの態様によれば、動画像における奥行き方向のブレを抑制可能な内視鏡装置及びプログラム等を提供することができる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、時系列に画像を取得する画像取得部と、撮像部の光軸に沿った方向である奥行き方向のブレを補正するための補正係数を算出する係数算出部と、前記補正係数に基づいて、時系列に取得された前記画像の前記奥行き方向のブレを補正する処理を行う奥行きブレ補正処理部と、を含む内視鏡装置に関係する。
【０００９】
本発明の一態様によれば、時系列に画像が取得され、奥行き方向のブレを補正するための補正係数が算出され、時系列に取得された画像の奥行き方向のブレを補正係数に基づいて補正する処理が行われる。これにより、動画像における奥行き方向のブレを抑制することが可能になる
【００１０】
また、本発明の他の態様は、時系列に画像を取得する画像取得部と、撮像部の光軸に沿った方向である奥行き方向のブレを補正するための補正係数を算出する係数算出部と、前記補正係数に基づいて、時系列に取得された前記画像の前記奥行き方向のブレを補正する処理を行う奥行きブレ補正処理部として、コンピュータを機能させることを特徴とするプログラムに関係する。
【図面の簡単な説明】
【００１１】
【図１】内視鏡装置の構成例。
【図２】回転色フィルタの詳細な構成例。
【図３】色フィルタの分光特性例。
【図４】画像処理部の詳細な構成例。
【図５】ブレ補正処理部の詳細な構成例。
【図６】図６（Ａ）〜図６（Ｇ）は、ブレ補正処理についての説明図である。
【図７】ブレ補正処理に用いられる特徴点データの例。
【図８】画像処理プログラムのフローチャート例。
【図９】ブレ補正処理の詳細なフローチャート例。
【図１０】内視鏡装置の第２の構成例。
【図１１】画像処理部の第２の詳細な構成例。
【図１２】ブレ補正処理部の第２の詳細な構成例。
【図１３】ブレ補正処理の第２の詳細なフローチャート例。
【図１４】内視鏡装置の第３の構成例。
【図１５】画像処理部の第３の詳細な構成例。
【図１６】ブレ補正処理部の第３の詳細な構成例。
【図１７】コンピュータシステムの構成を示すシステム構成図。
【図１８】コンピュータシステムにおける本体部の構成を示すブロック図。
【発明を実施するための形態】
【００１２】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１３】
１．本実施形態の手法
まず、本実施形態が行う奥行き方向のブレ補正の概要について説明する。ドクターは、内視鏡先端を消化管に挿入すると、最初は拡大観察を行わず、先端部を動かして病変の探索を行う（スクリーニング）。次に、病変部を発見した時は、光学ズームや電子ズームを用いて被写体を拡大し、内視鏡先端部を静止させて病変部の観察を行う。
【００１４】
このとき、被写体の動きや撮像部の動きによって被写体像にブレが生じる。図１に示すように、このブレには、撮像部２００の光軸方向のブレが含まれており、この光軸方向のブレは画像の奥行き方向のブレとなって見える。この奥行き方向のブレは、例えば心臓の拍動による臓器の動きや、消化管の蠕動運動により生じる。被写体像のブレは、拡大観察時の拡大率に応じて大きくなるため、動画像で観察した場合、拡大率が大きくなるほど画像が大きくブレて見えることになる。
【００１５】
そこで本実施形態では、図６（Ａ）、図６（Ｂ）に示すように、時系列に取得した画像の倍率変化に応じて電子ズームや光学ズームの倍率調整を行い、図６（Ｃ）に示すように、時系列に取得した画像上での被写体の大きさを一定にする。これにより、臓器の拍動等による奥行き方向の動画像のブレを軽減し、動画像の視認性を向上できる。
【００１６】
２．内視鏡装置の第１の構成例
図１に、奥行き方向のブレ補正を行う内視鏡装置の第１の構成例を示す。内視鏡装置（内視鏡システム）は、光源部１００と、撮像部２００と、制御装置３００（狭義にはプロセッサ部）と、表示部４００と、外部Ｉ／Ｆ部５００を含む。
【００１７】
光源部１００は、被写体を照明するための照明光を出射する。光源部１００は、白色光源１０１と、光源絞り１０２と、光源絞り１０２を駆動する光源絞り駆動部１０３を含む。また、光源部１００は、複数の分光透過率を持った回転色フィルタ１０４と、回転色フィルタ１０４を駆動する回転駆動部１０５と、回転色フィルタ１０４による分光特性を持った光をライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０６を含む。
【００１８】
光源絞り駆動部１０３は、制御装置３００の制御部３２０からの制御信号に基づいて光源絞り１０２の開閉を行うことで光量の調整を行う。
【００１９】
回転色フィルタ１０４は、例えば図２に示すように、三原色の赤の色フィルタ６０１と、緑の色フィルタ６０２と、青の色フィルタ６０３と、回転モータ８０３から構成されている。これら３つの色フィルタ６０１〜６０３は、例えば図３に示す分光特性を有する。
【００２０】
回転駆動部１０５は、制御装置３００の制御部３２０からの制御信号に基づいて、撮像素子２０６の撮像期間と同期して回転色フィルタ１０４を所定回転数で回転させる。例えば回転色フィルタ１０４を１秒間に２０回転させると、各色フィルタ６０１〜６０３は６０分の１秒間隔で入射白色光を横切ることになる。そのため、撮像素子２０６は、６０分の１秒間隔で３原色の各色光（ＲあるいはＧあるいはＢ）での反射光の画像の撮像と転送を完了することになる。ここで、撮像素子２０６は、例えばモノクロ撮像を行う。この場合、Ｒ画像、Ｇ画像、Ｂ画像は、６０分の１秒間隔で面順次で撮像される。
【００２１】
撮像部２００は、例えば体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２０１と、そのライトガイドファイバ２０１により先端まで導かれてきた光を拡散させて観察対象に照射する照明レンズ２０２を含む。また、撮像部２００は、観察対象から戻る反射光を集光する対物レンズ２０３と、可変絞り２０４と、制御部３２０の制御に基づいて可変絞り２０４を開閉する対物絞り駆動部２０５を含む。また、撮像部２００は、集光した反射光を検出するための撮像素子２０６と、撮像素子２０６からの光電変換されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部２０７を含む。例えば、撮像素子２０６は、モノクロ単板撮像素子であり、ＣＣＤやＣＭＯＳセンサにより構成される。
【００２２】
制御装置３００は、内視鏡装置の各構成要素の制御や、画像処理を行う。制御装置３００は、画像処理部３１０と、制御部３２０を含む。
【００２３】
画像処理部３１０には、Ａ／Ｄ変換部２０７でデジタルデータに変換された画像（画像信号）が転送される。画像処理部３１０で処理された画像は、表示部４００に転送される。
【００２４】
制御部３２０は、光源絞り駆動部１０３と、回転駆動部１０５と、対物絞り駆動部２０５と、撮像素子２０６と、画像処理部３１０と、外部Ｉ／Ｆ部５００に接続され、これらの制御を行う。
【００２５】
表示部４００は、画像処理部３１０からの画像や動画像を表示する。例えば表示部４００は、ＣＲＴや液晶モニタ等の動画表示可能な表示装置である。
【００２６】
外部Ｉ／Ｆ部５００は、この撮像装置に対するユーザーからの入力等を行うためのインターフェースである。例えば、外部Ｉ／Ｆ部５００は、電源のオン／オフを行うための電源スイッチや、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を制御部３２０へ転送する。
【００２７】
３．画像処理部
次に、上述の画像処理部３１０について説明する。図４に、画像処理部３１０の詳細な構成例を示す。画像処理部３１０は、前処理部３１１と、同時化処理部３１２と、ブレ補正処理部３１３と、後処理部３１４を含む。
【００２８】
Ａ／Ｄ変換部２０７は、前処理部３１１に接続されている。前処理部３１１は、同時化処理部３１２に接続されている。同時化処理部３１２は、ブレ補正処理部３１３に接続されている。ブレ補正処理部３１３は、後処理部３１４に接続されている。後処理部３１４は、表示部４００に接続されている。制御部３２０は、前処理部３１１と、同時化処理部３１２と、ブレ補正処理部３１３と、後処理部３１４とに接続され、これらの制御を行う。
【００２９】
前処理部３１１は、制御部３２０に予め保存されているＯＢクランプ値やゲイン補正値、ＷＢ係数値を用いて、Ａ／Ｄ変換部２０７で変換されて入力されるデジタル画像に対して、ＯＢクランプ処理やゲイン補正処理、ＷＢ補正処理を行う。前処理を施された画像は、同時化処理部３１２へ転送される。
【００３０】
同時化処理部３１２は、前処理部３１１で処理を施された画像に対して、面順次のＲ画像、Ｇ画像、Ｂ画像を同時化する処理を、制御部３２０の制御信号に基づいて行う。同時化処理された画像は、ブレ補正処理部３１３へ転送される。
【００３１】
ブレ補正処理部３１３は、同時化処理された時系列の画像に対してブレ補正を行う。ブレ補正処理部３１３は、ブレ補正として、奥行き方向のブレ補正や、平面方向のブレ補正を行う。ブレ補正処理を施された画像は、後処理部３１４へ転送される。
【００３２】
後処理部３１４は、制御部３２０に予め保存されている階調変換係数や色変換係数、輪郭強調係数、拡大率を用いて、階調変換処理や色処理、輪郭強調処理、拡大処理を行う。後処理を施された画像は、表示部４００へ転送される。
【００３３】
４．ブレ補正処理部
次に、ブレ補正処理部３１３について説明する。図５に、ブレ補正処理部３１３の詳細な構成例を示す。ブレ補正処理部３１３は、第１記憶部７０１と、補正開始検出部７０２と、係数算出部７０３と、奥行きブレ補正処理部７０４と、トリミング部７０５と、第２記憶部７０６と、判定部７０７と、平面ブレ補正処理部７０８を含む。
【００３４】
同時化処理部３１２は、第１記憶部７０１と、補正開始検出部７０２に接続されている。第１記憶部７０１は、補正開始検出部７０２と、係数算出部７０３に接続されている。補正開始検出部７０２は、係数算出部７０３と、後処理部３１４に接続されている。係数算出部７０３は、奥行きブレ補正処理部７０４に接続されている。奥行きブレ補正処理部７０４トリミング部７０５に接続されている。トリミング部７０５は、第２記憶部７０６と、判定部７０７に接続されている。第２記憶部７０６は、判定部７０７に接続されている。判定部７０７は、平面ブレ補正処理部７０８と、後処理部３１４に接続されている。平面ブレ補正処理部７０８は、後処理部３１４に接続されている。制御部３２０は、補正開始検出部７０２と、係数算出部７０３と、奥行きブレ補正処理部７０４と、トリミング部７０５と、判定部７０７と、平面ブレ補正処理部７０８に接続され、これらの制御を行う。
【００３５】
第１記憶部７０１は、同時化処理部３１２から入力された画像（画像信号）を記憶する。
【００３６】
補正開始検出部７０２は、ブレ補正を開始するか否かの判定を行う。具体的には、補正開始検出部７０２は、同時化処理部３１２から入力された画像と、第１記憶部７０１に記憶された１フレーム前に取得された画像の特徴点をマッチングし、マッチングした特徴点の動きベクトルから動き量Ｍｖ１を算出する。例えば、動き量Ｍｖ１は、画像全体の特徴点の動きベクトルの平均である。
【００３７】
次に、補正開始検出部７０２は、算出された動き量Ｍｖ１と所定の閾値ＴｈＭｖ１とを比較し、画像上での被写体の動きが大きいか否かの判定を行う。閾値ＴｈＭｖ１は、予め設定された値を用いてもよいし、制御部３２０により自動的に設定されてもよい。補正開始検出部７０２は、動き量Ｍｖ１が閾値ＴｈＭｖ１より小さい場合、すなわち被写体の動きが少ない場合には、ドクターが被写体を詳細に観察している状態であると判断する。この場合、補正開始検出部７０２は、ブレ補正を開始するために、画像を係数算出部７０３に転送する。一方、補正開始検出部７０２は、動き量Ｍｖ１が閾値ＴｈＭｖ１以上である場合、すなわち被写体の動きが大きい場合には、ドクターが被写体をスクリーニングしている状態であると判断する。この場合、補正開始検出部７０２は画像を後処理部３１４に転送し、ブレ補正は行われない。
【００３８】
なお、本実施形態では、ドクターが外部Ｉ／Ｆ部５００を用いて補正開始を入力し、その入力に基づいてブレ補正を行ってもよい。この場合、補正開始が入力されると、外部Ｉ／Ｆ部５００から制御部３２０を介して補正開始信号が入力され、画像が係数算出部７０３に転送される。
【００３９】
係数算出部７０３は、補正開始検出部７０２から入力された画像と、第１記憶部７０１に記憶された１フレーム前に取得された画像とに基づいて、奥行き方向のブレを補正するための補正係数を算出する。具体的には、係数算出部７０３には、補正開始検出部７０２により求められた特徴点の情報が入力される。特徴点の情報は、現在フレームの画像の特徴点と、１フレーム前の画像の特徴点の情報である。係数算出部７０３は、これらの特徴点の相似形状から、倍率Ｍａｇを算出する。
【００４０】
例えば、図６（Ｂ）に示す時刻ｔで取得された画像から抽出した特徴点による多角形と、図６（Ａ）に示す時刻ｔ−１で取得された画像から抽出した特徴点による多角形を考える。時刻ｔの画像は現在フレームの画像であり、時刻ｔ−１の画像は第１記憶部７０１に記憶された１フレーム前の画像である。係数算出部７０３は、時刻ｔの多角形と時刻ｔ−１の多角形の面積が同程度となるような倍率Ｍａｇを算出する。例えば、係数算出部７０３は、時刻ｔ−１の面積に対する時刻ｔの面積の比を倍率Ｍａｇとして算出する。算出された倍率Ｍａｇは、奥行きブレ補正処理部７０４に転送される。
【００４１】
奥行きブレ補正処理部７０４は、係数算出部７０３から入力された倍率Ｍａｇに基づいて画像を拡大または縮小する。具体的には、奥行きブレ補正処理部７０４は、倍率Ｍａｇの逆数を拡大率とした拡大処理を電子ズームにより行う。例えば、拡大処理または縮小処理には公知の補間処理を用いる。図６（Ｃ）に、時刻ｔで取得した画像を倍率Ｍａｇで拡大した画像の例を示す。このように、奥行きブレ補正処理部７０４は、各時刻（各フレーム）の画像上での被写体の大きさを一定にする処理を行う。拡大処理を施された画像は、トリミング部７０５に転送される。
【００４２】
トリミング部７０５は、奥行きブレ補正処理部７０４から入力された画像をトリミングする。トリミング範囲は、予め指定された所定の範囲を用いてもよいし、外部Ｉ／Ｆ部５００から制御部３２０を介して指定されてもよい。図６（Ｄ）に、図６（Ｃ）に示す画像に対するトリミング範囲の例を示す。図６（Ｅ）に示すように、画像がトリミング範囲より小さい場合は、画像の外側の範囲にマスク処理を施す。なお、画像がトリミング範囲より小さい場合の処理は、上記に限らず、画像をトリミング範囲と同じ大きさまで拡大してもよい。このように、トリミング部７０５は、奥行きブレ補正により拡大縮小された画像から一定サイズの画像を取り出す処理を行う。トリミングされた画像は第２記憶部７０６と、判定部７０７と、平面ブレ補正処理部７０８に転送される。
【００４３】
第２記憶部７０６は、トリミング部７０５から入力された画像を記憶する。
【００４４】
判定部７０７は、奥行き補正処理が安定しているか否かの判定を行う。具体的には、判定部７０７は、トリミング部７０５から入力された画像と、第２記憶部７０６に記憶された１フレーム前の画像との相関値を検出する。そして、判定部７０７は、その相関値に基づいて、奥行きブレ補正が安定しているか否かの判定を行う。
【００４５】
例えば、図６（Ｆ）に、図６（Ｄ）に示す画像をトリミングした画像の例を示す。また、図６（Ｇ）に、図６（Ｆ）の画像より１フレーム前に取得された画像をトリミングした画像の例を示す。判定部７０７は、これらの画像の特徴点をマッチングし、マッチングした特徴点の動きベクトルから動き量Ｍｖ２を算出する。具体的には、動き量Ｍｖ２は、画像全体の特徴点の動きベクトルの平均である。
【００４６】
次に、判定部７０７は、算出された動き量Ｍｖ２と所定の閾値ＴｈＭｖ２とを比較し、画像上での被写体の動きが大きいか否かの判定を行う。閾値ＴｈＭｖ２は予め設定された値を用いてもよいし、制御部３２０により自動的に設定されてもよい。判定部７０７は、動き量Ｍｖ２が閾値ＴｈＭｖ２より小さい場合、すなわち被写体の動きが少ない場合には、奥行きブレ補正が安定していると判断する。この場合、判定部７０７は、上下左右方向の平面ブレ補正を開始するために、画像を平面ブレ補正処理部７０８に転送する。一方、判定部７０７は、動き量Ｍｖ２が閾値ＴｈＭｖ２以上である場合、すなわち被写体の動きが大きい場合には、奥行きブレ補正が安定していない状態であると判断する。この場合、判定部７０７は、画像を後処理部３１４に転送し、平面ブレ補正は行われない。
【００４７】
平面ブレ補正処理部７０８は、判定部７０７から入力された画像に対して、上下左右方向のブレ補正である平面ブレ補正を行う。例えば、平面ブレ補正は、公知の電子式ブレ補正により行われる。電子式ブレ補正では、例えば、フレーム間の被写体の動きベクトルをマッチング処理により求め、その動きベクトルに応じてトリミング範囲を設定する。被写体の動きベクトルに応じてトリミングするため、被写体の平面ブレが抑制されたトリミング画像が取得される。平面ブレ補正処理を施された画像は、後処理部３１４に転送される。
【００４８】
なお、上記では判定部７０７がマッチング処理により特徴点の動きベクトルを求める場合について説明したが、本実施形態ではこれに限定されない。例えば、判定部７０７は、補正開始検出部７０２が求めた特徴点の情報と係数算出部７０３が求めた補正係数に基づいて、奥行きブレ補正後の画像における特徴点の動きベクトルを算出してもよい。
【００４９】
図７に、ブレ補正処理における特徴点データの例を示す。図７に示すように、現在フレームの画像ｆ（ｔ）での特徴点Ｐ１〜Ｐ３の座標と、１フレーム前の画像ｆ（ｔ−１）での特徴点Ｐ１’〜Ｐ３’の座標が求められる。例えば図６（Ａ）に示すように、特徴点は、病変部や血管交差部等のマッチング処理に適した領域である。特徴点Ｐ１’〜Ｐ３’は、マッチング処理により特徴点Ｐ１〜Ｐ３に対応付けられている。
【００５０】
補正開始検出部７０２は、これらの特徴点の座標を用いて動きベクトルＰ１−Ｐ１’〜Ｐ３−Ｐ３’を求め、この動きベクトルに基づいてブレ補正処理の開始判定を行う。開始条件を満たすと、係数算出部７０３は、特徴点Ｐ１〜Ｐ３による多角形の面積と特徴点Ｐ１’〜Ｐ３’による多角形の面積を求め、それらの面積から倍率Ｍａｇを求める。奥行きブレ補正処理部７０４は、その倍率Ｍａｇにより画像ｆ（ｔ）に対して電子ズーム処理を行う。
【００５１】
判定部７０７は、特徴点Ｐ１〜Ｐ３の座標と倍率Ｍａｇに基づいて、奥行きブレ補正後の特徴点の座標Ｍａｇ・Ｐ１〜Ｍａｇ・Ｐ３を算出する。判定部７０７は、この座標Ｍａｇ・Ｐ１〜Ｍａｇ・Ｐ３と特徴点Ｐ１’〜Ｐ３’の座標に基づいて、奥行きブレ補正後の動きベクトルＭａｇ・Ｐ１−Ｐ１’〜Ｍａｇ・Ｐ３−Ｐ３’を算出する。そして、判定部７０７は、動きベクトルＭａｇ・Ｐ１−Ｐ１’〜Ｍａｇ・Ｐ３−Ｐ３’に基づいて、平面ブレ補正の開始判定を行う。
【００５２】
５．プログラム
なお本実施形態では、画像処理部３１０の各部が行う処理の一部または全部をソフトウェアで構成することとしてもよい。この場合、例えば図１７等で後述するコンピュータシステムのＣＰＵが画像処理プログラムを実行する。
【００５３】
図８に、画像処理プログラムのフローチャート例を示す。図８に示すように、この処理が開始されると、時系列の画像に対して、光源との同期信号や撮影モードなどのヘッダ情報を入力する（Ｓ１１）。
【００５４】
次に、画像を予め確保しておいた画像バッファに入力する（Ｓ１２）。次に、入力された画像に対して、例えば公知のＯＢクランプ処理やゲイン補正処理、ＷＢ補正処理等の処理を行う（Ｓ１３）。次に、入力された時系列の画像を、光源との同期信号に従い同時化する処理を行う（Ｓ１４）。次に、画像に対してブレ補正処理を行う（Ｓ１５）。ブレ補正処理については、図９で詳細に後述する。次に、ブレ補正処理された画像に対して階調変換処理や色処理、輪郭強調処理等の処理を行う（Ｓ１６）。次に、後処理された画像を出力する（Ｓ１７）。
【００５５】
次に、時系列画像のうち最終の画像の処理が終了したか否かを判定する（Ｓ１８）。終了していないと判定した場合には、ステップＳ１２へ戻り、次の画像に対してステップＳ１２〜Ｓ１７の処理を繰り返して行う（Ｓ１８，Ｎｏ）。一方、全画像の処理が終了していると判定した場合には、この処理を終了する（Ｓ１８，Ｙｅｓ）。
【００５６】
図９に、図８のステップＳ１５に示すブレ補正処理の詳細なフローチャート例を示す。図９に示すように、この処理が開始されると、入力された画像と、その画像より過去の画像との特徴点をマッチングし、マッチングした特徴点の動きベクトルから動き量Ｍｖ１を算出する（Ｓ２１）。このとき、過去の画像として、ステップＳ２２で使用する第１作業用画像バッファに記憶された画像を用いる。次に、入力された画像を予め確保しておいた第１作業用画像バッファにコピーする（Ｓ２２）。
【００５７】
次に、動き量Ｍｖ１が、予め設定された閾値ＴｈＭｖ１より大きいか否かの判定を行う（Ｓ２３）。動き量Ｍｖ１が閾値ＴｈＭｖ１以上の場合は処理を終了する（Ｓ２３，Ｎｏ）。一方、動き量Ｍｖ１が閾値ＴｈＭｖ１よりも小さい場合（Ｓ２３，Ｙｅｓ）は、第１作業用バッファの画像の特徴点を含む多角形の面積と、入力された画像の特徴点を含む多角形の面積とが、同程度となるような倍率Ｍａｇを算出する（Ｓ２４）。次に、倍率Ｍａｇを用いて拡大処理を行うことで、奥行きブレ補正処理を行う（Ｓ２５）。次に、奥行きブレ補正処理を施された画像から所定の範囲をトリミングする（Ｓ２６）。次に、トリミングされた画像と、その画像より過去のトリミングされた画像との特徴点をマッチングし、マッチングした特徴点の動きベクトルから動き量Ｍｖ２を算出する（Ｓ２７）。このとき、過去のトリミングされた画像として、ステップＳ２８で使用する第２作業用画像バッファに記憶された画像を用いる。次に、トリミングされた画像を予め確保しておいた第２作業用画像バッファにコピーする（Ｓ２８）。
【００５８】
次に、動き量Ｍｖ２が、予め設定された閾値ＴｈＭｖ２より大きいか否かの判定を行う（Ｓ２９）。動き量Ｍｖ２が閾値ＴｈＭｖ２以上の場合は処理を終了する（Ｓ２９，Ｎｏ）。一方、動き量Ｍｖ２が閾値ＴｈＭｖ２よりも小さい場合は、上下左右方向の平面ブレ補正処理を行う（Ｓ３０）。
【００５９】
このような処理を行うことで、臓器の拍動により被写体が動いている場合でも、被写体を一定の大きさで表示することが可能となるため、ドクターの負荷を軽減しながら病変部の観察性能を向上させる内視鏡装置を提供することが可能となる。
【００６０】
さて上述のように、心臓の拍動による臓器の動き等によって、撮像部の奥行き方向の被写体ブレが生じ、そのブレによって観察部位の視認性が劣化するという課題がある。例えば、拡大観察時には撮像部を被写体に正対させて高倍率で観察するため、奥行き方向のブレが大きくなる。
【００６１】
この点、本実施形態の内視鏡装置は、図５に示すように、画像取得部と、係数算出部７０３と、奥行きブレ補正処理部７０４を含む。画像取得部は、時系列に画像を取得する。係数算出部７０３は、撮像部２００の光軸に沿った方向である奥行き方向のブレを補正するための補正係数Ｍａｇを算出する。奥行きブレ補正処理部７０４は、時系列に取得された画像の奥行き方向のブレを補正係数Ｍａｇに基づいて補正する処理を行う。
【００６２】
これにより、動画像における奥行き方向のブレを抑制することが可能になる。すなわち、補正係数Ｍａｇに基づいて画像の奥行き方向のブレを補正することで、臓器の拍動により被写体が奥行き方向に動いている場合であっても、動画像のブレを軽減して表示できる。これにより、視認性等の観察性能を向上できるため、ドクターの負荷を軽減できる。
【００６３】
ここで、図４に示すように、本実施形態では同時化処理部３１２が画像取得部に対応する。すなわち、撮像素子２０６が動画像として時系列に画像を撮像し、Ａ／Ｄ変換部２０７がデジタルデータに変換し、前処理部３１１が前処理を行う。そして、同時化処理部３１２が同時化処理を行うことで、動画像として時系列に画像を取得する。
【００６４】
また本実施形態では、画像取得部は、第１画像と、第１画像の後の第２画像を時系列に取得する。係数算出部７０３は、第１画像に対する第２画像の倍率に対応する補正係数Ｍａｇを算出する。奥行きブレ補正処理部７０４は、奥行き方向のブレにより生じる画像の倍率変化を、補正係数Ｍａｇに基づいて補正することで、奥行き方向のブレ補正を行う。
【００６５】
このようにすれば、補正係数Ｍａｇに基づいて奥行き方向のブレを補正することが可能になる。具体的には、第１画像に対する第２画像の倍率に対応する補正係数Ｍａｇを求めることで、時系列に取得された画像の倍率変化を補正係数Ｍａｇに基づいて補正することができる。
【００６６】
ここで、第１画像とは、例えば処理対象フレームの１フレーム前の画像であり、第２画像とは、例えば処理対象フレームの画像である。また、第１画像に対する第２画像の倍率に対応する補正係数とは、第１画像と第２画像から画像処理により求めた倍率であってもよく、後述するＡＦレンズ位置等の他の情報から求めた倍率であってもよい。また、倍率変化の補正とは、第２画像の倍率を補正する場合に限らない。例えば、後述するように、第２画像の後の第３画像の撮像倍率を光学ズームで補正してもよい。
【００６７】
また本実施形態では、図５に示すように、奥行きブレ補正処理を開始するタイミングを検出する補正開始検出部７０２を含む。奥行きブレ補正処理部７０４は、補正開始検出部７０２によりタイミングが検出された場合に、奥行きブレ補正処理を開始する。
【００６８】
このようにすれば、奥行きブレ補正が必要な状態となった場合に奥行き方向のブレを補正する処理を行うことができる。例えば、撮像部の光軸に沿った方向の被写体像のブレが所定の基準範囲を超えたと判定した場合に、奥行きブレ補正処理を開始させることが可能である。これにより、例えば消化管に沿って撮像部を移動させて病変部をサーチしている場合に、奥行きブレ補正処理がサーチの妨げとなることを抑制できる。
【００６９】
また本実施形態では、図５に示すように、判定部７０７と、平面ブレ補正処理部７０８を含む。判定部７０７は、奥行きブレ補正処理後の奥行き方向のブレが、所定の基準範囲内となったか否かを判定する。平面ブレ補正処理部７０８は、奥行き方向のブレが所定の基準範囲内となったと判定部７０７により判定された場合に、撮像部２００の光軸に直交する方向のブレである平面ブレを補正する処理を行う。
【００７０】
このようにすれば、奥行き方向のブレが所定の基準範囲に収まっている（安定した）場合に、平面ブレを補正する処理を行うことができる。例えば、奥行きブレが十分補正されていない状態では画像の倍率変化が大きい。この場合、フレーム間のマッチング精度が悪く、平面ブレ補正の精度が劣化する。そのため、奥行きブレを判定して平面ブレを補正することで、平面ブレ補正の精度を向上できる。
【００７１】
また本実施形態では、図６（Ａ）等で上述のように、係数算出部７０３は、第１画像の特徴点Ｐ１’〜Ｐ３’に囲まれた領域の面積と、第１画像の特徴点Ｐ１’〜Ｐ３’に対応する第２画像の特徴点Ｐ１〜Ｐ３に囲まれた領域の面積との比に基づいて、第１画像に対する第２画像の倍率を算出し、算出した倍率を補正係数Ｍａｇとする。
【００７２】
このようにすれば、第１画像に対する第２画像の倍率を補正係数として求めることができる。また、その補正係数を、画像処理により算出できる。
【００７３】
また本実施形態では、奥行きブレ補正処理部７０４は、画像のサイズを補正係数Ｍａｇに基づいて拡大または縮小することで、奥行きブレ補正処理を行う。具体的には、係数算出部７０３は、第１画像に対する第２画像の倍率を補正係数Ｍａｇとして算出する。そして、奥行きブレ補正処理部７０４は、第２画像のサイズを補正係数Ｍａｇに基づいて拡大または縮小する。また図５に示すように、内視鏡装置は、奥行きブレ補正処理が施された画像から所定サイズの画像をトリミングするトリミング部を含む。
【００７４】
このようにすれば、画像サイズの拡縮を行う電子ズームによる奥行きブレ補正を行うことができる。具体的には、補正係数として倍率を算出し、その倍率により第２画像を電子ズームすることで奥行きブレを補正できる。電子ズームを用いることで、奥行き方向のブレ補正にメカ機構が不要なため、撮像部の先端部を太くする必要がない。また、トリミングを行うことで、電子ズームにより変化した画像サイズを所定サイズで表示できる。
【００７５】
また本実施形態では、補正開始検出部７０２は、画像における被写体の動き情報に基づいて、奥行きブレ補正処理を行うか否かを判定する。奥行きブレ補正処理部７０４は、補正開始検出部７０２により奥行きブレ補正処理を行うと判定された場合に、奥行きブレ補正処理を開始する。具体的には、補正開始検出部７０２は、第１画像と第２画像の被写体の動き情報に基づいて奥行き方向のブレの大きさを表す動き量Ｍｖ１を求め、その動き量Ｍｖ１が閾値ＴｈＭｖ１よりも大きい場合に、奥行きブレ補正処理を行うと判定する。
【００７６】
例えば本実施形態では、補正開始検出部７０２は、マッチング処理により特徴点Ｐ１〜Ｐ３の座標を求め、その特徴点Ｐ１〜Ｐ３の動きベクトルを動き情報として求め、その動きベクトルの平均値を動き量Ｍｖ１とする。
【００７７】
このようにすれば、画像処理により求めた動き情報に基づいて開始タイミングを検出できる。また、動き量Ｍｖ１と閾値ＴｈＭｖ１の大小判定を行うことで、奥行き方向のブレが所定の基準範囲内であるかを判定できる。
【００７８】
また本実施形態では、判定部７０７は、奥行きブレ補正処理後の画像の動き情報に基づいて、奥行きブレ補正処理後の奥行き方向のブレが所定の基準範囲内となったか否かを判定する。具体的には、判定部７０７は、第１画像の特徴点Ｐ１’〜Ｐ３’と、第１画像の特徴点に対応する第２画像の特徴点Ｐ１〜Ｐ３との間の奥行きブレ補正処理後の動き情報に基づいて、奥行き方向のブレの大きさを表す動き量Ｍｖ２を求める。そして、判定部７０７は、動き量Ｍｖ２が閾値ＴｈＭｖ２よりも小さい場合に、平面ブレ補正処理を行うと判定する。
【００７９】
このようにすれば、平面ブレ補正処理を開始するタイミングを、奥行きブレ補正処理後の画像の動き情報に基づいて検出できる。また、動き量Ｍｖ２と閾値ＴｈＭｖ２の大小判定を行うことで、奥行きブレ補正処理後の奥行き方向のブレが所定の基準範囲内であるかを判定できる。
【００８０】
また本実施形態では、平面ブレ補正処理部７０８は、電子式ブレ補正により平面ブレを補正する処理を行う。なお電子式ブレ補正では、判定部７０７が算出した特徴点の動きベクトルを用いて補正を行ってもよいし、新たなマッチング処理により動きベクトルを求めて補正を行ってもよい。
【００８１】
なお上記では、撮像された画像に基づいて被写体の動き情報を求める場合を例に説明したが、本実施形態ではこれに限定されない。例えば撮像部２００の先端部にセンサを設け、そのセンサにより先端部の動き情報を取得し、その動き情報に基づいて奥行きブレ補正処理や平面ブレ補正処理を行ってもよい。
【００８２】
６．内視鏡装置の第２の構成例
本実施形態では、撮像部がオートフォーカス処理を行い、そのオートフォーカス処理により設定されたピント位置に基づいて拡大率Ｍａｇを算出してもよい。図１０に、この場合の構成例として内視鏡装置の第２の構成例を示す。図１０に示す内視鏡装置は、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお、図１等で上述の第１の構成例と同一の構成要素については同一の符号を付し、適宜説明を省略する。
【００８３】
撮像部２００には、ＡＦ用レンズ２０８と、ＡＦ用レンズ駆動部２０９が追加される。ＡＦ用レンズ２０８は、ＡＦ用レンズ駆動部２０９により光軸方向に移動する。ＡＦ用レンズ駆動部２０９は、制御部３２０の制御信号に基づいてＡＦ用レンズ２０８を所定位置に移動させる。
【００８４】
制御装置３００では、第１の構成例に比べて、画像処理部３１０の詳細な構成が異なり、制御部３２０の制御内容がＡＦ制御の追加に伴い変更されている。
【００８５】
図１１に、画像処理部３１０の第２の詳細な構成例を示す。画像処理部３１０には、ＡＦ制御部３１５が追加される。また、図４等で上述の構成例と比べて、ブレ補正処理部３１３の詳細が異なる。同時化処理部３１２は、ブレ補正処理部３１３と、ＡＦ制御部３１５に接続されている。ＡＦ制御部３１５は、ブレ補正処理部３１３に接続されている。また、ＡＦ制御部３１５は、制御部３２０と相互に接続されている。
【００８６】
ＡＦ制御部３１５は、制御部３２０の制御によりＡＦ制御を行う。例えば、ＡＦ制御部３１５は、制御部３２０の制御により可変絞り２０４が開放状態に設定された場合にＡＦ制御を行う。具体的には、ＡＦ制御部３１５は、同時化処理部３１２から入力された画像に基づいて、コントラストＡＦ処理を行い、制御部３２０を介して、ＡＦ制御信号をＡＦ用レンズ駆動部２０９に転送する。コントラストＡＦ処理は、例えば公知の処理が用いられる。以下にコントラストＡＦ処理の概要を説明する。
【００８７】
まず、レンズの初期位置ｐ１でＡＦ評価値Ａ１を算出する。ＡＦ評価値とは、ここでは、例えば、ハイパスフィルタを通した画像の信号値の総和とする。次に、ｐ１から無限遠方向または至近方向に一定量ＡＦ用レンズ２０８を移動した位置ｐ２で、ＡＦ評価値Ａ２を算出する。ＡＦ評価値Ａ１とＡ２を比較し、合焦位置がどちらの方向かの判定を行う。次に、合焦位置に向かい一定量ＡＦ用レンズ２０８を移動し、位置ｐ３、ｐ４でＡＦ評価値Ａ３、Ａ４を算出する。ここで、ＡＦ評価値がピークすなわち合焦位置を、通り過ぎた場合、合焦位置付近の３点と、ＡＦ評価値により合焦位置を補間演算して算出する。補間演算には、例えば直線補間等の公知の技術を用いる。補間方法は、上記に限らず、ラグランジュ補間や、スプライン補間などを用いてもよい。算出された合焦位置にＡＦ用レンズを移動しＡＦ処理の最初に戻る。
【００８８】
次に、ブレ補正処理部３１３について説明する。図１２に、ブレ補正処理部３１３の第２の詳細な構成例を示す。ブレ補正処理部３１３では、図５等で上述の構成例と比べて、第１記憶部７０１が削除される。また、補正開始検出部７０２と、係数算出部７０３の詳細が異なる。ＡＦ制御部３１５は、補正開始検出部７０２と、係数算出部７０３に接続されている。
【００８９】
補正開始検出部７０２は、ＡＦ制御部３１５がＡＦ制御を開始したタイミングでブレ補正を開始する。補正開始検出部７０２は、ＡＦ制御部３１５がＡＦ制御を行っている場合は、画像を係数算出部７０３に転送する。補正開始検出部７０２は、ＡＦ制御部３１５がＡＦ制御を行っていない場合は、画像を後処理部３１４に転送する。
【００９０】
係数算出部７０３は、ＡＦ制御部３１５から入力されるＡＦ制御信号に基づいて、奥行きブレ補正係数を算出する。具体的には、係数算出部７０３は、ＡＦ用レンズ２０８の合焦位置と、次のタイミングで合焦位置に移動したときのＡＦ用レンズ２０８の位置と、に基づいて倍率Ｍａｇを算出する。より具体的には係数算出部７０３は、ＡＦ用レンズ２０８の位置と焦点距離の対応を示したＬＵＴ（ルックアップテーブル）を用いて、ＡＦ用レンズ２０８の位置での焦点距離ｆａと、次のタイミングで合焦位置に移動したときのＡＦ用レンズ２０８の位置での焦点距離ｆｂを求める。そして、係数算出部７０３は、焦点距離ｆａと焦点距離ｆｂの比から倍率Ｍａｇを算出する。
【００９１】
例えば以下に示すように、ＬＵＴではＡＦ用レンズ２０８の位置と焦点距離が対応付けられている。ここで、ｎは自然数である。
レンズ位置：焦点距離ｆ
ｘ１：ｆｘ１
ｘ２：ｆｘ２
ｘ３：ｆｘ３
・ ・
・ ・
ｘｎ：ｆｘｎ
【００９２】
ＡＦ制御部３１５からのＡＦレンズ位置情報を取得し、上記のＬＵＴを参照することで、ＡＦレンズ位置から焦点距離ｆが求まる。処理対象画像を撮像したときの焦点距離をｆｔとし、処理対象画像より１フレーム前の画像を撮像したときの焦点距離をｆｔ−１とすると、倍率Ｍａｇは下式（１）により求まる。
Ｍａｇ＝ｆｔ−１／ｆｔ ・・・ （１）
【００９３】
７．プログラムの第２の例
なお本実施形態では、図１１に示す画像処理部３１０の各部が行う処理の一部または全部をソフトウェアで構成することとしてもよい。この場合、例えば図１７等で後述するコンピュータシステムのＣＰＵが画像処理プログラムを実行する。
【００９４】
図１３に、ブレ補正処理の第２のフローチャート例を示す。なお、図８で上述のフローチャートとはステップＳ１１とＳ１５の詳細が異なり、他のステップについては同様である。すなわち、ステップＳ１１では、入力されるヘッダ情報にＡＦ制御信号が追加される。ステップＳ１５の詳細については、図１３を用いて説明する。
【００９５】
図１３では、図９のフローチャート例に比べてステップＳ２１〜Ｓ２３が削除され、ステップＳ１２３が追加される。ステップＳ１２３では、画像のヘッダ情報から、ＡＦ制御されたタイミングで取得された画像であるか否かの判定を行い、ＡＦ制御されている時に取得された画像の場合Ｓ２４へ行く。一方、ＡＦ制御されていない時に取得された画像の場合は、処理を終了する。
【００９６】
上記の実施形態によれば、撮像部２００は、オートフォーカス処理を行う光学系を有する。係数算出部７０３は、オートフォーカス処理により調整された光学系のフォーカス位置に基づいて補正係数Ｍａｇを算出する。具体的には、上式（１）に示すように、係数算出部７０３は、第１画像を撮像したときのフォーカス位置ｆｔ−１と第２画像を撮像したときのフォーカス位置ｆｔに基づいて第１画像に対する第２画像の倍率ｆｔ−１／ｆｔを算出し、算出した倍率を補正係数Ｍａｇとする。
【００９７】
このようにすれば、オートフォーカスを用いることで、撮像系の被写界深度が浅い拡大観察の場合でも常にフォーカスが合った状態にできる。これにより、常にフォーカスの合った状態で奥行き方向のブレ補正を行うことが可能になり、ドクターの負荷を軽減し、観察性能を向上させることができる。また撮像部から被写体までの距離がフォーカス位置により分かるため、フォーカス位置の比で倍率を求めることができる。
【００９８】
ここで、図１０に示すように、オートフォーカス処理は、制御部３２０がＡＦ用レンズ駆動部２０９を制御し、ＡＦ用レンズ駆動部２０９がＡＦ用レンズ２０８を駆動することで実現される。光学系のフォーカス位置とは、被写体にピントが合った場合における撮像部から被写体までの距離であり、ＡＦ用レンズ２０８の位置によって決まる。ＡＦ用レンズの位置は、例えばＡＦ用レンズ２０８から対物レンズ２０３までの距離である。上述のように、ＡＦ用レンズの位置からフォーカス位置（焦点距離ｆ）が求められる。
【００９９】
また本実施形態では、補正開始検出部７０２は、オートフォーカス処理の動作状態に基づいて奥行きブレ補正処理を行うか否かを判定する。例えば、撮像部２００の光学系は、光学ズーム処理を行ってもよい。この場合、オートフォーカス処理は、通常観察モードでの光学ズーム倍率よりも高倍率の拡大観察モードにおいて、オン状態に設定される。補正開始検出部７０２は、オートフォーカス処理がオン状態に設定された場合に、奥行きブレ補正処理を行うと判定する。
【０１００】
このようにすれば、オートフォーカス処理の動作状態に基づいて奥行きブレ補正の開始タイミングを検出できる。例えば、オートフォーカス処理のオン・オフや、フォーカス調整の頻度や、ＡＦ用レンズ位置の移動量などに応じて開始タイミングを検出できる。また、拡大観察モードにおいてオートフォーカス処理をオン状態に設定して開始タイミングを検出することで、ブレの大きい拡大観察時に奥行きブレ補正を行うことができる。
【０１０１】
８．内視鏡装置の第３の構成例
本実施形態では、撮像部が光学ズーム機能を有し、光学ズームにより奥行き方向のブレを補正してもよい。図１４に、この場合の構成例として内視鏡装置の第３の構成例を示す。内視鏡装置は、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお、図１等で上述の第１の構成例と同一の構成要素については同一の符号を付し、適宜説明を省略する。
【０１０２】
撮像部２００には、ズーム用レンズ２１０と、ズーム用レンズ駆動部２１１が追加される。ズーム用レンズ２１０は、ズーム用レンズ駆動部２１１により光軸方向に移動する。ズーム用レンズ駆動部２１１は、制御部３２０からの制御信号に基づいて、ズーム用レンズ２１０を所定位置に移動させる。
【０１０３】
制御装置３００では、図１に示す第１の構成例に比べて、画像処理部３１０の詳細が異なり、制御部３２０の制御内容がズーム制御の追加に伴い変更されている。
【０１０４】
図１５に、画像処理部３１０の第３の詳細な構成例示す。画像処理部３１０には、図４に示す構成例に比べて、ズーム制御部３１６が追加される。また、ブレ補正処理部３１３の詳細が異なる。ブレ補正処理部３１３は、ズーム制御部３１６に接続される。ズーム制御部３１６は、制御部３２０と相互に接続されている。
【０１０５】
ズーム制御部３１６は、奥行きブレ補正処理を行う際の補正係数に基づいて、光学的なズーム制御を行う。具体的には、ズーム制御部３１６は、ブレ補正処理部３１３から入力される倍率Ｍａｇに基づいて、制御部３２０を介してズーム用レンズ駆動部２１１にズーム制御信号を転送する。ズーム制御部３１６は、倍率Ｍａｇと現在の焦点距離ｆａから、ズーム後の焦点距離ｆｂを算出する。ズーム制御部３１６は、ズーム後の焦点距離ｆｂからレンズ位置を算出する。例えばズーム制御部３１６は、焦点距離とレンズ位置が対応付けられたＬＵＴを参照してレンズ位置を求め、そのレンズ位置に基づいてズーム用レンズ駆動部２１１を制御する。
【０１０６】
次に、ブレ補正処理部３１３について詳細に説明する。図１６に、ブレ補正処理部３１３の第３の詳細な構成例を示す。図１６に示すブレ補正処理部３１３では、図５に示す構成例に比べて、奥行きブレ補正処理部７０４、トリミング部７０５、第２記憶部７０６、判定部７０７が削除される。また、補正開始検出部７０２と、係数算出部７０３の詳細が異なっている。係数算出部７０３は、平面ブレ補正処理部７０８と、後処理部３１４、ズーム制御部３１６に接続されている。
【０１０７】
補正開始検出部７０２は、奥行きブレ補正（光学ズーム制御）や平面ブレ補正を行うか否かの判定を行う。補正開始検出部７０２は、図６（Ａ）等で上述の手法と同様に、マッチング処理により動き量Ｍｖを算出する。補正開始検出部７０２は、動き量Ｍｖを閾値ＴｈＭｖ１及びＴｈＭｖ２と比較する（ＴｈＭｖ１＞ＴｈＭｖ２）。
【０１０８】
補正開始検出部７０２は、動き量Ｍｖが閾値ＴｈＭｖ２より小さい場合、制御部３２０を介して、平面ブレ補正を行う制御信号を係数算出部７０３に転送し、画像を係数算出部７０３に転送する。補正開始検出部７０２は、動き量Ｍｖが閾値ＴｈＭｖ１より小さく、閾値ＴｈＭｖ２以上の場合、制御部３２０を介して、平面ブレ補正を行わない制御信号を係数算出部７０３に転送し、画像を係数算出部７０３に転送する。補正開始検出部７０２は、動き量Ｍｖが閾値ＴｈＭｖ１以上の場合、画像を後処理部３１４に転送する。
【０１０９】
係数算出部７０３は、算出した倍率Ｍａｇをズーム制御部３１６に転送する。また、制御部３２０から入力された制御信号が平面ブレ補正を行う場合は、画像を平面ブレ補正処理部７０８に転送する。一方、係数算出部７０３は、制御部３２０から入力された制御信号が平面ブレ補正を行わない場合は、画像を後処理部３１４に転送する。
【０１１０】
上記の実施形態によれば、撮像部２００は、光学ズーム処理を行う光学系を有する。奥行きブレ補正処理部７０４は、光学系の光学ズーム倍率を補正係数Ｍａｇに基づいて調整することで、奥行きブレ補正処理を行う。例えば本実施形態では、第１画像〜第３画像を時系列に取得し、第１画像に対する第２画像の倍率を補正係数とし、第２画像の後の第３画像を撮像する際に、その補正係数の逆数の倍率だけ光学ズーム倍率を変化させる制御を行う。
【０１１１】
このようにすれば、光学ズームを用いることで画質劣化のない奥行きブレ補正を行うことができ、ドクターの負荷を軽減し、観察性能を向上させることができる。また、心臓の拍動は１回／秒程度であり、一般的な撮像のフレームレート（例えば３０フレーム／秒）よりも遅い。そのため、光学ズームでは１フレーム遅れて補正がされるが、奥行き方向のブレを十分抑制することが可能である。
【０１１２】
なお上記の実施形態では、撮像素子２０６がモノクロ単板撮像素子である場合を例に説明したが、本実施形態ではこれに限定されず、例えば撮像素子２０６が原色ベイヤ配列フィルタの撮像素子や補色フィルタの撮像素子であってもよい。この場合、光源部の回転色フィルタ１０４や、回転駆動部１０５は不要である。また、画像処理部３１０の同時化処理部３１２は、補間処理（デモザイキング処理）を行う。この補間処理は、例えば公知の線形補間等により実現可能である。
【０１１３】
また上記の実施形態では、ＡＦ機能または光学ズーム機能を有する場合を例に説明したが、本実施形態ではＡＦ機能と光学ズーム機能の両方を有してもよい。
【０１１４】
９．コンピュータシステム
上記の本実施形態では、画像処理部３１０を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、カプセル内視鏡などの撮像装置を用いて予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。予め取得された画像とは、例えば、Ａ／Ｄ変換部２０７が出力するベイヤ配列の出力画像を、ＲＡＷファイルとして記録媒体に記録した画像である。
【０１１５】
撮像部を別体とし、画像処理部３１０の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピュータシステムを画像処理装置として用いることができる。そして、画像処理部３１０の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。
【０１１６】
図１７は、本変形例におけるコンピュータシステム６００の構成を示すシステム構成図であり、図１８は、このコンピュータシステム６００における本体部６１０の構成を示すブロック図である。図１７に示すように、コンピュータシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピュータシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。
【０１１７】
また、このコンピュータシステム６００における本体部６１０は、図１８に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース６１８を備える。
【０１１８】
さらに、このコンピュータシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。
【０１１９】
そして、このコンピュータシステム６００は、所定の記録媒体に記録された画像処理プログラム（例えば図８、図９、図１３）を参照して、後述する処理手順を実現するための画像処理プログラムを読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピュータシステム６００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
【０１２０】
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピュータシステム６００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム６００によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【０１２１】
これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピュータシステムでソフトウェア的に処理を行うことが可能になる。
【０１２２】
また本実施形態は、本実施形態の各部（前処理部、同時化処理部、ブレ補正処理部、後処理部等）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。
【０１２３】
ここで、プログラムコードとは、時系列に取得された画像を取得する画像取得部と、撮像部の光軸に沿った方向である奥行き方向のブレを補正するための補正係数を算出する係数算出部と、前記補正係数に基づいて、前記画像の前記奥行き方向のブレを補正する処理を行う奥行きブレ補正処理部と、を実現する。
【０１２４】
またコンピュータプログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。
【０１２５】
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【０１２６】
また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（画像、内視鏡システム、奥行き方向等）と共に記載された用語（画像信号、内視鏡装置、光軸方向等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【０１２７】
１００ 光源部、１０１ 白色光源、１０３ 光源絞り駆動部、
１０４ 回転色フィルタ、１０５ 回転駆動部、１０６ 集光レンズ、２００ 撮像部、
２０１ ライトガイドファイバ、２０２ 照明レンズ、２０３ 対物レンズ、
２０４ 可変絞り、２０５ 対物絞り駆動部、２０６ 撮像素子、
２０７ Ａ／Ｄ変換部、２０８ ＡＦ用レンズ、２０９ ＡＦ用レンズ駆動部、
２１０ ズーム用レンズ、２１１ ズーム用レンズ駆動部、３００ 制御装置、
３１０ 画像処理部、３１１ 前処理部、３１２ 同時化処理部、
３１３ ブレ補正処理部、３１４ 後処理部、３１５ ＡＦ制御部、
３１６ ズーム制御部、３２０ 制御部、４００ 表示部、５００ 外部Ｉ／Ｆ部、
６００ コンピュータシステム、６０１〜６０３ 色フィルタ、６１０ 本体部、
６１１ ＣＰＵ、６１２ ＲＡＭ、６１３ ＲＯＭ、６１４ ＨＤＤ、
６１５ ＣＤ−ＲＯＭドライブ、６１６ ＵＳＢポート、
６１７ Ｉ／Ｏインターフェース、６１８ ＬＡＮインターフェース、
６２０ ディスプレイ、６２１ 表示画面、６３０ キーボード、６４０ マウス、
６５０ モデム、６６０ ＣＤ−ＲＯＭ、６７０ ＵＳＢメモリ、６８１ ＰＣ、
６８２ サーバ、６８３ プリンタ、７０１ 第１記憶部、７０２ 補正開始検出部、
７０３ 係数算出部、７０４ 奥行きブレ補正処理部、７０５ トリミング部、
７０６ 第２記憶部、７０７ 判定部、７０８ 平面ブレ補正処理部、
８０３ 回転モータ、
ｆｔ フォーカス位置、Ｍａｇ 補正係数、Ｍｖ１，Ｍｖ２ 動き量、
Ｎ１ 広域エリアネットワーク、Ｎ３ 公衆回線、Ｐ１〜Ｐ３ 特徴点、
ＴｈＭｖ１ 閾値、ＴｈＭｖ２ 閾値
【特許請求の範囲】
【請求項１】
時系列に画像を取得する画像取得部と、
撮像部の光軸に沿った方向である奥行き方向のブレを補正するための補正係数を算出する係数算出部と、
前記補正係数に基づいて、時系列に取得された前記画像の前記奥行き方向のブレを補正する処理を行う奥行きブレ補正処理部と、
を含むことを特徴とする内視鏡装置。
【請求項２】
請求項１において、
前記画像取得部は、
第１画像と、前記第１画像の後の第２画像を時系列に取得し、
前記係数算出部は、
前記第１画像に対する前記第２画像の倍率に対応する前記補正係数を算出し、
前記奥行きブレ補正処理部は、
前記奥行き方向のブレにより生じる前記画像の倍率変化を、前記補正係数に基づいて補正することで、前記奥行き方向のブレ補正を行うことを特徴とする内視鏡装置。
【請求項３】
請求項２において、
前記奥行きブレ補正処理を開始するタイミングを検出する補正開始検出部を含み、
前記奥行きブレ補正処理部は、
前記補正開始検出部により前記タイミングが検出された場合に、前記奥行きブレ補正処理を開始することを特徴とする内視鏡装置。
【請求項４】
請求項３において、
前記奥行きブレ補正処理後の前記奥行き方向のブレが、所定の基準範囲内となったか否かを判定する判定部と、
前記奥行き方向のブレが前記所定の基準範囲内となったと前記判定部により判定された場合に、前記光軸に直交する方向のブレである平面ブレを補正する処理を行う平面ブレ補正処理部と、
を含むことを特徴とする内視鏡装置。
【請求項５】
請求項１において、
前記画像取得部は、
第１画像と、前記第１画像の後の第２画像を時系列に取得し、
前記係数算出部は、
前記第１画像の特徴点に囲まれた領域の面積と、前記第１画像の特徴点に対応する前記第２画像の特徴点に囲まれた領域の面積との比に基づいて、前記第１画像に対する前記第２画像の倍率を算出し、算出した前記倍率を前記補正係数とすることを特徴とする内視鏡装置。
【請求項６】
請求項１において、
前記撮像部は、
オートフォーカス処理を行うための光学系を有し、
前記係数算出部は、
前記オートフォーカス処理により調整された前記光学系のフォーカス位置に基づいて、前記補正係数を算出することを特徴とする内視鏡装置。
【請求項７】
請求項６において、
前記画像取得部は、
第１画像と、前記第１画像の後の第２画像を時系列に取得し、
前記係数算出部は、
前記第１画像を撮像したときの前記フォーカス位置と前記第２画像を撮像したときの前記フォーカス位置に基づいて、前記第１画像に対する前記第２画像の倍率を算出し、算出した前記倍率を前記補正係数とすることを特徴とする内視鏡装置。
【請求項８】
請求項１において、
前記奥行きブレ補正処理部は、
前記画像のサイズを前記補正係数に基づいて拡大または縮小することで、前記奥行きブレ補正処理を行うことを特徴とする内視鏡装置。
【請求項９】
請求項８において、
前記画像取得部は、
第１画像と、前記第１画像の後の第２画像を時系列に取得し、
前記係数算出部は、
前記第１画像に対する前記第２画像の倍率を前記補正係数として算出し、
前記奥行きブレ補正処理部は、
前記第２画像のサイズを前記補正係数に基づいて拡大または縮小することを特徴とする内視鏡装置。
【請求項１０】
請求項８において、
前記奥行きブレ補正処理が施された画像から所定サイズの画像をトリミングするトリミング部を含むことを特徴とする内視鏡装置。
【請求項１１】
請求項１において、
前記撮像部は、
光学ズーム処理を行うための光学系を有し、
前記奥行きブレ補正処理部は、
前記光学系の光学ズーム倍率を前記補正係数に基づいて調整することで、前記奥行きブレ補正処理を行うことを特徴とする内視鏡装置。
【請求項１２】
請求項１において、
前記奥行きブレ補正処理を開始するタイミングを検出する補正開始検出部を含み、
前記補正開始検出部は、
前記画像における被写体の動き情報に基づいて、前記奥行きブレ補正処理を行うか否かを判定し、
前記奥行きブレ補正処理部は、
前記補正開始検出部により前記奥行きブレ補正処理を行うと判定された場合に、前記奥行きブレ補正処理を開始することを特徴とする内視鏡装置。
【請求項１３】
請求項１２において、
前記画像取得部は、
第１画像と、前記第１画像の後の第２画像を時系列に取得し、
前記補正開始検出部は、
前記第１画像と前記第２画像の被写体の前記動き情報に基づいて、前記奥行き方向のブレの大きさを表す動き量を求め、
前記補正開始検出部は、
前記動き量が閾値よりも大きい場合に、前記奥行きブレ補正処理を行うと判定することを特徴とする内視鏡装置。
【請求項１４】
請求項１において、
前記奥行きブレ補正処理を開始するタイミングを検出する補正開始検出部を含み、
前記撮像部は、
オートフォーカス処理を行うための光学系を有し、
前記補正開始検出部は、
前記オートフォーカス処理の動作状態に基づいて、前記奥行きブレ補正処理を行うか否かを判定することを特徴とする内視鏡装置。
【請求項１５】
請求項１４において、
前記光学系は、
光学ズーム処理を行い、
前記光学系が行う前記オートフォーカス処理は、
通常観察モードでの光学ズーム倍率よりも高倍率の拡大観察モードにおいて、オン状態に設定され、
前記補正開始検出部は、
前記オートフォーカス処理が前記オン状態に設定された場合に、前記奥行きブレ補正処理を行うと判定することを特徴とする内視鏡装置。
【請求項１６】
請求項１において、
前記奥行きブレ補正処理を開始するタイミングを検出する補正開始検出部を含み、
前記補正開始検出部は、
外部入力に基づいて、前記奥行きブレ補正処理を行うか否かを判定することを特徴とする内視鏡装置。
【請求項１７】
請求項１において、
前記奥行きブレ補正処理後の前記画像の動き情報に基づいて、前記奥行きブレ補正処理後の前記奥行き方向のブレが所定の基準範囲内となったか否かを判定する判定部と、
前記奥行き方向のブレが前記所定の基準範囲内となったと前記判定部により判定された場合に、前記光軸に直交する方向のブレである平面ブレを補正する処理を行う平面ブレ補正処理部と、
を含むことを特徴とする内視鏡装置。
【請求項１８】
請求項１７において、
前記画像取得部は、
第１画像と、前記第１画像の後の第２画像を時系列に取得し、
前記判定部は、
前記第１画像の特徴点と、前記第１画像の特徴点に対応する前記第２画像の特徴点との間の前記奥行きブレ補正処理後の動き情報に基づいて、前記奥行き方向のブレの大きさを表す動き量を求め、
前記判定部は、
前記動き量が閾値よりも小さい場合に、前記平面ブレ補正処理を行うと判定することを特徴とする内視鏡装置。
【請求項１９】
請求項１７において、
前記平面ブレ補正処理部は
電子式ブレ補正により前記平面ブレを補正する処理を行うことを特徴とする内視鏡装置。
【請求項２０】
時系列に画像を取得する画像取得部と、
撮像部の光軸に沿った方向である奥行き方向のブレを補正するための補正係数を算出する係数算出部と、
前記補正係数に基づいて、時系列に取得された前記画像の前記奥行き方向のブレを補正する処理を行う奥行きブレ補正処理部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項１】
時系列に画像を取得する画像取得部と、
撮像部の光軸に沿った方向である奥行き方向のブレを補正するための補正係数を算出する係数算出部と、
前記補正係数に基づいて、時系列に取得された前記画像の前記奥行き方向のブレを補正する処理を行う奥行きブレ補正処理部と、
を含むことを特徴とする内視鏡装置。
【請求項２】
請求項１において、
前記画像取得部は、
第１画像と、前記第１画像の後の第２画像を時系列に取得し、
前記係数算出部は、
前記第１画像に対する前記第２画像の倍率に対応する前記補正係数を算出し、
前記奥行きブレ補正処理部は、
前記奥行き方向のブレにより生じる前記画像の倍率変化を、前記補正係数に基づいて補正することで、前記奥行き方向のブレ補正を行うことを特徴とする内視鏡装置。
【請求項３】
請求項２において、
前記奥行きブレ補正処理を開始するタイミングを検出する補正開始検出部を含み、
前記奥行きブレ補正処理部は、
前記補正開始検出部により前記タイミングが検出された場合に、前記奥行きブレ補正処理を開始することを特徴とする内視鏡装置。
【請求項４】
請求項３において、
前記奥行きブレ補正処理後の前記奥行き方向のブレが、所定の基準範囲内となったか否かを判定する判定部と、
前記奥行き方向のブレが前記所定の基準範囲内となったと前記判定部により判定された場合に、前記光軸に直交する方向のブレである平面ブレを補正する処理を行う平面ブレ補正処理部と、
を含むことを特徴とする内視鏡装置。
【請求項５】
請求項１において、
前記画像取得部は、
第１画像と、前記第１画像の後の第２画像を時系列に取得し、
前記係数算出部は、
前記第１画像の特徴点に囲まれた領域の面積と、前記第１画像の特徴点に対応する前記第２画像の特徴点に囲まれた領域の面積との比に基づいて、前記第１画像に対する前記第２画像の倍率を算出し、算出した前記倍率を前記補正係数とすることを特徴とする内視鏡装置。
【請求項６】
請求項１において、
前記撮像部は、
オートフォーカス処理を行うための光学系を有し、
前記係数算出部は、
前記オートフォーカス処理により調整された前記光学系のフォーカス位置に基づいて、前記補正係数を算出することを特徴とする内視鏡装置。
【請求項７】
請求項６において、
前記画像取得部は、
第１画像と、前記第１画像の後の第２画像を時系列に取得し、
前記係数算出部は、
前記第１画像を撮像したときの前記フォーカス位置と前記第２画像を撮像したときの前記フォーカス位置に基づいて、前記第１画像に対する前記第２画像の倍率を算出し、算出した前記倍率を前記補正係数とすることを特徴とする内視鏡装置。
【請求項８】
請求項１において、
前記奥行きブレ補正処理部は、
前記画像のサイズを前記補正係数に基づいて拡大または縮小することで、前記奥行きブレ補正処理を行うことを特徴とする内視鏡装置。
【請求項９】
請求項８において、
前記画像取得部は、
第１画像と、前記第１画像の後の第２画像を時系列に取得し、
前記係数算出部は、
前記第１画像に対する前記第２画像の倍率を前記補正係数として算出し、
前記奥行きブレ補正処理部は、
前記第２画像のサイズを前記補正係数に基づいて拡大または縮小することを特徴とする内視鏡装置。
【請求項１０】
請求項８において、
前記奥行きブレ補正処理が施された画像から所定サイズの画像をトリミングするトリミング部を含むことを特徴とする内視鏡装置。
【請求項１１】
請求項１において、
前記撮像部は、
光学ズーム処理を行うための光学系を有し、
前記奥行きブレ補正処理部は、
前記光学系の光学ズーム倍率を前記補正係数に基づいて調整することで、前記奥行きブレ補正処理を行うことを特徴とする内視鏡装置。
【請求項１２】
請求項１において、
前記奥行きブレ補正処理を開始するタイミングを検出する補正開始検出部を含み、
前記補正開始検出部は、
前記画像における被写体の動き情報に基づいて、前記奥行きブレ補正処理を行うか否かを判定し、
前記奥行きブレ補正処理部は、
前記補正開始検出部により前記奥行きブレ補正処理を行うと判定された場合に、前記奥行きブレ補正処理を開始することを特徴とする内視鏡装置。
【請求項１３】
請求項１２において、
前記画像取得部は、
第１画像と、前記第１画像の後の第２画像を時系列に取得し、
前記補正開始検出部は、
前記第１画像と前記第２画像の被写体の前記動き情報に基づいて、前記奥行き方向のブレの大きさを表す動き量を求め、
前記補正開始検出部は、
前記動き量が閾値よりも大きい場合に、前記奥行きブレ補正処理を行うと判定することを特徴とする内視鏡装置。
【請求項１４】
請求項１において、
前記奥行きブレ補正処理を開始するタイミングを検出する補正開始検出部を含み、
前記撮像部は、
オートフォーカス処理を行うための光学系を有し、
前記補正開始検出部は、
前記オートフォーカス処理の動作状態に基づいて、前記奥行きブレ補正処理を行うか否かを判定することを特徴とする内視鏡装置。
【請求項１５】
請求項１４において、
前記光学系は、
光学ズーム処理を行い、
前記光学系が行う前記オートフォーカス処理は、
通常観察モードでの光学ズーム倍率よりも高倍率の拡大観察モードにおいて、オン状態に設定され、
前記補正開始検出部は、
前記オートフォーカス処理が前記オン状態に設定された場合に、前記奥行きブレ補正処理を行うと判定することを特徴とする内視鏡装置。
【請求項１６】
請求項１において、
前記奥行きブレ補正処理を開始するタイミングを検出する補正開始検出部を含み、
前記補正開始検出部は、
外部入力に基づいて、前記奥行きブレ補正処理を行うか否かを判定することを特徴とする内視鏡装置。
【請求項１７】
請求項１において、
前記奥行きブレ補正処理後の前記画像の動き情報に基づいて、前記奥行きブレ補正処理後の前記奥行き方向のブレが所定の基準範囲内となったか否かを判定する判定部と、
前記奥行き方向のブレが前記所定の基準範囲内となったと前記判定部により判定された場合に、前記光軸に直交する方向のブレである平面ブレを補正する処理を行う平面ブレ補正処理部と、
を含むことを特徴とする内視鏡装置。
【請求項１８】
請求項１７において、
前記画像取得部は、
第１画像と、前記第１画像の後の第２画像を時系列に取得し、
前記判定部は、
前記第１画像の特徴点と、前記第１画像の特徴点に対応する前記第２画像の特徴点との間の前記奥行きブレ補正処理後の動き情報に基づいて、前記奥行き方向のブレの大きさを表す動き量を求め、
前記判定部は、
前記動き量が閾値よりも小さい場合に、前記平面ブレ補正処理を行うと判定することを特徴とする内視鏡装置。
【請求項１９】
請求項１７において、
前記平面ブレ補正処理部は
電子式ブレ補正により前記平面ブレを補正する処理を行うことを特徴とする内視鏡装置。
【請求項２０】
時系列に画像を取得する画像取得部と、
撮像部の光軸に沿った方向である奥行き方向のブレを補正するための補正係数を算出する係数算出部と、
前記補正係数に基づいて、時系列に取得された前記画像の前記奥行き方向のブレを補正する処理を行う奥行きブレ補正処理部として、
コンピュータを機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−１００９０９（Ｐ２０１２−１００９０９Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１０−２５２５５５（Ｐ２０１０−２５２５５５）
【出願日】平成２２年１１月１１日（２０１０．１１．１１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２２年１１月１１日（２０１０．１１．１１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]