内視鏡
【課題】光電変換手段において提案されている特性の撮像・観察・記録機器への好適な活用を提案する。
【解決手段】それぞれ可視光域および赤外光域において６０％以上の量子効率を有するＣＩＧＳ系薄膜よりなり規則的に配列された複数の光電変換部と、時分割で輪番発光する赤、緑、青、赤外ＬＥＤとによりそれぞれの色の画像を分離して取得する。赤、緑、青の１つが新たに発光して画像データが取得される毎に先行して取得済みの他の２色の画像データと組み合わせて動画１フレーム分のカラー画像を作る。可視３色のデータが揃う際に赤外ＬＥＤの発光が介在しているものは補間動画データとする。可視光域照明光源と赤外光域照明光源の一方の照明下で電荷蓄積中に他方の発光下で取得読出し済みの信号をＡＤ変換し送信する。体内カプセルで取得したＲＡＷデータを体外で受信して画像処理する。
【解決手段】それぞれ可視光域および赤外光域において６０％以上の量子効率を有するＣＩＧＳ系薄膜よりなり規則的に配列された複数の光電変換部と、時分割で輪番発光する赤、緑、青、赤外ＬＥＤとによりそれぞれの色の画像を分離して取得する。赤、緑、青の１つが新たに発光して画像データが取得される毎に先行して取得済みの他の２色の画像データと組み合わせて動画１フレーム分のカラー画像を作る。可視３色のデータが揃う際に赤外ＬＥＤの発光が介在しているものは補間動画データとする。可視光域照明光源と赤外光域照明光源の一方の照明下で電荷蓄積中に他方の発光下で取得読出し済みの信号をＡＤ変換し送信する。体内カプセルで取得したＲＡＷデータを体外で受信して画像処理する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像センサとその活用に関する。
【背景技術】
【０００２】
光電変換手段としては、日々、種々の特性のものが提案されている。また、従来から、カラー画像のための撮像センサや赤外画像のための撮像センサも種々提案されている。さらにこれらの撮像センサを活用した内視鏡等の撮像・観察・記録機器も種々提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−１９２８９３号公報
【特許文献２】特開２００７−１１７１９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、光電変換手段において提案されている種々の特性はまだ充分活用されているとは言えず、さらに検討すべき課題が多い。
【０００５】
本発明の課題は、上記に鑑み、光電変換手段において提案されている特性の撮像・観察・記録機器への好適な活用を提案することにある。
【課題を解決するための手段】
【０００６】
上記課題を達成するため、本発明は、それぞれ可視光域および赤外光域において６０％以上の量子効率を有し規則的に配列された複数の光電変換部と、可視光域照明光源と、赤外光域照明光源と、可視光域照明光源による照明下で光電変換部が受光する画像を可視光画像データとして取得するとともに赤外光域照明光源による照明下で光電変換部が受光する画像を赤外光画像データとして取得する制御部とを有する内視鏡が提供される。これによって、共通の光電変換部を用い、照明光源の切換えで可視光画像データおよび赤外光画像データを取得することが可能となる。
【０００７】
本発明の他の特徴によれば、可視光域において６０％以上の量子効率を有し規則的に配列された複数の光電変換部と、３つの異なる単色可視光照明光源と、これら３つの異なる単色可視光照明光源による照明下でそれぞれ光電変換部が受光する画像をそれぞれ３つの異なる単色可視光画像データとして取得する制御部とを有する内視鏡が提供される。これによって、共通の光電変換部を用い、照明光源の切換えで３つの異なる単色可視光画像データを分離して取得することが可能となる。
【０００８】
以上のような本発明の具体的な特徴によれば、制御部は、３つの異なる単色可視光照明光源および赤外光域照明光源または３つの異なる単色可視光照明光源を輪番で時分割発光させる。また、より具体的な特徴によれば、制御部は、３つの単色可視光照明光源の１つの新たな発光下で単色可視光画像データが取得される毎に、他の２つの単色可視光照明光源による照明下でそれぞれ取得済みの単色可視光画像データと組み合わせるべきカラー画像データとして提供する。これによってスムーズな動画データの取得が可能となる。
【０００９】
本発明のさらに具体的な特徴によれば、赤外光域照明光源を用いる場合において、制御部は、３つの単色可視光画像データの取得のための３つの異なる単色可視光照明光源の発光タイミング中に赤外光域照明光源の発光タイミングを含む場合と含まない場合とで３つの単色可視光画像データを組み合わせたカラー画像の取り扱いを変える。これによって、３つの単色可視光画像データが不等間隔で揃う場合を補間画像として用い、等間隔で揃う場合を本画像として用いるなど、カラー画像の取り扱いを適切に変えることができる。
【００１０】
本発明の他の特徴によれば、可視光域照明光源と赤外光域照明光源の一方の照明下で光電変換部が画像を受光しているとき、他方の照明下で前記光電変換部が画像した画像を処理する内視鏡が提供される。これによって、可視光画像データおよび赤外光画像データを近接したタイミングで取得することが可能となる。処理の具体例は、ＡＤ変換であり、他の具体例はデータの送信である。これらはいずれも比較的時間を要する処理であり、光電変換部による受光と並行処理することで可視光画像データおよび赤外光画像データを効果的に近接したタイミングで取得することが可能となる。
【００１１】
本発明の他の特徴によれば、規則的に配列された複数の光電変換部、照明光源、照明光源による照明下で光電変換部が受光する画像をＲＡＷデータとして取得する制御部およびＲＡＷデータを送信する無線送信部を含むカプセル部と、無線送信部からのＲＡＷデータを受信する無線受信部、受信したＲＡＷデータを処理する画像処理部および画像処理部が処理した画像を表示する表示部を含む体外モニタ部とを有する内視鏡が提供される。これにより、例えばカラー画像の作成を体外で行うことができ、体内に飲み込まれるカプセルの構成の負担を軽減することができる。
【発明の効果】
【００１２】
上記のように、本発明によれば、光電変換手段において提案されている種々の特性を生かした内視鏡を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施例を示すブロック図である。（実施例１）
【図２】図１の測光兼用ＡＦセンサおよびライブビューセンサの構成を関連する部分とともに詳細に示したブロック図である
【図３】図２のＣＩＧＳ撮像センサおよびＣＩＧＳＡＦセンサに用いられるＣＩＧＳセンサの分光感度をシリコンのＣＭＯＳセンサと比較したグラフである。
【図４】第１実施例におけるカメラ制御部の動作のフローチャートである。
【図５】本発明の第２実施例を示すブロック図である。（実施例２）
【図６】第２実施例におけるカメラ制御部の動作のフローチャートである。
【図７】図２または図５のライブビューセンサに用いられるＣＩＧＳ撮像センサのカラーフィルタ配列の第1例である。
【図８】ＣＩＧＳ撮像センサのフィルタ配列の第２例である。
【図９】図８のフィルタ配列を採用したＣＩＧＳセンサの模式断面図である。
【図１０】ＣＩＧＳ撮像センサのフィルタ配列の第３例である。
【図１１】図５の第２実施例においてライブビューセンサの画像を記録する際のカメラ制御部の動作を示すフローチャートである。
【図１２】図１１のステップＳ１０８およびステップＳ１１４に共通して利用できる処理の詳細を示すフローチャートである。
【図１３】本発明の第３実施例を示すブロック図である。（実施例３）
【図１４】第３実施例に採用可能なＬＥＤの配置の第１の例を示す正面図である。
【図１５】第３実施例に採用可能なＬＥＤの配置の第２の例を示す正面図である。
【図１６】第３実施例に採用可能なＬＥＤの配置の第３の例を示す正面図である。
【図１７】第３実施例に採用可能なＬＥＤの配置の第４の例を示す正面図である。
【図１８】第３実施例のカラー・赤外モードでの動作タイミングチャートである。
【図１９】図１８の動作とカラー画像作成の関係を示すタイミングチャートである。
【図２０】第３実施例の精細カラーモードでの動作タイミングチャートである。
【図２１】図２０の動作とカラー画像作成の関係を示すタイミングチャートである。
【図２２】第３実施例の赤外モードでの動作タイミングチャートである。
【図２３】第３実施例における内視鏡制御部の動作のフローチャートである。
【図２４】図２３のステップＳ１７０の詳細を示すフローチャートである。
【図２５】図２４のステップＳ２０８の詳細を示すフローチャートである。
【図２６】図２３のステップＳ１７２の詳細を示すフローチャートである。
【図２７】第３実施例におけるモニタ制御部の動作を示すフローチャートである。
【図２８】本発明の第４実施例のカラー・赤外モードでの動作タイミングチャートである。（実施例４）
【図２９】第４実施例の精細カラーモードでの動作タイミングチャートである。
【発明を実施するための形態】
【実施例１】
【００１４】
図１は、本発明の実施の形態に係るオートフォーカスデジタル一眼レフカメラの第１実施例を示すブロック図である。オートフォーカスデジタル一眼レフカメラはカメラボディ２およびこれに交換可能に着脱される交換レンズ４を有している。交換レンズ４のレンズ光学系６から入射した被写体光は、観察位置にあるミラー８で上方に反射され、焦点板１０の位置に結像する。この像はペンタリズム１２で反射された後、アイピース１４で観察され、撮像ための構図決めなどが行われる。
【００１５】
撮影の際には、操作部１５のシャッタレリーズボタンを操作することによって、ミラー８がオートフォーカス用サブミラー１６とともに撮影位置に退避するとともにフォーカルプレーンシャッタ１８が開き、交換レンズ４のレンズ光学系６から入射した被写体光が撮像部２０に結像して撮像される。撮像部２０によって撮像された画像情報は、画像処理部２２で画像処理された後、カメラ制御部２４の制御により画像記憶部２６に記憶される。画像記憶部２６に記憶された画像情報は、適宜媒体スロット２８に挿入されたメモリーカードなどの記憶媒体に転送される。また、画像記憶部２６に記憶された画像情報は、カメラ制御部２４の制御により、適宜入出力部３０から外部に転送することができる。なお、撮影直後の画像情報は、カメラ制御部２４から表示部３２に送られて自動的に表示されるので、操作者は撮像した画像を確認することができる。
【００１６】
画像再生の際には、操作部１５の操作により、画像記憶部２６または媒体スロット２８に記憶された画像情報がカメラ制御部２４によって読み出され、カメラボディ２の背面に設けられた液晶等からなる表示部３２に表示される。以上が、図１のオートフォーカスデジタル一眼レフカメラにおける撮像および再生に関する基本構成および基本機能である。なお、上記から明らかなように、ミラー８が観察位置にあるときは、撮像部２０による被写体像の撮像は行われないので、以上の構成だけではアイピース１４で観察できるリアルタイムの被写体像は表示部３２に表示されることはなく、撮影後に確認ができるだけである。この点が、デジタル一眼レフカメラの特殊性であり、表示部３２の画像を観察しながら構図決めができる通常のコンパクトデジタルカメラと異なるところである。
【００１７】
次に、図１のオートフォーカスデジタル一眼レフカメラにおけるオートフォーカスに関する構成と機能について説明する。交換レンズ４のレンズ光学系６から入射した被写体光の一部は、観察位置にあるミラー８中央にある半透過部を透過し、サブミラー１６で下方に反射されて測光兼用オートフォーカス（以下「ＡＦ」）センサに導かれる。測光兼用ＡＦセンサ３４はサブミラー１６から入射する光をＡＦセンサ上に再結像して分析し結果をカメラ制御部２４に送る。この分析は、例えば、よく知られている瞳分割による位相差検出方式などによって撮像部２０の撮像面とレンズ光学系６による結像位置のずれ方向およびその程度を分析することによって行われる。カメラ制御部２４は、測光兼用ＡＦセンサ３４から得られたレンズ光学系６による結像位置のずれ方向およびその程度の情報に基づき、結像位置のずれを解消するためのレンズ光学系６の駆動量および駆動方向の情報を、ＡＦ制御部３６に送る。ＡＦ駆動部３８は、カメラボディ２と交換レンズ４との機械的または電気的インターフェースによってＡＦ制御部３６から伝えられる駆動量および駆動方向の情報に基づいてレンズ光学系６を駆動し、自動焦点合わせを行う。なお、測光兼用ＡＦセンサ３４の構成の詳細については後述する。
【００１８】
ライブビューセンサ４０は、デジタル一眼レフカメラにおいて、通常のコンパクトデジタルカメラと同様にして、表示部３２の画像を観察しながら構図決めができるようにするための「ライブビュー」機能のための構成である。ペンタプリズム１２の反射面１２ａ全体が半透過性になっており、ライブビューセンサ４０は、焦点板１０の画像をＣＩＧＳ撮像センサ上に再結像させることにより、焦点版１０の画像全体を撮像できるようになっている。ＣＩＧＳ撮像センサは、銅（Ｃｕ）、インジウム（Ｉｎ）、ガリウム（Ｇａ）およびセレン（Ｓｅ）を材料とする光センサであり、その詳細は後述する。
【００１９】
ペンタプリズム１２の反射面１２ａは、可視光領域以外はほぼ全面的に光を透過させるとともに、可視光領域では、わずかに光を透過させるだけで大半が反射する分光透過特性になっており、アイピース１４で焦点版１０の像を観察する際に実質的に像が暗くなることはない。また、ライブビューセンサ４０に採用されているＣＩＧＳ撮像センサは、後述するように可視光領域において高い感度を有しているので、可視光領域での反射面１２ａの光透過率がわずかであっても、可視光領域における焦点版１０の像を充分撮像することが可能である。このライブビューセンサ４０への可視光の配分は、アイピース１４により光学的に被写体を観察し難い暗さになったとき、ＣＩＧＳ撮像センサによるライブビュー用の撮像についても光量不足となるレベルとする。ＣＩＧＳ撮像センサを用いたライブビューセンサ４０の詳細については後述する。ライブビューセンサ４０で撮像された画像はカメラ制御部２４に送られ、これが表示部３２で表示されるので、図１のオートフォーカスデジタル一眼レフカメラは、被写体が通常の明るさである限り、通常のコンパクトデジタルカメラと同様にして、表示部３２の画像を観察しながら構図決めが可能である。
【００２０】
図２は、図１のオートフォーカスデジタル一眼レフカメラの第１実施例における測光兼用ＡＦセンサ３４およびライブビューセンサ４０の構成を関連する部分とともに詳細に示したブロック図である。ペンタプリズム１２の反射面１２ａは、すでに述べたように可視光領域以外はほぼ全面的に光を透過させるとともに、可視光領域では、わずかに光を透過させるだけで大半が反射する分光透過特性を有するが、多層膜５２はこのような分光透過特性を実現するために反射面１２ａにコーティングされたものである。
【００２１】
ライブビューセンサ４０は、このような多層膜５２を透過した焦点面１０からの光束をＣＩＧＳ撮像センサ５４の撮像面に再結像させるための再結像レンズ５６を備えている。赤外光カットフィルタ５８は、多層膜５２を透過してきた可視光領域以外の光を実質的にカットしてＣＩＧＳ撮像センサ５４の波長感度特性を撮像部２０の波長感度特性に近似させるものであり、視感度に一致した被写体像を撮像してカメラ制御部２４に送り、図１の表示部３２でのライブビューを可能にする。なお、本発明にいう「赤外光」とは主に「近赤外光」と称される比較的可視光に近い領域の赤外光線を指すが、学会により定義が必ずしも一定でないので、以下「赤外光」と略称する。
【００２２】
ライブビューセンサ４０は、さらに焦点板１０における明るさを測定する全画面測光を可能にしている。つまり、ＣＩＧＳ撮像センサ５４から出力される画像情報は、全画面にわたる測光情報としてもカメラ制御部２４で処理され、必要に応じＡＦ対応部分測光センサ７２の出力と組合せ慮利される。そして、これら処理結果に基づいて交換レンズ４の絞り径、フォーカルプレーンシャッタ１８によるシャッタ速度、および撮像部２０の感度などをコントロールする自動露出制御が行われる。
【００２３】
可視光カットフィルタ６０は赤外光カットフィルタ５８と差し替えてＣＩＧＳ撮像センサ５４への光路中に挿入されるもので、「長波長モード」にて使用されるものである。多層膜５２からは可視光領域以外がほぼ全面的に透過してくるので、長波長モードの設定で赤外光カットフィルタ５８に替えて可視光カットフィルタ６０が光路に挿入された場合は、可視光よりも長波長側域の光がＣＩＧＳ撮像センサ５４に入射するようになる。ＣＩＧＳ撮像センサ５４は、後述するように、長波長側が１３００ｎｍにおよぶ分光感度を持っている。従って、可視光カットフィルタ６０の挿入によってライブビューセンサ４０はこれら長波長域の光での撮影に好適な撮像センサとなる。そして、このような長波長域の画像出力を表示部３２でリアルタイムに観察したり、画像記憶部２６に記録したりすることが可能となる。
【００２４】
ミラー／フィルタ駆動部６２は、操作部１５によるモード切換に応じたカメラ制御部２４の制御により、上記の可視光カットフィルタ６０と赤外光カットフィルタ５８の差し替えを駆動する。なお、図２では、撮影位置に退避したミラー８ａおよびサブミラー１６ａが二点鎖線で図示されているが、このようなミラー８とサブミラー１６における観察位置と撮影位置の間の駆動も、カメラ制御部２４の制御によりラー／フィルタ駆動部６２が行う。
【００２５】
測光兼用ＡＦセンサ３４の再結像レンズ６４は、交換レンズ４から入射して観察位置にあるミラー８中央にある半透過部を透過し、サブミラー１６で下方に反射される被写体光を再結像させるためのものである。再結像レンズ６４からの光束は、波長選択性のない可動半透ミラー６６および赤外光カットフィルタ６８を透過してＣＩＧＳＡＦセンサ７０上に結像する。ＣＩＧＳＡＦセンサも、後述するように可視光領域において高い感度を有しており、暗い被写体であっても補助光なしに自動焦点検出が可能である。なお、赤外光カットフィルタ６８は、ＣＩＧＳＡＦセンサ７０をＡＦセンサとして働かせるために有害な赤外光領域の波長をカットするものであり、ＣＩＧＳ撮像センサ５４のための赤外光カットフィルタ５８とは必ずしも特性が同じものではない。例えば、赤外光カットフィルタ８は赤外光カットフィルタ５８よりも狭い透過分光特性に設定される。
【００２６】
このため、被写体が通常の明るさのときに減光のために可動半透ミラー６６を図示の位置に挿入し、ＣＩＧＳＡＦセンサへの入射光量をＣＩＧＳＡＦセンサの感度ダイナミックレンジに合わせこむ。一方、被写体が通常のＡＦセンサでは補助光を必要とするような暗さになったときには可動半透ミラーを６４ａの位置に退避させ、減光なしに被写体像をＣＩＧＳセンサに結像させる。なお、このとき可動半透ミラー６６の有無による光路長の補償が必要である。例えば、可動半透ミラー６６を退避させたときには、これと光路長が等しい全透過性の並行平板を代わりに光路中に挿入する。また、当然ながら、可動半透ミラーが６４ａの位置に退避した状態では、ＡＦ対応部分測光センサ７２による測光はできなくなる。
【００２７】
ＣＩＧＳＡＦセンサ７０への減光のために再結像光路中に可動半透ミラー６６が挿入されている時、これを反射した光は、ＡＦ対応部分測光センサ７２に入射する。ＡＦ対応部分測光センサ７２は、ＣＩＧＳＡＦセンサによって焦点検出が行われている部分の明るさを測光するものであり、全画面のうちで焦点検出の対象となっている部分の明るさを選択的に測光することにより、撮影において関心の高い部分が適正露出になるよう自動露出制御するための情報として用いられる。このように、被写体が明るい時に過剰となるＣＩＧＳＡＦセンサ７０への減光部分は、捨てられるのではなく、測光情報として有効に利用される。
【００２８】
ＡＦ対応部分測光センサ７２からの部分測光情報は、ライブビューセンサ４０のＣＩＧＳ撮像センサ５４からの全画面に関する測光情報と組合せてカメラ制御部２４で処理され、最終的に、交換レンズ４の絞り径、フォーカルプレーンシャッタ１８によるシャッタ速度、および撮像部２０の感度などがコントロールされる。
【００２９】
センサ制御部７４は、可動半透ミラー６６が挿入されている時および退避しているときのいずれの場合においても、ＣＩＧＳＡＦセンサ７０の受光積分時間やゲインコントロールなどを行って、自動焦点調節を制御する。この受光積分時間やゲインコントロールを混乱なく行うためには、可動半透ミラー６６が挿入されているのか退避しているのかの情報も用いられる。センサ制御部７４は、また、ＣＩＧＳＡＦセンサ７０およびＡＦ対応部分測光センサ７２に指示を出し、全画面のうちで焦点検出の対象とすべき部分と選択的に測光する部分を一致させる制御を行い、それぞれ対応する焦点検出情報と測光情報をカメラ制御部２４に出力させる。
【００３０】
一方、ライブビューセンサ４０が「長波長モード」に設定され、多層膜５２からＣＩＧＳ撮像センサ５４への光路に赤外光カットフィルタ５８に替えて可視光カットフィルタ６０が光路に挿入された場合は、測光兼用ＡＦセンサ３４でも、これに対応したフィルタの差し替え等が行われる。具体的には、「長波長モード」の場合、半透ミラー６６の退避を前提として赤外光カットフィルタ６８が可視光カットフィルタ７６に差し替えられる。これによって、ＣＩＧＳ撮像センサ５４による長波長域での撮像のための焦点検出が、減光なしに、ＣＩＧＳＡＦセンサ７０によって行われるようになる。なお、このとき、波長感度域あわせだけでなく、波長の違いによる光路長の変化および焦点検出の際の色収差の違い等の補償を行う。
【００３１】
以上のような可動半透ミラー６６の移動および赤外光カットフィルタ６８と可視光カットフィルタ７６との差し替えは、操作部１５によるモード切換操作に基づくカメラ制御部２４の制御により、ミラー／フィルタ駆動部７８が司る。
【００３２】
図１および図２の第1実施例は、上記のような基本機能に加え、「複合ＡＦ機能」が可能である。操作部１５の操作により、「複合ＡＦ機能」が選択されると、ライブビュー機能が停止され、「複合ＡＦ機能」の開始が指示される。具体的には、操作部１５の操作により、「複合ＡＦ機能」が選択されると、カメラ制御部２４は、赤外光カットフィルタ５８に替えて可視光カットフィルタ６０をＣＩＧＳ撮像センサ５４への光路に設定する指示をミラー／フィルタ駆動部６２に対して行うとともにＣＩＧＳ撮像センサ５４の出力に基づく表示部３２でのライブビュー表示を停止する。
【００３３】
これに替わり、可視光カットフィルタ６０により長波長側の感度域となったＣＩＧＳ撮像センサ５４の画像信号は、赤外光カットフィルタ６８により可視光の感度域にあるＣＩＧＳＡＦセンサの出力と組み合わされ、「複合ＡＦ機能」が実行される。具体的には、ＣＩＧＳ撮像センサ５４の画像信号に基づく画像処理により被写体の画像分析が行われ、その結果に基づいて、ＣＩＧＳＡＦセンサによる焦点検出領域が決定される。
【００３４】
図３は、図２のＣＩＧＳ撮像センサ５４およびＣＩＧＳＡＦセンサに用いられるＣＩＧＳセンサの分光感度（量子効率）をシリコンのＣＭＯＳセンサと比較したものである。図３（Ａ）は、各波長におけるＣＩＧＳセンサの量子効率（％）を示すものであり、図３（Ｂ）におけるシリコンのＣＭＯＳセンサについての同様の量子効率（％）と比較して、明らかな高感度および広帯域の特性を示している。具体的には、図３（Ａ）のＣＩＧＳセンサは、波長１３００ｎｍ近くにわたる広い感度域を持つ。さらに、４００ｎｍ付近から１２００ｎｍ付近の広い波長域に渡り量子効率５０％を超える分光感度を有しており、可視光およびこれに隣接する赤外光領域では特に顕著な高量子効率を示している。このような可視光域および赤外光域において６０％以上の量子効率を有する高感度および広帯域の分光感度特性は、図３（Ｂ）におけるようなシリコンのＣＭＯＳセンサでは期待できないものである。
【００３５】
図４は、図１および図２の第１実施例におけるカメラ制御部２４の動作のフローチャートである。操作部１５によってカメラのメインスイッチがオンになるとフローがスタートし、ステップＳ２においてオートフォーカスデジタル一眼レフカメラが操作部１５によって再生モードに設定されているかどうかチェックする。再生モード設定が検出されなければ撮影モードなのでステップＳ４に進み、可動半透ミラー６６をＣＩＧＳＡＦセンサ７０への光路内に設定して入射光量を減光する指示をミラー／フィルタ駆動部７８に行う。
【００３６】
なお、ステップＳ４の指示に応答するミラー／フィルタ駆動部７８による可動半透ミラー６６設定の機械的実行には遅延期間が設けられており、例えば可動半透ミラー６６がＣＩＧＳＡＦセンサ７０への光路にセットされている状態で可動半透ミラー６６を光路から退避させる減光解除の指示が行われ、その後遅延時間内に、これを取り消す関係にある可動半透ミラー６６を光路内にセットする指示が続いて行われたような場合には、ミラー／フィルタ駆動部７８は実際には可動半透ミラー６６の駆動を実行せず、可動半透ミラー６６が光路内に設定されている状態が継続する。換言すれば、ミラー／フィルタ駆動部７８は遅延時間内に可動半透ミラー６６を異なる状態に駆動する指示が繰返し行われて初めて可動半透ミラー６６の駆動を実行することになる。なお、既に可動半透ミラー６６がＣＩＧＳＡＦセンサ７０の光路に設定されている状態でステップＳ４の指示が行われた時は、当然ながら、ミラー／フィルタ駆動部７８は可動半透ミラー６６に対する何の駆動も行わない。これらのことは、以下の各ステップにおける種々の「指示」に共通である。
【００３７】
次いでステップＳ６に進み、ライブビュー用の赤外光フィルタ５８をＣＩＧＳ撮像センサ５４への光路に設定する指示をミラー／フィルタ駆動部６２に行う。なお、ミラー／フィルタ駆動部６２のミラー差し替え動作についても、上記でミラー／フィルタ駆動部７８において説明したのど同様の指示に対する駆動実行への遅延時間が設けられている。
【００３８】
次いで、ステップＳ８でＡＦ用の赤外光カットフィルタ６８をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に行う。そして、ステップＳ１０に進み、ＣＩＧＳＡＦセンサ７０の出力に基づき、減光を解除すべきレベルまで被写体が暗いかどうかのチェックを行う。該当すればステップＳ１２に進んで、可動半透ミラー６６を光路から退避させる減光解除の指示を行ってステップＳ１４に移行する。一方、被写体が充分明るい場合は直接ステップＳ１４に移行する。
【００３９】
ステップＳ１４では、操作部１５によって「複合ＡＦモード」が選択されたかどうかのチェックを行う。そして選択があればステップＳ１６に進み、複合ＡＦを行うために赤外光フィルタ５８に替えて可視光カットフィルタ６０をＣＩＧＳ撮像センサ５４への光路に設定する指示をミラー／フィルタ駆動部６２に対して行う。さらに、ステップＳ１８でＣＩＧＳ撮像センサ５４の出力に基づく表示部３２でのライブビュー表示を停止するとともに、長波長側の感度域のＣＩＧＳ撮像センサ５４の画像信号と可視光の感度域にあるＣＩＧＳＡＦセンサの出力とを組み合わせる「複合ＡＦ機能」の開始が指示してステップＳ２０に移行する。一方、ステップＳ１４で「ＡＦモード」の選択が検出されない場合は、直接ステップＳ２０に移行する。
【００４０】
ステップＳ２０では、撮像部２０による撮像が光量不足となるほど暗いかどうかのチェックを行う。通常、このレベルまで被写体が暗くなるとフラッシュなどの補助光を用いた撮影が必要となる。ステップＳ２０で光量不足が検知されるとステップＳ２２に進み、操作部１５の操作によって「長波長モード」が選択されているかどうかチェックする。そして該当すればステップＳ２４に進み、赤外光フィルタ５８に替えてライブビュー用の可視光カットフィルタ６０をＣＩＧＳ撮像センサ５４への光路に設定する指示をミラー／フィルタ駆動部６２に対して行う。さらに、ステップＳ２６で、赤外光カットフィルタ６８に替えてＡＦ用の可視光カットフィルタ７６をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に対して行ってステップＳ２８に移行する。
【００４１】
一方、ステップＳ２０で撮像部の光量不足が検出されない場合は、直接ステップＳ２８に移行する。このように、撮像部の光量不足となるような暗さでない場合、通常はステップＳ２２に進むことができず、「長波長モード」は禁止される。これは設定の混乱を防止するためである。なお、被写体が明るい場合でも特に「長波長モード」を選択したい場合は、操作部１５で特別の操作を行うことによってステップＳ２２に進むことも可能である。また、ステップＳ２２で「長波長モード」設定が検出されない場合も、直接ステップＳ２８に移行する。
【００４２】
ステップＳ２８では、操作部１５のシャッタレリーズボタンによるレリーズ操作が行われたかどうかチェックする。レリーズ操作が検知できなければステップＳ３０に進み、操作部１５によってカメラのメインスイッチをオフする操作が行われたかどうかチェックする。そしてカメラオフ操作が検出されなければフローはステップＳ２に戻り、以下、ステップＳ２で再生モード操作が検出されるかステップＳ２８でレリーズ操作が検出されない限り、ステップＳ２からステップＳ３０を繰り返す。
【００４３】
上記の繰返しは充分高速で行われ、上記したミラー／フィルタ駆動部６２、７８に設けられる遅延時間内に何度も繰り返される。従って、ステップＳ１０、ステップＳ１４、ステップＳ２０およびステップＳ２２に基づく検知結果が変化するとミラー／フィルタ駆動部６２、７８の遅延時間内にこの変化基づく同一の指示が繰返し行われ、ミラー／フィルタ駆動部６２、７８による適切な指示の実行が行われる。これによって、被写体の明るさの変化に基づく減光の設定／解除と波長域カットフィルタの切り替え、およびモード切り替えに基づく波長域カットフィルタの切り替えがスムーズに実行される。
【００４４】
なお、ステップＳ２で操作部１５による再生モード設定操作が検出された時はステップＳ３２の再生モード処理に移行する。そして、再生モード処理内部の機能によって撮影モードが選択されたときには、フローはステップＳ４に戻る。また、再生モード処理内部の機能によってカメラオフ操作が検出されたときにはフローを終了する。
【実施例２】
【００４５】
一方、ステップＳ２８で操作部１５のシャッタレリーズボタンによるレリーズ定操作が検出された時はステップＳ３４の撮像記録処理に移行する。そして、撮像記録および表示部での撮像結果表示が終わると、フローは自動的にステップＳ２に戻る。なお、ステップＳ３０でカメラオフ操作が検出されたときは、図４のフローが終了となる。
【００４６】
図５は、本発明の実施の形態に係るオートフォーカスデジタル一眼レフカメラの第２実施例を示すブロック図である。その構成の大部分は図１の第１実施例と同様なので、共通する部分には同一の番号を付し、特に必要がない限り説明を省略する。図５の第２実施例が図１の第１実施例と異なるのは、カメラボディ１００であり、特にそのライブビューセンサ１０２およびこれに関連する構成および機能が第１実施例と異なる。
【００４７】
第１実施例のライブビューセンサ４０では、半透過性の反射面１２ａを介して光を受けるよう構成され、反射面１２ａを透過する可視光領域の光が抑えられている。これは、アイピース１４で光学的に被写体像を支障なく観察することができるようにするとともに、同時にライブビューも常に可能とするためである。ライブビューセンサ４０にはＣＩＧＳ撮像センサが用いられているので、反射面１２ａを透過する可視光領域の光が抑えられていても、通常の明るさの被写体をライブビューするには充分である。しかしながら、アイピース１４で充分観察できないような暗い被写体の場合は、ライブビューセンサ４０でも光量が不足する。これに対し、図５の第２実施例は、アイピース１４で充分観察できないような暗い被写体の場合でも、ライブビューセンサ１０２に採用したｃＩＧＳ撮像センサによってライブビューが可能となるよう構成している。なお、図５のライブビューセンサ１０２の詳細構造は、図２におけるライブビューセンサ４０と基本的には同様であって、再結像光学系およびＣＩＧＳ撮像センサを有する。但し、ペンタプリズム１０４に対するライブビューセンサ１０２の配置場所が異なるので、その再結像光学系は図２の再結像レンズ５６とは異なったものとなる。
【００４８】
上記の考え方に基づき、第２実施例では、通常のペンタプリズム１０４が採用されており、ライブビューモードに設定しない場合は、ペンタプリズム１０４からの光はすべてアイピースに向かう。このとき可動全反射ミラー１０６は図５のようにアイピース１４への光路から退避している。従ってこの状態ではライブビューができない。
【００４９】
操作部１５の操作によってライブピューモードを選択すると、可動全反射ミラーが１０６ａの位置に下がり、ペンタプリズム１０４からの光を全てライブビューセンサ１０２の方向に反射する。従って、アイピース１４による光学的なファインダー像の観察はできなくなる。可動減光フィルタ１０８は、被写体が通常の明るさのときに図５のようにライブビューセンサへの光路中に挿入され、ライブピューセンサ１０２への入射光量をＣＩＧＳ撮像センサの感度ダイナミックレンジに合わせこむ。一方、被写体がアイピースでは観察し難い程度の暗さになったときには可動減光フィルタ１０８がライブビューセンサ１０２への光路から退避し、減光なしに被写体像をライブビューセンサに導く。なお、このとき可動減光フィルタ１０８の有無による光路長の補償が必要であり、例えば、可動減光フィルタを退避させたときには、これと光路長が等しい全透過性の並行平板を代わりに光路中に挿入する。このようにして、光学的には観察し難い暗い被写体の場合でも、図５の第２実施例の場合にはＣＩＧＳ撮像センサによりライブビューが可能となる。このライブビューセンサ１０２からの可視光域の画像は表示部３２でのライブビューだけでなく、画像記憶部２６に記録することも可能である。したりすることが可能となる。
【００５０】
赤外光カットフィルタ１１０は、ライブビューモードにおいて可動全反射ミラー１０６ａから反射される可視光領域以外の光をカットし、ＣＩＧＳ撮像センサの波長感度特性を撮像部２０の波長感度特性に近似させるものであり、視感度に一致した被写体像を撮像してカメラ制御部１１６に送り、自然なライブビューを可能にする。
【００５１】
可視光カットフィルタ１１２は、赤外光カットフィルタ１１０と差し替えてライブビューセンサ１０２への光路中に挿入されるもので、「長波長モード」にて使用されるものである。可動全反射ミラー１０６ａからは可視光領域以外もほぼ全面的に反射されてくるので、長波長モードの設定で赤外光カットフィルタ１１０に替えて可視光カットフィルタ１１２がライブビューセンサ１０２への光路に挿入された場合は、可視光よりも長波長側域の光がライブビューセンサ１０２のＣＩＧＳ撮像センサに入射するようになる。従って、第１実施例と同様、長波長域の画像についてその画像出力を表示部３２でリアルタイムに観察したり、画像記憶部２６に記録したりすることが可能となる。なお、可視光カットフィルタ１１２を用いる長波長モードにおいては、可動減光フィルタ１０８をライブビューセンサへの光路から退避させる。以上のような可動全反射ミラーが１０６、可動減光フィルタ１０８、赤外光カットフィルタ１１０および可視光カットフィルタ１１２の駆動は、カメラ制御部１１６によって制御されるミラー／フィルタ駆動部１１４によって行われる。
【００５２】
図６は、図５の第２実施例におけるカメラ制御部１１６の動作のフローチャートである。第１実施例と同様にして操作部１５によってカメラのメインスイッチがオンになるとフローがスタートし、ステップＳ４２においてオートフォーカスデジタル一眼レフカメラが操作部１５によって再生モードに設定されているかどうかチェックする。再生モード設定が検出されなければ撮影モードなのでステップＳ４４に進み、光学ファインダ光路に設定する指示を行う。具体的には、可動全反射ミラー１０６がアイピース14への光路中から退避するようミラー／フィルタ駆動部１１４に指示する。ステップＳ４４ではさらに、可動減光フィルタ１０８をライブビューセンサ１０２への光路中に挿入して入射光量を減光する指示をミラー／フィルタ駆動部１１４に行とともに、図２における可動半透ミラー６６をＣＩＧＳＡＦセンサ７０への光路内に設定して入射光量を減光する指示をミラー／フィルタ駆動部７８に行う。
【００５３】
次いでステップＳ４６に進み、操作部１５によって「ライブピューモード」が設定されているかどうかチェックする。該当すればステップＳ４８に進み、ライブビューへの光路切り替えの指示が行われる。具体的には、可動全反射ミラー１０６をアイピース14への光路中に進出させるようミラー／フィルタ駆動部１１４に指示してステップＳ５０に移行する。この指示が実行されると、ファインダ像をアイピース１４から光学的に観察することはできなくなり、代わりにライブビューセンサ１０２の出力に基づく表示部３２でのライブビューが可能となる。ステップＳ４８ではさらに、ライブビュー用の赤外光カットフィルタ１１０をライブビューセンサ１０２への光路に設定する指示をミラー／フィルタ駆動部１１４に行う。なお、ミラー／フィルタ駆動部１１４についても、第１実施例で説明したのと同様の、指示に対する駆動実行への遅延時間が設けられている。一方、ステップＳ４６で「ライブビューモード」への設定が検知されない場合は、直接ステップＳ５０に移行する。
【００５４】
ステップＳ５０では、ＡＦ用の赤外光カットフィルタ６８をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に行う。そして、ステップＳ５２に進み、ＣＩＧＳＡＦセンサ７０の出力に基づき、減光を解除すべきレベルまで被写体が暗いかどうかのチェックを行う。該当すればステップＳ５４に進み、操作部１５によって「ライブピューモード」が設定されているかどうかチェックする。該当すればステップＳ５６に進み、可動減光フィルタ１０８をライブビューセンサ１０２への光路から退避させる減光解除の指示を行ってステップＳ５８に移行する。一方、ステップＳ５４で「ライブビューモード」の設定が検知されなければ直接ステップＳ５８に移行する。そして、ステップＳ５８では、可動半透ミラー６６をＣＩＧＳＡＦセンサ７０への光路から退避させてＡＦ用の減光を解除する指示を行う。このように、ステップＳ５２で被写体が暗いことが検知された場合は、「ライブビューモード」の設定如何にかかわらずＡＦ用の減光を解除する。
【００５５】
次いで、ステップＳ６０では、撮像部２０による撮像が光量不足となるほど暗いかどうかのチェックを行う。そして該当すればステップＳ６２に進み、操作部１５の操作によって長波長モードが選択されているかどうかチェックする。そして該当すればステップＳ６４に進み、赤外光フィルタ１１０に替えてライブビュー用の可視光カットフィルタ１１２をライブビューセンサ１０２への光路に設定する指示をミラー／フィルタ駆動部１１４に対して行う。さらに、ステップＳ６６で、赤外光カットフィルタ６８に替えてＡＦ用の可視光カットフィルタ７６をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に対して行う。
【００５６】
以上のステップを経て、フローはステップＳ６８に進む。一方、ステップＳ５２で減光を解除すべきレベルまで被写体が暗いことが検知されなかった場合、ステップＳ６０で撮像部２０による撮像が光量不足となるほど被写体が暗いことが検知されなかった場合、およびステップＳ６２で長波長モードへの選択が検知されなかった場合は、いずれも直接ステップＳ６８に移行する。
【００５７】
ステップＳ６８では、操作部１５のシャッタレリーズボタンによるレリーズ操作が行われたかどうかチェックする。レリーズ操作が検知できなければステップＳ７０に進み、操作部１５によってカメラのメインスイッチをオフする操作が行われたかどうかチェックする。そしてカメラオフ操作が検出されなければフローはステップＳ４２に戻り、以下、ステップＳ４２で再生モード操作が検出されるかステップＳ６８でレリーズ操作が検出されない限り、ステップＳ４２からステップＳ７０を繰り返す。
【００５８】
第1実施例と同様にして、上記の繰返しは充分高速で行われ、上記したミラー／フィルタ駆動部７８、１１４に設けられる遅延時間内に何度も繰り返される。従って、ステップＳ４６、ステップＳ５２、ステップＳ５４、ステップＳ６０およびステップＳ６２に基づく検知結果が変化するとミラー／フィルタ駆動部７８、１１４の遅延時間内にこの変化基づく同一の指示が繰返し行われ、ミラー／フィルタ駆動部７８、１１４による適切な指示の実行が行われる。これによって、被写体の明るさの変化に基づく減光の設定／解除と波長域カットフィルタの切り替え、およびモード切り替えに基づく波長域カットフィルタの切り替えがスムーズに実行される。
【００５９】
なお、第１実施例と同様にして、ステップＳ４２で操作部１５による再生モード設定操作が検出された時はステップＳ７２の再生モード処理に移行する。そして、再生モード処理内部の機能によって撮影モードが選択されたときには、フローはステップＳ４４に戻る。また、再生モード処理内部の機能によってカメラオフ操作が検出されたときにはフローを終了する。
【００６０】
また、ステップＳ６８で操作部１５のシャッタレリーズボタンによるレリーズ定操作が検出された時はステップＳ７４の撮像記録処理に移行する。そして、撮像記録および表示部での撮像結果表示が終わると、フローは自動的にステップＳ４２に戻る。なお、ステップＳ７０でカメラオフ操作が検出されたとき、図６のフローは終了となる。
【００６１】
上記における本発明の種々の特徴は、実施例に限らず、広く活用できるものである。例えば、第１実施例においては、可視光カットフィルタ６０により長波長域に感度を有するＣＩＧＳ撮像センサ５４と赤外光カットフィルタ６８により可視光に感度域を有するＣＩＧＳＡＦセンサの出力とを組合せて「複合ＡＦ機能」は実施するものとして説明した。しかしながら、「複合ＡＦ機能」の実施はこのようなものに限るものではない。例えば、図２における波長選択性のない可動半透ミラー６６をダイクロイックミラーで構成し、可視光透過させてＣＩＧＳＡＦセンサ７０上に導くとともに、長波長域を反射させてＡＦ対応部分測光センサ７２に導くようにする。そして、ＡＦ対応部分測光センサ７２にも、ＣＩＧＳセンサを用いるようにする。なお、この場合、赤外光カットフィルタ６８は不要となる。
【００６２】
以上のように構成すれば、長波長域に感度を有するＡＦ対応部分測光センサ７２によりＡＦ対応部分のうちのどこに人物が存在するかの推定が可能となり、その部分に対してＣＩＧＳＡＦセンサ７０による焦点検出を行うことが可能となる。
【００６３】
さらに「複合ＡＦ機能」の実施は以上のように二つのＣＩＧＳセンサを用いるものに限るものではない。例えば図２において、可視光カットフィルタ７６がＣＩＧＳＡＦセンサの光路中に挿入された状態においてＣＩＧＳＡＦセンサ自体でＡＦ対応部分のうちのどこに人物が存在するかの推定を行うとともに、赤外光カットフィルタ１８が光路中に挿入された状態においてその部分に対してＣＩＧＳＡＦセンサ７０による焦点検出を行うことも可能である。このように広い感度領域を有する一つのＣＩＧＳを時分割で異なる感度領域にて使い分け、それらの出力を組合せることによって「複合ＡＦ機能」を実現することも可能である。
【００６４】
また、以上の実施例では、減光のために可動半透ミラーまたはフィルタを光路中に出し入れするものとして説明したが、入射光量の調節はこのような二段階のものに限るものではない。例えば、透過率が段階的に異なる複数の減光フィルタを用意し、これらの一つを光路に挿入することにより、減光の度合いをきめ細かく段階的に変化させるよう構成してもよい、また、透過率が連続的に変化する減光手段を用い、減光の度合いを連続的に変化させるよう構成してもよい。
【００６５】
上記の実施例においては、可視光域および赤外光域において６０％以上の量子効率を有する高感度および広帯域の分光感度特性をもつセンサとしてＣＩＧＳセンサを用いている。ＣＩＧＳセンサは銅、インジウム、ガリウムおよびセレンよりなる多結晶のＣＩＧＳ系薄膜を用いた光電センサであるが、その組成制御によりバンドギャップを変化させることで吸収波長域を制御することができる。このうちガリウムの含有率をゼロとしたものは「ＣＩＳ系薄膜」とも称されるが、本明細書で「ＣＩＧＳセンサ」という場合は、このようなガリウムを含まない「ＣＩＳ系薄膜」を用いた光電センサをも意味するものとする。
【００６６】
図７は、図２の第1実施例におけるライブビューセンサ４０または図５の第２実施例におけるライブビューセンサ１０２に用いられるＣＩＧＳ撮像センサのカラーフィルタ配列の第1例である。この第1例においては、赤外光透過フィルタＲ１１、青透過フィルタＢ１２、緑透過フィルタＧ２２および赤透過フィルタＲ２１が図示のように配列され、これを一つの単位として繰り返す配列となっている。本発明のＣＩＧＳ撮像センサは、図３のように可視光域から赤外光にわたる広い分光感度域をもつため、このように一つのセンサに可視光および赤外光のカラーフィルタを設けることができる。なお、図７の配列は、原色カラーフィルタに赤外光透過フィルタを加えたものであり、原色カラーフィルタにおいて代表的なベイヤー配列と異なり緑の受光面積が青および青と同じになっているが、この点については後の回路処理で補正することができる。
【００６７】
ここで、赤外光透過フィルタが配置されていない画素に関する赤外光画像の補間について説明する。まず、青透過フィルタＢ１２に対応する画素については、基本的にはその両側にある赤外光透過フィルタＩＲ１１に対応する画素のデータと赤外光透過フィルタＩＲ１３に対応する画素のデータの平均値によって補間が行われる。他の青透過フィルに対応する画素における赤外光画像の補間も同様である。一方、赤透過フィルタＲ２１に対応する画素については、同様にその上下にある赤外光透過フィルタＩＲ１１に対応する画素のデータと赤外光透過フィルタＩＲ３１に対応する画素のデータの平均値によって補間される。他の赤透過フィルタに対応する画素における赤外光画像の補間も同様である。また、緑透過フィルタＧ２２に対応する画素については、その周囲にある赤外光透過フィルタＩＲ１１に対応する画素のデータ、赤外光透過フィルタＩＲ１３に対応する画素のデータ、赤外光透過フィルタＩＲ３３に対応する画素のデータおよび赤外光透過フィルタＩＲ３１に対応する画素のデータの平均値によって補間される。他の緑透過フィルタに対応する画素における赤外光画像の補間も同様である。
【００６８】
なお、上記のような単純な補間では、実際の被写体とは異なる赤外光画像が得られる可能性がある。これを防止するには、単に近傍の赤外光透過フィルタに対応するデータのみに基づいて赤外光画像の補間を行うのではなく、補間しようとしている画素に影響している可視光のデータも加味して補間を行うのが有効である。例えば、赤透過フィルタＲ２１に対応する画素の赤外光画像の補間において、赤透過フィルタＲ２１に対応する画素が実際に受けている赤色光のデータも加味する。このような可視光データの加味の有無および加味する場合の度合いについては、可視光データと赤外光データとの相互関係または周囲の画素の他の可視光データとの相互関係に基づいて決定する。
【００６９】
図８は、図２の第1実施例におけるライブビューセンサ４０または図５の第２実施例におけるライブビューセンサ１０２に用いられるＣＩＧＳ撮像センサのフィルタ配列の第２例である。この第２例にでは、カラーフィルタ配列自体は図７の第１例と共通であるが、各カラーフィルタの受光面積が異なっている。つまり、赤外光透過フィルタＩＲ１１および緑透過フィルタＧ２２については、画素に許される最大の受光面積を確保しているが、青透過フィルタＢ１２は遮光部２０２を設けることにより、受光面積が緑透過フィルタＧ２２の約半分になっている。同様に赤透過フィルタＲ２１についても、遮光部２０４を設けることにより、受光面積が緑透過フィルタＧ２２の約半分になっている。これは、人間の目の赤および青に対する視感度が緑に対する視感度の約半分であることに対応している。
【００７０】
本発明のＣＩＧＳ撮像センサは、図３のように可視光域において高感度を有するため、上記のように青透過フィルタＢ１２と赤透過フィルタＲ２１の受光面積を減らしても充分対応できる。また、遮光部によって画素毎の受光面積自体を変えるので、ベイヤー配列のように画素数の割合によって人間の視感度への近似を行うのに比べてよりきめ細かな調節を行うことができ、必要に応じ、青透過フィルタＢ１２と赤透過フィルタＲ２１の受光面積比を変えることも可能である。
【００７１】
図９は、図８のフィルタ配列の第２例を採用したＣＩＧＳセンサの模式断面図である。図９（Ａ）に示すように、本発明のＣＩＧＳ撮像センサはＬＳＩ４００の上にＣＩＧＳ系薄膜４０２を積層した構造となっており、1画素分の開口率が非常に大きい。そしてこの上にカラーフィルタ４０４が乗せられている。この図９（Ａ）の模式断面図における基本構造自体は、フィルタ配列の第２例に限られるものでなく、本発明のＣＩＧＳセンサに共通である。
【００７２】
図９（Ｂ）は、図９（Ａ）の部分４０６を拡大した模式断面図であり、図８のフィルタ配列の第２例の断面を概念的に示している。なお、図８および図９（Ａ）では対応する部分には同じ番号を付す。図９（Ｂ）に明らかなように、ＣＩＧＳ系薄膜４０２はそれぞれ画素をなすフォトダイオード４０８、４１０等に区分されており、フォトダイオード４０８の上には、赤外光透過フィルタＩＲ１１が載せられている。そして、フォトダイオード４１０の上には、受光面積を減らすための遮光部２０２および青透過フィルタＢ１２が載せられている。
【００７３】
図１０は、図２の第1実施例におけるライブビューセンサ４０または図５の第２実施例におけるライブビューセンサ１０２に用いられるＣＩＧＳ撮像センサのフィルタ配列の第３例である。この例は、ベイヤー配列における緑透過フィルタの全数の４分の１を規則的に赤外光透過フィルタＩＲ１１、ＩＲ３３、ＩＲ５１等に置き換えたものである。残りの４分の３は、ベイヤー配列と同様に緑透過フィルタＧ１３、Ｇ２２，Ｇ３１、Ｇ４２、Ｇ４４、Ｇ３５、Ｇ２４等となっている。
【００７４】
この結果、緑透過フィルタＧ１３等の全数の割合は、赤透過フィルタＲ２３や、青透過フィルタＢ３２の全数の割合の１．５倍となっている。これによって、ベイヤー配列と同様にして緑透過フィルタに対応する画素の数を増やすことにより、緑透過フィルタの受光面積を増やして人間の目の視感度への近似を図っている。なお、図１０のフィルタ配列においても、図８のフィルタ配列の考え方を加味し、赤透過フィルタＲ２３等と青透過フィルタＢ３２等に遮光部を設けてこれらの受光面積を減じることにより視感度への近似のための受光面積の調整を行うことも可能である。
【００７５】
一方、赤外光透過フィルタＩＲ１１等は上記のように配列したので、配置は疎らであるとともにその全数の割合も、赤透過フィルタＲ２３や、青透過フィルタＢ３２の全数の割合の半分となっている。本発明のＣＩＧＳ撮像センサは、図３のように赤外光域において高感度を有するため、画素全数の割合が少なくても充分対応できるとともに、赤外光は波長が長いので画素配置を可視光に比べて疎らにしても対応可能である。
【００７６】
次に、図１０のフィルタ配列における赤外光透過フィルタが配置されていない画素に関する赤外光画像の補間について説明する。まず、緑透過フィルタＧ３５に対応する画素については、その二つ上方にある赤外光透過フィルタＩＲ１５に対応する画素のデータ、二つ左方にある赤外光透過フィルタＩＲ３３に対応する画素のデータ、二つ下方にある赤外光透過フィルタＩＲ５５に対応する画素のデータおよび二つ右方にある赤外光透過フィルタＩＲ３７に対応する画素のデータの平均値によって補間が行われる。また、緑透過フィルタＧ２４に対応する画素については、その右上方にある赤外光透過フィルタＩＲ１５に対応する画素のデータと左下方にある赤外光透過フィルタＩＲ３３に対応する画素のデータの平均値によって補間が行われる。さらに緑透過フィルタＧ２６に対応する画素については、その左上方にある赤外光透過フィルタＩＲ１５に対応する画素のデータと右下方にある赤外光透過フィルタＩＲ３７に対応する画素のデータの平均値によって補間が行われる。
【００７７】
そして、赤透過フィルタＲ２５に対応する画素について、上記のように補間して求めた緑透過フィルタＧ３５、Ｇ２４、Ｇ２６にそれぞれ対応する画像の赤外光画像データと赤外光透過フィルタＩＲ１５に対応する画素のデータの平均値によって補間する。これを整理すると、次のようにＩＲ１５、ＩＲ３３、ＩＲ５５およびＩＲ３７に対応する赤外光画像データの重み付け平均となる。
｛（ＩＲ１５＋ＩＲ３３＋ＩＲ５５＋ＩＲ３７）／４＋（ＩＲ１５＋ＩＲ３３）／２
＋（ＩＲ１５＋ＩＲ３７）／２＋ＩＲ１５｝／４
＝（９ＩＲ１５＋３ＩＲ３３＋ＩＲ５５＋３ＩＲ３７）／１６
以下同様にして各可視光フィルタに対応する画素の赤外光画像データを補完していく。
【００７８】
緑透過フィルタが配置されていない画素に関する緑画像の補間については、まず、赤外光透過フィルタＩＲ３３に対応する画像をその周囲の緑透過フィルタＧ２２、Ｇ４２、Ｇ４４、Ｇ２４に対応する画素の平均をとって補間する。そして、上記のように補間して求めた赤外光透過フィルタＩＲ３３に対応する画像の緑画像データと、緑透過フィルタＧ２２、Ｇ３１およびＧ４２の緑画像データの平均をとって、これらの中心にある赤透過フィルタＢ３２に対応する画像も緑画像データを補間する。これを整理すると、次のようにＧ２２、Ｇ３１、Ｇ４２、Ｇ４４およびＧ２４の重み付け平均となる。
｛（Ｇ２２＋Ｇ４２＋Ｇ４４＋Ｇ２４）／４＋Ｇ２２＋Ｇ３１＋Ｇ４２｝／４
＝（５Ｇ２２＋４Ｇ３１＋５Ｇ４２＋Ｇ４４＋Ｇ２４）／１６
以下同様にして赤外光透過フィルタ、赤透過フィルタおおび青透過フィルタに対応する画素の緑画像データを補完していく。なお、赤画像および青画像の補間については、図７と同様である。
【００７９】
なお、上記の赤透過フィルタのように配置が疎らな場合に補間を繰り返す場合、または、上記の緑透過フィルタのように配置が非対称なデータを用いて補間を行う場合には、上記のように補間で作ったデータを用いてさらに補間を行うことになり、実際とは異なる画像が得られてしまう可能性もある。このような場合においても、上記のような赤外光透過フィルタに対応する画素のデータのみによる補間、または、緑透過フィルタに対応する画像のデータのみによる補間に加え、図７で述べたように、補間しようとしている画素に影響している他の色のデータも加味して補間を行うのが有効である。
【００８０】
図１１は、第２実施例においてライブビューセンサ１０２の画像を画像記憶部２６に記録する際のカメラ制御部１１６の動作を示すフローチャートである。操作部１５によってこの機能を選択する操作を行うとことによってフローがスタートすると、まずステップＳ８２で可動全反射ミラーを１０６ａの位置に下げ、ペンタプリズム１０４からの光を全てライブビューセンサ１０２の方向に反射するよう光路切り替えを指示する。そしてステップＳ８４においてミラー８を観察位置に固定し、レリーズを行っても撮影位置にアップしないようにする。さらにステップＳ８６で表示部３２による表示を行わせる。
【００８１】
次いでステップＳ８８で赤外光モードが選択されているかどうかチェックし、該当すればステップＳ９０に進み、ＡＦ用の可視光カットフィルタ７６をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に対して行う。さらに、ステップＳ９２で、ライブビュー用の可視光カットフィルタ１１２をライブビューセンサ１０２への光路に設定する指示をミラー／フィルタ駆動部１１４に対して行い、ステップＳ９４に移行する。
【００８２】
一方、ステップＳ８８で、赤外光モードが選択されていないことが検知されるとステップＳ９６に進み、ＡＦ用の赤外光カットフィルタ６８をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に対して行う。そしてステップＳ９８に進み、「画像融合モード」が選択されているかどうかチェックする。同一の被写体についての赤外光画像と可視光画像を融合処理することによって植物の埴生分析や病害虫被害の検出を行うことは知られているが、「画像融合モード」は、ほぼ同時に同一被写体に対して赤外光画像と可視光画像を取得することを可能にするもので、動きのある被写体についても互いにずれのない赤外光画像と可視光画像を得ることができる。
【００８３】
ステップＳ９８で画像融合モードへの設定が検出ない場合は、可視光モードが選択されていることを意味するからステップＳ１００に進み、ライブビュー用の赤外光カットフィルタ１１０をライブビューセンサ１０２への光路に設定する指示をミラー／フィルタ駆動部１１４に対して行い、ステップＳ９４に移行する。
【００８４】
これに対し、ステップＳ９８で画像融合モードへの設定が検出されると、ステップＳ１０２に進み、ライブビューセンサ１０２への光路から赤外光カットフィルタ１１０および可視光カットフィルタ１１２を両者とも除去する指示をミラー／フィルタ駆動部１１４に対して行う。これは、ライブビューセンサ１０２によって赤外光画像と可視光画像の両者をほぼ同時に取得するためである。
【００８５】
次いでステップＳ１０４で表示部３２によるライブビュー表示を禁止する指示を出してステップＳ９４に移行する。これは交換レンズ４による可視光と赤外光の結像位置が異なるので赤外光画像と可視光画像をそのまま表示部３２に表示するとピントがあった像と合わない像が重なり、見づらい表示になるからである。なお、ステップＳ１０４においては、表示部３２による表示を全面的に禁止する代わりに、赤外光画像と可視光画像のうちピントの合っている方（通常は可視光像）の画素情報のみを抽出して表示する指示を行ってもよい。この場合、フィルタを外しているので、これらの画素にもピントの合っていない画像情報の光が入射入しているが、ピントの合っている画像情報の光の強度が優勢なので表示は可能である。また上記のような表示の全面禁止かまたはピントの合っていない画像用の画素情報のみの表示禁止かを予め選択可能としておき、ステップＳ１０４で選択された方の指示を出すようにしてもよい。
【００８６】
ステップＳ９４では、レリーズ操作が行われたかどうかをチェックする。そしてレリーズ操作がなければステップＳ８６に戻り、以下、レリーズ操作が検出されるまでステップＳ８６からステップＳ１０４を繰り返す。これによって、操作部１５によるモード切り替えに対応する。なお、図４で述べたように、「指示」の機械的実行には遅延期間が設けられているので、図１１においても、実際にモード切り替えが行われない限り、ステップＳ８６からステップＳ１０４の繰返しの中でフィルタの駆動が生じるわけではない。これは、ステップＳ８６およびステップＳ１０４による表示部３２の表示と禁止の切り替えについても同様である。
【００８７】
ステップＳ９４では、レリーズ操作が検出されるとステップＳ１０６に進み、レンズ光学系６のＡＦ駆動が行われ、これによってピンとが合うとステップＳ１０８のライブビュー記録処理を行う。このＡＦ駆動は赤外光画像に対するものである場合と可視光画像に対するものである場合がある。次いでステップＳ１１０で画像融合モードが設定されているかどうかを検出し、該当しなければ直ちにフローを終了する。
【００８８】
一方、ステップＳ１１０で画像融合モードの設定が検出されるとステップＳ１１２に進み、ＡＦ制御部３６によってレンズ光学系６を赤外光補正駆動する。換言すると、画像融合モードが設定されている場合、ステップＳ１０６におけるＡＦ駆動およびステップＳ１０８におけるライブビュー記録処理は可視光像に対するものであるが、ステップＳ１１２では、可視光についてのピント位置から赤外光についてのピント位置までの所定の補正駆動をＡＦ駆動部３８によってレンズ光学系６に行わせるものである。この赤外光補正駆動は極めて短時間に行われ、直ちにステップＳ１１４のライブビュー赤外光記録処理に入る。そして処理が完了するとフローを終了する。以上のような機能の詳細は後述するが、基本的には画像融合モードにおいては、ステップＳ１０８にて可視光画像の記録を行い、引き続いてほぼ同時にステップＳ１１４において赤外光画像の記録を行うものである。
【００８９】
図１２は、図１１のステップＳ１０８におけるライブビュー記録処理およびステップＳ１１４におけるライブビュー赤外光記録処理の詳細を示すフローチャートであり、いずれにも共通して利用できるものである。フローがスタートするとステップＳ１２２で赤外光撮影モードに設定されているかどうかのチェックが行われる。そして該当しなければステップＳ１２４に進み、ＲＧＢの画素のデータを読み出すことにより可視光画像の画素情報を得る。そしてステップＳ１２６でＲＧＢの補間処理を行う。次いで、ステップＳ１２８では、画像融合モードに設定されているかどうかのチェックを行い、該当しなければステップＳ１３０に進んでＲＧＢの可視光カラー画像について画像処理を行う。そしてステップＳ１３２に進み、その画像を画像記録部２６に記録してフローを終了する。
【００９０】
一方、ステップＳ１２２で赤外光モードへの設定が検出されるとステップＳ１３４に進み、ＩＲの画素のデータを読み出すことにより赤外光画像の画素情報を得る。そしてステップＳ１３６でＩＲの補間処理を行う。次いで、ステップＳ１３８では、画像融合モードに設定されているかどうかのチェックを行うが、この場合は赤外光モードであって該当しないのでステップＳ１４０に進み、赤外光画像について画像処理を行う。そしてステップＳ１３２に進み、その画像を画像記録部２６に記録してフローを終了する。
【００９１】
さらにステップＳ１２８で画像融合モードへの設定が検出された場合、ステップＳ１３４に進んでＩＲの画素のデータを読み出すことにより赤外光画像の画素情報を得る。そしてステップＳ１３６でＩＲの補間処理を行う。これらによって、ステップＳ１２４、１２６による可視光画像情報に加えて赤外光画像情報も得ることができる。次いで、ステップＳ１３８で、画像融合モードに設定されているかどうかのチェックを行うが、この場合は画像融合モードなのでステップＳ１４２に進み、ステップＳ１３４およびステップＳ１３６の処理によって得られた赤外光画像が赤外光補正駆動後のものであるかどうかのチェックを行う。
【００９２】
ここで、ステップＳ１４２に該当するか否かがどのような意味を持つかについて補足する。まず、ステップＳ１４２に該当しない場合は、図１２のフローが図１１のステップＳ１０８で実行されている場合に相当する。そしてステップＳ１２４およびステップＳ１２６で得られる可視光画像は図１１のステップＳ１０６における可視光に対するＡＦ駆動によりピントが合ったものであり、ステップＳ１３４およびステップＳ１３６で得られる赤外光画像はピントがずれたものとなっている。一方、ステップＳ１４２に該当する場合は、図１２のフローが図１１のステップＳ１１４で実行されている場合に相当する。そしてステップＳ１３４およびステップＳ１３６で得られる赤外光画像は図１１のステップＳ１１２における赤外光補正駆動によりピントが合ったものであり、ステップＳ１２４およびステップＳ１２６で得られる可視光画像はピントがずれたものとなっている。
【００９３】
そこで、得られた画像が赤外光補正駆動後の画像に該当しないとステップＳ１４２で判断された場合はステップＳ１４４に進み、ピントの合っているＲＧＢの可視光画像について画像処理をおこなう。次いでステップＳ１４６においてピントの合っていない赤外光画像について補助的に画像処理を行う。そしてステップＳ１４８において、可視光画像を赤外光画像情報で補正した画像を作成する。この画像は基本的には可視光画像であるが、ピントがずれてデフォーカス状態にある赤外光画像の情報を加味することにより、ローパスフィルタ効果等で可視光画像の画質を改善するものである。以上の処理を経てステップＳ１３２に進み、ステップＳ１４４、ステップＳ１４６およびステップＳ１４８で得られたそれぞれの画像を記録してフローを終了する。
【００９４】
一方、得られた画像が赤外光補正駆動後の画像に該当するとステップＳ１４２で判断された場合はステップＳ１５０に進み、ピントの合っている赤外光画像について画像処理をおこなう。次いでステップＳ１５２においてピントの合っていないＲＧＢの可視光画像について補助的に画像処理を行う。そしてステップＳ１５６において、赤外光画像を可視光画像情報で補正した画像を作成する。この画像は基本的には赤外光画像であるが、ピントがずれてデフォーカス状態にある可視光画像の情報を加味することにより、ローパスフィルタ効果等で赤外光画像の画質を改善するものである。
【００９５】
さらに、ステップＳ１５６では、図１１のステップＳ１０８で記録された赤外光補正駆動前画像を読み出す。これによって、ピントの合った赤外光画像、ピントの合った可視光画像、ピントの外れた赤外光画像、ピントの外れた可視光画像、補正赤外光画像および補正可視光画像が揃うことになり、次のステップＳ１５８でこれらの画像に基づく画像融合処理が行われる。
【００９６】
ステップＳ１５８の画像融合処理の内容は基本的にはピントの合った赤外光画像とピントの合った可視光画像の融合であり、これによって一方のみでは判断できない画像診断が可能となる。また、これに代えて、補正赤外光画像および補正可視光画像の融合による画像診断も可能である。さらに、ピントの合った可視光画像と、ピントの外れた可視光画像の融合により、核の締まったソフトフォーカス可視光画像を得ることもできる。同様に、ピントの合った赤外光画像と、ピントの外れた赤外光画像によりソフトフォーカス赤外光画像を得ることもできる。さらに、ピントの合った可視光画像を、ピントの合った赤外光画像で補正することにより、赤外光カットフィルタをかけて得た可視光画像に準じた画像を得ることもできる。その逆に、ピントの合った赤外光画像をピントの合った可視光画像で補正することにより、可視光カットフィルタをかけて得た赤外光画像に準じた画像を得ることもできる。これらの処理のどれを選ぶかは操作部１５により設定できるが、被写体に応じ自動的に選択することも可能である。
【００９７】
以上のようなステップＳ１５８の処理が終了すると、ステップＳ１３２に至り、処理により得られた画像が記録されてフローを終了する。なお、ステップＳ１３２において記録する画像は、ステップＳ１５８で処理した全ての画像であってもよく、またはステップＳ１５８の処理の中で選択されて最終的に必要と判断された画像であってもよい。この選択についても、操作部１５により設定できるが、処理結果に応じてステップＳ１５８の中で自動的に選択するよう構成することも可能である。
【００９８】
上記の図１１および図１２の画像記録機能に関するフローチャートの適用対象は、第２実施例におけるような一眼レフカメラのライブビューセンサ１０２の画像記録に限るものではなく、例えば、ＣＩＧＳセンサへの画像記録専用に構成した可視光／赤外光画像記録カメラにも適用可能である。このような可視光／赤外光画像記録カメラは、例えば図５において焦点板１０、ペンタプリズム１０４およびアイピース１４などの光学ファインダ系を除去するとともに、撮像部２０に代えてその位置にＣＩＧＳ撮像センサを配置することによって構成可能である。その際、レンズ光学系６からＣＩＧＳ撮像センサに向かって直進する光路中に出し入れできるよう赤外光カットフィルタ１１０および可視光カットフィルタ１１２を設ける。また、可動ミラー８に代え、入射光の大半が透過成分として直進するとともに反射光が下方の測光兼用ＡＦセンサ３４に向かう固定のハーフミラーを設ける。
【実施例３】
【００９９】
図１３は、本発明の第３実施例のブロック図であり、内視鏡システムを構成している。内視鏡システムは体内に飲み込まれて消化器内部を撮影し画像データを体外に送信するカプセル内視鏡５０２と、送信されて画像データを体外で受信してモニタする体外モニタ５０４を有する。カプセル内視鏡５０２は、透明な保護窓５０６を有する密閉構造になっており、保護窓５０６を通り撮像レンズ５０８によって結像される消化器内部の画像がＣＩＧＳ撮像センサ５１０で撮像される。ＣＩＧＳ画像センサ５１０は、図３で説明したとおりの分光感度を持ち、高感度で可視光域の撮像が可能であるともに赤外光においても高感度での撮像が可能なものである。撮像レンズ５０８は、レンズ駆動部５１２によってその画角およびピント位置が調節可能である。
【０１００】
第３実施例のＣＩＧＳセンサ５１０は、図７から図１０に示したようなカラーフィルタを持っておらず、全ての画素に可視光域から赤外光域にわたる広範囲の光が入射しうる。つまり、第３実施例での撮像における光の分解は、受光側でのカラーフィルタによるのではなく、光源側での光の切換えによって行うようにしている。具体的には、光源として赤、緑、青および赤外の発光ダイオード（以下適宜「ＬＥＤ」と称する）が用いられ、これらが時分割で順次発光することにより各発光タイミングにおけるＣＩＧＳセンサ５１０撮像出力が、各色での画像データとなる。
【０１０１】
ＬＥＤは撮像レンズ５０８の光軸まわりに同心的に多数設けられているが、図１３では、簡単のため、例として緑ＬＥＤ５１４および赤外ＬＥＤ５１６をそれぞれ一つ図示している。例えば緑ＬＥＤ５１４が発光しているときのＣＩＧＳ撮像センサ５１０の撮像出力が緑画像データとなるとともに、赤外ＬＥＤ５１６が発光しているときのＣＩＧＳ撮像センサ５１０の撮像出力が赤外画像データとなる。なお、可視光と赤外光では結像位置にズレがあるので必要に応じレンズ駆動部５１２が結像位置を調節する。第３実施例は内視鏡であり、撮影対象である体内は充分暗いのでこのように光源光の時分割による光の分解が可能となる。光源、撮像、および撮像レンズ等の関係については後に詳述する。
【０１０２】
ＬＥＤドライバ５１８は、内視鏡制御部５２０の指示に基づいてＬＥＤ５１４、５１６の点灯タイミングを制御する。内視鏡制御部５２０はカプセル内視鏡５０２全体を制御するもので、その機能は記憶部５２２に記憶されたプログラムに従う。記憶部５２２は、さらに内視鏡制御部５２０の機能に必要なデータ等を必要に応じ一時的に記憶する。
【０１０３】
センサドライバ５２４は内視鏡制御部５２０の指示に基づいてＣＩＧＳ撮像センサ５１０を制御するとともにＣＩＧＳ撮像センサからの各色別画像ＲＡＷデータを画像バッファ５２６に格納する。画像バッファ５２６は所定撮像回数分の各色別画像ＲＡＷデータを格納可能であり、無線通信部５２８は画像バッファ５２６の各色別画像ＲＡＷデータをＦＩＦＯで取り出してアンテナ５３０から体外に送信する。電池５３２はボタン電池などで構成され、カプセル内視鏡５０２全体に電力を供給する。
【０１０４】
体外モニタ５０４は、無線通信部５３４を有し、カプセル内視鏡５０２から送信された各色別画像ＲＡＷデータをアンテナ５３６で受信して画像バッファ５３８に格納する。これらの機能はモニタ制御部５４０によって制御される。モニタ制御部５４０は記憶部５４２に記憶されたプログラムに従って体外モニタ５０４全体を制御する。記憶部５４２は、さらにモニタ制御部５４０の機能に必要なデータ等を必要に応じ一時的に記憶する。
【０１０５】
画像処理部５４４は、モニタ制御部５４０の指示に基づき画像バッファ５４８に格納されている各色別ＲＡＷデータを画像信号に画像処理するとともに、赤画像信号、緑画像信号および青画像信号からカラー画像信号を作成しレコーダ５４６に記憶する。また、赤外画像信号についてもこれをレコーダ５４６に記録する。記録されたデータは適宜表示部５４８でモニタすることができる。また、画像処理部からのカラー画像信号または赤外画像信号はリアルタイムで表示部５４８により直接モニタすることもできる。
【０１０６】
図１４は、第３実施例のカプセル内視鏡５０２に採用可能なＬＥＤの配置の第１の例を示す正面図である。図１３と対応する部分には同一番号を付す。図１４から明らかなように、透明の保護窓５０６の内側の撮像レンズ５０８の周囲には緑ＬＥＤ５１４が互いに９０度ずつ隔てた回転対象に４個設けられている。これらを結んだ線５５０は正方形である。また、緑ＬＥＤ５１４から４５度回転した正方形５５２の頂点部分には、赤外ＬＥＤ５１６が互いに９０度ずつ隔てた回転対象に４個設けられている。さらに、縦長長方形５５４の頂点部分には赤ＬＥＤ５５６が４個設けられているとともに、横長長方形５５８の頂点部分には青ＬＥＤ５６０が４個設けられている。この結果、赤、緑および青の各ＬＥＤは図１４図で見て垂直方向および水平方向のいずれにも線対称の配置となり、各色について垂直方向と水平方向のいずれにも照明の対称性が保たれる。
【０１０７】
図１５は、第３実施例のカプセル内視鏡５０２に採用可能なＬＥＤの配置の第２の例を示す正面図である。図１５においても、図１３と対応する部分には同一番号を付す。図１５における緑ＬＥＤ５１４および赤外ＬＥＤ５１６の配置は、図１４と共通である。これに対し、赤ＬＥＤ５６２は、緑ＬＥＤ５１４から左に２２．５度回転した正方形５６４の頂点部分に互いに９０度ずつ隔てた回転対象に４個設けられている。また、青ダイオード５６６は、緑ＬＥＤ５１４から右に２２．５度回転した正方形５６８の頂点部分に互いに９０度ずつ隔てた回転対象に４個設けられている。この結果、赤、緑および青の各ＬＥＤは図１４図で見てそれぞれ上下左右の四方向にそれぞれ密集して配置されることになり、各色のＬＥＤがずれて配置されていることによる照明影色ムラが軽減される。さらに、各色とも正方形の頂点部分に配されているので撮像レンズ５０８の光軸まわりに互いに回転対象の配置となる。
【０１０８】
図１６は、第３実施例のカプセル内視鏡５０２に採用可能なＬＥＤの配置の第３の例を示す正面図である。図１６においても、図１３と対応する部分には同一番号を付す。図１６における緑ＬＥＤ５１４および赤外ＬＥＤ５１６の配置は、図１４と共通である。これに対し、左に４５度傾いた縦長長方形５７０の頂点部分には赤ＬＥＤ５７２が４個設けられているとともに、右に４５度傾いた縦長長方形５７４の頂点部分には青ＬＥＤ５７６が４個設けられている。この結果、赤、緑および青の各ＬＥＤは図１６図で見て対抗する赤外ＬＥＤを結ぶ左４５度傾いた線および右４５度傾いた線のいずれについても線対称の配置となり、各色についてこれらのいずれの方向についても照明の対称性が保たれる。さらに、赤、緑および青の各ＬＥＤは図１６図で見てそれぞれ上下左右の四方向にそれぞれ密集して配置されることになり、各色のＬＥＤがずれて配置されていることによる照明影色ムラが軽減される。
【０１０９】
以上、図１４から図１６に示したＬＥＤの配置例は、各図において緑ＬＥＤが上下左右に配置され、赤外ＬＥＤがこれから４５度回転した位置に配されているが、全体の配置はこれに限るものではなく、ＣＩＧＳ撮像センサの画素配置の升目方向との関係で適宜全体を回転させて配置してもよい。例えば、図１４から図１６に示したＬＥＤの配置例は、ＣＩＧＳ撮像センサの画素配置の升目の上下左右方向を基準として緑ＬＥＤが上下左右に配置したものであるが、これを全体に４５度回転させ、赤外ＬＥＤが画素配置の升目方向に合わせて上下左右に配置されるようにしてもよい。この場合、緑ＬＥＤがこれから４５度回転した位置に配置されることになる。
【０１１０】
図１７は、第３実施例のカプセル内視鏡５０２に採用可能なＬＥＤの配置の第４の例を示す正面図である。赤、緑、青および赤外のＬＥＤを撮像レンズ５０８の光軸まわりに配置する場合、全ての色のＬＥＤを互いに同数とすることに限るものではない。図１７はこのようなものの例として、４個の緑ＬＥＤ５１４、２個の赤ＬＥＤ５７８および２個の青ＬＥＤ５８０を採用している。緑ＬＥＤ５１４の数が赤ＬＥＤ５７８および青ＬＥＤ５８０の倍あるのは、緑の発光量を相対的に多くして視感度に合わせるためである。また、図１７では８個の赤外ＬＥＤ５８２を配置して赤外光量を増加させ、赤外光による体内観察能力を充実している。
【０１１１】
なお、図１４から図１７ではすべて合計１６個のＬＥＤを採用しているが、これに限られるものではない。配置が可能な場合、ＬＥＤの合計数をさらに増加して照明ムラを軽減することができる。また、最低限の照明の対称性を維持するため、各色各一対のＬＥＤを採用し合計８個のＬＥＤを採用して構成を簡単にすることも可能である。この場合、緑ＬＥＤの対を結ぶ線と赤外ＬＥＤの対を結ぶ線を９０度で交差させるとともに、赤ＬＥＤの対と青ＬＥＤの対については、それらを結ぶ線が緑ＬＥＤの対を結ぶ線の左右にそれぞれ４５度回転した状態の配置として、赤と青のＬＥＤが緑ＬＥＤの両側に隣接するようにするのが望ましい。なお、配置スペースの事情が許せば、このように８個のＬＥＤを等間隔に配置するのに代えて、赤と青のＬＥＤを緑ＬＥＤの両側に密接させ、赤、緑、青ＬＥＤ相互の位置ズレができるだけ少なくなるようにした配置も可能である。
【０１１２】
図１８は、第３実施例のカプセル内視鏡５０２におけるカラー・赤外モードでの動作の各色ＬＥＤの発光タイミング、光電変換部の動作タイミング、ＡＤ編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。カラー・赤外モードでは、可視光のカラー画像および赤外画像が並行して取得される。図１８から明らかなように、すべての赤ＬＥＤはｔ１からちｔ２、全ての緑ＬＥＤはｔ３からｔ４、すべての青ＬＥＤはｔ５からｔ６、すべての赤外ＬＥＤはｔ７からｔ８のタイミングで互いに重なることなく時分割でそれぞれ点灯する。そして、４色のＬＥＤの点灯が一巡すると、再び全ての赤ＬＥＤがｔ９からｔ１０のタイミングで点灯し、以下同様にして緑、青、赤外のＬＥＤが点灯して同様の循環で時分割点灯を繰り返す。ｔ１からｔ８までの時間は通常のカラー動画の１フレーム時間程度であり、各色の発光量は時分割しない場合の４分の１以下となるが、図３に示すようにＣＩＧＳセンサは通常のＣＭＯＳセンサに比べて高感度および広帯域の特性なので、短時間の発光量でも充分な光源光となる。
【０１１３】
図１８のように、カラー・赤外モードにおいて可視光と赤外光を時分割でほぼ同時に発光させる場合、図１３の撮像レンズ５０８の画角はレンズ駆動部５１２の制御により広角に設定され、焦点深度が深くなるように設定されるとともに、そのピント位置もレンズ駆動部５１２の制御により可視光から赤外光をカバーするパンフォーカス状態となるよう設定される。このようにカラー・赤外モードは体内の状態を全体的に粗く観察するのに適している。
【０１１４】
図１８の光電変換部のタイミングチャートから明らかなように、光電変換部は赤ＬＥＤの発光開始直後から赤の露光を開始して電荷蓄積を行う。電荷蓄積時間は赤ＬＥＤの発光終了直前に設定されているのでここで露光を終了し、電荷の読出しを行う。さらに電荷の読出しが終了すると残留電荷の掃捨を行う。そして電荷の掃捨が終了すると次の緑の露光を開始する。なお図１８から明らかなように緑の露光直前に緑ダイオードの発光が開始している。緑の露光についても電荷蓄積時間が終了の後、電荷の読出および残留電化の掃捨が後続している。以下同様にして、青ＬＥＤの発光および赤外ＬＥＤの発光にそれぞれ同期して、青および赤外の電荷蓄積、電荷読出、および残留電荷掃捨が行われる。そしてこれらの動作が循環する。なお、上記では、光電変換部の機能を各色について説明したが、光電変換部自体に各色を分離して光電変換する機能があるわけではなく、光電変換部自体は単に電荷蓄積、電荷読出、および残留電荷掃捨の同じ動作を繰り返しているだけである。読み出された電荷量が各色の情報を持つのは専ら電荷蓄積の際の光源色に依存する。
【０１１５】
図１８のＡＤ変換部のタイミングチャートから明らかなように、光電変換部は各色の電荷読出直後からＡＤ変換を開始する。例えば、赤のＡＤ変換は赤の電荷読出完了直後に開始される。そして次の緑の露光中の時間帯も利用し、これと並行して赤のＡＤ変換を継続する。図１８の無線通信部のタイミングチャート（Ａ）から明らかなように、無線通信部は、各色の光電変換完了直後からその結果の色のデジタル信号の通信を開始可能である。例えば、赤のデジタル信号の通信は赤のＡＤ変換終了直後に開始される。そして次の緑のＡＤ変換の時間帯も利用し、これと並行して赤の通信を継続する。以下同様にして緑、青、赤外についてＡＤ変換および通信が行われる。
【０１１６】
なお、通信に関しては、カプセル内視鏡５０２と体外モニタ５０４との関係によっては、ＡＤ変換直後に成功裏に実施することができない場合も考えられる。このような場合は、図１８の無線通信部のタイミングチャート（Ｂ）のように通信環境が充分となったタイミングで通信を実行する。例えば、ＩＲデータの送信５９２はタイミングチャート（Ａ）に比べて遅く実行されており、次のＲデータの直前で実行されている。また、Ｇデータの送信５９４およびＢデータの送信５９６も遅れて実行されているが、これらの通信時間の調整は、図１３の画像バッファ５２６の容量が満杯となってＦＩＦＯに破綻を来たさない限り可能である。
【０１１７】
図１９は、図１８で示したカラー・赤外モードにおける第３実施例のカプセル内視鏡５０２の動作での各色ＬＥＤの発光タイミングとカラー画像作成の関係を示すタイミングチャートである。図１９に示すように、ｔ１で開始される赤ＬＥＤの発光に基づく赤画像、ｔ３で開始される緑ＬＥＤの発光に基づく緑画像、およびｔ５で開始される青ＬＥＤの発光に基づく青画像によって、Ｆ１で示す１フレームのカラー画像が作成される。厳密に言えば各色の発光に時間差があるので各色の画像は同一時間のものではないが、時間差は僅少なので高速で動く被写体でない限りこのような時分割による各色画像の取得でも問題はない。同様にして、ｔ９で開始される赤ＬＥＤの発光に基づく赤画像、ｔ１１で開始される緑ＬＥＤの発光に基づく緑画像、およびｔ１３で開始される青ＬＥＤの発光に基づく青画像によって、Ｆ２で示す１フレームのカラー画像が作成される。以下同様にして1フレームのカラー画像が作成され、個々のカラー動画は静止画としても記録できるとともに、これらを繋げてカラー動画としても記録できる。なお、これらのカラー処理は、図１３に示した体外モニタ５０４の画像処理部５４４で行われる。また、図１８の無線通信部のタイミングチャート（Ｂ）で示したように体外モニタ５０４による各色データの受信は必ずしも等間隔ではないが、画像取得タイミングは各色ＬＥＤの発光タイミングによって決まるので図１９の関係が成り立つ。
【０１１８】
また、図１９に示すように、ｔ３で開始される緑ＬＥＤの発光に基づく緑画像、ｔ５で開始される青ＬＥＤの発光に基づく青画像、およびにｔ９で開始される赤ＬＥＤの発光に基づく赤画像によってもＲＧＢ三色のデータが揃うので、これらによってＩ１で示す１フレームのカラー補間画像が作成される。同様にして、ｔ５で開始される青ＬＥＤの発光に基づく青画像、ｔ９で開始される赤ＬＥＤの発光に基づく赤画像、およびｔ１１で開始される緑ＬＥＤの発光に基づく緑画像によって、Ｉ２で示す１フレームのカラー補間画像が作成される。これらの補間画像はＲＧＢの各色が揃うまでに赤外ＬＥＤの発光が介在しており、ＲＧＢが揃うまでの時間が若干長くなるとともにＲＧＢの発光も等間隔でないのでカラー画像としては画質が悪くなる。従って、あくまでスムーズな動画を得るための補間画像として採用される。
【０１１９】
一方、赤外画像については、図１９に示すように、ｔ７で開始される赤外ＬＥＤの発光に基づく画像ＩＲ１、ｔ１５で開始される赤外ＬＥＤの発光に基づく画像ＩＲ２等がそれぞれ静止画として記録できるとともに、これらを繋げてカラー動画としても記録できる。カラー・赤外モードでは上記のようにカラー画像と赤外画像が並行して取得できるので、両画像を並行して内視鏡診断にもといることができるとともに、両画像を合成することも可能となる。また、静止画として量画像を合成する際、赤外画像の取得時間がカラー補間画像の取得時間帯の中に含まれているので、カラー補間画像を赤外画像とを合成のために採用することも可能である。具体的には、カラー補間画像Ｉ２およびＩ２の取得時間帯が共に赤外画像ＩＲ１の取得時間を含んでいるので、カラー補間画像Ｉ１およびＩ２またなその平均を赤外画像ＩＲ１と合成することが可能である。
【０１２０】
図２０は、第３実施例のカプセル内視鏡５０２における精細カラーモードでの動作の各色ＬＥＤの発光タイミング、光電変換部の動作タイミング、ＡＤ編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。精細カラーモードでは、可視光のカラー画像のみの取得が行われ、赤外ＬＥＤは発光しない。図２０から明らかなように、すべての赤ＬＥＤはｔ１からちｔ２、全ての緑ＬＥＤはｔ３からｔ４、すべての青ＬＥＤはｔ５からｔ６のタイミングで互いに重なることなく時分割でそれぞれ点灯する。そして、ＲＧＢ３色のＬＥＤの点灯が一巡すると、再び全ての赤ＬＥＤがｔ７からｔ８のタイミングで点灯し、以下同様にして緑、青、ＬＥＤが点灯して同様の循環で時分割点灯を繰り返す。この場合一回の循環に必要なｔ１からｔ６までの時間は図１８のｔ１からｔ８よりも短くなり。動画が精細になる。図２０の無線通信部（Ｂ）のタイミングチャートには、しばらく通信環境が整わなかった後、連続して通信が行われている様子を示す。
【０１２１】
図２０のように、精細カラーモードにおいて可視光のみを時分割でほぼ同時に発光させる場合、図１３の撮像レンズ５０８の画角はレンズ駆動部５１２の制御により狭角（望遠）に設定され、そのピント位置もレンズ駆動部５１２の制御により可視光の焦点が撮像面に結像するよう設定される。これは赤、緑、青の焦点位置のずれは小さくまた撮像レンズの設計における収差補正でも対応できるので最適の焦点位置あわせが可能となるからである。このように精細カラーモードは体内の状態を詳細に高精細で観察するのに適している。
【０１２２】
図２１は、図２０で示した精細カラーモードにおける第３実施例のカプセル内視鏡５０２の動作での各色ＬＥＤの発光タイミングとカラー画像作成の関係を示すタイミングチャートである。図２１に示すように、ｔ１で開始される赤ＬＥＤの発光に基づく赤画像、ｔ３で開始される緑ＬＥＤの発光に基づく緑画像、およびｔ５で開始される青ＬＥＤの発光に基づく青画像によって、Ｆ１で示す１フレームのカラー画像が作成される。次に、ｔ３で開始される緑ＬＥＤの発光に基づく緑画像、ｔ５で開始される青ＬＥＤの発光に基づく青画像、およびにｔ７で開始される赤ＬＥＤの発光に基づく赤画像によってＦ２で示す１フレームのカラー画像が作成される。同様にｔ５で開始される青ＬＥＤの発光に基づく青画像、ｔ７で開始される赤ＬＥＤの発光に基づく赤画像、およびｔ９で開始される緑ＬＥＤの発光に基づく緑画像によってＦ３で示す１フレームのカラー画像が作成される。以下同様にしてＦ４で示す１フレームのカラー画像以下が作成されていく。このように、精細カラーモードでは各色のＬＥＤが新たに発光する毎に輪番で新たに１フレームのカラー画像が作成されるのでスムーズな精細動画の記録が可能となる。
【０１２３】
図２２は、第３実施例のカプセル内視鏡５０２における赤外モードでの動作の赤外ＬＥＤの発光タイミング、光電変換部の動作タイミング、ＡＤ編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。赤外カラーモードでは、赤外画像のみの取得が行われ、赤外ＬＥＤ以外のＬＥＤは発光しない。図２２から明らかなように、すべての赤外ＬＥＤはｔ１からちｔ２、ｔ３からｔ４のごとく光電変換部における毎回の露光の都度に発光する。そしてこれに対応して毎回１フレームの赤外画像が作成される。これによって、スムーズな赤外動画の記録が可能となる。
【０１２４】
図２２のように、赤外モードにおいて赤外光のみを発光させる場合も、図１３の撮像レンズ５０８の画角はレンズ駆動部５１２の制御により狭角（望遠）に設定され、そのピント位置もレンズ駆動部５１２の制御により赤外光の焦点が撮像面に結像するよう設定される。このように赤外モードも体内の状態を詳細に高精細で観察するのに適している。
【０１２５】
図２３は、図１３の第３実施例における内視鏡制御部５２０の動作のフローチャートである。カプセル内視鏡５０２に電池５３２がセットされるとフローがスタートし、ステップＳ１６２で、カラー・赤外モードが初期設定される。そしてこれに対応し、ステップＳ１５４で撮像レンズ５０８が広角およびパンフォーカス状態に設定される。次いでステップＳ１６６では、赤、緑、青および赤外の全てのＬＥＤが所定の順所で順次輪番で発光するよう設定される。そしてステップＳ１６８でこれらの設定が行われている状態であることを外部送信し、体外モニタ５０４に報告する。
【０１２６】
次にステップＳ１７０で撮像処理、ステップＳ１７２で送信処理をそれぞれ実行する。その詳細は後述する。送信処理が終わるとステップＳ１７４に進み、動作停止信号を体外モニタ５０４から受信しているかどうかチェックする。受信があれば直ちにフローを終了する。一方、停止信号の受信がなければステップＳ１７６に進み、モード変更信号を受信しているかどうかチェックする。そして受信があればステップＳ１７８に進み、変更されたモードがカラー・赤外モードかどうかチェックする。カラー・赤外モードであれば、ステップＳ１６４に戻り、レンズを広角およびパンフォーカス状態に設定して、以下既に説明したステップＳ１６６以下の動作に進む。
【０１２７】
一方、ステップＳ１７８で変更されたモードがカラー・赤外モードでなかったときはステップＳ１８０に進み、精細カラーモードかどうかチェックする。そして精細カラーモードであればステップＳ１８２でレンズの画角を狭角（望遠）にするとともに可視光フォーカス状態に設定するとともに、ステップＳ１８４で可視光のＬＥＤのみが順次輪番で発光するよう設定する。そして、ステップＳ１８６でこれらの設定状態を外部に送信した後、ステップＳ１７０に戻る。
【０１２８】
また、ステップＳ１８０で変更されたモードが精細カラーモードでなかったときは、変更されたモードが赤外モードであることを意味するからステップＳ１８８に移行し、レンズの画角を狭角（望遠）にするとともに赤外光フォーカス状態に設定する。さらにステップＳ１９０で赤外ＬＥＤのみが発光するよう設定する。そして、ステップＳ１８６に移行し、これらの設定状態を外部に送信した後、ステップＳ１７０に戻る。
【０１２９】
図２４は、図２３のステップＳ１７０における撮像処理の詳細を示すフローチャートである。フローがスタートすると、ステップＳ１９２でモードの選択または変更があったかどうかチェックする。モード選択または変更がなかったときは、ステップＳ１９４に進み、露光時間が完了しているかどうかチェックする。そして完了を検出すればステップＳ１９６に進み、蓄積電荷の読出し開始処理を行う。さらにステップＳ１９８でＬＥＤの発光停止を指示する。さらにステップＳ２００で蓄積電荷読出しが完了したかどうかをチェックし、未完ならステップＳ２００を繰り返しながら完了を待つ。
【０１３０】
ステップＳ２００で読出し完了が検知されるとステップＳ２０６に進み残留電荷の掃捨て開始処理を行ってステップＳ２０８のＬＥＤ選択処理に移行する。これは次に発光すべきＬＥＤを選択する処理であるがその詳細は後述する。さらにステップＳ２１０ではステップＳ２０８で選択されたＬＥＤの発光開始を指示する。次にステップＳ２１２では蓄積電荷の掃捨てが完了したかどうかをチェックし、未完ならステップＳ２１２を繰り返しながら完了を待つ。
【０１３１】
ステップＳ２１２で蓄積電荷の掃捨て完了が検知されるとステップＳ２１４に移行し、露光を開始するとともにステップＳ２１６で露光時間のカウントを開始し、フローを終了する。一方、ステップＳ１９４で露光時間が完了していなければ直ちにフローを終了する。また、ステップＳ１９２でモードの選択または変更が検出されるとステップＳ２１８に移行し、撮像処理のイニシャライズを行ってステップＳ２０８のＬＥＤ選択処理に進む。
【０１３２】
図２５は、図２４のステップＳ２０８におけるＬＥＤ選択処理の詳細を示すフローチャートである。フローがスタートすると、ステップＳ２２２で赤外モードであるかどうかチェックする。該当しなければカラー・赤外モードまたは精細カラーモードであることを意味する。この場合はステップＳ２２４に進み、図２４のステップＳ２１８によって撮像処理のイニシャライズが行われたかどうかチェックする。これも該当しなければステップＳ２２６に進み、前回に選択されたＬＥＤ記憶を読み出す。そしてステップＳ２２８で読み出された記憶に基づき前回発光したのが赤ＬＥＤであったかどうかチェックする。該当しなければ、さらにステップＳ２３０で前回したのが緑ＬＥＤであったかどうかチェックする。
【０１３３】
ステップＳ２３０で前回発光が緑ＬＥＤでなかったときはステップＳ２３２に進み、精細カラーモードであるかどうかチェックする。該当する場合は、赤、緑および青のＬＥＤが輪番で発光していることになる。そしてこの場合、前回発発光が赤でも緑でもなければ青であったことを意味するからステップＳ２３２からステップＳ２３４に進み、次の順番に当たる赤ＬＥＤを選択する。そしてこの選択結果をステップＳ２３６で記憶してフローを終了する。
【０１３４】
一方、ステップＳ２３２で精細カラーモードであることが検知されない場合はカラー・赤外モードであることを意味する。この場合は、赤、緑、青および赤外のＬＥＤが輪番で発光していることになる。そしてこの場合、前回発発光が赤でも緑でもなければ青であったことを意味するからステップＳ２３２からステップＳ２３８に進み、次の順番に当たる赤外ＬＥＤを選択する。そしてこの選択結果をステップＳ２３６で記憶してフローを終了する。
【０１３５】
また、ステップＳ２２８で前回発光したのが赤ＬＥＤであったときはステップＳ２４２に進み、次の順番にあたる緑ＬＥＤを選択する。そしてこの選択結果をステップＳ２３６で記憶してフローを終了する。さらに、ステップＳ２２２で赤外モードであったときはステップＳ２４４に進み、赤外ＬＥＤを選択する。そして赤外モードの場合は選択されるのは常に赤外ＬＥＤであるから選択結果の記憶は特に行う必要がなく直ちにフローを終了する。なお、ステップＳ２２４で撮像処理のイニシャライズが行われていたときはステップＳ２４２に進み最初の発光ＬＥＤとして緑ＬＥＤを選択する。
【０１３６】
図２６は、図２３のステップＳ１７２における送信処理の詳細を示すフローチャートである。フローがスタートすると、ステップＳ２５２でデータの送信中かどうかのチェックを行う。送信中でなければステップＳ２５４に進み、送信に成功したデータがあるかどうかチェックする。そして該当するものがあればステップＳ２５６でこれを画像バッファより消去してステップＳ２５８に移行する。一方、ステップＳ２５４で送信成功データがなければ直接ステップＳ２５８に移行する。
【０１３７】
ステップＳ２５８では、ＡＤ変換が完了したかどうかチェックし、該当すればＡＤ変換したデータを画像バッファに格納してステップＳ２６２に移行する。一方、ＡＤ変換が終了していなければ直接ステップＳ２６２に移行する。ステップＳ２６２では画像バッファに格納されているデータがあるかどうかチェックし、データがあればステップＳ２６４で通信状態がＯＫかどうかチェックする。そしてＯＫであればステップＳ２６６で画像バッファからＦＩＦＯ（先入れ先出し）でデータを読出し、ステップＳ２６８で読み出したデータの送信開始を指示してフローを終了する。なお、ステップＳ２５２でデータ送信中であったとき、ステップＳ２６２で画像バッファにデータの格納がなかったとき、またはステップＳ２６４で通信状態がＯＫでなかったときはそれぞれ直ちにフローを終了する。
【０１３８】
図２７は、図１３の第３実施例における体外モニタ５０４のモニタ制御部５４０の動作を示すフローチャートであり、カプセル内視鏡５０２との通信開始でフローがスタートする。フローがスタートするとステップＳ２７２で画像データの新着の有無をチェックする。新着データがあればステップＳ２７４に進み、新着データが完全かどうかチェックする。そして完全であればステップＳ２７６に進んでこれを画像バッファ５３８に格納するよう支持してステップＳ２７８に移行する。なお、ステップＳ２７２でデータの新着がないか、またはステップＳ２７４で新着データが完全でなかったときはいずれもステップＳ２７２に戻る。
【０１３９】
ステップＳ２７８では、赤外モードであるかどうかチェックし、該当しなければステップＳ２８０でカラー・赤外モードであるかどうかチェックする。そしてカラー・赤外モードであればステップＳ２８２に進み、新着データが赤外画像データであるかどうかチェックする。該当しなければ赤、緑、青のいずれかの画像データであることを意味するからステップＳ２８４に進み、これらのデータから赤外画像の補間補助画像を作成するよう指示してステップＳ２８６に移行する。ステップＳ２８４の指示は、赤外のスムーズな動画を得るために赤外画像データに基づいて補間を行う際、赤外画像の間のタイミングで得られる可視光画像データの情報を補助的に利用するための指示である。
【０１４０】
ステップＳ２８６では、新逆データが青画像データであるかどうかチェックする。そして該当しなければ赤画像データまたは緑画像データであることを意味するからステップＳ２９０に進み、新着データ直前の可視２色のデータが格納されているかどうかチェックする。そして格納されていれば、新着データとともに赤、緑、青の３色が揃うからステップＳ２９２に進み、保管カラー画像を作成する指示をしてステップＳ２７２に戻る。ステップＳ２９２の指示によって作成される画像は、図１９のカラー補間画像Ｉ１またはＩ２に相当する。
【０１４１】
ステップＳ２７８で赤外モードであったときは新着データは赤外画像データであるからステップＳ２９４に移行し、赤外画像の作成を指示してステップＳ２７２に戻る。また、ステップＳ２８２で新着データが赤外画像データであったときもステップＳ２９４に移行する。一方、ステップＳ２８６で新着データが青画像データであったときはステップＳ２９６に進み、直前の２色（この場合は赤および緑）の画像データが画像バッファに格納されているかどうかチェックする。そしてこれらの格納があれば連続する３色が揃うのでステップＳ２９８に進み、カラー画像作成の指示を行ってステップＳ２７２に戻る。この指示によって作成される画像は、図１９のカラー画像Ｆ１またはＦ２に該当する。
【０１４２】
また、ステップＳ２８０でカラー・赤外モードでなかったときは精細カラーモードであることを意味するのでやはりステップＳ２９６に移行し、直前の可視２色データが格納されているかどうかのチェックに入り、直前２色があればステップＳ２９８のカラー画像作成を指示する。この指示によって作成される画像は、図２１のカラー画像Ｆ１、Ｆ２、Ｆ３等に該当する。なお、ステップＳ２９０またはステップＳ２９６で直前の可視２色データの格納がなかったときは直ちにステップＳ２７２に戻る。
【実施例４】
【０１４３】
図２８は、本発明の第４実施例の動作タイミングの関係を示すタイミングチャートである。第４実施例は基本的には図１３から図１７に示す内視鏡システムと共通の構成なので、以下の説明では、図１３のブロック図の符号を適宜用いて説明する。第４実施例が第３実施例と異なるのは、ＣＩＧＳ撮像センサの構成およびＬＥＤの発光タイミングである。すなわち、第３実施例のＣＩＧＳセンサ５１０はカラーフィルタを有さず、色の分解はＬＥＤの時分割発光によっていたが、第４実施例のＣＩＧＳ撮像センサ５１０は、図７から図１０に示すようなカラーフィルタを有し、第１実施例および第２実施例と同様にしてＣＩＧＳ撮像センサ自体で色分解を行う。そして、ＬＥＤの発光は時分割ではなく全色同時に行われる。
【０１４４】
図２８は、このような第４実施例のカプセル内視鏡５０２におけるカラー・赤外モードでの動作のＬＥＤの発光タイミング、光電変換部の動作タイミング、ＡＤ編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。先に述べたように、すべての赤ＬＥＤ、全ての緑ＬＥＤ、すべての青ＬＥＤおよびすべての赤外ＬＥＤは、光電変換部の露光タイミングにおいてすべて同時に発光する。なお、各ＬＥＤは、図２８のように点滅発光するかわりに連続発光しても差し支えない。なお、図２８のカラー・赤外モードにおいては、撮像レンズ５０８の画角はレンズ駆動部５１２の制御により広角に設定され、焦点深度が深くなるように設定されるとともに、そのピント位置もレンズ駆動部５１２の制御により可視光から赤外光をカバーするパンフォーカス状態となるよう設定される。このような撮像レンズ制御は、図１８のカラー・赤外モードの場合と共通である。
【０１４５】
図２９は、第４実施例のカプセル内視鏡５０２における精細カラーモードでの動作のＬＥＤの発光タイミング、光電変換部の動作タイミング、ＡＤ編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。図２９に明らかなように、すべての赤ＬＥＤ、全ての緑ＬＥＤおよびすべての青ＬＥＤが、光電変換部の露光タイミングにおいてすべて同時に発光する。なお、赤外ＬＥＤは発光しない。図２９のように、精細カラーモードにおいて可視光のみを同時に発光させる場合、図１３の撮像レンズ５０８の画角はレンズ駆動部５１２の制御により狭角（望遠）に設定され、そのピント位置もレンズ駆動部５１２の制御により可視光の焦点が撮像面に結像するよう設定される。このような撮像レンズ制御は、図２０の精細カラーモードの場合と共通である。
【０１４６】
第４実施例における赤外モードのタイミングチャートは、第３実施例における図２２と共通である。また、赤外モードにおける撮像レンズ５０８の画角がレンズ駆動部５１２の制御により狭角（望遠）に設定され、そのピント位置もレンズ駆動部５１２の制御により赤外光の焦点が撮像面に結像するよう設定される点についても、図２２の赤外モードと共通である。第４実施例におけるカラー・赤外モードが体内の状態を全体的に粗く観察するのに適し、一方、精細カラーモードおよび赤外モードが体内の状態を詳細に高精細で観察するのに適している点についても第３実施例と共通である。
【０１４７】
なお、上記第３実施例および第４実施例における内視鏡システムはカプセル内視鏡と体外モニタを有するものとして構成したが、本発明の実施はこれに限るものではない。例えば、体内と体外をチューブで結んだ通常の内視鏡として構成することも可能である。この場合、図１３のアンテナ５３０および５４６による無線通信をチューブ内のケーブルによる有線通信とするとともにこのチューブ内に公知の通気管や導水管およびチューブ屈曲メカなどを設ける。また、体内と体外の間の画像情報伝達を電気信号で行うのに代え、ファイバーなどによる光学手段により体内で取得した画像を体外に取り出すようにしてもよい。この場合、ＣＩＧＳ画像センサは体外に設けられることになる。また、光源についても発光部を体外に設け、ライトガイドでこれを体内に導くことも可能である。このような構成では、図１４から図１７の光源配置は、発光部分の配置ではなく、光源光射出部の配置として理解するものとする。さらに、ライトガイドを用いる場合には、必ずしも光源光射出部を各色別にする必要はなく、各色発光部からの光を共通のライトガイドを用いて体内に導き共通の射出口から照射するようにしてもよい。また、上記第３実施例および第４実施例において示した本発明の種々の特徴の実施は、内視鏡に限らず、種々の撮像センサを活用した撮像・観察・記録機器に適宜活用することも可能である。
【産業上の利用可能性】
【０１４８】
本発明は、体内画像の観察・記録・診断等が可能な内視鏡を提供するものである。
【符号の説明】
【０１４９】
５１０ 光電変換部
５１４、５６２、５６６ 可視光域照明光源
５１６ 赤外光域照明光源
５２０、５４０ 制御部
５２８、５３０ 無線送信部
５０２ カプセル部
５３４、５３６ 無線受信部
５４４ 画像処理部
５４８ 表示部
【技術分野】
【０００１】
本発明は、撮像センサとその活用に関する。
【背景技術】
【０００２】
光電変換手段としては、日々、種々の特性のものが提案されている。また、従来から、カラー画像のための撮像センサや赤外画像のための撮像センサも種々提案されている。さらにこれらの撮像センサを活用した内視鏡等の撮像・観察・記録機器も種々提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−１９２８９３号公報
【特許文献２】特開２００７−１１７１９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、光電変換手段において提案されている種々の特性はまだ充分活用されているとは言えず、さらに検討すべき課題が多い。
【０００５】
本発明の課題は、上記に鑑み、光電変換手段において提案されている特性の撮像・観察・記録機器への好適な活用を提案することにある。
【課題を解決するための手段】
【０００６】
上記課題を達成するため、本発明は、それぞれ可視光域および赤外光域において６０％以上の量子効率を有し規則的に配列された複数の光電変換部と、可視光域照明光源と、赤外光域照明光源と、可視光域照明光源による照明下で光電変換部が受光する画像を可視光画像データとして取得するとともに赤外光域照明光源による照明下で光電変換部が受光する画像を赤外光画像データとして取得する制御部とを有する内視鏡が提供される。これによって、共通の光電変換部を用い、照明光源の切換えで可視光画像データおよび赤外光画像データを取得することが可能となる。
【０００７】
本発明の他の特徴によれば、可視光域において６０％以上の量子効率を有し規則的に配列された複数の光電変換部と、３つの異なる単色可視光照明光源と、これら３つの異なる単色可視光照明光源による照明下でそれぞれ光電変換部が受光する画像をそれぞれ３つの異なる単色可視光画像データとして取得する制御部とを有する内視鏡が提供される。これによって、共通の光電変換部を用い、照明光源の切換えで３つの異なる単色可視光画像データを分離して取得することが可能となる。
【０００８】
以上のような本発明の具体的な特徴によれば、制御部は、３つの異なる単色可視光照明光源および赤外光域照明光源または３つの異なる単色可視光照明光源を輪番で時分割発光させる。また、より具体的な特徴によれば、制御部は、３つの単色可視光照明光源の１つの新たな発光下で単色可視光画像データが取得される毎に、他の２つの単色可視光照明光源による照明下でそれぞれ取得済みの単色可視光画像データと組み合わせるべきカラー画像データとして提供する。これによってスムーズな動画データの取得が可能となる。
【０００９】
本発明のさらに具体的な特徴によれば、赤外光域照明光源を用いる場合において、制御部は、３つの単色可視光画像データの取得のための３つの異なる単色可視光照明光源の発光タイミング中に赤外光域照明光源の発光タイミングを含む場合と含まない場合とで３つの単色可視光画像データを組み合わせたカラー画像の取り扱いを変える。これによって、３つの単色可視光画像データが不等間隔で揃う場合を補間画像として用い、等間隔で揃う場合を本画像として用いるなど、カラー画像の取り扱いを適切に変えることができる。
【００１０】
本発明の他の特徴によれば、可視光域照明光源と赤外光域照明光源の一方の照明下で光電変換部が画像を受光しているとき、他方の照明下で前記光電変換部が画像した画像を処理する内視鏡が提供される。これによって、可視光画像データおよび赤外光画像データを近接したタイミングで取得することが可能となる。処理の具体例は、ＡＤ変換であり、他の具体例はデータの送信である。これらはいずれも比較的時間を要する処理であり、光電変換部による受光と並行処理することで可視光画像データおよび赤外光画像データを効果的に近接したタイミングで取得することが可能となる。
【００１１】
本発明の他の特徴によれば、規則的に配列された複数の光電変換部、照明光源、照明光源による照明下で光電変換部が受光する画像をＲＡＷデータとして取得する制御部およびＲＡＷデータを送信する無線送信部を含むカプセル部と、無線送信部からのＲＡＷデータを受信する無線受信部、受信したＲＡＷデータを処理する画像処理部および画像処理部が処理した画像を表示する表示部を含む体外モニタ部とを有する内視鏡が提供される。これにより、例えばカラー画像の作成を体外で行うことができ、体内に飲み込まれるカプセルの構成の負担を軽減することができる。
【発明の効果】
【００１２】
上記のように、本発明によれば、光電変換手段において提案されている種々の特性を生かした内視鏡を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施例を示すブロック図である。（実施例１）
【図２】図１の測光兼用ＡＦセンサおよびライブビューセンサの構成を関連する部分とともに詳細に示したブロック図である
【図３】図２のＣＩＧＳ撮像センサおよびＣＩＧＳＡＦセンサに用いられるＣＩＧＳセンサの分光感度をシリコンのＣＭＯＳセンサと比較したグラフである。
【図４】第１実施例におけるカメラ制御部の動作のフローチャートである。
【図５】本発明の第２実施例を示すブロック図である。（実施例２）
【図６】第２実施例におけるカメラ制御部の動作のフローチャートである。
【図７】図２または図５のライブビューセンサに用いられるＣＩＧＳ撮像センサのカラーフィルタ配列の第1例である。
【図８】ＣＩＧＳ撮像センサのフィルタ配列の第２例である。
【図９】図８のフィルタ配列を採用したＣＩＧＳセンサの模式断面図である。
【図１０】ＣＩＧＳ撮像センサのフィルタ配列の第３例である。
【図１１】図５の第２実施例においてライブビューセンサの画像を記録する際のカメラ制御部の動作を示すフローチャートである。
【図１２】図１１のステップＳ１０８およびステップＳ１１４に共通して利用できる処理の詳細を示すフローチャートである。
【図１３】本発明の第３実施例を示すブロック図である。（実施例３）
【図１４】第３実施例に採用可能なＬＥＤの配置の第１の例を示す正面図である。
【図１５】第３実施例に採用可能なＬＥＤの配置の第２の例を示す正面図である。
【図１６】第３実施例に採用可能なＬＥＤの配置の第３の例を示す正面図である。
【図１７】第３実施例に採用可能なＬＥＤの配置の第４の例を示す正面図である。
【図１８】第３実施例のカラー・赤外モードでの動作タイミングチャートである。
【図１９】図１８の動作とカラー画像作成の関係を示すタイミングチャートである。
【図２０】第３実施例の精細カラーモードでの動作タイミングチャートである。
【図２１】図２０の動作とカラー画像作成の関係を示すタイミングチャートである。
【図２２】第３実施例の赤外モードでの動作タイミングチャートである。
【図２３】第３実施例における内視鏡制御部の動作のフローチャートである。
【図２４】図２３のステップＳ１７０の詳細を示すフローチャートである。
【図２５】図２４のステップＳ２０８の詳細を示すフローチャートである。
【図２６】図２３のステップＳ１７２の詳細を示すフローチャートである。
【図２７】第３実施例におけるモニタ制御部の動作を示すフローチャートである。
【図２８】本発明の第４実施例のカラー・赤外モードでの動作タイミングチャートである。（実施例４）
【図２９】第４実施例の精細カラーモードでの動作タイミングチャートである。
【発明を実施するための形態】
【実施例１】
【００１４】
図１は、本発明の実施の形態に係るオートフォーカスデジタル一眼レフカメラの第１実施例を示すブロック図である。オートフォーカスデジタル一眼レフカメラはカメラボディ２およびこれに交換可能に着脱される交換レンズ４を有している。交換レンズ４のレンズ光学系６から入射した被写体光は、観察位置にあるミラー８で上方に反射され、焦点板１０の位置に結像する。この像はペンタリズム１２で反射された後、アイピース１４で観察され、撮像ための構図決めなどが行われる。
【００１５】
撮影の際には、操作部１５のシャッタレリーズボタンを操作することによって、ミラー８がオートフォーカス用サブミラー１６とともに撮影位置に退避するとともにフォーカルプレーンシャッタ１８が開き、交換レンズ４のレンズ光学系６から入射した被写体光が撮像部２０に結像して撮像される。撮像部２０によって撮像された画像情報は、画像処理部２２で画像処理された後、カメラ制御部２４の制御により画像記憶部２６に記憶される。画像記憶部２６に記憶された画像情報は、適宜媒体スロット２８に挿入されたメモリーカードなどの記憶媒体に転送される。また、画像記憶部２６に記憶された画像情報は、カメラ制御部２４の制御により、適宜入出力部３０から外部に転送することができる。なお、撮影直後の画像情報は、カメラ制御部２４から表示部３２に送られて自動的に表示されるので、操作者は撮像した画像を確認することができる。
【００１６】
画像再生の際には、操作部１５の操作により、画像記憶部２６または媒体スロット２８に記憶された画像情報がカメラ制御部２４によって読み出され、カメラボディ２の背面に設けられた液晶等からなる表示部３２に表示される。以上が、図１のオートフォーカスデジタル一眼レフカメラにおける撮像および再生に関する基本構成および基本機能である。なお、上記から明らかなように、ミラー８が観察位置にあるときは、撮像部２０による被写体像の撮像は行われないので、以上の構成だけではアイピース１４で観察できるリアルタイムの被写体像は表示部３２に表示されることはなく、撮影後に確認ができるだけである。この点が、デジタル一眼レフカメラの特殊性であり、表示部３２の画像を観察しながら構図決めができる通常のコンパクトデジタルカメラと異なるところである。
【００１７】
次に、図１のオートフォーカスデジタル一眼レフカメラにおけるオートフォーカスに関する構成と機能について説明する。交換レンズ４のレンズ光学系６から入射した被写体光の一部は、観察位置にあるミラー８中央にある半透過部を透過し、サブミラー１６で下方に反射されて測光兼用オートフォーカス（以下「ＡＦ」）センサに導かれる。測光兼用ＡＦセンサ３４はサブミラー１６から入射する光をＡＦセンサ上に再結像して分析し結果をカメラ制御部２４に送る。この分析は、例えば、よく知られている瞳分割による位相差検出方式などによって撮像部２０の撮像面とレンズ光学系６による結像位置のずれ方向およびその程度を分析することによって行われる。カメラ制御部２４は、測光兼用ＡＦセンサ３４から得られたレンズ光学系６による結像位置のずれ方向およびその程度の情報に基づき、結像位置のずれを解消するためのレンズ光学系６の駆動量および駆動方向の情報を、ＡＦ制御部３６に送る。ＡＦ駆動部３８は、カメラボディ２と交換レンズ４との機械的または電気的インターフェースによってＡＦ制御部３６から伝えられる駆動量および駆動方向の情報に基づいてレンズ光学系６を駆動し、自動焦点合わせを行う。なお、測光兼用ＡＦセンサ３４の構成の詳細については後述する。
【００１８】
ライブビューセンサ４０は、デジタル一眼レフカメラにおいて、通常のコンパクトデジタルカメラと同様にして、表示部３２の画像を観察しながら構図決めができるようにするための「ライブビュー」機能のための構成である。ペンタプリズム１２の反射面１２ａ全体が半透過性になっており、ライブビューセンサ４０は、焦点板１０の画像をＣＩＧＳ撮像センサ上に再結像させることにより、焦点版１０の画像全体を撮像できるようになっている。ＣＩＧＳ撮像センサは、銅（Ｃｕ）、インジウム（Ｉｎ）、ガリウム（Ｇａ）およびセレン（Ｓｅ）を材料とする光センサであり、その詳細は後述する。
【００１９】
ペンタプリズム１２の反射面１２ａは、可視光領域以外はほぼ全面的に光を透過させるとともに、可視光領域では、わずかに光を透過させるだけで大半が反射する分光透過特性になっており、アイピース１４で焦点版１０の像を観察する際に実質的に像が暗くなることはない。また、ライブビューセンサ４０に採用されているＣＩＧＳ撮像センサは、後述するように可視光領域において高い感度を有しているので、可視光領域での反射面１２ａの光透過率がわずかであっても、可視光領域における焦点版１０の像を充分撮像することが可能である。このライブビューセンサ４０への可視光の配分は、アイピース１４により光学的に被写体を観察し難い暗さになったとき、ＣＩＧＳ撮像センサによるライブビュー用の撮像についても光量不足となるレベルとする。ＣＩＧＳ撮像センサを用いたライブビューセンサ４０の詳細については後述する。ライブビューセンサ４０で撮像された画像はカメラ制御部２４に送られ、これが表示部３２で表示されるので、図１のオートフォーカスデジタル一眼レフカメラは、被写体が通常の明るさである限り、通常のコンパクトデジタルカメラと同様にして、表示部３２の画像を観察しながら構図決めが可能である。
【００２０】
図２は、図１のオートフォーカスデジタル一眼レフカメラの第１実施例における測光兼用ＡＦセンサ３４およびライブビューセンサ４０の構成を関連する部分とともに詳細に示したブロック図である。ペンタプリズム１２の反射面１２ａは、すでに述べたように可視光領域以外はほぼ全面的に光を透過させるとともに、可視光領域では、わずかに光を透過させるだけで大半が反射する分光透過特性を有するが、多層膜５２はこのような分光透過特性を実現するために反射面１２ａにコーティングされたものである。
【００２１】
ライブビューセンサ４０は、このような多層膜５２を透過した焦点面１０からの光束をＣＩＧＳ撮像センサ５４の撮像面に再結像させるための再結像レンズ５６を備えている。赤外光カットフィルタ５８は、多層膜５２を透過してきた可視光領域以外の光を実質的にカットしてＣＩＧＳ撮像センサ５４の波長感度特性を撮像部２０の波長感度特性に近似させるものであり、視感度に一致した被写体像を撮像してカメラ制御部２４に送り、図１の表示部３２でのライブビューを可能にする。なお、本発明にいう「赤外光」とは主に「近赤外光」と称される比較的可視光に近い領域の赤外光線を指すが、学会により定義が必ずしも一定でないので、以下「赤外光」と略称する。
【００２２】
ライブビューセンサ４０は、さらに焦点板１０における明るさを測定する全画面測光を可能にしている。つまり、ＣＩＧＳ撮像センサ５４から出力される画像情報は、全画面にわたる測光情報としてもカメラ制御部２４で処理され、必要に応じＡＦ対応部分測光センサ７２の出力と組合せ慮利される。そして、これら処理結果に基づいて交換レンズ４の絞り径、フォーカルプレーンシャッタ１８によるシャッタ速度、および撮像部２０の感度などをコントロールする自動露出制御が行われる。
【００２３】
可視光カットフィルタ６０は赤外光カットフィルタ５８と差し替えてＣＩＧＳ撮像センサ５４への光路中に挿入されるもので、「長波長モード」にて使用されるものである。多層膜５２からは可視光領域以外がほぼ全面的に透過してくるので、長波長モードの設定で赤外光カットフィルタ５８に替えて可視光カットフィルタ６０が光路に挿入された場合は、可視光よりも長波長側域の光がＣＩＧＳ撮像センサ５４に入射するようになる。ＣＩＧＳ撮像センサ５４は、後述するように、長波長側が１３００ｎｍにおよぶ分光感度を持っている。従って、可視光カットフィルタ６０の挿入によってライブビューセンサ４０はこれら長波長域の光での撮影に好適な撮像センサとなる。そして、このような長波長域の画像出力を表示部３２でリアルタイムに観察したり、画像記憶部２６に記録したりすることが可能となる。
【００２４】
ミラー／フィルタ駆動部６２は、操作部１５によるモード切換に応じたカメラ制御部２４の制御により、上記の可視光カットフィルタ６０と赤外光カットフィルタ５８の差し替えを駆動する。なお、図２では、撮影位置に退避したミラー８ａおよびサブミラー１６ａが二点鎖線で図示されているが、このようなミラー８とサブミラー１６における観察位置と撮影位置の間の駆動も、カメラ制御部２４の制御によりラー／フィルタ駆動部６２が行う。
【００２５】
測光兼用ＡＦセンサ３４の再結像レンズ６４は、交換レンズ４から入射して観察位置にあるミラー８中央にある半透過部を透過し、サブミラー１６で下方に反射される被写体光を再結像させるためのものである。再結像レンズ６４からの光束は、波長選択性のない可動半透ミラー６６および赤外光カットフィルタ６８を透過してＣＩＧＳＡＦセンサ７０上に結像する。ＣＩＧＳＡＦセンサも、後述するように可視光領域において高い感度を有しており、暗い被写体であっても補助光なしに自動焦点検出が可能である。なお、赤外光カットフィルタ６８は、ＣＩＧＳＡＦセンサ７０をＡＦセンサとして働かせるために有害な赤外光領域の波長をカットするものであり、ＣＩＧＳ撮像センサ５４のための赤外光カットフィルタ５８とは必ずしも特性が同じものではない。例えば、赤外光カットフィルタ８は赤外光カットフィルタ５８よりも狭い透過分光特性に設定される。
【００２６】
このため、被写体が通常の明るさのときに減光のために可動半透ミラー６６を図示の位置に挿入し、ＣＩＧＳＡＦセンサへの入射光量をＣＩＧＳＡＦセンサの感度ダイナミックレンジに合わせこむ。一方、被写体が通常のＡＦセンサでは補助光を必要とするような暗さになったときには可動半透ミラーを６４ａの位置に退避させ、減光なしに被写体像をＣＩＧＳセンサに結像させる。なお、このとき可動半透ミラー６６の有無による光路長の補償が必要である。例えば、可動半透ミラー６６を退避させたときには、これと光路長が等しい全透過性の並行平板を代わりに光路中に挿入する。また、当然ながら、可動半透ミラーが６４ａの位置に退避した状態では、ＡＦ対応部分測光センサ７２による測光はできなくなる。
【００２７】
ＣＩＧＳＡＦセンサ７０への減光のために再結像光路中に可動半透ミラー６６が挿入されている時、これを反射した光は、ＡＦ対応部分測光センサ７２に入射する。ＡＦ対応部分測光センサ７２は、ＣＩＧＳＡＦセンサによって焦点検出が行われている部分の明るさを測光するものであり、全画面のうちで焦点検出の対象となっている部分の明るさを選択的に測光することにより、撮影において関心の高い部分が適正露出になるよう自動露出制御するための情報として用いられる。このように、被写体が明るい時に過剰となるＣＩＧＳＡＦセンサ７０への減光部分は、捨てられるのではなく、測光情報として有効に利用される。
【００２８】
ＡＦ対応部分測光センサ７２からの部分測光情報は、ライブビューセンサ４０のＣＩＧＳ撮像センサ５４からの全画面に関する測光情報と組合せてカメラ制御部２４で処理され、最終的に、交換レンズ４の絞り径、フォーカルプレーンシャッタ１８によるシャッタ速度、および撮像部２０の感度などがコントロールされる。
【００２９】
センサ制御部７４は、可動半透ミラー６６が挿入されている時および退避しているときのいずれの場合においても、ＣＩＧＳＡＦセンサ７０の受光積分時間やゲインコントロールなどを行って、自動焦点調節を制御する。この受光積分時間やゲインコントロールを混乱なく行うためには、可動半透ミラー６６が挿入されているのか退避しているのかの情報も用いられる。センサ制御部７４は、また、ＣＩＧＳＡＦセンサ７０およびＡＦ対応部分測光センサ７２に指示を出し、全画面のうちで焦点検出の対象とすべき部分と選択的に測光する部分を一致させる制御を行い、それぞれ対応する焦点検出情報と測光情報をカメラ制御部２４に出力させる。
【００３０】
一方、ライブビューセンサ４０が「長波長モード」に設定され、多層膜５２からＣＩＧＳ撮像センサ５４への光路に赤外光カットフィルタ５８に替えて可視光カットフィルタ６０が光路に挿入された場合は、測光兼用ＡＦセンサ３４でも、これに対応したフィルタの差し替え等が行われる。具体的には、「長波長モード」の場合、半透ミラー６６の退避を前提として赤外光カットフィルタ６８が可視光カットフィルタ７６に差し替えられる。これによって、ＣＩＧＳ撮像センサ５４による長波長域での撮像のための焦点検出が、減光なしに、ＣＩＧＳＡＦセンサ７０によって行われるようになる。なお、このとき、波長感度域あわせだけでなく、波長の違いによる光路長の変化および焦点検出の際の色収差の違い等の補償を行う。
【００３１】
以上のような可動半透ミラー６６の移動および赤外光カットフィルタ６８と可視光カットフィルタ７６との差し替えは、操作部１５によるモード切換操作に基づくカメラ制御部２４の制御により、ミラー／フィルタ駆動部７８が司る。
【００３２】
図１および図２の第1実施例は、上記のような基本機能に加え、「複合ＡＦ機能」が可能である。操作部１５の操作により、「複合ＡＦ機能」が選択されると、ライブビュー機能が停止され、「複合ＡＦ機能」の開始が指示される。具体的には、操作部１５の操作により、「複合ＡＦ機能」が選択されると、カメラ制御部２４は、赤外光カットフィルタ５８に替えて可視光カットフィルタ６０をＣＩＧＳ撮像センサ５４への光路に設定する指示をミラー／フィルタ駆動部６２に対して行うとともにＣＩＧＳ撮像センサ５４の出力に基づく表示部３２でのライブビュー表示を停止する。
【００３３】
これに替わり、可視光カットフィルタ６０により長波長側の感度域となったＣＩＧＳ撮像センサ５４の画像信号は、赤外光カットフィルタ６８により可視光の感度域にあるＣＩＧＳＡＦセンサの出力と組み合わされ、「複合ＡＦ機能」が実行される。具体的には、ＣＩＧＳ撮像センサ５４の画像信号に基づく画像処理により被写体の画像分析が行われ、その結果に基づいて、ＣＩＧＳＡＦセンサによる焦点検出領域が決定される。
【００３４】
図３は、図２のＣＩＧＳ撮像センサ５４およびＣＩＧＳＡＦセンサに用いられるＣＩＧＳセンサの分光感度（量子効率）をシリコンのＣＭＯＳセンサと比較したものである。図３（Ａ）は、各波長におけるＣＩＧＳセンサの量子効率（％）を示すものであり、図３（Ｂ）におけるシリコンのＣＭＯＳセンサについての同様の量子効率（％）と比較して、明らかな高感度および広帯域の特性を示している。具体的には、図３（Ａ）のＣＩＧＳセンサは、波長１３００ｎｍ近くにわたる広い感度域を持つ。さらに、４００ｎｍ付近から１２００ｎｍ付近の広い波長域に渡り量子効率５０％を超える分光感度を有しており、可視光およびこれに隣接する赤外光領域では特に顕著な高量子効率を示している。このような可視光域および赤外光域において６０％以上の量子効率を有する高感度および広帯域の分光感度特性は、図３（Ｂ）におけるようなシリコンのＣＭＯＳセンサでは期待できないものである。
【００３５】
図４は、図１および図２の第１実施例におけるカメラ制御部２４の動作のフローチャートである。操作部１５によってカメラのメインスイッチがオンになるとフローがスタートし、ステップＳ２においてオートフォーカスデジタル一眼レフカメラが操作部１５によって再生モードに設定されているかどうかチェックする。再生モード設定が検出されなければ撮影モードなのでステップＳ４に進み、可動半透ミラー６６をＣＩＧＳＡＦセンサ７０への光路内に設定して入射光量を減光する指示をミラー／フィルタ駆動部７８に行う。
【００３６】
なお、ステップＳ４の指示に応答するミラー／フィルタ駆動部７８による可動半透ミラー６６設定の機械的実行には遅延期間が設けられており、例えば可動半透ミラー６６がＣＩＧＳＡＦセンサ７０への光路にセットされている状態で可動半透ミラー６６を光路から退避させる減光解除の指示が行われ、その後遅延時間内に、これを取り消す関係にある可動半透ミラー６６を光路内にセットする指示が続いて行われたような場合には、ミラー／フィルタ駆動部７８は実際には可動半透ミラー６６の駆動を実行せず、可動半透ミラー６６が光路内に設定されている状態が継続する。換言すれば、ミラー／フィルタ駆動部７８は遅延時間内に可動半透ミラー６６を異なる状態に駆動する指示が繰返し行われて初めて可動半透ミラー６６の駆動を実行することになる。なお、既に可動半透ミラー６６がＣＩＧＳＡＦセンサ７０の光路に設定されている状態でステップＳ４の指示が行われた時は、当然ながら、ミラー／フィルタ駆動部７８は可動半透ミラー６６に対する何の駆動も行わない。これらのことは、以下の各ステップにおける種々の「指示」に共通である。
【００３７】
次いでステップＳ６に進み、ライブビュー用の赤外光フィルタ５８をＣＩＧＳ撮像センサ５４への光路に設定する指示をミラー／フィルタ駆動部６２に行う。なお、ミラー／フィルタ駆動部６２のミラー差し替え動作についても、上記でミラー／フィルタ駆動部７８において説明したのど同様の指示に対する駆動実行への遅延時間が設けられている。
【００３８】
次いで、ステップＳ８でＡＦ用の赤外光カットフィルタ６８をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に行う。そして、ステップＳ１０に進み、ＣＩＧＳＡＦセンサ７０の出力に基づき、減光を解除すべきレベルまで被写体が暗いかどうかのチェックを行う。該当すればステップＳ１２に進んで、可動半透ミラー６６を光路から退避させる減光解除の指示を行ってステップＳ１４に移行する。一方、被写体が充分明るい場合は直接ステップＳ１４に移行する。
【００３９】
ステップＳ１４では、操作部１５によって「複合ＡＦモード」が選択されたかどうかのチェックを行う。そして選択があればステップＳ１６に進み、複合ＡＦを行うために赤外光フィルタ５８に替えて可視光カットフィルタ６０をＣＩＧＳ撮像センサ５４への光路に設定する指示をミラー／フィルタ駆動部６２に対して行う。さらに、ステップＳ１８でＣＩＧＳ撮像センサ５４の出力に基づく表示部３２でのライブビュー表示を停止するとともに、長波長側の感度域のＣＩＧＳ撮像センサ５４の画像信号と可視光の感度域にあるＣＩＧＳＡＦセンサの出力とを組み合わせる「複合ＡＦ機能」の開始が指示してステップＳ２０に移行する。一方、ステップＳ１４で「ＡＦモード」の選択が検出されない場合は、直接ステップＳ２０に移行する。
【００４０】
ステップＳ２０では、撮像部２０による撮像が光量不足となるほど暗いかどうかのチェックを行う。通常、このレベルまで被写体が暗くなるとフラッシュなどの補助光を用いた撮影が必要となる。ステップＳ２０で光量不足が検知されるとステップＳ２２に進み、操作部１５の操作によって「長波長モード」が選択されているかどうかチェックする。そして該当すればステップＳ２４に進み、赤外光フィルタ５８に替えてライブビュー用の可視光カットフィルタ６０をＣＩＧＳ撮像センサ５４への光路に設定する指示をミラー／フィルタ駆動部６２に対して行う。さらに、ステップＳ２６で、赤外光カットフィルタ６８に替えてＡＦ用の可視光カットフィルタ７６をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に対して行ってステップＳ２８に移行する。
【００４１】
一方、ステップＳ２０で撮像部の光量不足が検出されない場合は、直接ステップＳ２８に移行する。このように、撮像部の光量不足となるような暗さでない場合、通常はステップＳ２２に進むことができず、「長波長モード」は禁止される。これは設定の混乱を防止するためである。なお、被写体が明るい場合でも特に「長波長モード」を選択したい場合は、操作部１５で特別の操作を行うことによってステップＳ２２に進むことも可能である。また、ステップＳ２２で「長波長モード」設定が検出されない場合も、直接ステップＳ２８に移行する。
【００４２】
ステップＳ２８では、操作部１５のシャッタレリーズボタンによるレリーズ操作が行われたかどうかチェックする。レリーズ操作が検知できなければステップＳ３０に進み、操作部１５によってカメラのメインスイッチをオフする操作が行われたかどうかチェックする。そしてカメラオフ操作が検出されなければフローはステップＳ２に戻り、以下、ステップＳ２で再生モード操作が検出されるかステップＳ２８でレリーズ操作が検出されない限り、ステップＳ２からステップＳ３０を繰り返す。
【００４３】
上記の繰返しは充分高速で行われ、上記したミラー／フィルタ駆動部６２、７８に設けられる遅延時間内に何度も繰り返される。従って、ステップＳ１０、ステップＳ１４、ステップＳ２０およびステップＳ２２に基づく検知結果が変化するとミラー／フィルタ駆動部６２、７８の遅延時間内にこの変化基づく同一の指示が繰返し行われ、ミラー／フィルタ駆動部６２、７８による適切な指示の実行が行われる。これによって、被写体の明るさの変化に基づく減光の設定／解除と波長域カットフィルタの切り替え、およびモード切り替えに基づく波長域カットフィルタの切り替えがスムーズに実行される。
【００４４】
なお、ステップＳ２で操作部１５による再生モード設定操作が検出された時はステップＳ３２の再生モード処理に移行する。そして、再生モード処理内部の機能によって撮影モードが選択されたときには、フローはステップＳ４に戻る。また、再生モード処理内部の機能によってカメラオフ操作が検出されたときにはフローを終了する。
【実施例２】
【００４５】
一方、ステップＳ２８で操作部１５のシャッタレリーズボタンによるレリーズ定操作が検出された時はステップＳ３４の撮像記録処理に移行する。そして、撮像記録および表示部での撮像結果表示が終わると、フローは自動的にステップＳ２に戻る。なお、ステップＳ３０でカメラオフ操作が検出されたときは、図４のフローが終了となる。
【００４６】
図５は、本発明の実施の形態に係るオートフォーカスデジタル一眼レフカメラの第２実施例を示すブロック図である。その構成の大部分は図１の第１実施例と同様なので、共通する部分には同一の番号を付し、特に必要がない限り説明を省略する。図５の第２実施例が図１の第１実施例と異なるのは、カメラボディ１００であり、特にそのライブビューセンサ１０２およびこれに関連する構成および機能が第１実施例と異なる。
【００４７】
第１実施例のライブビューセンサ４０では、半透過性の反射面１２ａを介して光を受けるよう構成され、反射面１２ａを透過する可視光領域の光が抑えられている。これは、アイピース１４で光学的に被写体像を支障なく観察することができるようにするとともに、同時にライブビューも常に可能とするためである。ライブビューセンサ４０にはＣＩＧＳ撮像センサが用いられているので、反射面１２ａを透過する可視光領域の光が抑えられていても、通常の明るさの被写体をライブビューするには充分である。しかしながら、アイピース１４で充分観察できないような暗い被写体の場合は、ライブビューセンサ４０でも光量が不足する。これに対し、図５の第２実施例は、アイピース１４で充分観察できないような暗い被写体の場合でも、ライブビューセンサ１０２に採用したｃＩＧＳ撮像センサによってライブビューが可能となるよう構成している。なお、図５のライブビューセンサ１０２の詳細構造は、図２におけるライブビューセンサ４０と基本的には同様であって、再結像光学系およびＣＩＧＳ撮像センサを有する。但し、ペンタプリズム１０４に対するライブビューセンサ１０２の配置場所が異なるので、その再結像光学系は図２の再結像レンズ５６とは異なったものとなる。
【００４８】
上記の考え方に基づき、第２実施例では、通常のペンタプリズム１０４が採用されており、ライブビューモードに設定しない場合は、ペンタプリズム１０４からの光はすべてアイピースに向かう。このとき可動全反射ミラー１０６は図５のようにアイピース１４への光路から退避している。従ってこの状態ではライブビューができない。
【００４９】
操作部１５の操作によってライブピューモードを選択すると、可動全反射ミラーが１０６ａの位置に下がり、ペンタプリズム１０４からの光を全てライブビューセンサ１０２の方向に反射する。従って、アイピース１４による光学的なファインダー像の観察はできなくなる。可動減光フィルタ１０８は、被写体が通常の明るさのときに図５のようにライブビューセンサへの光路中に挿入され、ライブピューセンサ１０２への入射光量をＣＩＧＳ撮像センサの感度ダイナミックレンジに合わせこむ。一方、被写体がアイピースでは観察し難い程度の暗さになったときには可動減光フィルタ１０８がライブビューセンサ１０２への光路から退避し、減光なしに被写体像をライブビューセンサに導く。なお、このとき可動減光フィルタ１０８の有無による光路長の補償が必要であり、例えば、可動減光フィルタを退避させたときには、これと光路長が等しい全透過性の並行平板を代わりに光路中に挿入する。このようにして、光学的には観察し難い暗い被写体の場合でも、図５の第２実施例の場合にはＣＩＧＳ撮像センサによりライブビューが可能となる。このライブビューセンサ１０２からの可視光域の画像は表示部３２でのライブビューだけでなく、画像記憶部２６に記録することも可能である。したりすることが可能となる。
【００５０】
赤外光カットフィルタ１１０は、ライブビューモードにおいて可動全反射ミラー１０６ａから反射される可視光領域以外の光をカットし、ＣＩＧＳ撮像センサの波長感度特性を撮像部２０の波長感度特性に近似させるものであり、視感度に一致した被写体像を撮像してカメラ制御部１１６に送り、自然なライブビューを可能にする。
【００５１】
可視光カットフィルタ１１２は、赤外光カットフィルタ１１０と差し替えてライブビューセンサ１０２への光路中に挿入されるもので、「長波長モード」にて使用されるものである。可動全反射ミラー１０６ａからは可視光領域以外もほぼ全面的に反射されてくるので、長波長モードの設定で赤外光カットフィルタ１１０に替えて可視光カットフィルタ１１２がライブビューセンサ１０２への光路に挿入された場合は、可視光よりも長波長側域の光がライブビューセンサ１０２のＣＩＧＳ撮像センサに入射するようになる。従って、第１実施例と同様、長波長域の画像についてその画像出力を表示部３２でリアルタイムに観察したり、画像記憶部２６に記録したりすることが可能となる。なお、可視光カットフィルタ１１２を用いる長波長モードにおいては、可動減光フィルタ１０８をライブビューセンサへの光路から退避させる。以上のような可動全反射ミラーが１０６、可動減光フィルタ１０８、赤外光カットフィルタ１１０および可視光カットフィルタ１１２の駆動は、カメラ制御部１１６によって制御されるミラー／フィルタ駆動部１１４によって行われる。
【００５２】
図６は、図５の第２実施例におけるカメラ制御部１１６の動作のフローチャートである。第１実施例と同様にして操作部１５によってカメラのメインスイッチがオンになるとフローがスタートし、ステップＳ４２においてオートフォーカスデジタル一眼レフカメラが操作部１５によって再生モードに設定されているかどうかチェックする。再生モード設定が検出されなければ撮影モードなのでステップＳ４４に進み、光学ファインダ光路に設定する指示を行う。具体的には、可動全反射ミラー１０６がアイピース14への光路中から退避するようミラー／フィルタ駆動部１１４に指示する。ステップＳ４４ではさらに、可動減光フィルタ１０８をライブビューセンサ１０２への光路中に挿入して入射光量を減光する指示をミラー／フィルタ駆動部１１４に行とともに、図２における可動半透ミラー６６をＣＩＧＳＡＦセンサ７０への光路内に設定して入射光量を減光する指示をミラー／フィルタ駆動部７８に行う。
【００５３】
次いでステップＳ４６に進み、操作部１５によって「ライブピューモード」が設定されているかどうかチェックする。該当すればステップＳ４８に進み、ライブビューへの光路切り替えの指示が行われる。具体的には、可動全反射ミラー１０６をアイピース14への光路中に進出させるようミラー／フィルタ駆動部１１４に指示してステップＳ５０に移行する。この指示が実行されると、ファインダ像をアイピース１４から光学的に観察することはできなくなり、代わりにライブビューセンサ１０２の出力に基づく表示部３２でのライブビューが可能となる。ステップＳ４８ではさらに、ライブビュー用の赤外光カットフィルタ１１０をライブビューセンサ１０２への光路に設定する指示をミラー／フィルタ駆動部１１４に行う。なお、ミラー／フィルタ駆動部１１４についても、第１実施例で説明したのと同様の、指示に対する駆動実行への遅延時間が設けられている。一方、ステップＳ４６で「ライブビューモード」への設定が検知されない場合は、直接ステップＳ５０に移行する。
【００５４】
ステップＳ５０では、ＡＦ用の赤外光カットフィルタ６８をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に行う。そして、ステップＳ５２に進み、ＣＩＧＳＡＦセンサ７０の出力に基づき、減光を解除すべきレベルまで被写体が暗いかどうかのチェックを行う。該当すればステップＳ５４に進み、操作部１５によって「ライブピューモード」が設定されているかどうかチェックする。該当すればステップＳ５６に進み、可動減光フィルタ１０８をライブビューセンサ１０２への光路から退避させる減光解除の指示を行ってステップＳ５８に移行する。一方、ステップＳ５４で「ライブビューモード」の設定が検知されなければ直接ステップＳ５８に移行する。そして、ステップＳ５８では、可動半透ミラー６６をＣＩＧＳＡＦセンサ７０への光路から退避させてＡＦ用の減光を解除する指示を行う。このように、ステップＳ５２で被写体が暗いことが検知された場合は、「ライブビューモード」の設定如何にかかわらずＡＦ用の減光を解除する。
【００５５】
次いで、ステップＳ６０では、撮像部２０による撮像が光量不足となるほど暗いかどうかのチェックを行う。そして該当すればステップＳ６２に進み、操作部１５の操作によって長波長モードが選択されているかどうかチェックする。そして該当すればステップＳ６４に進み、赤外光フィルタ１１０に替えてライブビュー用の可視光カットフィルタ１１２をライブビューセンサ１０２への光路に設定する指示をミラー／フィルタ駆動部１１４に対して行う。さらに、ステップＳ６６で、赤外光カットフィルタ６８に替えてＡＦ用の可視光カットフィルタ７６をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に対して行う。
【００５６】
以上のステップを経て、フローはステップＳ６８に進む。一方、ステップＳ５２で減光を解除すべきレベルまで被写体が暗いことが検知されなかった場合、ステップＳ６０で撮像部２０による撮像が光量不足となるほど被写体が暗いことが検知されなかった場合、およびステップＳ６２で長波長モードへの選択が検知されなかった場合は、いずれも直接ステップＳ６８に移行する。
【００５７】
ステップＳ６８では、操作部１５のシャッタレリーズボタンによるレリーズ操作が行われたかどうかチェックする。レリーズ操作が検知できなければステップＳ７０に進み、操作部１５によってカメラのメインスイッチをオフする操作が行われたかどうかチェックする。そしてカメラオフ操作が検出されなければフローはステップＳ４２に戻り、以下、ステップＳ４２で再生モード操作が検出されるかステップＳ６８でレリーズ操作が検出されない限り、ステップＳ４２からステップＳ７０を繰り返す。
【００５８】
第1実施例と同様にして、上記の繰返しは充分高速で行われ、上記したミラー／フィルタ駆動部７８、１１４に設けられる遅延時間内に何度も繰り返される。従って、ステップＳ４６、ステップＳ５２、ステップＳ５４、ステップＳ６０およびステップＳ６２に基づく検知結果が変化するとミラー／フィルタ駆動部７８、１１４の遅延時間内にこの変化基づく同一の指示が繰返し行われ、ミラー／フィルタ駆動部７８、１１４による適切な指示の実行が行われる。これによって、被写体の明るさの変化に基づく減光の設定／解除と波長域カットフィルタの切り替え、およびモード切り替えに基づく波長域カットフィルタの切り替えがスムーズに実行される。
【００５９】
なお、第１実施例と同様にして、ステップＳ４２で操作部１５による再生モード設定操作が検出された時はステップＳ７２の再生モード処理に移行する。そして、再生モード処理内部の機能によって撮影モードが選択されたときには、フローはステップＳ４４に戻る。また、再生モード処理内部の機能によってカメラオフ操作が検出されたときにはフローを終了する。
【００６０】
また、ステップＳ６８で操作部１５のシャッタレリーズボタンによるレリーズ定操作が検出された時はステップＳ７４の撮像記録処理に移行する。そして、撮像記録および表示部での撮像結果表示が終わると、フローは自動的にステップＳ４２に戻る。なお、ステップＳ７０でカメラオフ操作が検出されたとき、図６のフローは終了となる。
【００６１】
上記における本発明の種々の特徴は、実施例に限らず、広く活用できるものである。例えば、第１実施例においては、可視光カットフィルタ６０により長波長域に感度を有するＣＩＧＳ撮像センサ５４と赤外光カットフィルタ６８により可視光に感度域を有するＣＩＧＳＡＦセンサの出力とを組合せて「複合ＡＦ機能」は実施するものとして説明した。しかしながら、「複合ＡＦ機能」の実施はこのようなものに限るものではない。例えば、図２における波長選択性のない可動半透ミラー６６をダイクロイックミラーで構成し、可視光透過させてＣＩＧＳＡＦセンサ７０上に導くとともに、長波長域を反射させてＡＦ対応部分測光センサ７２に導くようにする。そして、ＡＦ対応部分測光センサ７２にも、ＣＩＧＳセンサを用いるようにする。なお、この場合、赤外光カットフィルタ６８は不要となる。
【００６２】
以上のように構成すれば、長波長域に感度を有するＡＦ対応部分測光センサ７２によりＡＦ対応部分のうちのどこに人物が存在するかの推定が可能となり、その部分に対してＣＩＧＳＡＦセンサ７０による焦点検出を行うことが可能となる。
【００６３】
さらに「複合ＡＦ機能」の実施は以上のように二つのＣＩＧＳセンサを用いるものに限るものではない。例えば図２において、可視光カットフィルタ７６がＣＩＧＳＡＦセンサの光路中に挿入された状態においてＣＩＧＳＡＦセンサ自体でＡＦ対応部分のうちのどこに人物が存在するかの推定を行うとともに、赤外光カットフィルタ１８が光路中に挿入された状態においてその部分に対してＣＩＧＳＡＦセンサ７０による焦点検出を行うことも可能である。このように広い感度領域を有する一つのＣＩＧＳを時分割で異なる感度領域にて使い分け、それらの出力を組合せることによって「複合ＡＦ機能」を実現することも可能である。
【００６４】
また、以上の実施例では、減光のために可動半透ミラーまたはフィルタを光路中に出し入れするものとして説明したが、入射光量の調節はこのような二段階のものに限るものではない。例えば、透過率が段階的に異なる複数の減光フィルタを用意し、これらの一つを光路に挿入することにより、減光の度合いをきめ細かく段階的に変化させるよう構成してもよい、また、透過率が連続的に変化する減光手段を用い、減光の度合いを連続的に変化させるよう構成してもよい。
【００６５】
上記の実施例においては、可視光域および赤外光域において６０％以上の量子効率を有する高感度および広帯域の分光感度特性をもつセンサとしてＣＩＧＳセンサを用いている。ＣＩＧＳセンサは銅、インジウム、ガリウムおよびセレンよりなる多結晶のＣＩＧＳ系薄膜を用いた光電センサであるが、その組成制御によりバンドギャップを変化させることで吸収波長域を制御することができる。このうちガリウムの含有率をゼロとしたものは「ＣＩＳ系薄膜」とも称されるが、本明細書で「ＣＩＧＳセンサ」という場合は、このようなガリウムを含まない「ＣＩＳ系薄膜」を用いた光電センサをも意味するものとする。
【００６６】
図７は、図２の第1実施例におけるライブビューセンサ４０または図５の第２実施例におけるライブビューセンサ１０２に用いられるＣＩＧＳ撮像センサのカラーフィルタ配列の第1例である。この第1例においては、赤外光透過フィルタＲ１１、青透過フィルタＢ１２、緑透過フィルタＧ２２および赤透過フィルタＲ２１が図示のように配列され、これを一つの単位として繰り返す配列となっている。本発明のＣＩＧＳ撮像センサは、図３のように可視光域から赤外光にわたる広い分光感度域をもつため、このように一つのセンサに可視光および赤外光のカラーフィルタを設けることができる。なお、図７の配列は、原色カラーフィルタに赤外光透過フィルタを加えたものであり、原色カラーフィルタにおいて代表的なベイヤー配列と異なり緑の受光面積が青および青と同じになっているが、この点については後の回路処理で補正することができる。
【００６７】
ここで、赤外光透過フィルタが配置されていない画素に関する赤外光画像の補間について説明する。まず、青透過フィルタＢ１２に対応する画素については、基本的にはその両側にある赤外光透過フィルタＩＲ１１に対応する画素のデータと赤外光透過フィルタＩＲ１３に対応する画素のデータの平均値によって補間が行われる。他の青透過フィルに対応する画素における赤外光画像の補間も同様である。一方、赤透過フィルタＲ２１に対応する画素については、同様にその上下にある赤外光透過フィルタＩＲ１１に対応する画素のデータと赤外光透過フィルタＩＲ３１に対応する画素のデータの平均値によって補間される。他の赤透過フィルタに対応する画素における赤外光画像の補間も同様である。また、緑透過フィルタＧ２２に対応する画素については、その周囲にある赤外光透過フィルタＩＲ１１に対応する画素のデータ、赤外光透過フィルタＩＲ１３に対応する画素のデータ、赤外光透過フィルタＩＲ３３に対応する画素のデータおよび赤外光透過フィルタＩＲ３１に対応する画素のデータの平均値によって補間される。他の緑透過フィルタに対応する画素における赤外光画像の補間も同様である。
【００６８】
なお、上記のような単純な補間では、実際の被写体とは異なる赤外光画像が得られる可能性がある。これを防止するには、単に近傍の赤外光透過フィルタに対応するデータのみに基づいて赤外光画像の補間を行うのではなく、補間しようとしている画素に影響している可視光のデータも加味して補間を行うのが有効である。例えば、赤透過フィルタＲ２１に対応する画素の赤外光画像の補間において、赤透過フィルタＲ２１に対応する画素が実際に受けている赤色光のデータも加味する。このような可視光データの加味の有無および加味する場合の度合いについては、可視光データと赤外光データとの相互関係または周囲の画素の他の可視光データとの相互関係に基づいて決定する。
【００６９】
図８は、図２の第1実施例におけるライブビューセンサ４０または図５の第２実施例におけるライブビューセンサ１０２に用いられるＣＩＧＳ撮像センサのフィルタ配列の第２例である。この第２例にでは、カラーフィルタ配列自体は図７の第１例と共通であるが、各カラーフィルタの受光面積が異なっている。つまり、赤外光透過フィルタＩＲ１１および緑透過フィルタＧ２２については、画素に許される最大の受光面積を確保しているが、青透過フィルタＢ１２は遮光部２０２を設けることにより、受光面積が緑透過フィルタＧ２２の約半分になっている。同様に赤透過フィルタＲ２１についても、遮光部２０４を設けることにより、受光面積が緑透過フィルタＧ２２の約半分になっている。これは、人間の目の赤および青に対する視感度が緑に対する視感度の約半分であることに対応している。
【００７０】
本発明のＣＩＧＳ撮像センサは、図３のように可視光域において高感度を有するため、上記のように青透過フィルタＢ１２と赤透過フィルタＲ２１の受光面積を減らしても充分対応できる。また、遮光部によって画素毎の受光面積自体を変えるので、ベイヤー配列のように画素数の割合によって人間の視感度への近似を行うのに比べてよりきめ細かな調節を行うことができ、必要に応じ、青透過フィルタＢ１２と赤透過フィルタＲ２１の受光面積比を変えることも可能である。
【００７１】
図９は、図８のフィルタ配列の第２例を採用したＣＩＧＳセンサの模式断面図である。図９（Ａ）に示すように、本発明のＣＩＧＳ撮像センサはＬＳＩ４００の上にＣＩＧＳ系薄膜４０２を積層した構造となっており、1画素分の開口率が非常に大きい。そしてこの上にカラーフィルタ４０４が乗せられている。この図９（Ａ）の模式断面図における基本構造自体は、フィルタ配列の第２例に限られるものでなく、本発明のＣＩＧＳセンサに共通である。
【００７２】
図９（Ｂ）は、図９（Ａ）の部分４０６を拡大した模式断面図であり、図８のフィルタ配列の第２例の断面を概念的に示している。なお、図８および図９（Ａ）では対応する部分には同じ番号を付す。図９（Ｂ）に明らかなように、ＣＩＧＳ系薄膜４０２はそれぞれ画素をなすフォトダイオード４０８、４１０等に区分されており、フォトダイオード４０８の上には、赤外光透過フィルタＩＲ１１が載せられている。そして、フォトダイオード４１０の上には、受光面積を減らすための遮光部２０２および青透過フィルタＢ１２が載せられている。
【００７３】
図１０は、図２の第1実施例におけるライブビューセンサ４０または図５の第２実施例におけるライブビューセンサ１０２に用いられるＣＩＧＳ撮像センサのフィルタ配列の第３例である。この例は、ベイヤー配列における緑透過フィルタの全数の４分の１を規則的に赤外光透過フィルタＩＲ１１、ＩＲ３３、ＩＲ５１等に置き換えたものである。残りの４分の３は、ベイヤー配列と同様に緑透過フィルタＧ１３、Ｇ２２，Ｇ３１、Ｇ４２、Ｇ４４、Ｇ３５、Ｇ２４等となっている。
【００７４】
この結果、緑透過フィルタＧ１３等の全数の割合は、赤透過フィルタＲ２３や、青透過フィルタＢ３２の全数の割合の１．５倍となっている。これによって、ベイヤー配列と同様にして緑透過フィルタに対応する画素の数を増やすことにより、緑透過フィルタの受光面積を増やして人間の目の視感度への近似を図っている。なお、図１０のフィルタ配列においても、図８のフィルタ配列の考え方を加味し、赤透過フィルタＲ２３等と青透過フィルタＢ３２等に遮光部を設けてこれらの受光面積を減じることにより視感度への近似のための受光面積の調整を行うことも可能である。
【００７５】
一方、赤外光透過フィルタＩＲ１１等は上記のように配列したので、配置は疎らであるとともにその全数の割合も、赤透過フィルタＲ２３や、青透過フィルタＢ３２の全数の割合の半分となっている。本発明のＣＩＧＳ撮像センサは、図３のように赤外光域において高感度を有するため、画素全数の割合が少なくても充分対応できるとともに、赤外光は波長が長いので画素配置を可視光に比べて疎らにしても対応可能である。
【００７６】
次に、図１０のフィルタ配列における赤外光透過フィルタが配置されていない画素に関する赤外光画像の補間について説明する。まず、緑透過フィルタＧ３５に対応する画素については、その二つ上方にある赤外光透過フィルタＩＲ１５に対応する画素のデータ、二つ左方にある赤外光透過フィルタＩＲ３３に対応する画素のデータ、二つ下方にある赤外光透過フィルタＩＲ５５に対応する画素のデータおよび二つ右方にある赤外光透過フィルタＩＲ３７に対応する画素のデータの平均値によって補間が行われる。また、緑透過フィルタＧ２４に対応する画素については、その右上方にある赤外光透過フィルタＩＲ１５に対応する画素のデータと左下方にある赤外光透過フィルタＩＲ３３に対応する画素のデータの平均値によって補間が行われる。さらに緑透過フィルタＧ２６に対応する画素については、その左上方にある赤外光透過フィルタＩＲ１５に対応する画素のデータと右下方にある赤外光透過フィルタＩＲ３７に対応する画素のデータの平均値によって補間が行われる。
【００７７】
そして、赤透過フィルタＲ２５に対応する画素について、上記のように補間して求めた緑透過フィルタＧ３５、Ｇ２４、Ｇ２６にそれぞれ対応する画像の赤外光画像データと赤外光透過フィルタＩＲ１５に対応する画素のデータの平均値によって補間する。これを整理すると、次のようにＩＲ１５、ＩＲ３３、ＩＲ５５およびＩＲ３７に対応する赤外光画像データの重み付け平均となる。
｛（ＩＲ１５＋ＩＲ３３＋ＩＲ５５＋ＩＲ３７）／４＋（ＩＲ１５＋ＩＲ３３）／２
＋（ＩＲ１５＋ＩＲ３７）／２＋ＩＲ１５｝／４
＝（９ＩＲ１５＋３ＩＲ３３＋ＩＲ５５＋３ＩＲ３７）／１６
以下同様にして各可視光フィルタに対応する画素の赤外光画像データを補完していく。
【００７８】
緑透過フィルタが配置されていない画素に関する緑画像の補間については、まず、赤外光透過フィルタＩＲ３３に対応する画像をその周囲の緑透過フィルタＧ２２、Ｇ４２、Ｇ４４、Ｇ２４に対応する画素の平均をとって補間する。そして、上記のように補間して求めた赤外光透過フィルタＩＲ３３に対応する画像の緑画像データと、緑透過フィルタＧ２２、Ｇ３１およびＧ４２の緑画像データの平均をとって、これらの中心にある赤透過フィルタＢ３２に対応する画像も緑画像データを補間する。これを整理すると、次のようにＧ２２、Ｇ３１、Ｇ４２、Ｇ４４およびＧ２４の重み付け平均となる。
｛（Ｇ２２＋Ｇ４２＋Ｇ４４＋Ｇ２４）／４＋Ｇ２２＋Ｇ３１＋Ｇ４２｝／４
＝（５Ｇ２２＋４Ｇ３１＋５Ｇ４２＋Ｇ４４＋Ｇ２４）／１６
以下同様にして赤外光透過フィルタ、赤透過フィルタおおび青透過フィルタに対応する画素の緑画像データを補完していく。なお、赤画像および青画像の補間については、図７と同様である。
【００７９】
なお、上記の赤透過フィルタのように配置が疎らな場合に補間を繰り返す場合、または、上記の緑透過フィルタのように配置が非対称なデータを用いて補間を行う場合には、上記のように補間で作ったデータを用いてさらに補間を行うことになり、実際とは異なる画像が得られてしまう可能性もある。このような場合においても、上記のような赤外光透過フィルタに対応する画素のデータのみによる補間、または、緑透過フィルタに対応する画像のデータのみによる補間に加え、図７で述べたように、補間しようとしている画素に影響している他の色のデータも加味して補間を行うのが有効である。
【００８０】
図１１は、第２実施例においてライブビューセンサ１０２の画像を画像記憶部２６に記録する際のカメラ制御部１１６の動作を示すフローチャートである。操作部１５によってこの機能を選択する操作を行うとことによってフローがスタートすると、まずステップＳ８２で可動全反射ミラーを１０６ａの位置に下げ、ペンタプリズム１０４からの光を全てライブビューセンサ１０２の方向に反射するよう光路切り替えを指示する。そしてステップＳ８４においてミラー８を観察位置に固定し、レリーズを行っても撮影位置にアップしないようにする。さらにステップＳ８６で表示部３２による表示を行わせる。
【００８１】
次いでステップＳ８８で赤外光モードが選択されているかどうかチェックし、該当すればステップＳ９０に進み、ＡＦ用の可視光カットフィルタ７６をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に対して行う。さらに、ステップＳ９２で、ライブビュー用の可視光カットフィルタ１１２をライブビューセンサ１０２への光路に設定する指示をミラー／フィルタ駆動部１１４に対して行い、ステップＳ９４に移行する。
【００８２】
一方、ステップＳ８８で、赤外光モードが選択されていないことが検知されるとステップＳ９６に進み、ＡＦ用の赤外光カットフィルタ６８をＣＩＧＳＡＦセンサ７０への光路に設定する指示をミラー／フィルタ駆動部７８に対して行う。そしてステップＳ９８に進み、「画像融合モード」が選択されているかどうかチェックする。同一の被写体についての赤外光画像と可視光画像を融合処理することによって植物の埴生分析や病害虫被害の検出を行うことは知られているが、「画像融合モード」は、ほぼ同時に同一被写体に対して赤外光画像と可視光画像を取得することを可能にするもので、動きのある被写体についても互いにずれのない赤外光画像と可視光画像を得ることができる。
【００８３】
ステップＳ９８で画像融合モードへの設定が検出ない場合は、可視光モードが選択されていることを意味するからステップＳ１００に進み、ライブビュー用の赤外光カットフィルタ１１０をライブビューセンサ１０２への光路に設定する指示をミラー／フィルタ駆動部１１４に対して行い、ステップＳ９４に移行する。
【００８４】
これに対し、ステップＳ９８で画像融合モードへの設定が検出されると、ステップＳ１０２に進み、ライブビューセンサ１０２への光路から赤外光カットフィルタ１１０および可視光カットフィルタ１１２を両者とも除去する指示をミラー／フィルタ駆動部１１４に対して行う。これは、ライブビューセンサ１０２によって赤外光画像と可視光画像の両者をほぼ同時に取得するためである。
【００８５】
次いでステップＳ１０４で表示部３２によるライブビュー表示を禁止する指示を出してステップＳ９４に移行する。これは交換レンズ４による可視光と赤外光の結像位置が異なるので赤外光画像と可視光画像をそのまま表示部３２に表示するとピントがあった像と合わない像が重なり、見づらい表示になるからである。なお、ステップＳ１０４においては、表示部３２による表示を全面的に禁止する代わりに、赤外光画像と可視光画像のうちピントの合っている方（通常は可視光像）の画素情報のみを抽出して表示する指示を行ってもよい。この場合、フィルタを外しているので、これらの画素にもピントの合っていない画像情報の光が入射入しているが、ピントの合っている画像情報の光の強度が優勢なので表示は可能である。また上記のような表示の全面禁止かまたはピントの合っていない画像用の画素情報のみの表示禁止かを予め選択可能としておき、ステップＳ１０４で選択された方の指示を出すようにしてもよい。
【００８６】
ステップＳ９４では、レリーズ操作が行われたかどうかをチェックする。そしてレリーズ操作がなければステップＳ８６に戻り、以下、レリーズ操作が検出されるまでステップＳ８６からステップＳ１０４を繰り返す。これによって、操作部１５によるモード切り替えに対応する。なお、図４で述べたように、「指示」の機械的実行には遅延期間が設けられているので、図１１においても、実際にモード切り替えが行われない限り、ステップＳ８６からステップＳ１０４の繰返しの中でフィルタの駆動が生じるわけではない。これは、ステップＳ８６およびステップＳ１０４による表示部３２の表示と禁止の切り替えについても同様である。
【００８７】
ステップＳ９４では、レリーズ操作が検出されるとステップＳ１０６に進み、レンズ光学系６のＡＦ駆動が行われ、これによってピンとが合うとステップＳ１０８のライブビュー記録処理を行う。このＡＦ駆動は赤外光画像に対するものである場合と可視光画像に対するものである場合がある。次いでステップＳ１１０で画像融合モードが設定されているかどうかを検出し、該当しなければ直ちにフローを終了する。
【００８８】
一方、ステップＳ１１０で画像融合モードの設定が検出されるとステップＳ１１２に進み、ＡＦ制御部３６によってレンズ光学系６を赤外光補正駆動する。換言すると、画像融合モードが設定されている場合、ステップＳ１０６におけるＡＦ駆動およびステップＳ１０８におけるライブビュー記録処理は可視光像に対するものであるが、ステップＳ１１２では、可視光についてのピント位置から赤外光についてのピント位置までの所定の補正駆動をＡＦ駆動部３８によってレンズ光学系６に行わせるものである。この赤外光補正駆動は極めて短時間に行われ、直ちにステップＳ１１４のライブビュー赤外光記録処理に入る。そして処理が完了するとフローを終了する。以上のような機能の詳細は後述するが、基本的には画像融合モードにおいては、ステップＳ１０８にて可視光画像の記録を行い、引き続いてほぼ同時にステップＳ１１４において赤外光画像の記録を行うものである。
【００８９】
図１２は、図１１のステップＳ１０８におけるライブビュー記録処理およびステップＳ１１４におけるライブビュー赤外光記録処理の詳細を示すフローチャートであり、いずれにも共通して利用できるものである。フローがスタートするとステップＳ１２２で赤外光撮影モードに設定されているかどうかのチェックが行われる。そして該当しなければステップＳ１２４に進み、ＲＧＢの画素のデータを読み出すことにより可視光画像の画素情報を得る。そしてステップＳ１２６でＲＧＢの補間処理を行う。次いで、ステップＳ１２８では、画像融合モードに設定されているかどうかのチェックを行い、該当しなければステップＳ１３０に進んでＲＧＢの可視光カラー画像について画像処理を行う。そしてステップＳ１３２に進み、その画像を画像記録部２６に記録してフローを終了する。
【００９０】
一方、ステップＳ１２２で赤外光モードへの設定が検出されるとステップＳ１３４に進み、ＩＲの画素のデータを読み出すことにより赤外光画像の画素情報を得る。そしてステップＳ１３６でＩＲの補間処理を行う。次いで、ステップＳ１３８では、画像融合モードに設定されているかどうかのチェックを行うが、この場合は赤外光モードであって該当しないのでステップＳ１４０に進み、赤外光画像について画像処理を行う。そしてステップＳ１３２に進み、その画像を画像記録部２６に記録してフローを終了する。
【００９１】
さらにステップＳ１２８で画像融合モードへの設定が検出された場合、ステップＳ１３４に進んでＩＲの画素のデータを読み出すことにより赤外光画像の画素情報を得る。そしてステップＳ１３６でＩＲの補間処理を行う。これらによって、ステップＳ１２４、１２６による可視光画像情報に加えて赤外光画像情報も得ることができる。次いで、ステップＳ１３８で、画像融合モードに設定されているかどうかのチェックを行うが、この場合は画像融合モードなのでステップＳ１４２に進み、ステップＳ１３４およびステップＳ１３６の処理によって得られた赤外光画像が赤外光補正駆動後のものであるかどうかのチェックを行う。
【００９２】
ここで、ステップＳ１４２に該当するか否かがどのような意味を持つかについて補足する。まず、ステップＳ１４２に該当しない場合は、図１２のフローが図１１のステップＳ１０８で実行されている場合に相当する。そしてステップＳ１２４およびステップＳ１２６で得られる可視光画像は図１１のステップＳ１０６における可視光に対するＡＦ駆動によりピントが合ったものであり、ステップＳ１３４およびステップＳ１３６で得られる赤外光画像はピントがずれたものとなっている。一方、ステップＳ１４２に該当する場合は、図１２のフローが図１１のステップＳ１１４で実行されている場合に相当する。そしてステップＳ１３４およびステップＳ１３６で得られる赤外光画像は図１１のステップＳ１１２における赤外光補正駆動によりピントが合ったものであり、ステップＳ１２４およびステップＳ１２６で得られる可視光画像はピントがずれたものとなっている。
【００９３】
そこで、得られた画像が赤外光補正駆動後の画像に該当しないとステップＳ１４２で判断された場合はステップＳ１４４に進み、ピントの合っているＲＧＢの可視光画像について画像処理をおこなう。次いでステップＳ１４６においてピントの合っていない赤外光画像について補助的に画像処理を行う。そしてステップＳ１４８において、可視光画像を赤外光画像情報で補正した画像を作成する。この画像は基本的には可視光画像であるが、ピントがずれてデフォーカス状態にある赤外光画像の情報を加味することにより、ローパスフィルタ効果等で可視光画像の画質を改善するものである。以上の処理を経てステップＳ１３２に進み、ステップＳ１４４、ステップＳ１４６およびステップＳ１４８で得られたそれぞれの画像を記録してフローを終了する。
【００９４】
一方、得られた画像が赤外光補正駆動後の画像に該当するとステップＳ１４２で判断された場合はステップＳ１５０に進み、ピントの合っている赤外光画像について画像処理をおこなう。次いでステップＳ１５２においてピントの合っていないＲＧＢの可視光画像について補助的に画像処理を行う。そしてステップＳ１５６において、赤外光画像を可視光画像情報で補正した画像を作成する。この画像は基本的には赤外光画像であるが、ピントがずれてデフォーカス状態にある可視光画像の情報を加味することにより、ローパスフィルタ効果等で赤外光画像の画質を改善するものである。
【００９５】
さらに、ステップＳ１５６では、図１１のステップＳ１０８で記録された赤外光補正駆動前画像を読み出す。これによって、ピントの合った赤外光画像、ピントの合った可視光画像、ピントの外れた赤外光画像、ピントの外れた可視光画像、補正赤外光画像および補正可視光画像が揃うことになり、次のステップＳ１５８でこれらの画像に基づく画像融合処理が行われる。
【００９６】
ステップＳ１５８の画像融合処理の内容は基本的にはピントの合った赤外光画像とピントの合った可視光画像の融合であり、これによって一方のみでは判断できない画像診断が可能となる。また、これに代えて、補正赤外光画像および補正可視光画像の融合による画像診断も可能である。さらに、ピントの合った可視光画像と、ピントの外れた可視光画像の融合により、核の締まったソフトフォーカス可視光画像を得ることもできる。同様に、ピントの合った赤外光画像と、ピントの外れた赤外光画像によりソフトフォーカス赤外光画像を得ることもできる。さらに、ピントの合った可視光画像を、ピントの合った赤外光画像で補正することにより、赤外光カットフィルタをかけて得た可視光画像に準じた画像を得ることもできる。その逆に、ピントの合った赤外光画像をピントの合った可視光画像で補正することにより、可視光カットフィルタをかけて得た赤外光画像に準じた画像を得ることもできる。これらの処理のどれを選ぶかは操作部１５により設定できるが、被写体に応じ自動的に選択することも可能である。
【００９７】
以上のようなステップＳ１５８の処理が終了すると、ステップＳ１３２に至り、処理により得られた画像が記録されてフローを終了する。なお、ステップＳ１３２において記録する画像は、ステップＳ１５８で処理した全ての画像であってもよく、またはステップＳ１５８の処理の中で選択されて最終的に必要と判断された画像であってもよい。この選択についても、操作部１５により設定できるが、処理結果に応じてステップＳ１５８の中で自動的に選択するよう構成することも可能である。
【００９８】
上記の図１１および図１２の画像記録機能に関するフローチャートの適用対象は、第２実施例におけるような一眼レフカメラのライブビューセンサ１０２の画像記録に限るものではなく、例えば、ＣＩＧＳセンサへの画像記録専用に構成した可視光／赤外光画像記録カメラにも適用可能である。このような可視光／赤外光画像記録カメラは、例えば図５において焦点板１０、ペンタプリズム１０４およびアイピース１４などの光学ファインダ系を除去するとともに、撮像部２０に代えてその位置にＣＩＧＳ撮像センサを配置することによって構成可能である。その際、レンズ光学系６からＣＩＧＳ撮像センサに向かって直進する光路中に出し入れできるよう赤外光カットフィルタ１１０および可視光カットフィルタ１１２を設ける。また、可動ミラー８に代え、入射光の大半が透過成分として直進するとともに反射光が下方の測光兼用ＡＦセンサ３４に向かう固定のハーフミラーを設ける。
【実施例３】
【００９９】
図１３は、本発明の第３実施例のブロック図であり、内視鏡システムを構成している。内視鏡システムは体内に飲み込まれて消化器内部を撮影し画像データを体外に送信するカプセル内視鏡５０２と、送信されて画像データを体外で受信してモニタする体外モニタ５０４を有する。カプセル内視鏡５０２は、透明な保護窓５０６を有する密閉構造になっており、保護窓５０６を通り撮像レンズ５０８によって結像される消化器内部の画像がＣＩＧＳ撮像センサ５１０で撮像される。ＣＩＧＳ画像センサ５１０は、図３で説明したとおりの分光感度を持ち、高感度で可視光域の撮像が可能であるともに赤外光においても高感度での撮像が可能なものである。撮像レンズ５０８は、レンズ駆動部５１２によってその画角およびピント位置が調節可能である。
【０１００】
第３実施例のＣＩＧＳセンサ５１０は、図７から図１０に示したようなカラーフィルタを持っておらず、全ての画素に可視光域から赤外光域にわたる広範囲の光が入射しうる。つまり、第３実施例での撮像における光の分解は、受光側でのカラーフィルタによるのではなく、光源側での光の切換えによって行うようにしている。具体的には、光源として赤、緑、青および赤外の発光ダイオード（以下適宜「ＬＥＤ」と称する）が用いられ、これらが時分割で順次発光することにより各発光タイミングにおけるＣＩＧＳセンサ５１０撮像出力が、各色での画像データとなる。
【０１０１】
ＬＥＤは撮像レンズ５０８の光軸まわりに同心的に多数設けられているが、図１３では、簡単のため、例として緑ＬＥＤ５１４および赤外ＬＥＤ５１６をそれぞれ一つ図示している。例えば緑ＬＥＤ５１４が発光しているときのＣＩＧＳ撮像センサ５１０の撮像出力が緑画像データとなるとともに、赤外ＬＥＤ５１６が発光しているときのＣＩＧＳ撮像センサ５１０の撮像出力が赤外画像データとなる。なお、可視光と赤外光では結像位置にズレがあるので必要に応じレンズ駆動部５１２が結像位置を調節する。第３実施例は内視鏡であり、撮影対象である体内は充分暗いのでこのように光源光の時分割による光の分解が可能となる。光源、撮像、および撮像レンズ等の関係については後に詳述する。
【０１０２】
ＬＥＤドライバ５１８は、内視鏡制御部５２０の指示に基づいてＬＥＤ５１４、５１６の点灯タイミングを制御する。内視鏡制御部５２０はカプセル内視鏡５０２全体を制御するもので、その機能は記憶部５２２に記憶されたプログラムに従う。記憶部５２２は、さらに内視鏡制御部５２０の機能に必要なデータ等を必要に応じ一時的に記憶する。
【０１０３】
センサドライバ５２４は内視鏡制御部５２０の指示に基づいてＣＩＧＳ撮像センサ５１０を制御するとともにＣＩＧＳ撮像センサからの各色別画像ＲＡＷデータを画像バッファ５２６に格納する。画像バッファ５２６は所定撮像回数分の各色別画像ＲＡＷデータを格納可能であり、無線通信部５２８は画像バッファ５２６の各色別画像ＲＡＷデータをＦＩＦＯで取り出してアンテナ５３０から体外に送信する。電池５３２はボタン電池などで構成され、カプセル内視鏡５０２全体に電力を供給する。
【０１０４】
体外モニタ５０４は、無線通信部５３４を有し、カプセル内視鏡５０２から送信された各色別画像ＲＡＷデータをアンテナ５３６で受信して画像バッファ５３８に格納する。これらの機能はモニタ制御部５４０によって制御される。モニタ制御部５４０は記憶部５４２に記憶されたプログラムに従って体外モニタ５０４全体を制御する。記憶部５４２は、さらにモニタ制御部５４０の機能に必要なデータ等を必要に応じ一時的に記憶する。
【０１０５】
画像処理部５４４は、モニタ制御部５４０の指示に基づき画像バッファ５４８に格納されている各色別ＲＡＷデータを画像信号に画像処理するとともに、赤画像信号、緑画像信号および青画像信号からカラー画像信号を作成しレコーダ５４６に記憶する。また、赤外画像信号についてもこれをレコーダ５４６に記録する。記録されたデータは適宜表示部５４８でモニタすることができる。また、画像処理部からのカラー画像信号または赤外画像信号はリアルタイムで表示部５４８により直接モニタすることもできる。
【０１０６】
図１４は、第３実施例のカプセル内視鏡５０２に採用可能なＬＥＤの配置の第１の例を示す正面図である。図１３と対応する部分には同一番号を付す。図１４から明らかなように、透明の保護窓５０６の内側の撮像レンズ５０８の周囲には緑ＬＥＤ５１４が互いに９０度ずつ隔てた回転対象に４個設けられている。これらを結んだ線５５０は正方形である。また、緑ＬＥＤ５１４から４５度回転した正方形５５２の頂点部分には、赤外ＬＥＤ５１６が互いに９０度ずつ隔てた回転対象に４個設けられている。さらに、縦長長方形５５４の頂点部分には赤ＬＥＤ５５６が４個設けられているとともに、横長長方形５５８の頂点部分には青ＬＥＤ５６０が４個設けられている。この結果、赤、緑および青の各ＬＥＤは図１４図で見て垂直方向および水平方向のいずれにも線対称の配置となり、各色について垂直方向と水平方向のいずれにも照明の対称性が保たれる。
【０１０７】
図１５は、第３実施例のカプセル内視鏡５０２に採用可能なＬＥＤの配置の第２の例を示す正面図である。図１５においても、図１３と対応する部分には同一番号を付す。図１５における緑ＬＥＤ５１４および赤外ＬＥＤ５１６の配置は、図１４と共通である。これに対し、赤ＬＥＤ５６２は、緑ＬＥＤ５１４から左に２２．５度回転した正方形５６４の頂点部分に互いに９０度ずつ隔てた回転対象に４個設けられている。また、青ダイオード５６６は、緑ＬＥＤ５１４から右に２２．５度回転した正方形５６８の頂点部分に互いに９０度ずつ隔てた回転対象に４個設けられている。この結果、赤、緑および青の各ＬＥＤは図１４図で見てそれぞれ上下左右の四方向にそれぞれ密集して配置されることになり、各色のＬＥＤがずれて配置されていることによる照明影色ムラが軽減される。さらに、各色とも正方形の頂点部分に配されているので撮像レンズ５０８の光軸まわりに互いに回転対象の配置となる。
【０１０８】
図１６は、第３実施例のカプセル内視鏡５０２に採用可能なＬＥＤの配置の第３の例を示す正面図である。図１６においても、図１３と対応する部分には同一番号を付す。図１６における緑ＬＥＤ５１４および赤外ＬＥＤ５１６の配置は、図１４と共通である。これに対し、左に４５度傾いた縦長長方形５７０の頂点部分には赤ＬＥＤ５７２が４個設けられているとともに、右に４５度傾いた縦長長方形５７４の頂点部分には青ＬＥＤ５７６が４個設けられている。この結果、赤、緑および青の各ＬＥＤは図１６図で見て対抗する赤外ＬＥＤを結ぶ左４５度傾いた線および右４５度傾いた線のいずれについても線対称の配置となり、各色についてこれらのいずれの方向についても照明の対称性が保たれる。さらに、赤、緑および青の各ＬＥＤは図１６図で見てそれぞれ上下左右の四方向にそれぞれ密集して配置されることになり、各色のＬＥＤがずれて配置されていることによる照明影色ムラが軽減される。
【０１０９】
以上、図１４から図１６に示したＬＥＤの配置例は、各図において緑ＬＥＤが上下左右に配置され、赤外ＬＥＤがこれから４５度回転した位置に配されているが、全体の配置はこれに限るものではなく、ＣＩＧＳ撮像センサの画素配置の升目方向との関係で適宜全体を回転させて配置してもよい。例えば、図１４から図１６に示したＬＥＤの配置例は、ＣＩＧＳ撮像センサの画素配置の升目の上下左右方向を基準として緑ＬＥＤが上下左右に配置したものであるが、これを全体に４５度回転させ、赤外ＬＥＤが画素配置の升目方向に合わせて上下左右に配置されるようにしてもよい。この場合、緑ＬＥＤがこれから４５度回転した位置に配置されることになる。
【０１１０】
図１７は、第３実施例のカプセル内視鏡５０２に採用可能なＬＥＤの配置の第４の例を示す正面図である。赤、緑、青および赤外のＬＥＤを撮像レンズ５０８の光軸まわりに配置する場合、全ての色のＬＥＤを互いに同数とすることに限るものではない。図１７はこのようなものの例として、４個の緑ＬＥＤ５１４、２個の赤ＬＥＤ５７８および２個の青ＬＥＤ５８０を採用している。緑ＬＥＤ５１４の数が赤ＬＥＤ５７８および青ＬＥＤ５８０の倍あるのは、緑の発光量を相対的に多くして視感度に合わせるためである。また、図１７では８個の赤外ＬＥＤ５８２を配置して赤外光量を増加させ、赤外光による体内観察能力を充実している。
【０１１１】
なお、図１４から図１７ではすべて合計１６個のＬＥＤを採用しているが、これに限られるものではない。配置が可能な場合、ＬＥＤの合計数をさらに増加して照明ムラを軽減することができる。また、最低限の照明の対称性を維持するため、各色各一対のＬＥＤを採用し合計８個のＬＥＤを採用して構成を簡単にすることも可能である。この場合、緑ＬＥＤの対を結ぶ線と赤外ＬＥＤの対を結ぶ線を９０度で交差させるとともに、赤ＬＥＤの対と青ＬＥＤの対については、それらを結ぶ線が緑ＬＥＤの対を結ぶ線の左右にそれぞれ４５度回転した状態の配置として、赤と青のＬＥＤが緑ＬＥＤの両側に隣接するようにするのが望ましい。なお、配置スペースの事情が許せば、このように８個のＬＥＤを等間隔に配置するのに代えて、赤と青のＬＥＤを緑ＬＥＤの両側に密接させ、赤、緑、青ＬＥＤ相互の位置ズレができるだけ少なくなるようにした配置も可能である。
【０１１２】
図１８は、第３実施例のカプセル内視鏡５０２におけるカラー・赤外モードでの動作の各色ＬＥＤの発光タイミング、光電変換部の動作タイミング、ＡＤ編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。カラー・赤外モードでは、可視光のカラー画像および赤外画像が並行して取得される。図１８から明らかなように、すべての赤ＬＥＤはｔ１からちｔ２、全ての緑ＬＥＤはｔ３からｔ４、すべての青ＬＥＤはｔ５からｔ６、すべての赤外ＬＥＤはｔ７からｔ８のタイミングで互いに重なることなく時分割でそれぞれ点灯する。そして、４色のＬＥＤの点灯が一巡すると、再び全ての赤ＬＥＤがｔ９からｔ１０のタイミングで点灯し、以下同様にして緑、青、赤外のＬＥＤが点灯して同様の循環で時分割点灯を繰り返す。ｔ１からｔ８までの時間は通常のカラー動画の１フレーム時間程度であり、各色の発光量は時分割しない場合の４分の１以下となるが、図３に示すようにＣＩＧＳセンサは通常のＣＭＯＳセンサに比べて高感度および広帯域の特性なので、短時間の発光量でも充分な光源光となる。
【０１１３】
図１８のように、カラー・赤外モードにおいて可視光と赤外光を時分割でほぼ同時に発光させる場合、図１３の撮像レンズ５０８の画角はレンズ駆動部５１２の制御により広角に設定され、焦点深度が深くなるように設定されるとともに、そのピント位置もレンズ駆動部５１２の制御により可視光から赤外光をカバーするパンフォーカス状態となるよう設定される。このようにカラー・赤外モードは体内の状態を全体的に粗く観察するのに適している。
【０１１４】
図１８の光電変換部のタイミングチャートから明らかなように、光電変換部は赤ＬＥＤの発光開始直後から赤の露光を開始して電荷蓄積を行う。電荷蓄積時間は赤ＬＥＤの発光終了直前に設定されているのでここで露光を終了し、電荷の読出しを行う。さらに電荷の読出しが終了すると残留電荷の掃捨を行う。そして電荷の掃捨が終了すると次の緑の露光を開始する。なお図１８から明らかなように緑の露光直前に緑ダイオードの発光が開始している。緑の露光についても電荷蓄積時間が終了の後、電荷の読出および残留電化の掃捨が後続している。以下同様にして、青ＬＥＤの発光および赤外ＬＥＤの発光にそれぞれ同期して、青および赤外の電荷蓄積、電荷読出、および残留電荷掃捨が行われる。そしてこれらの動作が循環する。なお、上記では、光電変換部の機能を各色について説明したが、光電変換部自体に各色を分離して光電変換する機能があるわけではなく、光電変換部自体は単に電荷蓄積、電荷読出、および残留電荷掃捨の同じ動作を繰り返しているだけである。読み出された電荷量が各色の情報を持つのは専ら電荷蓄積の際の光源色に依存する。
【０１１５】
図１８のＡＤ変換部のタイミングチャートから明らかなように、光電変換部は各色の電荷読出直後からＡＤ変換を開始する。例えば、赤のＡＤ変換は赤の電荷読出完了直後に開始される。そして次の緑の露光中の時間帯も利用し、これと並行して赤のＡＤ変換を継続する。図１８の無線通信部のタイミングチャート（Ａ）から明らかなように、無線通信部は、各色の光電変換完了直後からその結果の色のデジタル信号の通信を開始可能である。例えば、赤のデジタル信号の通信は赤のＡＤ変換終了直後に開始される。そして次の緑のＡＤ変換の時間帯も利用し、これと並行して赤の通信を継続する。以下同様にして緑、青、赤外についてＡＤ変換および通信が行われる。
【０１１６】
なお、通信に関しては、カプセル内視鏡５０２と体外モニタ５０４との関係によっては、ＡＤ変換直後に成功裏に実施することができない場合も考えられる。このような場合は、図１８の無線通信部のタイミングチャート（Ｂ）のように通信環境が充分となったタイミングで通信を実行する。例えば、ＩＲデータの送信５９２はタイミングチャート（Ａ）に比べて遅く実行されており、次のＲデータの直前で実行されている。また、Ｇデータの送信５９４およびＢデータの送信５９６も遅れて実行されているが、これらの通信時間の調整は、図１３の画像バッファ５２６の容量が満杯となってＦＩＦＯに破綻を来たさない限り可能である。
【０１１７】
図１９は、図１８で示したカラー・赤外モードにおける第３実施例のカプセル内視鏡５０２の動作での各色ＬＥＤの発光タイミングとカラー画像作成の関係を示すタイミングチャートである。図１９に示すように、ｔ１で開始される赤ＬＥＤの発光に基づく赤画像、ｔ３で開始される緑ＬＥＤの発光に基づく緑画像、およびｔ５で開始される青ＬＥＤの発光に基づく青画像によって、Ｆ１で示す１フレームのカラー画像が作成される。厳密に言えば各色の発光に時間差があるので各色の画像は同一時間のものではないが、時間差は僅少なので高速で動く被写体でない限りこのような時分割による各色画像の取得でも問題はない。同様にして、ｔ９で開始される赤ＬＥＤの発光に基づく赤画像、ｔ１１で開始される緑ＬＥＤの発光に基づく緑画像、およびｔ１３で開始される青ＬＥＤの発光に基づく青画像によって、Ｆ２で示す１フレームのカラー画像が作成される。以下同様にして1フレームのカラー画像が作成され、個々のカラー動画は静止画としても記録できるとともに、これらを繋げてカラー動画としても記録できる。なお、これらのカラー処理は、図１３に示した体外モニタ５０４の画像処理部５４４で行われる。また、図１８の無線通信部のタイミングチャート（Ｂ）で示したように体外モニタ５０４による各色データの受信は必ずしも等間隔ではないが、画像取得タイミングは各色ＬＥＤの発光タイミングによって決まるので図１９の関係が成り立つ。
【０１１８】
また、図１９に示すように、ｔ３で開始される緑ＬＥＤの発光に基づく緑画像、ｔ５で開始される青ＬＥＤの発光に基づく青画像、およびにｔ９で開始される赤ＬＥＤの発光に基づく赤画像によってもＲＧＢ三色のデータが揃うので、これらによってＩ１で示す１フレームのカラー補間画像が作成される。同様にして、ｔ５で開始される青ＬＥＤの発光に基づく青画像、ｔ９で開始される赤ＬＥＤの発光に基づく赤画像、およびｔ１１で開始される緑ＬＥＤの発光に基づく緑画像によって、Ｉ２で示す１フレームのカラー補間画像が作成される。これらの補間画像はＲＧＢの各色が揃うまでに赤外ＬＥＤの発光が介在しており、ＲＧＢが揃うまでの時間が若干長くなるとともにＲＧＢの発光も等間隔でないのでカラー画像としては画質が悪くなる。従って、あくまでスムーズな動画を得るための補間画像として採用される。
【０１１９】
一方、赤外画像については、図１９に示すように、ｔ７で開始される赤外ＬＥＤの発光に基づく画像ＩＲ１、ｔ１５で開始される赤外ＬＥＤの発光に基づく画像ＩＲ２等がそれぞれ静止画として記録できるとともに、これらを繋げてカラー動画としても記録できる。カラー・赤外モードでは上記のようにカラー画像と赤外画像が並行して取得できるので、両画像を並行して内視鏡診断にもといることができるとともに、両画像を合成することも可能となる。また、静止画として量画像を合成する際、赤外画像の取得時間がカラー補間画像の取得時間帯の中に含まれているので、カラー補間画像を赤外画像とを合成のために採用することも可能である。具体的には、カラー補間画像Ｉ２およびＩ２の取得時間帯が共に赤外画像ＩＲ１の取得時間を含んでいるので、カラー補間画像Ｉ１およびＩ２またなその平均を赤外画像ＩＲ１と合成することが可能である。
【０１２０】
図２０は、第３実施例のカプセル内視鏡５０２における精細カラーモードでの動作の各色ＬＥＤの発光タイミング、光電変換部の動作タイミング、ＡＤ編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。精細カラーモードでは、可視光のカラー画像のみの取得が行われ、赤外ＬＥＤは発光しない。図２０から明らかなように、すべての赤ＬＥＤはｔ１からちｔ２、全ての緑ＬＥＤはｔ３からｔ４、すべての青ＬＥＤはｔ５からｔ６のタイミングで互いに重なることなく時分割でそれぞれ点灯する。そして、ＲＧＢ３色のＬＥＤの点灯が一巡すると、再び全ての赤ＬＥＤがｔ７からｔ８のタイミングで点灯し、以下同様にして緑、青、ＬＥＤが点灯して同様の循環で時分割点灯を繰り返す。この場合一回の循環に必要なｔ１からｔ６までの時間は図１８のｔ１からｔ８よりも短くなり。動画が精細になる。図２０の無線通信部（Ｂ）のタイミングチャートには、しばらく通信環境が整わなかった後、連続して通信が行われている様子を示す。
【０１２１】
図２０のように、精細カラーモードにおいて可視光のみを時分割でほぼ同時に発光させる場合、図１３の撮像レンズ５０８の画角はレンズ駆動部５１２の制御により狭角（望遠）に設定され、そのピント位置もレンズ駆動部５１２の制御により可視光の焦点が撮像面に結像するよう設定される。これは赤、緑、青の焦点位置のずれは小さくまた撮像レンズの設計における収差補正でも対応できるので最適の焦点位置あわせが可能となるからである。このように精細カラーモードは体内の状態を詳細に高精細で観察するのに適している。
【０１２２】
図２１は、図２０で示した精細カラーモードにおける第３実施例のカプセル内視鏡５０２の動作での各色ＬＥＤの発光タイミングとカラー画像作成の関係を示すタイミングチャートである。図２１に示すように、ｔ１で開始される赤ＬＥＤの発光に基づく赤画像、ｔ３で開始される緑ＬＥＤの発光に基づく緑画像、およびｔ５で開始される青ＬＥＤの発光に基づく青画像によって、Ｆ１で示す１フレームのカラー画像が作成される。次に、ｔ３で開始される緑ＬＥＤの発光に基づく緑画像、ｔ５で開始される青ＬＥＤの発光に基づく青画像、およびにｔ７で開始される赤ＬＥＤの発光に基づく赤画像によってＦ２で示す１フレームのカラー画像が作成される。同様にｔ５で開始される青ＬＥＤの発光に基づく青画像、ｔ７で開始される赤ＬＥＤの発光に基づく赤画像、およびｔ９で開始される緑ＬＥＤの発光に基づく緑画像によってＦ３で示す１フレームのカラー画像が作成される。以下同様にしてＦ４で示す１フレームのカラー画像以下が作成されていく。このように、精細カラーモードでは各色のＬＥＤが新たに発光する毎に輪番で新たに１フレームのカラー画像が作成されるのでスムーズな精細動画の記録が可能となる。
【０１２３】
図２２は、第３実施例のカプセル内視鏡５０２における赤外モードでの動作の赤外ＬＥＤの発光タイミング、光電変換部の動作タイミング、ＡＤ編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。赤外カラーモードでは、赤外画像のみの取得が行われ、赤外ＬＥＤ以外のＬＥＤは発光しない。図２２から明らかなように、すべての赤外ＬＥＤはｔ１からちｔ２、ｔ３からｔ４のごとく光電変換部における毎回の露光の都度に発光する。そしてこれに対応して毎回１フレームの赤外画像が作成される。これによって、スムーズな赤外動画の記録が可能となる。
【０１２４】
図２２のように、赤外モードにおいて赤外光のみを発光させる場合も、図１３の撮像レンズ５０８の画角はレンズ駆動部５１２の制御により狭角（望遠）に設定され、そのピント位置もレンズ駆動部５１２の制御により赤外光の焦点が撮像面に結像するよう設定される。このように赤外モードも体内の状態を詳細に高精細で観察するのに適している。
【０１２５】
図２３は、図１３の第３実施例における内視鏡制御部５２０の動作のフローチャートである。カプセル内視鏡５０２に電池５３２がセットされるとフローがスタートし、ステップＳ１６２で、カラー・赤外モードが初期設定される。そしてこれに対応し、ステップＳ１５４で撮像レンズ５０８が広角およびパンフォーカス状態に設定される。次いでステップＳ１６６では、赤、緑、青および赤外の全てのＬＥＤが所定の順所で順次輪番で発光するよう設定される。そしてステップＳ１６８でこれらの設定が行われている状態であることを外部送信し、体外モニタ５０４に報告する。
【０１２６】
次にステップＳ１７０で撮像処理、ステップＳ１７２で送信処理をそれぞれ実行する。その詳細は後述する。送信処理が終わるとステップＳ１７４に進み、動作停止信号を体外モニタ５０４から受信しているかどうかチェックする。受信があれば直ちにフローを終了する。一方、停止信号の受信がなければステップＳ１７６に進み、モード変更信号を受信しているかどうかチェックする。そして受信があればステップＳ１７８に進み、変更されたモードがカラー・赤外モードかどうかチェックする。カラー・赤外モードであれば、ステップＳ１６４に戻り、レンズを広角およびパンフォーカス状態に設定して、以下既に説明したステップＳ１６６以下の動作に進む。
【０１２７】
一方、ステップＳ１７８で変更されたモードがカラー・赤外モードでなかったときはステップＳ１８０に進み、精細カラーモードかどうかチェックする。そして精細カラーモードであればステップＳ１８２でレンズの画角を狭角（望遠）にするとともに可視光フォーカス状態に設定するとともに、ステップＳ１８４で可視光のＬＥＤのみが順次輪番で発光するよう設定する。そして、ステップＳ１８６でこれらの設定状態を外部に送信した後、ステップＳ１７０に戻る。
【０１２８】
また、ステップＳ１８０で変更されたモードが精細カラーモードでなかったときは、変更されたモードが赤外モードであることを意味するからステップＳ１８８に移行し、レンズの画角を狭角（望遠）にするとともに赤外光フォーカス状態に設定する。さらにステップＳ１９０で赤外ＬＥＤのみが発光するよう設定する。そして、ステップＳ１８６に移行し、これらの設定状態を外部に送信した後、ステップＳ１７０に戻る。
【０１２９】
図２４は、図２３のステップＳ１７０における撮像処理の詳細を示すフローチャートである。フローがスタートすると、ステップＳ１９２でモードの選択または変更があったかどうかチェックする。モード選択または変更がなかったときは、ステップＳ１９４に進み、露光時間が完了しているかどうかチェックする。そして完了を検出すればステップＳ１９６に進み、蓄積電荷の読出し開始処理を行う。さらにステップＳ１９８でＬＥＤの発光停止を指示する。さらにステップＳ２００で蓄積電荷読出しが完了したかどうかをチェックし、未完ならステップＳ２００を繰り返しながら完了を待つ。
【０１３０】
ステップＳ２００で読出し完了が検知されるとステップＳ２０６に進み残留電荷の掃捨て開始処理を行ってステップＳ２０８のＬＥＤ選択処理に移行する。これは次に発光すべきＬＥＤを選択する処理であるがその詳細は後述する。さらにステップＳ２１０ではステップＳ２０８で選択されたＬＥＤの発光開始を指示する。次にステップＳ２１２では蓄積電荷の掃捨てが完了したかどうかをチェックし、未完ならステップＳ２１２を繰り返しながら完了を待つ。
【０１３１】
ステップＳ２１２で蓄積電荷の掃捨て完了が検知されるとステップＳ２１４に移行し、露光を開始するとともにステップＳ２１６で露光時間のカウントを開始し、フローを終了する。一方、ステップＳ１９４で露光時間が完了していなければ直ちにフローを終了する。また、ステップＳ１９２でモードの選択または変更が検出されるとステップＳ２１８に移行し、撮像処理のイニシャライズを行ってステップＳ２０８のＬＥＤ選択処理に進む。
【０１３２】
図２５は、図２４のステップＳ２０８におけるＬＥＤ選択処理の詳細を示すフローチャートである。フローがスタートすると、ステップＳ２２２で赤外モードであるかどうかチェックする。該当しなければカラー・赤外モードまたは精細カラーモードであることを意味する。この場合はステップＳ２２４に進み、図２４のステップＳ２１８によって撮像処理のイニシャライズが行われたかどうかチェックする。これも該当しなければステップＳ２２６に進み、前回に選択されたＬＥＤ記憶を読み出す。そしてステップＳ２２８で読み出された記憶に基づき前回発光したのが赤ＬＥＤであったかどうかチェックする。該当しなければ、さらにステップＳ２３０で前回したのが緑ＬＥＤであったかどうかチェックする。
【０１３３】
ステップＳ２３０で前回発光が緑ＬＥＤでなかったときはステップＳ２３２に進み、精細カラーモードであるかどうかチェックする。該当する場合は、赤、緑および青のＬＥＤが輪番で発光していることになる。そしてこの場合、前回発発光が赤でも緑でもなければ青であったことを意味するからステップＳ２３２からステップＳ２３４に進み、次の順番に当たる赤ＬＥＤを選択する。そしてこの選択結果をステップＳ２３６で記憶してフローを終了する。
【０１３４】
一方、ステップＳ２３２で精細カラーモードであることが検知されない場合はカラー・赤外モードであることを意味する。この場合は、赤、緑、青および赤外のＬＥＤが輪番で発光していることになる。そしてこの場合、前回発発光が赤でも緑でもなければ青であったことを意味するからステップＳ２３２からステップＳ２３８に進み、次の順番に当たる赤外ＬＥＤを選択する。そしてこの選択結果をステップＳ２３６で記憶してフローを終了する。
【０１３５】
また、ステップＳ２２８で前回発光したのが赤ＬＥＤであったときはステップＳ２４２に進み、次の順番にあたる緑ＬＥＤを選択する。そしてこの選択結果をステップＳ２３６で記憶してフローを終了する。さらに、ステップＳ２２２で赤外モードであったときはステップＳ２４４に進み、赤外ＬＥＤを選択する。そして赤外モードの場合は選択されるのは常に赤外ＬＥＤであるから選択結果の記憶は特に行う必要がなく直ちにフローを終了する。なお、ステップＳ２２４で撮像処理のイニシャライズが行われていたときはステップＳ２４２に進み最初の発光ＬＥＤとして緑ＬＥＤを選択する。
【０１３６】
図２６は、図２３のステップＳ１７２における送信処理の詳細を示すフローチャートである。フローがスタートすると、ステップＳ２５２でデータの送信中かどうかのチェックを行う。送信中でなければステップＳ２５４に進み、送信に成功したデータがあるかどうかチェックする。そして該当するものがあればステップＳ２５６でこれを画像バッファより消去してステップＳ２５８に移行する。一方、ステップＳ２５４で送信成功データがなければ直接ステップＳ２５８に移行する。
【０１３７】
ステップＳ２５８では、ＡＤ変換が完了したかどうかチェックし、該当すればＡＤ変換したデータを画像バッファに格納してステップＳ２６２に移行する。一方、ＡＤ変換が終了していなければ直接ステップＳ２６２に移行する。ステップＳ２６２では画像バッファに格納されているデータがあるかどうかチェックし、データがあればステップＳ２６４で通信状態がＯＫかどうかチェックする。そしてＯＫであればステップＳ２６６で画像バッファからＦＩＦＯ（先入れ先出し）でデータを読出し、ステップＳ２６８で読み出したデータの送信開始を指示してフローを終了する。なお、ステップＳ２５２でデータ送信中であったとき、ステップＳ２６２で画像バッファにデータの格納がなかったとき、またはステップＳ２６４で通信状態がＯＫでなかったときはそれぞれ直ちにフローを終了する。
【０１３８】
図２７は、図１３の第３実施例における体外モニタ５０４のモニタ制御部５４０の動作を示すフローチャートであり、カプセル内視鏡５０２との通信開始でフローがスタートする。フローがスタートするとステップＳ２７２で画像データの新着の有無をチェックする。新着データがあればステップＳ２７４に進み、新着データが完全かどうかチェックする。そして完全であればステップＳ２７６に進んでこれを画像バッファ５３８に格納するよう支持してステップＳ２７８に移行する。なお、ステップＳ２７２でデータの新着がないか、またはステップＳ２７４で新着データが完全でなかったときはいずれもステップＳ２７２に戻る。
【０１３９】
ステップＳ２７８では、赤外モードであるかどうかチェックし、該当しなければステップＳ２８０でカラー・赤外モードであるかどうかチェックする。そしてカラー・赤外モードであればステップＳ２８２に進み、新着データが赤外画像データであるかどうかチェックする。該当しなければ赤、緑、青のいずれかの画像データであることを意味するからステップＳ２８４に進み、これらのデータから赤外画像の補間補助画像を作成するよう指示してステップＳ２８６に移行する。ステップＳ２８４の指示は、赤外のスムーズな動画を得るために赤外画像データに基づいて補間を行う際、赤外画像の間のタイミングで得られる可視光画像データの情報を補助的に利用するための指示である。
【０１４０】
ステップＳ２８６では、新逆データが青画像データであるかどうかチェックする。そして該当しなければ赤画像データまたは緑画像データであることを意味するからステップＳ２９０に進み、新着データ直前の可視２色のデータが格納されているかどうかチェックする。そして格納されていれば、新着データとともに赤、緑、青の３色が揃うからステップＳ２９２に進み、保管カラー画像を作成する指示をしてステップＳ２７２に戻る。ステップＳ２９２の指示によって作成される画像は、図１９のカラー補間画像Ｉ１またはＩ２に相当する。
【０１４１】
ステップＳ２７８で赤外モードであったときは新着データは赤外画像データであるからステップＳ２９４に移行し、赤外画像の作成を指示してステップＳ２７２に戻る。また、ステップＳ２８２で新着データが赤外画像データであったときもステップＳ２９４に移行する。一方、ステップＳ２８６で新着データが青画像データであったときはステップＳ２９６に進み、直前の２色（この場合は赤および緑）の画像データが画像バッファに格納されているかどうかチェックする。そしてこれらの格納があれば連続する３色が揃うのでステップＳ２９８に進み、カラー画像作成の指示を行ってステップＳ２７２に戻る。この指示によって作成される画像は、図１９のカラー画像Ｆ１またはＦ２に該当する。
【０１４２】
また、ステップＳ２８０でカラー・赤外モードでなかったときは精細カラーモードであることを意味するのでやはりステップＳ２９６に移行し、直前の可視２色データが格納されているかどうかのチェックに入り、直前２色があればステップＳ２９８のカラー画像作成を指示する。この指示によって作成される画像は、図２１のカラー画像Ｆ１、Ｆ２、Ｆ３等に該当する。なお、ステップＳ２９０またはステップＳ２９６で直前の可視２色データの格納がなかったときは直ちにステップＳ２７２に戻る。
【実施例４】
【０１４３】
図２８は、本発明の第４実施例の動作タイミングの関係を示すタイミングチャートである。第４実施例は基本的には図１３から図１７に示す内視鏡システムと共通の構成なので、以下の説明では、図１３のブロック図の符号を適宜用いて説明する。第４実施例が第３実施例と異なるのは、ＣＩＧＳ撮像センサの構成およびＬＥＤの発光タイミングである。すなわち、第３実施例のＣＩＧＳセンサ５１０はカラーフィルタを有さず、色の分解はＬＥＤの時分割発光によっていたが、第４実施例のＣＩＧＳ撮像センサ５１０は、図７から図１０に示すようなカラーフィルタを有し、第１実施例および第２実施例と同様にしてＣＩＧＳ撮像センサ自体で色分解を行う。そして、ＬＥＤの発光は時分割ではなく全色同時に行われる。
【０１４４】
図２８は、このような第４実施例のカプセル内視鏡５０２におけるカラー・赤外モードでの動作のＬＥＤの発光タイミング、光電変換部の動作タイミング、ＡＤ編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。先に述べたように、すべての赤ＬＥＤ、全ての緑ＬＥＤ、すべての青ＬＥＤおよびすべての赤外ＬＥＤは、光電変換部の露光タイミングにおいてすべて同時に発光する。なお、各ＬＥＤは、図２８のように点滅発光するかわりに連続発光しても差し支えない。なお、図２８のカラー・赤外モードにおいては、撮像レンズ５０８の画角はレンズ駆動部５１２の制御により広角に設定され、焦点深度が深くなるように設定されるとともに、そのピント位置もレンズ駆動部５１２の制御により可視光から赤外光をカバーするパンフォーカス状態となるよう設定される。このような撮像レンズ制御は、図１８のカラー・赤外モードの場合と共通である。
【０１４５】
図２９は、第４実施例のカプセル内視鏡５０２における精細カラーモードでの動作のＬＥＤの発光タイミング、光電変換部の動作タイミング、ＡＤ編幹部の動作タイミングおよび無線通信部の動作タイミングの関係を示すタイミングチャートである。図２９に明らかなように、すべての赤ＬＥＤ、全ての緑ＬＥＤおよびすべての青ＬＥＤが、光電変換部の露光タイミングにおいてすべて同時に発光する。なお、赤外ＬＥＤは発光しない。図２９のように、精細カラーモードにおいて可視光のみを同時に発光させる場合、図１３の撮像レンズ５０８の画角はレンズ駆動部５１２の制御により狭角（望遠）に設定され、そのピント位置もレンズ駆動部５１２の制御により可視光の焦点が撮像面に結像するよう設定される。このような撮像レンズ制御は、図２０の精細カラーモードの場合と共通である。
【０１４６】
第４実施例における赤外モードのタイミングチャートは、第３実施例における図２２と共通である。また、赤外モードにおける撮像レンズ５０８の画角がレンズ駆動部５１２の制御により狭角（望遠）に設定され、そのピント位置もレンズ駆動部５１２の制御により赤外光の焦点が撮像面に結像するよう設定される点についても、図２２の赤外モードと共通である。第４実施例におけるカラー・赤外モードが体内の状態を全体的に粗く観察するのに適し、一方、精細カラーモードおよび赤外モードが体内の状態を詳細に高精細で観察するのに適している点についても第３実施例と共通である。
【０１４７】
なお、上記第３実施例および第４実施例における内視鏡システムはカプセル内視鏡と体外モニタを有するものとして構成したが、本発明の実施はこれに限るものではない。例えば、体内と体外をチューブで結んだ通常の内視鏡として構成することも可能である。この場合、図１３のアンテナ５３０および５４６による無線通信をチューブ内のケーブルによる有線通信とするとともにこのチューブ内に公知の通気管や導水管およびチューブ屈曲メカなどを設ける。また、体内と体外の間の画像情報伝達を電気信号で行うのに代え、ファイバーなどによる光学手段により体内で取得した画像を体外に取り出すようにしてもよい。この場合、ＣＩＧＳ画像センサは体外に設けられることになる。また、光源についても発光部を体外に設け、ライトガイドでこれを体内に導くことも可能である。このような構成では、図１４から図１７の光源配置は、発光部分の配置ではなく、光源光射出部の配置として理解するものとする。さらに、ライトガイドを用いる場合には、必ずしも光源光射出部を各色別にする必要はなく、各色発光部からの光を共通のライトガイドを用いて体内に導き共通の射出口から照射するようにしてもよい。また、上記第３実施例および第４実施例において示した本発明の種々の特徴の実施は、内視鏡に限らず、種々の撮像センサを活用した撮像・観察・記録機器に適宜活用することも可能である。
【産業上の利用可能性】
【０１４８】
本発明は、体内画像の観察・記録・診断等が可能な内視鏡を提供するものである。
【符号の説明】
【０１４９】
５１０ 光電変換部
５１４、５６２、５６６ 可視光域照明光源
５１６ 赤外光域照明光源
５２０、５４０ 制御部
５２８、５３０ 無線送信部
５０２ カプセル部
５３４、５３６ 無線受信部
５４４ 画像処理部
５４８ 表示部
【特許請求の範囲】
【請求項１】
それぞれ可視光域および赤外光域において６０％以上の量子効率を有し規則的に配列された複数の光電変換部と、可視光域照明光源と、赤外光域照明光源と、前記可視光域照明光源による照明下で前記光電変換部が受光する画像を可視光画像データとして取得するとともに前記赤外光域照明光源による照明下で前記光電変換部が受光する画像を赤外光画像データとして取得する制御部とを有することを特徴とする内視鏡。
【請求項２】
前記可視光域照明光源は３つの異なる単色可視光照明光源を含み、前記制御部は、前記３つの異なる単色可視光照明光源による照明下でそれぞれ前記光電変換部が受光する画像をそれぞれ３つの異なる単色可視光画像データとして取得することを特徴とする請求項１記載の内視鏡。
【請求項３】
前記制御部は、前記３つの異なる単色可視光照明光源および赤外光域照明光源を輪番で時分割発光させることを特徴とする請求項２記載の内視鏡。
【請求項４】
前記制御部は、前記３つの単色可視光照明光源の１つの新たな発光下で単色可視光画像データが取得される毎に、他の２つの単色可視光照明光源による照明下でそれぞれ取得済みの単色可視光画像データと組み合わせるべきカラー画像データとして提供することを特徴とする請求項３記載の内視鏡。
【請求項５】
前記制御部は、３つの単色可視光画像データの取得のための前記３つの異なる単色可視光照明光源の発光タイミング中に前記赤外光域照明光源の発光タイミングを含む場合と含まない場合とで３つの単色可視光画像データを組み合わせたカラー画像の取り扱いを変えることを特徴とする請求項４記載の内視鏡。
【請求項６】
前記制御部は、前記可視光域照明光源と前記赤外光域照明光源の一方の照明下で前記光電変換部が画像を受光しているとき、他方の照明下で前記光電変換部が画像した画像を処理することを特徴とする請求項１から５のいずれかに記載の内視鏡。
【請求項７】
前記制御部の処理はＡＤ変換であることを特徴とする請求項６記載の内視鏡。
【請求項８】
前記制御部の処理はデータの送信であることを特徴とする請求項６または７記載の内視鏡。
【請求項９】
可視光域において６０％以上の量子効率を有し規則的に配列された複数の光電変換部と、３つの異なる単色可視光照明光源と、前記３つの異なる単色可視光照明光源による照明下でそれぞれ前記光電変換部が受光する画像をそれぞれ３つの異なる単色可視光画像データとして取得する制御部とを有することを特徴とする内視鏡。
【請求項１０】
前記制御部は、前記３つの異なる単色可視光照明光源を輪番で時分割発光させることを特徴とする請求項９記載の内視鏡。
【請求項１１】
前記制御部は、前記３つの単色可視光照明光源の１つの新たな発光下で単色可視光画像データが取得される毎に、他の２つの単色可視光照明光源による照明下でそれぞれ取得済みの単色可視光画像データと組み合わせるべきカラー画像データとして提供することを特徴とする請求項１０記載の内視鏡。
【請求項１２】
規則的に配列された複数の光電変換部、照明光源、前記照明光源による照明下で前記光電変換部が受光する画像をＲＡＷデータとして取得する制御部および前記ＲＡＷデータを送信する無線送信部を含むカプセル部と、前記無線送信部からのＲＡＷデータを受信する無線受信部、受信したＲＡＷデータを処理する画像処理部および画像処理部が処理した画像を表示する表示部を含む体外モニタ部とを有することを特徴とする内視鏡。
【請求項１】
それぞれ可視光域および赤外光域において６０％以上の量子効率を有し規則的に配列された複数の光電変換部と、可視光域照明光源と、赤外光域照明光源と、前記可視光域照明光源による照明下で前記光電変換部が受光する画像を可視光画像データとして取得するとともに前記赤外光域照明光源による照明下で前記光電変換部が受光する画像を赤外光画像データとして取得する制御部とを有することを特徴とする内視鏡。
【請求項２】
前記可視光域照明光源は３つの異なる単色可視光照明光源を含み、前記制御部は、前記３つの異なる単色可視光照明光源による照明下でそれぞれ前記光電変換部が受光する画像をそれぞれ３つの異なる単色可視光画像データとして取得することを特徴とする請求項１記載の内視鏡。
【請求項３】
前記制御部は、前記３つの異なる単色可視光照明光源および赤外光域照明光源を輪番で時分割発光させることを特徴とする請求項２記載の内視鏡。
【請求項４】
前記制御部は、前記３つの単色可視光照明光源の１つの新たな発光下で単色可視光画像データが取得される毎に、他の２つの単色可視光照明光源による照明下でそれぞれ取得済みの単色可視光画像データと組み合わせるべきカラー画像データとして提供することを特徴とする請求項３記載の内視鏡。
【請求項５】
前記制御部は、３つの単色可視光画像データの取得のための前記３つの異なる単色可視光照明光源の発光タイミング中に前記赤外光域照明光源の発光タイミングを含む場合と含まない場合とで３つの単色可視光画像データを組み合わせたカラー画像の取り扱いを変えることを特徴とする請求項４記載の内視鏡。
【請求項６】
前記制御部は、前記可視光域照明光源と前記赤外光域照明光源の一方の照明下で前記光電変換部が画像を受光しているとき、他方の照明下で前記光電変換部が画像した画像を処理することを特徴とする請求項１から５のいずれかに記載の内視鏡。
【請求項７】
前記制御部の処理はＡＤ変換であることを特徴とする請求項６記載の内視鏡。
【請求項８】
前記制御部の処理はデータの送信であることを特徴とする請求項６または７記載の内視鏡。
【請求項９】
可視光域において６０％以上の量子効率を有し規則的に配列された複数の光電変換部と、３つの異なる単色可視光照明光源と、前記３つの異なる単色可視光照明光源による照明下でそれぞれ前記光電変換部が受光する画像をそれぞれ３つの異なる単色可視光画像データとして取得する制御部とを有することを特徴とする内視鏡。
【請求項１０】
前記制御部は、前記３つの異なる単色可視光照明光源を輪番で時分割発光させることを特徴とする請求項９記載の内視鏡。
【請求項１１】
前記制御部は、前記３つの単色可視光照明光源の１つの新たな発光下で単色可視光画像データが取得される毎に、他の２つの単色可視光照明光源による照明下でそれぞれ取得済みの単色可視光画像データと組み合わせるべきカラー画像データとして提供することを特徴とする請求項１０記載の内視鏡。
【請求項１２】
規則的に配列された複数の光電変換部、照明光源、前記照明光源による照明下で前記光電変換部が受光する画像をＲＡＷデータとして取得する制御部および前記ＲＡＷデータを送信する無線送信部を含むカプセル部と、前記無線送信部からのＲＡＷデータを受信する無線受信部、受信したＲＡＷデータを処理する画像処理部および画像処理部が処理した画像を表示する表示部を含む体外モニタ部とを有することを特徴とする内視鏡。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２０１０−２２７２００（Ｐ２０１０−２２７２００Ａ）
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願番号】特願２００９−７６３３５（Ｐ２００９−７６３３５）
【出願日】平成２１年３月２６日（２００９．３．２６）
【出願人】（０００１１６０２４）ローム株式会社 (3,539)
【Ｆターム（参考）】
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願日】平成２１年３月２６日（２００９．３．２６）
【出願人】（０００１１６０２４）ローム株式会社 (3,539)
【Ｆターム（参考）】
[ Back to top ]