ホワイトバランス調整方法および撮像装置
【課題】IR光画像と、RGB画像を効果的に表示する。
【解決手段】所定波長の赤外光を被写体に照射して、被写体から発せられる照射赤外光とは異なる所定波長の赤外光を受光して、このときのカメラの撮像出力におけるホワイトバランスを調整して入射赤外光を白表示とするステップ(S11,S12)と、被写体にRGB光源からの白色の可視光を照射して、被写体から発せられる可視光を受光して、RGB光源のRGB別の強度を調整することで、撮像画像におけるホワイトバランスを調整するステップ(S13,S14)と、を有する。
【解決手段】所定波長の赤外光を被写体に照射して、被写体から発せられる照射赤外光とは異なる所定波長の赤外光を受光して、このときのカメラの撮像出力におけるホワイトバランスを調整して入射赤外光を白表示とするステップ(S11,S12)と、被写体にRGB光源からの白色の可視光を照射して、被写体から発せられる可視光を受光して、RGB光源のRGB別の強度を調整することで、撮像画像におけるホワイトバランスを調整するステップ(S13,S14)と、を有する。
【発明の詳細な説明】
【技術分野】
【0001】
赤外光画像と、RGB画像を同時に表示するためのホワイトバランス調整方法に関する。
【背景技術】
【0002】
肝機能検査試薬として用いられているインドシアニングリーンを用いて、外科手術におけるナビゲーション、すなわち血管手術前後における血流の確認、リンパ管手術前後におけるリンパ流の確認、癌手術におけるリンパ節の位置確認が近年可能になってきた。これはインドシアニングリーンに780nmの赤外線を照射すると発する830−870nmの近赤外蛍光をとらえることで可能になっている。この帯域の近赤外光は、生体組織の透過率が比較的高いため、皮膚や臓器の表面から観察することが可能なことで、より有効な手段となっている。
【0003】
同様の近赤外光を使用したカメラシステムは、内視鏡への展開が要望されており、今後内視鏡への応用が進むことは確実である。さらには顕微鏡カメラなどにも展開されることが予想される。
【0004】
すでに製品化されている近赤外蛍光をとらえる内視鏡システムは、画像が白黒であったり、近赤外光以外による画像が不鮮明であったりして、手術のナビゲーションとしての仕様には不十分である。また、微細な癌組織などの確認のためには、高解像度のカメラが要求されるが、このようなカメラシステムはまだ存在しない。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2003−135393号公報
【特許文献2】特開2006−217441号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
近赤外蛍光とカラー画像を同時に取り込めるカメラシステムは、特殊なカラーフィルターと特殊な画像処理を採用したセンサーを使用することで達成されている。また、近赤外画像と可視光カラー画像を別々に取り込み、後段の処理で重ね合わせることでも達成可能である。しかし、今後高解像度版のカメラシステムなどを開発する場合に、専用の特殊センサーを開発したり、画像を重ね合わせるための複数のセンサーを用いたシステムが必要になったりし、莫大な開発工数が必要となる。
【0007】
特殊なカラーフィルターを備えることなく単一のセンサーによって実現可能であり、さらに後段での重ね合わせ処理が必要なく、リアルタイムで近赤外画像とカラー画像を同時に取り込めるカメラシステムが望まれる。
【課題を解決するための手段】
【0008】
本発明は、汎用のイメージセンサーを用いて、近赤外光画像と可視光カラー画像を同時に得られるカメラシステムであり、所定波長の赤外光を被写体に照射して、被写体から発せられる照射赤外光とは異なる所定波長の赤外光を受光して、このときのカメラの撮像出力におけるホワイトバランスを調整して入射赤外光を白表示とするステップと、被写体にRGB光源からの白色の可視光を照射して、被写体から発せられる可視光を受光して、RGB光源のRGB別の強度を調整することで、撮像画像におけるホワイトバランスを調整するステップと、を含む。
【0009】
また、本発明に係る撮像装置は、所定波長の赤外光を被写体に照射する赤外線照射手段と、被写体にRGB光を照射する手段であって、射出光強度がRGB独立して調整可能なRGB光源と、被写体からの光から前記赤外線照射手段から発生される所定波長の赤外線を除去するフィルタと、このフィルタを通った光を受光して撮像信号を出力するカメラと、前記赤外線照射手段からの赤外線を被写体に照射しているときに、前記カメラで受光した撮像信号について白色となるようにホワイトバランスを調整するホワイトバランス調整手段と、前記RGB光源からの光を被写体に照射しているときに、前記ホワイトバランス調整手段におけるホワイトバランスを固定した状態で前記RGB光源からのRGB別の射出強度を調整してカメラからの撮像信号のホワイトバランスを調整するRGB調整手段と、を含む。
【発明の効果】
【0010】
本発明に係るホワイトバランスの調整によれば、特殊なカラーフィルターを備えないイメージセンサーを用いて、インドシアニングリーンなどから発生される赤外光画像と、通常の臓器などのRGB画像を同時に取り込み、同時に表示することが可能となる。このため、容易に内視鏡、顕微鏡カメラなどに最適なイメージセンサーを用いた手術ナビゲーション用のカメラシステムを提供可能となる。
【図面の簡単な説明】
【0011】
【図1】撮影システムの全体構成を示す図である。
【図2】処理の手順を示すフローチャートである。
【図3】映像信号処理回路の詳細を示した図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について、図面に基づいて説明する。
【0013】
図1は、実施形態に係るホワイトバランス調整装置を含む撮影システムの構成を示す図である。カメラ本体10には、外部からの照射光を受け入れ、照射光をガイドして、被写体14に向けて射出する照射光ガイド12が内蔵されている。また、被写体14からの光を受け入れてガイドする受け入れ光ガイド18が内蔵されている。この受け入れ光ガイド18は、受け入れ光を赤外線フィルタ20を介し、イメージセンサ16に導く。図1は、内視鏡を示す図となっているが、内視鏡以外にも外光(本発明に含まれる照明以外による光)の影響が少ない用途には、同様に本発明は有効である。
【0014】
カメラ本体10は、基部10aが比較的大きくなっており、ここにイメージセンサ16が内蔵されている。この基部10aの背面に照射光ガイド12の光受け入れ端が形成されている。また、イメージセンサ16からの映像信号の出力部も基部10aの背面に形成されている。一方、カメラ本体10の先端側は、細長の棒状部10bとなっており、その先端10cに照射光ガイド12からの照射光を射出する射出部と、被写体14からの光を受け入れて受け入れ光ガイド18に導入する光受け入れ部が形成されている。
【0015】
本実施形態においては、棒状部10bを、患者の臓器内部などを挿入して、先端10cから照射光を対象となる患部(被写体14)に照射し、被写体から発生される近赤外光および可視光の映像を撮影する。
【0016】
なお、照射光ガイド12、受け入れ光ガイド18は、可視光および赤外光を通す光ファイバで構成されており、照射光の射出部や被写体からの光の受け入れ部には、必要に応じてレンズなどの光学系が配置される。また、イメージセンサ16としては、CCD(Charge Coupled Device)撮像装置が用いられているが、CMOS(Complementary Metal Oxide Semiconductor)撮像装置などでもかまわない。
【0017】
さらに、イメージセンサ16の前段には、特定波長の赤外光を除去する赤外線フィルタ20が設けられている。これは、後述する照射赤外光がそのまま反射された光をイメージセンサ16に入力されるのを防止するためである。
【0018】
カメラ本体10の背面の照射光ガイド12の光受け入れ部には光源装置22からの照射光が供給される。本実施形態では、フレキシブルな光ファイバなどによって、カメラ本体10の背面の照射光受け入れ部と、光源装置22の光射出部が接続されている。光源装置22は、赤外光(IR光)LED(Light Emitting Diode)24と、RGBの独立光源を有する可視光LED26を有している。そして、IR光LED24と、可視光LED26からの射出光がレンズ28を介し、カメラ本体10の照射光ガイド12に供給される。
【0019】
また、IR光LED24、可視光LED26からの照射光の射出は、LED駆動制御回路30によって制御される。特に、本実施形態において、IR光LED24の射出光は、780nmの赤外光であり、可視光LED26は、R(赤)光、G(緑)光、B(青)光の光をそれぞれ射出する3つのLEDを含んでおり、LED駆動制御回路30によって、RGBの射出光強度が独立して制御可能である。
【0020】
イメージセンサ16からの画像信号は、信号処理回路40に供給される。この信号処理回路40は、映像信号処理回路42と、カメラ制御回路44が設けられ、カメラ制御回路44によってイメージセンサ16の動作が制御され、イメージセンサ16からの映像信号が映像信号処理回路42に供給されて、ここで各種の処理がされて、出力信号(NTSC映像信号、RGB信号など)が外部のモニタ50に供給され、ここに撮影された映像が表示される。なお、信号処理回路40には、制御回路46が設けられ、映像信号処理回路42、カメラ制御回路44の処理動作を制御している。
【0021】
また、この制御回路46は、映像信号処理回路42におけるホワイトバランス調整や、LED駆動制御回路30におけるRGB別の発光強度の調整なども行う。
【0022】
このような撮像システムにおいて、通常はIR光LED24と、可視光LED26の両方が点灯し、赤外光と可視光の両方がレンズ28、照射光ガイド12を介し被写体14に照射される。
【0023】
被写体からの光は、赤外線フィルタ20において、IR光LED24から出力され、そのまま反射された780nmの光が除去され、イメージセンサ16に至る。被写体14は、人体など生体の臓器であり、予めインドシアニングリーンが投与されている。従って、インドシアニングリーンが存在する血管などにおいて、830−870nmの近赤外蛍光が発生し、この近赤外蛍光と、可視光LED26からの可視光の被写体14による反射光がイメージセンサ16に撮影される。
【0024】
ここで、本撮影システムにおいては、通常の撮影に先立って、図2に示すような手順で映像におけるホワイトバランスの調整を行う。
【0025】
まず、IR光源である、IR光LED24のみを点灯する(S11)。この状態で、映像信号処理回路42において、オートホワイトバランス機能(AWB機能)によって、出力される映像信号が白くなるようにホワイトバランスを調整する(S12)。
【0026】
ここで、IR光LED24からの780nmの赤外光を被写体に照射した場合、780nmの光のそのままの反射光と、インドシアニングリーンからの830−870nmの近赤外蛍光の2種類の光のみが被写体14より発生せられる。780nmの光は、赤外線フィルタ20によって除去されるため、インドシアニングリーンからの830−870nmの近赤外蛍光の2種類の光のみがイメージセンサ16に入射する。そして、この近赤外蛍光についての色がホワイトバランス調整機能によって、白色に設定される。すなわち、そのときの入射光によってイメージセンサ16において発生される、RGB信号のバランスが白色に調整される。イメージセンサ16は、RGB独立の画素を有しており、これら画素の出力信号がRGB信号になる。インドシアニングリーンによる近赤外蛍光のみが入射した場合も、イメージセンサ16が入射近赤外光に応じてRGB別の映像信号を生成するので、このときのRGBのバランス(それぞれに乗算するウェイト)を調整することで、そのとき出力される映像信号を白色にできる。なお、近赤外蛍光に対した映像信号は、白以外の色にも設定を変更することで対応可能である。
【0027】
次に、IR光源(IR光LED24)を消灯し、可視光源(可視光LED26)のみを点灯する(S13)。この状態で、上述のようにして調整したホワイトバランスを固定しおき、可視光LED26におけるRGB各色の射出光強度を調整し、イメージセンサ16からの出力におけるホワイトバランスを調整する(S14)。このホワイトバランス調整は、通常行われているオートホワイトバランス調整装置における色温度の検出に基づいて行ってもよいし、モニタ50の表示を見てのユーザの入力に応じて行ってもよいし、両者を組み合わせてもよい。なお、オートホワイトバランス調整といっても、この場合のホワイトバランスの調整は、RGBの光源側の調整であり、通常の映像信号側の処理ではない。
【0028】
このようにして、カメラの映像信号処理側のホワイトバランスは、固定した状態で、可視光画像におけるホワイトバランスの調整が可視光光源のRGB射出強度の調整によって行われる。ここで、本実施形態における映像は、内視鏡を用いた手術などついて行う。従って、外光が全くない条件で、上述の設定を行うことができる。
【0029】
このようにして、インドシアニングリーンからの近赤外光についての映像は白色に設定され、可視光については照射光のRGBの強度バランスを調整して映像信号におけるホワイトバランス調整がなされる。そこで、この状態で、IR光源(IR光LED24)、RGB光源(可視光LED26)からの両方を点灯し、映像信号を得る(S15)。この場合に得られる画像は、「通常の画像+IR発光部分が白色」という画像になる。インドシアニングリーンからの近赤外光についての映像は白色とすることが好適である。体内の組織や体液は白色を有するものがない。近赤外光の映像を白色に設定することで、体内の組織や体液と、インドシアニングリーンからの近赤外光と、を区別して観察することが容易になる。また、映像信号には、通常は体内の画像には表示されないはずの白色の像が表示されるため、インドシアニングリーンからの近赤外光の確認を一層容易にする。
【0030】
このように、本実施形態では、IR画像として、イメージセンサ16のRGBの各色画素から信号をすべて利用する。従って、入射光の効率の高い利用がはかれ、微弱な近赤外蛍光についても十分な白色画像を得ることができる。
【0031】
また、通常画像におけるホワイトバランスも十分調整ができるため、得られた映像信号における画像を見やすいものにできる。
【0032】
なお、上述のようなホワイトバランスの調整は、電源投入時に自動的に行ってもよいが、ユーザのボタン操作などの指示に基づき、開始することが好適である。そして、S11〜S15の動作を自動的に行うとよい。また、IR光についてのホワイトレベルの調整、RGB光によるホワイトレベルの調整の両時点において、一旦動作を停止し、ユーザの確認を得ることも好適である。そして、ユーザが変更したい場合には、ボタン操作などによる指示を取り込み、設定値を変更して、次の動作に進むことが好適である。
【0033】
図3には、図1の映像信号処理回路42などをより詳細に表した図を示す。イメージセンサ16からの映像信号は、映像信号処理回路42のAFE(オート・フロント・エンド)60に入力される。このAFE60は、イメージセンサ16からの映像信号を増幅、A/D変換などし、後処理回路に処理できるデータにする。AFE60からのデジタルの映像信号は映像データ処理回路62に入力され、ここで映像信号をモニタ50において表示させるための各種処理が行われる。映像データ処理回路62においては、ゲイン調整、ガンマ補正、色補正、輪郭強調、画素欠陥補正などの処理が行われる。そして、この映像データ処理回路62からの出力信号が出力インタフェース(I/F)70を介しモニタ50に供給され、ここに表示される。
【0034】
映像データ処理回路62には、露光制御部64が接続されている。この露光制御部64は、映像データから露光時間を制御する。すなわちカメラ制御回路44の駆動回路44aを制御することで、イメージセンサ16の電荷転送タイミングを制御して、1画面の露光時間を制御する。また、映像データ処理回路62には、WB制御部66も接続されている。このWB制御部は、上述したように、近赤外光のみが入力されて時に、出力信号が白表示になるようにRGBのバランスを制御する。例えば、RGB各信号への係数がa,b,cであると、aR+bG+cBが白色なるa、b、cを求める。そして、このWB制御部66には、レジスタ68が接続されており、求められた係数a,b,cは、このレジスタ68に記憶され、以後の映像データ処理において用いられる。
【0035】
なお、レジスタ68には、AFE60における増幅率についてのデータも記憶され、AFE60の増幅回路のゲインが記憶されている設定値によって制御される。さらに、露光制御部64における露光の設定値もレジスタ68に記憶される。
【0036】
また、ホワイトバランス制御部66、露光制御部64は、制御回路46にも接続されている。制御回路46は、内部の光源バランス制御部46aにより、LED駆動制御回路30を制御し、可視光LED26のRGBのバランスを制御する。この可視光LED26におけるRGB別のバランスについてのデータもレジスタ68に記憶される。また、露光制御部64は、明るさに応じて、LEDの発光量を制御してもよく、この場合の設定値もレジスタ68に記憶される。
【0037】
さらに、レジスタ60内に記憶されている設定値は、外部からの制御信号によっても書き換え可能になっている。従って、ユーザの好みにより、また映像の内容を見ながらユーザが入力した調整信号に応じて、レジスタ68内の設定値が変更でき、これによってホワイトバランスなども調整が可能になっている。
【0038】
ここで、イメージセンサ16として、CCDを利用した場合について説明したが、CMOSを使用した場合には、その出力がデジタルであり、AFE60におけるA/D変換は不要である。さらに、露光時間の制御も不要となる。
【0039】
なお、一般的なカメラでは、赤外ノイズを除去するIRカットフィルタを備えている。本実施形態では、上述のように、インドシアニングリーンからの赤外光を受光する必要があり、IRカットフィルタは除去する。
【0040】
また、インドシアニングリーンからの近赤外蛍光は比較的強度が小さい。そこで、近赤外蛍光の強度に応じて、可視光LED26のホワイトバランスの調整の際に、全体的な強度も調整するとよい。すなわち、近赤外蛍光の受光に応じて白色発光が十分視認できるように、可視光LED26の強度を調整する。これによって、弱い近赤外光についても、十分な表示が行える。なお、上述した赤外線フィルタ20によって、可視光を少し減衰することも好適である。
【0041】
さらに、薬剤としては、インドシアニングリーンに限定されることはなく、赤外光によって励起されて照射光と異なる波長の発光を生じるものであれば、本実施形態と同様に適切なホワイトバランスの調整を行うことができる。
【符号の説明】
【0042】
10 カメラ本体、10a 基部、10b 棒状部、10c 先端、12 照射光ガイド、14 被写体、16 イメージセンサ、18 受け入れ光ガイド、20 赤外線フィルタ、22 光源装置、24 IR光LED、26 可視光LED、28 レンズ、30 駆動制御回路、40 信号処理回路、42 映像信号処理回路、44 カメラ制御回路、44a 駆動回路、46 制御回路、46a 光源バランス制御部、50 モニタ、60 レジスタ、62 映像データ処理回路、64 露光制御部、66 WB制御部、66 ホワイトバランス制御部、68 レジスタ。
【技術分野】
【0001】
赤外光画像と、RGB画像を同時に表示するためのホワイトバランス調整方法に関する。
【背景技術】
【0002】
肝機能検査試薬として用いられているインドシアニングリーンを用いて、外科手術におけるナビゲーション、すなわち血管手術前後における血流の確認、リンパ管手術前後におけるリンパ流の確認、癌手術におけるリンパ節の位置確認が近年可能になってきた。これはインドシアニングリーンに780nmの赤外線を照射すると発する830−870nmの近赤外蛍光をとらえることで可能になっている。この帯域の近赤外光は、生体組織の透過率が比較的高いため、皮膚や臓器の表面から観察することが可能なことで、より有効な手段となっている。
【0003】
同様の近赤外光を使用したカメラシステムは、内視鏡への展開が要望されており、今後内視鏡への応用が進むことは確実である。さらには顕微鏡カメラなどにも展開されることが予想される。
【0004】
すでに製品化されている近赤外蛍光をとらえる内視鏡システムは、画像が白黒であったり、近赤外光以外による画像が不鮮明であったりして、手術のナビゲーションとしての仕様には不十分である。また、微細な癌組織などの確認のためには、高解像度のカメラが要求されるが、このようなカメラシステムはまだ存在しない。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2003−135393号公報
【特許文献2】特開2006−217441号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
近赤外蛍光とカラー画像を同時に取り込めるカメラシステムは、特殊なカラーフィルターと特殊な画像処理を採用したセンサーを使用することで達成されている。また、近赤外画像と可視光カラー画像を別々に取り込み、後段の処理で重ね合わせることでも達成可能である。しかし、今後高解像度版のカメラシステムなどを開発する場合に、専用の特殊センサーを開発したり、画像を重ね合わせるための複数のセンサーを用いたシステムが必要になったりし、莫大な開発工数が必要となる。
【0007】
特殊なカラーフィルターを備えることなく単一のセンサーによって実現可能であり、さらに後段での重ね合わせ処理が必要なく、リアルタイムで近赤外画像とカラー画像を同時に取り込めるカメラシステムが望まれる。
【課題を解決するための手段】
【0008】
本発明は、汎用のイメージセンサーを用いて、近赤外光画像と可視光カラー画像を同時に得られるカメラシステムであり、所定波長の赤外光を被写体に照射して、被写体から発せられる照射赤外光とは異なる所定波長の赤外光を受光して、このときのカメラの撮像出力におけるホワイトバランスを調整して入射赤外光を白表示とするステップと、被写体にRGB光源からの白色の可視光を照射して、被写体から発せられる可視光を受光して、RGB光源のRGB別の強度を調整することで、撮像画像におけるホワイトバランスを調整するステップと、を含む。
【0009】
また、本発明に係る撮像装置は、所定波長の赤外光を被写体に照射する赤外線照射手段と、被写体にRGB光を照射する手段であって、射出光強度がRGB独立して調整可能なRGB光源と、被写体からの光から前記赤外線照射手段から発生される所定波長の赤外線を除去するフィルタと、このフィルタを通った光を受光して撮像信号を出力するカメラと、前記赤外線照射手段からの赤外線を被写体に照射しているときに、前記カメラで受光した撮像信号について白色となるようにホワイトバランスを調整するホワイトバランス調整手段と、前記RGB光源からの光を被写体に照射しているときに、前記ホワイトバランス調整手段におけるホワイトバランスを固定した状態で前記RGB光源からのRGB別の射出強度を調整してカメラからの撮像信号のホワイトバランスを調整するRGB調整手段と、を含む。
【発明の効果】
【0010】
本発明に係るホワイトバランスの調整によれば、特殊なカラーフィルターを備えないイメージセンサーを用いて、インドシアニングリーンなどから発生される赤外光画像と、通常の臓器などのRGB画像を同時に取り込み、同時に表示することが可能となる。このため、容易に内視鏡、顕微鏡カメラなどに最適なイメージセンサーを用いた手術ナビゲーション用のカメラシステムを提供可能となる。
【図面の簡単な説明】
【0011】
【図1】撮影システムの全体構成を示す図である。
【図2】処理の手順を示すフローチャートである。
【図3】映像信号処理回路の詳細を示した図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について、図面に基づいて説明する。
【0013】
図1は、実施形態に係るホワイトバランス調整装置を含む撮影システムの構成を示す図である。カメラ本体10には、外部からの照射光を受け入れ、照射光をガイドして、被写体14に向けて射出する照射光ガイド12が内蔵されている。また、被写体14からの光を受け入れてガイドする受け入れ光ガイド18が内蔵されている。この受け入れ光ガイド18は、受け入れ光を赤外線フィルタ20を介し、イメージセンサ16に導く。図1は、内視鏡を示す図となっているが、内視鏡以外にも外光(本発明に含まれる照明以外による光)の影響が少ない用途には、同様に本発明は有効である。
【0014】
カメラ本体10は、基部10aが比較的大きくなっており、ここにイメージセンサ16が内蔵されている。この基部10aの背面に照射光ガイド12の光受け入れ端が形成されている。また、イメージセンサ16からの映像信号の出力部も基部10aの背面に形成されている。一方、カメラ本体10の先端側は、細長の棒状部10bとなっており、その先端10cに照射光ガイド12からの照射光を射出する射出部と、被写体14からの光を受け入れて受け入れ光ガイド18に導入する光受け入れ部が形成されている。
【0015】
本実施形態においては、棒状部10bを、患者の臓器内部などを挿入して、先端10cから照射光を対象となる患部(被写体14)に照射し、被写体から発生される近赤外光および可視光の映像を撮影する。
【0016】
なお、照射光ガイド12、受け入れ光ガイド18は、可視光および赤外光を通す光ファイバで構成されており、照射光の射出部や被写体からの光の受け入れ部には、必要に応じてレンズなどの光学系が配置される。また、イメージセンサ16としては、CCD(Charge Coupled Device)撮像装置が用いられているが、CMOS(Complementary Metal Oxide Semiconductor)撮像装置などでもかまわない。
【0017】
さらに、イメージセンサ16の前段には、特定波長の赤外光を除去する赤外線フィルタ20が設けられている。これは、後述する照射赤外光がそのまま反射された光をイメージセンサ16に入力されるのを防止するためである。
【0018】
カメラ本体10の背面の照射光ガイド12の光受け入れ部には光源装置22からの照射光が供給される。本実施形態では、フレキシブルな光ファイバなどによって、カメラ本体10の背面の照射光受け入れ部と、光源装置22の光射出部が接続されている。光源装置22は、赤外光(IR光)LED(Light Emitting Diode)24と、RGBの独立光源を有する可視光LED26を有している。そして、IR光LED24と、可視光LED26からの射出光がレンズ28を介し、カメラ本体10の照射光ガイド12に供給される。
【0019】
また、IR光LED24、可視光LED26からの照射光の射出は、LED駆動制御回路30によって制御される。特に、本実施形態において、IR光LED24の射出光は、780nmの赤外光であり、可視光LED26は、R(赤)光、G(緑)光、B(青)光の光をそれぞれ射出する3つのLEDを含んでおり、LED駆動制御回路30によって、RGBの射出光強度が独立して制御可能である。
【0020】
イメージセンサ16からの画像信号は、信号処理回路40に供給される。この信号処理回路40は、映像信号処理回路42と、カメラ制御回路44が設けられ、カメラ制御回路44によってイメージセンサ16の動作が制御され、イメージセンサ16からの映像信号が映像信号処理回路42に供給されて、ここで各種の処理がされて、出力信号(NTSC映像信号、RGB信号など)が外部のモニタ50に供給され、ここに撮影された映像が表示される。なお、信号処理回路40には、制御回路46が設けられ、映像信号処理回路42、カメラ制御回路44の処理動作を制御している。
【0021】
また、この制御回路46は、映像信号処理回路42におけるホワイトバランス調整や、LED駆動制御回路30におけるRGB別の発光強度の調整なども行う。
【0022】
このような撮像システムにおいて、通常はIR光LED24と、可視光LED26の両方が点灯し、赤外光と可視光の両方がレンズ28、照射光ガイド12を介し被写体14に照射される。
【0023】
被写体からの光は、赤外線フィルタ20において、IR光LED24から出力され、そのまま反射された780nmの光が除去され、イメージセンサ16に至る。被写体14は、人体など生体の臓器であり、予めインドシアニングリーンが投与されている。従って、インドシアニングリーンが存在する血管などにおいて、830−870nmの近赤外蛍光が発生し、この近赤外蛍光と、可視光LED26からの可視光の被写体14による反射光がイメージセンサ16に撮影される。
【0024】
ここで、本撮影システムにおいては、通常の撮影に先立って、図2に示すような手順で映像におけるホワイトバランスの調整を行う。
【0025】
まず、IR光源である、IR光LED24のみを点灯する(S11)。この状態で、映像信号処理回路42において、オートホワイトバランス機能(AWB機能)によって、出力される映像信号が白くなるようにホワイトバランスを調整する(S12)。
【0026】
ここで、IR光LED24からの780nmの赤外光を被写体に照射した場合、780nmの光のそのままの反射光と、インドシアニングリーンからの830−870nmの近赤外蛍光の2種類の光のみが被写体14より発生せられる。780nmの光は、赤外線フィルタ20によって除去されるため、インドシアニングリーンからの830−870nmの近赤外蛍光の2種類の光のみがイメージセンサ16に入射する。そして、この近赤外蛍光についての色がホワイトバランス調整機能によって、白色に設定される。すなわち、そのときの入射光によってイメージセンサ16において発生される、RGB信号のバランスが白色に調整される。イメージセンサ16は、RGB独立の画素を有しており、これら画素の出力信号がRGB信号になる。インドシアニングリーンによる近赤外蛍光のみが入射した場合も、イメージセンサ16が入射近赤外光に応じてRGB別の映像信号を生成するので、このときのRGBのバランス(それぞれに乗算するウェイト)を調整することで、そのとき出力される映像信号を白色にできる。なお、近赤外蛍光に対した映像信号は、白以外の色にも設定を変更することで対応可能である。
【0027】
次に、IR光源(IR光LED24)を消灯し、可視光源(可視光LED26)のみを点灯する(S13)。この状態で、上述のようにして調整したホワイトバランスを固定しおき、可視光LED26におけるRGB各色の射出光強度を調整し、イメージセンサ16からの出力におけるホワイトバランスを調整する(S14)。このホワイトバランス調整は、通常行われているオートホワイトバランス調整装置における色温度の検出に基づいて行ってもよいし、モニタ50の表示を見てのユーザの入力に応じて行ってもよいし、両者を組み合わせてもよい。なお、オートホワイトバランス調整といっても、この場合のホワイトバランスの調整は、RGBの光源側の調整であり、通常の映像信号側の処理ではない。
【0028】
このようにして、カメラの映像信号処理側のホワイトバランスは、固定した状態で、可視光画像におけるホワイトバランスの調整が可視光光源のRGB射出強度の調整によって行われる。ここで、本実施形態における映像は、内視鏡を用いた手術などついて行う。従って、外光が全くない条件で、上述の設定を行うことができる。
【0029】
このようにして、インドシアニングリーンからの近赤外光についての映像は白色に設定され、可視光については照射光のRGBの強度バランスを調整して映像信号におけるホワイトバランス調整がなされる。そこで、この状態で、IR光源(IR光LED24)、RGB光源(可視光LED26)からの両方を点灯し、映像信号を得る(S15)。この場合に得られる画像は、「通常の画像+IR発光部分が白色」という画像になる。インドシアニングリーンからの近赤外光についての映像は白色とすることが好適である。体内の組織や体液は白色を有するものがない。近赤外光の映像を白色に設定することで、体内の組織や体液と、インドシアニングリーンからの近赤外光と、を区別して観察することが容易になる。また、映像信号には、通常は体内の画像には表示されないはずの白色の像が表示されるため、インドシアニングリーンからの近赤外光の確認を一層容易にする。
【0030】
このように、本実施形態では、IR画像として、イメージセンサ16のRGBの各色画素から信号をすべて利用する。従って、入射光の効率の高い利用がはかれ、微弱な近赤外蛍光についても十分な白色画像を得ることができる。
【0031】
また、通常画像におけるホワイトバランスも十分調整ができるため、得られた映像信号における画像を見やすいものにできる。
【0032】
なお、上述のようなホワイトバランスの調整は、電源投入時に自動的に行ってもよいが、ユーザのボタン操作などの指示に基づき、開始することが好適である。そして、S11〜S15の動作を自動的に行うとよい。また、IR光についてのホワイトレベルの調整、RGB光によるホワイトレベルの調整の両時点において、一旦動作を停止し、ユーザの確認を得ることも好適である。そして、ユーザが変更したい場合には、ボタン操作などによる指示を取り込み、設定値を変更して、次の動作に進むことが好適である。
【0033】
図3には、図1の映像信号処理回路42などをより詳細に表した図を示す。イメージセンサ16からの映像信号は、映像信号処理回路42のAFE(オート・フロント・エンド)60に入力される。このAFE60は、イメージセンサ16からの映像信号を増幅、A/D変換などし、後処理回路に処理できるデータにする。AFE60からのデジタルの映像信号は映像データ処理回路62に入力され、ここで映像信号をモニタ50において表示させるための各種処理が行われる。映像データ処理回路62においては、ゲイン調整、ガンマ補正、色補正、輪郭強調、画素欠陥補正などの処理が行われる。そして、この映像データ処理回路62からの出力信号が出力インタフェース(I/F)70を介しモニタ50に供給され、ここに表示される。
【0034】
映像データ処理回路62には、露光制御部64が接続されている。この露光制御部64は、映像データから露光時間を制御する。すなわちカメラ制御回路44の駆動回路44aを制御することで、イメージセンサ16の電荷転送タイミングを制御して、1画面の露光時間を制御する。また、映像データ処理回路62には、WB制御部66も接続されている。このWB制御部は、上述したように、近赤外光のみが入力されて時に、出力信号が白表示になるようにRGBのバランスを制御する。例えば、RGB各信号への係数がa,b,cであると、aR+bG+cBが白色なるa、b、cを求める。そして、このWB制御部66には、レジスタ68が接続されており、求められた係数a,b,cは、このレジスタ68に記憶され、以後の映像データ処理において用いられる。
【0035】
なお、レジスタ68には、AFE60における増幅率についてのデータも記憶され、AFE60の増幅回路のゲインが記憶されている設定値によって制御される。さらに、露光制御部64における露光の設定値もレジスタ68に記憶される。
【0036】
また、ホワイトバランス制御部66、露光制御部64は、制御回路46にも接続されている。制御回路46は、内部の光源バランス制御部46aにより、LED駆動制御回路30を制御し、可視光LED26のRGBのバランスを制御する。この可視光LED26におけるRGB別のバランスについてのデータもレジスタ68に記憶される。また、露光制御部64は、明るさに応じて、LEDの発光量を制御してもよく、この場合の設定値もレジスタ68に記憶される。
【0037】
さらに、レジスタ60内に記憶されている設定値は、外部からの制御信号によっても書き換え可能になっている。従って、ユーザの好みにより、また映像の内容を見ながらユーザが入力した調整信号に応じて、レジスタ68内の設定値が変更でき、これによってホワイトバランスなども調整が可能になっている。
【0038】
ここで、イメージセンサ16として、CCDを利用した場合について説明したが、CMOSを使用した場合には、その出力がデジタルであり、AFE60におけるA/D変換は不要である。さらに、露光時間の制御も不要となる。
【0039】
なお、一般的なカメラでは、赤外ノイズを除去するIRカットフィルタを備えている。本実施形態では、上述のように、インドシアニングリーンからの赤外光を受光する必要があり、IRカットフィルタは除去する。
【0040】
また、インドシアニングリーンからの近赤外蛍光は比較的強度が小さい。そこで、近赤外蛍光の強度に応じて、可視光LED26のホワイトバランスの調整の際に、全体的な強度も調整するとよい。すなわち、近赤外蛍光の受光に応じて白色発光が十分視認できるように、可視光LED26の強度を調整する。これによって、弱い近赤外光についても、十分な表示が行える。なお、上述した赤外線フィルタ20によって、可視光を少し減衰することも好適である。
【0041】
さらに、薬剤としては、インドシアニングリーンに限定されることはなく、赤外光によって励起されて照射光と異なる波長の発光を生じるものであれば、本実施形態と同様に適切なホワイトバランスの調整を行うことができる。
【符号の説明】
【0042】
10 カメラ本体、10a 基部、10b 棒状部、10c 先端、12 照射光ガイド、14 被写体、16 イメージセンサ、18 受け入れ光ガイド、20 赤外線フィルタ、22 光源装置、24 IR光LED、26 可視光LED、28 レンズ、30 駆動制御回路、40 信号処理回路、42 映像信号処理回路、44 カメラ制御回路、44a 駆動回路、46 制御回路、46a 光源バランス制御部、50 モニタ、60 レジスタ、62 映像データ処理回路、64 露光制御部、66 WB制御部、66 ホワイトバランス制御部、68 レジスタ。
【特許請求の範囲】
【請求項1】
所定波長の赤外光を被写体に照射して、被写体から発せられる照射赤外光とは異なる所定波長の赤外光を受光して、このときのカメラの撮像出力におけるホワイトバランスを調整して入射赤外光を白表示とするステップと、
被写体にRGB光源からの白色の可視光を照射して、被写体から発せられる可視光を受光して、RGB光源のRGB別の強度を調整することで、撮像画像におけるホワイトバランスを調整するステップと、
を含むホワイトバランス調整方法。
【請求項2】
所定波長の赤外光を被写体に照射する赤外線照射手段と、
被写体にRGB光を照射する手段であって、射出光強度がRGB独立して調整可能なRGB光源と、
被写体からの光から前記赤外線照射手段から発生される所定波長の赤外線を除去するフィルタと、
このフィルタを通った光を受光して撮像信号を出力するカメラと、
前記赤外線照射手段からの赤外線を被写体に照射しているときに、前記カメラで受光した撮像信号について白色となるようにホワイトバランスを調整するホワイトバラン調整手段と、
前記RGB光源からの光を被写体に照射しているときに、前記ホワイトバランス調整手段におけるホワイトバランスを固定した状態で前記RGB光源からのRGB別の射出強度を調整してカメラからの撮像信号のホワイトバランスを調整するRGB調整手段と、
を含む撮像装置。
【請求項1】
所定波長の赤外光を被写体に照射して、被写体から発せられる照射赤外光とは異なる所定波長の赤外光を受光して、このときのカメラの撮像出力におけるホワイトバランスを調整して入射赤外光を白表示とするステップと、
被写体にRGB光源からの白色の可視光を照射して、被写体から発せられる可視光を受光して、RGB光源のRGB別の強度を調整することで、撮像画像におけるホワイトバランスを調整するステップと、
を含むホワイトバランス調整方法。
【請求項2】
所定波長の赤外光を被写体に照射する赤外線照射手段と、
被写体にRGB光を照射する手段であって、射出光強度がRGB独立して調整可能なRGB光源と、
被写体からの光から前記赤外線照射手段から発生される所定波長の赤外線を除去するフィルタと、
このフィルタを通った光を受光して撮像信号を出力するカメラと、
前記赤外線照射手段からの赤外線を被写体に照射しているときに、前記カメラで受光した撮像信号について白色となるようにホワイトバランスを調整するホワイトバラン調整手段と、
前記RGB光源からの光を被写体に照射しているときに、前記ホワイトバランス調整手段におけるホワイトバランスを固定した状態で前記RGB光源からのRGB別の射出強度を調整してカメラからの撮像信号のホワイトバランスを調整するRGB調整手段と、
を含む撮像装置。
【図1】
【図2】
【図3】
【図2】
【図3】
【公開番号】特開2012−29728(P2012−29728A)
【公開日】平成24年2月16日(2012.2.16)
【国際特許分類】
【出願番号】特願2010−169802(P2010−169802)
【出願日】平成22年7月28日(2010.7.28)
【出願人】(000001889)三洋電機株式会社 (18,308)
【出願人】(506227884)三洋半導体株式会社 (1,155)
【出願人】(504174180)国立大学法人高知大学 (174)
【Fターム(参考)】
【公開日】平成24年2月16日(2012.2.16)
【国際特許分類】
【出願日】平成22年7月28日(2010.7.28)
【出願人】(000001889)三洋電機株式会社 (18,308)
【出願人】(506227884)三洋半導体株式会社 (1,155)
【出願人】(504174180)国立大学法人高知大学 (174)
【Fターム(参考)】
[ Back to top ]