撮像装置及び内視鏡装置
【課題】撮像画像の歪みを抑制できる撮像装置及び内視鏡装置を提供すること。
【解決手段】複数のラインからなるフレームに対応する複数の光電変換素子を有し、複数の光電変換素子による電荷の蓄積期間の始期がライン毎に異なると共に、該蓄積された電荷を読みだして画像信号として繰り返し出力する撮像手段と、撮像手段の撮像範囲を露光する光源と、撮像手段により撮像される映像の動きに応じて、光源の露光時間を制御する制御手段と、を具備する。
【解決手段】複数のラインからなるフレームに対応する複数の光電変換素子を有し、複数の光電変換素子による電荷の蓄積期間の始期がライン毎に異なると共に、該蓄積された電荷を読みだして画像信号として繰り返し出力する撮像手段と、撮像手段の撮像範囲を露光する光源と、撮像手段により撮像される映像の動きに応じて、光源の露光時間を制御する制御手段と、を具備する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、ローリングシャッタ方式のイメージセンサを備えた撮像装置及び内視鏡装置に関する。
【背景技術】
【0002】
従来の撮像装置には、撮像素子としてCCDイメージセンサを採用したものがある(特許文献1参照)。CCDイメージセンサは、光を電荷に変換(光電変換)し、この変換した電荷を蓄積する。CCDイメージセンサでは、グローバルシャッタ(グローバル露光)と呼ばれる方式で各フォトセンサに蓄積された電荷を読み出す。グローバルシャッタ方式では、各フォトセンサに蓄積された電荷の読み出しが、すべての画素で同期している。このため、CCDイメージセンサは、被写体に動きがある場合でも、画像に歪みが生じにくいという特徴がある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平08−15617号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、CCDイメージセンサは、入力電圧として、複数の電圧(例えば、+15V、‐7.5V、+5V)を必要とするため、数種の電圧を生成する電源が必要となる。結果、撮像装置の製造コストが高くなるという問題がある。また、動作電圧が高いため、消費電力も高くなるという問題がある。
【0005】
一方、CMOSイメージセンサは、複数の電圧を必要とせず、動作電圧も低い。このため、数種の電圧を生成する電源を必要とせず撮像装置の製造コストおよび消費電力を抑制することができる。しかしながら、CMOSイメージセンサでは、ローリングシャッタ(ライン露光)と呼ばれる方式で各フォトセンサに蓄積された電荷を読み出しており、各フォトセンサに蓄積された電荷がライン毎に読みだされるために、各フォトセンサに蓄積された電荷の読み出しが同期しない。このため、CMOSイメージセンサでは、被写体に動きがある場合、CCDイメージセンサに比べて画像に歪みが生じやすくなるという問題がある。
【0006】
本発明は、かかる従来の課題を解決するためになされたものであり、撮像画像の歪みを抑制できる撮像装置及び内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
実施形態に係る撮像装置は、複数のラインからなるフレームに対応する複数の光電変換素子を有し、複数の光電変換素子による電荷の蓄積期間の始期がライン毎に異なると共に、該蓄積された電荷を読みだして画像信号として繰り返し出力する撮像手段と、撮像手段の撮像範囲を露光する光源と、撮像手段により撮像される映像の動きに応じて、光源の露光時間を制御する制御手段と、を具備する。
【発明の効果】
【0008】
本発明によれば、撮像画像の歪みを抑制できる撮像装置及び内視鏡装置を提供できる。
【図面の簡単な説明】
【0009】
【図1】第1の実施形態に係る内視鏡装置の構成を示す図。
【図2】第1の実施形態に係る内視鏡装置が具備するヘッドの構成を示す図。
【図3】第1の実施形態に係る内視鏡装置が具備するCCUの構成を示す図。
【図4】メモリに記憶されたテーブルデータを示す図。
【図5】第1の実施形態に係る内視鏡装置が具備するライトソースの構成を示す図。
【図6】ローリングシャッタ(ライン露光)についての説明図。
【図7】第1の実施形態での疑似グローバルシャッタについての説明図。
【図8】第1の実施形態に係る内視鏡装置の動作を示すフローチャート。
【図9】第2の実施形態に係る内視鏡装置が具備するCCUの構成を示す図。
【図10】メモリに記憶されたテーブルデータを示す図。
【図11】第2の実施形態での疑似グローバルシャッタについての説明図。
【図12】第2の実施形態に係る内視鏡装置の動作を示すフローチャート。
【発明を実施するための形態】
【0010】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
(第1の実施形態)
この第1の実施形態では、撮像装置として内視鏡装置を例に、その構成を説明する。図1は、第1の実施形態に係る内視鏡装置1(以下、内視鏡装置1と記載する)の構成を示す図である。この第1の実施形態では、撮像素子としてCMOSイメージセンサを採用した実施形態について説明する。なお、内視鏡装置1は、硬性内視鏡装置(被検査体内へ挿入するスコープが曲がらない硬性のタイプ)でも、軟性内視鏡装置(被検査体内へ挿入するスコープが曲がる軟性のタイプ)でも構わない。
【0011】
内視鏡装置1は、先端に対物レンズ10aが設けられ、被検査体内へ挿入されるスコープ10と、対物レンズ10aの結像面に位置するCMOSイメージセンサ20a(撮像手段)により撮像される画像信号をCCUへカメラケーブル50を介して出力するヘッド20と、ヘッド20から出力された画像信号を処理するCCU(camera control unit)30と、撮像範囲を露光するライトソース40(光源)と、ライトソース40からの光をスコープ10の先端部へ導入するための光ファイバ60を具備する。
【0012】
なお、カメラケーブル50には、ヘッド20とCCU30との間で画像信号及び制御信号を送受信するための信号線およびCCU30からヘッド20へ電力を供給するための電力線などが収容されている。
【0013】
図2は、ヘッド20の構成を示す図である。
ヘッド20は、CMOSイメージセンサ20a、接続端子21、I/F回路22及びメモリ23を具備する。CMOSイメージセンサ20aは、フルHD(high density)に対応したカラーCMOSイメージセンサである。この第1の実施形態では、CMOSイメージセンサ20aは、プログレッシブスキャンで駆動されるが、インターレーススキャンで駆動してもよい。
【0014】
接続端子21には、カメラケーブル50が接続される。I/F回路22は、シリアライザ22a及びLVDS変換回路22bを備え、CMOSイメージセンサ20aから出力される画像信号をデジタル信号のまま、接続端子21に接続されたカメラケーブル50を介してCCU30へ送信する。メモリ23は、電気的に消去可能なROM(read only memory)(例えば、フラッシュメモリ等)であり、CMOSイメージセンサ20aの設定条件(例えば、フレームレート、ゲイン等)が記憶される。この設定条件を記憶するメモリは、書き換えが可能であれば、メモリ以外のメモリも使用できる。なお、この第1の実施形態では、フレームレートを60fps(frames per second)として説明する。
【0015】
図3は、CCU30の構成を示す図である。
接続端子31、I/F回路32、画像信号処理回路33、画像出力回路34、動き判定回路35、システム制御回路36及び電源回路37を具備する。接続端子31には、カメラケーブル50が接続される。I/F回路32は、デシリアライザ32a及びLVDS変換回路32bを備え、ヘッド20から送信される画像信号を画像信号処理回路33へ出力する。また、I/F回路32は、システム制御回路36から出力される制御信号を接続端子31に接続されたカメラケーブル50を介してヘッド20へ送信する。
【0016】
画像信号処理回路33は、画像信号処理部33aと同期信号生成部33bを具備する。画像信号処理部33aは、I/F回路32から出力される画像信号を処理して画像出力回路34へ出力する。画像信号処理部33aでは、画素情報の並べ替えや欠陥画素の補正処理を行った後、デモザイキング処理、ニー補正、ガンマ補正、ディテールやマトリクス処理等のエンハンス処理が行われる。同期信号生成部33bは、CMOSイメージセンサ20aの撮像に用いられる同期信号を生成する。該同期信号は、設定されたフレームレートに応じた所定の間隔で生成される(この第1の実施形態では、1/60秒ごと)。生成された同期信号は、MPU36cへ出力されると共に、I/F回路32から接続端子31に接続されたカメラケーブル50を介してヘッド20へ送信される。
【0017】
画像出力回路34は、D/Aコンバータ34a及びDVI(digital visual interface)トランスミッタ34bを備え、画像信号処理回路33で処理された画像信号をアナログ及びデジタルのRGB(red, green, blue)信号として外部のモニタ(図示せず)へ出力する。
【0018】
動き判定回路35は、動き算出部35aと比較部35bを具備する。動き算出部35aは、画像信号処理部33aから出力される画像を取り込む。動き算出部35aは、取り込んだ画像の全体の動きベクトルの絶対値の平均値VM(以下、単に平均値VMと記載する)を算出する。
【0019】
動きベクトルの平均値VMは、例えば、以下のように算出する。
動き算出部35aは、取り込んだ画像を複数のエリアに分割(例えば、16分割)し、分割したエリアごとに既知の手法を用いて動きベクトルの絶対値を算出する。次に、動き算出部35aは、算出した各エリアの動きベクトルの絶対値を足し合わせる。次に、動き算出部35aは、足し合わせた動きベクトルの絶対値をエリア数で除算して動きベクトルの平均値VMを得る。
【0020】
比較部35bには、閾値TH1,TH2が予め記憶されている。比較部35bは、動き算出部35aで算出された動きベクトルの平均値VMを、この予め記憶されている閾値TH1,TH2と比較する。閾値TH1,TH2は、画像の動きの速さを判定するための閾値である。閾値TH1,TH2は、TH1>TH2の関係にある。なお、閾値TH1,TH2を後述するメモリ36aへ記憶するようにしてもよい。
【0021】
この第1の実施形態では、動きベクトルの平均値VMと閾値TH1,TH2との関係から画像の動きを以下のように判定している。
VM>TH2: 速い
TH2≧VM≧TH1:ふつう
TH1>VM: 遅い
【0022】
システム制御回路36は、メモリ36a、OSD(On-screen Display)コントローラ36b、MPU(Micro Processing Unit)36c、受信部36d及び操作受付部36eを備え、この内視鏡装置1全体を制御する。
【0023】
メモリ36aは、例えば、EEPROM(Electrically Erasable Programmable Read-Only Memory)やフラッシュメモリであり、MPU36cを動作させるためのプログラムや後述するテーブルデータ等が記憶されている。図4は、メモリ36aに記憶されているテーブルデータを示す図である。図4に示すテーブルデータには、比較部35bでの比較結果に対応する露光時間及び輝度が記載されている。
【0024】
MPU36cは、受信部36dで受信したリモート制御信号、操作受付部で受付けた処理内容及びメモリ36aに記憶された設定情報に基づいてヘッド20、CCU30及びライトソース40を制御する。また、MPU36cは、時間を計測するタイマTを内蔵する(以下、内蔵タイマTと称する)。
【0025】
MPU36cは、メモリ36aに記憶されている図4のテーブルデータを参照し、比較部35bでの比較結果に基づいてLED41の露光時間と輝度を制御する。露光時間T1〜T3は、T3>T2>T1の関係にある。つまり、露光時間T1が最も露光時間が短く、露光時間T3が最も露光時間が長い関係にある。また、輝度(明るさ)B1〜B3は、B1>B2>B3の関係にある。つまり、輝度B1が最も輝度が高く(明るく)、輝度B3が最も輝度が低い(暗い)関係にある。
【0026】
一般に、露光時間が長いほうが感度がよくなる。しかしながら、被写体の動きが速い場合に、露光時間を長くすると、画像に乱れが生じる虞がある。逆に、動きが遅い場合には、画像に乱れが生じる虞が少ない。このため、この第1の実施形態では、被写体の動きが速い場合は、露光時間を短くし、被写体の動きが遅い場合は、露光時間を長くしている。
【0027】
なお、感度を得るためには輝度を高くしたほうがよいが、内視鏡装置では、被写体が患者の体内となるため、輝度が高いと患部に熱さを感じたり、熱による損傷を生じる虞がある。そこで、この第1の実施形態では、露光時間に応じて輝度を変更している。具体的には、露光時間が短い場合は、輝度を高くし、露光時間が長い場合は、輝度を低くしている。この場合、露光時間が長い場合は、輝度が低くすることで患部への負担を低減することができる。
【0028】
OSDコントローラ36bは、画像信号処理部33aで処理される画像信号の画像にテキストデータやビットマップ等を重畳表示する。
【0029】
受信部36dは、外部のPC等から送信されるリモート制御用の制御信号を受信してMPU36cへ出力する。なお、外部PCとの通信は、RS232−C用シリアルポートを介して行われる。操作受付部36eは、外部の操作キーで操作された処理を受け付けMPU36cへ出力する。
【0030】
電源回路37は、外部から供給される電力を所定の電圧に変換してCCU30内の各回路へ供給する。また、上記電力は、接続端子31に接続されたカメラケーブル50を介してヘッド20にも供給される。
【0031】
図5は、ライトソース40の構成を示す図である。
ライトソース40は、LED(light emitting diode)41、レンズ42及びLEDドライバ43を具備する。また、ライトソース40には、光ファイバ60が接続される。LED41は、CMOSイメージセンサ20aの撮像範囲を露光するための光を発する。レンズ42は、LED41からの光を光ファイバ60へ導入する。光ファイバ60へ導入された光は、スコープ10の先端部へ導かれ、CMOSイメージセンサ20aの撮像範囲を露光する。
【0032】
LEDドライバ43は、CCU30のMPU36cから出力される駆動信号に基づいてLED41の発光時間(露光時間)及び明るさ(輝度)を制御する。LED41の明るさは、LED41へ供給する電流値を変更することにより制御する。なお、LED41へ供給する電流値を変化させる代わりに、LED41からの光を遮光する絞りを具備するようにしてもよい。また、LED41の光を遮光するロータリシャッタを具備するようにしてもよく、LED41の代わりにランプ(例えば、キセノンランプ)を用いてもよい。
【0033】
(疑似グローバルシャッタ)
なお、この内視鏡装置1では、上記露光時間及び輝度の制御に加えて、次に説明する疑似グローバルシャッタを採用している。内視鏡装置1では、上述した被写体の動きの速さに応じて露光時間を変更するのに加え、該疑似グローバルシャッタを採用することにより、CMOSイメージセンサ20aで撮像される画像の歪みをさらに抑制している。以下、疑似グローバルシャッタについて説明する。
【0034】
初めに、この第1の実施形態に係るCMOSイメージセンサ20aの撮像方式について説明する。図6は、ローリングシャッタ(ライン露光)の説明図である。図7は、疑似グローバルシャッタの説明図である。以下、図6及び図7を参照して、この第1の実施形態に係るCMOSイメージセンサ20aの撮像方式について説明する。
【0035】
図6の縦に縦方向に記載した数値は、走査線(ライン)の番号を示している。図6では、走査線が1080本ある場合を示している。また、図6のS1〜S1080は、各走査線における電荷の蓄積期間、R1〜R1080は、各走査線における電荷の読出し期間をそれぞれ表わしている。
【0036】
CCU30の同期信号生成部33bから同期信号(トリガー)が送信されると、ライン露光が開始される。このライン露光では、各走査線1〜1080毎に、フォトトランジスタ(光電変換素子)へ電荷が蓄積され、各フォトトランジスタに蓄積された電荷を電圧に変換・増幅して読みだす。なお、各走査線1〜1080では、電荷の読み出し終了後に、電荷の蓄積が続けて行われる。
【0037】
上記のようにライン露光では、読出しは走査線1〜1080毎に行われるため、図6で示すように、蓄積期間の開始と終了が各走査線1〜1080で異なる。その結果、被写体が動いている場合、CMOSイメージセンサ20aで撮像された画像が歪んでしまう。
【0038】
以下、図7を参照して疑似グローバルシャッタについて説明する。図7の縦に縦方向に記載した数値は、走査線(ライン)の番号を示している。図7では、話を簡単にするため走査線が3本であるものとしている。また、図7のS1〜S3は、各走査線における電荷の蓄積期間、R1〜R3は、各走査線における電荷の読出し期間をそれぞれ表わしている。また、図7には、LED41のON/OFFのタイミングを示した。
【0039】
初めに、CCU30の同期信号生成部33bから同期信号(トリガー)が送信されると、ライン露光が開始され、各走査線毎に、フォトトランジスタへ電荷が蓄積された後、各フォトトランジスタに蓄積された電荷を電圧に変換・増幅して読みだされる。なお、各走査線では、電荷の読み出し終了後に電荷の蓄積が続けて行われる。
【0040】
MPU36cは、同期信号生成部33bから同期信号が出力されると、内蔵タイマTを起動する。そして、メモリ36aに記憶されている露光開始時間が経過すると、MPU36cは、ライトソース40へ制御信号を出力して、CMOSイメージセンサ20aの撮像範囲を露光する。この際、MPU36cは、比較部35bでの比較結果に基づいて、露光時間及び輝度を制御する。
【0041】
なお、図4で説明したテーブルデータに記載される露光時間T1〜T3は、図7の破線で示した走査線毎の電荷の蓄積期間が重複する範囲内となるように予め調整されている。すなわち、露光時間T1〜T3は、図7に示した露光期間Tよりも短い時間となるように設定されている。
【0042】
MPU36cは、露光時間を内蔵タイマTで計測し、比較部35bでの比較結果に対応する露光時間が経過すると、ライトソース40へ制御信号を出力して、CMOSイメージセンサ20aの撮像範囲の露光を終了する。なお、露光終了後、MPU36cは、内蔵タイマTをリセットして次フレームにおける時間計測に備える。
【0043】
以上のように、MPU36cは、図7の破線で示した走査線毎の電荷の蓄積期間が重複する範囲内となるよう露光期間を制御するとともに、比較部35bでの比較結果に対応する露光時間及び輝度で被写体を露光する。
【0044】
(内視鏡装置1の動作)
図8は、第1の実施形態に係る内視鏡装置の動作を示すフローチャートである。以下、内視鏡装置1の動作について図8を参照して説明する。
初めに、動き算出部35aは、画像信号処理部33aから取り込んだ画像から動きベクトルの平均値VMを算出する(ステップS101)。
【0045】
比較部35bは、動き算出部35aで算出した動きベクトルの平均値VMを閾値TH1,TH2と比較する(ステップS102)。
【0046】
MPU36cは、メモリ36aに記憶されている図4のテーブルデータを参照し、比較部35bでの比較結果に基づいてLED41の露光時間と輝度を制御する。具体的には、比較部35bでの比較結果が、VM>TH2の場合、MPU36cは露光時間がT1、輝度がB1となるようにライトソース40のLEDドライバ43を制御する(ステップS103)。
【0047】
比較部35bでの比較結果が、TH2≧VM≧TH1の場合、MPU36cは露光時間がT2、輝度がB2となるようにライトソース40のLEDドライバ43を制御する(ステップS104)。
【0048】
比較部35bでの比較結果が、TH1>VMの場合、MPU36cは露光時間がT3、輝度がB3となるようにライトソース40のLEDドライバ43を制御する(ステップS105)。
【0049】
システム制御回路36は、動作が終了するまで、すなわち、内視鏡装置1の電源がOFFされるまで、上記動作を継続する。(ステップS106)。
【0050】
以上のように、この内視鏡装置1は、被写体の動きに応じて、露光時間及び輝度を変化させるようにしているので、CMOSイメージセンサ20aで撮像された画像の歪みを抑制することができる。また、露光時間が長い場合には、輝度を低くしているので、患部への負担を低減することができる。さらに、露光期間がCMOSイメージセンサ20aが備える各走査線の電荷の蓄積期間が重複する範囲内となるように制御しているので、CMOSイメージセンサ20aで撮像された画像の歪みをさらに抑制することができる。
【0051】
また、イメージセンサとしてCMOSイメージセンサを採用しているので、複数の電圧を必要とせず、動作電圧も低い。このため、数種の電圧を生成する電源が必要とせず撮像装置の製造コストおよび消費電力を抑制することができる。また、CMOSイメージセンサは、CCDイメージセンサに比べ、素子を高密度化できるので、内視鏡装置1をより小型化できる。
【0052】
なお、上記説明では、動き算出部35aで算出した動きベクトルの平均値VMを2つの閾値TH1,TH2と比較しているが、動きベクトルの平均値VMを比較するための閾値は、2つに限られない。例えば、閾値を一つだけとしてもよいし、3つ以上としてもよい。
【0053】
(第2の実施形態)
第1の実施形態では、露光期間を1フレームにおける最後の走査線の電荷の蓄積開始時から最初の走査線の電荷の蓄積終了時の範囲内とし、画像の動きに応じて露光時間及び輝度を変化させる実施形態について説明した。
【0054】
この第2の実施形態では、画像の動きに応じて、露光期間を1フレームにおける最後の走査線の電荷の蓄積開始時から最初の走査線の電荷の蓄積終了時の範囲内とする形態(第1の動作モード)と、露光期間を複数のフレームに跨った最後の走査線の電荷の蓄積開始時から最初の走査線の電荷の蓄積終了時の範囲内とする形態(第2の動作モード)とを切り替える実施形態について説明する。
【0055】
図9は、第2の実施形態に係る内視鏡装置2(以下、内視鏡装置2と記載する)が具備するCCU30Aの構成を示す図である。以下、図9を参照して、内視鏡装置2の構成について説明するが、内視鏡装置1が具備する構成と同一の構成には、同一の符号を付して重複した説明を省略する。また、内視鏡装置2が具備するCCU30A以外の構成(スコープ10、ヘッド20、ライトソース40)についても内視鏡装置1が具備する構成と同じであるため重複した説明を省略する。
【0056】
内視鏡装置2が具備するCCU30Aは、画像の動きに応じて、露光期間を1フレームにおける最後の走査線の電荷の蓄積開始時から最初の走査線の電荷の蓄積終了時の範囲内とする第1の動作モードと、露光期間を複数のフレームに跨った最後の走査線の電荷の蓄積開始時から最初の走査線の電荷の蓄積終了時の範囲内とする第2の動作モードとを切り替える切替回路38をさらに具備する。
【0057】
この第2の実施形態では、第1の動作モードでは、同期信号生成部33bから同期信号が1/60秒ごとに出力されるが、第2の動作モードでは、同期信号生成部33bから同期信号が1/30秒ごとに出力される。つまり、第1の動作モードでは、イメージセンサ20aから出力される映像信号のフレームレートが60fpsであるが、第2の動作モードでは、イメージセンサ20aから出力される映像信号のフレームレートが30fpsとなる。
【0058】
この動作を実現するために、第2の動作モードでは、MPU36cは、同期信号生成部33bへ、同期信号を第1の動作モード時(1/60秒)の倍、つまり、1/30秒毎に出力するように指示する。
【0059】
切替回路38は、メモリ38aとスイッチSWとを具備し、イメージセンサ20aから出力される映像信号のフレームレートを60fps(frames per second)に変換する機能を有する。メモリ38は、MPU36cからの制御に基づいてCMOSイメージセンサ20aから出力される画像信号を記憶(蓄積)及び出力する。
【0060】
スイッチSWは、MPU36cからの指示により接続先を切り替える。第1の動作モードでは、スイッチSWは、端子aに接続されたままとなる。第1の動作モードでは、イメージセンサ20aから出力される画像信号のフレームレートが60fpsであるため、イメージセンサ20aから出力される画像信号が画像出力回路34へそのまま出力される。
【0061】
第2の動作モードでは、1/60毎にスイッチSWの接続先が端子aから端子b、端子bから端子aへと切り替えられる。第2の動作モードでは、イメージセンサ20aから出力される画像信号のフレームレートが30fpsとなる。このため、切替回路38でフレームレートを60fpsにした後、画像出力回路34へ出力している。
【0062】
つまり、第2の動作モードでは、1/30秒ごとにしか出力されないイメージセンサ20aからの映像信号を2系統に分け、一方をそのまま画像出力回路34へ出力し、もう一方を一旦メモリ38aへ蓄積して、1/60後にこの蓄積した画像信号を画像出力回路34へ出力することでフレームレートを30fpsから60fpsへ変換している。この結果、第2の動作モードでは、同一の画像信号が1/60秒間隔で2回づつ出力されることになる。
【0063】
メモリ36Aは、例えば、EEPROMやフラッシュメモリであり、MPU36Cを動作させるためのプログラムや後述するテーブルデータ等が記憶されている。図10は、メモリ36Aに記憶されているテーブルデータを示す図である。図10に示すテーブルデータには、比較部35bでの比較結果に対応する露光時間及び輝度に加えて動作モードが記載されている。
【0064】
MPU36Cは、受信部36dで受信したリモート制御信号、操作受付部で受付けた処理内容及びメモリ36Aに記憶された設定情報に基づいてヘッド20、CCU30及びライトソース40を制御する。また、MPU36Cは、時間を計測するタイマTを内蔵する(以下、内蔵タイマTと称する)。
【0065】
MPU36Cは、メモリ36Aに記憶されている図10のテーブルデータを参照し、比較部35bでの比較結果に基づいてLED41の露光時間と輝度、及び動作モードを制御する。MPU36Cは、比較部35bでの比較結果が、VM>TH2、及び、TH2≧VM≧TH1の場合には、スイッチSWの接続先を端子aとし、第1の動作モードで動作する。また、MPU36Cは、比較部35bでの比較結果が、TH1>VMの場合には、スイッチSWの接続先を端子bとし、第2の動作モードで動作する。
【0066】
図11は、第2の動作モードの場合における疑似グローバルシャッタの説明図である。以下、図11を参照して、第2の動作モードについて説明する。なお、以下の説明では、第2の動作モードでは、イメージセンサ20aから出力される画像信号のフレームレートを、第1の動作モードの半分とした場合について説明する。また、第1の動作モードについては、第1の実施形態において図7を参照して説明したので重複した説明を省略する。
【0067】
図11の縦に縦方向に記載した数値は、走査線(ライン)の番号を示している。図11では、話を簡単にするため走査線が3本であるものとしている。また、図11のS1〜S3は、各走査線における電荷の蓄積期間、R1〜R3は、各走査線における電荷の読出し期間をそれぞれ表わしている。また、図11には、LED41のON/OFFのタイミングを示した。
【0068】
初めに、MPU35cは、同期信号生成部33bへ、同期信号のレートを第1の動作モードの時の半分、つまり、1/30秒毎に出力するように指示する。次に、MPU35cは、スイッチSWの接続先を60秒ごとに端子aから端子b、端子bから端子aへと切り替える。
【0069】
CCU30の同期信号生成部33bから同期信号(トリガー)が送信されると、ライン露光が開始され、各走査線毎に、フォトトランジスタへ電荷が蓄積された後、各フォトトランジスタに蓄積された電荷を電圧に変換・増幅して読みだされる。なお、各走査線では、電荷の読み出し終了後に電荷の蓄積が続けて行われる。
【0070】
MPU36Cは、同期信号生成部33bから同期信号が出力されると、内蔵タイマTを起動する。また、MPU36Cは、ライトソース40へ制御信号を出力して、CMOSイメージセンサ20aの撮像範囲の露光を開始する。この際、MPU36Cは、比較部35bでの比較結果に基づいて、露光時間及び輝度を制御する。
【0071】
なお、図10で説明したテーブルデータに記載される露光時間T4は、図11の破線で示した走査線毎の電荷の蓄積期間が重複する範囲内となるように予め調整されている。すなわち、露光時間T4は、図11に示した露光期間Tよりも短い時間となるように設定されている。
【0072】
MPU36Cは、露光時間を内蔵タイマTで計測し、比較部35bでの比較結果に対応する露光時間T4が経過すると、ライトソース40へ制御信号を出力して、CMOSイメージセンサ20aの撮像範囲の露光を終了する。なお、露光終了後、MPU36Cは、内蔵タイマTをリセットして次フレームにおける時間計測に備える。
【0073】
(内視鏡装置2の動作)
図12は、内視鏡装置2の動作を示すフローチャートである。以下、内視鏡装置2の動作について図12を参照して説明する。
初めに、動き算出部35aは、画像信号処理部33aから取り込んだ画像から動きベクトルの平均値VMを算出する(ステップS201)。
【0074】
比較部35bは、動き算出部35aで算出した動きベクトルの平均値VMを閾値TH1,TH2と比較する(ステップS202)。
【0075】
MPU36Cは、メモリ36Aに記憶されている図10のテーブルデータを参照し、比較部35bでの比較結果に基づいてLED41の露光時間と輝度、及び動作モードを制御する。具体的には、比較部35bでの比較結果がVM>TH2の場合、MPU36Cは、スイッチSWを端子a側に接続して第1の動作モードとし(ステップS203)、露光時間がT1、輝度がB1となるようにライトソース40のLEDドライバ43を制御する(ステップS204)。
【0076】
比較部35bでの比較結果がTH2≧VM≧TH1の場合、スイッチSWを端子a側に接続して第1の動作モードとし(ステップS205)、露光時間がT2、輝度がB2となるようにライトソース40のLEDドライバ43を制御する(ステップS206)。
【0077】
比較部35bでの比較結果がTH1>VMの場合、MPU36cは、スイッチSWを端子a側に接続して第2の動作モードとし(ステップS207)、露光時間がT4、輝度がB4となるようにライトソース40のLEDドライバ43を制御する(ステップS208)。
【0078】
システム制御回路36は、動作が終了するまで、すなわち、内視鏡装置1の電源がOFFされるまで、上記動作を継続する。(ステップS209)。
【0079】
以上のように、この内視鏡装置2は、被写体の動きが遅い場合には、露光期間を複数のフレームに跨った最後の走査線の電荷の蓄積開始時から最初の走査線の電荷の蓄積終了時の範囲内とする第2のモードに切り替えるようにしている。このため、露光時間が長くなり画像の感度がよくなるという効果がある。その他の効果は、内視鏡装置1と同じである。
【0080】
なお、上記説明では、比較部35bでの比較結果がTH2≧VM≧TH1の場合、第1の動作モードに切り替えているが、第2の動作モードに切り替えるようにしてもよい。また、第1の実施形態と同様に、動きベクトルの平均値VMを比較するための閾値を一つだけとしてもよいし、3つ以上としてもよい。
【0081】
(その他の実施形態)
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、上記第1,第2の実施形態では、比較部35bでの比較結果に基づいて露光時間及び輝度(明るさ)を変更しているが、外部の切替信号を受信部36d又は操作受付部36eで受信し、この受信した切替信号に基づいて露光時間及び輝度(明るさ)を変更するように構成してもよい。また、第2の実施形態では、比較部35bでの比較結果に基づいて第1の動作モードと第2の動作を切り替えているが、外部の切替信号を受信部36d又は操作受付部36eで受信し、この受信した切替信号に基づいて第1の動作モードと第2の動作を切り替えるように構成してもよい。
【符号の説明】
【0082】
1,2…内視鏡装置、10…スコープ、20…ヘッド、21…接続端子、22…I/F回路、23…メモリ、30…CCU、31…接続端子、32…I/F回路、33…画像信号処理回路、34…画像出力回路、35…動き判定回路、36…システム制御回路、37…電源回路、38…切替回路、40…ライトソース、41…ランプ、42…レンズ、43…液晶素子、44…液晶ドライバ、50…カメラケーブル、60…光ファイバ。
【技術分野】
【0001】
本発明の実施形態は、ローリングシャッタ方式のイメージセンサを備えた撮像装置及び内視鏡装置に関する。
【背景技術】
【0002】
従来の撮像装置には、撮像素子としてCCDイメージセンサを採用したものがある(特許文献1参照)。CCDイメージセンサは、光を電荷に変換(光電変換)し、この変換した電荷を蓄積する。CCDイメージセンサでは、グローバルシャッタ(グローバル露光)と呼ばれる方式で各フォトセンサに蓄積された電荷を読み出す。グローバルシャッタ方式では、各フォトセンサに蓄積された電荷の読み出しが、すべての画素で同期している。このため、CCDイメージセンサは、被写体に動きがある場合でも、画像に歪みが生じにくいという特徴がある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平08−15617号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、CCDイメージセンサは、入力電圧として、複数の電圧(例えば、+15V、‐7.5V、+5V)を必要とするため、数種の電圧を生成する電源が必要となる。結果、撮像装置の製造コストが高くなるという問題がある。また、動作電圧が高いため、消費電力も高くなるという問題がある。
【0005】
一方、CMOSイメージセンサは、複数の電圧を必要とせず、動作電圧も低い。このため、数種の電圧を生成する電源を必要とせず撮像装置の製造コストおよび消費電力を抑制することができる。しかしながら、CMOSイメージセンサでは、ローリングシャッタ(ライン露光)と呼ばれる方式で各フォトセンサに蓄積された電荷を読み出しており、各フォトセンサに蓄積された電荷がライン毎に読みだされるために、各フォトセンサに蓄積された電荷の読み出しが同期しない。このため、CMOSイメージセンサでは、被写体に動きがある場合、CCDイメージセンサに比べて画像に歪みが生じやすくなるという問題がある。
【0006】
本発明は、かかる従来の課題を解決するためになされたものであり、撮像画像の歪みを抑制できる撮像装置及び内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
実施形態に係る撮像装置は、複数のラインからなるフレームに対応する複数の光電変換素子を有し、複数の光電変換素子による電荷の蓄積期間の始期がライン毎に異なると共に、該蓄積された電荷を読みだして画像信号として繰り返し出力する撮像手段と、撮像手段の撮像範囲を露光する光源と、撮像手段により撮像される映像の動きに応じて、光源の露光時間を制御する制御手段と、を具備する。
【発明の効果】
【0008】
本発明によれば、撮像画像の歪みを抑制できる撮像装置及び内視鏡装置を提供できる。
【図面の簡単な説明】
【0009】
【図1】第1の実施形態に係る内視鏡装置の構成を示す図。
【図2】第1の実施形態に係る内視鏡装置が具備するヘッドの構成を示す図。
【図3】第1の実施形態に係る内視鏡装置が具備するCCUの構成を示す図。
【図4】メモリに記憶されたテーブルデータを示す図。
【図5】第1の実施形態に係る内視鏡装置が具備するライトソースの構成を示す図。
【図6】ローリングシャッタ(ライン露光)についての説明図。
【図7】第1の実施形態での疑似グローバルシャッタについての説明図。
【図8】第1の実施形態に係る内視鏡装置の動作を示すフローチャート。
【図9】第2の実施形態に係る内視鏡装置が具備するCCUの構成を示す図。
【図10】メモリに記憶されたテーブルデータを示す図。
【図11】第2の実施形態での疑似グローバルシャッタについての説明図。
【図12】第2の実施形態に係る内視鏡装置の動作を示すフローチャート。
【発明を実施するための形態】
【0010】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
(第1の実施形態)
この第1の実施形態では、撮像装置として内視鏡装置を例に、その構成を説明する。図1は、第1の実施形態に係る内視鏡装置1(以下、内視鏡装置1と記載する)の構成を示す図である。この第1の実施形態では、撮像素子としてCMOSイメージセンサを採用した実施形態について説明する。なお、内視鏡装置1は、硬性内視鏡装置(被検査体内へ挿入するスコープが曲がらない硬性のタイプ)でも、軟性内視鏡装置(被検査体内へ挿入するスコープが曲がる軟性のタイプ)でも構わない。
【0011】
内視鏡装置1は、先端に対物レンズ10aが設けられ、被検査体内へ挿入されるスコープ10と、対物レンズ10aの結像面に位置するCMOSイメージセンサ20a(撮像手段)により撮像される画像信号をCCUへカメラケーブル50を介して出力するヘッド20と、ヘッド20から出力された画像信号を処理するCCU(camera control unit)30と、撮像範囲を露光するライトソース40(光源)と、ライトソース40からの光をスコープ10の先端部へ導入するための光ファイバ60を具備する。
【0012】
なお、カメラケーブル50には、ヘッド20とCCU30との間で画像信号及び制御信号を送受信するための信号線およびCCU30からヘッド20へ電力を供給するための電力線などが収容されている。
【0013】
図2は、ヘッド20の構成を示す図である。
ヘッド20は、CMOSイメージセンサ20a、接続端子21、I/F回路22及びメモリ23を具備する。CMOSイメージセンサ20aは、フルHD(high density)に対応したカラーCMOSイメージセンサである。この第1の実施形態では、CMOSイメージセンサ20aは、プログレッシブスキャンで駆動されるが、インターレーススキャンで駆動してもよい。
【0014】
接続端子21には、カメラケーブル50が接続される。I/F回路22は、シリアライザ22a及びLVDS変換回路22bを備え、CMOSイメージセンサ20aから出力される画像信号をデジタル信号のまま、接続端子21に接続されたカメラケーブル50を介してCCU30へ送信する。メモリ23は、電気的に消去可能なROM(read only memory)(例えば、フラッシュメモリ等)であり、CMOSイメージセンサ20aの設定条件(例えば、フレームレート、ゲイン等)が記憶される。この設定条件を記憶するメモリは、書き換えが可能であれば、メモリ以外のメモリも使用できる。なお、この第1の実施形態では、フレームレートを60fps(frames per second)として説明する。
【0015】
図3は、CCU30の構成を示す図である。
接続端子31、I/F回路32、画像信号処理回路33、画像出力回路34、動き判定回路35、システム制御回路36及び電源回路37を具備する。接続端子31には、カメラケーブル50が接続される。I/F回路32は、デシリアライザ32a及びLVDS変換回路32bを備え、ヘッド20から送信される画像信号を画像信号処理回路33へ出力する。また、I/F回路32は、システム制御回路36から出力される制御信号を接続端子31に接続されたカメラケーブル50を介してヘッド20へ送信する。
【0016】
画像信号処理回路33は、画像信号処理部33aと同期信号生成部33bを具備する。画像信号処理部33aは、I/F回路32から出力される画像信号を処理して画像出力回路34へ出力する。画像信号処理部33aでは、画素情報の並べ替えや欠陥画素の補正処理を行った後、デモザイキング処理、ニー補正、ガンマ補正、ディテールやマトリクス処理等のエンハンス処理が行われる。同期信号生成部33bは、CMOSイメージセンサ20aの撮像に用いられる同期信号を生成する。該同期信号は、設定されたフレームレートに応じた所定の間隔で生成される(この第1の実施形態では、1/60秒ごと)。生成された同期信号は、MPU36cへ出力されると共に、I/F回路32から接続端子31に接続されたカメラケーブル50を介してヘッド20へ送信される。
【0017】
画像出力回路34は、D/Aコンバータ34a及びDVI(digital visual interface)トランスミッタ34bを備え、画像信号処理回路33で処理された画像信号をアナログ及びデジタルのRGB(red, green, blue)信号として外部のモニタ(図示せず)へ出力する。
【0018】
動き判定回路35は、動き算出部35aと比較部35bを具備する。動き算出部35aは、画像信号処理部33aから出力される画像を取り込む。動き算出部35aは、取り込んだ画像の全体の動きベクトルの絶対値の平均値VM(以下、単に平均値VMと記載する)を算出する。
【0019】
動きベクトルの平均値VMは、例えば、以下のように算出する。
動き算出部35aは、取り込んだ画像を複数のエリアに分割(例えば、16分割)し、分割したエリアごとに既知の手法を用いて動きベクトルの絶対値を算出する。次に、動き算出部35aは、算出した各エリアの動きベクトルの絶対値を足し合わせる。次に、動き算出部35aは、足し合わせた動きベクトルの絶対値をエリア数で除算して動きベクトルの平均値VMを得る。
【0020】
比較部35bには、閾値TH1,TH2が予め記憶されている。比較部35bは、動き算出部35aで算出された動きベクトルの平均値VMを、この予め記憶されている閾値TH1,TH2と比較する。閾値TH1,TH2は、画像の動きの速さを判定するための閾値である。閾値TH1,TH2は、TH1>TH2の関係にある。なお、閾値TH1,TH2を後述するメモリ36aへ記憶するようにしてもよい。
【0021】
この第1の実施形態では、動きベクトルの平均値VMと閾値TH1,TH2との関係から画像の動きを以下のように判定している。
VM>TH2: 速い
TH2≧VM≧TH1:ふつう
TH1>VM: 遅い
【0022】
システム制御回路36は、メモリ36a、OSD(On-screen Display)コントローラ36b、MPU(Micro Processing Unit)36c、受信部36d及び操作受付部36eを備え、この内視鏡装置1全体を制御する。
【0023】
メモリ36aは、例えば、EEPROM(Electrically Erasable Programmable Read-Only Memory)やフラッシュメモリであり、MPU36cを動作させるためのプログラムや後述するテーブルデータ等が記憶されている。図4は、メモリ36aに記憶されているテーブルデータを示す図である。図4に示すテーブルデータには、比較部35bでの比較結果に対応する露光時間及び輝度が記載されている。
【0024】
MPU36cは、受信部36dで受信したリモート制御信号、操作受付部で受付けた処理内容及びメモリ36aに記憶された設定情報に基づいてヘッド20、CCU30及びライトソース40を制御する。また、MPU36cは、時間を計測するタイマTを内蔵する(以下、内蔵タイマTと称する)。
【0025】
MPU36cは、メモリ36aに記憶されている図4のテーブルデータを参照し、比較部35bでの比較結果に基づいてLED41の露光時間と輝度を制御する。露光時間T1〜T3は、T3>T2>T1の関係にある。つまり、露光時間T1が最も露光時間が短く、露光時間T3が最も露光時間が長い関係にある。また、輝度(明るさ)B1〜B3は、B1>B2>B3の関係にある。つまり、輝度B1が最も輝度が高く(明るく)、輝度B3が最も輝度が低い(暗い)関係にある。
【0026】
一般に、露光時間が長いほうが感度がよくなる。しかしながら、被写体の動きが速い場合に、露光時間を長くすると、画像に乱れが生じる虞がある。逆に、動きが遅い場合には、画像に乱れが生じる虞が少ない。このため、この第1の実施形態では、被写体の動きが速い場合は、露光時間を短くし、被写体の動きが遅い場合は、露光時間を長くしている。
【0027】
なお、感度を得るためには輝度を高くしたほうがよいが、内視鏡装置では、被写体が患者の体内となるため、輝度が高いと患部に熱さを感じたり、熱による損傷を生じる虞がある。そこで、この第1の実施形態では、露光時間に応じて輝度を変更している。具体的には、露光時間が短い場合は、輝度を高くし、露光時間が長い場合は、輝度を低くしている。この場合、露光時間が長い場合は、輝度が低くすることで患部への負担を低減することができる。
【0028】
OSDコントローラ36bは、画像信号処理部33aで処理される画像信号の画像にテキストデータやビットマップ等を重畳表示する。
【0029】
受信部36dは、外部のPC等から送信されるリモート制御用の制御信号を受信してMPU36cへ出力する。なお、外部PCとの通信は、RS232−C用シリアルポートを介して行われる。操作受付部36eは、外部の操作キーで操作された処理を受け付けMPU36cへ出力する。
【0030】
電源回路37は、外部から供給される電力を所定の電圧に変換してCCU30内の各回路へ供給する。また、上記電力は、接続端子31に接続されたカメラケーブル50を介してヘッド20にも供給される。
【0031】
図5は、ライトソース40の構成を示す図である。
ライトソース40は、LED(light emitting diode)41、レンズ42及びLEDドライバ43を具備する。また、ライトソース40には、光ファイバ60が接続される。LED41は、CMOSイメージセンサ20aの撮像範囲を露光するための光を発する。レンズ42は、LED41からの光を光ファイバ60へ導入する。光ファイバ60へ導入された光は、スコープ10の先端部へ導かれ、CMOSイメージセンサ20aの撮像範囲を露光する。
【0032】
LEDドライバ43は、CCU30のMPU36cから出力される駆動信号に基づいてLED41の発光時間(露光時間)及び明るさ(輝度)を制御する。LED41の明るさは、LED41へ供給する電流値を変更することにより制御する。なお、LED41へ供給する電流値を変化させる代わりに、LED41からの光を遮光する絞りを具備するようにしてもよい。また、LED41の光を遮光するロータリシャッタを具備するようにしてもよく、LED41の代わりにランプ(例えば、キセノンランプ)を用いてもよい。
【0033】
(疑似グローバルシャッタ)
なお、この内視鏡装置1では、上記露光時間及び輝度の制御に加えて、次に説明する疑似グローバルシャッタを採用している。内視鏡装置1では、上述した被写体の動きの速さに応じて露光時間を変更するのに加え、該疑似グローバルシャッタを採用することにより、CMOSイメージセンサ20aで撮像される画像の歪みをさらに抑制している。以下、疑似グローバルシャッタについて説明する。
【0034】
初めに、この第1の実施形態に係るCMOSイメージセンサ20aの撮像方式について説明する。図6は、ローリングシャッタ(ライン露光)の説明図である。図7は、疑似グローバルシャッタの説明図である。以下、図6及び図7を参照して、この第1の実施形態に係るCMOSイメージセンサ20aの撮像方式について説明する。
【0035】
図6の縦に縦方向に記載した数値は、走査線(ライン)の番号を示している。図6では、走査線が1080本ある場合を示している。また、図6のS1〜S1080は、各走査線における電荷の蓄積期間、R1〜R1080は、各走査線における電荷の読出し期間をそれぞれ表わしている。
【0036】
CCU30の同期信号生成部33bから同期信号(トリガー)が送信されると、ライン露光が開始される。このライン露光では、各走査線1〜1080毎に、フォトトランジスタ(光電変換素子)へ電荷が蓄積され、各フォトトランジスタに蓄積された電荷を電圧に変換・増幅して読みだす。なお、各走査線1〜1080では、電荷の読み出し終了後に、電荷の蓄積が続けて行われる。
【0037】
上記のようにライン露光では、読出しは走査線1〜1080毎に行われるため、図6で示すように、蓄積期間の開始と終了が各走査線1〜1080で異なる。その結果、被写体が動いている場合、CMOSイメージセンサ20aで撮像された画像が歪んでしまう。
【0038】
以下、図7を参照して疑似グローバルシャッタについて説明する。図7の縦に縦方向に記載した数値は、走査線(ライン)の番号を示している。図7では、話を簡単にするため走査線が3本であるものとしている。また、図7のS1〜S3は、各走査線における電荷の蓄積期間、R1〜R3は、各走査線における電荷の読出し期間をそれぞれ表わしている。また、図7には、LED41のON/OFFのタイミングを示した。
【0039】
初めに、CCU30の同期信号生成部33bから同期信号(トリガー)が送信されると、ライン露光が開始され、各走査線毎に、フォトトランジスタへ電荷が蓄積された後、各フォトトランジスタに蓄積された電荷を電圧に変換・増幅して読みだされる。なお、各走査線では、電荷の読み出し終了後に電荷の蓄積が続けて行われる。
【0040】
MPU36cは、同期信号生成部33bから同期信号が出力されると、内蔵タイマTを起動する。そして、メモリ36aに記憶されている露光開始時間が経過すると、MPU36cは、ライトソース40へ制御信号を出力して、CMOSイメージセンサ20aの撮像範囲を露光する。この際、MPU36cは、比較部35bでの比較結果に基づいて、露光時間及び輝度を制御する。
【0041】
なお、図4で説明したテーブルデータに記載される露光時間T1〜T3は、図7の破線で示した走査線毎の電荷の蓄積期間が重複する範囲内となるように予め調整されている。すなわち、露光時間T1〜T3は、図7に示した露光期間Tよりも短い時間となるように設定されている。
【0042】
MPU36cは、露光時間を内蔵タイマTで計測し、比較部35bでの比較結果に対応する露光時間が経過すると、ライトソース40へ制御信号を出力して、CMOSイメージセンサ20aの撮像範囲の露光を終了する。なお、露光終了後、MPU36cは、内蔵タイマTをリセットして次フレームにおける時間計測に備える。
【0043】
以上のように、MPU36cは、図7の破線で示した走査線毎の電荷の蓄積期間が重複する範囲内となるよう露光期間を制御するとともに、比較部35bでの比較結果に対応する露光時間及び輝度で被写体を露光する。
【0044】
(内視鏡装置1の動作)
図8は、第1の実施形態に係る内視鏡装置の動作を示すフローチャートである。以下、内視鏡装置1の動作について図8を参照して説明する。
初めに、動き算出部35aは、画像信号処理部33aから取り込んだ画像から動きベクトルの平均値VMを算出する(ステップS101)。
【0045】
比較部35bは、動き算出部35aで算出した動きベクトルの平均値VMを閾値TH1,TH2と比較する(ステップS102)。
【0046】
MPU36cは、メモリ36aに記憶されている図4のテーブルデータを参照し、比較部35bでの比較結果に基づいてLED41の露光時間と輝度を制御する。具体的には、比較部35bでの比較結果が、VM>TH2の場合、MPU36cは露光時間がT1、輝度がB1となるようにライトソース40のLEDドライバ43を制御する(ステップS103)。
【0047】
比較部35bでの比較結果が、TH2≧VM≧TH1の場合、MPU36cは露光時間がT2、輝度がB2となるようにライトソース40のLEDドライバ43を制御する(ステップS104)。
【0048】
比較部35bでの比較結果が、TH1>VMの場合、MPU36cは露光時間がT3、輝度がB3となるようにライトソース40のLEDドライバ43を制御する(ステップS105)。
【0049】
システム制御回路36は、動作が終了するまで、すなわち、内視鏡装置1の電源がOFFされるまで、上記動作を継続する。(ステップS106)。
【0050】
以上のように、この内視鏡装置1は、被写体の動きに応じて、露光時間及び輝度を変化させるようにしているので、CMOSイメージセンサ20aで撮像された画像の歪みを抑制することができる。また、露光時間が長い場合には、輝度を低くしているので、患部への負担を低減することができる。さらに、露光期間がCMOSイメージセンサ20aが備える各走査線の電荷の蓄積期間が重複する範囲内となるように制御しているので、CMOSイメージセンサ20aで撮像された画像の歪みをさらに抑制することができる。
【0051】
また、イメージセンサとしてCMOSイメージセンサを採用しているので、複数の電圧を必要とせず、動作電圧も低い。このため、数種の電圧を生成する電源が必要とせず撮像装置の製造コストおよび消費電力を抑制することができる。また、CMOSイメージセンサは、CCDイメージセンサに比べ、素子を高密度化できるので、内視鏡装置1をより小型化できる。
【0052】
なお、上記説明では、動き算出部35aで算出した動きベクトルの平均値VMを2つの閾値TH1,TH2と比較しているが、動きベクトルの平均値VMを比較するための閾値は、2つに限られない。例えば、閾値を一つだけとしてもよいし、3つ以上としてもよい。
【0053】
(第2の実施形態)
第1の実施形態では、露光期間を1フレームにおける最後の走査線の電荷の蓄積開始時から最初の走査線の電荷の蓄積終了時の範囲内とし、画像の動きに応じて露光時間及び輝度を変化させる実施形態について説明した。
【0054】
この第2の実施形態では、画像の動きに応じて、露光期間を1フレームにおける最後の走査線の電荷の蓄積開始時から最初の走査線の電荷の蓄積終了時の範囲内とする形態(第1の動作モード)と、露光期間を複数のフレームに跨った最後の走査線の電荷の蓄積開始時から最初の走査線の電荷の蓄積終了時の範囲内とする形態(第2の動作モード)とを切り替える実施形態について説明する。
【0055】
図9は、第2の実施形態に係る内視鏡装置2(以下、内視鏡装置2と記載する)が具備するCCU30Aの構成を示す図である。以下、図9を参照して、内視鏡装置2の構成について説明するが、内視鏡装置1が具備する構成と同一の構成には、同一の符号を付して重複した説明を省略する。また、内視鏡装置2が具備するCCU30A以外の構成(スコープ10、ヘッド20、ライトソース40)についても内視鏡装置1が具備する構成と同じであるため重複した説明を省略する。
【0056】
内視鏡装置2が具備するCCU30Aは、画像の動きに応じて、露光期間を1フレームにおける最後の走査線の電荷の蓄積開始時から最初の走査線の電荷の蓄積終了時の範囲内とする第1の動作モードと、露光期間を複数のフレームに跨った最後の走査線の電荷の蓄積開始時から最初の走査線の電荷の蓄積終了時の範囲内とする第2の動作モードとを切り替える切替回路38をさらに具備する。
【0057】
この第2の実施形態では、第1の動作モードでは、同期信号生成部33bから同期信号が1/60秒ごとに出力されるが、第2の動作モードでは、同期信号生成部33bから同期信号が1/30秒ごとに出力される。つまり、第1の動作モードでは、イメージセンサ20aから出力される映像信号のフレームレートが60fpsであるが、第2の動作モードでは、イメージセンサ20aから出力される映像信号のフレームレートが30fpsとなる。
【0058】
この動作を実現するために、第2の動作モードでは、MPU36cは、同期信号生成部33bへ、同期信号を第1の動作モード時(1/60秒)の倍、つまり、1/30秒毎に出力するように指示する。
【0059】
切替回路38は、メモリ38aとスイッチSWとを具備し、イメージセンサ20aから出力される映像信号のフレームレートを60fps(frames per second)に変換する機能を有する。メモリ38は、MPU36cからの制御に基づいてCMOSイメージセンサ20aから出力される画像信号を記憶(蓄積)及び出力する。
【0060】
スイッチSWは、MPU36cからの指示により接続先を切り替える。第1の動作モードでは、スイッチSWは、端子aに接続されたままとなる。第1の動作モードでは、イメージセンサ20aから出力される画像信号のフレームレートが60fpsであるため、イメージセンサ20aから出力される画像信号が画像出力回路34へそのまま出力される。
【0061】
第2の動作モードでは、1/60毎にスイッチSWの接続先が端子aから端子b、端子bから端子aへと切り替えられる。第2の動作モードでは、イメージセンサ20aから出力される画像信号のフレームレートが30fpsとなる。このため、切替回路38でフレームレートを60fpsにした後、画像出力回路34へ出力している。
【0062】
つまり、第2の動作モードでは、1/30秒ごとにしか出力されないイメージセンサ20aからの映像信号を2系統に分け、一方をそのまま画像出力回路34へ出力し、もう一方を一旦メモリ38aへ蓄積して、1/60後にこの蓄積した画像信号を画像出力回路34へ出力することでフレームレートを30fpsから60fpsへ変換している。この結果、第2の動作モードでは、同一の画像信号が1/60秒間隔で2回づつ出力されることになる。
【0063】
メモリ36Aは、例えば、EEPROMやフラッシュメモリであり、MPU36Cを動作させるためのプログラムや後述するテーブルデータ等が記憶されている。図10は、メモリ36Aに記憶されているテーブルデータを示す図である。図10に示すテーブルデータには、比較部35bでの比較結果に対応する露光時間及び輝度に加えて動作モードが記載されている。
【0064】
MPU36Cは、受信部36dで受信したリモート制御信号、操作受付部で受付けた処理内容及びメモリ36Aに記憶された設定情報に基づいてヘッド20、CCU30及びライトソース40を制御する。また、MPU36Cは、時間を計測するタイマTを内蔵する(以下、内蔵タイマTと称する)。
【0065】
MPU36Cは、メモリ36Aに記憶されている図10のテーブルデータを参照し、比較部35bでの比較結果に基づいてLED41の露光時間と輝度、及び動作モードを制御する。MPU36Cは、比較部35bでの比較結果が、VM>TH2、及び、TH2≧VM≧TH1の場合には、スイッチSWの接続先を端子aとし、第1の動作モードで動作する。また、MPU36Cは、比較部35bでの比較結果が、TH1>VMの場合には、スイッチSWの接続先を端子bとし、第2の動作モードで動作する。
【0066】
図11は、第2の動作モードの場合における疑似グローバルシャッタの説明図である。以下、図11を参照して、第2の動作モードについて説明する。なお、以下の説明では、第2の動作モードでは、イメージセンサ20aから出力される画像信号のフレームレートを、第1の動作モードの半分とした場合について説明する。また、第1の動作モードについては、第1の実施形態において図7を参照して説明したので重複した説明を省略する。
【0067】
図11の縦に縦方向に記載した数値は、走査線(ライン)の番号を示している。図11では、話を簡単にするため走査線が3本であるものとしている。また、図11のS1〜S3は、各走査線における電荷の蓄積期間、R1〜R3は、各走査線における電荷の読出し期間をそれぞれ表わしている。また、図11には、LED41のON/OFFのタイミングを示した。
【0068】
初めに、MPU35cは、同期信号生成部33bへ、同期信号のレートを第1の動作モードの時の半分、つまり、1/30秒毎に出力するように指示する。次に、MPU35cは、スイッチSWの接続先を60秒ごとに端子aから端子b、端子bから端子aへと切り替える。
【0069】
CCU30の同期信号生成部33bから同期信号(トリガー)が送信されると、ライン露光が開始され、各走査線毎に、フォトトランジスタへ電荷が蓄積された後、各フォトトランジスタに蓄積された電荷を電圧に変換・増幅して読みだされる。なお、各走査線では、電荷の読み出し終了後に電荷の蓄積が続けて行われる。
【0070】
MPU36Cは、同期信号生成部33bから同期信号が出力されると、内蔵タイマTを起動する。また、MPU36Cは、ライトソース40へ制御信号を出力して、CMOSイメージセンサ20aの撮像範囲の露光を開始する。この際、MPU36Cは、比較部35bでの比較結果に基づいて、露光時間及び輝度を制御する。
【0071】
なお、図10で説明したテーブルデータに記載される露光時間T4は、図11の破線で示した走査線毎の電荷の蓄積期間が重複する範囲内となるように予め調整されている。すなわち、露光時間T4は、図11に示した露光期間Tよりも短い時間となるように設定されている。
【0072】
MPU36Cは、露光時間を内蔵タイマTで計測し、比較部35bでの比較結果に対応する露光時間T4が経過すると、ライトソース40へ制御信号を出力して、CMOSイメージセンサ20aの撮像範囲の露光を終了する。なお、露光終了後、MPU36Cは、内蔵タイマTをリセットして次フレームにおける時間計測に備える。
【0073】
(内視鏡装置2の動作)
図12は、内視鏡装置2の動作を示すフローチャートである。以下、内視鏡装置2の動作について図12を参照して説明する。
初めに、動き算出部35aは、画像信号処理部33aから取り込んだ画像から動きベクトルの平均値VMを算出する(ステップS201)。
【0074】
比較部35bは、動き算出部35aで算出した動きベクトルの平均値VMを閾値TH1,TH2と比較する(ステップS202)。
【0075】
MPU36Cは、メモリ36Aに記憶されている図10のテーブルデータを参照し、比較部35bでの比較結果に基づいてLED41の露光時間と輝度、及び動作モードを制御する。具体的には、比較部35bでの比較結果がVM>TH2の場合、MPU36Cは、スイッチSWを端子a側に接続して第1の動作モードとし(ステップS203)、露光時間がT1、輝度がB1となるようにライトソース40のLEDドライバ43を制御する(ステップS204)。
【0076】
比較部35bでの比較結果がTH2≧VM≧TH1の場合、スイッチSWを端子a側に接続して第1の動作モードとし(ステップS205)、露光時間がT2、輝度がB2となるようにライトソース40のLEDドライバ43を制御する(ステップS206)。
【0077】
比較部35bでの比較結果がTH1>VMの場合、MPU36cは、スイッチSWを端子a側に接続して第2の動作モードとし(ステップS207)、露光時間がT4、輝度がB4となるようにライトソース40のLEDドライバ43を制御する(ステップS208)。
【0078】
システム制御回路36は、動作が終了するまで、すなわち、内視鏡装置1の電源がOFFされるまで、上記動作を継続する。(ステップS209)。
【0079】
以上のように、この内視鏡装置2は、被写体の動きが遅い場合には、露光期間を複数のフレームに跨った最後の走査線の電荷の蓄積開始時から最初の走査線の電荷の蓄積終了時の範囲内とする第2のモードに切り替えるようにしている。このため、露光時間が長くなり画像の感度がよくなるという効果がある。その他の効果は、内視鏡装置1と同じである。
【0080】
なお、上記説明では、比較部35bでの比較結果がTH2≧VM≧TH1の場合、第1の動作モードに切り替えているが、第2の動作モードに切り替えるようにしてもよい。また、第1の実施形態と同様に、動きベクトルの平均値VMを比較するための閾値を一つだけとしてもよいし、3つ以上としてもよい。
【0081】
(その他の実施形態)
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、上記第1,第2の実施形態では、比較部35bでの比較結果に基づいて露光時間及び輝度(明るさ)を変更しているが、外部の切替信号を受信部36d又は操作受付部36eで受信し、この受信した切替信号に基づいて露光時間及び輝度(明るさ)を変更するように構成してもよい。また、第2の実施形態では、比較部35bでの比較結果に基づいて第1の動作モードと第2の動作を切り替えているが、外部の切替信号を受信部36d又は操作受付部36eで受信し、この受信した切替信号に基づいて第1の動作モードと第2の動作を切り替えるように構成してもよい。
【符号の説明】
【0082】
1,2…内視鏡装置、10…スコープ、20…ヘッド、21…接続端子、22…I/F回路、23…メモリ、30…CCU、31…接続端子、32…I/F回路、33…画像信号処理回路、34…画像出力回路、35…動き判定回路、36…システム制御回路、37…電源回路、38…切替回路、40…ライトソース、41…ランプ、42…レンズ、43…液晶素子、44…液晶ドライバ、50…カメラケーブル、60…光ファイバ。
【特許請求の範囲】
【請求項1】
複数のラインからなるフレームに対応する複数の光電変換素子を有し、前記複数の光電変換素子による電荷の蓄積期間の始期が前記ライン毎に異なると共に、該蓄積された電荷を読みだして画像信号として繰り返し出力する撮像手段と、
前記撮像手段の撮像範囲を露光する光源と、
前記撮像手段により撮像される映像の動きに応じて、前記光源の露光時間を制御する制御手段と、
を具備することを特徴とする撮像装置。
【請求項2】
前記映像の動きベクトルを検出する検出手段と、
前記検出部で検出した動きベクトルの値を閾値と比較する比較手段と、
をさらに具備し、
前記制御手段は、
前記比較手段での比較結果に応じて、前記光源の露光時間を制御することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記制御手段は、
前記検出部で検出した動きベクトルの値が、前記閾値よりも小さい場合は、前記光源の露光時間を長くし、前記検出部で検出した動きベクトルの値が、前記閾値以上の場合は、前記光源の露光時間を短くすることを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記制御部は、
前記露光時間を長くした場合は、前記光源の輝度を下げ、前記露光時間を短くした場合は、前記光源の輝度を上げることを特徴とする請求項3に記載の撮像装置。
【請求項5】
前記制御手段は、
前記複数の光電変換素子の蓄積期間が重複する範囲内で前記撮像範囲を露光するよう前記光源を制御することを特徴とする請求項1乃至請求項4のいずれか1項に記載の撮像装置。
【請求項6】
前記制御手段は、
前記露光の開始と終了が、同一フレーム内における前記蓄積期間が重複する範囲内となるよう前記光源を制御することを特徴とする請求項5に記載の撮像装置。
【請求項7】
前記制御手段は、
前記露光の開始が、互いに隣り合う複数のフレームのうちの最初のフレーム内における前記蓄積期間が重複する範囲内で、前記露光の終了が、前記互いに隣り合う複数のフレームのうちの最後のフレーム内における前記蓄積期間が重複する範囲内となるよう前記光源を制御することを特徴とする請求項5に記載の撮像装置。
【請求項8】
前記撮像素子から出力される画像信号を蓄積する記憶部と、
接続先を前記撮像手段と前記記憶部との間で切り替えるスイッチと、
をさらに具備することを特徴とする請求項7に記載の撮像装置。
【請求項9】
前記撮像手段は、CMOSイメージセンサであることを特徴とする請求項1乃至請求項8のいずれか1項に記載の撮像装置。
【請求項10】
前記光源は、LED又はランプであることを特徴とする請求項1乃至請求項9のいずれか1項に記載の撮像装置。
【請求項11】
前記光源からの光を遮る液晶素子又はロータリシャッタをさらに備え、
前記制御部は、
前記液晶素子又はロータリシャッタを制御することにより、前記光源の露光時間を制御することを特徴とする請求項1乃至請求項10のいずれか1項に記載の撮像装置。
【請求項12】
前記露光時間又は前記光源の輝度の少なくとも一方の変更を受け付ける受付手段をさらに備え、
前記制御手段は、前記受付手段での受付結果に応じて前記露光時間又は前記光源の輝度の少なくとも一方を変更する請求項1に記載の撮像装置。
【請求項13】
被検体内に挿入されるスコープと、
前記スコープの先端に設けられた、複数のラインからなる画像に対応する複数の光電変換素子を有し、前記複数の光電変換素子による電荷の蓄積期間の始期が前記ライン毎に異なると共に、該蓄積された電荷を読みだして画像信号として繰り返し出力する撮像手段と、
前記撮像手段の撮像範囲を露光する光源と、
前記撮像手段により撮像される映像の動きに応じて、前記光源の露光時間を制御する制御手段と、
前記撮像手段から出力される画像信号を映像として表示する表示手段と、
を具備することを特徴とする内視鏡装置。
【請求項1】
複数のラインからなるフレームに対応する複数の光電変換素子を有し、前記複数の光電変換素子による電荷の蓄積期間の始期が前記ライン毎に異なると共に、該蓄積された電荷を読みだして画像信号として繰り返し出力する撮像手段と、
前記撮像手段の撮像範囲を露光する光源と、
前記撮像手段により撮像される映像の動きに応じて、前記光源の露光時間を制御する制御手段と、
を具備することを特徴とする撮像装置。
【請求項2】
前記映像の動きベクトルを検出する検出手段と、
前記検出部で検出した動きベクトルの値を閾値と比較する比較手段と、
をさらに具備し、
前記制御手段は、
前記比較手段での比較結果に応じて、前記光源の露光時間を制御することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記制御手段は、
前記検出部で検出した動きベクトルの値が、前記閾値よりも小さい場合は、前記光源の露光時間を長くし、前記検出部で検出した動きベクトルの値が、前記閾値以上の場合は、前記光源の露光時間を短くすることを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記制御部は、
前記露光時間を長くした場合は、前記光源の輝度を下げ、前記露光時間を短くした場合は、前記光源の輝度を上げることを特徴とする請求項3に記載の撮像装置。
【請求項5】
前記制御手段は、
前記複数の光電変換素子の蓄積期間が重複する範囲内で前記撮像範囲を露光するよう前記光源を制御することを特徴とする請求項1乃至請求項4のいずれか1項に記載の撮像装置。
【請求項6】
前記制御手段は、
前記露光の開始と終了が、同一フレーム内における前記蓄積期間が重複する範囲内となるよう前記光源を制御することを特徴とする請求項5に記載の撮像装置。
【請求項7】
前記制御手段は、
前記露光の開始が、互いに隣り合う複数のフレームのうちの最初のフレーム内における前記蓄積期間が重複する範囲内で、前記露光の終了が、前記互いに隣り合う複数のフレームのうちの最後のフレーム内における前記蓄積期間が重複する範囲内となるよう前記光源を制御することを特徴とする請求項5に記載の撮像装置。
【請求項8】
前記撮像素子から出力される画像信号を蓄積する記憶部と、
接続先を前記撮像手段と前記記憶部との間で切り替えるスイッチと、
をさらに具備することを特徴とする請求項7に記載の撮像装置。
【請求項9】
前記撮像手段は、CMOSイメージセンサであることを特徴とする請求項1乃至請求項8のいずれか1項に記載の撮像装置。
【請求項10】
前記光源は、LED又はランプであることを特徴とする請求項1乃至請求項9のいずれか1項に記載の撮像装置。
【請求項11】
前記光源からの光を遮る液晶素子又はロータリシャッタをさらに備え、
前記制御部は、
前記液晶素子又はロータリシャッタを制御することにより、前記光源の露光時間を制御することを特徴とする請求項1乃至請求項10のいずれか1項に記載の撮像装置。
【請求項12】
前記露光時間又は前記光源の輝度の少なくとも一方の変更を受け付ける受付手段をさらに備え、
前記制御手段は、前記受付手段での受付結果に応じて前記露光時間又は前記光源の輝度の少なくとも一方を変更する請求項1に記載の撮像装置。
【請求項13】
被検体内に挿入されるスコープと、
前記スコープの先端に設けられた、複数のラインからなる画像に対応する複数の光電変換素子を有し、前記複数の光電変換素子による電荷の蓄積期間の始期が前記ライン毎に異なると共に、該蓄積された電荷を読みだして画像信号として繰り返し出力する撮像手段と、
前記撮像手段の撮像範囲を露光する光源と、
前記撮像手段により撮像される映像の動きに応じて、前記光源の露光時間を制御する制御手段と、
前記撮像手段から出力される画像信号を映像として表示する表示手段と、
を具備することを特徴とする内視鏡装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2013−46672(P2013−46672A)
【公開日】平成25年3月7日(2013.3.7)
【国際特許分類】
【出願番号】特願2011−186201(P2011−186201)
【出願日】平成23年8月29日(2011.8.29)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成25年3月7日(2013.3.7)
【国際特許分類】
【出願日】平成23年8月29日(2011.8.29)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]