説明

画像ぼけ防止システムにおける手ぶれ検出方法及び画像ぼけ防止システム

【課題】 シャッタ速度の遅い撮影を行った場合に生じる、手ぶれによる画像ぼけを削減するシステムにおける手ぶれの有無を検出する方法を提供する。
【解決手段】 本発明の画像ぼけ削減撮像システムにおける手ぶれ検出方法は、静止画像撮影に先立って、所定の手ぶれ検出を行い、手ぶれが検出されなかった場合には、通常シャッタ速度での撮影を行い、獲得された画像データに対して通常の画像処理を行い、処理された画像データを記憶デバイスに書き込み、手ぶれが検出された場合には、通常シャッタ速度よりも速い高シャッタ速度での撮影を行い、獲得された画像データに対してゲイン増強を含む所定の画像処理を行い、処理された画像データを記憶デバイスに書き込む、ことからなる画像ぼけ削減撮像システムにおいて、合焦点後のAF(自動焦点)出力信号の変化から手ぶれの有無を検出する方法である。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、固体撮像装置を用いて静止画像の撮影を行うカメラの撮像及び記録に関し、特に、その制御を行う際に、シャッタ速度の遅い撮影を行った場合に生じる手ぶれによる画像ぼけを防止するシステムにおける手ぶれの有無を検出する手ぶれ検出方法及び画像ぼけ防止システムに関する。
【背景技術】
【0002】
従来、デジタルスチルカメラなどの撮像装置では、CCDイメージセンサやCMOSイメージセンサのような固体撮像デバイスが一般に用いられる。そこでは、固体撮像デバイスからの出力画像信号をA/Dコンバータでデジタル画像データに変換し、この画像データをデジタル信号処理して、画像データ記録装置に記録する。しかし、シャッタ速度が遅い場合には手ぶれが生じやすく、手ぶれが生じると画像がぼけるという問題があった。
【0003】
そこで、この問題を解決するために、本願発明者らは既に、特願2006−105004、特願2006−291594において、画像ぼけを防止した新規な撮像システムを提案している。このシステムは、カメラに手ぶれがあるかどうかを検出し、手ぶれがあった場合には、シャッタスピードを高速に切り替えると同時にゲインを増倍させることで、実質的に手ぶれによる画像ぼけを防止するシステムである。このときの手ぶれ検出方法として、プレビュー画像の所定フレームの所定位置での画像データと次のフレームの所定位置での画像データから「動きベクトル」を算出して、手ぶれを検出する方法を用いた。
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、この「動きベクトル」を算出して手ぶれを検出する方法は、多くのハードウェアと/又はソフトウェアリソースを必要とする上、雑音耐性も十分でなかった。一方、前記画像ぼけ防止システムでは、手ぶれによる動きの方向や大きさまでも検出する必要はなく、手ぶれの有無だけを検出すればよい。本発明はこの観点に立ってなされたもので、その目的は前記画像ぼけ防止システムに最適化された簡易な手ぶれ検出方法を提供することにある。
【課題を解決するための手段】
【0005】
本発明の画像ぼけ防止システムにおける手ぶれ検出方法は、デジタルカメラに必須に備えられた自動焦点(AF)システムを利用するものであって、AFシステムで焦点を合致(合焦点)させた後で、手ぶれがあるとAF出力が低減するという現象を利用するものである。このAFシステムを利用した手ぶれ検出方法は、デジタルカメラに内蔵されているAFシステムをそのまま利用可能であり、新規なハードウェアやソフトウェアを全く必要としないという利点を有する。しかも、雑音に対する耐性が強く、手ぶれの有無を確実に検出できる。
【0006】
また、本発明の画像ぼけ防止システムは、撮像手段と、AF(自動焦点)手段と、制御手段と、画像処理手段と、画像記憶手段とを有し、合焦点後の前記AF手段からの出力信号の変化から手ぶれの有無を検出し、手ぶれが検出されなかった場合には、前記撮像手段で通常シャッタ速度での撮影を行い、前記画像処理手段で獲得された画像データに対して通常の画像処理を行い、前記画像記憶手段に処理された画像データを書き込み、手ぶれが検出された場合には、前記撮像手段で通常シャッタ速度よりも速い高シャッタ速度での撮影を行い、前記画像処理手段で獲得された画像データに対してゲイン増強を含む所定の画像処理を行い、前記画像記憶手段に処理された画像データを書き込むものである。
【発明の効果】
【0007】
本発明による画像ぼけ削減撮像システムの手ぶれ検出方法によれば、従来の「動きベクトル」を算出して手ぶれを検出する方法に比べ、ハードウェアと/又はソフトウェアリソースを大幅に削減でき、しかも雑音に対して非常に強い耐性を有するという優れた利点を有する。また、この手ぶれ検出方法を用いた画像ぼけ防止システムによれば手ぶれによって生じる画像ぼけを確実に防止でき、鮮明な静止画像を得ることができる。
【発明を実施するための最良の形態】
【0008】
以下図面に従い、本発明の実施の形態について説明する。
【0009】
図1は、本発明の手ぶれ検出方法を含む画像ぼけ防止システム100の全体システムブロック図である。このシステムの動作は以下のようにして行われる。まず、被写体101からの光学画像が、レンズ102とシャッタ103を介してCCDやCMOSセンサのような固体撮像デバイス104上に結像される。固体撮像デバイス104は、前記光学画像を電気信号に変換する。この電気信号は、ADコンバータ105でデジタル画像データに変換される。このデジタル画像データは、画像データ処理ブロック106、に入力されるとともに、AF(自動焦点)ブロック107、AE(自動露出)ブロック108にも入力される。画像データ処理ブロック106は、得られたデジタル画像データに所定の信号処理を行って、JPEGのような記録用の静止画像データを生成するための回路で、このブロック106からの出力が記録用の静止画像データとして画像データ記録ブロック109に入力され記録される。一方、AFブロック107は、被写体に対して合焦点となるようにレンズ102の位置を自動的に調整するとともに、合焦点後にもそのAF信号を出力し続け、その変化に応じて手振れがあるかどうかを検知する役目も果たす。AE(自動露出)ブロック108は、被写体101からの光学画像信号の露出条件を自動的に決定するもので、得られたデジタル画像データから自動的に生成された制御信号でシャッタ103の露出時間を制御する。シャッタ103は機械式シャッタでも電子式シャッタでもよい。コントローラ110は、AE108、AF107を含めたカメラ全体の動作を制御するもので、CPUやDSP又は専用のコントローラが用いられる。
【0010】
図2は、画像ぼけ防止システム100の動作を示すフローチャートである。図2を用いて、本発明の画像ぼけ防止システム100の動作を説明する。ステップ201で、カメラの2段式のシャッタボタンが半押しされると(第1段目まで押されると)、ステップ202でAF(自動焦点)動作が開始され、合焦点後もAF出力が出力され続ける。この合焦点後のAF出力を用いて、ステップ203で、後述する手ぶれ検出が行われる。もし、手ぶれが検出されなければ、さらに第2段目までシャッタボタンが押されることにより、ステップ204で通常シャッタ速度での撮像が行われ、ステップ205で通常の画像処理が行われ、ステップ206でその画像処理された画像データが記録メディアに記録される。もし、手ぶれが検出されれば、さらに第2段目までシャッタボタンが押されることにより、ステップ207で高シャッタ速度での撮像が行われ、ステップ208で後述するゲイン増倍処理を含む画像処理が行われ、ステップ209でその画像処理された画像データが記録メディアに記録される。なお、シャッタボタンは、上述のように2段式のものに限られるものではない。
【0011】
図3は、通常シャッタ速度での撮像の場合と高シャッタ速度での撮像の場合の累積光量を比較したものである。この図から明らかなように、高シャッタ速度での撮像の場合の累積光量Iは、通常シャッタ速度での撮像の場合の累積光量Iに比べて、T/Tだけ減少する。ここで、TとTは、各々、通常シャッタ速度での露出期間と高シャッタ速度での露出期間である。この結果、高シャッタ速度で撮影された画像データは、光量が不足するので、後述のゲイン増倍処理を含む所定の信号処理が行われる。このゲイン増倍処理におけるゲイン増倍率は、好ましくは、ほぼT/Tである。
【0012】
図4は、通常シャッタ速度での撮影の場合と高シャッタ速度での撮影の場合の画像ブレ量を比較したものである。高シャッタ速度での撮影の場合のズレ量Xは、通常シャッタ速度での撮影の場合のブレ量Xに比べて、T/Tだけ減少する。この結果、通常シャッタ速度で撮影すると画像にブレが生じる場合でも、高シャッタ速度での撮影に切り替えることにより、画像のブレをシャッタ速度の切替前に比べて無視できるくらい小さくできる。
【0013】
図5は、自動焦点(AF)動作を用いた手ぶれ検出を説明するための図で、(a)はレンズ位置とAF出力の関係を示す図、(b)はAF出力の時間変化を示す。図5(a)を参照して、本実施例のAF制御は、いわゆる「山登り制御」を用いる。即ち、レンズの位置制御は、AF出力が最大となるように行われ、最大となった合焦点位置にレンズが固定される。図5(b)を参照して、AF動作を行って合焦点位置にレンズが固定された後、もし手ぶれがなければAF出力は一定のままであるが、もし手ぶれがあれば合焦点時から所定時間後のAF出力は減少する。従って、AF出力VAFOの合焦点時からの変化量を測定することによって手ぶれの有無を精度良くかつ簡易に検出できる。即ち、もし、VAFMAX−VAFO≦Vthであれば、手ぶれ無しと判断し、もし、VAFMAX−VAFO≧Vthであれば、手ぶれ有りと判断する。ここで、Vthは実験的に求められる定数で、雑音レベルより大きい値である。
【0014】
図6は、ゲイン増倍処理を説明するための図で、(a)は緑(G)画素配置例、(b)は赤(R)画素配置例、(c)は青(B)画素配置例、を示す。ゲイン増倍処理はピクセルクラスタリングという方法を用いて行われる。即ち、目標画素とその隣接画素の画像データを加算処理して新しい画像データを生成し、この新しい画像データを目標画素の画像データと置き換えることによってゲイン増倍処理が行われる。このゲイン増倍処理は図示された緑(G)画素、赤(R)画素、青(B)画素について各々、独立に行われる。このピクセルクラスタリングによれば、ゲイン増倍だけでなく、空間フィルタリングによるノイズの除去も合わせて行われるので、単純なデジタルゲイン増倍法に比べて好ましい方法である。
【0015】
以上詳述したように本発明の画像ぼけ防止システムにおける手ぶれ検出方法は、既存のAF用のハードウェアとソフトウェアをそのまま利用できる上、雑音に対しても強い耐性を有する。また、この手ぶれ検出方法を用いた画像ぼけ防止システムによれば手ぶれによって生じる画像ぼけを確実に防止でき、鮮明な静止画像を得ることができる。
【0016】
なお、本発明の趣旨を逸脱しない範囲で種々の変形例が本発明に含まれることは勿論である。
【0017】
例えば、本発明の実施例では、ゲイン増倍処理として、ピクセルクラスタリング法を用いたが、単純なデジタルゲイン増倍法を用いてもよいことは勿論である。
【図面の簡単な説明】
【0018】
【図1】本発明の画像ぼけ削減撮像システムの全体システムブロック図を示す。
【図2】本発明の画像ぼけ削減撮像システムシステムの動作を示すフローチャートを示す
【図3】通常シャッタ速度での撮影の場合と高シャッタ速度での撮影の場合の累積光量の比較である。
【図4】通常シャッタ速度での撮影の場合と高シャッタ速度での撮影の場合の画像のブレ量の比較である。
【図5】AF動作を用いた手ぶれ検出を説明するための図で、(a)は山登り制御、(b)はAF出力の時間変化である。
【図6】ピクセルクラスタリングによるゲイン増増倍理を説明するための図で、(a)は緑画素の配置例、(b)は赤画素の配置例、(c)は青画素の配置例を示す。
【符号の説明】
【0019】
100 画像ぼけ防止システム
101 被写体
102 レンズ
103 シャッタ
104 固体撮像デバイス
105 ADコンバータ
106 画像データ処理ブロック
107 AF(自動焦点)ブロック
108 AE(自動露出)ブロック
109 画像データ記録ブロック
110 コントローラ

【特許請求の範囲】
【請求項1】
静止画像撮影システムにおける自動焦点(AF)手段によってレンズの位置が合焦点に位置制御された後の当該自動焦点(AF)手段の出力信号の変化を検出することにより、手ぶれの有無を検出する手ぶれ検出方法。
【請求項2】
前記自動焦点(AF)手段は、山登り制御を用いて前記レンズの位置制御を行うAF手段である、ことを特徴とする請求項1の手ぶれ検出方法。
【請求項3】
前記手ぶれの有無の検出は、前記AF手段からの合焦点時のAF出力信号の値と合焦点時から所定時間後のAF出力信号の値との差が所定値以下であれば手ぶれ無しと判断し、所定値以上であれば手ぶれ有りと判断することによって行われる、
ことを特徴とする請求項1の手ぶれ検出方法。
【請求項4】
被写体の画像を撮像する撮像手段と、
被写体に対して合焦点となるようにレンズの位置を自動的に制御する自動焦点(AF)手段と、
前記撮像手段によって撮像される画像を表す画像データに画像処理を行う画像処理手段と、
前記画像処理手段によって画像処理が行われた画像データを記憶する画像記憶手段と
を有し、
合焦点後における前記AF手段の出力信号の変化を検出することによって手ぶれの有無を検出し、
手ぶれが検出されなかった場合には、前記撮像手段のシャッタ速度を第1シャッタ速度に設定して撮像し、撮像により得られる画像データに対して前記画像処理手段で通常の画像処理を行い、画像処理された画像データを前記画像記憶手段に記憶させ、
手ぶれが検出された場合には、前記撮像手段で第2シャッタ速度に設定して撮像し、撮像により得られる画像データに対し前記画像処理手段でゲイン増倍を含む所定の画像処理を行い、処理された画像データを前記画像記憶手段に書き込む、
画像ぼけ防止システム。
【請求項5】
前記自動焦点(AF)手段は、山登り制御を用いて前記レンズの位置制御を行うAF手段である、ことを特徴とする請求項4の画像ぼけ防止システム。
【請求項6】
前記手ぶれの有無の検出は、前記AF手段からの合焦点時のAF出力信号の値と合焦点時から所定時間後のAF出力信号の値との差が所定値以下であれば手ぶれ無しと判断し、所定値以上であれば手ぶれ有りと判断することによって行われる、ことを特徴とする請求項4の画像ぼけ防止システム。
【請求項7】
前記第2シャッタ速度は、前記第1シャッタ速度よりも速いシャッタ速度である、ことを特徴とする請求項4の画像ぼけ防止システム。
【請求項8】
前記ゲイン増倍を含む所定の画像処理は、通常シャッタ速度期間を高シャッタ速度期間で除した値にほぼ等しい倍増率を有するゲイン増倍処理を含むことを特徴とする請求項4の画像ぼけ防止システム。
【請求項9】
前記ゲイン増倍処理は、ピクセルクラスタリングであることを特徴とする請求項4の画像ぼけ防止システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2008−268736(P2008−268736A)
【公開日】平成20年11月6日(2008.11.6)
【国際特許分類】
【出願番号】特願2007−114426(P2007−114426)
【出願日】平成19年4月24日(2007.4.24)
【出願人】(594065641)ウインボンド エレクトロニクス コーポレイション (19)
【氏名又は名称原語表記】WINBOND ELECTRONICS CORP.
【Fターム(参考)】