画像安定化のための方法とシステム
【課題】画像安定化において、簡単な方法及びシステムを提供すること。
【解決手段】露光期間中のカメラ運動を検出するために動きセンサーが使用される。カメラは１以上の露光を形成するための画像センサーを有する。運動が一定の範囲内にあるとき、露光は１以上のフレームを供給するために使用され、画像がそのフレームに基づき構成される。１つの実施例において、幾つかの画像フレームをキャプチャするために、露光期間は幾つかの短い間隔に分割され、カメラの位置が所定の範囲内にあるときキャプチャされた画像フレームのみが、最終画像を形成するために使用される。個別のフレームの動きぼやけ劣化を低減するために、各フレームにおける露光時間は少ない。カメラが安定しており、場面に対し実質的に静止している場合、全て又は多くの短いフレームが最終画像を形成するために使用される。
【解決手段】露光期間中のカメラ運動を検出するために動きセンサーが使用される。カメラは１以上の露光を形成するための画像センサーを有する。運動が一定の範囲内にあるとき、露光は１以上のフレームを供給するために使用され、画像がそのフレームに基づき構成される。１つの実施例において、幾つかの画像フレームをキャプチャするために、露光期間は幾つかの短い間隔に分割され、カメラの位置が所定の範囲内にあるときキャプチャされた画像フレームのみが、最終画像を形成するために使用される。個別のフレームの動きぼやけ劣化を低減するために、各フレームにおける露光時間は少ない。カメラが安定しており、場面に対し実質的に静止している場合、全て又は多くの短いフレームが最終画像を形成するために使用される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には、画像安定化（ｉｍａｇｅ ｓｔａｂｉｌｉｚａｔｉｏｎ）に関連し、詳細には、画像処理による画像安定化に関連する。
【背景技術】
【０００２】
画像安定化の問題は写真撮影の初期に遡り、そしてこの問題は、適度に良い画像を形成するために、画像センサーが十分な露光時間を必要とするという事実に関連する。露光時間中におけるカメラの幾らかの動きも画像センサー上に投影される画像のずれを起こし、形成された画像の劣化を引き起こす。この動きに関連する劣化は動きぼやけ（ｍｏｔｉｏｎ ｂｌｕｒ）と呼ばれる。写真を撮る間、カメラを保持するために片方又は両方の手を用いることで、適度に長い露光又は積分時間の間の不必要なカメラ運動を回避することは殆ど不可能である。カメラが高ズーム比に設定されるとき、動きぼやけは特に簡単に生じ、少しの動きさえ取得された画像の品質を大きく劣化させる。動きによるぼやけた画像を復元することでの主な困難性の１つは、動きぼやけは画像により異なり、露光時間中に起こる実際のカメラ運動に依存するという事実に起因する。
【０００３】
画像捕捉能力を有する家庭用装置の現行の発展及び小型化は、耐性があり、効率的な画像安定化の解決方法に対する必要性を増加させている。この必要性は２つの主な要因により推進される。
１．（カメラ付き携帯電話のような）小型の手持ち装置を使用するとき、積分時間中の予期しない動きを回避することの困難性。
２．画像解像度の増加と関連し、画像センサーの小型化がもたらした小画素領域に起因する、より長い積分時間の必要性。画素領域が小さくなる程、画素により捕捉される単位時間当たりの光量子（ｐｈｏｔｏｎ）は少なくなり、このため、より長い積分時間が良い結果のために必要となる。
【０００４】
画像安定化は、通常、単一フレームソリューションと呼ばれる技術において実行される。単一フレームソリューションは、長い露光時間の間に単一の画像フレームをキャプチャすることに基づく。実際、これは画像キャプチャの古典的な状況であり、捕捉された画像は、通常、露光時間中に生じた動きを原因とする動きぼやけにより劣化する。画像を復元するため、露光時間中に生じた動きについての非常に正確な知識を持つ必要がある。この結果、このアプローチは、非常に高価な動きセンサー（ジャイロスコープ）を必要とし、費用は別として、これはサイズも大きく、このため、小型の装置内に搭載することは困難である。更に、露光時間が長い場合、動きセンサー出力から導出される位置情報は、本当の値に対しバイアスのあるドリフト誤差を示す。この誤差は時間上で蓄積し、ある点において、システムの結果に多大な影響を与える。
【０００５】
単一フレームソリューションにおいて、動きぼやけを低減又は除去するために、幾つかの方法が使用されている。光学画像安定化は、一般的に、カメラ運動に対する補償として画像センサー上に投影される画像を横方向に動かすことを有する。画像の移動は、以下の４つの一般的な技術の１つにより達成することができる。
レンズシフト−この光学画像安定化方法は、システムの光軸に実質的に垂直な方向に光学システムの１以上のレンズ素子を動かすことを有する。
画像センサーシフト−この光学画像安定化方法は、光学システムの光軸に実質的に垂直な方向に画像センサーを動かすことを有する。
液体プリズム−この方法は、システムの光軸を屈折により変えるため、くさび（ｗｅｄｇｅ）内の２つの平行なプレート間に封印された１層の液体を変えることを有する。及び、
カメラモジュールチルト−この方法は、光学システム内の全ての要素を不変とするが、場面に関連して光軸を移動させるため、全体のモジュールを傾ける。
【０００６】
上記した画像安定化技術のどの１つにおいても、光軸の変化又は画像センサーの移動を達成するためのアクチュエータ機構が必要となる。アクチュエータ機構は、一般的に複雑であり、即ち、高価で、サイズが大きいことを意味する。
【０００７】
画像安定化へのその他のアプローチは、マルチフレーム方法である。この方法は、長い露光時間を幾つかの短い間隔に分割すること、及びそれら短い間隔で同一場面の幾つかの画像フレームをキャプチャすることに基づく。個々のフレームの動きぼやけの劣化を低減するため、各フレームにおける露光時間は少ない。これら全てのフレームをキャプチャした後、最終画像は２つのステップで計算される。
−記録ステップ：参照として選択された複数の画像の１つに関して全画像フレームを記録する、及び、
−画素融合（ｆｕｓｉｏｎ）：全ての個別フレームにおける対応値に基づき最終画像内の各画素の値を計算する。画素融合の１つの簡単な方法は、個別フレームにおけるその値の平均として、各画素の最終値を計算することである。
【０００８】
典型的なマルチフレーム画像安定化ソリューションにおける主な問題として次がある。
１．画像記録における複雑な計算、及び
２．場面における目的物の移動：画像フレームが捕捉される時間の間に移動する目的物が場面内にある場合、これら目的物は最終画像内で歪められる。歪みは、目的物の複数インスタンスを一緒に張り付けることになる。
【０００９】
画像安定化において、簡単な方法及びシステムを提供することが望まれる。
【発明の概要】
【００１０】
本発明は、より短い間隔において、同一場面の単一画像フレーム又は幾つかの画像フレームをキャプチャすることに基づくマルチフレーム方法に関連する。キャプチャされるフレームの数は、カメラ運動に起因する動きぼやけ及び実施例の実装により決定される。
【００１１】
本発明の１つの実施例によれば、複数の画像フレームをキャプチャするために、長い露光時間は幾つかの短い間隔に分割され、カメラの位置が所定の範囲内にある時キャプチャされた画像フレームのみが、最終画像を形成するために使用される。個別フレームの動きぼやけ劣化を低減するため、各フレームにおける露光時間は短い。カメラが安定しており、場面に対し実質的に静止している場合、全て又は多くの短いフレームが最終画像を形成するために使用される。カメラが十分に安定していない場合、１又は少量の短いフレームが使用される。
【００１２】
その他の実施例によれば、画像センサーへの露光の持続時間は、露光中のカメラ運動により決定される。複数の露光からの複数のキャプチャされたフレームが、最終画像を形成するために使用できる。あるいは、単一フレームのみ複数露光からキャプチャされ、この単一フレームが最終画像を形成するために使用される。
【００１３】
複数フレームが最終画像を形成するために使用される場合、最終画像を得るために、フレーム内の対応する画素の画素強度値が合計される。合計プロセスは、画像センサー内、又はプロセッサー内で行うことができる。
【００１４】
本発明は、露光時間中のカメラ運動を検出するための動きセンサーを使用する。カメラ運動が、参照ポイントに対する所定の範囲を超える場合、この長い運動期間中にキャプチャされた短いフレームは破棄される。あるいは、画像センサーは長い運動期間の間、有効に露光されない。機械的シャッター、光学バルブにより又は画像センサー内の電子回路により、照射光（ｅｘｐｏｓｉｎｇ ｌｉｇｈｔ）を遮断することができる。フレーム選択を用い、又は本発明の選択的な露光方法を用いることで、画素融合プロセスにおいて、短いフレームでキャプチャされた画像を光学的又は電子的に移動する必要はない。
【００１５】
それ故に、露光期間中、結像システムにおいて捕捉された画像を安定化させる方法を提供することが、本発明の第１の観点である。本方法は、以下を有する。
１以上の露光を実現するために露光期間の少なくとも一部において、結像システムの画像センサー上に投影画像を露光するステップ、
露光期間中の結像システムの初期位置に対する移動量を得るため、露光期間中の結像システムの移動を検出するステップ、及び、
露光期間中、移動量が所定の移動範囲内にある時に達成された１以上の露光に基づき捕捉された画像を構成するステップ。
【００１６】
１つの実施例によれば、移動量が所定の移動範囲内にある時に達成された１以上の露光が、露光期間中、単一画像フレームを形成し、及び、本方法は、捕捉された画像を構成するため、露光期間後、単一画像フレームをキャプチャすることを更に有する。
【００１７】
その他の実施例によれば、移動量が所定の移動範囲内にある時に達成された１以上の露光が、露光期間中、１以上の画像フレームを別々に形成し、及び、本方法は、捕捉された画像を構成するため、少なくとも露光期間中、画像フレームをキャプチャすることを更に有する。
【００１８】
別の実施例によれば、露光期間は複数の短い時間間隔に分割され、露光期間の少なくとも一部の間に達成された１以上の露光が１以上の画像フレームを形成し、各画像フレームは１つの短い時間間隔に対するものであり、本方法は、少なくとも露光期間中に１以上の画像フレームをキャプチャすること、及び、捕捉された画像を構成するため、移動量が所定の移動範囲内にある時、１以上の露光から形成されたキャプチャされた画像フレームを選択することを更に有する。
【００１９】
以下を有する結像システムを提供することが、本発明の第２の観点である。
露光期間中、１以上の露光を実現するための画像センサー、
露光期間中の結像システムの初期位置に対する移動量を得るために、露光期間中、結像システムの移動を検出するための動きセンサー、及び
画像センサーに動作可能に接続され、移動量が所定の移動範囲内にあるときに達成される１以上の露光に基づき画像を構成するためのプロセッサー。
【００２０】
結像システムは、画像センサーが露光期間中に１以上の露光を達成することを可能とするよう、画像センサー上に投影画像を供給するための光学システム、及び、移動量が所定の移動範囲外にあるとき、投影画像が画像センサーに到達することを防止するため、光学システムに関連して位置付けられたシャッターを更に有する。
【００２１】
あるいは、結像システムは、移動量が所定の移動範囲外にあるとき、画像センサーが１つの露光を達成することを防止するため、画像センサーに動作可能に接続される電子回路を更に有する。電子回路は、移動量が所定範囲内にあるときのみ、画像センサーが１以上の露光を達成することを可能とするよう、移動量が所定の移動範囲内にあるかどうかを示すための信号を供給することができる。
【００２２】
結像システムに使用される画像安定化モジュールを提供することが本発明の第３の観点であり、結像システムは、画像センサー、露光期間中に画像センサーが１以上の露光を達成することを可能とするよう、画像センサー上に画像を投影するための光学モジュール、及び画像センサーに動作可能に接続され、１以上の露光に基づき画像を構成するためのプロセッサーを有する。画像安定化モジュールは、
露光期間中、結像システムの移動を検出するための動きセンサー、及び
動きセンサーに動作可能に接続され、露光期間中の結像システムの初期位置に対する結像システムの移動量を決定するための手段、及び、移動量が所定範囲内にある時のみ、プロセッサーが１以上の露光を達成するよう、移動量が所定の移動範囲内にあることを示す信号をプロセッサーに供給するための手段、を有する。
【００２３】
移動量が所定の移動範囲外にあるとき、投影画像が画像センサーに届くことを防止するために、光シャッターが使用されることは可能である。
【００２４】
本発明は、図１−９と共に明細書を参考にすることで明らかとなる。
【図面の簡単な説明】
【００２５】
【図１】カメラの直線運動による、画像センサー上の画像の移動を示す。
【図２】カメラの回転運動による、画像センサー上の画像の移動を示す。
【図３】画像移動の角度変化に対する画像移動の距離の関係を示す。
【図４ａ】カメラ運動による、画像面上の投影された画像スポットの軌跡を表す。
【図４ｂ】画像面上の投影された画像スポットの軌跡及び異なる所望の露光領域を表す。
【図４ｃ】画像面上の投影された画像スポットの軌跡及び別の所望の露光領域を表す。
【図４ｄ】画像面上の投影された画像スポットの軌跡及び更に別の所望の露光領域を表す。
【図５】本発明の１実施例による、どのように露光が読み出されるかを表すタイムチャートである。
【図６】本発明の別の実施例による、どのように露光が読み出されるかを表すタイムチャートである。
【図７】本発明の更に別の実施例による、どのように露光が読み出されるかを表すタイムチャートである。
【図８】本発明による、動き安定化システムを示す説明図である。
【図９】本発明による、画像安定化の方法を表すフローチャートである。
【発明を実施するための形態】
【００２６】
写真を撮るためにカメラ付き携帯電話などの小型携帯装置を使うとき、場面に対する装置の運動は、ほとんど常に不可避である。露光時間が長い場合、画像のぼやけが生じる。画像ぼやけは、画像面内の画像移動の結果である。図１に示されるように、画像センサー上の画像ポイントＰは、場面内のポイントＳに対するカメラの直線運動のため、ポイントＰ´に移動する。図２は、ポイントＳに対するカメラの回転運動による画像移動を示す。ポイントＰとポイントＰ´の間の画像移動距離Ｄが３又は４画素より大きい場合、画像品質は粗悪なものとなる。このため、画像移動が所定の範囲、言うなれば１又は２画素内にあるよう、カメラ運動を制限することが望ましい。画像移動距離はカメラ運動と共に変化するのみならず、画像面とレンズ間の焦点距離ｆによっても変化する。ズームレンズ付きカメラにおいて、レンズがズームアウトされるとき、画像移動距離はより大きくなる。
【００２７】
画像移動距離Ｄは、図３に示されるように、移動角度αに関連する。移動角度αは、およそＤ／ｆに等しい。同一量のカメラ運動において、移動角度αは焦点距離ｆと共に大きくは変わらない。
【００２８】
カメラが長い露光時間の間に安定でない場合、画像面内の画像ポイントＰは、場面に対して、カメラ運動に反応して動き回る。一般的に、カメラのユーザーは場面に対しカメラを向けようと試みる。このため、たとえカメラが長い露光時間の間に動いたとしても、同一画像が画像ポイントＰから非常に離れて動き回ることはない。図４ａから４ｄは、長い露光時間中の画像ポイントの軌跡を示す。軌跡が自身を交差する時、これは、カメラがある点から離れた後、同一の照準方向又は位置に戻ることを示している。しかし、軌跡は初期の画像ポイントＰを交差する又は交差しない可能性がある。
【００２９】
本発明による画像安定化方法は、短い間隔において、同一場面の単一画像フレーム又は幾つかの画像フレームをキャプチャすることに基づくマルチフレーム方法に関連する。キャプチャされるフレームの数は、カメラ運動に起因する動きぼやけ及び実施例の実装により決定される。
【００３０】
本発明の１つの実施例によれば、複数の画像フレームをキャプチャするため、長い露光時間は複数の短い間隔に分割され、カメラの位置が所定の範囲内にある時キャプチャされた画像フレームのみが、最終画像を形成するために使用される。個別フレームの動きぼやけ劣化を低減するため、各フレームにおける露光時間は短い。カメラが安定しており、場面に対し実質的に静止している場合、全て又は多くの短いフレームが、最終画像を形成するために使用される。カメラが十分に安定していない場合、１又は少数の短いフレームが使用される。
【００３１】
その他の実施例によれば、画像センサーへの露光の期間は、露光中のカメラ運動により決まる。複数露光からの複数のキャプチャされたフレームが、最終画像を形成するために使用される。あるいは、単一のフレームのみが複数露光からキャプチャされ、この単一フレームが最終画像を形成するために使用される。
【００３２】
図４ａに示されるように、一定の露光時間中、軌跡が画像ポイントＰを通過しなくても、画像ポイントＰが初期に位置していた画素を通過する可能性がある。画素はドットの四角で定義される領域により示され、軌跡はｔ１において画素を通過する。この場合、少なくとも初期の短いフレーム及びｔ１における短いフレームが、最終画像を形成するために使用される。ドットの四角で定義される領域を「所望の露光領域」と呼ぶこととする。
【００３３】
本発明によれば、画像ポイントの軌跡が所望の露光領域を通過する短いフレームの幾つか又は全てが最終画像を形成するために使用される。最終画像の鮮明さは、所望の露光領域がどの程度大きいかに依存する。デジタルカメラにおいて、より小さい所望の露光領域が画素である。しかし、所望の露光領域は画素より大きくできる。所望の露光領域が増加するとき、軌跡が所望の露光領域を通過する可能性が高くなる。図４ｂに示されるように、軌跡はｔ２において再び所望の露光領域を通過する。従って、少なくとも３つの短いフレームが最終画像を形成するために使用できる。
【００３４】
あるいは、所望の露光領域の代わりに、所望の露光角度範囲が、最終画像を形成する際の短いフレームを選択するために使用できる。所望の露光角度の範囲は、カメラの焦点距離ｆにより分割される所望の露光領域により定義できる。図４ｃにおいて、所望の露光角度の範囲はドットの円により境界を示される。図４ｄにおいて、所望の露光角度の範囲はドットの楕円により境界を示される。
【００３５】
図５から７に示されるように、同一のカメラ運動において、最終画像を形成するための１つより多い方法があることに注意すべきである。カメラ運動は、図５（ｄ）、６（ｄ）及び７（ｄ）に示される。図のように、カメラ運動の幾つかの部分は、「所望の露光領域」（又は角度）として示される所定の範囲内にある。カメラ運動が所定の範囲内にある時の画像センサーへの露光のみが使用される。図５（ａ）、６（ａ）及び７（ａ）に示されるように、カメラ上のシャッターボタンが起動された時、露光が開始する。図５（ｂ）及び６（ｂ）において、画像センサーは、カメラ運動が所定の範囲内にあるときのみ、有効に露光される。カメラ運動が所定の範囲外にある場合、照射光は、機械的若しくは光学的シャッターにより、又は画像センサー内の電子回路若しくは複数の電子素子により遮断される。電荷結合素子（ＣＣＤ：ｃｈａｒｇｅ−ｃｏｕｐｌｅ ｄｅｖｉｃｅ）などの画像センサーにおいて、電子電荷は、画像を形成するために、露光期間に渡り画素内に蓄積される。一般的に、各画素内に蓄積された電荷は画素強度として読み出される。各露光期間の後、図６（ｃ）に示されるように１フレームがキャプチャされる。図６（ｄ）に示されるように、カメラ運動の軌跡は、三回、所望の露光領域の外に移動し、それ故に、シャッターボタンが作動した後、三回の露光がある。従って、最終画像に使用されるために、３つのフレームが、独立に及び個別にキャプチャされる。この実施例において、画素強度は、画像センサーに動作可能に接続されるプロセッサー内で合計される。
【００３６】
あるいは、図５（ｃ）に示されるように、写真が撮られた後、単一フレームのみ読み出される。この単一フレームは、３つの異なる露光期間内で、画素強度を効果的に合計する。
【００３７】
別の実施例において、写真を撮るための長い露光期間は、複数の短い期間に分割され、１つのフレームは、各短い期間の露光においてキャプチャされる。各キャプチャされたフレームにおける画像は、写真が撮られる間に読み出される。図７（ｃ）に示されるように、カメラ運動が所定範囲内にある時の露光においてキャプチャされたフレームのみが合計するために使用される。図７（ｃ）において、使用されるフレームは「ＯＫ」とラベル付けされ、破棄されるフレームは「ＮＧ」とラベル付けされる。この実施例において、使用されるフレームの画素強度は、画像センサーに動作可能に接続されるプロセッサー内で合計される。図７（ｂ）は有効な光シャッター期間を示すものであるが、この実施例において、シャッターは必要でない。
【００３８】
最終画像を形成するための短いフレームを選択するために、カメラ運動が初期位置に関して所望の露光角度範囲外、又は所望の露光範囲外にあるとき、選択的に画像センサーを遮断するために、本発明はジャイロスコープ又は加速度計などの動きセンサーを使用する。図８に示されるように、本発明の結像システム１０は、画像センサー３０上に画像を投影するため、１以上のレンズ２０を有する。画像／信号プロセッサー４０は、画像センサー上に形成された画像を読み出すよう構成される。照射が十分であるとき、場面の画像をキャプチャするために、１つの短いフレームで十分である。光が少ない状況では、多くの短いフレームが複数の短い露光画像をキャプチャするために使用され、短いフレーム内の画素強度は、最終画像を形成するために画像／信号プロセッサー４０により合計することができる。画像／信号プロセッサー４０に動作可能に接続される動きセンサー５０は、カメラ運動が所望の露光角度範囲外、又は所望の露光範囲外にあるとき、画像センサー３０を有効に遮断するため、プロセッサー４０に信号を送る。照射光は、例えば、機械的シャッター又は光学バルブ５５により遮断することができる。
【００３９】
多くの結像システムにおいて、露光時間は照射により変化する。照射が弱いとき、より長い露光時間が用いられる。この目的のため、光センサー６０が使用される。本発明によれば、結像システムにおいて、露光時間は照射に依存することもできる。即ち、微光状況において、画像ポイントの軌跡が所望の露光領域又は角度範囲を通過する機会を増やすよう、露光時間を増加することができる。しかし、微光状況において、所望の露光角度範囲又は所望の露光領域を増やすことも可能である。
【００４０】
要するに、本発明は、最終画像を形成するために、単一のキャプチャされたフレーム又は複数のキャプチャされたフレームを使用する。最終画像を形成するために複数フレームが使用される場合、複数フレーム内の対応する画素の画素強度値が、最終画像を得るために合計される。合計プロセスは画像センサー内又はプロセッサー内で行うことができる。全体の安定化プロセスは、図９に示されるフローチャート内で要約される。図９のフローチャート１００に示されるように、カメラ上のシャッターボタンが起動すると、ステップ１１０において、画像センサーへの投影画像の露光が開始する。カメラ運動が所望の露光領域又は角度内にあるかどうかを決定するため、ステップ１２０において、カメラ運動の検出が直ちに始まる。露光期間中、ステップ１３０において、画像フレームがキャプチャされる。ステップ１４０において、運動が所望の露光領域又は角度内にある時の露光から形成される画像フレームが、最終画像を構成するために使用される。本発明の１つの実施例において、運動が所望の露光領域又は角度を超えるとき、投影画像が画像センサーに到達することを防止する。カメラの運動が画像センサー上の画素のサブセットのみを用いて決定されることは利点である。
【００４１】
本発明は、露光時間中、カメラ運動を検出するため、動きセンサーを使用する。カメラ運動が参照ポイントに関連する所定の範囲を超える場合、この長い運動期間中にキャプチャされた短いフレームは破棄される。あるいは、長い運動期間中、画像センサーは有効に露光されない。照射光は、機械的シャッターにより、光学バルブにより、又は画像センサー内の電子回路により、遮断することができる。フレーム選択又は本発明の選択的露光方法により、画素融合プロセスにおいて、短いフレーム内でキャプチャされた画像を光学的又は電子的に移動する必要はない。
【００４２】
上記したように、本発明は１以上の実施例に関して記述されてはいるが、その形式又は詳細における前記の及び様々なその他の変更、省略並びに偏向は、本発明の範囲から逸脱することなく行うことができることは、当業者には理解できることである。
【技術分野】
【０００１】
本発明は、一般的には、画像安定化（ｉｍａｇｅ ｓｔａｂｉｌｉｚａｔｉｏｎ）に関連し、詳細には、画像処理による画像安定化に関連する。
【背景技術】
【０００２】
画像安定化の問題は写真撮影の初期に遡り、そしてこの問題は、適度に良い画像を形成するために、画像センサーが十分な露光時間を必要とするという事実に関連する。露光時間中におけるカメラの幾らかの動きも画像センサー上に投影される画像のずれを起こし、形成された画像の劣化を引き起こす。この動きに関連する劣化は動きぼやけ（ｍｏｔｉｏｎ ｂｌｕｒ）と呼ばれる。写真を撮る間、カメラを保持するために片方又は両方の手を用いることで、適度に長い露光又は積分時間の間の不必要なカメラ運動を回避することは殆ど不可能である。カメラが高ズーム比に設定されるとき、動きぼやけは特に簡単に生じ、少しの動きさえ取得された画像の品質を大きく劣化させる。動きによるぼやけた画像を復元することでの主な困難性の１つは、動きぼやけは画像により異なり、露光時間中に起こる実際のカメラ運動に依存するという事実に起因する。
【０００３】
画像捕捉能力を有する家庭用装置の現行の発展及び小型化は、耐性があり、効率的な画像安定化の解決方法に対する必要性を増加させている。この必要性は２つの主な要因により推進される。
１．（カメラ付き携帯電話のような）小型の手持ち装置を使用するとき、積分時間中の予期しない動きを回避することの困難性。
２．画像解像度の増加と関連し、画像センサーの小型化がもたらした小画素領域に起因する、より長い積分時間の必要性。画素領域が小さくなる程、画素により捕捉される単位時間当たりの光量子（ｐｈｏｔｏｎ）は少なくなり、このため、より長い積分時間が良い結果のために必要となる。
【０００４】
画像安定化は、通常、単一フレームソリューションと呼ばれる技術において実行される。単一フレームソリューションは、長い露光時間の間に単一の画像フレームをキャプチャすることに基づく。実際、これは画像キャプチャの古典的な状況であり、捕捉された画像は、通常、露光時間中に生じた動きを原因とする動きぼやけにより劣化する。画像を復元するため、露光時間中に生じた動きについての非常に正確な知識を持つ必要がある。この結果、このアプローチは、非常に高価な動きセンサー（ジャイロスコープ）を必要とし、費用は別として、これはサイズも大きく、このため、小型の装置内に搭載することは困難である。更に、露光時間が長い場合、動きセンサー出力から導出される位置情報は、本当の値に対しバイアスのあるドリフト誤差を示す。この誤差は時間上で蓄積し、ある点において、システムの結果に多大な影響を与える。
【０００５】
単一フレームソリューションにおいて、動きぼやけを低減又は除去するために、幾つかの方法が使用されている。光学画像安定化は、一般的に、カメラ運動に対する補償として画像センサー上に投影される画像を横方向に動かすことを有する。画像の移動は、以下の４つの一般的な技術の１つにより達成することができる。
レンズシフト−この光学画像安定化方法は、システムの光軸に実質的に垂直な方向に光学システムの１以上のレンズ素子を動かすことを有する。
画像センサーシフト−この光学画像安定化方法は、光学システムの光軸に実質的に垂直な方向に画像センサーを動かすことを有する。
液体プリズム−この方法は、システムの光軸を屈折により変えるため、くさび（ｗｅｄｇｅ）内の２つの平行なプレート間に封印された１層の液体を変えることを有する。及び、
カメラモジュールチルト−この方法は、光学システム内の全ての要素を不変とするが、場面に関連して光軸を移動させるため、全体のモジュールを傾ける。
【０００６】
上記した画像安定化技術のどの１つにおいても、光軸の変化又は画像センサーの移動を達成するためのアクチュエータ機構が必要となる。アクチュエータ機構は、一般的に複雑であり、即ち、高価で、サイズが大きいことを意味する。
【０００７】
画像安定化へのその他のアプローチは、マルチフレーム方法である。この方法は、長い露光時間を幾つかの短い間隔に分割すること、及びそれら短い間隔で同一場面の幾つかの画像フレームをキャプチャすることに基づく。個々のフレームの動きぼやけの劣化を低減するため、各フレームにおける露光時間は少ない。これら全てのフレームをキャプチャした後、最終画像は２つのステップで計算される。
−記録ステップ：参照として選択された複数の画像の１つに関して全画像フレームを記録する、及び、
−画素融合（ｆｕｓｉｏｎ）：全ての個別フレームにおける対応値に基づき最終画像内の各画素の値を計算する。画素融合の１つの簡単な方法は、個別フレームにおけるその値の平均として、各画素の最終値を計算することである。
【０００８】
典型的なマルチフレーム画像安定化ソリューションにおける主な問題として次がある。
１．画像記録における複雑な計算、及び
２．場面における目的物の移動：画像フレームが捕捉される時間の間に移動する目的物が場面内にある場合、これら目的物は最終画像内で歪められる。歪みは、目的物の複数インスタンスを一緒に張り付けることになる。
【０００９】
画像安定化において、簡単な方法及びシステムを提供することが望まれる。
【発明の概要】
【００１０】
本発明は、より短い間隔において、同一場面の単一画像フレーム又は幾つかの画像フレームをキャプチャすることに基づくマルチフレーム方法に関連する。キャプチャされるフレームの数は、カメラ運動に起因する動きぼやけ及び実施例の実装により決定される。
【００１１】
本発明の１つの実施例によれば、複数の画像フレームをキャプチャするために、長い露光時間は幾つかの短い間隔に分割され、カメラの位置が所定の範囲内にある時キャプチャされた画像フレームのみが、最終画像を形成するために使用される。個別フレームの動きぼやけ劣化を低減するため、各フレームにおける露光時間は短い。カメラが安定しており、場面に対し実質的に静止している場合、全て又は多くの短いフレームが最終画像を形成するために使用される。カメラが十分に安定していない場合、１又は少量の短いフレームが使用される。
【００１２】
その他の実施例によれば、画像センサーへの露光の持続時間は、露光中のカメラ運動により決定される。複数の露光からの複数のキャプチャされたフレームが、最終画像を形成するために使用できる。あるいは、単一フレームのみ複数露光からキャプチャされ、この単一フレームが最終画像を形成するために使用される。
【００１３】
複数フレームが最終画像を形成するために使用される場合、最終画像を得るために、フレーム内の対応する画素の画素強度値が合計される。合計プロセスは、画像センサー内、又はプロセッサー内で行うことができる。
【００１４】
本発明は、露光時間中のカメラ運動を検出するための動きセンサーを使用する。カメラ運動が、参照ポイントに対する所定の範囲を超える場合、この長い運動期間中にキャプチャされた短いフレームは破棄される。あるいは、画像センサーは長い運動期間の間、有効に露光されない。機械的シャッター、光学バルブにより又は画像センサー内の電子回路により、照射光（ｅｘｐｏｓｉｎｇ ｌｉｇｈｔ）を遮断することができる。フレーム選択を用い、又は本発明の選択的な露光方法を用いることで、画素融合プロセスにおいて、短いフレームでキャプチャされた画像を光学的又は電子的に移動する必要はない。
【００１５】
それ故に、露光期間中、結像システムにおいて捕捉された画像を安定化させる方法を提供することが、本発明の第１の観点である。本方法は、以下を有する。
１以上の露光を実現するために露光期間の少なくとも一部において、結像システムの画像センサー上に投影画像を露光するステップ、
露光期間中の結像システムの初期位置に対する移動量を得るため、露光期間中の結像システムの移動を検出するステップ、及び、
露光期間中、移動量が所定の移動範囲内にある時に達成された１以上の露光に基づき捕捉された画像を構成するステップ。
【００１６】
１つの実施例によれば、移動量が所定の移動範囲内にある時に達成された１以上の露光が、露光期間中、単一画像フレームを形成し、及び、本方法は、捕捉された画像を構成するため、露光期間後、単一画像フレームをキャプチャすることを更に有する。
【００１７】
その他の実施例によれば、移動量が所定の移動範囲内にある時に達成された１以上の露光が、露光期間中、１以上の画像フレームを別々に形成し、及び、本方法は、捕捉された画像を構成するため、少なくとも露光期間中、画像フレームをキャプチャすることを更に有する。
【００１８】
別の実施例によれば、露光期間は複数の短い時間間隔に分割され、露光期間の少なくとも一部の間に達成された１以上の露光が１以上の画像フレームを形成し、各画像フレームは１つの短い時間間隔に対するものであり、本方法は、少なくとも露光期間中に１以上の画像フレームをキャプチャすること、及び、捕捉された画像を構成するため、移動量が所定の移動範囲内にある時、１以上の露光から形成されたキャプチャされた画像フレームを選択することを更に有する。
【００１９】
以下を有する結像システムを提供することが、本発明の第２の観点である。
露光期間中、１以上の露光を実現するための画像センサー、
露光期間中の結像システムの初期位置に対する移動量を得るために、露光期間中、結像システムの移動を検出するための動きセンサー、及び
画像センサーに動作可能に接続され、移動量が所定の移動範囲内にあるときに達成される１以上の露光に基づき画像を構成するためのプロセッサー。
【００２０】
結像システムは、画像センサーが露光期間中に１以上の露光を達成することを可能とするよう、画像センサー上に投影画像を供給するための光学システム、及び、移動量が所定の移動範囲外にあるとき、投影画像が画像センサーに到達することを防止するため、光学システムに関連して位置付けられたシャッターを更に有する。
【００２１】
あるいは、結像システムは、移動量が所定の移動範囲外にあるとき、画像センサーが１つの露光を達成することを防止するため、画像センサーに動作可能に接続される電子回路を更に有する。電子回路は、移動量が所定範囲内にあるときのみ、画像センサーが１以上の露光を達成することを可能とするよう、移動量が所定の移動範囲内にあるかどうかを示すための信号を供給することができる。
【００２２】
結像システムに使用される画像安定化モジュールを提供することが本発明の第３の観点であり、結像システムは、画像センサー、露光期間中に画像センサーが１以上の露光を達成することを可能とするよう、画像センサー上に画像を投影するための光学モジュール、及び画像センサーに動作可能に接続され、１以上の露光に基づき画像を構成するためのプロセッサーを有する。画像安定化モジュールは、
露光期間中、結像システムの移動を検出するための動きセンサー、及び
動きセンサーに動作可能に接続され、露光期間中の結像システムの初期位置に対する結像システムの移動量を決定するための手段、及び、移動量が所定範囲内にある時のみ、プロセッサーが１以上の露光を達成するよう、移動量が所定の移動範囲内にあることを示す信号をプロセッサーに供給するための手段、を有する。
【００２３】
移動量が所定の移動範囲外にあるとき、投影画像が画像センサーに届くことを防止するために、光シャッターが使用されることは可能である。
【００２４】
本発明は、図１−９と共に明細書を参考にすることで明らかとなる。
【図面の簡単な説明】
【００２５】
【図１】カメラの直線運動による、画像センサー上の画像の移動を示す。
【図２】カメラの回転運動による、画像センサー上の画像の移動を示す。
【図３】画像移動の角度変化に対する画像移動の距離の関係を示す。
【図４ａ】カメラ運動による、画像面上の投影された画像スポットの軌跡を表す。
【図４ｂ】画像面上の投影された画像スポットの軌跡及び異なる所望の露光領域を表す。
【図４ｃ】画像面上の投影された画像スポットの軌跡及び別の所望の露光領域を表す。
【図４ｄ】画像面上の投影された画像スポットの軌跡及び更に別の所望の露光領域を表す。
【図５】本発明の１実施例による、どのように露光が読み出されるかを表すタイムチャートである。
【図６】本発明の別の実施例による、どのように露光が読み出されるかを表すタイムチャートである。
【図７】本発明の更に別の実施例による、どのように露光が読み出されるかを表すタイムチャートである。
【図８】本発明による、動き安定化システムを示す説明図である。
【図９】本発明による、画像安定化の方法を表すフローチャートである。
【発明を実施するための形態】
【００２６】
写真を撮るためにカメラ付き携帯電話などの小型携帯装置を使うとき、場面に対する装置の運動は、ほとんど常に不可避である。露光時間が長い場合、画像のぼやけが生じる。画像ぼやけは、画像面内の画像移動の結果である。図１に示されるように、画像センサー上の画像ポイントＰは、場面内のポイントＳに対するカメラの直線運動のため、ポイントＰ´に移動する。図２は、ポイントＳに対するカメラの回転運動による画像移動を示す。ポイントＰとポイントＰ´の間の画像移動距離Ｄが３又は４画素より大きい場合、画像品質は粗悪なものとなる。このため、画像移動が所定の範囲、言うなれば１又は２画素内にあるよう、カメラ運動を制限することが望ましい。画像移動距離はカメラ運動と共に変化するのみならず、画像面とレンズ間の焦点距離ｆによっても変化する。ズームレンズ付きカメラにおいて、レンズがズームアウトされるとき、画像移動距離はより大きくなる。
【００２７】
画像移動距離Ｄは、図３に示されるように、移動角度αに関連する。移動角度αは、およそＤ／ｆに等しい。同一量のカメラ運動において、移動角度αは焦点距離ｆと共に大きくは変わらない。
【００２８】
カメラが長い露光時間の間に安定でない場合、画像面内の画像ポイントＰは、場面に対して、カメラ運動に反応して動き回る。一般的に、カメラのユーザーは場面に対しカメラを向けようと試みる。このため、たとえカメラが長い露光時間の間に動いたとしても、同一画像が画像ポイントＰから非常に離れて動き回ることはない。図４ａから４ｄは、長い露光時間中の画像ポイントの軌跡を示す。軌跡が自身を交差する時、これは、カメラがある点から離れた後、同一の照準方向又は位置に戻ることを示している。しかし、軌跡は初期の画像ポイントＰを交差する又は交差しない可能性がある。
【００２９】
本発明による画像安定化方法は、短い間隔において、同一場面の単一画像フレーム又は幾つかの画像フレームをキャプチャすることに基づくマルチフレーム方法に関連する。キャプチャされるフレームの数は、カメラ運動に起因する動きぼやけ及び実施例の実装により決定される。
【００３０】
本発明の１つの実施例によれば、複数の画像フレームをキャプチャするため、長い露光時間は複数の短い間隔に分割され、カメラの位置が所定の範囲内にある時キャプチャされた画像フレームのみが、最終画像を形成するために使用される。個別フレームの動きぼやけ劣化を低減するため、各フレームにおける露光時間は短い。カメラが安定しており、場面に対し実質的に静止している場合、全て又は多くの短いフレームが、最終画像を形成するために使用される。カメラが十分に安定していない場合、１又は少数の短いフレームが使用される。
【００３１】
その他の実施例によれば、画像センサーへの露光の期間は、露光中のカメラ運動により決まる。複数露光からの複数のキャプチャされたフレームが、最終画像を形成するために使用される。あるいは、単一のフレームのみが複数露光からキャプチャされ、この単一フレームが最終画像を形成するために使用される。
【００３２】
図４ａに示されるように、一定の露光時間中、軌跡が画像ポイントＰを通過しなくても、画像ポイントＰが初期に位置していた画素を通過する可能性がある。画素はドットの四角で定義される領域により示され、軌跡はｔ１において画素を通過する。この場合、少なくとも初期の短いフレーム及びｔ１における短いフレームが、最終画像を形成するために使用される。ドットの四角で定義される領域を「所望の露光領域」と呼ぶこととする。
【００３３】
本発明によれば、画像ポイントの軌跡が所望の露光領域を通過する短いフレームの幾つか又は全てが最終画像を形成するために使用される。最終画像の鮮明さは、所望の露光領域がどの程度大きいかに依存する。デジタルカメラにおいて、より小さい所望の露光領域が画素である。しかし、所望の露光領域は画素より大きくできる。所望の露光領域が増加するとき、軌跡が所望の露光領域を通過する可能性が高くなる。図４ｂに示されるように、軌跡はｔ２において再び所望の露光領域を通過する。従って、少なくとも３つの短いフレームが最終画像を形成するために使用できる。
【００３４】
あるいは、所望の露光領域の代わりに、所望の露光角度範囲が、最終画像を形成する際の短いフレームを選択するために使用できる。所望の露光角度の範囲は、カメラの焦点距離ｆにより分割される所望の露光領域により定義できる。図４ｃにおいて、所望の露光角度の範囲はドットの円により境界を示される。図４ｄにおいて、所望の露光角度の範囲はドットの楕円により境界を示される。
【００３５】
図５から７に示されるように、同一のカメラ運動において、最終画像を形成するための１つより多い方法があることに注意すべきである。カメラ運動は、図５（ｄ）、６（ｄ）及び７（ｄ）に示される。図のように、カメラ運動の幾つかの部分は、「所望の露光領域」（又は角度）として示される所定の範囲内にある。カメラ運動が所定の範囲内にある時の画像センサーへの露光のみが使用される。図５（ａ）、６（ａ）及び７（ａ）に示されるように、カメラ上のシャッターボタンが起動された時、露光が開始する。図５（ｂ）及び６（ｂ）において、画像センサーは、カメラ運動が所定の範囲内にあるときのみ、有効に露光される。カメラ運動が所定の範囲外にある場合、照射光は、機械的若しくは光学的シャッターにより、又は画像センサー内の電子回路若しくは複数の電子素子により遮断される。電荷結合素子（ＣＣＤ：ｃｈａｒｇｅ−ｃｏｕｐｌｅ ｄｅｖｉｃｅ）などの画像センサーにおいて、電子電荷は、画像を形成するために、露光期間に渡り画素内に蓄積される。一般的に、各画素内に蓄積された電荷は画素強度として読み出される。各露光期間の後、図６（ｃ）に示されるように１フレームがキャプチャされる。図６（ｄ）に示されるように、カメラ運動の軌跡は、三回、所望の露光領域の外に移動し、それ故に、シャッターボタンが作動した後、三回の露光がある。従って、最終画像に使用されるために、３つのフレームが、独立に及び個別にキャプチャされる。この実施例において、画素強度は、画像センサーに動作可能に接続されるプロセッサー内で合計される。
【００３６】
あるいは、図５（ｃ）に示されるように、写真が撮られた後、単一フレームのみ読み出される。この単一フレームは、３つの異なる露光期間内で、画素強度を効果的に合計する。
【００３７】
別の実施例において、写真を撮るための長い露光期間は、複数の短い期間に分割され、１つのフレームは、各短い期間の露光においてキャプチャされる。各キャプチャされたフレームにおける画像は、写真が撮られる間に読み出される。図７（ｃ）に示されるように、カメラ運動が所定範囲内にある時の露光においてキャプチャされたフレームのみが合計するために使用される。図７（ｃ）において、使用されるフレームは「ＯＫ」とラベル付けされ、破棄されるフレームは「ＮＧ」とラベル付けされる。この実施例において、使用されるフレームの画素強度は、画像センサーに動作可能に接続されるプロセッサー内で合計される。図７（ｂ）は有効な光シャッター期間を示すものであるが、この実施例において、シャッターは必要でない。
【００３８】
最終画像を形成するための短いフレームを選択するために、カメラ運動が初期位置に関して所望の露光角度範囲外、又は所望の露光範囲外にあるとき、選択的に画像センサーを遮断するために、本発明はジャイロスコープ又は加速度計などの動きセンサーを使用する。図８に示されるように、本発明の結像システム１０は、画像センサー３０上に画像を投影するため、１以上のレンズ２０を有する。画像／信号プロセッサー４０は、画像センサー上に形成された画像を読み出すよう構成される。照射が十分であるとき、場面の画像をキャプチャするために、１つの短いフレームで十分である。光が少ない状況では、多くの短いフレームが複数の短い露光画像をキャプチャするために使用され、短いフレーム内の画素強度は、最終画像を形成するために画像／信号プロセッサー４０により合計することができる。画像／信号プロセッサー４０に動作可能に接続される動きセンサー５０は、カメラ運動が所望の露光角度範囲外、又は所望の露光範囲外にあるとき、画像センサー３０を有効に遮断するため、プロセッサー４０に信号を送る。照射光は、例えば、機械的シャッター又は光学バルブ５５により遮断することができる。
【００３９】
多くの結像システムにおいて、露光時間は照射により変化する。照射が弱いとき、より長い露光時間が用いられる。この目的のため、光センサー６０が使用される。本発明によれば、結像システムにおいて、露光時間は照射に依存することもできる。即ち、微光状況において、画像ポイントの軌跡が所望の露光領域又は角度範囲を通過する機会を増やすよう、露光時間を増加することができる。しかし、微光状況において、所望の露光角度範囲又は所望の露光領域を増やすことも可能である。
【００４０】
要するに、本発明は、最終画像を形成するために、単一のキャプチャされたフレーム又は複数のキャプチャされたフレームを使用する。最終画像を形成するために複数フレームが使用される場合、複数フレーム内の対応する画素の画素強度値が、最終画像を得るために合計される。合計プロセスは画像センサー内又はプロセッサー内で行うことができる。全体の安定化プロセスは、図９に示されるフローチャート内で要約される。図９のフローチャート１００に示されるように、カメラ上のシャッターボタンが起動すると、ステップ１１０において、画像センサーへの投影画像の露光が開始する。カメラ運動が所望の露光領域又は角度内にあるかどうかを決定するため、ステップ１２０において、カメラ運動の検出が直ちに始まる。露光期間中、ステップ１３０において、画像フレームがキャプチャされる。ステップ１４０において、運動が所望の露光領域又は角度内にある時の露光から形成される画像フレームが、最終画像を構成するために使用される。本発明の１つの実施例において、運動が所望の露光領域又は角度を超えるとき、投影画像が画像センサーに到達することを防止する。カメラの運動が画像センサー上の画素のサブセットのみを用いて決定されることは利点である。
【００４１】
本発明は、露光時間中、カメラ運動を検出するため、動きセンサーを使用する。カメラ運動が参照ポイントに関連する所定の範囲を超える場合、この長い運動期間中にキャプチャされた短いフレームは破棄される。あるいは、長い運動期間中、画像センサーは有効に露光されない。照射光は、機械的シャッターにより、光学バルブにより、又は画像センサー内の電子回路により、遮断することができる。フレーム選択又は本発明の選択的露光方法により、画素融合プロセスにおいて、短いフレーム内でキャプチャされた画像を光学的又は電子的に移動する必要はない。
【００４２】
上記したように、本発明は１以上の実施例に関して記述されてはいるが、その形式又は詳細における前記の及び様々なその他の変更、省略並びに偏向は、本発明の範囲から逸脱することなく行うことができることは、当業者には理解できることである。
【特許請求の範囲】
【請求項１】
少なくとも２つの露光を実現するために、少なくとも露光期間の一部の間において、結像システムの画像センサーの上に投影画像を露光するステップと、
前記露光期間における前記結像システムの初期位置に対する前記結像システムの移動量を決定するために、前記露光期間の間に、前記結像システムの移動を検出するステップと、
少なくとも第１の露光と第２の露光とに基づいて、画像を構築するステップであって、 前記結像システムの決定された移動量が、前記結像システムの初期位置に対する所定の移動範囲の内である、前記露光期間内において、第１の期間に、前記第１の露光が実現され、
前記結像システムの決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の内である、前記露光期間内において、第２の期間に、前記第２の露光が実現され、
前記第１の期間と前記第２の期間との間に、前記結像システムの決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の外である、第３の期間が存在する、ステップと、を含む方法。
【請求項２】
前記結像システムの決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の内であるときに実現された、前記第１の露光と前記第２の露光が、前記露光期間の間に、単一の画像フレームを形成し、
前記方法は、捕捉された画像を構築するために、前記露光期間の後に前記単一の画像フレームをキャプチャするステップ、を更に含む、請求項１に記載の方法。
【請求項３】
前記結像システムの決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の内であるときに実現された、前記第１の露光と前記第２の露光が、前記露光期間の間に、少なくとも２つの画像フレームを別々に形成し、
前記方法は、捕捉された画像を構築するために、少なくとも前記露光期間の間に前記少なくとも２つの画像フレームをキャプチャするステップ、を更に含む、請求項１に記載の方法。
【請求項４】
前記露光期間が、複数のより短い期間に分割され、
前記第１の期間に実現された前記第１の露光が、第１の画像フレームを形成し、
前記第２の期間に実現された前記第２の露光が、第２の画像フレームを形成し、
前記方法は、前記露光期間の間に、前記第１の画像フレームと前記第２の画像フレームをキャプチャするステップと、
前記画像を構築するのに用いるために、少なくとも前記第１の画像フレームと前記第２の画像フレームを選択するステップと、を更に含む、請求項１に記載の方法。
【請求項５】
前記結像システムの前記決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の外であるとき、前記第３の期間の間に、前記投影画像が前記画像センサーに到達することを防止するステップ、を更に含む請求項１に記載の方法。
【請求項６】
前記画像センサーは画素の配列から成り、各画素は１つの画素領域を有し、
前記所定の移動範囲は１以上の画素領域に基づき決定される、請求項１に記載の方法。
【請求項７】
前記結像システムは、前記画像センサーの上に前記投影画像を供給するための光学システムを備え、
前記所定の移動範囲は、前記光学システムの焦点距離に基づいて決定される、請求項１に記載の方法。
【請求項８】
前記所定の移動範囲は、前記投影画像を形成する光の少なくとも部分の明るさに基づいて決定される、請求項１に記載の方法。
【請求項９】
露光期間の間に少なくとも第１の露光と第２の露光を実現するように構成された画像センサーと、
前記露光期間における結像システムの初期位置に対する前記結像システムの移動量を決定することができるようにするために、前記露光期間の間に前記結像システムの移動を検出するように構成された動きセンサーと、
少なくとも前記第１の露光と前記第２の露光とに基づいて、画像を構築するように構成されたプロセッサーであって、
前記結像システムの前記決定された移動量が、前記結像システムの初期位置に対する所定の移動範囲の内である、前記露光期間内において、第１の期間に、前記第１の露光が実現され、
前記結像システムの前記決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の内である、前記露光期間内において、第２の期間に、前記第２の露光が実現され、
前記第１の期間と前記第２の期間との間に、前記結像システムの前記決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の外である、第３の期間が存在する、プロセッサーと、を備える結像システム。
【請求項１０】
前記結像システムの前記決定された移動量が前記結像システムの初期位置に対する前記所定の移動範囲の内であるとき実現された前記第１の露光と前記第２の露光が、前記露光期間の間に単一の画像フレームを形成し、
前記画像は、前記露光期間の後にキャプチャされた前記単一の画像フレームに基づいて構築される、請求項９に記載の結像システム。
【請求項１１】
前記結像システムの前記決定された移動量が前記結像システムの初期位置に対する前記所定の移動範囲の内であるとき実現された前記第１の露光と前記第２の露光が、前記露光期間の間に少なくとも２つの画像フレームを別々に形成し、
前記画像は、少なくとも前記露光期間の間にキャプチャされた前記少なくとも２つの画像フレームに基づいて、構築される、請求項９に記載の結像システム。
【請求項１２】
前記画像センサーは、前記露光期間を複数のより短い期間に分割するように構成され、
前記第１の期間に実現された前記第１の露光が、第１の画像フレームを形成し、
前記第２の期間に実現された前記第２の露光が、第２の画像フレームを形成し、
前記プロセッサーは、前記露光期間の間に前記第１の画像フレームと前記第２の画像フレームと第３の画像フレームとをキャプチャするように構成され、
前記画像を構築するのに用いるために、前記第１の画像フレームと前記第２の画像フレームとを選択するように構成される、請求項９に記載の結像システム。
【請求項１３】
前記画像センサーが、前記露光期間の間に前記第１の露光と前記第２の露光とを実現することを可能にするように、前記画像センサーの上に投影画像を供給するための光学システムを更に備える請求項９に記載の結像システム。
【請求項１４】
前記光学システムとの関連で配置され、前記結像システムの前記決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の外であるとき、前記第３の期間の間に、前記投影画像が前記画像センサーに到達することを防止するように構成された、シャッターを更に備える請求項１３に記載の結像システム。
【請求項１５】
前記結像システムの前記決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の外である、とき、前記第３の期間の間に、前記画像センサーが第３の露光を実現することを防止するように構成された電子回路を更に備える請求項９に記載の結像システム。
【請求項１６】
前記動きセンサーは、前記結像システムの前記決定された移動量が、前記画像センサーに、前記第１の期間に前記第１の露光を実現させるように、また、前記画像センサーに、前記第２の期間に前記第２の露光を実現させるように、前記所定の移動範囲の内であることを示す信号を供給する、請求項９に記載の結像システム。
【請求項１７】
画像検出手段と、
前記画像検出手段が少なくとも２つの露光を実現することを可能とするように、露光期間の間に前記画像検出手段の上に投影画像を露光する手段と、
前記露光期間における結像システムの初期位置に対する前記結像システムの移動量を決定するために、前記露光期間の間に前記結像システムの移動を検出する手段と、
少なくとも第１の露光と第２の露光とに基づいて画像を構築する手段であって、
前記結像システムの前記決定された移動量が、前記結像システムの初期位置に対する所定の移動範囲の内である、前記露光期間内において、第１の期間に、前記第１の露光が実現され、
前記結像システムの前記決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の内である、前記露光期間内において、第２の期間に、前記第２の露光が実現され、
前記第１の期間と前記第２の期間との間に、前記結像システムの前記決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の外である、第３の期間が存在する、手段と、を備える結像システム。
【請求項１８】
捕捉された画像を構築するために、少なくとも２つの画像フレームをキャプチャする手段を更に備える請求項１７に記載の結像システム。
【請求項１９】
前記捕捉された画像を構築するために、前記キャプチャされた画像フレームを選択する手段を更に備える請求項１８に記載の結像システム。
【請求項２０】
前記結像システムの前記決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の外であるとき、前記第３の期間の間に、前記投影画像が露光を形成することを防止する手段を更に備える請求項１７に記載の結像システム。
【請求項１】
少なくとも２つの露光を実現するために、少なくとも露光期間の一部の間において、結像システムの画像センサーの上に投影画像を露光するステップと、
前記露光期間における前記結像システムの初期位置に対する前記結像システムの移動量を決定するために、前記露光期間の間に、前記結像システムの移動を検出するステップと、
少なくとも第１の露光と第２の露光とに基づいて、画像を構築するステップであって、 前記結像システムの決定された移動量が、前記結像システムの初期位置に対する所定の移動範囲の内である、前記露光期間内において、第１の期間に、前記第１の露光が実現され、
前記結像システムの決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の内である、前記露光期間内において、第２の期間に、前記第２の露光が実現され、
前記第１の期間と前記第２の期間との間に、前記結像システムの決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の外である、第３の期間が存在する、ステップと、を含む方法。
【請求項２】
前記結像システムの決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の内であるときに実現された、前記第１の露光と前記第２の露光が、前記露光期間の間に、単一の画像フレームを形成し、
前記方法は、捕捉された画像を構築するために、前記露光期間の後に前記単一の画像フレームをキャプチャするステップ、を更に含む、請求項１に記載の方法。
【請求項３】
前記結像システムの決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の内であるときに実現された、前記第１の露光と前記第２の露光が、前記露光期間の間に、少なくとも２つの画像フレームを別々に形成し、
前記方法は、捕捉された画像を構築するために、少なくとも前記露光期間の間に前記少なくとも２つの画像フレームをキャプチャするステップ、を更に含む、請求項１に記載の方法。
【請求項４】
前記露光期間が、複数のより短い期間に分割され、
前記第１の期間に実現された前記第１の露光が、第１の画像フレームを形成し、
前記第２の期間に実現された前記第２の露光が、第２の画像フレームを形成し、
前記方法は、前記露光期間の間に、前記第１の画像フレームと前記第２の画像フレームをキャプチャするステップと、
前記画像を構築するのに用いるために、少なくとも前記第１の画像フレームと前記第２の画像フレームを選択するステップと、を更に含む、請求項１に記載の方法。
【請求項５】
前記結像システムの前記決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の外であるとき、前記第３の期間の間に、前記投影画像が前記画像センサーに到達することを防止するステップ、を更に含む請求項１に記載の方法。
【請求項６】
前記画像センサーは画素の配列から成り、各画素は１つの画素領域を有し、
前記所定の移動範囲は１以上の画素領域に基づき決定される、請求項１に記載の方法。
【請求項７】
前記結像システムは、前記画像センサーの上に前記投影画像を供給するための光学システムを備え、
前記所定の移動範囲は、前記光学システムの焦点距離に基づいて決定される、請求項１に記載の方法。
【請求項８】
前記所定の移動範囲は、前記投影画像を形成する光の少なくとも部分の明るさに基づいて決定される、請求項１に記載の方法。
【請求項９】
露光期間の間に少なくとも第１の露光と第２の露光を実現するように構成された画像センサーと、
前記露光期間における結像システムの初期位置に対する前記結像システムの移動量を決定することができるようにするために、前記露光期間の間に前記結像システムの移動を検出するように構成された動きセンサーと、
少なくとも前記第１の露光と前記第２の露光とに基づいて、画像を構築するように構成されたプロセッサーであって、
前記結像システムの前記決定された移動量が、前記結像システムの初期位置に対する所定の移動範囲の内である、前記露光期間内において、第１の期間に、前記第１の露光が実現され、
前記結像システムの前記決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の内である、前記露光期間内において、第２の期間に、前記第２の露光が実現され、
前記第１の期間と前記第２の期間との間に、前記結像システムの前記決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の外である、第３の期間が存在する、プロセッサーと、を備える結像システム。
【請求項１０】
前記結像システムの前記決定された移動量が前記結像システムの初期位置に対する前記所定の移動範囲の内であるとき実現された前記第１の露光と前記第２の露光が、前記露光期間の間に単一の画像フレームを形成し、
前記画像は、前記露光期間の後にキャプチャされた前記単一の画像フレームに基づいて構築される、請求項９に記載の結像システム。
【請求項１１】
前記結像システムの前記決定された移動量が前記結像システムの初期位置に対する前記所定の移動範囲の内であるとき実現された前記第１の露光と前記第２の露光が、前記露光期間の間に少なくとも２つの画像フレームを別々に形成し、
前記画像は、少なくとも前記露光期間の間にキャプチャされた前記少なくとも２つの画像フレームに基づいて、構築される、請求項９に記載の結像システム。
【請求項１２】
前記画像センサーは、前記露光期間を複数のより短い期間に分割するように構成され、
前記第１の期間に実現された前記第１の露光が、第１の画像フレームを形成し、
前記第２の期間に実現された前記第２の露光が、第２の画像フレームを形成し、
前記プロセッサーは、前記露光期間の間に前記第１の画像フレームと前記第２の画像フレームと第３の画像フレームとをキャプチャするように構成され、
前記画像を構築するのに用いるために、前記第１の画像フレームと前記第２の画像フレームとを選択するように構成される、請求項９に記載の結像システム。
【請求項１３】
前記画像センサーが、前記露光期間の間に前記第１の露光と前記第２の露光とを実現することを可能にするように、前記画像センサーの上に投影画像を供給するための光学システムを更に備える請求項９に記載の結像システム。
【請求項１４】
前記光学システムとの関連で配置され、前記結像システムの前記決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の外であるとき、前記第３の期間の間に、前記投影画像が前記画像センサーに到達することを防止するように構成された、シャッターを更に備える請求項１３に記載の結像システム。
【請求項１５】
前記結像システムの前記決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の外である、とき、前記第３の期間の間に、前記画像センサーが第３の露光を実現することを防止するように構成された電子回路を更に備える請求項９に記載の結像システム。
【請求項１６】
前記動きセンサーは、前記結像システムの前記決定された移動量が、前記画像センサーに、前記第１の期間に前記第１の露光を実現させるように、また、前記画像センサーに、前記第２の期間に前記第２の露光を実現させるように、前記所定の移動範囲の内であることを示す信号を供給する、請求項９に記載の結像システム。
【請求項１７】
画像検出手段と、
前記画像検出手段が少なくとも２つの露光を実現することを可能とするように、露光期間の間に前記画像検出手段の上に投影画像を露光する手段と、
前記露光期間における結像システムの初期位置に対する前記結像システムの移動量を決定するために、前記露光期間の間に前記結像システムの移動を検出する手段と、
少なくとも第１の露光と第２の露光とに基づいて画像を構築する手段であって、
前記結像システムの前記決定された移動量が、前記結像システムの初期位置に対する所定の移動範囲の内である、前記露光期間内において、第１の期間に、前記第１の露光が実現され、
前記結像システムの前記決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の内である、前記露光期間内において、第２の期間に、前記第２の露光が実現され、
前記第１の期間と前記第２の期間との間に、前記結像システムの前記決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の外である、第３の期間が存在する、手段と、を備える結像システム。
【請求項１８】
捕捉された画像を構築するために、少なくとも２つの画像フレームをキャプチャする手段を更に備える請求項１７に記載の結像システム。
【請求項１９】
前記捕捉された画像を構築するために、前記キャプチャされた画像フレームを選択する手段を更に備える請求項１８に記載の結像システム。
【請求項２０】
前記結像システムの前記決定された移動量が、前記結像システムの初期位置に対する前記所定の移動範囲の外であるとき、前記第３の期間の間に、前記投影画像が露光を形成することを防止する手段を更に備える請求項１７に記載の結像システム。
【図１】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図４ｃ】
【図４ｄ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図４ｃ】
【図４ｄ】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−６２８４９（Ｐ２０１３−６２８４９Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１２−２４５５４７（Ｐ２０１２−２４５５４７）
【出願日】平成２４年１１月７日（２０１２．１１．７）
【分割の表示】特願２００９−５１５９７６（Ｐ２００９−５１５９７６）の分割
【原出願日】平成１９年５月７日（２００７．５．７）
【出願人】（５１２１９８３１６）
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２４年１１月７日（２０１２．１１．７）
【分割の表示】特願２００９−５１５９７６（Ｐ２００９−５１５９７６）の分割
【原出願日】平成１９年５月７日（２００７．５．７）
【出願人】（５１２１９８３１６）
【Ｆターム（参考）】
[ Back to top ]