撮像装置及び欠陥画素補正方法
【課題】様々な撮影条件において複数の欠陥画素が連続する欠陥画素領域が発生する場合でも、欠陥画素を有効に補正することを可能とする撮像装置及びそのような欠陥画素補正方法を提供すること。
【解決手段】変更量決定部１０２は、欠陥画素記憶部１０１から欠陥画素領域情報を取得し、欠陥画素領域情報に応じて示される欠陥画素領域の重複が、撮像光学系１０４と撮像素子１０５との相対位置を変更しても発生しないように、複数の相対位置の変更量を決定する。相対位置変更部１０３は、変更量決定部１０２によって決定された相対位置の変更量に従って撮像光学系１０４と撮像素子１０５との相対位置を変更する。画像合成部１０７は、それぞれの相対位置で得られた補正画像を合成して、欠陥画素領域の出力補正がなされた合成画像を得る。
【解決手段】変更量決定部１０２は、欠陥画素記憶部１０１から欠陥画素領域情報を取得し、欠陥画素領域情報に応じて示される欠陥画素領域の重複が、撮像光学系１０４と撮像素子１０５との相対位置を変更しても発生しないように、複数の相対位置の変更量を決定する。相対位置変更部１０３は、変更量決定部１０２によって決定された相対位置の変更量に従って撮像光学系１０４と撮像素子１０５との相対位置を変更する。画像合成部１０７は、それぞれの相対位置で得られた補正画像を合成して、欠陥画素領域の出力補正がなされた合成画像を得る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、欠陥画素の補正機能を有する撮像装置及びそのような撮像装置における欠陥画素補正方法に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置には、ＣＣＤ（Charge Coupled Device：電荷結合素子）方式のイメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補型金属酸化物半導体）方式のイメージセンサ等の撮像素子が使用されている。近年では、ＣＭＯＳ方式のイメージセンサが普及しており、ＣＭＯＳイメージセンサの中でも、ＢＳＩ−ＣＭＯＳ（Backside illumination - CMOS:裏面照射型ＣＭＯＳ）イメージセンサが注目されている。
【０００３】
このような撮像素子は、その製造工程で複数の欠陥画素が生じてしまうことが知られている。欠陥画素とは、撮像素子を遮光しても出力が発生する画素（暗時白点）や、撮像素子に光を照射しても出力が発生しない画素（明時黒点）等である。このような欠陥画素は、撮像素子を介して得られる画像に少なからず影響を及ぼす原因となる。
【０００４】
欠陥画素を補正する手法として、例えば、欠陥画素の周辺の正常画素から得られる出力値を用いて欠陥画素の情報を補正する手法が知られている。ここで、撮像素子が、多くの欠陥画素が連続している領域（以下、このような領域を欠陥画素領域と言う）を有している場合には、前述の補正により、欠陥画素領域の部分の画像の消滅や形状の変化が発生する可能性がある。
【０００５】
また、欠陥画素を補正する手法として、特許文献１において提案されている手法もある。特許文献１においては、まず、撮像光学系と撮像素子との相対位置をある位置に設定した状態で撮像素子によって画像を取得する。続いて、撮像光学系と撮像素子の相対位置を変更することによって、同じ撮像素子の異なる領域で画像を取得し、そして、一方の画像における欠陥画素の出力値を他方の画像において対応する正常な画素の出力値を用いて補正するようにしている。このような特許文献１の手法によれば、撮像素子が欠陥画素領域を有していても有効に欠陥画素の補正をすることが可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２１１４５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、欠陥画素領域の大きさは、露光時間や撮像素子の温度といった撮影条件によって変化することが知られている。したがって、特許文献１の手法を適用する場合には、撮像光学系と撮像素子の相対位置の変更量を撮影条件によって変化する欠陥画素領域の大きさによって変化させる必要がある。仮に、相対位置の変更量が正しく設定されない場合、相対位置の変更の前後でそれぞれ取得された画像の間で欠陥画素が重なってしまうことがある。欠陥画素の重複が発生すると、その欠陥画素は補正することができず、補正残りが発生してしまう。
【０００８】
そこで、本発明は、様々な撮影条件において複数の欠陥画素が連続する欠陥画素領域が発生する場合でも、欠陥画素を有効に補正することを可能とする撮像装置及びそのような欠陥画素補正方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記の目的を達成するために、本発明の第１の態様の撮像装置は、被写体を撮像して画像を取得する撮像素子と、前記被写体の像を前記撮像素子に結像させる撮像光学系と、前記撮像光学系と前記撮像素子との相対位置を変更する相対位置変更部と、前記撮像素子の画素のうち連続して複数の欠陥が発生している欠陥画素領域を示す欠陥画素領域情報を、前記撮像素子の撮影条件に応じて取得し、前記相対位置の変更量を、前記相対位置の変更前と変更後において前記欠陥画素領域の重複を避ける変更量に決定する変更量決定部と、前記相対位置の変更前と変更後で得られた複数の画像を合成して合成画像を得る画像合成部と、を具備することを特徴とする。
【００１０】
前記の目的を達成するために、本発明の第２の態様の欠陥画素補正方法は、撮像光学系により撮像素子に結像された被写体像を撮像して画像を取得し、前記撮像素子の連続して複数の画素に欠陥が発生している欠陥画素領域を示す欠陥画素領域情報を、前記撮像素子の撮影条件に応じて取得し、前記撮像光学系と前記撮像素子との相対位置を、該相対位置の変更前と変更後において前記欠陥画素領域の重複を避けて前記相対位置の変更量を決定し、前記相対位置の変更量に従って前記相対位置を変更し、前記相対位置の変更前と変更後で得られた複数の画像を合成して合成画像を得る、ことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、様々な撮影条件において複数の欠陥画素が連続する欠陥画素領域が発生する場合でも、欠陥画素を有効に補正することを可能とする撮像装置及びそのような欠陥画素補正方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る撮像装置の概略的構成を説明するためのブロック図である。
【図２】本発明の一実施形態に係る欠陥画素補正方法を含む撮影動作のフローチャートである。
【図３】相対位置の数を２つとした場合の画像合成の原理について説明するための図である。
【図４】補正画像取得、画像合成の具体的な処理について示すフローチャートである。
【図５】欠陥画素領域について説明するための図である。
【図６】欠陥画素登録時の処理を示すフローチャートである。
【図７】図７（ａ）は露光時間に対する欠陥画素領域の水平方向の大きさの最大値をプロットしたグラフであり、図７（ｂ）は露光時間に対する欠陥画素領域の垂直方向の大きさをプロットしたグラフである。
【図８】図８（ａ）は横軸に露光時間、縦軸に欠陥画素領域の水平方向の大きさの最大値をプロットしたグラフであり、図８（ｂ）は横軸に露光時間、縦軸に欠陥画素領域の垂直方向の大きさの最大値をプロットしたグラフである。
【図９】欠陥画素領域の大きさの最大値を線形補間によって求める際の例を示した図である。
【図１０】欠陥画素領域の大きさの最大値をステップ状の補間式に従って求める際の例を示した図である。
【図１１】画像サイズに応じた相対位置の最大変更量について説明するための図である。
【図１２】相対位置の変更量、補正画像の露光時間、撮影枚数を決定する方法を示したフローチャートである。
【図１３】相対位置の変更量の組合せについて示した図である。
【図１４】相対位置の数を４つとした場合の画像合成の原理について説明するための図である。
【図１５】相対位置の数をｎとした場合の画像取得、画像合成の処理を示したフローチャートである。
【図１６】変形例２における画像取得、画像合成の処理を示したフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る撮像装置の概略的構成を説明するためのブロック図である。図１に示す撮像装置１００は、欠陥画素記憶部１０１と、変更量決定部１０２と、相対位置変更部１０３と、撮像光学系１０４と、撮像素子１０５と、画像記憶部１０６と、画像合成部１０７と、撮像制御部１０８と、温度検出部１１１と、操作部１１２と、記録媒体１１３と、を有している。また、撮像制御部１０８は、露光時間制御部１０９と、画像サイズ設定部１１０と、を有している。
【００１４】
欠陥画素記憶部１０１は、欠陥画素領域情報を記憶する。欠陥画素領域情報は、後述の欠陥画素補正において、撮像光学系１０４と撮像素子１０５との相対位置の変更量を決定するために用いられる情報である。欠陥画素領域情報は、撮影条件毎に記憶されている。欠陥画素補正時には、その時の撮影条件に応じて必要な欠陥画素領域情報を取得する。ここで、撮影条件としては、例えば撮像素子１０５の温度や露光時間がある。欠陥画素領域情報の詳細については、後述する。
【００１５】
変更量決定部１０２は、欠陥画素補正時において、そのときの撮影条件に応じた欠陥画素領域情報を欠陥画素記憶部１０１から取得し、取得した欠陥画素領域情報を用いて、撮像素子１０５における欠陥画素の出力値を補正するために必要な、撮像光学系１０４と撮像素子１０５との相対位置の変更量を決定する。
【００１６】
相対位置変更部１０３は、アクチュエータを有し、撮像制御部１０８の制御に従って、撮像光学系１０４と撮像素子１０５との相対位置を、変更量決定部１０２で決定された変更量だけ変更する。ここで、相対位置変更部１０３は、撮像光学系１０４のみを位置変化させるように構成されていても良いし、撮像素子１０５のみを位置変化させるように構成されていても良いし、撮像光学系１０４と撮像素子１０５との両方を位置変化させるように構成されていても良い。
【００１７】
撮像光学系１０４は、図示しない被写体の像を、撮像素子１０５の受光面に結像させる光学系である。撮像光学系１０４は、フォーカスレンズ等を含んでいても良い。また、撮像光学系１０４は、１枚のレンズで構成しても良い。
【００１８】
撮像素子１０５は、複数の画素が２次元状に配置された受光面を有している。各画素は、撮像光学系１０４を介して入射した光を、電気信号に変換する。撮像素子１０５から出力される電気信号は、デジタル信号に変換され、このデジタル信号が後述の画像合成の際の補正画像として用いられる。
【００１９】
画像記憶部１０６は、撮像素子１０５で得られた補正画像及び画像合成部１０７で合成された合成画像を一時的に記憶する。後述する欠陥画素補正のために、画像記憶部１０６は、複数枚の補正画像と、合成画像とを記憶できるだけの容量を有している。
【００２０】
画像合成部１０７は、画像記憶部１０６に記憶された複数の補正画像を合成することによって、欠陥画素領域の出力値が補正された合成画像を得る。この合成処理の詳細については後述する。
【００２１】
撮像制御部１０８は、相対位置変更部１０３による相対位置の変更の動作及び撮像素子１０５の露光動作を制御する。この撮像制御部１０８は、例えば、相対位置変更部１０３による相対位置の変更動作と撮像素子１０５の露光動作のそれぞれの動作タイミングを制御する。露光時間制御部１０９は、撮像素子１０５の露光時間と撮影枚数（露光回数）とを決定する。画像サイズ設定部１１０は、画像合成部１０７によって得られる合成画像の画像サイズを設定する。
【００２２】
温度検出部１１１は、撮像素子１０５の近傍に設けられており、撮像素子１０５の温度を検出する。
【００２３】
操作部１１２は、ユーザが撮像装置１００の操作を行うために必要な各種の操作部材である。操作部１１２としては、例えばレリーズボタンが含まれる。レリーズボタンは、２段押し式の操作部材である。レリーズボタンが半押しされることにより、１ｓｔレリーズスイッチがオンする。撮像制御部１０８は、１ｓｔレリーズスイッチがオンされた場合に、露光の準備動作を行う。また、レリーズボタンが全押しされることにより、２ｎｄレリーズスイッチがオンする。撮像制御部１０８は、２ｎｄレリーズスイッチがオンされた場合に、露光動作を行う。この他、操作部１１２は、撮像装置１００の各種の設定を行うための操作部材も含む。
【００２４】
記録媒体１１３は、画像合成部１０７によって得られた合成画像を記録する。ここで、記録媒体１１３は、撮像装置１００に内蔵されていても良いし、撮像装置１００に対して着脱自在に構成されていても良い。
【００２５】
以下、本実施形態に係る撮像装置１００を用いた欠陥画素補正方法について説明する。図２は、本実施形態に係る欠陥画素補正方法を含む撮影動作のフローチャートである。
図２に示すフローチャートにおいて、撮像制御部１０８は、操作部１１２のレリーズボタンの操作により、１ｓｔレリーズスイッチがオンしたか否かを判定している（ステップＳ１）。ステップＳ１において、１ｓｔレリーズスイッチがオンしていないと判定した場合に、撮像制御部１０８は、ステップＳ１の判定を行いつつ、待機する。この待機中に、スルー画像表示を行うようにしても良い。
【００２６】
ステップＳ１において、１ｓｔレリーズスイッチがオンしたと判定した場合に、撮像制御部１０８は、設定露光時間、撮像素子温度、画像サイズを取得する（ステップＳ２）。設定露光時間は、例えばユーザによる操作部１１２の手動操作によって設定される。撮像素子温度は、撮像素子１０５の周辺の温度である。撮像素子温度は、温度検出部１１１によって検出される。画像サイズは、後述する合成画像の画像サイズである。画像サイズは、例えばユーザによる操作部１１２の手動操作を介して画像サイズ設定部１１０によって設定される。
【００２７】
設定露光時間、撮像素子温度、画像サイズを取得した後、撮像制御部１０８は、設定露光時間と撮像素子温度とを欠陥画素記憶部１０１に入力する。欠陥画素記憶部１０１からは、設定露光時間と撮像素子温度とに応じた欠陥画素領域情報が出力され、変更量決定部１０２は、欠陥画素領域情報を取得する（ステップＳ３）。欠陥画素領域情報の詳細については後述する。
【００２８】
続いて、変更量決定部１０２は、撮像光学系１０４と撮像素子１０５との相対位置の変更量を決定する。また、露光時間制御部１０９は、補正画像の露光時間と撮影枚数とを決定する（ステップＳ４）。相対位置の変更量、補正画像の露光時間、補正画像の撮影枚数の決定の詳細については後述する。
【００２９】
相対位置の変更量と補正画像の露光時間及び撮影枚数が決定された後、撮像制御部１０８は、操作部１１２のレリーズボタンの操作により、２ｎｄレリーズスイッチがオンしたか否かを判定する（ステップＳ５）。ステップＳ５において、２ｎｄレリーズスイッチがオンしていないと判定した場合に、撮像制御部１０８は、ステップＳ５の判定を行いつつ、待機する。
【００３０】
ステップＳ５において、２ｎｄレリーズスイッチがオンしたと判定した場合に、撮像制御部１０８は、相対位置変更部１０３及び撮像素子１０５を制御して補正画像の露光を行う。撮像素子１０５の動作によって得られた補正画像は、画像記憶部１０６に記憶される。画像合成部１０７は、画像記憶部１０６から補正画像を取得し、取得した補正画像を合成することにより、欠陥画素の出力値が補正された合成画像を生成する。そして、画像合成部１０７は、生成した合成画像を記録媒体１１３に記録する（ステップＳ６）。補正画像取得、画像合成の詳細については後述する。このようなステップＳ１〜Ｓ６の処理により、一連の撮影動作が終了する。
【００３１】
次に、図２のステップＳ３、Ｓ４、Ｓ６の処理を詳細に説明する。なお、説明の都合上、次の順番で各ステップの説明を行う。まず、ステップＳ６の補正画像取得、画像合成について説明する。続いて、ステップＳ３の欠陥画素領域情報の取得について説明する。最後に、ステップＳ４の相対位置の変更量、補正画像の露光時間、補正画像の撮影枚数の決定の詳細について説明する。
【００３２】
＜補正画像取得、画像合成について＞
補正画像取得から画像合成までの流れを説明する。
まず、画像合成の原理について図３を参照して説明する。図３においてハッチングを施した箇所は、欠陥画素領域２００である。ここで、欠陥画素領域とは、複数の欠陥画素が連続して存在する画素領域のことを言うものとする。また、図３において破線枠で示した箇所は、補正対象画素（欠陥画素）２０３が存在している領域を示している。さらに、図３に示す領域２０４は、補正対象画素２０３を補正するために用いられる推定画素の領域である。
【００３３】
推定画素について説明する。ここで、以下の説明においては、撮像光学系１０４と撮像素子１０５との相対位置を第１の相対位置と第２の相対位置との間で変化させて２枚の補正画像を取得するものとする。第１の相対位置に対して第２の相対位置は、ｘ方向（撮像素子１０５の受光面の水平方向）にΔx pixelだけ、ｙ方向（撮像素子１０５の受光面の垂直方向）にΔy pixelだけずらした位置である。
【００３４】
図３に示す補正画像２０１を第１の相対位置で取得された補正画像とし、補正画像２０２を第２の相対位置で取得された補正画像とする。本実施形態においては、第１の相対位置と第２の相対位置の変更量（Δx,Δy）を、変更量決定部１０２にて決定する。ここで、Δx、Δyは、第１の相対位置と第２の相対位置との間で欠陥画素領域２００が重複しないように設定する。例えば、図３の例では、Δxを３pixel以上又はΔyを３pixel以上とする。さらに、本実施形態においては、後述の欠陥画素補正のための画像合成によって得られる合成画像の画像サイズも考慮して、最終的なΔx、Δyを決定する。この決定の詳細については後述する。
【００３５】
また、補正画像２０１を基準として画像合成を行うものと考えると、補正画像２０２の各画素のうちで補正画像２０１の欠陥画素領域２００と重なる画素領域２０４を、推定画素とする。また、補正画像２０２を基準として画像合成を行うものと考えると、補正画像２０１の各画素のうちで補正画像２０２の欠陥画素領域２００と重なる画素領域２０４を推定画素とする。画像合成においては、補正画像２０１を基準として考えた場合、補正画像２０１と補正画像２０２とから作成する合成画像の座標を、補正画像２０１の座標と同じにする。また、補正画像２０２を基準として考えた場合、補正画像２０１と補正画像２０２とから作成する合成画像の座標を、補正画像２０２の座標と同じにする。
【００３６】
画像合成の処理は、推定画素領域２０４内の画素における画像合成と推定画素領域２０４以外の画素における画像合成とで合成方法が異なる。
まず、推定画素領域２０４の画素については、それぞれの推定画素の出力値に２倍のゲインをかけた値を合成画像に加算する。このとき、補正画像２０１における推定画素の出力値は、その推定画素の座標と同じ座標の合成画像の画素の出力値に加算する。また、補正画像２０２における推定画素の出力値は、補正画像２０１の補正対象画素２０３の座標と同じ座標の合成画像の画素の出力値に加算する。
【００３７】
一方、推定画素領域２０４以外の画素については、その画素の出力値をそのまま合成画像に加算する。ただし、補正画像２０１の画素に関しては、同じ座標の合成画像の画素に加算する。また、補正画像２０２の画素に関しては、その画素の座標から、相対位置の変更量(Δx,Δy)を加算した座標の合成画像の画素に加算する。
【００３８】
以上の方法により取得した合成画像には、暗電流成分が含まれている。したがって、合成画像から暗電流成分を除去する必要がある。暗電流成分を除去するためには、暗時画像を取得し、取得した暗時画像を合成画像から減算する。暗時画像は、遮光状態とした撮像素子１０５を、補正画像と同じ露光時間で露光することによって取得できる。ここで、暗時画像の取得時の撮像光学系１０４と撮像素子１０５との相対位置は特に限定されるものではない。
【００３９】
ここで、合成画像から暗時画像を減算するに先立って、暗時画像の欠陥画素の出力値を補正しておく必要がある。暗時画像の画素のうちで、補正対象画素２０３に対応した画素に関しては、相対位置の変更量(Δx,Δy)だけ変更した位置の画素の出力値を加算する。また、補正対象画素２０３以外の画素に関しては、それぞれの画素の出力値に２倍のゲインをかけた値とする。これによって得られた暗時画像を、合成画像から減算することによって、暗電流成分が除去された合成画像を取得する。
【００４０】
以上説明した補正画像取得、画像合成の具体的な処理について図４のフローチャートを用いて説明する。
【００４１】
補正画像の取得開始時点では、補正画像の撮影枚数と補正画像の露光時間とが決定されている。以下の説明においては、補正画像の撮影枚数を2×s（以下、2sと記す）とし、補正画像の露光時間をT/2sとする。Tは、ユーザが設定等して決まる露光時間である。この露光時間Tは、必ずしも設定露光時間と等しくする必要はない。ただし、露光時間Tを設定露光時間と異ならせた場合には補正が必要となる。なお、以下では説明を簡単にするために、露光時間Tが設定露光時間と等しいものとする。本実施形態では、１枚の補正画像を時分割で撮影することとする。前述したように、本実施形態では、第１の相対位置と第２の相対位置とでそれぞれ補正画像を取得するので、最終的な撮影枚数が2sとなる。
【００４２】
図４において、撮像制御部１０８は、相対位置の変更往復回数uを初期値１に設定する（ステップＳ３０１）。
続いて、撮像制御部１０８は、露光時間をT/2sとして撮像素子１０５の露光動作を制御する。これにより、補正画像B_2u-1を取得する（ステップＳ３０２）。補正画像B_2u-1は、画像記憶部１０６に記憶される。この補正画像B_2u-1が、補正画像２０１に対応する。実際には、補正画像B_2u-1は、補正画像２０１の1/sの露光時間で得られた補正画像である。
【００４３】
補正画像B_2u-1が取得された後、画像合成部１０７は、画像合成により、欠陥画素領域の出力値を補正する（ステップＳ３０３）。欠陥画素領域の出力値を補正するための画像合成は、以下の（式１）に従って行う。
B(x,y)＝B(x,y)＋B_2u-1(x,y)×2 （式１）
ここで、（式１）における（x,y）は、画素の座標を示し、補正画像B_2u-1における推定画素の範囲内の値をとる。また、B（x,y）は、座標（x,y）の合成画像の画素の出力値である。ここで、（2u-1）が１（１回目の画像合成時）の場合には、B（x,y）が０であるとする。また、B_2u-1(x,y)は、座標（x,y）の補正画像B_2u-1の画素（推定画素）の出力値である。（式１）に従って、推定画素の出力値に２倍のゲインをかけ、この値を、合成画像の座標(x,y)の画素の出力値に加算することで、他方の相対位置で取得する補正画像の欠陥画素領域の出力値が合成画像に及ぼす影響を補正する。
【００４４】
続いて、画像合成部１０７は、欠陥画素領域以外の画像合成を行う（ステップＳ３０４）。欠陥画素領域以外の画像合成は、以下の（式２）に従って行う。
B(X,Y)＝B(X,Y)＋B_2u-1(X,Y) （式２）
ここで、（式２）における（X,Y）は、画素の座標を示し、補正画像B_2u-1における推定画素の範囲外の値をとる。また、B（X,Y）は、座標（X,Y）の合成画像の画素の出力値である。ここで、（2u-1）が１の場合には、B（X,Y）が０であるとする。また、B_2u-1（X,Y）は、座標（X,Y）の補正画像B_2u-1の画素の出力値である。
【００４５】
以上のステップＳ３０２〜Ｓ３０４の処理によって、補正画像B_2u-1に関しての画像取得と画像合成が終了する。これを受けて、相対位置変更部１０３は、撮像光学系１０４と撮像素子１０５との相対位置を変更量(Δx,Δy)だけ変更する（ステップＳ３０５）。続いて、撮像制御部１０８は、露光時間をステップＳ３０２と同じT/2sとして撮像素子１０５の動作を制御する。これにより、補正画像B_2uを取得する（ステップＳ３０６）。補正画像B_2uは、画像記憶部１０６に記憶される。この補正画像B_2uが、補正画像２０２に対応する。実際には、補正画像B_2uは、補正画像２０２の1/sの露光時間で得られた補正画像である。
【００４６】
補正画像B_2uが取得された後、画像合成部１０７は、画像合成により、欠陥画素領域の出力値を補正する（ステップＳ３０７）。欠陥画素領域の出力値を補正するための画像合成は、以下の（式３）に従って行う。
B(x+Δx,y+Δy)＝B(x+Δx,y+Δy)＋B_2u(x,y)×2 （式３）
ここで、（式３）におけるB(x+Δx,y+Δy)は、座標(x+Δx,y+Δy)の合成画像の画素の出力値である。また、B_2u(x,y)は、座標（x,y）の補正画像B_2uの画素（推定画素）の出力値である。（式３）に従って、推定画素の出力値に２倍のゲインをかけ、この値を、合成画像の座標(x+Δx,y+Δy)の画素の出力値に加算することで、初期の相対位置で取得した補正画像の欠陥画素領域の出力値が合成画像に及ぼす影響を補正する。
【００４７】
続いて、画像合成部１０７は、欠陥画素領域以外の画像合成を行う（ステップＳ３０８）。欠陥画素領域以外の画像合成は、以下の（式４）に従って行う。
B(X+Δx,Y+Δy)＝B(X+Δx,Y+Δy)＋B_2u(X,Y) （式４）
ここで、（式４）におけるB（X,Y）は、座標(X+Δx,Y+Δy)の合成画像の画素の出力値である。また、B_2u（X,Y）は、座標（X,Y）の補正画像B_2uの画素の出力値である。
【００４８】
以上のステップＳ３０６〜Ｓ３０８の処理によって、補正画像B_2uに関しての画像取得と画像合成が終了する。これを受けて、相対位置変更部１０３は、相対位置の変更量(-Δx,-Δy)だけ撮像光学系１０４と撮像素子１０５との相対位置を変更する（ステップＳ３０９）。これにより、撮像光学系１０４と撮像素子１０５との相対位置が、初期の相対位置に戻る。続いて、撮像制御部１０８は、uに１を加える（ステップＳ３１０）。そして、撮像制御部１０８は、uがsを超えたか否かを判定する（ステップＳ３１１）。ステップＳ３１１において、uがsを超えていないと撮像制御部１０８が判定した場合には、まだ、撮影すべき補正画像が残っている。このため、撮像制御部１０８は、処理をステップＳ３０２に戻して、次の補正画像B_2u-1を取得するための露光制御を行う。このように、撮影枚数2sに満たない場合（即ちuがsを超えていない場合）には、Ｓ３０２〜Ｓ３０９の処理が繰り返し行われ、時分割露光された補正画像が合成画像に順次合成される。
【００４９】
ステップＳ３１１の判定において、uがs以上であると撮像制御部１０８が判定した場合、露光時間Tの合成画像が取得される。続いて、撮像制御部１０８は、撮像素子１０５を遮光状態としつつ、露光時間をT/2sとして撮像素子１０５の露光動作を制御する。これにより、暗時画像Dを取得する（ステップＳ３１２）。暗時画像Dは、画像記憶部１０６に記憶される。ここで、ステップＳ３１２では、暗時画像Dの露光時間を、補正画像と同じ露光時間としている。しかしながら、暗時画像Dの露光時間は、必ずしも補正画像と同じ露光時間とする必要はない。例えば、ユーザが設定した露光時間であっても良い。
【００５０】
暗時画像が取得された後、画像合成部１０７は、暗時画像Dにおける欠陥画素領域の補正を行う（ステップＳ３１３）。暗時画像Dにおける欠陥画素領域の補正は、暗時画像Dの欠陥画素の出力値D(x,y)を、同一の暗時画像Dの非欠陥画素の出力値D(x-Δx,y-Δy)に置き換えることによって行う。暗時画像Dの欠陥画素補正の後、画像合成部１０７は、合成画像と暗時画像との露光時間との差の影響を補正するため、暗時画像Dの出力を補正する（ステップＳ３１４）。例えば、暗時画像の露光時間を補正画像の露光時間と同じにした場合には、ステップＳ３１４において、暗時画像Dの各画素の出力値を2s倍する。これにより、合成画像と暗時画像の暗電流成分が等しくなる。続いて、画像合成部１０７は、合成画像の各画素の出力値B(X,Y)から、暗時画像の対応する画素の出力値D(X,Y)を減算する（ステップＳ３１５）。これにより、合成画像から、暗電流成分（固定パターンノイズ（ＦＰＮ）成分）が除去される。合成画像からＦＰＮ成分を除去した後、画像合成部１０７は、合成画像を記録媒体１１３に記録する（ステップＳ３１６）。このようにして、図４の処理が終了する。
【００５１】
＜欠陥画素記憶部１０１に記憶される欠陥画素領域情報について＞
次に、ステップＳ３の欠陥画素領域情報の取得について説明する。ステップＳ３においては、欠陥画素記憶部１０１に記憶された欠陥画素領域情報を取得する。この欠陥画素記憶部１０１に記憶される欠陥画素領域情報は、以下の３つである。
１ 露光時間と温度に応じた欠陥画素領域の水平及び垂直方向の大きさ
２ 露光時間と温度に応じた欠陥画素領域の範囲
３ 露光時間と温度に応じた欠陥画素領域の水平及び垂直方向の大きさの最大値
これらの欠陥画素領域情報は、ユーザが撮像装置１００を使用する前に欠陥画素記憶部１０１に予め登録しておく。これらの欠陥画素領域情報は、大きく分けて２つの時期に登録される。１つの時期は、製品出荷前の調整時である。このとき登録（更新）される欠陥画素領域情報は、製品出荷時に生じた初期の欠陥領域情報である。もう１つの時期は、撮像装置１００がユーザの手に渡った後である。このとき登録される欠陥画素領域情報は、製品出荷後の経年劣化によって新たに生じた欠陥画素領域情報である。以下、前者の時期に行われる登録を初期欠陥登録と言い、後者の時期に行われる登録を後発欠陥登録と言う。
【００５２】
以下、これらの欠陥画素領域情報の登録について説明する。以後の説明のために、図５を用いて欠陥画素領域を定義しておく。図５において、ハッチングを示した箇所は、実際の欠陥画素領域を示している。本実施形態においては、欠陥画素領域を示す欠陥画素領域情報として、前述した１、２、３の情報を登録する。これらの情報は、図５に示す欠陥画素領域に外接する矩形領域を特定するための情報である。以後の説明のために、欠陥画素領域の左右上下端に位置する欠陥画素（ばつ印）の座標を、それぞれ、上端欠陥画素の座標＝(x_上,y_上)、下端欠陥画素の座標＝(x_下,y_下)、右端欠陥画素の座標＝(x_右,y_右)、及び左端欠陥画素の座標＝(x_左,y_左)と定義しておく。
【００５３】
図６は、欠陥画素登録時の処理を示すフローチャートである。欠陥画素登録時には、まず、暗時画像を取得する。このため、まず、暗時画像の撮影枚数ｎとｎ枚の暗時画像のそれぞれの露光時間T1、T2、…、Tnを設定する（ステップＳ１０１）。
【００５４】
撮影枚数と露光時間の設定を受けて、撮像制御部１０８は、暗時画像の取得枚数を示すカウント値ｍを、初期値１に設定する（ステップＳ１０２）。さらに、撮像制御部１０８は、現在の撮像素子１０５の温度Tem0を、温度検出部１１１から取得する（ステップＳ１０３）。
【００５５】
以降、撮像制御部１０８は、露光時間をTm（ｍ＝１、２、…ｎ）として遮光状態の撮像素子１０５を露光させて暗時画像を取得する（ステップＳ１０４）。暗時画像が取得される毎に、撮像制御部１０８は、欠陥画素領域検出を行う（ステップＳ１０５）。ここで、欠陥画素の検出は、例えばある閾値を設定し、この閾値を超える出力値を有する画素を欠陥画素（暗時白点）として検出することによって行う。しかしながら、この検出手法に限るものではなく、別の検出手法を用いても良い。また、欠陥画素領域については、水平かつ垂直方向に欠陥画素が連続してDef_num個以上存在する欠陥画素の集合体を欠陥画素領域として検出することとする。例えば、Def_numの値は、３とする。これは、隣接する欠陥画素が２個以下であれば、この欠陥画素の周囲の同色画素の出力値より補間すれば、欠陥画素の補正を行うことができるとの考えに基づいている。なお、Def_numの値は、４以上の整数値に設定しても良い。
【００５６】
図５に示したような欠陥画素領域を検出することができた場合、撮像制御部１０８は、欠陥画素領域の水平方向の大きさと範囲を示す座標とを、温度Tem0及び露光時間Tmと対応付けて欠陥画素記憶部１０１に記憶する（ステップＳ１０６ａ）。同様に、撮像制御部１０８は、欠陥画素領域の垂直方向の大きさと範囲を示す座標とを、温度Tem0及び露光時間Tmと対応付けて欠陥画素記憶部１０１に記憶させる（ステップＳ１０６ｂ）。
ここで、欠陥画素領域の水平方向の大きさX及び垂直方向の大きさYは、それぞれ以下のように定義しておく。欠陥画素記憶部１０１には、X及びYを記憶させる。
X＝x_右-x_左
Y＝y_上-y_下
また、欠陥画素領域の範囲は、始点座標を(x_左,y_上)とし、終点座標を（x_右,y_下）とする線分を対角線とする矩形範囲（即ち欠陥画素領域の外接四角形）と定義しておく。欠陥画素記憶部１０１には、始点座標(x_左,y_上)、終点座標（x_右,y_下）を記憶させる。
【００５７】
続いて、撮像制御部１０８は、過去のｍ枚の暗時画像に対応して登録されたそれぞれの欠陥画素領域の水平方向の大きさX及び垂直方向の大きさYを比較し、その最大値を検出する。そして、撮像制御部１０８は、欠陥画素領域の水平方向の大きさの最大値Hor_max_mを、温度Tem0及び露光時間Tmと対応付けて欠陥画素記憶部１０１に記憶させる（ステップＳ１０７ａ）。同様に、撮像制御部１０８は、欠陥画素領域の垂直方向の大きさの最大値Ver_max_mを、温度Tem0及び露光時間Tmと対応付けて欠陥画素記憶部１０１に記憶させる（ステップＳ１０７ｂ）。図７（ａ）は、露光時間に対する欠陥画素領域の水平方向の大きさの最大値をプロットしたグラフを示している。また、図７（ｂ）は、露光時間に対する欠陥画素領域の垂直方向の大きさをプロットしたグラフである。図７に示すように、一般に、露光時間が長くなると、水平及び垂直ともに欠陥画素領域の大きさの最大値が大きくなる。
【００５８】
ｍ枚目の暗時画像に対応した欠陥画素領域情報を欠陥画素記憶部１０１に登録した後、撮像制御部１０８は、ｍに１を加える（ステップＳ１０８）。続いて、撮像制御部１０８は、ｍがｎを超えたか否かを判定する（ステップＳ１０９）。ステップＳ１０８において、ｍがｎを超えていないと判定した場合に、撮像制御部１０８は、（ｍ＋１）枚目の暗時画像に対応した欠陥画素領域情報を登録すべく、処理をステップＳ１０４に戻して、遮光状態の撮像素子１０５を露光させて（ｍ＋１）枚目の暗時画像を取得する。
【００５９】
ステップＳ１０８において、ｍがｎを超えたと判定した場合に、撮像制御部１０８は、図６の処理を終了させる。このようにして、温度Tem0における露光時間毎の欠陥画素領域情報が欠陥画素記憶部１０１に登録される。
【００６０】
初期欠陥登録の場合には、図６で示した処理が製品出荷前の調整時に行われる。
一方、後発欠陥登録の場合には、例えばユーザによる操作部１１２の操作に応じて図６の処理が行われるか又は撮像装置の状態に応じて自動的に図６の処理が行われる。
例えば、ユーザの操作部１１２の操作に応じて後発欠陥登録を行う場合、ユーザが必要に応じて後発欠陥登録を行う旨を、操作部１１２を介して撮像制御部１０８に対して指示したときに図６の処理が行われるようにする。この場合、後発欠陥登録の機能を起動することによって、その時点での撮像素子１０５の欠陥領域情報が新たに登録（更新）される。
【００６１】
また、撮像装置が自動的に後発欠陥登録を行う手法としては、例えば定期的（例えば数ヶ月おき）に後発欠陥登録を行うように撮像制御部１０８をプログラムしておくことが考えられる。また、図４で示した画像合成によって欠陥画素補正がされた画像をチェックし、補正残りが発生した場合にはその補正残りの画素を欠陥画素として登録するように後発欠陥登録を行うようにしても良い。補正残りの検出には、暗時画像を用いることができる。具体的には、暗時画像における欠陥画素領域を、図４のステップＳ３１３と同様にして補正する。そして、この補正後の暗時画像に対して欠陥検出を行う。このとき、欠陥画素領域が存在する場合には、補正残りが発生したと判定する。補正残りが発生したと判判定された場合には、例えばユーザが、次に撮像装置の電源を切ろうとした時点で図６に示した処理を行う。定期的に後発欠陥登録をすることや画像合成によって欠陥画素補正がされた画像をチェックし、補正残りが発生した場合にその補正残りの画素を欠陥画素として後発欠陥登録することで、製品出荷後の経年劣化によって新たに生じた欠陥画素領域情報があっても欠陥画素を有効に補正することができる。
【００６２】
ここで、本実施形態では、例として欠陥画素領域情報を欠陥画素記憶部１０１に予め記憶させるようにしている。これに対し、補正画像の取得に先立ってリアルタイムで欠陥画素領域情報を取得するようにしても良い。この場合、変更量決定部１０２は、欠陥画素記憶部１０１以外の例えば撮像装置１００の外部から欠陥画素領域情報を取得するようにしても良い。
【００６３】
次に、温度Tem0の欠陥画素領域の大きさの最大値の情報から、温度Tem0以外の温度における最大欠陥画素領域の大きさを求める方法について図８を参照して説明する。図８（ａ）は、横軸に露光時間、縦軸に欠陥画素領域の水平方向の大きさの最大値をプロットしたグラフである。また、図８（ｂ）は、横軸に露光時間、縦軸に欠陥画素領域の垂直方向の大きさの最大値をプロットしたグラフである。さらに、図８（ａ）及び図８（ｂ）ともに、ばつ印が、図６に示すフローチャートの処理を行うことによって得られた値であるとする。
【００６４】
ここで、温度Tem0、露光時間Tmの欠陥画素領域の水平方向の最大値をHor_max_mとし、垂直方向の大きさの最大値をVer_max_mとする。温度Tem0に対してΔtem×num_tだけ温度が高い温度（Tem0＋Δtem×num_t）において水平及び垂直方向の欠陥画素領域の大きさの最大値Hor_max_m又はVer_max_mをとる露光時間を、以下の（式５）によって算出する。
【００６５】
Hor_max_m,Ver_max_mをとる露光時間＝Tm×2num_t （式５）
ここで、num_tは、整数である。例えば、（式５）においてnum_t＝−１、１を代入すると、図８（ａ）及び図８（ｂ）に示すまる印、三角印の結果を得ることができる。なお、（式５）と異なる算出式に基づいて温度（Tem0＋Δtem×num_t）において水平及び垂直方向の欠陥画素領域の大きさの最大値Hor_max_m又はVer_max_mをとる露光時間を算出するようにしても良い。
【００６６】
また、Δtemは、撮像素子の温度をTem0から（Tem0＋Δtem）に変化させたときに欠陥画素で発生する暗電流の大きさが２倍に変化するように決定する。
【００６７】
以上の処理によって、温度Tem0を基準としてΔtem毎の温度変化に応じた欠陥画素領域の大きさの最大値を欠陥画素記憶部１０１に記憶させることができる。ここで、撮像素子の温度Temが、Tem0＜Tem＜Tem0＋Δtemの条件を満たす場合には、（Tem0＋Δtem）のときの欠陥画素領域の大きさの最大値を参照するようにして最大値を決めれば良い。ただし、この決定方法は一例であり、別の決定方法を用いても良い。
【００６８】
ここで、欠陥画素記憶部１０１には、温度Temにおける露光時間毎の欠陥画素領域情報を記憶させておき、それ以外の温度における露光時間毎の欠陥画素領域情報については例えば図２のステップＳ３の処理中に求めるようにしても良い。
【００６９】
また、図６の例では、露光時間T1、T2、…、Tn（Tn＝最大露光時間）についての欠陥画素領域の大きさの最大値を検出した例を示している。これよりも長い露光時間の最大値については、例えば図９に示すような露光時間T1、T2、…、Tnのときの最大値を用いた線形補間に従って求める。または、露光時間Tnよりも長い露光時間の最大値について、図１０に示すようなステップ状の補間式に従って求めるようにしても良い。これらは一例であり別の手法によって求めるようにしても良い。
【００７０】
また、欠陥画素領域の水平及び垂直方向の大きさが分かれば、欠陥画素領域内の各欠陥画素の座標情報が分かる。したがって、図６のステップＳ１０４で欠陥画素領域の水平及び垂直方向の大きさを検出することにより、撮像素子温度及び露光時間に応じた補正対象画素の座標を特定することも可能である。この撮像素子温度及び露光時間に応じた補正対象画素の座標も欠陥画素記憶部１０１に記憶させるようにしても良い。
＜相対位置の変更量、補正画像の露光時間、補正画像の撮影枚数の決定について＞
この処理において、変更量決定部１０２は、撮影時に設定される設定露光時間T0と撮影時の撮像素子温度Temとから相対位置の変更量を決定する。また、撮像制御部１０８は、設定露光時間T0から、補正画像の露光時間と補正画像の撮影枚数を決定する。
【００７１】
初めに、画像サイズ設定部１１０に設定される画像サイズに応じた相対位置の最大変更量について図１１を用いて説明する。画像サイズ設定部１１０により、画像サイズが設定されることにより、撮像光学系１０４と撮像素子１０５との相対位置の最大変更量が決定される。
【００７２】
前述した補正画像取得、画像合成の際に、撮像光学系１０４と撮像素子１０５との相対位置の変更量を大きくしておけば、相対位置の変更の前後で欠陥画素領域が重複する可能性が低減される。しかしながら、この場合には、相対位置の変更の前後で画像全体の重複領域が狭くなる。実際に記録媒体１１３に記録される合成画像として有効なのは、相対位置の変更前後で重複する領域である。したがって、相対位置の変更の前後での画像全体の重複領域が狭くなると、記録媒体１１３に記録される合成画像の画像サイズが小さくなってしまう。本実施形態では、画像サイズに応じて最大変更量を決定しておくことにより、相対位置の変更に伴う合成画像の画像サイズの縮小を抑える。
【００７３】
図１１の破線枠３０１は、撮像素子１０５によって撮像可能な最大の画像サイズを示している。図１１では、破線枠３０１の水平方向の大きさをXとし、垂直方向の大きさをYとしている。また、図１１の実線枠３０２は、撮影時に画像サイズ設定部１１０によって設定される画像サイズを示している。図１１では、実線枠３０２の水平方向の大きさをxとし、垂直方向の大きさをyとしている。実線枠３０２で示した画像サイズを維持することを考えた場合、水平及び垂直方向の相対位置の最大変更量は、以下の式で決定される。
水平方向の相対位置の最大変更量＝(X−x)/2
垂直方向の相対位置の最大変更量＝(Y−y)/2
図１２は、相対位置の変更量、補正画像の露光時間、撮影枚数を決定する方法を示したフローチャートである。図１２の処理が開始すると、撮像制御部１０８は、設定露光時間T0を取得する（ステップＳ４０１）。また、撮像制御部１０８は、温度検出部１１１から撮像素子温度Temを取得する（ステップＳ４０２）。さらに、撮像制御部１０８は、画像サイズ設定部１１０から画像サイズ(x,y)を取得する（ステップＳ４０３）。
【００７４】
各種の情報の取得後、撮像制御部１０８の露光時間制御部１０９は、撮像素子温度Tem、画像サイズ(x,y)、水平及び垂直方向の欠陥画素領域の大きさの最大値Hor_max_n、Ver_max_nより、最大露光時間T_maxを決定する（ステップＳ４０４）。ここで、最大露光時間は、以下に示すように決定する。
＜水平方向について＞
Hor_max_n＞(X−x)/2 ならば T_maxを、Hor_max_m＝(X−x)/2となる露光時間Tmとする。
Hor_max_n＜(X−x)/2 ならば T_maxを、露光時間Tnとする。
＜垂直方向について＞
Ver_max_n＞(Y−y)/2 ならば T_maxを、Ver_max＝(Y−y)/2となる露光時間Tmとする。
Ver_max_n＜(Y−y)/2 ならば T_maxを、露光時間Tnとする。
露光時間Tnのときの欠陥画素領域の水平方向又は垂直方向の最大値が相対位置の変更量の最大値よりも大きい場合とは、露光時間Tnのときの欠陥画素領域の大きさが、相対位置の最大変更量を超える場合である。この場合には、最大露光時間T_maxをTnとしてしまうと、相対位置の変更前後で欠陥画素領域が重複して補正残りが発生する。このため、露光時間を制限して欠陥画素領域を小さくする。一方、露光時間Tnのときの欠陥画素領域の水平方向及び垂直方向の最大値が相対位置の変更量の最大値よりも小さい場合には、露光時間TnをT_maxとしても補正残りは発生しない。この場合には、補正画像の露光時間を確保するため、露光時間TnをT_maxとする。
【００７５】
最大露光時間T_maxを設定した後、露光時間制御部１０９は、sを初期値０に設定する（ステップＳ４０５）。その後、露光時間制御部１０９は、sに１を加える（ステップＳ４０６）。そして、露光時間制御部１０９は、T0/2sがT_maxを超えているか否かを判定する（ステップＳ４０７）。ステップＳ４０７において、T0/2sがT_maxを超えていないと判定した場合に、露光時間制御部１０９は、処理をステップＳ４０６に戻してsに１を加える。即ち、T0/2sがT_maxを超えたと判定するまで、露光時間制御部１０９は、sに１を加えていく。
【００７６】
ステップＳ４０７において、T0/2sがT_maxを超えたと露光時間制御部１０９が判定した場合、そのときのT0/2sがそれぞれの補正画像の露光時間とする。ここで、最大露光時間T_maxがTnよりも小さい場合には、露光時間T0/2sでｎ枚の補正画像を露光しても露光量が不足する。このため、露光量の不足分を、撮影枚数を増やすことによって補う。このため、露光時間制御部１０９は、撮影枚数を2sに設定する（ステップＳ４０８）。前述したように、露光時間は、必ずしもT0を基準とする必要はないので、ステップＳ４０８においては、露光時間をT/2sと記載している。
【００７７】
その後、変更量決定部１０２は、欠陥画素記憶部１０１から、現在の撮像素子温度Temにおける露光時間T/2sに対応した欠陥画素領域の水平方向及び垂直方向の大きさの最大値Hor_max又はVer_maxを取得する（ステップＳ４０９）。ここで、露光時間T/2sに対応した最大値Hor_max又はVer_maxが欠陥画素記憶部１０１に記憶されていない場合には、図９や図１０で示したようにして最大値を求める。続いて、変更量決定部１０２は、ステップＳ４０９で取得した最大値Hor_max又はVer_maxから、撮像光学系１０４と撮像素子１０５との水平方向及び垂直方向の相対位置の変更量候補Δx0、Δy0をそれぞれ決定する（ステップＳ４１０）。水平方向及び垂直方向の相対位置の変更量候補Δx0、Δy0は、それぞれ以下のように決定される。
水平方向の相対位置の変更量候補Δx0＝Hor_max
垂直方向の相対位置の変更量候補Δy0＝Ver_max
水平方向及び垂直方向の相対位置の変更量候補Δx0、Δy0を決定した後、変更量決定部１０２は、最終的な相対位置の変更量Δx、Δyを決定する（ステップＳ４１１）。水平方向及び垂直方向の相対位置の変更量Δx、Δyは、それぞれ以下のように決定される。
Δx0＞Δy0ならば(Δx,Δy)＝(0,Δy0)
Δx0＜Δy0ならば(Δx,Δy)＝(Δx0,0)
ただし、変更量は、上記の条件に限定されず、相対位置の変更前後で補正画像の欠陥画素が重複しないように決定すれば良い。上記の相対位置の変更量候補から決定される変更量の組合せとしては図１３に示す黒点の８箇所が考えられる。この他、図１３に示す８箇所の黒点を結ぶ破線上の変更量としても良い。この場合、相対位置の変更量は、相対位置の変更前後で補正画像の欠陥画素が重複しない範囲で可能な限り小さくすることが望ましい。これにより、相対位置の変更に必要な時間を短縮することが可能である。
【００７８】
以上説明したように、本実施形態においては、欠陥画素領域の大きさが撮像素子温度及び露光時間といった撮影条件に依存して変化することを考慮して、撮影条件毎の欠陥画素領域を示す情報である欠陥画素領域情報を取得している。これにより、撮影条件に応じた適切な相対位置の変更量で撮像光学系１０４と撮像素子１０５の相対位置を変更して欠陥画素領域の出力を有効に補正することが可能である。
【００７９】
また、撮像素子温度及び設定露光時間に応じた欠陥画素領域の大きさの最大値を欠陥画素記憶部１０１から取得し、この最大値と画像サイズ設定部１１０によって設定された画像サイズとを比較して、補正画像を取得する際の相対位置の変更量、露光時間、撮影枚数を決定している。これにより、欠陥画素領域の出力を有効に補正しつつ、さらにユーザが所望する画像サイズの合成画像を得ることが可能である。
【００８０】
以下、本実施形態の変形例について説明する。
［変形例１］
前述した実施形態では、相対位置を第１の相対位置と第２の相対位置との間で変化させて補正画像を取得するようにしている。実際には、相対位置の数は、２以上の整数値であれば良い。例えば、図１４は、相対位置の数を４つとした場合の画像合成の概念図である。図１４においてハッチングを施した箇所は、欠陥画素領域２１０である。また、図１４において破線枠で示した箇所は、補正対象画素２１２が存在している領域を示している。さらに、図１４に示す領域２１３は、補正対象画素２１２を補正するために用いられる推定画素の領域である。
【００８１】
図１４に示す補正画像２１１を第１の相対位置で取得された補正画像とし、補正画像２１４を第２の相対位置で取得された補正画像とし、補正画像２１５を第３の相対位置で取得された補正画像とし、補正画像２１６を第４の相対位置で取得された補正画像とする。第２の相対位置は、第１の相対位置に対してΔxだけ水平方向にずらした位置である。また、第４の相対位置は、第１の相対位置に対してΔyだけ垂直方向にずらした位置である。本変形例においては、変更量（Δx,Δy）を、変更量決定部１０２にて決定する。
【００８２】
図１５は、相対位置の数をｎ（ｎは２以上の整数値）とした場合の画像取得、画像合成の処理を示したフローチャートである。ここで、図４と重複する部分については説明を省略する。
【００８３】
補正画像の取得開始時点では、補正画像の撮影枚数と補正画像の露光時間とが決定されている。以下の説明においては、補正画像の撮影枚数をn×s（以下、nsと記す）とし、補正画像の露光時間をT/nsとする。Tは、所定の露光時間である。また、sは、時分割撮影枚数である。本変形例では、相対位置の数をｎとしているので、最終的な撮影枚数がnsとなる。
【００８４】
図１５において、撮像制御部１０８は、相対位置の変更繰返回数uを初期値１に、現在の相対位置を示す値ｍを初期値１に設定する（ステップＳ６０１）。
続いて、撮像制御部１０８は、露光時間をT/nsとして撮像素子１０５の露光動作を制御する。これにより、補正画像B_u,mを取得する（ステップＳ６０２）。補正画像B_u,mは、画像記憶部１０６に記憶される。
【００８５】
補正画像B_u,mが取得された後、画像合成部１０７は、画像合成により、欠陥画素領域の出力値を補正する（ステップＳ６０３）。欠陥画素領域の出力値を補正するための画像合成は、以下の（式６）に従って行う。
B(x+Δxm,y+Δym)＝B(x+Δxm,y+Δym)＋B_u,m(x,y)×n/(n-1) （式６）
ここで、Δxm、Δymは、それぞれ第ｍ番目の相対位置の変更量である。例えば、ｎが4の場合、Δxm、Δymは、図１３に示す８箇所の黒点のうちの何れか４個の相対位置の変更量に対応している。また、B(x+Δxm,y+Δym)は、uが１（１回目の画像合成時）の場合には、０であるとする。
【００８６】
続いて、画像合成部１０７は、欠陥画素領域以外の画像合成を行う（ステップＳ６０４）。欠陥画素領域以外の画像合成は、以下の（式７）に従って行う。
B(X+Δxm,Y+Δym)＝B(X+Δxm,Y+Δym)＋B_u,m(X,Y) （式７）
ここで、B(X+Δxm,Y+Δym)は、uが１（１回目の画像合成時）の場合には、０であるとする。
【００８７】
以上のステップＳ６０２〜Ｓ６０４の処理によって、１つの補正画像B_u,mに関しての画像取得と画像合成が終了する。これを受けて、撮像制御部１０８は、ｍに１を加える（ステップＳ６０５）。そして、撮像制御部１０８は、ｍがｎを超えたか否かを判定する（ステップＳ６０６）。ステップＳ６０６において、ｍがｎを超えていないと判定した場合には、処理がステップＳ６０７に移行する。このとき、相対位置変更部１０３は、撮像光学系１０４と撮像素子１０５との相対位置を第ｍの相対位置（Δxm,Δyｍ）に変更する（ステップＳ６０７）。その後、処理がステップＳ６０２に戻り、撮像制御部１０８は、次の相対位置での補正画像B_u,mを取得する。このように、ｍがｎを超えるまでは、相対位置が変更されつつ、画像合成が繰り返される。
【００８８】
ステップＳ６０６において、ｍがｎを超えたと判定した場合に、撮像制御部１０８は、ｕに１を加える（ステップＳ６０９）。そして、撮像制御部１０８は、uがsを超えたか否かを判定する（ステップＳ６１０）。ステップＳ６１０において、uがsを超えていないと撮像制御部１０８が判定した場合には、まだ、撮影すべき補正画像が残っている。この場合には、処理がステップＳ６０８に移行する。このとき、相対位置変更部１０３は、撮像光学系１０４と撮像素子１０５との相対位置を第１の相対位置（Δx1,Δy1）に変更する（ステップＳ６０８）。その後、処理がステップＳ６０２に戻り、撮像制御部１０８は、次の相対位置での補正画像B_u,mを取得する。
【００８９】
ステップＳ６１０の判定において、uがs以上であると撮像制御部１０８が判定した場合、露光時間Tの合成画像が取得される。これ以後のステップＳ６１１〜ステップＳ６１５の処理は、図４と同様である。
【００９０】
［変形例２］
前述した補正画像取得、画像合成の処理は、露光時間Tが比較的長い場合を想定している。これに対し、露光時間Tが短い場合には、図４に示した補正画像取得、画像合成の処理を図１６の処理に置き換えることができる。ここで、図４と重複する部分については説明を省略する。
【００９１】
図１６において、撮像制御部１０８は、露光時間を設定露光時間Tとして撮像素子１０５の露光動作を制御する。これにより、補正画像B_1を取得する（ステップＳ５０１）。補正画像B_1は、画像記憶部１０６に記憶される。
【００９２】
補正画像B_1が取得された後、相対位置変更部１０３は、撮像光学系１０４と撮像素子１０５との相対位置を変更量(Δx,Δy)だけ変更する（ステップＳ５０２）。続いて、撮像制御部１０８は、露光時間をステップＳ５０１と同じTとして撮像素子１０５の動作を制御する。これにより、補正画像B_2を取得する（ステップＳ５０３）。補正画像B_2は、画像記憶部１０６に記憶される。
【００９３】
２枚の補正画像が取得された後、画像合成部１０７は、画像合成により、欠陥画素領域の出力値を補正する（ステップＳ５０４）。これ以後の処理は図４と同様である。なお、ステップＳ５０４における欠陥画素領域の出力値を補正するための画像合成は、以下の（式８）に従って行う。
B_1(x,y)＝B_2(x-Δx,y-Δy)×2 （式８）
ここで、（式８）は、暗時画像における欠陥画素領域の出力補正と同様の補正を行っていることを示している。露光時間が短い場合には、（式８）のように補正を行っても欠陥画素領域の出力を良好に補正することが可能である。
【００９４】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【００９５】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００９６】
１００…撮像装置、１０１…欠陥画素記憶部、１０２…変更量決定部、１０３…相対位置変更部、１０４…撮像光学系、１０５…撮像素子、１０６…画像記憶部、１０７…画像合成部、１０８…撮像制御部、１０９…露光時間制御部、１１０…画像サイズ設定部、１１１…温度検出部、１１２…操作部、１１３…記録媒体
２００…欠陥画素領域
【技術分野】
【０００１】
本発明は、欠陥画素の補正機能を有する撮像装置及びそのような撮像装置における欠陥画素補正方法に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置には、ＣＣＤ（Charge Coupled Device：電荷結合素子）方式のイメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補型金属酸化物半導体）方式のイメージセンサ等の撮像素子が使用されている。近年では、ＣＭＯＳ方式のイメージセンサが普及しており、ＣＭＯＳイメージセンサの中でも、ＢＳＩ−ＣＭＯＳ（Backside illumination - CMOS:裏面照射型ＣＭＯＳ）イメージセンサが注目されている。
【０００３】
このような撮像素子は、その製造工程で複数の欠陥画素が生じてしまうことが知られている。欠陥画素とは、撮像素子を遮光しても出力が発生する画素（暗時白点）や、撮像素子に光を照射しても出力が発生しない画素（明時黒点）等である。このような欠陥画素は、撮像素子を介して得られる画像に少なからず影響を及ぼす原因となる。
【０００４】
欠陥画素を補正する手法として、例えば、欠陥画素の周辺の正常画素から得られる出力値を用いて欠陥画素の情報を補正する手法が知られている。ここで、撮像素子が、多くの欠陥画素が連続している領域（以下、このような領域を欠陥画素領域と言う）を有している場合には、前述の補正により、欠陥画素領域の部分の画像の消滅や形状の変化が発生する可能性がある。
【０００５】
また、欠陥画素を補正する手法として、特許文献１において提案されている手法もある。特許文献１においては、まず、撮像光学系と撮像素子との相対位置をある位置に設定した状態で撮像素子によって画像を取得する。続いて、撮像光学系と撮像素子の相対位置を変更することによって、同じ撮像素子の異なる領域で画像を取得し、そして、一方の画像における欠陥画素の出力値を他方の画像において対応する正常な画素の出力値を用いて補正するようにしている。このような特許文献１の手法によれば、撮像素子が欠陥画素領域を有していても有効に欠陥画素の補正をすることが可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２１１４５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、欠陥画素領域の大きさは、露光時間や撮像素子の温度といった撮影条件によって変化することが知られている。したがって、特許文献１の手法を適用する場合には、撮像光学系と撮像素子の相対位置の変更量を撮影条件によって変化する欠陥画素領域の大きさによって変化させる必要がある。仮に、相対位置の変更量が正しく設定されない場合、相対位置の変更の前後でそれぞれ取得された画像の間で欠陥画素が重なってしまうことがある。欠陥画素の重複が発生すると、その欠陥画素は補正することができず、補正残りが発生してしまう。
【０００８】
そこで、本発明は、様々な撮影条件において複数の欠陥画素が連続する欠陥画素領域が発生する場合でも、欠陥画素を有効に補正することを可能とする撮像装置及びそのような欠陥画素補正方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記の目的を達成するために、本発明の第１の態様の撮像装置は、被写体を撮像して画像を取得する撮像素子と、前記被写体の像を前記撮像素子に結像させる撮像光学系と、前記撮像光学系と前記撮像素子との相対位置を変更する相対位置変更部と、前記撮像素子の画素のうち連続して複数の欠陥が発生している欠陥画素領域を示す欠陥画素領域情報を、前記撮像素子の撮影条件に応じて取得し、前記相対位置の変更量を、前記相対位置の変更前と変更後において前記欠陥画素領域の重複を避ける変更量に決定する変更量決定部と、前記相対位置の変更前と変更後で得られた複数の画像を合成して合成画像を得る画像合成部と、を具備することを特徴とする。
【００１０】
前記の目的を達成するために、本発明の第２の態様の欠陥画素補正方法は、撮像光学系により撮像素子に結像された被写体像を撮像して画像を取得し、前記撮像素子の連続して複数の画素に欠陥が発生している欠陥画素領域を示す欠陥画素領域情報を、前記撮像素子の撮影条件に応じて取得し、前記撮像光学系と前記撮像素子との相対位置を、該相対位置の変更前と変更後において前記欠陥画素領域の重複を避けて前記相対位置の変更量を決定し、前記相対位置の変更量に従って前記相対位置を変更し、前記相対位置の変更前と変更後で得られた複数の画像を合成して合成画像を得る、ことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、様々な撮影条件において複数の欠陥画素が連続する欠陥画素領域が発生する場合でも、欠陥画素を有効に補正することを可能とする撮像装置及びそのような欠陥画素補正方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る撮像装置の概略的構成を説明するためのブロック図である。
【図２】本発明の一実施形態に係る欠陥画素補正方法を含む撮影動作のフローチャートである。
【図３】相対位置の数を２つとした場合の画像合成の原理について説明するための図である。
【図４】補正画像取得、画像合成の具体的な処理について示すフローチャートである。
【図５】欠陥画素領域について説明するための図である。
【図６】欠陥画素登録時の処理を示すフローチャートである。
【図７】図７（ａ）は露光時間に対する欠陥画素領域の水平方向の大きさの最大値をプロットしたグラフであり、図７（ｂ）は露光時間に対する欠陥画素領域の垂直方向の大きさをプロットしたグラフである。
【図８】図８（ａ）は横軸に露光時間、縦軸に欠陥画素領域の水平方向の大きさの最大値をプロットしたグラフであり、図８（ｂ）は横軸に露光時間、縦軸に欠陥画素領域の垂直方向の大きさの最大値をプロットしたグラフである。
【図９】欠陥画素領域の大きさの最大値を線形補間によって求める際の例を示した図である。
【図１０】欠陥画素領域の大きさの最大値をステップ状の補間式に従って求める際の例を示した図である。
【図１１】画像サイズに応じた相対位置の最大変更量について説明するための図である。
【図１２】相対位置の変更量、補正画像の露光時間、撮影枚数を決定する方法を示したフローチャートである。
【図１３】相対位置の変更量の組合せについて示した図である。
【図１４】相対位置の数を４つとした場合の画像合成の原理について説明するための図である。
【図１５】相対位置の数をｎとした場合の画像取得、画像合成の処理を示したフローチャートである。
【図１６】変形例２における画像取得、画像合成の処理を示したフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る撮像装置の概略的構成を説明するためのブロック図である。図１に示す撮像装置１００は、欠陥画素記憶部１０１と、変更量決定部１０２と、相対位置変更部１０３と、撮像光学系１０４と、撮像素子１０５と、画像記憶部１０６と、画像合成部１０７と、撮像制御部１０８と、温度検出部１１１と、操作部１１２と、記録媒体１１３と、を有している。また、撮像制御部１０８は、露光時間制御部１０９と、画像サイズ設定部１１０と、を有している。
【００１４】
欠陥画素記憶部１０１は、欠陥画素領域情報を記憶する。欠陥画素領域情報は、後述の欠陥画素補正において、撮像光学系１０４と撮像素子１０５との相対位置の変更量を決定するために用いられる情報である。欠陥画素領域情報は、撮影条件毎に記憶されている。欠陥画素補正時には、その時の撮影条件に応じて必要な欠陥画素領域情報を取得する。ここで、撮影条件としては、例えば撮像素子１０５の温度や露光時間がある。欠陥画素領域情報の詳細については、後述する。
【００１５】
変更量決定部１０２は、欠陥画素補正時において、そのときの撮影条件に応じた欠陥画素領域情報を欠陥画素記憶部１０１から取得し、取得した欠陥画素領域情報を用いて、撮像素子１０５における欠陥画素の出力値を補正するために必要な、撮像光学系１０４と撮像素子１０５との相対位置の変更量を決定する。
【００１６】
相対位置変更部１０３は、アクチュエータを有し、撮像制御部１０８の制御に従って、撮像光学系１０４と撮像素子１０５との相対位置を、変更量決定部１０２で決定された変更量だけ変更する。ここで、相対位置変更部１０３は、撮像光学系１０４のみを位置変化させるように構成されていても良いし、撮像素子１０５のみを位置変化させるように構成されていても良いし、撮像光学系１０４と撮像素子１０５との両方を位置変化させるように構成されていても良い。
【００１７】
撮像光学系１０４は、図示しない被写体の像を、撮像素子１０５の受光面に結像させる光学系である。撮像光学系１０４は、フォーカスレンズ等を含んでいても良い。また、撮像光学系１０４は、１枚のレンズで構成しても良い。
【００１８】
撮像素子１０５は、複数の画素が２次元状に配置された受光面を有している。各画素は、撮像光学系１０４を介して入射した光を、電気信号に変換する。撮像素子１０５から出力される電気信号は、デジタル信号に変換され、このデジタル信号が後述の画像合成の際の補正画像として用いられる。
【００１９】
画像記憶部１０６は、撮像素子１０５で得られた補正画像及び画像合成部１０７で合成された合成画像を一時的に記憶する。後述する欠陥画素補正のために、画像記憶部１０６は、複数枚の補正画像と、合成画像とを記憶できるだけの容量を有している。
【００２０】
画像合成部１０７は、画像記憶部１０６に記憶された複数の補正画像を合成することによって、欠陥画素領域の出力値が補正された合成画像を得る。この合成処理の詳細については後述する。
【００２１】
撮像制御部１０８は、相対位置変更部１０３による相対位置の変更の動作及び撮像素子１０５の露光動作を制御する。この撮像制御部１０８は、例えば、相対位置変更部１０３による相対位置の変更動作と撮像素子１０５の露光動作のそれぞれの動作タイミングを制御する。露光時間制御部１０９は、撮像素子１０５の露光時間と撮影枚数（露光回数）とを決定する。画像サイズ設定部１１０は、画像合成部１０７によって得られる合成画像の画像サイズを設定する。
【００２２】
温度検出部１１１は、撮像素子１０５の近傍に設けられており、撮像素子１０５の温度を検出する。
【００２３】
操作部１１２は、ユーザが撮像装置１００の操作を行うために必要な各種の操作部材である。操作部１１２としては、例えばレリーズボタンが含まれる。レリーズボタンは、２段押し式の操作部材である。レリーズボタンが半押しされることにより、１ｓｔレリーズスイッチがオンする。撮像制御部１０８は、１ｓｔレリーズスイッチがオンされた場合に、露光の準備動作を行う。また、レリーズボタンが全押しされることにより、２ｎｄレリーズスイッチがオンする。撮像制御部１０８は、２ｎｄレリーズスイッチがオンされた場合に、露光動作を行う。この他、操作部１１２は、撮像装置１００の各種の設定を行うための操作部材も含む。
【００２４】
記録媒体１１３は、画像合成部１０７によって得られた合成画像を記録する。ここで、記録媒体１１３は、撮像装置１００に内蔵されていても良いし、撮像装置１００に対して着脱自在に構成されていても良い。
【００２５】
以下、本実施形態に係る撮像装置１００を用いた欠陥画素補正方法について説明する。図２は、本実施形態に係る欠陥画素補正方法を含む撮影動作のフローチャートである。
図２に示すフローチャートにおいて、撮像制御部１０８は、操作部１１２のレリーズボタンの操作により、１ｓｔレリーズスイッチがオンしたか否かを判定している（ステップＳ１）。ステップＳ１において、１ｓｔレリーズスイッチがオンしていないと判定した場合に、撮像制御部１０８は、ステップＳ１の判定を行いつつ、待機する。この待機中に、スルー画像表示を行うようにしても良い。
【００２６】
ステップＳ１において、１ｓｔレリーズスイッチがオンしたと判定した場合に、撮像制御部１０８は、設定露光時間、撮像素子温度、画像サイズを取得する（ステップＳ２）。設定露光時間は、例えばユーザによる操作部１１２の手動操作によって設定される。撮像素子温度は、撮像素子１０５の周辺の温度である。撮像素子温度は、温度検出部１１１によって検出される。画像サイズは、後述する合成画像の画像サイズである。画像サイズは、例えばユーザによる操作部１１２の手動操作を介して画像サイズ設定部１１０によって設定される。
【００２７】
設定露光時間、撮像素子温度、画像サイズを取得した後、撮像制御部１０８は、設定露光時間と撮像素子温度とを欠陥画素記憶部１０１に入力する。欠陥画素記憶部１０１からは、設定露光時間と撮像素子温度とに応じた欠陥画素領域情報が出力され、変更量決定部１０２は、欠陥画素領域情報を取得する（ステップＳ３）。欠陥画素領域情報の詳細については後述する。
【００２８】
続いて、変更量決定部１０２は、撮像光学系１０４と撮像素子１０５との相対位置の変更量を決定する。また、露光時間制御部１０９は、補正画像の露光時間と撮影枚数とを決定する（ステップＳ４）。相対位置の変更量、補正画像の露光時間、補正画像の撮影枚数の決定の詳細については後述する。
【００２９】
相対位置の変更量と補正画像の露光時間及び撮影枚数が決定された後、撮像制御部１０８は、操作部１１２のレリーズボタンの操作により、２ｎｄレリーズスイッチがオンしたか否かを判定する（ステップＳ５）。ステップＳ５において、２ｎｄレリーズスイッチがオンしていないと判定した場合に、撮像制御部１０８は、ステップＳ５の判定を行いつつ、待機する。
【００３０】
ステップＳ５において、２ｎｄレリーズスイッチがオンしたと判定した場合に、撮像制御部１０８は、相対位置変更部１０３及び撮像素子１０５を制御して補正画像の露光を行う。撮像素子１０５の動作によって得られた補正画像は、画像記憶部１０６に記憶される。画像合成部１０７は、画像記憶部１０６から補正画像を取得し、取得した補正画像を合成することにより、欠陥画素の出力値が補正された合成画像を生成する。そして、画像合成部１０７は、生成した合成画像を記録媒体１１３に記録する（ステップＳ６）。補正画像取得、画像合成の詳細については後述する。このようなステップＳ１〜Ｓ６の処理により、一連の撮影動作が終了する。
【００３１】
次に、図２のステップＳ３、Ｓ４、Ｓ６の処理を詳細に説明する。なお、説明の都合上、次の順番で各ステップの説明を行う。まず、ステップＳ６の補正画像取得、画像合成について説明する。続いて、ステップＳ３の欠陥画素領域情報の取得について説明する。最後に、ステップＳ４の相対位置の変更量、補正画像の露光時間、補正画像の撮影枚数の決定の詳細について説明する。
【００３２】
＜補正画像取得、画像合成について＞
補正画像取得から画像合成までの流れを説明する。
まず、画像合成の原理について図３を参照して説明する。図３においてハッチングを施した箇所は、欠陥画素領域２００である。ここで、欠陥画素領域とは、複数の欠陥画素が連続して存在する画素領域のことを言うものとする。また、図３において破線枠で示した箇所は、補正対象画素（欠陥画素）２０３が存在している領域を示している。さらに、図３に示す領域２０４は、補正対象画素２０３を補正するために用いられる推定画素の領域である。
【００３３】
推定画素について説明する。ここで、以下の説明においては、撮像光学系１０４と撮像素子１０５との相対位置を第１の相対位置と第２の相対位置との間で変化させて２枚の補正画像を取得するものとする。第１の相対位置に対して第２の相対位置は、ｘ方向（撮像素子１０５の受光面の水平方向）にΔx pixelだけ、ｙ方向（撮像素子１０５の受光面の垂直方向）にΔy pixelだけずらした位置である。
【００３４】
図３に示す補正画像２０１を第１の相対位置で取得された補正画像とし、補正画像２０２を第２の相対位置で取得された補正画像とする。本実施形態においては、第１の相対位置と第２の相対位置の変更量（Δx,Δy）を、変更量決定部１０２にて決定する。ここで、Δx、Δyは、第１の相対位置と第２の相対位置との間で欠陥画素領域２００が重複しないように設定する。例えば、図３の例では、Δxを３pixel以上又はΔyを３pixel以上とする。さらに、本実施形態においては、後述の欠陥画素補正のための画像合成によって得られる合成画像の画像サイズも考慮して、最終的なΔx、Δyを決定する。この決定の詳細については後述する。
【００３５】
また、補正画像２０１を基準として画像合成を行うものと考えると、補正画像２０２の各画素のうちで補正画像２０１の欠陥画素領域２００と重なる画素領域２０４を、推定画素とする。また、補正画像２０２を基準として画像合成を行うものと考えると、補正画像２０１の各画素のうちで補正画像２０２の欠陥画素領域２００と重なる画素領域２０４を推定画素とする。画像合成においては、補正画像２０１を基準として考えた場合、補正画像２０１と補正画像２０２とから作成する合成画像の座標を、補正画像２０１の座標と同じにする。また、補正画像２０２を基準として考えた場合、補正画像２０１と補正画像２０２とから作成する合成画像の座標を、補正画像２０２の座標と同じにする。
【００３６】
画像合成の処理は、推定画素領域２０４内の画素における画像合成と推定画素領域２０４以外の画素における画像合成とで合成方法が異なる。
まず、推定画素領域２０４の画素については、それぞれの推定画素の出力値に２倍のゲインをかけた値を合成画像に加算する。このとき、補正画像２０１における推定画素の出力値は、その推定画素の座標と同じ座標の合成画像の画素の出力値に加算する。また、補正画像２０２における推定画素の出力値は、補正画像２０１の補正対象画素２０３の座標と同じ座標の合成画像の画素の出力値に加算する。
【００３７】
一方、推定画素領域２０４以外の画素については、その画素の出力値をそのまま合成画像に加算する。ただし、補正画像２０１の画素に関しては、同じ座標の合成画像の画素に加算する。また、補正画像２０２の画素に関しては、その画素の座標から、相対位置の変更量(Δx,Δy)を加算した座標の合成画像の画素に加算する。
【００３８】
以上の方法により取得した合成画像には、暗電流成分が含まれている。したがって、合成画像から暗電流成分を除去する必要がある。暗電流成分を除去するためには、暗時画像を取得し、取得した暗時画像を合成画像から減算する。暗時画像は、遮光状態とした撮像素子１０５を、補正画像と同じ露光時間で露光することによって取得できる。ここで、暗時画像の取得時の撮像光学系１０４と撮像素子１０５との相対位置は特に限定されるものではない。
【００３９】
ここで、合成画像から暗時画像を減算するに先立って、暗時画像の欠陥画素の出力値を補正しておく必要がある。暗時画像の画素のうちで、補正対象画素２０３に対応した画素に関しては、相対位置の変更量(Δx,Δy)だけ変更した位置の画素の出力値を加算する。また、補正対象画素２０３以外の画素に関しては、それぞれの画素の出力値に２倍のゲインをかけた値とする。これによって得られた暗時画像を、合成画像から減算することによって、暗電流成分が除去された合成画像を取得する。
【００４０】
以上説明した補正画像取得、画像合成の具体的な処理について図４のフローチャートを用いて説明する。
【００４１】
補正画像の取得開始時点では、補正画像の撮影枚数と補正画像の露光時間とが決定されている。以下の説明においては、補正画像の撮影枚数を2×s（以下、2sと記す）とし、補正画像の露光時間をT/2sとする。Tは、ユーザが設定等して決まる露光時間である。この露光時間Tは、必ずしも設定露光時間と等しくする必要はない。ただし、露光時間Tを設定露光時間と異ならせた場合には補正が必要となる。なお、以下では説明を簡単にするために、露光時間Tが設定露光時間と等しいものとする。本実施形態では、１枚の補正画像を時分割で撮影することとする。前述したように、本実施形態では、第１の相対位置と第２の相対位置とでそれぞれ補正画像を取得するので、最終的な撮影枚数が2sとなる。
【００４２】
図４において、撮像制御部１０８は、相対位置の変更往復回数uを初期値１に設定する（ステップＳ３０１）。
続いて、撮像制御部１０８は、露光時間をT/2sとして撮像素子１０５の露光動作を制御する。これにより、補正画像B_2u-1を取得する（ステップＳ３０２）。補正画像B_2u-1は、画像記憶部１０６に記憶される。この補正画像B_2u-1が、補正画像２０１に対応する。実際には、補正画像B_2u-1は、補正画像２０１の1/sの露光時間で得られた補正画像である。
【００４３】
補正画像B_2u-1が取得された後、画像合成部１０７は、画像合成により、欠陥画素領域の出力値を補正する（ステップＳ３０３）。欠陥画素領域の出力値を補正するための画像合成は、以下の（式１）に従って行う。
B(x,y)＝B(x,y)＋B_2u-1(x,y)×2 （式１）
ここで、（式１）における（x,y）は、画素の座標を示し、補正画像B_2u-1における推定画素の範囲内の値をとる。また、B（x,y）は、座標（x,y）の合成画像の画素の出力値である。ここで、（2u-1）が１（１回目の画像合成時）の場合には、B（x,y）が０であるとする。また、B_2u-1(x,y)は、座標（x,y）の補正画像B_2u-1の画素（推定画素）の出力値である。（式１）に従って、推定画素の出力値に２倍のゲインをかけ、この値を、合成画像の座標(x,y)の画素の出力値に加算することで、他方の相対位置で取得する補正画像の欠陥画素領域の出力値が合成画像に及ぼす影響を補正する。
【００４４】
続いて、画像合成部１０７は、欠陥画素領域以外の画像合成を行う（ステップＳ３０４）。欠陥画素領域以外の画像合成は、以下の（式２）に従って行う。
B(X,Y)＝B(X,Y)＋B_2u-1(X,Y) （式２）
ここで、（式２）における（X,Y）は、画素の座標を示し、補正画像B_2u-1における推定画素の範囲外の値をとる。また、B（X,Y）は、座標（X,Y）の合成画像の画素の出力値である。ここで、（2u-1）が１の場合には、B（X,Y）が０であるとする。また、B_2u-1（X,Y）は、座標（X,Y）の補正画像B_2u-1の画素の出力値である。
【００４５】
以上のステップＳ３０２〜Ｓ３０４の処理によって、補正画像B_2u-1に関しての画像取得と画像合成が終了する。これを受けて、相対位置変更部１０３は、撮像光学系１０４と撮像素子１０５との相対位置を変更量(Δx,Δy)だけ変更する（ステップＳ３０５）。続いて、撮像制御部１０８は、露光時間をステップＳ３０２と同じT/2sとして撮像素子１０５の動作を制御する。これにより、補正画像B_2uを取得する（ステップＳ３０６）。補正画像B_2uは、画像記憶部１０６に記憶される。この補正画像B_2uが、補正画像２０２に対応する。実際には、補正画像B_2uは、補正画像２０２の1/sの露光時間で得られた補正画像である。
【００４６】
補正画像B_2uが取得された後、画像合成部１０７は、画像合成により、欠陥画素領域の出力値を補正する（ステップＳ３０７）。欠陥画素領域の出力値を補正するための画像合成は、以下の（式３）に従って行う。
B(x+Δx,y+Δy)＝B(x+Δx,y+Δy)＋B_2u(x,y)×2 （式３）
ここで、（式３）におけるB(x+Δx,y+Δy)は、座標(x+Δx,y+Δy)の合成画像の画素の出力値である。また、B_2u(x,y)は、座標（x,y）の補正画像B_2uの画素（推定画素）の出力値である。（式３）に従って、推定画素の出力値に２倍のゲインをかけ、この値を、合成画像の座標(x+Δx,y+Δy)の画素の出力値に加算することで、初期の相対位置で取得した補正画像の欠陥画素領域の出力値が合成画像に及ぼす影響を補正する。
【００４７】
続いて、画像合成部１０７は、欠陥画素領域以外の画像合成を行う（ステップＳ３０８）。欠陥画素領域以外の画像合成は、以下の（式４）に従って行う。
B(X+Δx,Y+Δy)＝B(X+Δx,Y+Δy)＋B_2u(X,Y) （式４）
ここで、（式４）におけるB（X,Y）は、座標(X+Δx,Y+Δy)の合成画像の画素の出力値である。また、B_2u（X,Y）は、座標（X,Y）の補正画像B_2uの画素の出力値である。
【００４８】
以上のステップＳ３０６〜Ｓ３０８の処理によって、補正画像B_2uに関しての画像取得と画像合成が終了する。これを受けて、相対位置変更部１０３は、相対位置の変更量(-Δx,-Δy)だけ撮像光学系１０４と撮像素子１０５との相対位置を変更する（ステップＳ３０９）。これにより、撮像光学系１０４と撮像素子１０５との相対位置が、初期の相対位置に戻る。続いて、撮像制御部１０８は、uに１を加える（ステップＳ３１０）。そして、撮像制御部１０８は、uがsを超えたか否かを判定する（ステップＳ３１１）。ステップＳ３１１において、uがsを超えていないと撮像制御部１０８が判定した場合には、まだ、撮影すべき補正画像が残っている。このため、撮像制御部１０８は、処理をステップＳ３０２に戻して、次の補正画像B_2u-1を取得するための露光制御を行う。このように、撮影枚数2sに満たない場合（即ちuがsを超えていない場合）には、Ｓ３０２〜Ｓ３０９の処理が繰り返し行われ、時分割露光された補正画像が合成画像に順次合成される。
【００４９】
ステップＳ３１１の判定において、uがs以上であると撮像制御部１０８が判定した場合、露光時間Tの合成画像が取得される。続いて、撮像制御部１０８は、撮像素子１０５を遮光状態としつつ、露光時間をT/2sとして撮像素子１０５の露光動作を制御する。これにより、暗時画像Dを取得する（ステップＳ３１２）。暗時画像Dは、画像記憶部１０６に記憶される。ここで、ステップＳ３１２では、暗時画像Dの露光時間を、補正画像と同じ露光時間としている。しかしながら、暗時画像Dの露光時間は、必ずしも補正画像と同じ露光時間とする必要はない。例えば、ユーザが設定した露光時間であっても良い。
【００５０】
暗時画像が取得された後、画像合成部１０７は、暗時画像Dにおける欠陥画素領域の補正を行う（ステップＳ３１３）。暗時画像Dにおける欠陥画素領域の補正は、暗時画像Dの欠陥画素の出力値D(x,y)を、同一の暗時画像Dの非欠陥画素の出力値D(x-Δx,y-Δy)に置き換えることによって行う。暗時画像Dの欠陥画素補正の後、画像合成部１０７は、合成画像と暗時画像との露光時間との差の影響を補正するため、暗時画像Dの出力を補正する（ステップＳ３１４）。例えば、暗時画像の露光時間を補正画像の露光時間と同じにした場合には、ステップＳ３１４において、暗時画像Dの各画素の出力値を2s倍する。これにより、合成画像と暗時画像の暗電流成分が等しくなる。続いて、画像合成部１０７は、合成画像の各画素の出力値B(X,Y)から、暗時画像の対応する画素の出力値D(X,Y)を減算する（ステップＳ３１５）。これにより、合成画像から、暗電流成分（固定パターンノイズ（ＦＰＮ）成分）が除去される。合成画像からＦＰＮ成分を除去した後、画像合成部１０７は、合成画像を記録媒体１１３に記録する（ステップＳ３１６）。このようにして、図４の処理が終了する。
【００５１】
＜欠陥画素記憶部１０１に記憶される欠陥画素領域情報について＞
次に、ステップＳ３の欠陥画素領域情報の取得について説明する。ステップＳ３においては、欠陥画素記憶部１０１に記憶された欠陥画素領域情報を取得する。この欠陥画素記憶部１０１に記憶される欠陥画素領域情報は、以下の３つである。
１ 露光時間と温度に応じた欠陥画素領域の水平及び垂直方向の大きさ
２ 露光時間と温度に応じた欠陥画素領域の範囲
３ 露光時間と温度に応じた欠陥画素領域の水平及び垂直方向の大きさの最大値
これらの欠陥画素領域情報は、ユーザが撮像装置１００を使用する前に欠陥画素記憶部１０１に予め登録しておく。これらの欠陥画素領域情報は、大きく分けて２つの時期に登録される。１つの時期は、製品出荷前の調整時である。このとき登録（更新）される欠陥画素領域情報は、製品出荷時に生じた初期の欠陥領域情報である。もう１つの時期は、撮像装置１００がユーザの手に渡った後である。このとき登録される欠陥画素領域情報は、製品出荷後の経年劣化によって新たに生じた欠陥画素領域情報である。以下、前者の時期に行われる登録を初期欠陥登録と言い、後者の時期に行われる登録を後発欠陥登録と言う。
【００５２】
以下、これらの欠陥画素領域情報の登録について説明する。以後の説明のために、図５を用いて欠陥画素領域を定義しておく。図５において、ハッチングを示した箇所は、実際の欠陥画素領域を示している。本実施形態においては、欠陥画素領域を示す欠陥画素領域情報として、前述した１、２、３の情報を登録する。これらの情報は、図５に示す欠陥画素領域に外接する矩形領域を特定するための情報である。以後の説明のために、欠陥画素領域の左右上下端に位置する欠陥画素（ばつ印）の座標を、それぞれ、上端欠陥画素の座標＝(x_上,y_上)、下端欠陥画素の座標＝(x_下,y_下)、右端欠陥画素の座標＝(x_右,y_右)、及び左端欠陥画素の座標＝(x_左,y_左)と定義しておく。
【００５３】
図６は、欠陥画素登録時の処理を示すフローチャートである。欠陥画素登録時には、まず、暗時画像を取得する。このため、まず、暗時画像の撮影枚数ｎとｎ枚の暗時画像のそれぞれの露光時間T1、T2、…、Tnを設定する（ステップＳ１０１）。
【００５４】
撮影枚数と露光時間の設定を受けて、撮像制御部１０８は、暗時画像の取得枚数を示すカウント値ｍを、初期値１に設定する（ステップＳ１０２）。さらに、撮像制御部１０８は、現在の撮像素子１０５の温度Tem0を、温度検出部１１１から取得する（ステップＳ１０３）。
【００５５】
以降、撮像制御部１０８は、露光時間をTm（ｍ＝１、２、…ｎ）として遮光状態の撮像素子１０５を露光させて暗時画像を取得する（ステップＳ１０４）。暗時画像が取得される毎に、撮像制御部１０８は、欠陥画素領域検出を行う（ステップＳ１０５）。ここで、欠陥画素の検出は、例えばある閾値を設定し、この閾値を超える出力値を有する画素を欠陥画素（暗時白点）として検出することによって行う。しかしながら、この検出手法に限るものではなく、別の検出手法を用いても良い。また、欠陥画素領域については、水平かつ垂直方向に欠陥画素が連続してDef_num個以上存在する欠陥画素の集合体を欠陥画素領域として検出することとする。例えば、Def_numの値は、３とする。これは、隣接する欠陥画素が２個以下であれば、この欠陥画素の周囲の同色画素の出力値より補間すれば、欠陥画素の補正を行うことができるとの考えに基づいている。なお、Def_numの値は、４以上の整数値に設定しても良い。
【００５６】
図５に示したような欠陥画素領域を検出することができた場合、撮像制御部１０８は、欠陥画素領域の水平方向の大きさと範囲を示す座標とを、温度Tem0及び露光時間Tmと対応付けて欠陥画素記憶部１０１に記憶する（ステップＳ１０６ａ）。同様に、撮像制御部１０８は、欠陥画素領域の垂直方向の大きさと範囲を示す座標とを、温度Tem0及び露光時間Tmと対応付けて欠陥画素記憶部１０１に記憶させる（ステップＳ１０６ｂ）。
ここで、欠陥画素領域の水平方向の大きさX及び垂直方向の大きさYは、それぞれ以下のように定義しておく。欠陥画素記憶部１０１には、X及びYを記憶させる。
X＝x_右-x_左
Y＝y_上-y_下
また、欠陥画素領域の範囲は、始点座標を(x_左,y_上)とし、終点座標を（x_右,y_下）とする線分を対角線とする矩形範囲（即ち欠陥画素領域の外接四角形）と定義しておく。欠陥画素記憶部１０１には、始点座標(x_左,y_上)、終点座標（x_右,y_下）を記憶させる。
【００５７】
続いて、撮像制御部１０８は、過去のｍ枚の暗時画像に対応して登録されたそれぞれの欠陥画素領域の水平方向の大きさX及び垂直方向の大きさYを比較し、その最大値を検出する。そして、撮像制御部１０８は、欠陥画素領域の水平方向の大きさの最大値Hor_max_mを、温度Tem0及び露光時間Tmと対応付けて欠陥画素記憶部１０１に記憶させる（ステップＳ１０７ａ）。同様に、撮像制御部１０８は、欠陥画素領域の垂直方向の大きさの最大値Ver_max_mを、温度Tem0及び露光時間Tmと対応付けて欠陥画素記憶部１０１に記憶させる（ステップＳ１０７ｂ）。図７（ａ）は、露光時間に対する欠陥画素領域の水平方向の大きさの最大値をプロットしたグラフを示している。また、図７（ｂ）は、露光時間に対する欠陥画素領域の垂直方向の大きさをプロットしたグラフである。図７に示すように、一般に、露光時間が長くなると、水平及び垂直ともに欠陥画素領域の大きさの最大値が大きくなる。
【００５８】
ｍ枚目の暗時画像に対応した欠陥画素領域情報を欠陥画素記憶部１０１に登録した後、撮像制御部１０８は、ｍに１を加える（ステップＳ１０８）。続いて、撮像制御部１０８は、ｍがｎを超えたか否かを判定する（ステップＳ１０９）。ステップＳ１０８において、ｍがｎを超えていないと判定した場合に、撮像制御部１０８は、（ｍ＋１）枚目の暗時画像に対応した欠陥画素領域情報を登録すべく、処理をステップＳ１０４に戻して、遮光状態の撮像素子１０５を露光させて（ｍ＋１）枚目の暗時画像を取得する。
【００５９】
ステップＳ１０８において、ｍがｎを超えたと判定した場合に、撮像制御部１０８は、図６の処理を終了させる。このようにして、温度Tem0における露光時間毎の欠陥画素領域情報が欠陥画素記憶部１０１に登録される。
【００６０】
初期欠陥登録の場合には、図６で示した処理が製品出荷前の調整時に行われる。
一方、後発欠陥登録の場合には、例えばユーザによる操作部１１２の操作に応じて図６の処理が行われるか又は撮像装置の状態に応じて自動的に図６の処理が行われる。
例えば、ユーザの操作部１１２の操作に応じて後発欠陥登録を行う場合、ユーザが必要に応じて後発欠陥登録を行う旨を、操作部１１２を介して撮像制御部１０８に対して指示したときに図６の処理が行われるようにする。この場合、後発欠陥登録の機能を起動することによって、その時点での撮像素子１０５の欠陥領域情報が新たに登録（更新）される。
【００６１】
また、撮像装置が自動的に後発欠陥登録を行う手法としては、例えば定期的（例えば数ヶ月おき）に後発欠陥登録を行うように撮像制御部１０８をプログラムしておくことが考えられる。また、図４で示した画像合成によって欠陥画素補正がされた画像をチェックし、補正残りが発生した場合にはその補正残りの画素を欠陥画素として登録するように後発欠陥登録を行うようにしても良い。補正残りの検出には、暗時画像を用いることができる。具体的には、暗時画像における欠陥画素領域を、図４のステップＳ３１３と同様にして補正する。そして、この補正後の暗時画像に対して欠陥検出を行う。このとき、欠陥画素領域が存在する場合には、補正残りが発生したと判定する。補正残りが発生したと判判定された場合には、例えばユーザが、次に撮像装置の電源を切ろうとした時点で図６に示した処理を行う。定期的に後発欠陥登録をすることや画像合成によって欠陥画素補正がされた画像をチェックし、補正残りが発生した場合にその補正残りの画素を欠陥画素として後発欠陥登録することで、製品出荷後の経年劣化によって新たに生じた欠陥画素領域情報があっても欠陥画素を有効に補正することができる。
【００６２】
ここで、本実施形態では、例として欠陥画素領域情報を欠陥画素記憶部１０１に予め記憶させるようにしている。これに対し、補正画像の取得に先立ってリアルタイムで欠陥画素領域情報を取得するようにしても良い。この場合、変更量決定部１０２は、欠陥画素記憶部１０１以外の例えば撮像装置１００の外部から欠陥画素領域情報を取得するようにしても良い。
【００６３】
次に、温度Tem0の欠陥画素領域の大きさの最大値の情報から、温度Tem0以外の温度における最大欠陥画素領域の大きさを求める方法について図８を参照して説明する。図８（ａ）は、横軸に露光時間、縦軸に欠陥画素領域の水平方向の大きさの最大値をプロットしたグラフである。また、図８（ｂ）は、横軸に露光時間、縦軸に欠陥画素領域の垂直方向の大きさの最大値をプロットしたグラフである。さらに、図８（ａ）及び図８（ｂ）ともに、ばつ印が、図６に示すフローチャートの処理を行うことによって得られた値であるとする。
【００６４】
ここで、温度Tem0、露光時間Tmの欠陥画素領域の水平方向の最大値をHor_max_mとし、垂直方向の大きさの最大値をVer_max_mとする。温度Tem0に対してΔtem×num_tだけ温度が高い温度（Tem0＋Δtem×num_t）において水平及び垂直方向の欠陥画素領域の大きさの最大値Hor_max_m又はVer_max_mをとる露光時間を、以下の（式５）によって算出する。
【００６５】
Hor_max_m,Ver_max_mをとる露光時間＝Tm×2num_t （式５）
ここで、num_tは、整数である。例えば、（式５）においてnum_t＝−１、１を代入すると、図８（ａ）及び図８（ｂ）に示すまる印、三角印の結果を得ることができる。なお、（式５）と異なる算出式に基づいて温度（Tem0＋Δtem×num_t）において水平及び垂直方向の欠陥画素領域の大きさの最大値Hor_max_m又はVer_max_mをとる露光時間を算出するようにしても良い。
【００６６】
また、Δtemは、撮像素子の温度をTem0から（Tem0＋Δtem）に変化させたときに欠陥画素で発生する暗電流の大きさが２倍に変化するように決定する。
【００６７】
以上の処理によって、温度Tem0を基準としてΔtem毎の温度変化に応じた欠陥画素領域の大きさの最大値を欠陥画素記憶部１０１に記憶させることができる。ここで、撮像素子の温度Temが、Tem0＜Tem＜Tem0＋Δtemの条件を満たす場合には、（Tem0＋Δtem）のときの欠陥画素領域の大きさの最大値を参照するようにして最大値を決めれば良い。ただし、この決定方法は一例であり、別の決定方法を用いても良い。
【００６８】
ここで、欠陥画素記憶部１０１には、温度Temにおける露光時間毎の欠陥画素領域情報を記憶させておき、それ以外の温度における露光時間毎の欠陥画素領域情報については例えば図２のステップＳ３の処理中に求めるようにしても良い。
【００６９】
また、図６の例では、露光時間T1、T2、…、Tn（Tn＝最大露光時間）についての欠陥画素領域の大きさの最大値を検出した例を示している。これよりも長い露光時間の最大値については、例えば図９に示すような露光時間T1、T2、…、Tnのときの最大値を用いた線形補間に従って求める。または、露光時間Tnよりも長い露光時間の最大値について、図１０に示すようなステップ状の補間式に従って求めるようにしても良い。これらは一例であり別の手法によって求めるようにしても良い。
【００７０】
また、欠陥画素領域の水平及び垂直方向の大きさが分かれば、欠陥画素領域内の各欠陥画素の座標情報が分かる。したがって、図６のステップＳ１０４で欠陥画素領域の水平及び垂直方向の大きさを検出することにより、撮像素子温度及び露光時間に応じた補正対象画素の座標を特定することも可能である。この撮像素子温度及び露光時間に応じた補正対象画素の座標も欠陥画素記憶部１０１に記憶させるようにしても良い。
＜相対位置の変更量、補正画像の露光時間、補正画像の撮影枚数の決定について＞
この処理において、変更量決定部１０２は、撮影時に設定される設定露光時間T0と撮影時の撮像素子温度Temとから相対位置の変更量を決定する。また、撮像制御部１０８は、設定露光時間T0から、補正画像の露光時間と補正画像の撮影枚数を決定する。
【００７１】
初めに、画像サイズ設定部１１０に設定される画像サイズに応じた相対位置の最大変更量について図１１を用いて説明する。画像サイズ設定部１１０により、画像サイズが設定されることにより、撮像光学系１０４と撮像素子１０５との相対位置の最大変更量が決定される。
【００７２】
前述した補正画像取得、画像合成の際に、撮像光学系１０４と撮像素子１０５との相対位置の変更量を大きくしておけば、相対位置の変更の前後で欠陥画素領域が重複する可能性が低減される。しかしながら、この場合には、相対位置の変更の前後で画像全体の重複領域が狭くなる。実際に記録媒体１１３に記録される合成画像として有効なのは、相対位置の変更前後で重複する領域である。したがって、相対位置の変更の前後での画像全体の重複領域が狭くなると、記録媒体１１３に記録される合成画像の画像サイズが小さくなってしまう。本実施形態では、画像サイズに応じて最大変更量を決定しておくことにより、相対位置の変更に伴う合成画像の画像サイズの縮小を抑える。
【００７３】
図１１の破線枠３０１は、撮像素子１０５によって撮像可能な最大の画像サイズを示している。図１１では、破線枠３０１の水平方向の大きさをXとし、垂直方向の大きさをYとしている。また、図１１の実線枠３０２は、撮影時に画像サイズ設定部１１０によって設定される画像サイズを示している。図１１では、実線枠３０２の水平方向の大きさをxとし、垂直方向の大きさをyとしている。実線枠３０２で示した画像サイズを維持することを考えた場合、水平及び垂直方向の相対位置の最大変更量は、以下の式で決定される。
水平方向の相対位置の最大変更量＝(X−x)/2
垂直方向の相対位置の最大変更量＝(Y−y)/2
図１２は、相対位置の変更量、補正画像の露光時間、撮影枚数を決定する方法を示したフローチャートである。図１２の処理が開始すると、撮像制御部１０８は、設定露光時間T0を取得する（ステップＳ４０１）。また、撮像制御部１０８は、温度検出部１１１から撮像素子温度Temを取得する（ステップＳ４０２）。さらに、撮像制御部１０８は、画像サイズ設定部１１０から画像サイズ(x,y)を取得する（ステップＳ４０３）。
【００７４】
各種の情報の取得後、撮像制御部１０８の露光時間制御部１０９は、撮像素子温度Tem、画像サイズ(x,y)、水平及び垂直方向の欠陥画素領域の大きさの最大値Hor_max_n、Ver_max_nより、最大露光時間T_maxを決定する（ステップＳ４０４）。ここで、最大露光時間は、以下に示すように決定する。
＜水平方向について＞
Hor_max_n＞(X−x)/2 ならば T_maxを、Hor_max_m＝(X−x)/2となる露光時間Tmとする。
Hor_max_n＜(X−x)/2 ならば T_maxを、露光時間Tnとする。
＜垂直方向について＞
Ver_max_n＞(Y−y)/2 ならば T_maxを、Ver_max＝(Y−y)/2となる露光時間Tmとする。
Ver_max_n＜(Y−y)/2 ならば T_maxを、露光時間Tnとする。
露光時間Tnのときの欠陥画素領域の水平方向又は垂直方向の最大値が相対位置の変更量の最大値よりも大きい場合とは、露光時間Tnのときの欠陥画素領域の大きさが、相対位置の最大変更量を超える場合である。この場合には、最大露光時間T_maxをTnとしてしまうと、相対位置の変更前後で欠陥画素領域が重複して補正残りが発生する。このため、露光時間を制限して欠陥画素領域を小さくする。一方、露光時間Tnのときの欠陥画素領域の水平方向及び垂直方向の最大値が相対位置の変更量の最大値よりも小さい場合には、露光時間TnをT_maxとしても補正残りは発生しない。この場合には、補正画像の露光時間を確保するため、露光時間TnをT_maxとする。
【００７５】
最大露光時間T_maxを設定した後、露光時間制御部１０９は、sを初期値０に設定する（ステップＳ４０５）。その後、露光時間制御部１０９は、sに１を加える（ステップＳ４０６）。そして、露光時間制御部１０９は、T0/2sがT_maxを超えているか否かを判定する（ステップＳ４０７）。ステップＳ４０７において、T0/2sがT_maxを超えていないと判定した場合に、露光時間制御部１０９は、処理をステップＳ４０６に戻してsに１を加える。即ち、T0/2sがT_maxを超えたと判定するまで、露光時間制御部１０９は、sに１を加えていく。
【００７６】
ステップＳ４０７において、T0/2sがT_maxを超えたと露光時間制御部１０９が判定した場合、そのときのT0/2sがそれぞれの補正画像の露光時間とする。ここで、最大露光時間T_maxがTnよりも小さい場合には、露光時間T0/2sでｎ枚の補正画像を露光しても露光量が不足する。このため、露光量の不足分を、撮影枚数を増やすことによって補う。このため、露光時間制御部１０９は、撮影枚数を2sに設定する（ステップＳ４０８）。前述したように、露光時間は、必ずしもT0を基準とする必要はないので、ステップＳ４０８においては、露光時間をT/2sと記載している。
【００７７】
その後、変更量決定部１０２は、欠陥画素記憶部１０１から、現在の撮像素子温度Temにおける露光時間T/2sに対応した欠陥画素領域の水平方向及び垂直方向の大きさの最大値Hor_max又はVer_maxを取得する（ステップＳ４０９）。ここで、露光時間T/2sに対応した最大値Hor_max又はVer_maxが欠陥画素記憶部１０１に記憶されていない場合には、図９や図１０で示したようにして最大値を求める。続いて、変更量決定部１０２は、ステップＳ４０９で取得した最大値Hor_max又はVer_maxから、撮像光学系１０４と撮像素子１０５との水平方向及び垂直方向の相対位置の変更量候補Δx0、Δy0をそれぞれ決定する（ステップＳ４１０）。水平方向及び垂直方向の相対位置の変更量候補Δx0、Δy0は、それぞれ以下のように決定される。
水平方向の相対位置の変更量候補Δx0＝Hor_max
垂直方向の相対位置の変更量候補Δy0＝Ver_max
水平方向及び垂直方向の相対位置の変更量候補Δx0、Δy0を決定した後、変更量決定部１０２は、最終的な相対位置の変更量Δx、Δyを決定する（ステップＳ４１１）。水平方向及び垂直方向の相対位置の変更量Δx、Δyは、それぞれ以下のように決定される。
Δx0＞Δy0ならば(Δx,Δy)＝(0,Δy0)
Δx0＜Δy0ならば(Δx,Δy)＝(Δx0,0)
ただし、変更量は、上記の条件に限定されず、相対位置の変更前後で補正画像の欠陥画素が重複しないように決定すれば良い。上記の相対位置の変更量候補から決定される変更量の組合せとしては図１３に示す黒点の８箇所が考えられる。この他、図１３に示す８箇所の黒点を結ぶ破線上の変更量としても良い。この場合、相対位置の変更量は、相対位置の変更前後で補正画像の欠陥画素が重複しない範囲で可能な限り小さくすることが望ましい。これにより、相対位置の変更に必要な時間を短縮することが可能である。
【００７８】
以上説明したように、本実施形態においては、欠陥画素領域の大きさが撮像素子温度及び露光時間といった撮影条件に依存して変化することを考慮して、撮影条件毎の欠陥画素領域を示す情報である欠陥画素領域情報を取得している。これにより、撮影条件に応じた適切な相対位置の変更量で撮像光学系１０４と撮像素子１０５の相対位置を変更して欠陥画素領域の出力を有効に補正することが可能である。
【００７９】
また、撮像素子温度及び設定露光時間に応じた欠陥画素領域の大きさの最大値を欠陥画素記憶部１０１から取得し、この最大値と画像サイズ設定部１１０によって設定された画像サイズとを比較して、補正画像を取得する際の相対位置の変更量、露光時間、撮影枚数を決定している。これにより、欠陥画素領域の出力を有効に補正しつつ、さらにユーザが所望する画像サイズの合成画像を得ることが可能である。
【００８０】
以下、本実施形態の変形例について説明する。
［変形例１］
前述した実施形態では、相対位置を第１の相対位置と第２の相対位置との間で変化させて補正画像を取得するようにしている。実際には、相対位置の数は、２以上の整数値であれば良い。例えば、図１４は、相対位置の数を４つとした場合の画像合成の概念図である。図１４においてハッチングを施した箇所は、欠陥画素領域２１０である。また、図１４において破線枠で示した箇所は、補正対象画素２１２が存在している領域を示している。さらに、図１４に示す領域２１３は、補正対象画素２１２を補正するために用いられる推定画素の領域である。
【００８１】
図１４に示す補正画像２１１を第１の相対位置で取得された補正画像とし、補正画像２１４を第２の相対位置で取得された補正画像とし、補正画像２１５を第３の相対位置で取得された補正画像とし、補正画像２１６を第４の相対位置で取得された補正画像とする。第２の相対位置は、第１の相対位置に対してΔxだけ水平方向にずらした位置である。また、第４の相対位置は、第１の相対位置に対してΔyだけ垂直方向にずらした位置である。本変形例においては、変更量（Δx,Δy）を、変更量決定部１０２にて決定する。
【００８２】
図１５は、相対位置の数をｎ（ｎは２以上の整数値）とした場合の画像取得、画像合成の処理を示したフローチャートである。ここで、図４と重複する部分については説明を省略する。
【００８３】
補正画像の取得開始時点では、補正画像の撮影枚数と補正画像の露光時間とが決定されている。以下の説明においては、補正画像の撮影枚数をn×s（以下、nsと記す）とし、補正画像の露光時間をT/nsとする。Tは、所定の露光時間である。また、sは、時分割撮影枚数である。本変形例では、相対位置の数をｎとしているので、最終的な撮影枚数がnsとなる。
【００８４】
図１５において、撮像制御部１０８は、相対位置の変更繰返回数uを初期値１に、現在の相対位置を示す値ｍを初期値１に設定する（ステップＳ６０１）。
続いて、撮像制御部１０８は、露光時間をT/nsとして撮像素子１０５の露光動作を制御する。これにより、補正画像B_u,mを取得する（ステップＳ６０２）。補正画像B_u,mは、画像記憶部１０６に記憶される。
【００８５】
補正画像B_u,mが取得された後、画像合成部１０７は、画像合成により、欠陥画素領域の出力値を補正する（ステップＳ６０３）。欠陥画素領域の出力値を補正するための画像合成は、以下の（式６）に従って行う。
B(x+Δxm,y+Δym)＝B(x+Δxm,y+Δym)＋B_u,m(x,y)×n/(n-1) （式６）
ここで、Δxm、Δymは、それぞれ第ｍ番目の相対位置の変更量である。例えば、ｎが4の場合、Δxm、Δymは、図１３に示す８箇所の黒点のうちの何れか４個の相対位置の変更量に対応している。また、B(x+Δxm,y+Δym)は、uが１（１回目の画像合成時）の場合には、０であるとする。
【００８６】
続いて、画像合成部１０７は、欠陥画素領域以外の画像合成を行う（ステップＳ６０４）。欠陥画素領域以外の画像合成は、以下の（式７）に従って行う。
B(X+Δxm,Y+Δym)＝B(X+Δxm,Y+Δym)＋B_u,m(X,Y) （式７）
ここで、B(X+Δxm,Y+Δym)は、uが１（１回目の画像合成時）の場合には、０であるとする。
【００８７】
以上のステップＳ６０２〜Ｓ６０４の処理によって、１つの補正画像B_u,mに関しての画像取得と画像合成が終了する。これを受けて、撮像制御部１０８は、ｍに１を加える（ステップＳ６０５）。そして、撮像制御部１０８は、ｍがｎを超えたか否かを判定する（ステップＳ６０６）。ステップＳ６０６において、ｍがｎを超えていないと判定した場合には、処理がステップＳ６０７に移行する。このとき、相対位置変更部１０３は、撮像光学系１０４と撮像素子１０５との相対位置を第ｍの相対位置（Δxm,Δyｍ）に変更する（ステップＳ６０７）。その後、処理がステップＳ６０２に戻り、撮像制御部１０８は、次の相対位置での補正画像B_u,mを取得する。このように、ｍがｎを超えるまでは、相対位置が変更されつつ、画像合成が繰り返される。
【００８８】
ステップＳ６０６において、ｍがｎを超えたと判定した場合に、撮像制御部１０８は、ｕに１を加える（ステップＳ６０９）。そして、撮像制御部１０８は、uがsを超えたか否かを判定する（ステップＳ６１０）。ステップＳ６１０において、uがsを超えていないと撮像制御部１０８が判定した場合には、まだ、撮影すべき補正画像が残っている。この場合には、処理がステップＳ６０８に移行する。このとき、相対位置変更部１０３は、撮像光学系１０４と撮像素子１０５との相対位置を第１の相対位置（Δx1,Δy1）に変更する（ステップＳ６０８）。その後、処理がステップＳ６０２に戻り、撮像制御部１０８は、次の相対位置での補正画像B_u,mを取得する。
【００８９】
ステップＳ６１０の判定において、uがs以上であると撮像制御部１０８が判定した場合、露光時間Tの合成画像が取得される。これ以後のステップＳ６１１〜ステップＳ６１５の処理は、図４と同様である。
【００９０】
［変形例２］
前述した補正画像取得、画像合成の処理は、露光時間Tが比較的長い場合を想定している。これに対し、露光時間Tが短い場合には、図４に示した補正画像取得、画像合成の処理を図１６の処理に置き換えることができる。ここで、図４と重複する部分については説明を省略する。
【００９１】
図１６において、撮像制御部１０８は、露光時間を設定露光時間Tとして撮像素子１０５の露光動作を制御する。これにより、補正画像B_1を取得する（ステップＳ５０１）。補正画像B_1は、画像記憶部１０６に記憶される。
【００９２】
補正画像B_1が取得された後、相対位置変更部１０３は、撮像光学系１０４と撮像素子１０５との相対位置を変更量(Δx,Δy)だけ変更する（ステップＳ５０２）。続いて、撮像制御部１０８は、露光時間をステップＳ５０１と同じTとして撮像素子１０５の動作を制御する。これにより、補正画像B_2を取得する（ステップＳ５０３）。補正画像B_2は、画像記憶部１０６に記憶される。
【００９３】
２枚の補正画像が取得された後、画像合成部１０７は、画像合成により、欠陥画素領域の出力値を補正する（ステップＳ５０４）。これ以後の処理は図４と同様である。なお、ステップＳ５０４における欠陥画素領域の出力値を補正するための画像合成は、以下の（式８）に従って行う。
B_1(x,y)＝B_2(x-Δx,y-Δy)×2 （式８）
ここで、（式８）は、暗時画像における欠陥画素領域の出力補正と同様の補正を行っていることを示している。露光時間が短い場合には、（式８）のように補正を行っても欠陥画素領域の出力を良好に補正することが可能である。
【００９４】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【００９５】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００９６】
１００…撮像装置、１０１…欠陥画素記憶部、１０２…変更量決定部、１０３…相対位置変更部、１０４…撮像光学系、１０５…撮像素子、１０６…画像記憶部、１０７…画像合成部、１０８…撮像制御部、１０９…露光時間制御部、１１０…画像サイズ設定部、１１１…温度検出部、１１２…操作部、１１３…記録媒体
２００…欠陥画素領域
【特許請求の範囲】
【請求項１】
被写体を撮像して画像を取得する撮像素子と、
前記被写体の像を前記撮像素子に結像させる撮像光学系と、
前記撮像光学系と前記撮像素子との相対位置を変更する相対位置変更部と、
前記撮像素子の画素のうち連続して複数の欠陥が発生している欠陥画素領域を示す欠陥画素領域情報を、前記撮像素子の撮影条件に応じて取得し、前記相対位置の変更量を、前記相対位置の変更前と変更後において前記欠陥画素領域の重複を避ける変更量に決定する変更量決定部と、
前記相対位置の変更前と変更後で得られた複数の画像を合成して合成画像を得る画像合成部と、
を具備することを特徴とする撮像装置。
【請求項２】
前記画像合成部で得られる合成画像の画像サイズを設定する画像サイズ設定部をさらに具備し、
前記変更量決定部は、前記設定された画像サイズと前記撮像素子で取得可能な最大の画像サイズとの差分から、前記相対位置の変更量の最大値を決定し、該決定した最大値の範囲内で前記相対位置の変更量を決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記相対位置の変更量が前記最大値とした場合において前記欠陥画素領域が重複する場合に、前記撮像素子の露光時間を短くし且つ前記撮像素子の露光回数を多くする露光時間制御部をさらに具備することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮影条件は、前記前記撮像素子の露光時間を含み、
前記変更量決定部は、前記露光時間に応じた欠陥画素領域情報を取得することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記撮像素子の温度を検出する温度検出部をさらに具備し、
前記撮影条件は、前記温度検出部で検出された前記撮像素子の温度を含み、
前記変更量決定部は、前記撮像素子の温度に応じた欠陥画素領域情報を取得することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記変更量決定部は、前記欠陥画素領域の重複を避ける範囲で最も小さい相対位置の変更量を相対位置の変更量とすることを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記撮影条件に応じた欠陥画素領域情報を記憶する欠陥画素記憶部をさらに具備し、
前記変更量決定部は、前記欠陥画素記憶部から前記欠陥画素領域情報を取得することを特徴とする請求項１乃至６の何れか１項に記載の撮像装置。
【請求項８】
前記欠陥画素記憶部は、記憶された前記欠陥画素情報を定期的に更新することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記欠陥画素記憶部は、記憶された前記欠陥画素情報を前記合成画像に欠陥画素領域が存在するときに更新することを特徴とする請求項７に記載の撮像装置。
【請求項１０】
撮像光学系により撮像素子に結像された被写体像を撮像して画像を取得し、
前記撮像素子の連続して複数の画素に欠陥が発生している欠陥画素領域を示す欠陥画素領域情報を、前記撮像素子の撮影条件に応じて取得し、
前記撮像光学系と前記撮像素子との相対位置を、該相対位置の変更前と変更後において前記欠陥画素領域の重複を避けて前記相対位置の変更量を決定し、
前記相対位置の変更量に従って前記相対位置を変更し、
前記相対位置の変更前と変更後で得られた複数の画像を合成して合成画像を得る、
ことを特徴とする欠陥画素補正方法。
【請求項１】
被写体を撮像して画像を取得する撮像素子と、
前記被写体の像を前記撮像素子に結像させる撮像光学系と、
前記撮像光学系と前記撮像素子との相対位置を変更する相対位置変更部と、
前記撮像素子の画素のうち連続して複数の欠陥が発生している欠陥画素領域を示す欠陥画素領域情報を、前記撮像素子の撮影条件に応じて取得し、前記相対位置の変更量を、前記相対位置の変更前と変更後において前記欠陥画素領域の重複を避ける変更量に決定する変更量決定部と、
前記相対位置の変更前と変更後で得られた複数の画像を合成して合成画像を得る画像合成部と、
を具備することを特徴とする撮像装置。
【請求項２】
前記画像合成部で得られる合成画像の画像サイズを設定する画像サイズ設定部をさらに具備し、
前記変更量決定部は、前記設定された画像サイズと前記撮像素子で取得可能な最大の画像サイズとの差分から、前記相対位置の変更量の最大値を決定し、該決定した最大値の範囲内で前記相対位置の変更量を決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記相対位置の変更量が前記最大値とした場合において前記欠陥画素領域が重複する場合に、前記撮像素子の露光時間を短くし且つ前記撮像素子の露光回数を多くする露光時間制御部をさらに具備することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮影条件は、前記前記撮像素子の露光時間を含み、
前記変更量決定部は、前記露光時間に応じた欠陥画素領域情報を取得することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記撮像素子の温度を検出する温度検出部をさらに具備し、
前記撮影条件は、前記温度検出部で検出された前記撮像素子の温度を含み、
前記変更量決定部は、前記撮像素子の温度に応じた欠陥画素領域情報を取得することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記変更量決定部は、前記欠陥画素領域の重複を避ける範囲で最も小さい相対位置の変更量を相対位置の変更量とすることを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記撮影条件に応じた欠陥画素領域情報を記憶する欠陥画素記憶部をさらに具備し、
前記変更量決定部は、前記欠陥画素記憶部から前記欠陥画素領域情報を取得することを特徴とする請求項１乃至６の何れか１項に記載の撮像装置。
【請求項８】
前記欠陥画素記憶部は、記憶された前記欠陥画素情報を定期的に更新することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記欠陥画素記憶部は、記憶された前記欠陥画素情報を前記合成画像に欠陥画素領域が存在するときに更新することを特徴とする請求項７に記載の撮像装置。
【請求項１０】
撮像光学系により撮像素子に結像された被写体像を撮像して画像を取得し、
前記撮像素子の連続して複数の画素に欠陥が発生している欠陥画素領域を示す欠陥画素領域情報を、前記撮像素子の撮影条件に応じて取得し、
前記撮像光学系と前記撮像素子との相対位置を、該相対位置の変更前と変更後において前記欠陥画素領域の重複を避けて前記相対位置の変更量を決定し、
前記相対位置の変更量に従って前記相対位置を変更し、
前記相対位置の変更前と変更後で得られた複数の画像を合成して合成画像を得る、
ことを特徴とする欠陥画素補正方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−１１５７１８（Ｐ２０１３−１１５７１８Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６２０２３（Ｐ２０１１−２６２０２３）
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]