撮像装置、画像生成方法、赤外線カメラシステム及び交換可能なレンズシステム
【課題】画素間の出力レベルのばらつきに関係なく、高精度の輝度階調の画像を生成する。
【解決手段】本発明は、受光面１１上で像位置を移動させる像シフト手段２２を備え、像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出する差分算出部１３１と、像位置の移動方向に配列された画素列について、各画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出する積算レベル算出部１３２と、各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する画像生成部１３３とを有する。
【解決手段】本発明は、受光面１１上で像位置を移動させる像シフト手段２２を備え、像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出する差分算出部１３１と、像位置の移動方向に配列された画素列について、各画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出する積算レベル算出部１３２と、各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する画像生成部１３３とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、より詳細には、画素間の出力レベルのばらつきに関係なく、高精度の輝度階調の画像を生成することができる撮像装置、画像生成方法、赤外線カメラシステム及び交換可能なレンズシステムに関する。
【背景技術】
【０００２】
従来の撮像装置の例が下記の特許文献１〜３に記載されている。これら特許文献１〜３に記載の赤外線撮像装置では、補正用シャッターを閉じることによって基準画像を取得し、この基準画像撮像時の画素間の出力レベルのばらつきを求めて、これを補正していた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３１０８０４号公報
【特許文献２】特開２００８−１１１７５４号公報
【特許文献３】特開２００８−２０３０５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、撮像装置の受光面の各画素を構成する撮像素子が輝度階調の高い検出精度を有するものであっても、画素間の出力レベルのばらつきに由来する画像のノイズが、目的とする被写体の輝度差による出力レベル差よりも大きい場合がある。かかる場合、画素間の出力レベルのばらつきよりも小さな輝度差を検出することは困難である。その結果、撮像装置の撮像した画像の輝度階調の精度が、個々の撮像素子の輝度階調の検出精度よりも低下してしまうことになる。
【０００５】
一方、上記の従来技術のように、画素間の出力レベルのばらつき補正のために補正用シャッターを閉じると、種々の問題が生じる。例えば、撮像装置は、補正用シャッターを閉じている間、被写体を撮像することができない。このため、これら従来の撮像装置を防犯カメラ等の監視カメラとして使用した場合、たとえ短時間であっても補正用シャッターを閉じている間に発生した事象を監視することができないという問題が生じる。また、従来の撮像装置は、補正用シャッターを閉じている間、新たに撮像した動画フレームを出力することができないため、動画が途切れてしまうという問題が生じる。
【０００６】
そこで、本発明は、画素間の出力レベルのばらつきに関係なく、高精度の輝度階調の画像を生成することができる撮像装置、画像生成方法、赤外線カメラシステム及び交換可能なレンズシステムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
前記の目的を達成するため、本発明の撮像装置によれば、受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面を有する撮像手段と、
前記受光面に被写体の像を結像させることができる光学系と、前記受光面上で像位置を移動させる像シフト手段と、前記撮像手段が撮像した画像を処理する画像処理手段と、
を備え、前記撮像手段は、前記像シフト手段による像位置の移動前後に、前記受光面上の像をそれぞれ撮像し、前記画像処理手段は、像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出する差分算出部と、像位置の移動方向に配列された画素列について、画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出する積算レベル算出部と、前記各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する画像生成部と、を有する、ことを特徴としている。
【０００８】
本発明の撮像装置では、受光面に対して像位置を移動させる前後で撮像する。その結果、同一の画素が、像位置の移動方向に沿って隣接する２画素分の像部分を受光する。この同一画素の移動前後の出力レベルどうしの差分は、隣接する２画素がそれぞれ受光する像部分の輝度差に相当する。この同一画素の出力レベルどうしの差分はまた、画素間の出力レベルのばらつきには関係しない。このため、隣接する２画素間の像部分の輝度差が、画素間の出力レベルのばらつきとは関係なく、同一画素の出力レベルどうしの差分として算出される。したがって、画素間の出力レベルのばらつきに起因する画像のノイズを低減することができ、このノイズよりも小さい出力レベル差に相当する被写体の微小な輝度差まで検出することができる。
【０００９】
さらに、画素間の出力レベルのばらつきと関係なく算出された差分を積算することにより、画素間の出力レベルのばらつきと関係なく、各画素の積算レベルが算出される。各画素の積算レベルは、実質的に各画素の出力レベルに相当する。したがって、各画素の実際の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成することによって、画素間の出力レベルのばらつきに関係なく、高精度の輝度階調の画像を生成することができる。
【００１０】
また、本発明において好ましくは、前記画像処理手段は、前記受光面の少なくとも一部分の領域の各画素の出力レベルの平均値と前記各画素の積算レベルの平均値とが等しくなるように、前記各画素の積算レベルを補正する補正部を更に有する。
【００１１】
各画素の出力レベルどうしの差分には、誤差が含まれる。このため、各画素の積算レベルには、差分の積算された誤差が含まれる。そこで、実際の出力レベルの平均値と、積層レベルの平均値を一致させるように補正することによって、各画素の積算レベルに含まれる誤差の解消を図ることができる。
【００１２】
また、本発明において好ましくは、前記像シフト手段は、像位置の移動の後、再び像位置の移動前の位置へ像位置を戻し、前記撮像手段は、像位置を戻した後に、再度受光面上の像を撮像し、前記画像処理手段は、同一画素について、像位置の移動前と像位置を戻した後との出力レベルの変動量を算出し、前記積算レベル算出部は、所定の基準値以上の変動量を有する画素の差分を除外して積算レベルを算出する。
【００１３】
被写体が動いた場合、算出された画素の出力レベルの差分は、画素自体の出力特性のばらつきに基づく出力レベルの差を正確には反映しないことがある。したがって、被写体の動いた部分に対応する像部分を受光した画素の差分は、積算レベルの算出から除外されることが望ましい。そこで、像位置の移動前と像位置を戻した後との出力レベルの変動量が大きい像部分を、被写体が動いた部分として除外する。これにより、積算レベルが不正確になることの防止を図ることができる。
【００１４】
また、本発明において好ましくは、前記撮像手段は、画素が２次元のマトリクス状に配列された受光面を有し、前記像シフト手段は、前記受光面の画素の第１の配列方向と、前記第１の配列方向に直交する第２の配列方向にそれぞれ像位置を移動させ、前記差分算出部は、前記第１の配列方向への像位置の移動の前後の撮像時の同一画素の出力レベルどうしの第１の差分を算出し、かつ、前記第２の配列方向への像位置の移動の前後の撮像時の同一画素の出力レベルどうしの第２の差分を算出し、前記積算レベル算出部は、前記第１の配列方向に配列された第１の画素列について、各画素の出力レベルの第１の差分を順次に積算して、各画素の第１の積算レベルを算出し、かつ、前記第２の配列方向に配列された第２の画素列について、各画素の出力レベルの第２の差分を順次に積算して、各画素の第２の積算レベルを算出し、前記画像生成部は、各画素の前記第１及び第２の積算レベルに基づいて画像を生成する。
【００１５】
このように、第１及び第２の配列方向についてそれぞれ算出された第１及び第２の積算レベルに基づいて、画像を生成するので、積算レベルの誤差の低減を図ることができる。
なお、第１及び第２の配列方向にそれぞれ像位置を移動するにあたっては、移動前の像位置から移動後の像位置へ移動経路は問わない。例えば、移動前の位置から、一旦、第三の位置へ移動し、次いで、移動後の位置へ移動するようにしてもよい。
【００１６】
また、本発明において好ましくは、前記像シフト手段は、前記受光面上の像の任意の点の軌跡が前記受光面上で円軌道を描くように、前記像位置を並進移動させ、前記撮像手段は、前記像の任意の点が前記円軌道上の所定部分を移動する前後に、前記受光面上の像をそれぞれ撮像し、前記差分算出部は、前記像の任意の点が前記円軌道上の所定部分を移動する前後の撮像時の同一画素の出力レベルどうしの差分を算出し、積算レベル算出部は、前記像の任意の点が前記円軌道上の所定部分を移動する前後それぞれの撮像時の前記像の任意の点の位置を結ぶ直線方向を像位置の移動方向として、積算レベルを算出する。
【００１７】
このように、軌跡が円軌道を描くように像位置を移動させることによって、像位置を連続的に移動させることができる。その結果、像位置の位置精度の位置が容易となる。
【００１８】
また、本発明において好ましくは、前記像シフト手段は、前記受光面上の像の任意の点が継続的に等速円運動を行うように、前記像位置を移動させる。
【００１９】
このように、継続的に等速運動を行うように像位置を移動させることによって、像位置を安定的に移動させることができる。また、像位置の円運動の１周期ごとに、容易に補正を行うことができる。
【００２０】
また、本発明において好ましくは、前記撮像手段及び前記画像処理手段は撮像装置本体を構成し、前記光学系及び前記像シフト手段は、前記撮像装置本体から着脱自在なレンズユニットを構成し、前記撮像装置本体は、前記受光面の画素間隔を含むデータを前記レンズユニットへ出力し、前記像シフト手段は、前記データに基づいて像位置を移動させる。
【００２１】
受光面の画素間隔は、通常、撮像装置本体の種類によって異なる。交換レンズのようなレンズユニットに組み込まれた像シフト手段は、撮像装置本体から送られてきた画素間隔を含むデータに基づいて、像位置の移動量を撮像装置本体の受光面の画素間隔に適合させることができる。
【００２２】
また、本発明において好ましくは、前記撮像手段は、受光面上の像を撮像するタイミングに同期した同期信号を出力し、前記像シフト手段は、前記同期信号に基づいて像位置を移動させる。
これにより、像位置の移動と撮像のタイミングを合わせて、正確な補正の実現を図ることができる。
【００２３】
また、本発明において好ましくは、前記像シフト手段は、像位置を移動させるタイミングに同期した同期信号を出力し、前記撮像手段は、前記同期信号に基づいて受光面上の像を撮像する。
これにより、像位置の移動と撮像のタイミングを合わせて、正確な補正の実現を図ることができる。
【００２４】
また、本発明において好ましくは、前記撮像素子はボロメータあるいはマイクロボロメータである。
撮像素子をボロメータあるいはマイクロボロメータで構成することにより、本発明の撮像装置を、赤外線画像を撮像可能なものとすることができる。
【００２５】
また、本発明の画像生成方法は、受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面を有する撮像手段と、前記受光面に被写体の像を結像させることができる光学系とを備えた撮像装置の画像生成方法であって、前記受光面上で像位置を移動させ、像位置の移動前後に、前記受光面上の像をそれぞれ撮像し、像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出し、像位置の移動方向に配列された画素列について、各画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出し、各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する。
【００２６】
本発明の画像生成方法によれば、本発明の撮像装置について上述したように、画素間の出力レベルのばらつきに関係なく、高精度の輝度階調の画像を生成することができる。
【００２７】
また、本発明の赤外線カメラシステムは、赤外線の受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面を有する撮像手段と、前記受光面に被写体の像を結像させることができる光学系と、前記受光面上で像位置を移動させる像シフト手段と、前記撮像手段が撮像した画像を処理する画像処理手段と、を備え、前記撮像手段は、前記像シフト手段による像位置の移動前後に、前記受光面上の像をそれぞれ撮像し、前記画像処理手段は、像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出する差分算出部と、像位置の移動方向に配列された画素列について、各画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出する積算レベル算出部と、前記各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する画像生成部とを有する、ことを特徴としている。
これにより、画素間の出力レベルのばらつきに関係なく、高精度の輝度階調の赤外線画像を生成することができる。
【００２８】
また、本発明の交換可能なレンズシステムは、撮像装置本体と、前記撮像装置本体に着脱自在なレンズユニットとを備える交換可能なレンズシステムであって、前記撮像装置本体は、受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面を有する撮像手段と、前記撮像手段が撮像した画像を処理する画像処理手段と、を備え、前記レンズユニットは、受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面を有する撮像手段と、前記受光面に被写体の像を結像させることができる光学系と、前記受光面上で像位置を移動させる像シフト手段と、を備え、前記撮像手段は、前記像シフト手段による像位置の移動の前後に、前記受光面上の像をそれぞれ撮像し、前記画像処理手段は、像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出する差分算出部と、像位置の移動方向に配列された画素列について、各画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出する積算レベル算出部と、前記各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する画像生成部とを有する、ことを特徴としている。
これにより、交換可能なレンズシステムにおいて、画素間の出力レベルのばらつきに関係なく、高精度の輝度階調の画像を生成することができる。
【発明の効果】
【００２９】
このように、本発明の撮像装置、画像生成方法、赤外線カメラシステム及び交換可能なレンズシステムによれば、画素間の出力レベルのばらつきに関係なく、高精度の輝度階調の画像を生成することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施形態の撮像装置の構成を説明するブロック図である。
【図２】本発明の実施形態の撮像装置の第１動作例を説明するフローチャートである。
【図３】（ａ）は、像位置の移動前後の受光面と像との位置関係を示す図である。
【図４】（ａ）は、像位置を１画素ピッチ分移動させる前後の画素列上の画素と像の受光部分との関係を示す図であり、（ｂ）は、画素列上の差分を示す図であり、（ｃ）は、画素列上の積算レベルを示す図である。
【図５】画素列上の画素の積算レベルを示す図である。
【図６】本発明の実施形態の撮像装置の第２動作例を説明するフローチャートである。
【図７】像位置の移動前、移動後、及び、像位置を戻した後の画面と像との位置関係を示す図である。
【図８】本発明の実施形態の撮像装置の第３動作例を説明するフローチャートである。
【図９】受光面上の画素の配列と、像位置の移動方向との関係を示す図である。
【図１０】カメラ本体１０とレンズユニット２０との間のデータ伝送の説明図である。
【図１１】カメラ本体１０とレンズユニット２０との間のデータ伝送の説明図である。
【図１２】（ａ）及び（ｂ）は、本発明の実施形態の撮像装置の第４動作例において、像を受光面上で等速円運動させた場合の軌跡を示す図である。
【図１３】（ａ）及び（ｂ）は、同期信号と露光時間との関係を示すタイミングチャートである。
【図１４】同期信号と像位置との関係を示すタイミングチャートである。
【発明を実施するための最良の形態】
【００３１】
以下、添付の図面を参照して、本発明の撮像装置及び画像生成方法の実施形態を説明する。まず、図１のブロック図を参照して、実施形態の撮像装置の構成を説明する。図１に示す撮像装置１は、カメラ本体１０と、レンズユニット２０とから構成されている。レンズユニット２０は、カメラ本体１０に着脱自在な交換レンズとすることもできる。
【００３２】
カメラ本体１０は、受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面１１を有する撮像手段１２と、撮像手段１２が撮像した画像を処理する画像処理手段１３とを備えている。撮像手段１２の受光面は、赤外線を検出するボロメータアレイ又はマイクロボロメータアレイで構成してもよいし、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサのような固体撮像素子アレイで構成してもよい。
【００３３】
レンズユニット２０は、受光面１１に被写体の像を結像させることができる光学系２１と、受光面１１上で像位置を移動させる像シフト手段２２とを備えている。像シフト手段２２は、像ぶれ防止機構で構成することができる。図１に示す例では、像シフト手段２２は、光学系２１を構成する１つのレンズ２２ａを光学系２１の光軸Ｏに直交する方向に並進移動させることによって、受光面１１に対して相対的に像位置を移動させる。
なお、被写体には、撮像視野内の全画像が含まれる。
【００３４】
なお、像シフト手段２２は、光学系２１全体を、光軸Ｏに直交する方向に並進移動させる構成としてもよいし、受光面１１を、光軸Ｏに直交する平面内で並進移動させる構成としてもよい。
【００３５】
カメラ本体１０の撮像手段１２は、像シフト手段２２による像位置の移動の前後に、受光面１１上の像をそれぞれ撮像する。撮像手段１２が撮像した画像は、画像処理手段１３で処理される。
【００３６】
画像処理手段１３は、差分算出部１３１、積算レベル算出部１３２及び画像生成部１３３を含む。差分算出部１３１は、像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出する。積算レベル算出部１３２は、像位置の移動方向に配列された画素列について、各画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出する。そして、画像生成部１３３は、各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する。
【００３７】
（第１動作例）
図２のフローチャートを参照して、本実施形態の撮像装置１の第１動作例を説明する。
まず、像シフト手段２２による像位置の移動前に、撮像手段１２が受光面１１上の像を撮像する（Ｓ２０１）。ここで、図３の上段に、像移動前の受光面１１上の像の例を示す。図３に示す受光面は、２次元のマトリクス状に配列された画素によって構成されている。図３に、受光面１１上に結像した像の濃淡境界線を「Ａ」で示す。
【００３８】
次いで、像移動前に撮像した像の各画素の出力レベルを第１画像メモリに保存する（Ｓ２０２）。第１画像メモリは、カメラ本体１０に設けられている。
【００３９】
次いで、像シフト手段２２は、像位置を、画素の配列方向に受光面１１の画素間隔（１画素ピッチ）の距離だけ移動させる（Ｓ２０３）。図３の下段に、像移動後の受光面１１上の像の例を示す。図３では、像に対して、光軸Ｏに直交する受光面１１を右方向に１画素ピッチだけ相対的に移動させた様子を示す。この移動は、受光面１１に対して、像位置を左方向に１画素ピッチだけ移動させたものに相当する。
【００４０】
次いで、像シフト手段２２による像位置の移動後に、撮像手段１２が受光面１１上の像を撮像する（Ｓ２０４）。図３の上段と下段を比較すると、受光面１１の画素Ｐ４は、移動前には濃淡境界線Ａの左側に位置し、移動後には濃淡境界線Ａ上に位置している。同様に、受光面の全面で、像位置の移動後の各画素が、移動前にそれぞれの右隣の画素が受光していた像を受光する。
【００４１】
次いで、像移動後に撮像した像の各画素の出力レベルを第２画像メモリに保存する。第２画像メモリは、カメラ本体１０に設けられている（Ｓ２０５）。
【００４２】
次いで、画像処理部１３の差分算出部１３１が、像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出する。例えば、第１画素メモリに記憶された像移動前の画素Ｐ４の出力レベルと、第２画素メモリに記憶された像移動後の画素Ｐ４の出力レベルとの差分を算出する（Ｓ２０６）。同様にして、各画素における差分を算出する。
なお、各画素の出力レベルの差分は、像移動後の出力レベルから像移動前の出力レベルを減算して算出してもよいし、像移動前の出力レベルから像移動後の出力レベルを減算して算出してもよい。
【００４３】
同一画素の移動前後の出力レベルどうしの差分は、隣接する２画素がそれぞれ受光する像部分の輝度差に相当する。この同一画素の出力レベルどうしの差分はまた、画素間の出力レベルのばらつきには関係しない。このため、隣接する２画素間の像部分の輝度差が、画素間の出力レベルのばらつきとは関係なく、同一画素の出力レベルどうしの差分として算出される。したがって、画素間の出力レベルのばらつきに起因する画像のノイズを低減することができ、このノイズよりも小さい出力レベル差に相当する被写体の微小な輝度差まで検出することができる。
【００４４】
図４を参照して、同一画素の像移動前後の出力レベルの差分の算出についてより詳細に説明する。図４（ａ）は、受光面１１の一つの画素列Ｌを模式的に示す。この画素列Ｌは、左から右へ向かって順次に配列した第１画素〜第ｎ画素によって構成されている。図４（ａ）の上段は、画素列Ｌの各画素が、像位置の移動前に受光した像の部分を模式的に示す。図４（ａ）の上段に示すように、画素列Ｌの第２画素は「○」の像部分を受光し、第３画素は「△」の像部分を受光し、第４画素は「□」の像部分を受光し、同様に、第ｎ画素は「◎」の像部分を受光し、第（ｎ＋１）画素は「▽」の像部分を受光している。
【００４５】
また、図４（ａ）の下段は、像位置を画素列Ｌの画素の配列方向に沿って左側へ１画素ピッチだけ移動させた後に、画素列Ｌの各画素が受光した像の部分を示す。図４（ａ）の下段に示すように、画素列Ｌの第１画素が「○」の像部分を受光し、第２画素が「△」の像部分を受光し、第３画素が「□」の像部分を受光し、同様に、第（ｎ−１）画素が「◎」の像部分を受光し、第ｎ画素が「▽」の像部分を受光している。
【００４６】
次いで、像位置の移動方向に配列された画素列について、各画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出する（Ｓ２０７）。
このように、第２画素は、像移動前に「○」の像部分を受光し、像移後に「△」の像部分を受光する。図４（ｂ）に示す、第２画素の移動前後の出力レベルの差分Δ２は、「○」の像部分と「△」の像部分との輝度差に相当する。また、第３画素は、移動前に「△」の像部分を受光し、移動後に「□」の像部分を受光する。第３画素の移動前後の出力レベルの差分Δ３は、「△」の像部分と「□」の像部分との輝度差に相当する。同様に、第ｎ画素は、移動前に「◎」の像部分を受光し、移動後に「▽」の像部分を受光する。第ｎ画素の移動前後の出力レベルの差分Δｎは、「◎」の像部分と「▽」の像部分との輝度差に相当する。このように、同一画素によって、画素列Ｌ上で隣接する２つの画素の位置に相当する像部分どうしの間の輝度差が検出される。
【００４７】
ここでは、像移動後の画素の出力レベルから移動前の同一画素の出力レベルを減算したものを差分とする。その場合、像位置の移動方向に沿って配列された画素列について、像位置に対する受光面の移動方向（図４（ａ）では右方向）に向かって、即ち、受光面に対する像位置の移動方向（図４（ａ）では左方向）の方向に向かって（図４（ａ）では、左から右へ）、差分を順次に積算する。そして、画素列中の個々の画素のシフト量を、画素列の端から当該画素までの差分の合計として算出する。
なお、像移動前の画素の出力レベルから像移動後の同一画素の出力レベルを減算したものを差分とする場合には、上記と逆方向から積算するとよい。
【００４８】
図４（ｃ）に示す例では、像移動後の出力レベルから像移動前の出力レベルを減算して算出して差分を求めた場合に、第１画素の積算レベルを「０」として、各画素の積算レベルを算出する。例えば、第２画素の積算レベルは、Δ２（＝０＋Δ２）と算出される。第３画素の積算レベルは、（Δ２＋Δ３）と算出される。第４画素の積算レベルは（Δ２＋Δ３＋Δ４）と算出される。同様に、第（ｎ−１）画素の算出レベルは（Δ２＋Δ３＋Δ４＋・・・Δ（ｎ−１））と算出される。
【００４９】
各差分の値は正の場合もあるし、負の場合もある。したがって、図５に示すように、画素列Ｌの各画素の積算レベルは、画素ごとに上下する。
【００５０】
次に、画像処理手段１３の画像生成部１３３は、各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する（Ｓ２０８）。各画素の積算レベルは、実質的に各画素の出力レベルに相当する。したがって、各画素の実際の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成することによって、画素間の出力レベルのばらつきに関係なく、高精度の輝度階調の画像が生成される。
【００５１】
（第２動作例）
次に、図６のフローチャートを参照して、実施形態の撮像装置の第２動作例について説明する。第２動作例は、像位置の移動後に受光面上の像を撮像し（Ｓ６０４）、各画素の出力レベルを第２メモリに記憶する（Ｓ６０５）ステップまでは、上述の第１動作例と同じである。
【００５２】
第２動作例では、像シフト手段２２は、像位置の移動の後、再び像位置の移動前の位置へ像位置を戻す（Ｓ６０６）。ここで、図７の上段に、像移動前の受光面１１上の像を示し、図７の中段に、像移動後の受光面１１上の像を示し、図７の下段に、像位置を戻した後の像を示す。図７の上段及び中段に示す図は、図３（ａ）の上段及び下段に示した図に相当する。
【００５３】
次いで、撮像手段１２は、像位置が戻された後に、再度受光面上の像を撮像し（Ｓ６０７）、撮像した像の各画素の出力レベルを第３画像メモリに保存する（Ｓ６０８）。第３画像メモリは、カメラ本体１０に設けられている。
【００５４】
次いで、上述の第１動作例のステップ（Ｓ２０６）と同様に、画像処理部１３の差分算出部１３１が、第１画素メモリに記憶された像移動前の画素の出力レベルと、第２画素メモリに記憶された像移動後の画素の出力レベルとを読み出し、像移動の前後に受光面１１上の像の同一部分をそれぞれ受光した画素どうしの出力レベルの差分を算出する（Ｓ６０９）。
【００５５】
次いで、画像処理部１３は、第１画素メモリに記憶された像移動前の画素の出力レベルと、第３画素メモリに記憶された像位置を戻した後の画素の出力レベルとを読み出し、同一画素どうしで、像位置の移動前と像位置を戻した後との出力レベルの変動量を算出する（Ｓ９１０）。
【００５６】
図７の上段と下段の受光面１１上の像を比較すると、破線Ｂで囲んだ部分の像が変化している。このような像の変化は、例えば被写体が動いたことによって生じる。このような部分の画素の出力レベルの差分は、画素自体の出力特性のばらつきに基づく出力レベルの差を正確には反映しない。破線Ｂで囲んだ部分の画素では、変動量が大きな値を示す。
【００５７】
そこで、第２動作例では、積算レベル算出部１３２は、所定の基準値以上の変動量を有する画素の差分を除外して積算し、積算レベルを算出する（Ｓ６１１）。例えば、画素列の途中の画素の変動量が基準値以上である場合、その画素列のうち、変動量が基準値以上の画素の手前の画素までの差分だけ積算してオフセットを求めるようにするとよい。これにより、積算レベルが不正確になることの防止を図ることができる。
なお、基準値は、撮像装置１の使用環境に応じて任意好適な値を設定することができる。
【００５８】
続いて、第１動作例と同様に、画素の出力レベルの代わりに、画素の積算レベルに基づいて、画像を生成する（Ｓ６１２）。
【００５９】
（第３動作例）
次に、図８のフローチャートを参照して、実施形態の撮像装置の第３動作例について説明する。第３動作例は、像位置の移動後に受光面上の像を撮像し（Ｓ８０４）、各画素の出力レベルを第２メモリに記憶する（Ｓ８０５）までは、上述の第１動作例と実質的に同じである。
【００６０】
ここで、図９を参照して、受光面１１上の画素の配列と、像位置の移動方向との関係を説明する。図９に示す受光面１１では、画素が、互いに直交するＸ方向及びＹ方向の２次元のマトリクス状に配列されている。像位置の移動前に、像の「○」部分は、基準位置の画素Ｐ０上に位置している。この時点で、受光面１１上の移動前の像が撮像され（Ｓ８０１）、受光面１１を構成する各画素の出力レベルが第１メモリに記憶される（Ｓ８０２）。
【００６１】
次いで、像「○」部分が、基準位置の画素Ｐ０上から第１規定位置の画素Ｐ１まで、Ｘ方向に１画素ピッチだけ移動するように、１回目の像移動を行う（Ｓ８０３）。その結果、像の「○」部分は、第１規定位置Ｐ１上に位置する。
【００６２】
次いで、１回目の移動後に、受光面１１上の移動後の像が撮像され（Ｓ８０４）、受光面１１を構成する各画素の出力レベルが第２メモリに記憶される（Ｓ８０５）。
【００６３】
次いで、像の「○」部分が、第１規定位置の画素Ｐ１上から第２規定位置の画素Ｐ２まで、図面左斜め下方向へ、１画素ピッチのルート２倍（√２倍）だけ移動するように、２回目の像移動を行う（Ｓ８０６）。その結果、像の「○」部分は、第２規定位置Ｐ２上に位置する。１回目及び２回目の移動の結果、像の「○」部分は、基準位置の画素Ｐ０上から第２規定位置の画素Ｐ２まで、Ｙ方向に１画素ピッチだけ移動したことになる。
【００６４】
次いで、２回目の移動後に、受光面１１上の移動後の像が撮像され（Ｓ８０７）、受光面１１を構成する各画素の出力レベルが第３メモリに記憶される（Ｓ８０８）。
【００６５】
次いで、第１及び第２メモリに記憶された出力レベルが読み出されて、Ｘ方向への像位置の移動の前後の（１回目の移動の前後の）撮像時の同一画素の出力レベルどうしの第１の差分が算出される（Ｓ８０９）。なお、第１差分は、受光面１１のＸ方向に配列した各画素列において算出される。
【００６６】
次いで、第１及び第３メモリに記憶された出力レベルが読み出されて、Ｙ方向への像位置の移動の前後の（１回目の移動前と２回目の移動後の）撮像時の同一画素の出力レベルどうしの第２の差分が算出される（Ｓ８１０）。なお、第２差分は、受光面１１のＹ方向に配列した各画素列において算出される。
【００６７】
次いで、Ｘ方向に配列された画素列について、出力レベルの第１差分を順次に積算して、Ｘ方向に配列された画素列の各画素の第１積算レベルを算出する（Ｓ８１１）。なお、第１積算レベルは、受光面１１のＸ方向に配列した各画素列において算出される。
【００６８】
ここで、図９の受光面１１の左上のコーナーの画素を基準位置（１，１）として、この基準位置（０，０）からＸ方向にｍ番目、Ｙ方向にｎ番目の画素（ｍ，ｎ）の第１積算レベルＢｉ（ｍ，ｎ）は、その画素の第１差分をΔｘ（ｍ，ｎ）とすると、下記（１）式で表される。
Bi(m,n) = Bi(m-1,n) + Δx(m,n) ・・・（１）
【００６９】
また、Ｘ方向に配列された画素列のうち、端の列については、それまでの積算値が存在しないため、ここ端の列の各画素（０，ｎ）の積分レベルは、下記の（２）式のように、０として計算される。
Bi(m,0) = Bi(m-1,0) + Δx(m,0) = 0 ・・・（２）
【００７０】
次いで、Ｙ方向に配列された画素列について、出力レベルの第２差分を順次に積算して、Ｙ方向に配列された画素列の各画素の第２積算レベルを算出する（Ｓ８１２）。なお、第２積算レベルは、受光面１１のＹ方向に配列した各画素列において算出される。
【００７１】
ここで、基準画素（０，０）からＸ方向にｍ番目、Ｙ方向にｎ番目の画素（ｍ，ｎ）の第２積算レベルＢｉ（ｍ，ｎ）は、その画素の第２差分をΔｙ（ｍ，ｎ）とすると、下記（３）式で表される。
Bi(m,n) = Bi(m,n-1) + Δy(m,n) ・・・（３）
また、Ｘ方向に配列された画素列のうち、端の列については、それまでの積算値が存在しないため、ここ端の列の各画素（０，ｎ）の積分レベルは、下記の（４）式のように、０として計算される。
Bi(0,n) = Bi(0,n-1) + Δy(0,n-1) = 0 ・・・（４）
【００７２】
次いで、各画素の第１及び第２積算レベルに基づいて画像を生成する（Ｓ８１３）。ここでは、下記の（５）式に示すように、各画素の第１積算レベルと第２積算レベルの平均値をその画素の積算レベルとして画素を生成する。
Bi(m,n) = {Bi(m-1,n) + Δx(m,n) + Bi(m,n-1) + Δy(m,n)}/2 ・・・（５）
【００７３】
このように、Ｘ方向の積算レベルとＹ方向の積算レベルとの平均に基づいて画像を生成することによって、Ｘ方向にもＹ方向にも輝度の連続した画像を生成することができる。
【００７４】
ところで、個々の差分の値には誤差が含まれる。このため、差分を積算した積算レベルには差分の誤差が累積されている。そこで、以下に、輝度値としての積算レベルの第１及び第２の補正方法を説明する。
【００７５】
まず、第１の補正方法を説明する。
第１の方法では、受光面１１上の３点の画素の輝度値を決めておき、その３点で規定される１次式により輝度値を補正する。
まず、３点の座標の輝度を以下のように規定する。
座標(Xa,Ya)、輝度Ba
座標(Xb,Yb)、輝度Bb
座標(Xc,Yc)、輝度Bc
なお、３点は、上記のように予め決めた座標の輝度値をBa、Bb及びBcとしてもよいし、輝度の平均値が一定値となるようにオフセット補正を行ってもよい。
【００７６】
そして、下記の３式で規定される平面の方程式が得られる。
Ba = kx*Xa + ky*Ya + C
Bb = kx*Xb + ky*Yb + C
Bc = kx*Xc + ky*Yc + C
【００７７】
上記の３式をｋｘ、ｋｙ及びｃについて解くと、
kx={Ba(Yb-Yc)+Bb(Yc-Ya)+Bc(Ya-Yb)}/{Xa(Yb-Yc)+Xb(Yc-Ya)+Xc(Ya-Yb)}
ky={Ba(Xb-Xc)+Bb(Xc-Xa)+Bc(Xa-Xb)}/{Xa(Yb-Yc)+Xb(Yc-Ya)+Xc(Ya-Yb)}
C={Ba(XbYc-XcYb)+Bb(XcYa-XaYc)+Bc(XaYb-XbYa)}/{Xa(Yb-Yc)+Xb(Yb-Ya)+Xc(Ya-Yb)}
【００７８】
補正後の座標（ｍ、ｎ）の画素の輝度値（積算レベル）をＢr（ｍ，ｎ）とすると、下記のように算出することができる。
Br(m,n) = B(m,n) + kx*m + ky*n + C
なお、受光面１１の全面又は一部分の領域で輝度値を比較して、輝度を補正してもよい。
【００７９】
次に、第２の補正方法について説明する。
第２の補正方法では、受光面の全面及び同一領域について、各画素の出力レベルの平均値と、各画素の積算レベルの平均値とが等しくなるように、各画素の積算レベルを補正する。
【００８０】
まず、受光面１１の全体又は一部分の領域の画素の出力レベルの平均値を算出する。その領域に、画素が、Ｘ方向にＭ個、Ｙ方向にＮ個ずつ２次元配列されている場合において、その領域中のＸ方向にｍ番目、Ｙ方向にｎ番目中の画素の出力レベルをＢ（ｍ，ｎ）とすると、その領域の画素の出力レベルの平均値Ｓは、下記のように、その領域中の全画素の出力レベルの合計を、その領域中の全画素数（Ｍ×Ｎ）で除算して算出される。
ただし、Ｍ、Ｎ、ｍ及びｎは正の整数、１≦ｍ≦Ｍ、かつ、１≦ｎ≦Ｎである。
【００８１】
【数１】
【００８２】
一方、その同一領域中の各画素の積分レベルＢｉ（ｍ，ｎ）は、前出の式（５）のように表される。
Bi(m,n) = {Bi(m-1,n) + Δx(m,n) + Bi(m,n-1) + Δy(m,n)}/2 ・・・（５）
【００８３】
なお、ｍ＝１の場合には、上記の式（５）は、下記の式（６）のように表される。
Bi(1,n) = {Bi(1,n-1) + Δy(1,n)}/1 ・・・（６）
【００８４】
また、ｎ＝１の場合には、上記の式（５）は、下記の式（７）のように表される。
Bi(m,1) = {Bi(m-1,1) + Δx(m,1)}/1 ・・・（７）
【００８５】
さらに、ｍ＝ｎ＝１の場合には、上記の式（５）は、下記の式（８）のように表される。
Bi(1,1) = Bi(1,1) ・・・（８）
【００８６】
そして、その同一領域中の各画素の積分レベルの平均値Ｓｉは、下記のように、その同一領域中の全画素の積算レベルの合計を、その同一領域中の全画素数（Ｍ×Ｎ）で除算して算出される。
【００８７】
【数２】
【００８８】
そして、同一領域中の各画素の実際の出力レベルの平均値Ｓと、補正後の積算レベルの平均値とが等しくなるように、各画素の積算レベルを補正する。具体的には、出力レベルの平均値Ｓと積算レベルの平均値Ｓｉとの差（ΔS＝Ｓ−Ｓｉ）を、各画素の積算レベルに加算する。
Br(m,n)＝Bi(m,n)+ΔS
このように、個々の画素の積算レベルを補正することにより、輝度誤差の低減した画像を生成することができる。
なお、第１動作例においてはこのようなレベル補正方法を示していないため積算結果としての「○」部分が「０」となってしまっている。Ｎ＝１として、画素列毎にレベル補正を行うことにより補正後の「○」部分は「○」相当のレベルに補正される。
【００８９】
次に、図１０及び図１１を参照して、カメラ本体１０とレンズユニット２０との間のデータ伝送を説明する。
図１０及び図１１において、カメラ本体１０の撮像ブロックが、図１の撮像手段１２に相当し、画像処理のブロックが、図１の画像処理手段１３に相当する。また、図１０及び図１１において、レンズユニット２０のブレ補正制御系のブロックが、図１の像シフト手段２２に相当する。なお、レンズユニット２０のレンズ制御系のブロックは、レンズ系の焦点やズームを制御する機能を表す。
【００９０】
実施形態の撮像装置１では、像シフト手段２２として、ブレ補正制御機構を利用することができる。ただし、通常のブレ補正制御機構では、撮像装置１の動きを相殺するようにブレ補正制御されるのに対し、像シフト手段２２は、受光面に対して像位置が所定の方向に所定量だけ移動するように制御される。
【００９１】
また、レンズユニット２０が、複数種類のカメラ本体に取り付け可能な交換レンズである場合、カメラ本体ごとに画素ピッチなどが異なることがある。このため、カメラ本体１０からレンズユニット２０に対して、像シフト手段２２による像位置の移動量などを指示することが必要となることがある。さらに、像シフト手段２２による像位置の像位置の移動前後にそれぞれ受光面上の像を撮像するため、撮像のタイミングと像位置の移動のタイミングを制御する必要もある。
【００９２】
そこで、図１０及び図１１に示す撮像装置１では、カメラ本体１０の画像処理ブロック１３から、受光面の画素間隔を含むデータを、光学データ変換関数として、レンズユニット２０へ出力する。レンズユニット２０は、カメラ本体１０から入力された光学データ変換関数に基づいて、像シフト手段２２の駆動量を決定し、像位置を移動させる。
【００９３】
例えば、カメラ本体１０の撮像ブロック１２の受光面の画素ピッチが２０μｍである場合、カメラ本体１０から画素ピッチが２０μｍであることを指示するデータが、レンズユニット２０に送られる。レンズユニット２０のブレ補正制御系（補正光学系）の駆動量に対する像位置の移動量の割合、即ち、補正光学系の効き率が０．８である場合、１画素ピッチ分のブレ補正制御系の駆動量は、２０÷０．８＝２５（μｍ）と算出される。そして、ブレ補正制御系が２５μｍ駆動されることによって、受光面上で像位置が１画素ピッチの２０μｍだけ移動する。これにより、カメラ本体１０の撮像ブロック１２の受光面の画素ピッチに合わせて、１画素ピッチの像移動を行うことができる。
【００９４】
図１０に示す撮像装置１では、カメラ本体１０の撮像ブロック１２とレンズユニット２０のブレ補正制御系２２とが信号線３０によって接続されている。撮像ブロック１２は、受光面上の像を撮像するタイミングに同期した同期信号を出力する。即ち、撮像するタイミングで信号線３０がイネーブル（有効）となる。この同期信号は信号線３０を通じてブレ補正制御系２２へ伝送される。ブレ補正制御系２２は、同期信号に基づいて像位置を移動させる。これにより、像位置の移動と撮像のタイミングを合わせることができる。
【００９５】
また、図１１に示す撮像装置１では、レンズユニット２０のブレ補正制御系２２とカメラ本体１０の画像処理ブロック１３とが、画像位置変換ブロック３１を介して信号線３０によって接続されている。ブレ補正制御系２２は、像位置を移動させるタイミングに同期した同期信号を出力する。即ち、ブレ補正制御系２２の駆動タイミングで信号線３０がイネーブルとなる。この同期信号は、信号線３０を通じて画像位置変換ブロック３１を介して画像処理ブロック１３へ伝送される。例えば、ブレ補正制御系２２が所定の駆動量だけ駆動して像位置を所定の位置へ移動させたタイミングで、ブレ補正制御系２２が同期信号を出力する。
【００９６】
また、この同期信号と共に、ブレ補正制御系２２の駆動量及び駆動方向も出力し、画像位置変換ブロック３１よって、駆動量が像位置の移動量に相当する画素ピッチ数に変換される。そして、撮像ブロック１２は、同期信号に基づいて受光面上の像を撮像する。続いて、画像処理ブロック１３は、同一画素の像移動前後の出力レベルどうしの差分を算出するとよい。これにより、像位置の移動と撮像のタイミングを合わせて、画素間の出力レベルのばらつきに関係なく、高精度の輝度階調の画像を生成の実現を図ることができる。
【００９７】
（第４動作例）
次に、図１２を参照して、実施形態の撮像装置の第３動作例について説明する。図１２（ａ）及び（ｂ）は、受光面１１を構成する画素のうち、隣接して２次元配列された４つの画素Ａ〜Ｄの拡大図である。
【００９８】
第４動作例では、像シフト手段２２は、図１２（ａ）に示すように、受光面１１上の像の任意の点（以下、「像点」とも称する。）の軌跡が受光面１１上で円軌道Ｒを描くように、受光面１１上で像位置を並進移動させる。図１２（ａ）に示すように、像位置は、受光面１１上の像点が継続的に等速円運動を行うように移動する。この円軌道Ｒの半径は、例えば、画素ピッチの（１／（√２））倍とするとよい。
【００９９】
なお、図１２（ａ）では４つの画素Ａ〜Ｄだけを示すが、受光面１１上の像全体の各点の軌跡が同時に円軌道を描くように、受光面１１全体で像位置は並進移動している。
【０１００】
ここで、図１３（ａ）のタイミングチャートを参照して、撮像タイミングを説明する。図１３（ａ）の線Ｉは同期信号のタイミングを表し、線IIは画素の露光期間を表す。露光期間Ｅａ、Ｅｂ、Ｅｃ及びＥｄは、それぞれ、円軌道Ｒ上を等速円運動している像点が画素Ａ、Ｂ、Ｃ及びＤ上に位置する期間である。これらの露光期間Ｅａ、Ｅｂ、Ｅｃ及びＥｄはまた、図１２（ａ）において像点が円軌道Ｒのうち、画素Ａ上の区間Ｅａ、画素Ｂ上の区間Ｅｂ、画素Ｃ上の区間Ｅｃ、及び画素Ｄ上の区間Ｅｄに位置する期間に相当する。
【０１０１】
そして、図１３（ａ）の露光期間Ｅａ、Ｅｂ、Ｅｃ及びＥｄの中央で、像シフト手段２２から、同期信号Ａ，Ｂ，Ｃ及びＤが出力される。その結果、像点が、図１２（ａ）の区間Ｅａ，Ｅｂ，Ｅｃ及びＥｄそれぞれの中央の位置Ｓａ，Ｓｂ，Ｓｃ及びＳｄに位置するときに受光面上の像が撮像される。
【０１０２】
なお、同期信号Ａ，Ｂ，Ｃ及びＤが出力されてから、実際に撮像されるまでには、遅延時間が生じる。この遅延時間を考慮して、図１３（ｂ）の線IIIで示すように、線IVで示す露光期間Ｅａ、Ｅｂ、Ｅｃ及びＥｄに対して、同期信号Ａ，Ｂ，Ｃ及びＤの出力タイミングを、それぞれの露光期間の中央よりも所定の時間だけ遅らせてもよい。
【０１０３】
また、像シフト手段１３は、同期信号とともに、像点の位置をカメラ本体１０へ出力するとよい。像点の位置は、図１２（ａ）に示すように、４つの画素Ａ〜Ｄの中央を原点としたＸＹ座標によって表すとよい。ここで、図１４のタイミングチャートに同期信号と像点の座標との関係を示す。図１４の線Ｉは同期信号のタイミングを表し、曲線Ｘ及び曲線Ｙは、それぞれ、像点のＸ座標及びＹ座標を表す。線Ｉで示す同期信号Ａの出力タイミングで、そのときの画素Ａ上の像点の座標（ｘａ、ｙａ）が取得される。そして、この座標もカメラ本体１０へ出力される。
なお、ブレ補正のために像位置が移動した場合には、像点の座標として、ブレ補正による像移動量を差し引いた値を出力するとよい。
【０１０４】
また、像点の位置を各画素上の円軌道Ｒ上の区間Ｅａ，Ｅｂ，Ｅｃ及びＥｄそれぞれの平均値の座標として表してもよい。例えば、図１２（ｂ）中の画素Ｃ上の区間Ｅｃの平均値の座標（ｘｃ，ｙｃ）は、下記の（１）式で求められる。
∫（座標）×（存在時間）ｄｔ÷（区間Ｅｄの存在時間） ・・・（１）
【０１０５】
上述した撮像タイミングで受光面上の像を撮像する第４動作例は、以下に説明するように、基本的に第４動作例における図８のフローチャートに対応する。
まず、撮像手段１２は、像点が円軌道Ｒ上の所定部分を移動する前後に、受光面１１上の像をそれぞれ撮像する。具体的には、まず、移動前の撮像として、像点が円軌道Ｒ上の画素ＡのＳａ点に位置するときに受光面１１上の像が撮像される（図８のＳ８０１）。撮像された画像は第１メモリに記憶される（Ｓ８０２）。
【０１０６】
次いで、像点が円軌道Ｒ上を画素ＡのＳａ点から画素ＢのＳｂ点へ移動する（Ｓ８０３）。像点は円軌道Ｒ上で等速円運動しているが、Ｓａ点からＳｂ点へ向かう方向はＸ方向に沿っている。したがって、この移動方向はＸ方向となる。
【０１０７】
次いで、像点が円軌道Ｒ上の画素ＢのＳｂ点に位置するときに受光面１１上の像が撮像される（Ｓ８０４）。撮像された画像は第２メモリに記憶される（Ｓ８０５）。
【０１０８】
続いて、像点は円軌道Ｒ上を画素ＢのＳｂ点から画素ＣのＳｃ点へ移動する（Ｓ８０６）。像点は円軌道Ｒ上で等速円運動しているが、Ｓｂ点からＳｃ点へ向かう方向はＹ方向に沿っている。したがって、この移動方向はＹ方向となる。
【０１０９】
次いで、像点が円軌道Ｒ上の画素ＣのＳｃ点に位置するときに受光面１１上の像が撮像される（Ｓ８０７）。撮像された画像は第３メモリに記憶される（Ｓ８０８）。
【０１１０】
次いで、像点が円軌道上の所定部分をＸ方向移動する前後の同一画素の出力レベルの差分を算出する。そこで、第１及び第２メモリに記憶された出力レベルが読み出されて、Ｘ方向への像位置の移動の前後の撮像時の同一画素の出力レベルどうしの第１の差分が算出される（Ｓ８０９）。
【０１１１】
また、像点が円軌道上の所定部分をＹ方向移動する前後の同一画素の出力レベルの差分を算出する。第１及び第３メモリに記憶された出力レベルが読み出されて、Ｙ方向への像位置の移動の前後の撮像時の同一画素の出力レベルどうしの第２の差分が算出される（Ｓ８１０）。
【０１１２】
次いで、Ｘ方向に配列された画素列について、出力レベルの第１差分を順次に積算して、Ｘ方向に配列された画素列の各画素の第１積算レベルを算出する（Ｓ８１１）。また、Ｙ方向に配列された画素列について、出力レベルの第２差分を順次に積算して、Ｙ方向に配列された画素列の各画素の第２積算レベルを算出する（Ｓ８１２）。
【０１１３】
次いで、各画素の第１及び第２積算レベルに基づいて画像を生成する（Ｓ８１３）。
【０１１４】
このように、第４動作例では、軌跡が円軌道を描くように像位置を移動させることによって、像位置を連続的に移動させることができる。その結果、像位置の位置精度の位置が容易となる。また、継続的に等速直線運動を行うように像位置を移動させることによって、像位置を安定的に移動させることができる。また、像位置の円運動の１周期ごとに、容易に補正を行うことができる。
【０１１５】
上述した実施形態では、本発明を特定の条件で構成した例について説明したが、本発明は種々の変更及び組合せを行うことができ、これに限定されるものではない。上述した実施形態では、像シフト手段が光学系に組み込まれた撮像装置の例を説明したが、本発明では、像シフト手段はこれに限定されない。像シフト手段は、光学系全体をその光軸に直交する方向に変位させるものであってもよいし、撮像手段の受光面を、光学系の光軸に直交する方向に変位させるものであってもよい。
【産業上の利用可能性】
【０１１６】
本発明は、赤外画像用の撮像装置にも、可視画像用の撮像装置にも適用可能である。また、本発明は、中断することなく撮像することが要請されるモニタカメラに用いて好適である。また、本発明は、１画素列で構成された受光面を有するラインセンサにも適用可能である。
【０１１７】
また、本発明は、輝度の低い被写体や、被写体の微小な輝度変化を検出することを目的とする撮像装置に用いて好適である。また、本発明は、画像センシング、外観検査、医療の分野における画像計測に用いて好適である。また、本発明は、天体観測、暗視及び監視といった用途において、低輝度被写体を撮影するのに用いて好適である。
【符号の説明】
【０１１８】
１ 撮像装置
１０ カメラ本体
１１ 受光面
１２ 撮像手段
１３ 画像処理手段
２０ レンズユニット
２１ 光学系
２２ 像シフト手段
２２ａ レンズ
１３１ 差分算出部
１３２ 積算レベル算出部
１３３ 画像生成部
【技術分野】
【０００１】
本発明は、撮像装置に関し、より詳細には、画素間の出力レベルのばらつきに関係なく、高精度の輝度階調の画像を生成することができる撮像装置、画像生成方法、赤外線カメラシステム及び交換可能なレンズシステムに関する。
【背景技術】
【０００２】
従来の撮像装置の例が下記の特許文献１〜３に記載されている。これら特許文献１〜３に記載の赤外線撮像装置では、補正用シャッターを閉じることによって基準画像を取得し、この基準画像撮像時の画素間の出力レベルのばらつきを求めて、これを補正していた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３１０８０４号公報
【特許文献２】特開２００８−１１１７５４号公報
【特許文献３】特開２００８−２０３０５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、撮像装置の受光面の各画素を構成する撮像素子が輝度階調の高い検出精度を有するものであっても、画素間の出力レベルのばらつきに由来する画像のノイズが、目的とする被写体の輝度差による出力レベル差よりも大きい場合がある。かかる場合、画素間の出力レベルのばらつきよりも小さな輝度差を検出することは困難である。その結果、撮像装置の撮像した画像の輝度階調の精度が、個々の撮像素子の輝度階調の検出精度よりも低下してしまうことになる。
【０００５】
一方、上記の従来技術のように、画素間の出力レベルのばらつき補正のために補正用シャッターを閉じると、種々の問題が生じる。例えば、撮像装置は、補正用シャッターを閉じている間、被写体を撮像することができない。このため、これら従来の撮像装置を防犯カメラ等の監視カメラとして使用した場合、たとえ短時間であっても補正用シャッターを閉じている間に発生した事象を監視することができないという問題が生じる。また、従来の撮像装置は、補正用シャッターを閉じている間、新たに撮像した動画フレームを出力することができないため、動画が途切れてしまうという問題が生じる。
【０００６】
そこで、本発明は、画素間の出力レベルのばらつきに関係なく、高精度の輝度階調の画像を生成することができる撮像装置、画像生成方法、赤外線カメラシステム及び交換可能なレンズシステムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
前記の目的を達成するため、本発明の撮像装置によれば、受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面を有する撮像手段と、
前記受光面に被写体の像を結像させることができる光学系と、前記受光面上で像位置を移動させる像シフト手段と、前記撮像手段が撮像した画像を処理する画像処理手段と、
を備え、前記撮像手段は、前記像シフト手段による像位置の移動前後に、前記受光面上の像をそれぞれ撮像し、前記画像処理手段は、像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出する差分算出部と、像位置の移動方向に配列された画素列について、画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出する積算レベル算出部と、前記各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する画像生成部と、を有する、ことを特徴としている。
【０００８】
本発明の撮像装置では、受光面に対して像位置を移動させる前後で撮像する。その結果、同一の画素が、像位置の移動方向に沿って隣接する２画素分の像部分を受光する。この同一画素の移動前後の出力レベルどうしの差分は、隣接する２画素がそれぞれ受光する像部分の輝度差に相当する。この同一画素の出力レベルどうしの差分はまた、画素間の出力レベルのばらつきには関係しない。このため、隣接する２画素間の像部分の輝度差が、画素間の出力レベルのばらつきとは関係なく、同一画素の出力レベルどうしの差分として算出される。したがって、画素間の出力レベルのばらつきに起因する画像のノイズを低減することができ、このノイズよりも小さい出力レベル差に相当する被写体の微小な輝度差まで検出することができる。
【０００９】
さらに、画素間の出力レベルのばらつきと関係なく算出された差分を積算することにより、画素間の出力レベルのばらつきと関係なく、各画素の積算レベルが算出される。各画素の積算レベルは、実質的に各画素の出力レベルに相当する。したがって、各画素の実際の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成することによって、画素間の出力レベルのばらつきに関係なく、高精度の輝度階調の画像を生成することができる。
【００１０】
また、本発明において好ましくは、前記画像処理手段は、前記受光面の少なくとも一部分の領域の各画素の出力レベルの平均値と前記各画素の積算レベルの平均値とが等しくなるように、前記各画素の積算レベルを補正する補正部を更に有する。
【００１１】
各画素の出力レベルどうしの差分には、誤差が含まれる。このため、各画素の積算レベルには、差分の積算された誤差が含まれる。そこで、実際の出力レベルの平均値と、積層レベルの平均値を一致させるように補正することによって、各画素の積算レベルに含まれる誤差の解消を図ることができる。
【００１２】
また、本発明において好ましくは、前記像シフト手段は、像位置の移動の後、再び像位置の移動前の位置へ像位置を戻し、前記撮像手段は、像位置を戻した後に、再度受光面上の像を撮像し、前記画像処理手段は、同一画素について、像位置の移動前と像位置を戻した後との出力レベルの変動量を算出し、前記積算レベル算出部は、所定の基準値以上の変動量を有する画素の差分を除外して積算レベルを算出する。
【００１３】
被写体が動いた場合、算出された画素の出力レベルの差分は、画素自体の出力特性のばらつきに基づく出力レベルの差を正確には反映しないことがある。したがって、被写体の動いた部分に対応する像部分を受光した画素の差分は、積算レベルの算出から除外されることが望ましい。そこで、像位置の移動前と像位置を戻した後との出力レベルの変動量が大きい像部分を、被写体が動いた部分として除外する。これにより、積算レベルが不正確になることの防止を図ることができる。
【００１４】
また、本発明において好ましくは、前記撮像手段は、画素が２次元のマトリクス状に配列された受光面を有し、前記像シフト手段は、前記受光面の画素の第１の配列方向と、前記第１の配列方向に直交する第２の配列方向にそれぞれ像位置を移動させ、前記差分算出部は、前記第１の配列方向への像位置の移動の前後の撮像時の同一画素の出力レベルどうしの第１の差分を算出し、かつ、前記第２の配列方向への像位置の移動の前後の撮像時の同一画素の出力レベルどうしの第２の差分を算出し、前記積算レベル算出部は、前記第１の配列方向に配列された第１の画素列について、各画素の出力レベルの第１の差分を順次に積算して、各画素の第１の積算レベルを算出し、かつ、前記第２の配列方向に配列された第２の画素列について、各画素の出力レベルの第２の差分を順次に積算して、各画素の第２の積算レベルを算出し、前記画像生成部は、各画素の前記第１及び第２の積算レベルに基づいて画像を生成する。
【００１５】
このように、第１及び第２の配列方向についてそれぞれ算出された第１及び第２の積算レベルに基づいて、画像を生成するので、積算レベルの誤差の低減を図ることができる。
なお、第１及び第２の配列方向にそれぞれ像位置を移動するにあたっては、移動前の像位置から移動後の像位置へ移動経路は問わない。例えば、移動前の位置から、一旦、第三の位置へ移動し、次いで、移動後の位置へ移動するようにしてもよい。
【００１６】
また、本発明において好ましくは、前記像シフト手段は、前記受光面上の像の任意の点の軌跡が前記受光面上で円軌道を描くように、前記像位置を並進移動させ、前記撮像手段は、前記像の任意の点が前記円軌道上の所定部分を移動する前後に、前記受光面上の像をそれぞれ撮像し、前記差分算出部は、前記像の任意の点が前記円軌道上の所定部分を移動する前後の撮像時の同一画素の出力レベルどうしの差分を算出し、積算レベル算出部は、前記像の任意の点が前記円軌道上の所定部分を移動する前後それぞれの撮像時の前記像の任意の点の位置を結ぶ直線方向を像位置の移動方向として、積算レベルを算出する。
【００１７】
このように、軌跡が円軌道を描くように像位置を移動させることによって、像位置を連続的に移動させることができる。その結果、像位置の位置精度の位置が容易となる。
【００１８】
また、本発明において好ましくは、前記像シフト手段は、前記受光面上の像の任意の点が継続的に等速円運動を行うように、前記像位置を移動させる。
【００１９】
このように、継続的に等速運動を行うように像位置を移動させることによって、像位置を安定的に移動させることができる。また、像位置の円運動の１周期ごとに、容易に補正を行うことができる。
【００２０】
また、本発明において好ましくは、前記撮像手段及び前記画像処理手段は撮像装置本体を構成し、前記光学系及び前記像シフト手段は、前記撮像装置本体から着脱自在なレンズユニットを構成し、前記撮像装置本体は、前記受光面の画素間隔を含むデータを前記レンズユニットへ出力し、前記像シフト手段は、前記データに基づいて像位置を移動させる。
【００２１】
受光面の画素間隔は、通常、撮像装置本体の種類によって異なる。交換レンズのようなレンズユニットに組み込まれた像シフト手段は、撮像装置本体から送られてきた画素間隔を含むデータに基づいて、像位置の移動量を撮像装置本体の受光面の画素間隔に適合させることができる。
【００２２】
また、本発明において好ましくは、前記撮像手段は、受光面上の像を撮像するタイミングに同期した同期信号を出力し、前記像シフト手段は、前記同期信号に基づいて像位置を移動させる。
これにより、像位置の移動と撮像のタイミングを合わせて、正確な補正の実現を図ることができる。
【００２３】
また、本発明において好ましくは、前記像シフト手段は、像位置を移動させるタイミングに同期した同期信号を出力し、前記撮像手段は、前記同期信号に基づいて受光面上の像を撮像する。
これにより、像位置の移動と撮像のタイミングを合わせて、正確な補正の実現を図ることができる。
【００２４】
また、本発明において好ましくは、前記撮像素子はボロメータあるいはマイクロボロメータである。
撮像素子をボロメータあるいはマイクロボロメータで構成することにより、本発明の撮像装置を、赤外線画像を撮像可能なものとすることができる。
【００２５】
また、本発明の画像生成方法は、受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面を有する撮像手段と、前記受光面に被写体の像を結像させることができる光学系とを備えた撮像装置の画像生成方法であって、前記受光面上で像位置を移動させ、像位置の移動前後に、前記受光面上の像をそれぞれ撮像し、像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出し、像位置の移動方向に配列された画素列について、各画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出し、各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する。
【００２６】
本発明の画像生成方法によれば、本発明の撮像装置について上述したように、画素間の出力レベルのばらつきに関係なく、高精度の輝度階調の画像を生成することができる。
【００２７】
また、本発明の赤外線カメラシステムは、赤外線の受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面を有する撮像手段と、前記受光面に被写体の像を結像させることができる光学系と、前記受光面上で像位置を移動させる像シフト手段と、前記撮像手段が撮像した画像を処理する画像処理手段と、を備え、前記撮像手段は、前記像シフト手段による像位置の移動前後に、前記受光面上の像をそれぞれ撮像し、前記画像処理手段は、像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出する差分算出部と、像位置の移動方向に配列された画素列について、各画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出する積算レベル算出部と、前記各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する画像生成部とを有する、ことを特徴としている。
これにより、画素間の出力レベルのばらつきに関係なく、高精度の輝度階調の赤外線画像を生成することができる。
【００２８】
また、本発明の交換可能なレンズシステムは、撮像装置本体と、前記撮像装置本体に着脱自在なレンズユニットとを備える交換可能なレンズシステムであって、前記撮像装置本体は、受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面を有する撮像手段と、前記撮像手段が撮像した画像を処理する画像処理手段と、を備え、前記レンズユニットは、受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面を有する撮像手段と、前記受光面に被写体の像を結像させることができる光学系と、前記受光面上で像位置を移動させる像シフト手段と、を備え、前記撮像手段は、前記像シフト手段による像位置の移動の前後に、前記受光面上の像をそれぞれ撮像し、前記画像処理手段は、像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出する差分算出部と、像位置の移動方向に配列された画素列について、各画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出する積算レベル算出部と、前記各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する画像生成部とを有する、ことを特徴としている。
これにより、交換可能なレンズシステムにおいて、画素間の出力レベルのばらつきに関係なく、高精度の輝度階調の画像を生成することができる。
【発明の効果】
【００２９】
このように、本発明の撮像装置、画像生成方法、赤外線カメラシステム及び交換可能なレンズシステムによれば、画素間の出力レベルのばらつきに関係なく、高精度の輝度階調の画像を生成することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施形態の撮像装置の構成を説明するブロック図である。
【図２】本発明の実施形態の撮像装置の第１動作例を説明するフローチャートである。
【図３】（ａ）は、像位置の移動前後の受光面と像との位置関係を示す図である。
【図４】（ａ）は、像位置を１画素ピッチ分移動させる前後の画素列上の画素と像の受光部分との関係を示す図であり、（ｂ）は、画素列上の差分を示す図であり、（ｃ）は、画素列上の積算レベルを示す図である。
【図５】画素列上の画素の積算レベルを示す図である。
【図６】本発明の実施形態の撮像装置の第２動作例を説明するフローチャートである。
【図７】像位置の移動前、移動後、及び、像位置を戻した後の画面と像との位置関係を示す図である。
【図８】本発明の実施形態の撮像装置の第３動作例を説明するフローチャートである。
【図９】受光面上の画素の配列と、像位置の移動方向との関係を示す図である。
【図１０】カメラ本体１０とレンズユニット２０との間のデータ伝送の説明図である。
【図１１】カメラ本体１０とレンズユニット２０との間のデータ伝送の説明図である。
【図１２】（ａ）及び（ｂ）は、本発明の実施形態の撮像装置の第４動作例において、像を受光面上で等速円運動させた場合の軌跡を示す図である。
【図１３】（ａ）及び（ｂ）は、同期信号と露光時間との関係を示すタイミングチャートである。
【図１４】同期信号と像位置との関係を示すタイミングチャートである。
【発明を実施するための最良の形態】
【００３１】
以下、添付の図面を参照して、本発明の撮像装置及び画像生成方法の実施形態を説明する。まず、図１のブロック図を参照して、実施形態の撮像装置の構成を説明する。図１に示す撮像装置１は、カメラ本体１０と、レンズユニット２０とから構成されている。レンズユニット２０は、カメラ本体１０に着脱自在な交換レンズとすることもできる。
【００３２】
カメラ本体１０は、受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面１１を有する撮像手段１２と、撮像手段１２が撮像した画像を処理する画像処理手段１３とを備えている。撮像手段１２の受光面は、赤外線を検出するボロメータアレイ又はマイクロボロメータアレイで構成してもよいし、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサのような固体撮像素子アレイで構成してもよい。
【００３３】
レンズユニット２０は、受光面１１に被写体の像を結像させることができる光学系２１と、受光面１１上で像位置を移動させる像シフト手段２２とを備えている。像シフト手段２２は、像ぶれ防止機構で構成することができる。図１に示す例では、像シフト手段２２は、光学系２１を構成する１つのレンズ２２ａを光学系２１の光軸Ｏに直交する方向に並進移動させることによって、受光面１１に対して相対的に像位置を移動させる。
なお、被写体には、撮像視野内の全画像が含まれる。
【００３４】
なお、像シフト手段２２は、光学系２１全体を、光軸Ｏに直交する方向に並進移動させる構成としてもよいし、受光面１１を、光軸Ｏに直交する平面内で並進移動させる構成としてもよい。
【００３５】
カメラ本体１０の撮像手段１２は、像シフト手段２２による像位置の移動の前後に、受光面１１上の像をそれぞれ撮像する。撮像手段１２が撮像した画像は、画像処理手段１３で処理される。
【００３６】
画像処理手段１３は、差分算出部１３１、積算レベル算出部１３２及び画像生成部１３３を含む。差分算出部１３１は、像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出する。積算レベル算出部１３２は、像位置の移動方向に配列された画素列について、各画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出する。そして、画像生成部１３３は、各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する。
【００３７】
（第１動作例）
図２のフローチャートを参照して、本実施形態の撮像装置１の第１動作例を説明する。
まず、像シフト手段２２による像位置の移動前に、撮像手段１２が受光面１１上の像を撮像する（Ｓ２０１）。ここで、図３の上段に、像移動前の受光面１１上の像の例を示す。図３に示す受光面は、２次元のマトリクス状に配列された画素によって構成されている。図３に、受光面１１上に結像した像の濃淡境界線を「Ａ」で示す。
【００３８】
次いで、像移動前に撮像した像の各画素の出力レベルを第１画像メモリに保存する（Ｓ２０２）。第１画像メモリは、カメラ本体１０に設けられている。
【００３９】
次いで、像シフト手段２２は、像位置を、画素の配列方向に受光面１１の画素間隔（１画素ピッチ）の距離だけ移動させる（Ｓ２０３）。図３の下段に、像移動後の受光面１１上の像の例を示す。図３では、像に対して、光軸Ｏに直交する受光面１１を右方向に１画素ピッチだけ相対的に移動させた様子を示す。この移動は、受光面１１に対して、像位置を左方向に１画素ピッチだけ移動させたものに相当する。
【００４０】
次いで、像シフト手段２２による像位置の移動後に、撮像手段１２が受光面１１上の像を撮像する（Ｓ２０４）。図３の上段と下段を比較すると、受光面１１の画素Ｐ４は、移動前には濃淡境界線Ａの左側に位置し、移動後には濃淡境界線Ａ上に位置している。同様に、受光面の全面で、像位置の移動後の各画素が、移動前にそれぞれの右隣の画素が受光していた像を受光する。
【００４１】
次いで、像移動後に撮像した像の各画素の出力レベルを第２画像メモリに保存する。第２画像メモリは、カメラ本体１０に設けられている（Ｓ２０５）。
【００４２】
次いで、画像処理部１３の差分算出部１３１が、像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出する。例えば、第１画素メモリに記憶された像移動前の画素Ｐ４の出力レベルと、第２画素メモリに記憶された像移動後の画素Ｐ４の出力レベルとの差分を算出する（Ｓ２０６）。同様にして、各画素における差分を算出する。
なお、各画素の出力レベルの差分は、像移動後の出力レベルから像移動前の出力レベルを減算して算出してもよいし、像移動前の出力レベルから像移動後の出力レベルを減算して算出してもよい。
【００４３】
同一画素の移動前後の出力レベルどうしの差分は、隣接する２画素がそれぞれ受光する像部分の輝度差に相当する。この同一画素の出力レベルどうしの差分はまた、画素間の出力レベルのばらつきには関係しない。このため、隣接する２画素間の像部分の輝度差が、画素間の出力レベルのばらつきとは関係なく、同一画素の出力レベルどうしの差分として算出される。したがって、画素間の出力レベルのばらつきに起因する画像のノイズを低減することができ、このノイズよりも小さい出力レベル差に相当する被写体の微小な輝度差まで検出することができる。
【００４４】
図４を参照して、同一画素の像移動前後の出力レベルの差分の算出についてより詳細に説明する。図４（ａ）は、受光面１１の一つの画素列Ｌを模式的に示す。この画素列Ｌは、左から右へ向かって順次に配列した第１画素〜第ｎ画素によって構成されている。図４（ａ）の上段は、画素列Ｌの各画素が、像位置の移動前に受光した像の部分を模式的に示す。図４（ａ）の上段に示すように、画素列Ｌの第２画素は「○」の像部分を受光し、第３画素は「△」の像部分を受光し、第４画素は「□」の像部分を受光し、同様に、第ｎ画素は「◎」の像部分を受光し、第（ｎ＋１）画素は「▽」の像部分を受光している。
【００４５】
また、図４（ａ）の下段は、像位置を画素列Ｌの画素の配列方向に沿って左側へ１画素ピッチだけ移動させた後に、画素列Ｌの各画素が受光した像の部分を示す。図４（ａ）の下段に示すように、画素列Ｌの第１画素が「○」の像部分を受光し、第２画素が「△」の像部分を受光し、第３画素が「□」の像部分を受光し、同様に、第（ｎ−１）画素が「◎」の像部分を受光し、第ｎ画素が「▽」の像部分を受光している。
【００４６】
次いで、像位置の移動方向に配列された画素列について、各画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出する（Ｓ２０７）。
このように、第２画素は、像移動前に「○」の像部分を受光し、像移後に「△」の像部分を受光する。図４（ｂ）に示す、第２画素の移動前後の出力レベルの差分Δ２は、「○」の像部分と「△」の像部分との輝度差に相当する。また、第３画素は、移動前に「△」の像部分を受光し、移動後に「□」の像部分を受光する。第３画素の移動前後の出力レベルの差分Δ３は、「△」の像部分と「□」の像部分との輝度差に相当する。同様に、第ｎ画素は、移動前に「◎」の像部分を受光し、移動後に「▽」の像部分を受光する。第ｎ画素の移動前後の出力レベルの差分Δｎは、「◎」の像部分と「▽」の像部分との輝度差に相当する。このように、同一画素によって、画素列Ｌ上で隣接する２つの画素の位置に相当する像部分どうしの間の輝度差が検出される。
【００４７】
ここでは、像移動後の画素の出力レベルから移動前の同一画素の出力レベルを減算したものを差分とする。その場合、像位置の移動方向に沿って配列された画素列について、像位置に対する受光面の移動方向（図４（ａ）では右方向）に向かって、即ち、受光面に対する像位置の移動方向（図４（ａ）では左方向）の方向に向かって（図４（ａ）では、左から右へ）、差分を順次に積算する。そして、画素列中の個々の画素のシフト量を、画素列の端から当該画素までの差分の合計として算出する。
なお、像移動前の画素の出力レベルから像移動後の同一画素の出力レベルを減算したものを差分とする場合には、上記と逆方向から積算するとよい。
【００４８】
図４（ｃ）に示す例では、像移動後の出力レベルから像移動前の出力レベルを減算して算出して差分を求めた場合に、第１画素の積算レベルを「０」として、各画素の積算レベルを算出する。例えば、第２画素の積算レベルは、Δ２（＝０＋Δ２）と算出される。第３画素の積算レベルは、（Δ２＋Δ３）と算出される。第４画素の積算レベルは（Δ２＋Δ３＋Δ４）と算出される。同様に、第（ｎ−１）画素の算出レベルは（Δ２＋Δ３＋Δ４＋・・・Δ（ｎ−１））と算出される。
【００４９】
各差分の値は正の場合もあるし、負の場合もある。したがって、図５に示すように、画素列Ｌの各画素の積算レベルは、画素ごとに上下する。
【００５０】
次に、画像処理手段１３の画像生成部１３３は、各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する（Ｓ２０８）。各画素の積算レベルは、実質的に各画素の出力レベルに相当する。したがって、各画素の実際の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成することによって、画素間の出力レベルのばらつきに関係なく、高精度の輝度階調の画像が生成される。
【００５１】
（第２動作例）
次に、図６のフローチャートを参照して、実施形態の撮像装置の第２動作例について説明する。第２動作例は、像位置の移動後に受光面上の像を撮像し（Ｓ６０４）、各画素の出力レベルを第２メモリに記憶する（Ｓ６０５）ステップまでは、上述の第１動作例と同じである。
【００５２】
第２動作例では、像シフト手段２２は、像位置の移動の後、再び像位置の移動前の位置へ像位置を戻す（Ｓ６０６）。ここで、図７の上段に、像移動前の受光面１１上の像を示し、図７の中段に、像移動後の受光面１１上の像を示し、図７の下段に、像位置を戻した後の像を示す。図７の上段及び中段に示す図は、図３（ａ）の上段及び下段に示した図に相当する。
【００５３】
次いで、撮像手段１２は、像位置が戻された後に、再度受光面上の像を撮像し（Ｓ６０７）、撮像した像の各画素の出力レベルを第３画像メモリに保存する（Ｓ６０８）。第３画像メモリは、カメラ本体１０に設けられている。
【００５４】
次いで、上述の第１動作例のステップ（Ｓ２０６）と同様に、画像処理部１３の差分算出部１３１が、第１画素メモリに記憶された像移動前の画素の出力レベルと、第２画素メモリに記憶された像移動後の画素の出力レベルとを読み出し、像移動の前後に受光面１１上の像の同一部分をそれぞれ受光した画素どうしの出力レベルの差分を算出する（Ｓ６０９）。
【００５５】
次いで、画像処理部１３は、第１画素メモリに記憶された像移動前の画素の出力レベルと、第３画素メモリに記憶された像位置を戻した後の画素の出力レベルとを読み出し、同一画素どうしで、像位置の移動前と像位置を戻した後との出力レベルの変動量を算出する（Ｓ９１０）。
【００５６】
図７の上段と下段の受光面１１上の像を比較すると、破線Ｂで囲んだ部分の像が変化している。このような像の変化は、例えば被写体が動いたことによって生じる。このような部分の画素の出力レベルの差分は、画素自体の出力特性のばらつきに基づく出力レベルの差を正確には反映しない。破線Ｂで囲んだ部分の画素では、変動量が大きな値を示す。
【００５７】
そこで、第２動作例では、積算レベル算出部１３２は、所定の基準値以上の変動量を有する画素の差分を除外して積算し、積算レベルを算出する（Ｓ６１１）。例えば、画素列の途中の画素の変動量が基準値以上である場合、その画素列のうち、変動量が基準値以上の画素の手前の画素までの差分だけ積算してオフセットを求めるようにするとよい。これにより、積算レベルが不正確になることの防止を図ることができる。
なお、基準値は、撮像装置１の使用環境に応じて任意好適な値を設定することができる。
【００５８】
続いて、第１動作例と同様に、画素の出力レベルの代わりに、画素の積算レベルに基づいて、画像を生成する（Ｓ６１２）。
【００５９】
（第３動作例）
次に、図８のフローチャートを参照して、実施形態の撮像装置の第３動作例について説明する。第３動作例は、像位置の移動後に受光面上の像を撮像し（Ｓ８０４）、各画素の出力レベルを第２メモリに記憶する（Ｓ８０５）までは、上述の第１動作例と実質的に同じである。
【００６０】
ここで、図９を参照して、受光面１１上の画素の配列と、像位置の移動方向との関係を説明する。図９に示す受光面１１では、画素が、互いに直交するＸ方向及びＹ方向の２次元のマトリクス状に配列されている。像位置の移動前に、像の「○」部分は、基準位置の画素Ｐ０上に位置している。この時点で、受光面１１上の移動前の像が撮像され（Ｓ８０１）、受光面１１を構成する各画素の出力レベルが第１メモリに記憶される（Ｓ８０２）。
【００６１】
次いで、像「○」部分が、基準位置の画素Ｐ０上から第１規定位置の画素Ｐ１まで、Ｘ方向に１画素ピッチだけ移動するように、１回目の像移動を行う（Ｓ８０３）。その結果、像の「○」部分は、第１規定位置Ｐ１上に位置する。
【００６２】
次いで、１回目の移動後に、受光面１１上の移動後の像が撮像され（Ｓ８０４）、受光面１１を構成する各画素の出力レベルが第２メモリに記憶される（Ｓ８０５）。
【００６３】
次いで、像の「○」部分が、第１規定位置の画素Ｐ１上から第２規定位置の画素Ｐ２まで、図面左斜め下方向へ、１画素ピッチのルート２倍（√２倍）だけ移動するように、２回目の像移動を行う（Ｓ８０６）。その結果、像の「○」部分は、第２規定位置Ｐ２上に位置する。１回目及び２回目の移動の結果、像の「○」部分は、基準位置の画素Ｐ０上から第２規定位置の画素Ｐ２まで、Ｙ方向に１画素ピッチだけ移動したことになる。
【００６４】
次いで、２回目の移動後に、受光面１１上の移動後の像が撮像され（Ｓ８０７）、受光面１１を構成する各画素の出力レベルが第３メモリに記憶される（Ｓ８０８）。
【００６５】
次いで、第１及び第２メモリに記憶された出力レベルが読み出されて、Ｘ方向への像位置の移動の前後の（１回目の移動の前後の）撮像時の同一画素の出力レベルどうしの第１の差分が算出される（Ｓ８０９）。なお、第１差分は、受光面１１のＸ方向に配列した各画素列において算出される。
【００６６】
次いで、第１及び第３メモリに記憶された出力レベルが読み出されて、Ｙ方向への像位置の移動の前後の（１回目の移動前と２回目の移動後の）撮像時の同一画素の出力レベルどうしの第２の差分が算出される（Ｓ８１０）。なお、第２差分は、受光面１１のＹ方向に配列した各画素列において算出される。
【００６７】
次いで、Ｘ方向に配列された画素列について、出力レベルの第１差分を順次に積算して、Ｘ方向に配列された画素列の各画素の第１積算レベルを算出する（Ｓ８１１）。なお、第１積算レベルは、受光面１１のＸ方向に配列した各画素列において算出される。
【００６８】
ここで、図９の受光面１１の左上のコーナーの画素を基準位置（１，１）として、この基準位置（０，０）からＸ方向にｍ番目、Ｙ方向にｎ番目の画素（ｍ，ｎ）の第１積算レベルＢｉ（ｍ，ｎ）は、その画素の第１差分をΔｘ（ｍ，ｎ）とすると、下記（１）式で表される。
Bi(m,n) = Bi(m-1,n) + Δx(m,n) ・・・（１）
【００６９】
また、Ｘ方向に配列された画素列のうち、端の列については、それまでの積算値が存在しないため、ここ端の列の各画素（０，ｎ）の積分レベルは、下記の（２）式のように、０として計算される。
Bi(m,0) = Bi(m-1,0) + Δx(m,0) = 0 ・・・（２）
【００７０】
次いで、Ｙ方向に配列された画素列について、出力レベルの第２差分を順次に積算して、Ｙ方向に配列された画素列の各画素の第２積算レベルを算出する（Ｓ８１２）。なお、第２積算レベルは、受光面１１のＹ方向に配列した各画素列において算出される。
【００７１】
ここで、基準画素（０，０）からＸ方向にｍ番目、Ｙ方向にｎ番目の画素（ｍ，ｎ）の第２積算レベルＢｉ（ｍ，ｎ）は、その画素の第２差分をΔｙ（ｍ，ｎ）とすると、下記（３）式で表される。
Bi(m,n) = Bi(m,n-1) + Δy(m,n) ・・・（３）
また、Ｘ方向に配列された画素列のうち、端の列については、それまでの積算値が存在しないため、ここ端の列の各画素（０，ｎ）の積分レベルは、下記の（４）式のように、０として計算される。
Bi(0,n) = Bi(0,n-1) + Δy(0,n-1) = 0 ・・・（４）
【００７２】
次いで、各画素の第１及び第２積算レベルに基づいて画像を生成する（Ｓ８１３）。ここでは、下記の（５）式に示すように、各画素の第１積算レベルと第２積算レベルの平均値をその画素の積算レベルとして画素を生成する。
Bi(m,n) = {Bi(m-1,n) + Δx(m,n) + Bi(m,n-1) + Δy(m,n)}/2 ・・・（５）
【００７３】
このように、Ｘ方向の積算レベルとＹ方向の積算レベルとの平均に基づいて画像を生成することによって、Ｘ方向にもＹ方向にも輝度の連続した画像を生成することができる。
【００７４】
ところで、個々の差分の値には誤差が含まれる。このため、差分を積算した積算レベルには差分の誤差が累積されている。そこで、以下に、輝度値としての積算レベルの第１及び第２の補正方法を説明する。
【００７５】
まず、第１の補正方法を説明する。
第１の方法では、受光面１１上の３点の画素の輝度値を決めておき、その３点で規定される１次式により輝度値を補正する。
まず、３点の座標の輝度を以下のように規定する。
座標(Xa,Ya)、輝度Ba
座標(Xb,Yb)、輝度Bb
座標(Xc,Yc)、輝度Bc
なお、３点は、上記のように予め決めた座標の輝度値をBa、Bb及びBcとしてもよいし、輝度の平均値が一定値となるようにオフセット補正を行ってもよい。
【００７６】
そして、下記の３式で規定される平面の方程式が得られる。
Ba = kx*Xa + ky*Ya + C
Bb = kx*Xb + ky*Yb + C
Bc = kx*Xc + ky*Yc + C
【００７７】
上記の３式をｋｘ、ｋｙ及びｃについて解くと、
kx={Ba(Yb-Yc)+Bb(Yc-Ya)+Bc(Ya-Yb)}/{Xa(Yb-Yc)+Xb(Yc-Ya)+Xc(Ya-Yb)}
ky={Ba(Xb-Xc)+Bb(Xc-Xa)+Bc(Xa-Xb)}/{Xa(Yb-Yc)+Xb(Yc-Ya)+Xc(Ya-Yb)}
C={Ba(XbYc-XcYb)+Bb(XcYa-XaYc)+Bc(XaYb-XbYa)}/{Xa(Yb-Yc)+Xb(Yb-Ya)+Xc(Ya-Yb)}
【００７８】
補正後の座標（ｍ、ｎ）の画素の輝度値（積算レベル）をＢr（ｍ，ｎ）とすると、下記のように算出することができる。
Br(m,n) = B(m,n) + kx*m + ky*n + C
なお、受光面１１の全面又は一部分の領域で輝度値を比較して、輝度を補正してもよい。
【００７９】
次に、第２の補正方法について説明する。
第２の補正方法では、受光面の全面及び同一領域について、各画素の出力レベルの平均値と、各画素の積算レベルの平均値とが等しくなるように、各画素の積算レベルを補正する。
【００８０】
まず、受光面１１の全体又は一部分の領域の画素の出力レベルの平均値を算出する。その領域に、画素が、Ｘ方向にＭ個、Ｙ方向にＮ個ずつ２次元配列されている場合において、その領域中のＸ方向にｍ番目、Ｙ方向にｎ番目中の画素の出力レベルをＢ（ｍ，ｎ）とすると、その領域の画素の出力レベルの平均値Ｓは、下記のように、その領域中の全画素の出力レベルの合計を、その領域中の全画素数（Ｍ×Ｎ）で除算して算出される。
ただし、Ｍ、Ｎ、ｍ及びｎは正の整数、１≦ｍ≦Ｍ、かつ、１≦ｎ≦Ｎである。
【００８１】
【数１】
【００８２】
一方、その同一領域中の各画素の積分レベルＢｉ（ｍ，ｎ）は、前出の式（５）のように表される。
Bi(m,n) = {Bi(m-1,n) + Δx(m,n) + Bi(m,n-1) + Δy(m,n)}/2 ・・・（５）
【００８３】
なお、ｍ＝１の場合には、上記の式（５）は、下記の式（６）のように表される。
Bi(1,n) = {Bi(1,n-1) + Δy(1,n)}/1 ・・・（６）
【００８４】
また、ｎ＝１の場合には、上記の式（５）は、下記の式（７）のように表される。
Bi(m,1) = {Bi(m-1,1) + Δx(m,1)}/1 ・・・（７）
【００８５】
さらに、ｍ＝ｎ＝１の場合には、上記の式（５）は、下記の式（８）のように表される。
Bi(1,1) = Bi(1,1) ・・・（８）
【００８６】
そして、その同一領域中の各画素の積分レベルの平均値Ｓｉは、下記のように、その同一領域中の全画素の積算レベルの合計を、その同一領域中の全画素数（Ｍ×Ｎ）で除算して算出される。
【００８７】
【数２】
【００８８】
そして、同一領域中の各画素の実際の出力レベルの平均値Ｓと、補正後の積算レベルの平均値とが等しくなるように、各画素の積算レベルを補正する。具体的には、出力レベルの平均値Ｓと積算レベルの平均値Ｓｉとの差（ΔS＝Ｓ−Ｓｉ）を、各画素の積算レベルに加算する。
Br(m,n)＝Bi(m,n)+ΔS
このように、個々の画素の積算レベルを補正することにより、輝度誤差の低減した画像を生成することができる。
なお、第１動作例においてはこのようなレベル補正方法を示していないため積算結果としての「○」部分が「０」となってしまっている。Ｎ＝１として、画素列毎にレベル補正を行うことにより補正後の「○」部分は「○」相当のレベルに補正される。
【００８９】
次に、図１０及び図１１を参照して、カメラ本体１０とレンズユニット２０との間のデータ伝送を説明する。
図１０及び図１１において、カメラ本体１０の撮像ブロックが、図１の撮像手段１２に相当し、画像処理のブロックが、図１の画像処理手段１３に相当する。また、図１０及び図１１において、レンズユニット２０のブレ補正制御系のブロックが、図１の像シフト手段２２に相当する。なお、レンズユニット２０のレンズ制御系のブロックは、レンズ系の焦点やズームを制御する機能を表す。
【００９０】
実施形態の撮像装置１では、像シフト手段２２として、ブレ補正制御機構を利用することができる。ただし、通常のブレ補正制御機構では、撮像装置１の動きを相殺するようにブレ補正制御されるのに対し、像シフト手段２２は、受光面に対して像位置が所定の方向に所定量だけ移動するように制御される。
【００９１】
また、レンズユニット２０が、複数種類のカメラ本体に取り付け可能な交換レンズである場合、カメラ本体ごとに画素ピッチなどが異なることがある。このため、カメラ本体１０からレンズユニット２０に対して、像シフト手段２２による像位置の移動量などを指示することが必要となることがある。さらに、像シフト手段２２による像位置の像位置の移動前後にそれぞれ受光面上の像を撮像するため、撮像のタイミングと像位置の移動のタイミングを制御する必要もある。
【００９２】
そこで、図１０及び図１１に示す撮像装置１では、カメラ本体１０の画像処理ブロック１３から、受光面の画素間隔を含むデータを、光学データ変換関数として、レンズユニット２０へ出力する。レンズユニット２０は、カメラ本体１０から入力された光学データ変換関数に基づいて、像シフト手段２２の駆動量を決定し、像位置を移動させる。
【００９３】
例えば、カメラ本体１０の撮像ブロック１２の受光面の画素ピッチが２０μｍである場合、カメラ本体１０から画素ピッチが２０μｍであることを指示するデータが、レンズユニット２０に送られる。レンズユニット２０のブレ補正制御系（補正光学系）の駆動量に対する像位置の移動量の割合、即ち、補正光学系の効き率が０．８である場合、１画素ピッチ分のブレ補正制御系の駆動量は、２０÷０．８＝２５（μｍ）と算出される。そして、ブレ補正制御系が２５μｍ駆動されることによって、受光面上で像位置が１画素ピッチの２０μｍだけ移動する。これにより、カメラ本体１０の撮像ブロック１２の受光面の画素ピッチに合わせて、１画素ピッチの像移動を行うことができる。
【００９４】
図１０に示す撮像装置１では、カメラ本体１０の撮像ブロック１２とレンズユニット２０のブレ補正制御系２２とが信号線３０によって接続されている。撮像ブロック１２は、受光面上の像を撮像するタイミングに同期した同期信号を出力する。即ち、撮像するタイミングで信号線３０がイネーブル（有効）となる。この同期信号は信号線３０を通じてブレ補正制御系２２へ伝送される。ブレ補正制御系２２は、同期信号に基づいて像位置を移動させる。これにより、像位置の移動と撮像のタイミングを合わせることができる。
【００９５】
また、図１１に示す撮像装置１では、レンズユニット２０のブレ補正制御系２２とカメラ本体１０の画像処理ブロック１３とが、画像位置変換ブロック３１を介して信号線３０によって接続されている。ブレ補正制御系２２は、像位置を移動させるタイミングに同期した同期信号を出力する。即ち、ブレ補正制御系２２の駆動タイミングで信号線３０がイネーブルとなる。この同期信号は、信号線３０を通じて画像位置変換ブロック３１を介して画像処理ブロック１３へ伝送される。例えば、ブレ補正制御系２２が所定の駆動量だけ駆動して像位置を所定の位置へ移動させたタイミングで、ブレ補正制御系２２が同期信号を出力する。
【００９６】
また、この同期信号と共に、ブレ補正制御系２２の駆動量及び駆動方向も出力し、画像位置変換ブロック３１よって、駆動量が像位置の移動量に相当する画素ピッチ数に変換される。そして、撮像ブロック１２は、同期信号に基づいて受光面上の像を撮像する。続いて、画像処理ブロック１３は、同一画素の像移動前後の出力レベルどうしの差分を算出するとよい。これにより、像位置の移動と撮像のタイミングを合わせて、画素間の出力レベルのばらつきに関係なく、高精度の輝度階調の画像を生成の実現を図ることができる。
【００９７】
（第４動作例）
次に、図１２を参照して、実施形態の撮像装置の第３動作例について説明する。図１２（ａ）及び（ｂ）は、受光面１１を構成する画素のうち、隣接して２次元配列された４つの画素Ａ〜Ｄの拡大図である。
【００９８】
第４動作例では、像シフト手段２２は、図１２（ａ）に示すように、受光面１１上の像の任意の点（以下、「像点」とも称する。）の軌跡が受光面１１上で円軌道Ｒを描くように、受光面１１上で像位置を並進移動させる。図１２（ａ）に示すように、像位置は、受光面１１上の像点が継続的に等速円運動を行うように移動する。この円軌道Ｒの半径は、例えば、画素ピッチの（１／（√２））倍とするとよい。
【００９９】
なお、図１２（ａ）では４つの画素Ａ〜Ｄだけを示すが、受光面１１上の像全体の各点の軌跡が同時に円軌道を描くように、受光面１１全体で像位置は並進移動している。
【０１００】
ここで、図１３（ａ）のタイミングチャートを参照して、撮像タイミングを説明する。図１３（ａ）の線Ｉは同期信号のタイミングを表し、線IIは画素の露光期間を表す。露光期間Ｅａ、Ｅｂ、Ｅｃ及びＥｄは、それぞれ、円軌道Ｒ上を等速円運動している像点が画素Ａ、Ｂ、Ｃ及びＤ上に位置する期間である。これらの露光期間Ｅａ、Ｅｂ、Ｅｃ及びＥｄはまた、図１２（ａ）において像点が円軌道Ｒのうち、画素Ａ上の区間Ｅａ、画素Ｂ上の区間Ｅｂ、画素Ｃ上の区間Ｅｃ、及び画素Ｄ上の区間Ｅｄに位置する期間に相当する。
【０１０１】
そして、図１３（ａ）の露光期間Ｅａ、Ｅｂ、Ｅｃ及びＥｄの中央で、像シフト手段２２から、同期信号Ａ，Ｂ，Ｃ及びＤが出力される。その結果、像点が、図１２（ａ）の区間Ｅａ，Ｅｂ，Ｅｃ及びＥｄそれぞれの中央の位置Ｓａ，Ｓｂ，Ｓｃ及びＳｄに位置するときに受光面上の像が撮像される。
【０１０２】
なお、同期信号Ａ，Ｂ，Ｃ及びＤが出力されてから、実際に撮像されるまでには、遅延時間が生じる。この遅延時間を考慮して、図１３（ｂ）の線IIIで示すように、線IVで示す露光期間Ｅａ、Ｅｂ、Ｅｃ及びＥｄに対して、同期信号Ａ，Ｂ，Ｃ及びＤの出力タイミングを、それぞれの露光期間の中央よりも所定の時間だけ遅らせてもよい。
【０１０３】
また、像シフト手段１３は、同期信号とともに、像点の位置をカメラ本体１０へ出力するとよい。像点の位置は、図１２（ａ）に示すように、４つの画素Ａ〜Ｄの中央を原点としたＸＹ座標によって表すとよい。ここで、図１４のタイミングチャートに同期信号と像点の座標との関係を示す。図１４の線Ｉは同期信号のタイミングを表し、曲線Ｘ及び曲線Ｙは、それぞれ、像点のＸ座標及びＹ座標を表す。線Ｉで示す同期信号Ａの出力タイミングで、そのときの画素Ａ上の像点の座標（ｘａ、ｙａ）が取得される。そして、この座標もカメラ本体１０へ出力される。
なお、ブレ補正のために像位置が移動した場合には、像点の座標として、ブレ補正による像移動量を差し引いた値を出力するとよい。
【０１０４】
また、像点の位置を各画素上の円軌道Ｒ上の区間Ｅａ，Ｅｂ，Ｅｃ及びＥｄそれぞれの平均値の座標として表してもよい。例えば、図１２（ｂ）中の画素Ｃ上の区間Ｅｃの平均値の座標（ｘｃ，ｙｃ）は、下記の（１）式で求められる。
∫（座標）×（存在時間）ｄｔ÷（区間Ｅｄの存在時間） ・・・（１）
【０１０５】
上述した撮像タイミングで受光面上の像を撮像する第４動作例は、以下に説明するように、基本的に第４動作例における図８のフローチャートに対応する。
まず、撮像手段１２は、像点が円軌道Ｒ上の所定部分を移動する前後に、受光面１１上の像をそれぞれ撮像する。具体的には、まず、移動前の撮像として、像点が円軌道Ｒ上の画素ＡのＳａ点に位置するときに受光面１１上の像が撮像される（図８のＳ８０１）。撮像された画像は第１メモリに記憶される（Ｓ８０２）。
【０１０６】
次いで、像点が円軌道Ｒ上を画素ＡのＳａ点から画素ＢのＳｂ点へ移動する（Ｓ８０３）。像点は円軌道Ｒ上で等速円運動しているが、Ｓａ点からＳｂ点へ向かう方向はＸ方向に沿っている。したがって、この移動方向はＸ方向となる。
【０１０７】
次いで、像点が円軌道Ｒ上の画素ＢのＳｂ点に位置するときに受光面１１上の像が撮像される（Ｓ８０４）。撮像された画像は第２メモリに記憶される（Ｓ８０５）。
【０１０８】
続いて、像点は円軌道Ｒ上を画素ＢのＳｂ点から画素ＣのＳｃ点へ移動する（Ｓ８０６）。像点は円軌道Ｒ上で等速円運動しているが、Ｓｂ点からＳｃ点へ向かう方向はＹ方向に沿っている。したがって、この移動方向はＹ方向となる。
【０１０９】
次いで、像点が円軌道Ｒ上の画素ＣのＳｃ点に位置するときに受光面１１上の像が撮像される（Ｓ８０７）。撮像された画像は第３メモリに記憶される（Ｓ８０８）。
【０１１０】
次いで、像点が円軌道上の所定部分をＸ方向移動する前後の同一画素の出力レベルの差分を算出する。そこで、第１及び第２メモリに記憶された出力レベルが読み出されて、Ｘ方向への像位置の移動の前後の撮像時の同一画素の出力レベルどうしの第１の差分が算出される（Ｓ８０９）。
【０１１１】
また、像点が円軌道上の所定部分をＹ方向移動する前後の同一画素の出力レベルの差分を算出する。第１及び第３メモリに記憶された出力レベルが読み出されて、Ｙ方向への像位置の移動の前後の撮像時の同一画素の出力レベルどうしの第２の差分が算出される（Ｓ８１０）。
【０１１２】
次いで、Ｘ方向に配列された画素列について、出力レベルの第１差分を順次に積算して、Ｘ方向に配列された画素列の各画素の第１積算レベルを算出する（Ｓ８１１）。また、Ｙ方向に配列された画素列について、出力レベルの第２差分を順次に積算して、Ｙ方向に配列された画素列の各画素の第２積算レベルを算出する（Ｓ８１２）。
【０１１３】
次いで、各画素の第１及び第２積算レベルに基づいて画像を生成する（Ｓ８１３）。
【０１１４】
このように、第４動作例では、軌跡が円軌道を描くように像位置を移動させることによって、像位置を連続的に移動させることができる。その結果、像位置の位置精度の位置が容易となる。また、継続的に等速直線運動を行うように像位置を移動させることによって、像位置を安定的に移動させることができる。また、像位置の円運動の１周期ごとに、容易に補正を行うことができる。
【０１１５】
上述した実施形態では、本発明を特定の条件で構成した例について説明したが、本発明は種々の変更及び組合せを行うことができ、これに限定されるものではない。上述した実施形態では、像シフト手段が光学系に組み込まれた撮像装置の例を説明したが、本発明では、像シフト手段はこれに限定されない。像シフト手段は、光学系全体をその光軸に直交する方向に変位させるものであってもよいし、撮像手段の受光面を、光学系の光軸に直交する方向に変位させるものであってもよい。
【産業上の利用可能性】
【０１１６】
本発明は、赤外画像用の撮像装置にも、可視画像用の撮像装置にも適用可能である。また、本発明は、中断することなく撮像することが要請されるモニタカメラに用いて好適である。また、本発明は、１画素列で構成された受光面を有するラインセンサにも適用可能である。
【０１１７】
また、本発明は、輝度の低い被写体や、被写体の微小な輝度変化を検出することを目的とする撮像装置に用いて好適である。また、本発明は、画像センシング、外観検査、医療の分野における画像計測に用いて好適である。また、本発明は、天体観測、暗視及び監視といった用途において、低輝度被写体を撮影するのに用いて好適である。
【符号の説明】
【０１１８】
１ 撮像装置
１０ カメラ本体
１１ 受光面
１２ 撮像手段
１３ 画像処理手段
２０ レンズユニット
２１ 光学系
２２ 像シフト手段
２２ａ レンズ
１３１ 差分算出部
１３２ 積算レベル算出部
１３３ 画像生成部
【特許請求の範囲】
【請求項１】
受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面を有する撮像手段と、
前記受光面に被写体の像を結像させることができる光学系と、
前記受光面上で像位置を移動させる像シフト手段と、
前記撮像手段が撮像した画像を処理する画像処理手段と、
を備え、
前記撮像手段は、前記像シフト手段による像位置の移動前後に、前記受光面上の像をそれぞれ撮像し、
前記画像処理手段は、
像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出する差分算出部と、
像位置の移動方向に配列された画素列について、各画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出する積算レベル算出部と、
前記各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する画像生成部と、を有する、
ことを特徴とする撮像装置。
【請求項２】
前記画像処理手段は、前記受光面の少なくとも一部分の領域の各画素の出力レベルの平均値と前記各画素の積算レベルの平均値とが等しくなるように、前記各画素の積算レベルを補正する補正部を更に有する、
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記像シフト手段は、像位置の移動の後、再び像位置の移動前の位置へ像位置を戻し、
前記撮像手段は、像位置を戻した後に、再度受光面上の像を撮像し、
前記画像処理手段は、同一画素について、像位置の移動前の出力レベルと像位置を戻した後の出力レベルとの変動量を算出し、
前記積算レベル算出部は、所定の基準値以上の変動量を有する画素の差分を除外して積算レベルを算出する、
ことを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記撮像手段は、画素が２次元のマトリクス状に配列された受光面を有し、
前記像シフト手段は、前記受光面の画素の第１の配列方向と、前記第１の配列方向に直交する第２の配列方向にそれぞれ像位置を移動させ、
前記差分算出部は、
前記第１の配列方向への像位置の移動の前後の撮像時の同一画素の出力レベルどうしの第１の差分を算出し、かつ、
前記第２の配列方向への像位置の移動の前後の撮像時の同一画素の出力レベルどうしの第２の差分を算出し、
前記積算レベル算出部は、
前記第１の配列方向に配列された第１の画素列について、各画素の出力レベルの第１の差分を順次に積算して、各画素の第１の積算レベルを算出し、かつ、
前記第２の配列方向に配列された第２の画素列について、各画素の出力レベルの第２の差分を順次に積算して、各画素の第２の積算レベルを算出し、
前記画像生成部は、各画素の前記第１及び第２の積算レベルに基づいて画像を生成する、
ことを特徴とする請求項１〜３の何れか一項に記載の撮像装置。
【請求項５】
前記像シフト手段は、前記受光面上の像の任意の点の軌跡が前記受光面上で円軌道を描くように、前記像位置を並進移動させ、
前記撮像手段は、前記像の任意の点が前記円軌道上の所定部分を移動する前後に、前記受光面上の像をそれぞれ撮像し、
前記差分算出部は、前記像の任意の点が前記円軌道上の所定部分を移動する前後の撮像時の同一画素の出力レベルどうしの差分を算出し、
積算レベル算出部は、前記像の任意の点が前記円軌道上の所定部分を移動する前後それぞれの撮像時の前記像の任意の点の位置を結ぶ直線方向を像位置の移動方向として、積算レベルを算出する、
ことを特徴とする請求項１〜３の何れか一項に記載の撮像装置。
【請求項６】
前記像シフト手段は、前記受光面上の像の任意の点が継続的に等速円運動を行うように、前記像位置を移動させる、
ことを特徴とする請求項５記載の撮像装置。
【請求項７】
前記撮像手段及び前記画像処理手段は撮像装置本体を構成し、
前記光学系及び前記像シフト手段は、前記撮像装置本体から着脱自在なレンズユニットを構成し、
前記撮像装置本体は、前記受光面の画素間隔を含むデータを前記レンズユニットへ出力し、
前記像シフト手段は、前記データに基づいて像位置を移動させる、
ことを特徴とする請求項１〜６の何れか一項に記載の撮像装置。
【請求項８】
前記撮像手段は、受光面上の像を撮像するタイミングに同期した同期信号を出力し、
前記像シフト手段は、前記同期信号に基づいて像位置を移動させる、
ことを特徴とする請求項１〜７の何れか一項に記載の撮像装置。
【請求項９】
前記像シフト手段は、像位置を移動させるタイミングに同期した同期信号を出力し、
前記撮像手段は、前記同期信号に基づいて受光面上の像を撮像する、
ことを特徴とする請求項１〜７の何れか一項に記載の撮像装置。
【請求項１０】
前記撮像素子はボロメータあるいはマイクロボロメータである、
ことを特徴とする請求項１〜９記載の撮像装置。
【請求項１１】
受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面を有する撮像手段と、前記受光面に被写体の像を結像させることができる光学系とを備えた撮像装置の画像生成方法であって、
前記受光面上で像位置を移動させ、
像位置の移動前後に、前記受光面上の像をそれぞれ撮像し、
像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出し、
像位置の移動方向に配列された画素列について、各画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出し、
各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する、
ことを特徴とする画像生成方法。
【請求項１２】
赤外線の受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面を有する撮像手段と、
前記受光面に被写体の像を結像させることができる光学系と、
前記受光面上で像位置を移動させる像シフト手段と、
前記撮像手段が撮像した画像を処理する画像処理手段と、
を備え、
前記撮像手段は、前記像シフト手段による像位置の移動前後に、前記受光面上の像をそれぞれ撮像し、
前記画像処理手段は、
像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出する差分算出部と、
像位置の移動方向に配列された画素列について、各画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出する積算レベル算出部と、
前記各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する画像生成部と、を有する、
ことを特徴とする赤外線カメラシステム。
【請求項１３】
撮像装置本体と、前記撮像装置本体に着脱自在なレンズユニットとを備える交換可能なレンズシステムであって、
前記撮像装置本体は、
受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面を有する撮像手段と、
前記撮像手段が撮像した画像を処理する画像処理手段と、を備え、
前記レンズユニットは、受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面を有する撮像手段と、
前記受光面に被写体の像を結像させることができる光学系と、
前記受光面上で像位置を移動させる像シフト手段と、を備え、
前記撮像手段は、前記像シフト手段による像位置の移動の前後に、前記受光面上の像をそれぞれ撮像し、
前記画像処理手段は、
像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出する差分算出部と、
像位置の移動方向に配列された画素列について、各画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出する積算レベル算出部と、
前記各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する画像生成部と、を有する、
ことを特徴とする交換可能なレンズシステム。
【請求項１】
受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面を有する撮像手段と、
前記受光面に被写体の像を結像させることができる光学系と、
前記受光面上で像位置を移動させる像シフト手段と、
前記撮像手段が撮像した画像を処理する画像処理手段と、
を備え、
前記撮像手段は、前記像シフト手段による像位置の移動前後に、前記受光面上の像をそれぞれ撮像し、
前記画像処理手段は、
像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出する差分算出部と、
像位置の移動方向に配列された画素列について、各画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出する積算レベル算出部と、
前記各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する画像生成部と、を有する、
ことを特徴とする撮像装置。
【請求項２】
前記画像処理手段は、前記受光面の少なくとも一部分の領域の各画素の出力レベルの平均値と前記各画素の積算レベルの平均値とが等しくなるように、前記各画素の積算レベルを補正する補正部を更に有する、
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記像シフト手段は、像位置の移動の後、再び像位置の移動前の位置へ像位置を戻し、
前記撮像手段は、像位置を戻した後に、再度受光面上の像を撮像し、
前記画像処理手段は、同一画素について、像位置の移動前の出力レベルと像位置を戻した後の出力レベルとの変動量を算出し、
前記積算レベル算出部は、所定の基準値以上の変動量を有する画素の差分を除外して積算レベルを算出する、
ことを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記撮像手段は、画素が２次元のマトリクス状に配列された受光面を有し、
前記像シフト手段は、前記受光面の画素の第１の配列方向と、前記第１の配列方向に直交する第２の配列方向にそれぞれ像位置を移動させ、
前記差分算出部は、
前記第１の配列方向への像位置の移動の前後の撮像時の同一画素の出力レベルどうしの第１の差分を算出し、かつ、
前記第２の配列方向への像位置の移動の前後の撮像時の同一画素の出力レベルどうしの第２の差分を算出し、
前記積算レベル算出部は、
前記第１の配列方向に配列された第１の画素列について、各画素の出力レベルの第１の差分を順次に積算して、各画素の第１の積算レベルを算出し、かつ、
前記第２の配列方向に配列された第２の画素列について、各画素の出力レベルの第２の差分を順次に積算して、各画素の第２の積算レベルを算出し、
前記画像生成部は、各画素の前記第１及び第２の積算レベルに基づいて画像を生成する、
ことを特徴とする請求項１〜３の何れか一項に記載の撮像装置。
【請求項５】
前記像シフト手段は、前記受光面上の像の任意の点の軌跡が前記受光面上で円軌道を描くように、前記像位置を並進移動させ、
前記撮像手段は、前記像の任意の点が前記円軌道上の所定部分を移動する前後に、前記受光面上の像をそれぞれ撮像し、
前記差分算出部は、前記像の任意の点が前記円軌道上の所定部分を移動する前後の撮像時の同一画素の出力レベルどうしの差分を算出し、
積算レベル算出部は、前記像の任意の点が前記円軌道上の所定部分を移動する前後それぞれの撮像時の前記像の任意の点の位置を結ぶ直線方向を像位置の移動方向として、積算レベルを算出する、
ことを特徴とする請求項１〜３の何れか一項に記載の撮像装置。
【請求項６】
前記像シフト手段は、前記受光面上の像の任意の点が継続的に等速円運動を行うように、前記像位置を移動させる、
ことを特徴とする請求項５記載の撮像装置。
【請求項７】
前記撮像手段及び前記画像処理手段は撮像装置本体を構成し、
前記光学系及び前記像シフト手段は、前記撮像装置本体から着脱自在なレンズユニットを構成し、
前記撮像装置本体は、前記受光面の画素間隔を含むデータを前記レンズユニットへ出力し、
前記像シフト手段は、前記データに基づいて像位置を移動させる、
ことを特徴とする請求項１〜６の何れか一項に記載の撮像装置。
【請求項８】
前記撮像手段は、受光面上の像を撮像するタイミングに同期した同期信号を出力し、
前記像シフト手段は、前記同期信号に基づいて像位置を移動させる、
ことを特徴とする請求項１〜７の何れか一項に記載の撮像装置。
【請求項９】
前記像シフト手段は、像位置を移動させるタイミングに同期した同期信号を出力し、
前記撮像手段は、前記同期信号に基づいて受光面上の像を撮像する、
ことを特徴とする請求項１〜７の何れか一項に記載の撮像装置。
【請求項１０】
前記撮像素子はボロメータあるいはマイクロボロメータである、
ことを特徴とする請求項１〜９記載の撮像装置。
【請求項１１】
受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面を有する撮像手段と、前記受光面に被写体の像を結像させることができる光学系とを備えた撮像装置の画像生成方法であって、
前記受光面上で像位置を移動させ、
像位置の移動前後に、前記受光面上の像をそれぞれ撮像し、
像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出し、
像位置の移動方向に配列された画素列について、各画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出し、
各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する、
ことを特徴とする画像生成方法。
【請求項１２】
赤外線の受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面を有する撮像手段と、
前記受光面に被写体の像を結像させることができる光学系と、
前記受光面上で像位置を移動させる像シフト手段と、
前記撮像手段が撮像した画像を処理する画像処理手段と、
を備え、
前記撮像手段は、前記像シフト手段による像位置の移動前後に、前記受光面上の像をそれぞれ撮像し、
前記画像処理手段は、
像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出する差分算出部と、
像位置の移動方向に配列された画素列について、各画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出する積算レベル算出部と、
前記各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する画像生成部と、を有する、
ことを特徴とする赤外線カメラシステム。
【請求項１３】
撮像装置本体と、前記撮像装置本体に着脱自在なレンズユニットとを備える交換可能なレンズシステムであって、
前記撮像装置本体は、
受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面を有する撮像手段と、
前記撮像手段が撮像した画像を処理する画像処理手段と、を備え、
前記レンズユニットは、受光強度に応じた出力レベルの電気信号を出力する撮像素子で構成された画素を配列した受光面を有する撮像手段と、
前記受光面に被写体の像を結像させることができる光学系と、
前記受光面上で像位置を移動させる像シフト手段と、を備え、
前記撮像手段は、前記像シフト手段による像位置の移動の前後に、前記受光面上の像をそれぞれ撮像し、
前記画像処理手段は、
像位置の移動の前後の撮像時の同一画素の出力レベルどうしの差分を算出する差分算出部と、
像位置の移動方向に配列された画素列について、各画素の出力レベルの差分を順次に積算して、各画素の積算レベルを算出する積算レベル算出部と、
前記各画素の出力レベルの代わりに、各画素の積算レベルに基づいて画像を生成する画像生成部と、を有する、
ことを特徴とする交換可能なレンズシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−２３５２４９（Ｐ２０１２−２３５２４９Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０１４８２（Ｐ２０１１−１０１４８２）
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（０００１３３２２７）株式会社タムロン (355)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（０００１３３２２７）株式会社タムロン (355)
【Ｆターム（参考）】
[ Back to top ]