撮像センサ
【課題】 ＯＰＬＦを用いることなく結像光学系の光学特性を活かした撮像装置を実現することのできる撮像センサを提供する。
【解決手段】 撮像センサはＲ，Ｇ，Ｂの三原色に感度を有する３種類の複数の受光素子がベイヤー型に配置された受光部を有している。受光部は画素位置（ｉ，ｊ）にフォトダイオードからなる受光素子ＰＤij（i=1,2,…、j=1,2,…）を配置し、Ｒ，Ｇ，Ｂの各色毎に、同一色の隣り合う４個の受光素子ＰＤijをそれぞれ１つのフローティングディフュージョンアンプからなる増幅回路ＦＤＡ(q)（ｑ＝Ｒ，Ｇ，Ｂ）に接続した構成となっている。各増幅回路ＦＤＡ(q)は対応する色の出力ラインＬR，ＬG，ＬBに接続されている。露光によって各受光素子ＰＤijで得られた電気信号は、各色毎に、隣り合う４個の電気信号が増幅回路ＦＤＡ(q)で加算されて出力ラインＬR，ＬG，ＬBから順次、出力される。
【解決手段】 撮像センサはＲ，Ｇ，Ｂの三原色に感度を有する３種類の複数の受光素子がベイヤー型に配置された受光部を有している。受光部は画素位置（ｉ，ｊ）にフォトダイオードからなる受光素子ＰＤij（i=1,2,…、j=1,2,…）を配置し、Ｒ，Ｇ，Ｂの各色毎に、同一色の隣り合う４個の受光素子ＰＤijをそれぞれ１つのフローティングディフュージョンアンプからなる増幅回路ＦＤＡ(q)（ｑ＝Ｒ，Ｇ，Ｂ）に接続した構成となっている。各増幅回路ＦＤＡ(q)は対応する色の出力ラインＬR，ＬG，ＬBに接続されている。露光によって各受光素子ＰＤijで得られた電気信号は、各色毎に、隣り合う４個の電気信号が増幅回路ＦＤＡ(q)で加算されて出力ラインＬR，ＬG，ＬBから順次、出力される。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、光像を電気信号に変換してカラー画像を得る単板式カラー撮像センサに関するものである。
【０００２】
【従来の技術】図３１は従来の単板式カラー撮像センサを用いた撮像装置の概略構成を示す図であり、図３２は単板式カラー撮像センサの各画素に設けられた色フィルタの配列を示す図である。
【０００３】撮像装置１００は、結像光学系１０１、光学ローパスフィルタ１０２（以下、ＯＰＬＦという。）、撮像センサ１０３、信号処理部１０４及び画像メモリ１０５を備えている。
【０００４】撮像センサ１０３は、単板式カラー撮像センサからなり、各画素には図３２に示すように、色フィルタ１０３Ｒ，１０３Ｇ，１０３Ｂが設けられている。画素位置を（ｉ，ｊ）で表すとすると、Ｇの色フィルタは、（２ｋ−１，２ｈ）（但し、ｋ＝１，２，…（ｎ＋１）／２、ｈ＝１，２，…（ｍ−１）／２），（２ｋ，２ｈ−１）（但し、ｋ＝１，２，…（ｎ−１）／２、ｈ＝１，２，…（ｍ＋１）／２）の画素に設けられ、Ｒの色フィルタは（２ｋ−１，２ｈ−１）（但し、ｋ＝１，２，…（ｎ＋１）／２、ｈ＝１，２，…（ｍ＋１）／２）の画素に設けられ、Ｂの色フィルタは（２ｋ，２ｈ）（但し、ｋ＝１，２，…（ｎ−１）／２、ｈ＝１，２，…（ｍ−１）／２）の画素に設けられている。被写体光像は結像光学系１０１により撮像センサ１０３の撮像面に結像され、撮像センサ１０３を所定時間だけ露光することによりその露光光量が画像信号に光電変換され、カラーの電気画像として取り込まれる。そして、画像信号は、色成分毎に信号処理部１０４で所定の信号処理（サンプリングノイズの低減、信号レベルの調整、Ａ／Ｄ変換、ホワイトバランス調整、γ補正等）が行なわれた後、画像メモリ１０５に記憶される。
【０００５】単板式カラー撮像センサは撮像面にＲ，Ｇ，Ｂの色成分を受光する画素が所定のピッチで離散的に配列されているため、各色成分の画像信号は当該撮像面に結像される光像を二次元的にサンプリングしたものとなる。従って、単板式カラー撮像センサから出力される各色成分の画像信号には当該サンプリングに伴う折り返し歪みが生じる。そこで、かかる不具合を低減するため、結像光学系１０１と撮像センサ１０３との間に当該撮像センサ１０３に結像される光像の高周波成分のうち、サンプリング周波数ｆsの１／２以上の成分を除去するＯＰＬＦ１０２が設けられている。
【０００６】一般に、図３３に示すように、複数の画素ｇが格子状に配列された撮像センサ１０３で明暗が正弦波状に変化する縦縞光像１０６を受光した場合、各画素の出力信号（以下、画素信号という。）のレベルは、当該画素ｇの受光面における平均像面照度Ｉaveに対応する。
【０００７】図３４は、撮像センサ１０３の各画素の受光面における平均像面照度Ｉaveを算出するための一次元モデルを示す図である。
【０００８】同図に示すモデルは、複数の画素ｇが横方向に一列に並び、これらの画素gに対して周波数ｆで明暗が正弦波状に変化する光像１０６が、当該光像１０６のピークが中央の画素ｇ（図中、斜線で示す画素）の中心に一致するように照射されているものである。同図において、横方向の画素ピッチをＰs、サンプリング周波数をｆs（＝１／Ｐs）、画素ピッチＰsに対する画素ｇの横方向寸法の比率（画素開口率）をａ、中央の画素ｇの中心を横方向の位置ｘの座標基準０として周波数ｆで明暗が変化する縦縞光像１０６の像面照度の特性をｙ＝cos（２πｆｘ）とすると、中央の画素ｇの受光面における平均像面照度Ｉaveは、下記（１）式のようになる。
【０００９】
【数１】
【００１０】上記（１）式は、縦縞光像１０６の明暗の周波数ｆの関数であるから、撮像センサ１０３の出力信号の周波数応答特性Ｒs(f)を示すものである。
【００１１】そして、ａ＝１．０とし、上記（１）式を用いて画素開口率ａが最大の場合の周波数応答特性Ｒs(f)を算出すると、図３５の特性■のようになる。
【００１２】周知のように、信号の標本化において、標本化定理（周波数帯域Ｗで制限された信号は、２Ｗ以上の周波数でサンプリングすれば、サンプリング値から元の信号が完全に復元できるという定理）が満足されない場合、復調した信号に折り返し成分が混入する。このことは、例えば図３３の例においては、縦縞光像１０６の周波数成分のうち、ｆs／２以上の成分が撮像センサ１０３で撮影した画像に混入することを意味している。従って、撮像センサ１０３に結像される光像の周波数成分のうち、ｆs／２以上の成分を除去して撮影画像に折り返し歪みが混入しないようにする必要がある。
【００１３】図３２のようにモザイク状に色フィルタが配列された単板式カラー撮像センサ１０３においては、例えば横方向の隣接する画素のピッチをＰHとすると、Ｇの画素の横の配列ピッチＰHGはＰHG＝ＰHとなり、Ｒ，Ｂの画素の横の配列ピッチＰHR，ＰHBはＰHR＝ＰHB＝２ＰHとなる。すなわち、Ｇの色成分については、横方向のサンプリング周波数ｆHGは画素ピッチＰHに基づくサンプリング周波数ｆH（＝１／ＰH）に等しく、Ｒ，Ｂの色成分については、横方向のサンプリング周波数ｆHR，ｆHBはｆH／２に等しい。
【００１４】従って、上記（１）式にｆs＝ｆHを代入すれば、Ｇの色成分の周波数応答特性ＲSG(f)が下記(２)のように得られ、上記（１）式にｆs＝ｆH／２を代入すれば、Ｒ，Ｇの色成分の周波数応答特性ＲSR(f)，ＲSB(f)が下記（３）式のように得られる。
【００１５】
【数２】
【００１６】そして、例えば撮像センサ１０３で縦縞光像１０６を撮影した場合、Ｇの色成分は、縦縞光像１０６の周波数成分のうち、ｆH／２までが撮影画像として再現され、ｆH／２以上の周波数成分は折り返し成分となる。すなわち、図３５において、ｆs＝ｆHとすると、特性■はＧの色成分に対する周波数応答特性ＲSG(f)となるが、０．５≦ｆ／ｆH＜１．０の部分は特性■に示すように折り返し成分となって０≦ｆ／ｆH≦０．５の周波数応答特性に混入することになる。また、図３５において、ｆs＝ｆH／２とすると、特性■はＲ，Ｂの色成分に対する周波数応答特性ＲHG(f)となるが、０．５≦２ｆ／ｆH＜１．０の部分、すなわち、０．２５≦ｆ／ｆH＜０．５の部分は特性■に示すように折り返し成分となって０≦ｆ／ｆH≦０．２５の周波数応答特性に混入することになる。
【００１７】単板式カラー撮像センサ１０３の画素毎にマイクロレンズを設けて画素開口率ａを大きくすれば、Ｇの色成分の折り返し歪みは問題とならない程度に小さくすることができるが、図３５に示すように、Ｒ，Ｂの色成分の折り返し成分は大きいため、十分に抑制することはできず、却ってＲ，Ｂの色成分の折り返し成分による偽解像が強くなる。このため、従来の撮像装置１００では、図３６に示すcos(πｆ／ｆs）の周波数応答特性ＲOPLF(f)を有する複屈折を利用したＯＰＬＦ１０２を設け、撮像面に結像される光像の折り返し成分を効果的に減衰させるようにしている。
【００１８】なお、ＯＰＬＦ１０２の周波数応答特性ＲOPLF(f)は、以下のように算出される。
【００１９】すなわち、図３７に示すように、結合光学系１０１を透過した光線は、ＯＰＬＦ１０２によって２つに分離され、撮像センサ１０３に結像される。図３４の例において、ｙ＝cos（２πｆｘ）の周波数特性を有する縦縞光像１０６が、図３８に示すように、ＯＰＬＦ１０２によって±ｄ／２だけずれて撮像センサ１０３に照射されるとすると、両光像の平均値が撮像センサ１０３の撮像面に照射された光像となる。
【００２０】＋ｄ／２ずれた光像の周波数特性■はｙ＝cos[２πｆ（ｘ−ｄ／２）]、−ｄ／２ずれた光像の周波数特性■はｙ＝cos[２πｆ（ｘ＋ｄ／２）]であるから、両光像の平均値の周波数特性はｙ＝〔cos[２πｆ（ｘ−ｄ／２）]＋cos[２πｆ（ｘ＋ｄ／２）]〕／２＝cos（πｆｄ）・cos（２πｆｘ）となる。すなわち、ＯＰＬＦ１０２は、入射する縦縞光像１０６をゲインcos（πｆｄ）で増幅するフィルタとなる。従って、光像の分離量ｄをＰs（＝１／ｆs）に設定すると、上述したＯＰＬＦ１０２の周波数応答特性ＲOPLF(f)＝cos（πｆ／ｆs）が得られる。
【００２１】結像光学系１０１が、Ｒ，Ｇ，Ｂの各色成分に対して図３９に示す周波数応答特性Ｒopt(f)を有しているとすると、例えば撮像装置１００全体としての周波数特性ＲR(f)，ＲG(f)，ＲB(f)は、図３５に示す撮像センサ１０３の周波数応答特性Ｒs(f)に結像光学系１０１の周波数応答特性Ｒopt(f)と図３６に示すＯＰＬＦ１０２の周波数応答特性ＲOPLF(f)とを掛け合わせた特性となるから、図４０に示すようになる。
【００２２】図４０から明らかなように、０．５≦２ｆ／ｆs＜１．０では周波数特性Ｒ(f）が略０となり、この部分の折り返し成分が０≦ｆ／ｆs≦０．５の周波数応答に混入しないようになっている。
【００２３】
【発明が解決しようとする課題】ところで、上記従来の撮像装置では、結像光学系１０１と撮像センサ１０３との間にＯＰＬＦ１０２を設けて、結像光学系１０１によって撮像センサ１０３の撮像面に結像される光像の折り返し成分を低減するようにしているので、撮像装置１００の部品点数が多く、コスト的に不利である。
【００２４】本発明は、上記課題に鑑みてなされたもので、ＯＰＬＦを用いることなく結像光学系の光学特性を活かした撮像装置を実現することのできる撮像センサを提供するものである。
【００２５】
【課題を解決するための手段】請求項１記載の発明は、互いに異なる色に感度を有する少なくとも２種類の複数の受光素子が水平方向及び垂直方向に同一色が隣接しないように交互に配置されてなる受光部を備えた撮像センサであって、露光によって上記受光部の各受光素子で得られた電荷を、各色毎に、隣り合う所定数の電荷毎に統合する電荷統合手段と、上記電荷統合手段で統合された電荷を、各色に分離して外部に順次、読み出す電荷読出手段とを備えたものである。
【００２６】なお、上記電荷統合手段で統合される電荷の所定数は４の整数倍の数にするとよい（請求項２）。また、上記電荷統合手段で統合される電荷を発生する所定数の受光素子は二次元的に配置されているとよい（請求項３）。また、上記受光部は赤、緑、青の三原色に感度を有する３種類の複数の受光素子をベイヤー型に配置したものであるとよい（請求項４）。
【００２７】上記構成によれば、露光によって受光部の各受光素子で得られた電荷は、各色毎に、隣り合う所定数の電荷毎に統合される。そして、統合された電荷は順次、外部に読み出される。ここに、「統合」とは、所定数の電荷を１つにすることをいい、当該電荷が電圧信号として扱われる場合の各電圧レベルを加算し、必要に応じて増幅する処理や当該電荷が電荷量として扱われる場合の各電荷量を加算する処理を含む。
【００２８】例えば受光部が赤、緑、青の三原色に感度を有する３種類の複数の受光素子をベイヤー型に配置したものでは、各色毎に、例えば二次元的に隣り合って配置された４個の受光素子を一組として、各組毎に４個の受光素子で得られた電荷が統合される。そして、統合された各組の電荷は順次、色分離されて外部に読み出される。
【００２９】請求項５記載の発明は、請求項１〜４のいずれかに記載された撮像装置において、上記電荷統合手段は、統合すべき電荷を発生する所定数の受光素子が接続され、当該所定数の受光素子で得られた電荷を電圧に変換して加算するフローティングディフュージョンアンプからなり、上記電荷読出手段は、上記フローティングディフュージョンアンプからの電圧信号の出力を制御するものである。
【００３０】上記構成によれば、統合すべき電荷を発生する所定数の受光素子はそれぞれフローティングディフュージョンアンプに接続されており、露光によってこれらの受光素子で得られた電荷はフローティングディフュージョンアンプで電圧信号に変換されて加算（ゲインが設定されている場合は、併せて増幅）される。そして、フローティングディフュージョンアンプからの電圧信号の出力を制御することにより、統合された電荷に対応する電圧信号が、色分離されて順次、外部に出力される。
【００３１】請求項６記載の発明は、請求項１〜４のいずれかに記載された撮像装置において、上記受光素子の列毎に隣設され、各列の受光素子で得られた電荷を垂直方向に順次、転送する複数の垂直転送手段と、上記複数の垂直転送手段の下端に設けられ、当該垂直転送手段で転送された電荷を水平方向に順次、転送して外部に出力する水平転送手段と、各列の上記受光素子で得られた電荷を、統合すべき電荷が加算されるタイミングで順次、上記垂直転送手段に転送させ、且つ、各垂直転送手段で転送される電荷を、統合すべき加算された電荷が同時に上記水平転送手段に到達するように、上記電荷の垂直転送手段への転送および当該垂直転送手段での電荷の転送を制御する第１の転送制御手段と、上記各垂直転送手段で順次、転送された統合すべき複数の加算された電荷を更に加算するように、上記水平転送手段での電荷の転送を制御する第２の転送制御手段とからなり、上記電荷読出手段は、上記水平転送手段で加算された電荷を順次、外部に出力するものである。
【００３２】例えば受光部が赤、緑、青の三原色に感度を有する３種類の複数の受光素子をベイヤー型に配置したもので、各色毎に、例えば二次元的に隣り合って配置された４個の受光素子を一組として、当該４個の受光素子で得られた電荷が統合される場合の、２行２列に配列されている４個一組のＲの受光素子Ｒ11，R12，Ｒ13，Ｒ14（Ｒ11，R13は第１列に上下に配置され、Ｒ12，R14は第２列に上下に配置されているとする）で得られた電荷を統合する場合を例に取ると、上記構成によれば、露光によって受光素子Ｒ11，R12，Ｒ13，Ｒ14でそれぞれ得られた電荷Ｑr11，Ｑr12，Ｑr13，Ｑr14は、まず、受光素子Ｒ11，R12で得られた電荷Ｑr11，Ｑr12が垂直転送手段に読み出される。
【００３３】垂直転送手段に読み出された電荷Ｑr11，Ｑr12は下方向に転送され、電荷Ｑr11，Ｑr12が受光素子Ｒ13，R14で得られた電荷Ｑr13，Ｑr14の読出位置に移動したタイミングで当該電荷Ｑr13，Ｑr14が垂直転送手段に読み出され、これにより電荷Ｑr11と電荷Ｑr13、電荷Ｑr12と電荷Ｑr14とがそれぞれ加算されて垂直転送用の電荷（Ｑr11＋Ｑr13），（Ｑr12＋Ｑr14）とされる。そして、加算された電荷（Ｑr11＋Ｑr13），（Ｑr12＋Ｑr14）は垂直転送手段で下方向に転送され、水平転送手段に同時に到達すると、当該水平転送手段で更に加算されて水平転送用の電荷（Ｑr11＋Ｑr13＋Ｑr12＋Ｑr14）とされ、この１つに統合された電荷（Ｑr11＋Ｑr13＋Ｑr12＋Ｑr14）が外部に読み出される。
【００３４】
【発明の実施の形態】図１は、本発明に係る単板式カラー撮像センサを用いた撮像装置の第１実施形態の概略構成を示す図である。
【００３５】撮像装置１は、結像光学系２、ＭＯＳ（Metal Oxside Semiconductor）型撮像センサ３、信号処理部４及び画像メモリ５で構成されている。本実施形態に係る撮像装置１は、後述するように撮像センサ３の構成を改良することで結像光学系２と撮像センサ３との間にＯＬＰＦを設けなくてもよい構成となっている。
【００３６】撮像センサ３は、フローティングディフュージョンアンプを備えた増幅型ＭＯＳ型撮像センサからなる単板式カラー撮像センサで構成されている。撮像センサ３の各画素には図２に示す配列で色フィルタが設けられている。なお、図２は、説明の便宜上、８×８画素分についてのみ表示している。また、撮像センサ３は、画素サイズが、図３２に示す従来の撮像装置１００の撮像センサ１０３の画素サイズの１／２（面積で１／４）となっており、Ｒ，Ｇ，Ｂの色フィルタの配列は撮像センサ１０３と同一のベイヤー方式となっている。
【００３７】図３は、撮像センサ３の具体的な回路構成を示す図である。同図は、図２の画素配列における左上隅の４×４の領域（画素位置（１，１）〜（４，４）の部分）の回路構成を示したものである。
【００３８】図３において、ＰＤij（ｉ＝１，２，…、ｊ＝１，２，…）は、画素位置（ｉ，ｊ）の受光素子であり、ＦＤＡ（Ｒ），ＦＤＡ（Ｇ），ＦＤＡ（Ｂ）は、フローティングディフュージョンアンプ（以下、増幅回路という。）である。そして、複数の受光素子全体は本発明に係る受光部に相当している。Ｒ，Ｇ，Ｂの各受光素子ＰＤijは、同一色の隣り合う４個を１組として１つの増幅回路ＦＤＡ(q)（ｑ＝Ｒ，Ｇ，Ｂ）に接続され、各増幅回路ＦＤＡ（ｑ）は対応する色の出力ラインＬR，ＬG，ＬBに接続されている。すなわち、Ｒの受光素子ＰＤ11，ＰＤ13，ＰＤ31，ＰＤ33は増幅回路ＦＤＡ（Ｒ）に接続され、この増幅回路ＦＤＡ（Ｒ）は出力ラインＬRに接続されている。また、Ｇの受光素子ＰＤ12，ＰＤ21，ＰＤ23，ＰＤ32は増幅回路部ＦＤＡ（Ｇ）に接続され、この増幅回路ＦＤＡ（Ｇ）は出力ラインＬGに接続されている。また、Ｂの受光素子ＰＤ22，ＰＤ24，ＰＤ42，ＰＤ44は増幅回路ＦＤＡ（Ｂ）に接続され、この増幅回路ＦＤＡ（Ｂ）は出力ラインＬBに接続されている。
【００３９】受光素子ＰＤijは、図４（ａ）に示すようにｐｎフォトダイオード３１からなり、これに直列接続されるＭＯＳ型ＦＥＴ（Field Effect Transistor）からなるスイッチ素子３２を含んでいる。具体的には、同図（ｂ）に示すように、ｎ基板３１１の上にｐ−ウェル（ｗｅｌｌ）３１２を形成し、その上にｐｎ接合でｎフォトダイオード３１３が形成されるとともに、ｎフォトダイオード３１３に所定の間隔を設けてｎ+フローティングディフュージョン（floating diffusion）領域３１４（以下、ＦＤ領域３１４という。）が形成されている。更にｎフォトダイオード３１３からＦＤ領域３１４に亘るｐ−ウェル３１２の表面にゲート酸化膜３１５が形成され、このゲート酸化膜３１４のｎフォトダイオード３１３とＦＤ領域３１４との隙間部分に対応する位置に電極３１６が形成されている。この電極３１６はＭＯＳ型ＦＥＴ３２のゲートに相当し、水平読出信号ＳHが入力される端子となっている。また、ＦＤ領域３１４は増幅回路ＦＤＡ（ｑ）（ｑ＝Ｒ，Ｇ，Ｂ）のＭＯＳ型ＦＥＴからなるソースフォロアアンプ３４のゲートに接続されている。
【００４０】また、増幅回路ＦＤＡ（ｑ）は、ＭＯＳ型ＦＥＴからなるソースフォロアアンプ３４と、ＦＤ領域３１４の電荷蓄積をリセットするためのＭＯＳ型ＦＥＴ３３と、ソースフォロアアンプ３４から出力ラインＬq（ｑ＝Ｒ，Ｇ，Ｂ）への信号出力を制御するためのＭＯＳ型ＦＥＴからなるスイッチ素子３５とを含む。
【００４１】なお、図４では、１個の増幅回路ＦＤＡ（ｑ）に１個の受光素子ＰＤijが接続された構成を示しているが、上述したように、本実施形態に係る撮像センサ３では１個の増幅回路ＦＤＡ（ｑ）に４個一組の同一色の受光素子ＰＤijが接続されている。例えば図４（ａ）の増幅回路ＦＤＡ（ｑ）をＲの増幅回路ＦＤＡ（Ｒ）、出力ラインＬqをＲの出力ラインＬRとすると、増幅回路ＦＤＡ（ｑ）のｃ点には４個の受光素子ＰＤ11，ＰＤ13，ＰＤ31，ＰＤ33のＦＤ領域３１４がそれぞれ接続されている。Ｇ，Ｂの増幅回路ＦＤＡ（Ｇ），ＦＤＡ（Ｂ）についても同様である。
【００４２】撮像センサ３の撮像動作においては、例えばＲの増幅回路ＦＤＡ（Ｒ）のリセット用ＭＯＳ型ＦＥＴ３３に駆動制御部６からハイの制御パルスＳRSが入力され、これにより増幅回路ＦＤＡ（Ｒ）に接続されている４個の受光素子ＰＤ11，ＰＤ13，ＰＤ31，ＰＤ33の各ＦＤ領域３１４の電位が電源電圧ＶDDにリセットされる。制御パルスＳRSがローになると、ＭＯＳ型ＦＥＴ３３がオフになり、受光素子ＰＤ11，ＰＤ13，ＰＤ31，ＰＤ33の各ＦＤ領域３１４の電位はフローティング状態となる。一方、ｎフォトダイオード３１３に入射した光エネルギーは電荷に変換されてｎフォトダイオード３１３の下部の空之層３１３ａに蓄積される。各ＦＤ領域３１４の電位が電圧ＶDDにリセットされた後、各電極３１６に駆動制御部６からハイの制御パルスＳHが入力されると、受光素子ＰＤ11，ＰＤ13，ＰＤ31，ＰＤ33では空之層３１３ａとＦＤ領域３１４との間の電位障壁が無くなり、空之層３１３ａに蓄積された電荷（受光光量に比例した電荷）がＦＤ領域３１４に注入され、これによりＦＤ領域３１４の電位が変化する。
【００４３】空之層３１３ａの蓄積電荷が完全にＦＤ領域３１４に転送されるタイミングでＭＯＳ型ＦＥＴ３５に駆動制御部６からハイの制御パルスＳVが入力されると、受光素子ＰＤ11，ＰＤ13，ＰＤ31，ＰＤ33の各ＦＤ領域３１４の電圧（受光光量に比例した電圧）がｃ点で加算され、ソースフォロアアンプ３４で増幅されてＭＯＳ型ＦＥＴ３５を介して出力ラインＬRに出力される。すなわち、４個の画素Ｒ11，Ｒ13，Ｒ31，Ｒ33の受光光量を加算した光量に対応する信号（電圧信号）が出力ラインＬRから出力される。
【００４４】Ｇの４個の受光素子ＰＤ12，ＰＤ21，ＰＤ23，ＰＤ32と増幅回路ＦＤＡ（Ｇ）やＢの４個の受光素子ＰＤ22，ＰＤ24，ＰＤ42，ＰＤ44と増幅回路ＦＤＡ（Ｂ）についても、上述したＲの４個の受光素子ＰＤ11，ＰＤ13，ＰＤ31，ＰＤ33と増幅回路ＦＤＡ（Ｒ）の動作と同様の動作が行なわれ、出力ラインＬGから４個の画素Ｇ12，Ｇ21，Ｇ23，Ｇ32の受光光量を加算した光量に対応する信号（電圧信号）が出力され、出力ラインＬBから４個の画素Ｂ22，Ｂ24，Ｂ42，Ｂ44の受光光量を加算した光量に対応する信号（電圧信号）が出力される。
【００４５】上述したように、第１実施形態に係る撮像センサ３は、各画素の受光面積は従来の撮像センサ１０３の各画素の受光面積の１／４であるが、各色毎に、隣り合う４個の画素を１組とし、これらの画素で受光した光量の積算値をフローティングディフュージョンアンプで増幅して出力させるようにしているので、４画素１組が従来の撮像センサ１０３の１画素に対応し、従来の撮像センサ１０３と比較して著しくダイナミックレンジが低下したり、ノイズが増加するようなことはない。
【００４６】図５〜図７は、それぞれＲ，Ｂ，Ｇの色成分について、従来の撮像センサ１０３の各画素の受光信号と本実施形態に係る撮像センサ３の実質的な受光信号との対応関係を示したものである。図５〜図７において、（ａ）は従来の撮像センサ１０３の画素配置であり、（ｂ）は本実施形態に係る撮像センサ３の画素配置である。なお、説明の便宜上、図５（ｂ）、図７（ｂ）は左上隅の４×８画素の範囲だけを示し、図６（ｂ）は左上隅の５×９画素の範囲だけを示している。
【００４７】Ｒの色成分は、図５（ｂ）に示すように、範囲Ａ１内にある画素位置（１，１），（１，３），（３，１），（３，３）の画素Ｒ11，Ｒ13，Ｒ31，Ｒ33の受光信号を加算した信号、範囲Ａ２内にある画素位置（１，５），（１，７），（３，５），（３，７）の画素Ｒ15，Ｒ17，Ｒ35，Ｒ37の受光信号を加算した信号が、それぞれ同図（ａ）に示す従来の撮像センサ１０３の画素位置（１，１），（１，３）の画素Ｒ11，Ｒ13の受光信号に対応する。
【００４８】Ｂの色成分は、図６（ｂ）に示すように、範囲Ｂ１内にある画素位置（２，２），（２，４），（４，２），（４，４）の画素Ｂ22，Ｂ24，Ｂ42，Ｂ44の受光信号を加算した信号、範囲Ｂ２内にある画素位置（２，６），（２，８），（４，６），（４，８）の画素Ｂ26，Ｂ28，Ｂ46，Ｂ48の受光信号を加算した信号が、それぞれ同図（ａ）に示す従来の撮像センサ１０３の画素位置（２，２），（２，４）の画素Ｂ22，Ｂ24の受光信号に対応する。
【００４９】Ｇの色成分は、図７（ｂ）に示すように、範囲Ｃ１内にある画素位置（１，２），（２，１），（２，３），（３，２）の画素Ｇ12，Ｇ21，Ｇ23，Ｇ32の受光信号を加算した信号、範囲Ｃ２内にある画素位置（１，６），（２，５），（２，７），（３，６）の画素Ｇ16，Ｇ25，Ｇ27，Ｇ36の受光信号を加算した信号、範囲Ｃ３内にある画素位置（３，４），（４，３），（４，５），（５，４）の画Ｇ34，Ｇ43，Ｇ45，Ｇ54の受光信号を加算した信号、範囲Ｃ４内にある画素位置（３，８），（４，７），（４，９），（５，８）の画素Ｇ38，Ｇ47，Ｇ49，Ｇ58の受光信号を加算した信号が、それぞれ同図（ａ）に示す従来の撮像センサ１０３の画素位置（１，２），（１，４），（２，３），（２，５）の画素Ｇ12，Ｇ14，Ｇ23，Ｇ25の受光信号に対応する。
【００５０】そして、例えばＲの色成分については、上記のように、範囲Ａ１内にある画素Ｒ11，Ｒ13，Ｒ31，Ｒ33の受光信号を加算した信号は従来の撮像センサ１０３の画素Ｒ11の受光信号に対応するから、画素Ｒ11，Ｒ13，Ｒ31，Ｒ33の平均像面照度Ｉave(r)を算出することにより、Ｒの周波数応答特性ＲSR(f)を得ることができる。
【００５１】図８に示すように、空間周波数ｆで正弦波状に明暗が変化する縦縞光像Ｌが、そのピーク値（明ラインの最大値）が範囲Ａ１の縦方向中心と一致するように照射されている場合、４個の画素Ｒ11，Ｒ13，Ｒ31，Ｒ33における平均像面照度Ｉave(r)は、図３５で説明したのと同様の方法によって、以下のように算出される。
【００５２】すなわち、画素ピッチをＰｓ'、画素開口率をａ、範囲Ａ１の縦方向中心を横方向（ｘ方向）の原点０として縦縞光像Ｌによる照度特性をｙ＝cos（２πｆｘ）とすると、−（２＋ａ）Ｐｓ'／２から＋（２＋ａ）Ｐｓ'／２の範囲（受光領域■＋■＋■）における像面照度Ｉ１は、上記（１）式において、ａ・Ｐｓを（２＋ａ）Ｐｓ'に置換することにより、Ｉ１＝sin[π(2+a)fPs’]/πf…(4)となる。一方、−（２−ａ）Ｐｓ'／２から＋（２−ａ）Ｐｓ'／２の範囲（受光領域■）における像面照度Ｉ２は、上記（１）式において、ａ・Ｐｓを（２−ａ）Ｐｓ'に置換することにより、Ｉ２＝sin[π(2-a)fPs’]/πf…(5)となる。
【００５３】画素Ｒ11，Ｒ31に対応する受光領域■に照射される光像と画素Ｒ13，Ｒ33に対応する受光領域■に照射される光像とは縦方向中心に対して対称であるから、受光領域■の像面照度と受光領域■の像面照度とは同一となる。その像面照度をＩ３とすると、像面照度Ｉ３は、（Ｉ１−Ｉ２）／２で算出され、下記（６）式のようになる。
【００５４】
【数３】
【００５５】従って、４個の画素Ｒ11，Ｒ13，Ｒ31，Ｒ33における平均像面照度Ｉave(r)は、Ｉ３を受光領域（■＋■）＝ ２ａ・Ｐｓ'＝２ａ／ｆｓ'で割ることにより、下記（７）式となるから、Ｒの周波数応答特性ＲSR(f)は、下記（８）式となる。
【００５６】
【数４】
【００５７】なお、図８において、Ｒの画素Ｒ11，Ｒ13，Ｒ31，Ｒ33をＢの画素Ｂ22，Ｂ24，Ｂ42，Ｂ44に置き換えれば、縦縞光像Ｌを範囲Ｂ１内の４個のＢ画素で受光した場合の、各画素Ｂ22，Ｂ24，Ｂ42，Ｂ44における平均像面照度Ｉave(b)が算出されるから、Ｂの周波数応答特性ＲSB(f)は、Ｒの周波数応答特性ＲSR(f)と同じ特性となる。
【００５８】一方、Ｇの周波数応答特性ＲSG(f)は、図９に示すように、空間周波数ｆで正弦波状に明暗が変化する縦縞光像Ｌが、そのピーク値（明ラインの最大値）が範囲Ｃ１の縦方向中心と一致するように照射されている場合の４個の画素Ｇ12，Ｇ21，Ｇ23，Ｇ32における平均像面照度Ｉave(g)を算出することによって得ることができる。
【００５９】図９において、画素Ｇ21に対応する受光領域■の像面照度と画素Ｇ23に対応する受光領域■の像面照度とは同一となり、その像面照度Ｉ３は、上述したように上記（６）式となる。また、画素Ｇ12，Ｇ32に対応する受光領域■の像面照度Ｉ４は、上記（１）式において、ａ・Ｐｓをａ・Ｐｓ'に置換することにより、Ｉ４＝sin(πafPs’)/πf…(9)となる。
【００６０】従って、４個の画素Ｇ12，Ｇ21，Ｇ23，Ｇ32における平均像面照度Ｉave(g)は、２（Ｉ３＋Ｉ４）を受光領域（■＋■＋２×■）＝４ａ・Ｐｓ'＝４ａ／ｆｓ'で割ることにより、下記（１０）式のようになり、Ｇの周波数応答特性ＲSG(f)は、下記（１１）式のようになる。
【００６１】
【数５】
【００６２】図１０は、ａ＝１．０として上記（８），（１１）式により算出した周波数応答特性ＲSR(f)，ＲSG(f)の図である。本実施形態に係る撮像センサ３の実際の周波数応答特性ＲR(f)’，ＲG(f)’は、図１０に示す周波数応答特性ＲSR(f)，ＲSG(f)と図３９に示す結像光学系２の周波数応答特性Ｒopt(f)とを掛け合わせた特性となるから、図１１に示すようになる。
【００６３】図１１に示すように、０．５≦ｆ／ｆｓ＜１．０ではＲ，Ｂの周波数特性ＲR(f)’，ＲB(f)’が０以下となり、この部分の折り返し成分が０≦ｆ／ｆs≦０．５の周波数応答特性に混入することはない。従って、Ｒ，Ｂの色成分の折り返し成分による偽解像は殆ど生じない。一方、ｆ／ｆs＝０．５においては、Ｇの周波数応答特性ＲG(f)’＞０となるが、そのレベルは小さいので折り返し成分が０≦ｆ／ｆs≦０．５の周波数応答特性に混入しても特に問題とはならず、むしろＯＬＰＦによりＲG(f)'＝０とするよりも解像力が向上する。
【００６４】上記のように、本実施形態に係る撮像装置１は結像光学系２と撮像センサ３との間にＯＰＬＦを設けることなく従来の撮像装置１００よりも解像特性の高い撮像装置となっている。また、各色成分毎に４画素を１組として画素信号が読み出されるので、駆動制御の観点から見ると、従来の撮像センサ１０３のように１画素ずつ画素信号を読み出す場合に比べて総画素数が実質的に１／４となるので、画素信号の読出速度が速くなる利点がある。逆に言えば、画素信号の読出期間が従来と変わらなければ、画素信号の読出制御の駆動周波数を低くくすることができる利点がある。
【００６５】図１に戻り、信号処理部４は、撮像センサ３から出力される画像信号（各ＦＤＡから出力される信号）に対して所定の信号処理（サンプリングノイズの低減、信号レベルの調整、Ａ／Ｄ変換、ホワイトバランス調整、γ補正等）を行なうものである。信号処理部４は、Ｒ，Ｇ，Ｂの色成分の画像信号毎に所定の信号を行う。画像メモリ５は、信号処理部４から出力される画像信号を記憶するものである。画像メモリ５は、Ｒ，Ｇ，Ｂの各色成分に対応した記憶領域を有し、Ｒ，Ｇ，Ｂの色成分の画像信号をそれぞれ記憶する。従って、撮像センサ３から出力されるＲ，Ｇ，Ｂの色成分の画像信号は、信号処理部１０４で上記の所定の信号処理が行われた後、画像メモリ１０５にそれぞれ記憶される。
【００６６】上記第１実施形態では、撮像センサ３は長方形若しくは正方形の画素が各辺を縦方向と横方向とに平行にしてマトリックス形状に配列されていたが、図１２に示すように、正方形の画素が対角線を縦方向と横方向とに平行にしてマトリックス形状に配列されている場合にも、上述した構成と同様の構成を採用することにより、結像光学系２と撮像センサ３との間にＯＰＬＦを設けることなく従来の撮像装置１００よりも解像特性の高い撮像装置１を実現することができる。
【００６７】図１２に示す撮像センサ３（以下、この撮像センサ３を第２実施形態に係る撮像センサ３という。）は、縦方向の行数が奇数個で、横方向の列数は、奇数行では偶数個、偶数行では奇数個となっている。縦方向の行数ｉを（２ｎ−１）、奇数行ｉ＝２ｋ−１（ｋ＝１，２，…ｎ）の列数ｊを２ｍ、偶数行ｉ＝２ｋ（ｋ＝１，２，…（ｎ−１））の列数ｊを２ｍ＋１とすると、画素位置（２ｋ−１，２ｈ−１），（２ｋ−１，２ｈ）（ｋ＝１，２，…ｎ、ｈ＝１，２，…ｍ）にはＧの色フィルタ３Ｇ（右下斜線で示すフィルタ）が設けられ、画素位置（４ｋ−２，２ｈ）（ｋ＝１，２，…（ｎ−１）、ｈ＝１，２，…ｍ）にはＲの色フィルタ３Ｒ（縦縞で示すフィルタ）が設けられ、画素位置（４ｋ，２ｈ−１）（ｋ＝１，２，…（ｎ−１）、ｈ＝１，２，…（ｍ＋１））にはＢの色フィルタ３Ｂ（横縞で示すフィルタ）が設けられている。
【００６８】そして、図１３に示すように、画素位置（４ｋ−２，２ｈ）,（４ｋ，２ｈ−１）,（４ｋ，２ｈ＋１）,（４ｋ＋２，２ｈ）（ｋ，ｈ；共に奇数又は共に偶数）の４個のＲ画素（図１３では太線で囲まれた部分に含まれる４個のＲ画素）の受光部ＰＤ4k-2,2h，ＰＤ4k,2h-1，ＰＤ4k,2h+1，ＰＤ4k+2,2hは、１個の増幅部ＦＰＡ（Ｒ）（図略）に接続され、これらの受光部ＰＤ4k-2,2h〜ＰＤ4k+2,2hの画像信号は当該増幅部ＦＰＡ（Ｒ）で加算、増幅されて出力ラインＬRから出力されるようになっている。同様に、図１４に示すように、画素位置（４ｋ−２，２ｈ＋１）,（４ｋ，２ｈ）,（４ｋ，２ｈ＋２）,（４ｋ＋２，２ｈ＋１）（ｋ，ｈ；共に奇数又は共に偶数）の４個のＢ画素（図１４では太線で囲まれた部分に含まれる４個のＢ画素）の受光部ＰＤ4k-2,2h+1，ＰＤ4k,2h，ＰＤ4k,2h+2，ＰＤ4k+2,2h+1は１個の増幅部ＦＰＡ（Ｂ）（図略）に接続され、これらの受光部ＰＤ4k-2,2h+1〜ＰＤ4k+2,2h+1の画像信号は当該増幅部ＦＰＡ（Ｂ）で加算、増幅されて出力ラインＬBから出力され、図１５に示すように、画素位置（２ｋ−１，２ｈ−１）,（２ｋ−１，２ｈ）,（２ｋ＋１，２ｈ−１）,（２ｋ＋１，２ｈ）（ｋ＝１，２，…ｎ、ｈ＝１，２，…ｍ）の４個のＧ画素（図１５では太線で囲まれた部分に含まれる４個のＲ画素）の受光部ＰＤ2k-1,2h-1，ＰＤ2k-1,2h，ＰＤ2k-1,2h-1，ＰＤ2k+1,2hは１個の増幅部ＦＰＡ（Ｇ）（図略）に接続され、これらの受光部ＰＤ2k-1,2h+1〜ＰＤ2k+1,2hの画像信号は当該増幅部ＦＰＡ（Ｇ）で加算、増幅されて出力ラインＬGから出力されるようになっている。
【００６９】上記第１，第２実施形態は、ＦＤＡを備えた増幅型ＭＯＳ型撮像センサを用いたものであったが、ＩＴ−ＣＣＤ（Interline transfer CCD）型撮像センサを用いた場合（以下、ＩＴ−ＣＣＤ型撮像センサを用いたものを第３実施形態に係る撮像センサという。）にも撮像センサの受光部と垂直転送部の構成を改良するとともに各画素の読出しを制御することで同様の効果を得ることができる。
【００７０】図１６は、第３実施形態に係る撮像センサ３の構成を示す図である。なお、同図は、説明の便宜上、最小構成単位が含まれる５×５画素の受光部の部分Ａとこの受光部の部分Ａから読み出された蓄積電荷が転送される水平転送部とその近傍の垂直転送部の部分Ｂとを描いている。
【００７１】ここに、最小構成単位とは、例えば図１７において、画素位置（１，２），（２，１），（２，３），（３，２）の４個のＧの画素、画素位置（１，１），（１，３），（３，１），（３，３）の４個のＲの画素、画素位置（２，２），（２，４），（４，２），（４，４）の４個のＢの画素、画素位置（３，４），（４，３），（５，４），（４，５）の４個のＧの画素をそれぞれ１組とし、これら４組の画素群をいうものである。これは、後述するように、各組の画素で得られた電荷は垂直転送部８及び水平転送部９を移動する際に加算されて転送されるから、Ｒ，Ｇ，Ｂの各組の出力電荷が従来の撮像センサ１０３のＲ，Ｇ，Ｂの各画素の出力電荷に対応し、従来の撮像センサ１０３では隣接するＲ，Ｂの画素と２つのＧの画素の合計４個の画素を最小構成単位として扱っているので、これに対応させて隣接する１組のＲの画素群、１組のＢの画素群及び２組のＧの画素群とを最小構成単位とするものである。
【００７２】図１６において、受光部の部分Ａの縦長長方形で示す部分は受光光量を電荷量に光電変換するフォトダイオードからなる受光素子ｇである。複数の受光素子ｇが縦方向に配列された部分は受光部７であり、各受光部７の右隣に各受光素子ｇで光電変換された電荷が読み出される垂直転送部８が設けられている。垂直転送部８は縦方向の帯状をなし、受光部７よりも下方に延びてその下端がゲート８２を介して水平転送部９に接続されている。奇数列の受光部７の各画素ｇにはＲとＧの色フィルタが交互に設けられ、偶数列の受光部７の各画素ｇにはＧとＢの色フィルタが交互に設けられている。従って、第３実施形態に係る撮像センサ３も図２に示す色フィルタの配列と同一の色フィルタの配列を有している。そして、一点鎖線で囲まれた部分が最小構成単位を構成するＲ，Ｇ，Ｂの画素である。
【００７３】垂直転送部８の複数の分割された小領域８１（図中、略正方形状で示す部分）は、受光部７から読み出された電荷を水平転送部９に転送するためのポテンシャル井戸を形成する部分である。垂直転送部８は図略の駆動制御回路により、例えば３相駆動方式で駆動される。３相駆動方式では、隣合う３個の井戸８１を１組として１画素の蓄積電荷の転送が行われる。すなわち、３個の井戸８１を上から８１ａ，８１ｂ，８１ｃとし、各井戸のポテンシャルを（Ｐａ，Ｐｂ，Ｐｃ）とすると、（Ｌ，Ｈ，Ｈ）（但し、Ｌはローレベル、Ｈはハイレベルである。）のポテンシャル状態で井戸８１ａに電荷が読み出された後、所定の周期でポテンシャル（Ｐａ，Ｐｂ，Ｐｃ）を（Ｌ，Ｌ，Ｈ）→（Ｈ，Ｌ，Ｈ）と変化させることで、電荷が隣の井戸８１ｂに移動する。以下同様の方法で、各井戸８１のポテンシャルを変化させることで、垂直転送部８に読み出された電荷は順次、水平転送部９側に移動される。
【００７４】垂直転送部８の水平転送部９に近接した領域では、偶数列の井戸８１の数が奇数列の井戸８１の数の略１／２となっている。このように、水平転送部９の近傍領域で偶数列の井戸８１の数を奇数列の井戸８１より少なくしているのは、奇数列の垂直転送部８を移動する電荷と偶数列の垂直転送部８を移動する電荷との移動速度を変化させ、これにより奇数列の電荷と遇数列の電荷との水平転送部９への到達タイミングをずらし、各色毎に、最小構成単位を構成する４個の電荷（実際は垂直転送部８で２個ずつ加算されるので、２個の電荷）を分離して水平転送部９に転送できるようにするためである。なお、この垂直転送部８及び水平転送部９における各組の画素群から読み出された４個の電荷を加算合成する動作については後述する。
【００７５】ゲート８２は、垂直転送部８の最下端に移動した電荷の水平転送部９への転送を制御するものである。各ゲート８２は個別に開閉が制御可能になされ、各ゲート８２の開閉を制御することで、各色毎に、最小構成単位を構成する４個の電荷（実際は垂直転送部８で２個ずつ加算されるので、２個の電荷）が水平転送部９に転送され、当該水平転送部９で加算される。水平転送部９は横方向の帯状をなしている。水平転送部９の複数に分割された小領域９１（図中の略正方形状で示す部分）は垂直転送部８から転送された電荷を水平左方向（図略の出力部側）に順次、転送させるためのポテンシャル井戸を形成する部分である。水平転送部９も図略の駆動制御回路により、３相駆動方式で駆動され、上述した垂直転送部８と同様の方法で電荷が順次、出力部側に転送される。
【００７６】Ｒの画素ｇ及びＢの画素ｇは右側の垂直転送部８に接続され、これらの画素ｇで得られた電荷は右側の垂直転送部８の井戸８１に転送されるようになっている。なお、Ｒの画素ｇ及びＢの画素ｇを右側の垂直転送部８に接続しているのは、各列の受光部７に対応する垂直転送部８が当該受光部７の右側に配置されているためで、各列の受光部７に対応する垂直転送部８が当該受光部７の左側に配置されていれば、Ｒの画素ｇ及びＢの画素ｇは左側の垂直転送部８に接続されることになる。
【００７７】一方、Ｇの画素ｇは、１，５，９、…（４ｎ−３）の行では全て右側の垂直転送部８に接続され、３，７，１１、…（４ｎ−１）の行では全て左側の垂直転送部８に接続されている。また、２，６，１０、…（４ｎ−２）の行では、１，５，９、…（４ｍ−３）の列にあるものは右側の垂直転送部８に接続され、３，７，１１、…（４ｍ−１）の列にあるものは左側の垂直転送部８に接続されている。また、４，８，１２、…４ｎの行では、１，５，９、…（４ｍ−３）の列にあるものは左側の垂直転送部８に接続され、３，７，１１、…（４ｍ−１）の列にあるものは右側の垂直転送部８に接続されている。この接続関係は、図１７に示すように、隣接する４個の画素ｇ（菱形で結合した４個の画素ｇ）を１組とするように撮像センサ３の撮像面のＧの画素ｇを分類したとすると、各組において、上側及び左側の画素ｇで得られる電荷は右側の垂直転送部８に転送し、右側及び下側の画素ｇで得られる電荷は左側の垂直転送部８に転送するような接続関係である。
【００７８】このように、Ｇの画素ｇについては、上側及び左側の画素ｇで得られる電荷を右側の垂直転送部８に転送し、右側及び下側の画素ｇで得られる電荷を左側の垂直転送部８に転送するような接続関係としているのは、Ｇの画素群が菱形状に配置された４個のＧの画素ｇで構成されているからである。後述するように、第３実施形態では４個一組の画素ｇで得られた４個の電荷を垂直転送部８と水平転送部９とで順次、転送しながら出力部に読み出す際、垂直転送部８では２個の電荷を加算して１個の電荷として水平転送部９に転送し、当該水平転送部９で２個の加算された電荷を更に加算して（すなわち、４個の電荷を加算合成して）図略の出力部に転送するようにしている。Ｇの色成分については、４個一組の画素が菱形状に配置されているので、一組の全ての画素を右側の垂直転送部８に接続すると、垂直転送部８で２個の電荷を加算して１個の電荷として水平転送部９に転送することができないから、上側及び左側の画素を右側の垂直転送部８に接続し、右側及び下側の画素を左側の垂直転送部８に接続することで、垂直転送部８で電荷が２個ずつ加算できるようにしている。
【００７９】なお、上記目的に照らせば、例えば画素位置（１，２），（２，１），（２，３），（３，２）の４個のＧの画素をＧ11，Ｇ12，Ｇ13，Ｇ14とすると、画素Ｇ11の左側の垂直転送部８（以下、説明の便宜上、第１垂直転送部８という。）と画素Ｇ11の右側の垂直転送部８（以下、説明の便宜上、第２垂直転送部８という。）とにそれぞれ画素Ｇ11，Ｇ12，Ｇ13，Ｇ14から転送された蓄積電荷Ｑg11，Ｑg12，Ｑg13，Ｑg14で２個ずつを加算して垂直転送用の電荷を作成する場合、その組合わせは、(a)（Ｑg11，Ｑg12），（Ｑg13，Ｑg14）
(b)（Ｑg11，Ｑg13），（Ｑg12，Ｑg14）
となるから、画素Ｇ11，Ｇ12，Ｇ13，Ｇ14と第１，第２垂直転送部８との接続関係は、(c)画素Ｇ11，Ｇ12を第１垂直転送部８に接続し、画素Ｇ13，Ｇ14を第２垂直転送部８に接続する、(d)画素Ｇ11，Ｇ13を第２垂直転送部８に接続し、画素Ｇ12，Ｇ14を第１垂直転送部８に接続する、という関係となる。
【００８０】図１６に示す４個一組のＧの画素群の接続関係は、上記（d）の接続関係に相当する。従って、上記（c）の接続関係にしてもよく、この場合は上側及び右側の画素で得られる電荷は両画素で挟まれた垂直転送部８に転送され、左側及び下側の画素で得られる電荷は両画素で挟まれた垂直転送部８に転送されることになる。
【００８１】一方、Ｒ，Ｂの色成分については、一組の画素群が正方形状に配列され、左側の上下２個の画素と右側の上下の画素とでそれぞれペアが構成されるため、左側の上下に配置される２個の画素は両画素の右側の垂直転送部８に接続され、右側の上下に配置される２個の画素は両画素の右側の垂直転送部８に接続されている。
【００８２】次に、第３実施形態に係る撮像センサ３の露光終了後の各画素で得られた電荷の垂直転送部８及び水平転送部９における転送方法について、図１８〜図３０の図を用いて説明する。
【００８３】図１８〜図２６は、各画素で得られた電荷の露光終了後の垂直転送部８及び水平転送部９における移動を最小構成単位について示したものである。
【００８４】各画素ｇに付されたＲ11，Ｇ11，Ｂ11等の符号は、画素ｇを識別するための符号である。Ｒij，Ｇij，Ｂijのｉは組番号であり、ｊは配置位置の番号である。Ｒ，Ｂの１組の画素群は、４個の画素ｇが矩形の四隅を構成するように配置されるので、配置位置の番号を左上＝１，左下＝２，右上＝３，右下＝４としている。一方、Ｇの１組の画素群は、４個の画素ｇが菱形の上下左右の頂点を構成するように配置されるので、配置位置の番号を上＝１，左＝２，右＝３，下＝４としている。従って、例えばＲ11，Ｂ11は、組番号１のＲ，Ｂの画素群のうち、左上に位置する画素を示し、Ｇ31は、組番号３のＧの画素群のうち、上に位置する画素を示している。
【００８５】また、図１８〜図２６において、垂直転送部８及び水平転送部９の井戸８１，９１に描かれた○印は画素ｇから読み出された電荷Ｑを示し、丸の中の符号は当該電荷Ｑが読み出された画素ｇの符号に相当するものである。画素ｇの符号と区別するため、アルファベットは小文字にしている。例えば「ｇ１２」はＧの画素Ｇ１２から読み出された電荷Ｑであることを示し、「ｂ１１」はＢの画素Ｂ１１から読み出された電荷Ｑであることを示している。また、太字の矢印は画素ｇから電荷Ｑが垂直転送部８に読み出されることを示している。
【００８６】なお、説明の便宜上、以下の説明では電荷間の区別を行うため、電荷Ｑに当該電荷Ｑの丸符号を付すものとする。例えば「ｇ１２」の電荷Ｑは、「Ｑg12」と表記する。また、説明の便宜と図面の見易さを考慮して、説明に関係しない電荷については図面への記載を省き、以下の説明では、図面に記載した電荷についてのみ垂直転送部８及び水平転送部９における移動の説明を行う。
【００８７】まず、図１８に示すように、画素Ｇ12，Ｇ14，Ｂ11，Ｇ31，Ｂ12の蓄積電荷Ｑg12，Ｑg14，Ｑb11，Ｑg31，Ｑb12が垂直転送部８に読み出され、これらの蓄積電荷Ｑg12，Ｑg14，Ｑb11，Ｑg31，Ｑb12は当該垂直転送部８を水平転送部９側に転送される。最初の蓄積電荷の読出しでは、画素Ｇ12の蓄積電荷Ｑg12と画素Ｇ31の蓄積電荷Ｑg31とが上下にペア（Ｑg12，Ｑg31）となって読み出され、これらの電荷Ｑg12，Ｑg31は加算されて１つの電荷（以下、この電荷を垂直転送電荷という。）となる。
【００８８】なお、図１８では、別々の井戸８１に格納された電荷Ｑg12と電荷Ｑg14とが分離した状態で描かれているが、これは説明の便宜上、加算される電荷を分り易くするためのもので、実際の動作では１つの転送電荷として扱われる。他の電荷についても同様で、垂直転送部１８に読み出された電荷のうち、上下に隣接しているペアは加算された１つの垂直転送電荷である。以下、明細書上では、加算された転送電荷を（Ｑg12＋Ｑg14）のように表記する。
【００８９】続いて、図１９に示すように、電荷Ｑb11，Ｑg31，Ｑb12が垂直転送部８の画素Ｂ13，Ｇ32，Ｂ14の蓄積電荷の読出位置の上に移動したタイミングで、画素Ｒ11，Ｇ11,Ｇ13，Ｒ12，Ｂ13,Ｇ32，Ｂ14の蓄積電荷Ｑr11，Ｑg11,Ｑg13，Ｑr12，Ｑb13,Ｑg32，Ｑb14が垂直転送部８に読み出される。この電荷の読み出しにより、画素Ｇ11から読み出された電荷Ｑg11と画素Ｇ13から読み出された電荷Ｑg13とが加算され、１つの垂直転送電荷（Ｑg11＋Ｑg13）となる。また、画素Ｂ11，Ｇ31，Ｂ12から読み出された電荷Ｑb11，Ｑg31,Ｑb12と電荷Ｑb13，Ｑg32,Ｑb14とがそれぞれ加算され、それぞれ１つの垂直転送電荷（Ｑb11＋Ｑb13），（Ｑg31＋Ｑg32），（Ｑb12＋Ｑb14）となる。
【００９０】続いて、図２０に示すように、画素Ｒ11，Ｒ12から読み出された電荷Ｑr11，Ｑr12が垂直転送部８の画素Ｒ13，Ｒ14の蓄積電荷の読出位置の上に移動したタイミングで、当該画素Ｒ13，Ｒ14の蓄積電荷Ｑr13，Ｑr14が垂直転送部８に読み出される。この電荷の読み出しにより、画素Ｒ11，Ｒ12から読み出された電荷Ｑr11，Ｑr12と電荷Ｑr13，Ｑr14とがそれぞれ加算され、それぞれ１つの垂直転送電荷（Ｑr11＋Ｑr13），（Ｑr12＋Ｑr14）となる。
【００９１】続いて、図２１に示すように、垂直転送電荷（Ｑr11＋Ｑr13），（Ｑg11＋Ｑg13），（Ｑr12＋Ｑr14）が垂直転送部８の画素Ｇ33の蓄積電荷の読出位置に移動したタイミングで、画素Ｇ33，Ｇ34の蓄積電荷Ｑg33，Ｑg34が垂直転送部８に読み出され、加算されて１つの垂直転送電荷（Ｑg33＋Ｑg34）となる。
【００９２】画素Ｇ33，Ｇ34の蓄積電荷Ｑg33，Ｑg34の読み出しにより、最小構成単位の画素（Ｒ11〜Ｒ14），（Ｇ11〜Ｇ14），（Ｇ31〜Ｇ34），（Ｂ11〜Ｂ14）の蓄積電荷の垂直転送部８への読出しが終了し、読み出された電荷（Ｑr11〜Ｑr14），（Ｑg11〜Ｑg14），（Ｑg31〜Ｑg34），（Ｑb11〜Ｑb14）は、図２１に示すように、それぞれ１つの垂直転送電荷（Ｑg12＋Ｑg14），（Ｑr11＋Ｑr13），（Ｑb11＋Ｑb13），（Ｑg11＋Ｑg13），（Ｑg31＋Ｑg32），（Ｑr12＋Ｑr14），（Ｑb12＋Ｑb14），（Ｑg33＋Ｑg34）に加算されて垂直転送部８を水平転送部９側に転送される。そして、同図に示すように、水平転送部９の近傍では、偶数列の垂直転送部８の井戸数が奇数列の垂直転送部８より少ないので、２列目と４列目のＢの色成分の垂直転送電荷（Ｑb11＋Ｑb13），（Ｑb12＋Ｑb14）が１列目と３列目のＧの色成分の垂直転送電荷（Ｑg12＋Ｑg14），（Ｑg31＋Ｑg32）より速く水平転送部９に到達する。
【００９３】Ｂの色成分の垂直転送電荷（Ｑb11＋Ｑb13），（Ｑb12＋Ｑb14）が水平転送部９に到達すると、図２２に示すように、４列目の垂直転送部８に設けられたゲート８２がオンになり、Ｂの色成分の垂直転送電荷（Ｑb12＋Ｑb14）だけが水平転送部９に転送される。その後、この電荷（Ｑb12＋Ｑb14）は水平転送部９を左側に転送され、図２３に示すように２列目の垂直転送部８の下に転送されると、図２４に示すように当該垂直転送部８に設けられたゲート８２がオンになり、Ｂの色成分の垂直転送電荷（Ｑb11＋Ｑb13）が水平転送部９に転送され、電荷（Ｑb12＋Ｑb14）と加算される。そして、加算された電荷（Ｑb11＋Ｑb12＋Ｑb13＋Ｑb14）は水平転送部９により左側に順次、移動され、図略の出力部に転送される。
【００９４】Ｂの色成分の垂直転送電荷（Ｑb11＋Ｑb13），（Ｑb12＋Ｑb14）が水平転送部９で出力部に転送されると、垂直転送部８の垂直転送電荷（Ｑg12＋Ｑg14），（Ｑr11＋Ｑr13），（Ｑg11＋Ｑg13），（Ｑg31＋Ｑg32），（Ｑr12＋Ｑr14），（Ｑg33＋Ｑg34）が水平転送部９側に移動され、図２５に示すようにＧの色成分の垂直転送電荷（Ｑg12＋Ｑg14），（Ｑg11＋Ｑg13），（Ｑg31＋Ｑg32），（Ｑg33＋Ｑg34）が水平転送部９に到達すると、図２６に示すように、Ｂの色成分の垂直転送電荷（Ｑb11＋Ｑb13），（Ｑb12＋Ｑb14）の場合と同様の方法で、電荷（Ｑg12＋Ｑg14）と電荷（Ｑg11＋Ｑg13）、電荷（Ｑg31＋Ｑg32）と電荷（Ｑg33＋Ｑg34）とが水平転送部９でそれぞれ加算されて、図略の出力部に搬送される。
【００９５】具体的には、図２７に示すように、１列目〜４列目の垂直転送部８に設けられたゲート８２を識別するため、それぞれゲート８２ｄ，ゲート８２ｃ，ゲート８２ｂ，ゲート８２ａとし、ゲート８２ａに接続された水平転送部９の井戸９１から左側の６個の井戸９１を識別するため、それぞれ井戸９１ａ，９１ｂ，９１ｃ，９１ｄ，９１ｅ，９１ｆとし、各井戸９１ａ〜９１ｆのポテンシャルを（Ｐａ，Ｐｂ，Ｐｃ，Ｐｄ，Ｐｅ，Ｐｆ）とすると、図２８（ａ）に示すようにＧの色成分の垂直転送電荷（Ｑg12＋Ｑg14），（Ｑg11＋Ｑg13），（Ｑg31＋Ｑg32），（Ｑg33＋Ｑg34）が水平転送部９に到達するタイミングで、井戸９１ａ〜９１ｆのポテンシャルは（Ｌ，Ｌ，Ｈ，Ｌ，Ｌ，Ｈ）に設定され、ゲート８２ａ〜８２ｄがオンになる。これにより垂直転送部８から水平転送部９の井戸９１ａ，９１ｂ，９１ｄ，９１ｅに電荷（Ｑg12＋Ｑg14），（Ｑg11＋Ｑg13），（Ｑg31＋Ｑg32），（Ｑg33＋Ｑg34）がそれぞれ転送される。
【００９６】井戸９１ａ，９１ｂはローレベル（図では白抜きで示す。）にあるため、水平転送部９に転送された電荷（Ｑg12＋Ｑg14）と電荷（Ｑg11＋Ｑg13）とは井戸９１ａ，９１ｂで加算される。同様に井戸９１ｄ，９１ｅもローレベルにあるため、水平転送部９に転送された電荷（Ｑg31＋Ｑg32）と電荷（Ｑg33＋Ｑg34）とは井戸９１ｄ，９１ｅで加算される。一方、井戸９１ｃ，９１ｆはハイレベル（図では斜線で示す。）にあるため、加算された電荷（Ｑg12＋Ｑg14＋Ｑg11＋Ｑg13）と電荷（Ｑg31＋Ｑg32＋Ｑg33＋Ｑg34）とが混合することはない。
【００９７】この後は、ゲート８２ａ〜８２ｄはオフにされるとともに、井戸９１ａ〜９１ｆのポテンシャルが（Ｈ，Ｌ，Ｈ，Ｈ，Ｌ，Ｈ）→（Ｈ，Ｌ，Ｌ，Ｈ，Ｌ，Ｌ）→（Ｈ，Ｈ，Ｌ，Ｈ，Ｈ，Ｌ）…と順次、切り換えられ、図２８（ｂ）〜（ｄ)に示すように、加算された電荷（Ｑg12＋Ｑg14＋Ｑg11＋Ｑg13），（Ｑg31＋Ｑg32＋Ｑg33＋Ｑg34）が各井戸９１を順次、図略の出力部側に移動する。
【００９８】図２６に戻り、Ｇの色成分の垂直転送電荷（Ｑg12＋Ｑg14），（Ｑg11＋Ｑg13），（Ｑg31＋Ｑg32），（Ｑg33＋Ｑg34）が水平転送部９で出力部に転送されると、垂直転送部８の垂直転送電荷（Ｑr11＋Ｑr13），（Ｑr12＋Ｑr14）が水平転送部９側に移動され、Ｂの色成分の垂直転送電荷（Ｑb11＋Ｑb13），（Ｑb12＋Ｑb14）の場合と同様の方法で、電荷（Ｑr11＋Ｑr13）と電荷（Ｑr12＋Ｑr14）とが水平転送部９でそれぞれ加算されて、図略の出力部に搬送される。
【００９９】なお、上記説明では、基準構成単位について、Ｒ，Ｇ，Ｂの各色成分毎の垂直転送部８及び水平転送部９における電荷の転送を説明したが、実際の撮像センサでは、垂直転送部８から水平転送部９にＲとＢの色成分の垂直転送電荷が混合したもの（図２９の状態参照）とＧの色成分の垂直転送電荷のみのもの（図２７の状態参照）とが交互に順次、転送される。
【０１００】従って、Ｇの色成分の垂直転送電荷のみが水平転送部９に転送された場合は、図２７，図２８に示す駆動方法によりＧの色成分の電荷のみが分離されて出力部に転送される。一方、ＲとＢの色成分の垂直転送電荷が混合している場合は、図３０に示す駆動方法によりＲの色成分の垂直転送電荷とＢの色成分の垂直転送電荷とが分離されて出力部に転送される。
【０１０１】すなわち、Ｒの色成分の垂直転送電荷（Ｑr11＋Ｑr13），（Ｑr12＋Ｑr14）とＢの色成分の垂直転送電荷（Ｑb11＋Ｑb13），（Ｑb12＋Ｑb14）とが水平転送部９に到達するタイミングで、図３０（ａ）に示すように、井戸９１ａ〜９１ｆのポテンシャルは（Ｈ，Ｌ，Ｈ，Ｈ，Ｌ，Ｈ）に設定され、ゲート８２ｂがオンになる。これによりＲの色成分の垂直転送電荷（Ｑr12＋Ｑr14）だけが水平転送部９の井戸９１ｂに転送される。
【０１０２】その後、井戸９１ａ〜９１ｆのポテンシャルは（Ｈ，Ｌ，Ｈ，Ｈ，Ｌ，Ｈ）→（Ｈ，Ｌ，Ｌ，Ｈ，Ｌ，Ｌ）→（Ｈ，Ｈ，Ｌ，Ｈ，Ｈ，Ｌ）…と順次、切り換えられ、電荷（Ｑr12＋Ｑr14）は、同図（ｂ）〜（ｄ)に示すように井戸９１ｃ，９１ｄに順次移動する。そして、井戸９１ａ〜９１ｆのポテンシャルが（Ｌ，Ｈ，Ｈ，Ｌ，Ｈ，Ｈ）に切り換わり、電荷（Ｑr12＋Ｑr14）が井戸９１ｄに移動したタイミングでゲート８２ａがオンになり、これによりＢの色成分の垂直転送電荷（Ｑb12＋Ｑb14）のみが水平転送部９の井戸９１ａに転送される（同図（ｄ）参照）。
【０１０３】続いて、井戸９１ａ〜９１ｆのポテンシャルが（Ｈ，Ｌ，Ｈ，Ｈ，Ｌ，Ｈ）に切り換わり、電荷（Ｑr12＋Ｑr14），（Ｑb12＋Ｑb14）がそれぞれ井戸９１ｅ，９１ｂに移動したタイミングでゲート８２ｄがオンになり、Ｒの色成分の垂直転送電荷（Ｑr11＋Ｑr13）が水平転送部９の井戸９１ｅに転送され、電荷（Ｑr12＋Ｑr14）と加算される（同図（ｅ）参照)。
【０１０４】そして、井戸９１ａ〜９１ｆのポテンシャルが（Ｈ，Ｌ，Ｈ，Ｈ，Ｌ，Ｈ）→（Ｈ，Ｌ，Ｌ，Ｈ，Ｌ，Ｌ）→（Ｈ，Ｈ，Ｌ，Ｈ，Ｈ，Ｌ）→（Ｌ，Ｈ，Ｈ，Ｌ，Ｌ，Ｈ）…と切り換わるのに応じて、加算された電荷（Ｑr11＋Ｑr13＋Ｑr12＋Ｑr14）と電荷（Ｑb12＋Ｑb14）とは順次、井戸９１を左側に移動し、電荷（Ｑb12＋Ｑb14）が井戸９１ｄに移動したタイミングでゲート８２ｃがオンになる。これによりＢの色成分の垂直転送電荷（Ｑb11＋Ｑb13）が水平転送部９の井戸９１ｄに転送され、電荷（Ｑb12＋Ｑb14）と加算される（同図（ｆ）参照)。
【０１０５】加算された電荷（Ｑb11＋Ｑb13＋Ｑb12＋Ｑb14）は、井戸９１ａ〜９１ｆのポテンシャルの変化に応じて井戸９１を順次左側に移動し、出力部に転送される。このようにゲート８２と垂直転送部９の各井戸９１のポテンシャルの切換えとを制御することにより、Ｒの色成分の垂直転送電荷とＢの色成分の垂直転送電荷とが同時に水平転送部９に到達する場合にも両色成分の電荷が確実に分離され、Ｒ，Ｂの色成分毎に基本構成単位を構成する４個の電荷が加算されて順次、出力部に出力される。
【０１０６】ところで、３相駆動によりＣＣＤ型撮像センサを駆動した場合、転送部では２クロック毎に電荷が隣の井戸に移動する。また、電荷を保持する井戸同士の間に２つの空の井戸が必要となるから、水平転送部からは６クロック毎に１個の電荷が出力部に出力されることになる。第３実施形態に係る撮像センサ３では、６クロック毎に基本構成単位を構成する４個の電荷を１個の電荷に加算して出力部に出力しているので、第１，第２実施形態に係る撮像センサ３と同様に、従来の撮像センサ１０３のように１画素ずつ画素信号を読み出す場合に比べて総画素数が実質的に１／４となり、画素信号の読出速度が速くなる利点がある。また、画素信号の読出期間が従来と変わらなければ、画素信号の読出制御の駆動周波数を低くくすることができる利点がある。
【０１０７】なお、上記実施形態では、垂直転送部８の水平転送部９の近傍領域における奇数列の井戸数と遇数列の井戸数を異ならせることで、奇数列の垂直転送部８を移動する電荷の速度と偶数列の垂直転送部８を移動する電荷の速度とに差を設け、水平転送部９への電荷の到達タイミングにずれを生じさせるようにしていたが、垂直転送部８における電荷の移動を制御するクロックパルスを制御することで、奇数列の垂直転送部８を移動する電荷と偶数列の垂直転送部８を移動する電荷との水平転送部９への到達タイミングをずらせるようにしても良い。
【０１０８】また、上記実施形態では、各色成分毎に、隣り合う４個の画素から出力される受光信号を加算合成するようにしていたが、隣り合う４の整数倍の個数の画素から出力される受光信号を加算合成するようにしてもよい。この場合、受光信号が加算合成される画素が縦横両方向に対称に配置されるように、受光信号を加算合成する画素数を４×ｎ2（ｎは整数）個とすると好ましい。
【０１０９】また、上記実施形態では、加色系の三原色の色フィルタを備えた撮像センサについて説明したが、本発明は、減色系の三原色の色フィルタ等の他の色フィルタを備えた撮像センサについても適用することができる。
【０１１０】また、上記実施形態では、３色の色フィルタを備えた単板式カラー撮像センサを例に説明したが、本発明は、少なくとも２色の色フィルタが交互に配置された撮像センサに適用することができる。更に、本実施形態では、光電変換素子の受光面に色フィルタを設けて当該光電変換素子の感度特性を調整する構成について説明したが、光電変換素子自体が偏った色に対して感度特性を有し、互いに異なる色に対して感度特性を有する少なくとも２種類の光電変換素子を同一色が隣接しないように配置された撮像センサの場合についても本発明を適用することができる。
【０１１１】なお、第３実施形態に係る撮像センサ３は、各画素ｇから垂直転送部８への電荷Ｑの読出タイミングを制御して、最小構成単位を構成する４個の画素ｇの蓄積電荷Ｑを２個ずつ加算して垂直転送電荷を生成するように垂直転送部８に読み出し、更に水平転送部９でこれら２個の垂直転送電荷を加算して出力部に出力するようにしていたが、電荷Ｑを２個ずつ加算した垂直転送電荷が生成されないように、各画素ｇから独立して蓄積電荷Ｑを垂直転送部８に読み出す制御をすることで、電荷の読出時間は最小構成単位を構成する４個の画素ｇの蓄積電荷Ｑを加算しながら読み出す方法に比べて長時間（約４倍）となるが、従来の撮像センサ１０３と同様の撮像センサとして利用することができる。
【０１１２】この場合、画素ｇの蓄積電荷Ｑを全て読み出す第１の読出モードと縦横両方向に画素ｇの蓄積電荷Ｑを１／２に間引いて読み出す第２の読出モードとが選択可能な撮像センサでは、折返し成分の増大を招く第２の読出モードでの電荷読み出しをすることなく、最小限の駆動時間で電荷を読み出すことのできる撮像センサを実現することができる。
【０１１３】また、第１実施形態においても、ＦＤＡとこのＦＤＡに接続されている４個の受光部ＰＤijとの間にスイッチを設け、各スイッチのＯＮ／ＯＦＦを制御して各ＰＤijから独立して受光信号を順次、読み出すようにすることで、従来の撮像センサ１０３と同様の撮像センサとして利用することができる。
【０１１４】
【発明の効果】以上説明したように、本発明によれば、互いに異なる色に感度を有する少なくとも２種類の複数の受光素子が水平方向及び垂直方向に同一色が隣接しないように交互に配置されてなる受光部を備えた撮像装置において、受光部の各受光素子で得られた電荷を、各色毎に、隣り合う所定数の電荷毎に統合し、その統合した電荷を各色に分離して外部に順次、読み出すようにしたので、光学ローパスフィルタを用いることなく従来の撮像センサと同等以上の解像特性に優れた撮像センサを構成することができる。これにより簡単な構成で結像光学系の光学特性を十分に生かした撮像装置を実現することができる。
【図面の簡単な説明】
【図１】本発明に係る単板式カラー撮像センサを用いた撮像装置の概略構成を示す図である。
【図２】第１実施形態に係る撮像センサの各画素に設けられた色フィルタの配列を示す図である。
【図３】第１実施形態に係る撮像センサの具体的な回路構成を示す図である。
【図４】受光部と増幅部の回路構成を示すもので、（ａ）は具体的な回路構成図であり、（ｂ）は受光部が形成された半導体基板の要部断面図である。
【図５】従来の撮像センサのＲの色成分の画素と第１実施形態に係る撮像センサのＲの色成分の画素との対応関係を説明するための図である。
【図６】従来の撮像センサのＢの色成分の画素と第１実施形態に係る撮像センサのＢの色成分の画素との対応関係を説明するための図である。
【図７】従来の撮像センサのＧの色成分の各画素と第１実施形態に係る撮像センサのＧの色成分の画素との対応関係を説明するための図である。
【図８】第1実施形態に係る撮像センサのＲの色成分の最小構成単位を構成する４個一組の画素群による受光面の平均像面照度を算出する方法を説明するための図である。
【図９】第１実施形態に係る撮像センサのＧの色成分の最小構成単位を構成する４個一組の画素群による受光面の平均像面照度を算出する方法を説明するための図である。
【図１０】（８）式，（１１）式により算出した第1実施形態に係る撮像センサの各色成分の周波数応答特性を示す図である。
【図１１】第１実施形態に係る撮像装置の全体としての周波数応答特性を示す図である。
【図１２】第２実施形態に係る撮像センサの画素及び色フィルタの配列を示す図である。
【図１３】第２実施形態に係る撮像センサのＲの色成分の最小構成単位を構成する４個一組の画素群を示す図である。
【図１４】第２実施形態に係る撮像センサのＢの色成分の最小構成単位を構成する４個一組の画素群を示す図である。
【図１５】第２実施形態に係る撮像センサのＧの色成分の最小構成単位を構成する４個一組の画素群を示す図である。
【図１６】ＩＴ−ＣＣＤを用いた第３実施形態に係る撮像センサの構成を示す図である
【図１７】第３実施形態に係る撮像センサの各色成分の最小構成単位を構成する４個一組の画素群を説明するための図である。
【図１８】第３実施形態に係る撮像センサの最初に受光部から垂直転送部へ読み出される電荷を示す図である。
【図１９】第３実施形態に係る撮像センサの２番目に受光部から垂直転送部へ読み出される電荷を示す図である。
【図２０】第３実施形態に係る撮像センサの３番目に受光部から垂直転送部へ読み出される電荷を示す図である。
【図２１】第３実施形態に係る撮像センサの４番目に受光部から垂直転送部へ読み出される電荷を示す図である。
【図２２】垂直転送部の最下端に転送されたＢの色成分の電荷Ｑb11，Ｑb12，Ｑb13，Ｑb14のうち、電荷Ｑb12，Ｑb14のみが水平転送部に転送された状態を示す図である。
【図２３】電荷Ｑb12，Ｑb14が水平転送部上の電荷Ｑb11，Ｑb13の転送位置に移動した状態を示す図である。
【図２４】電荷Ｑb11，Ｑb13を水平転送部に転送することにより当該電荷Ｑb11，Ｑb13と電荷Ｑb12，Ｑb14とが加算され、その後出力部に転送される状態を示す図である。
【図２５】垂直転送部の最下端にＧの色成分の電荷Ｑg12，Ｑg14，Ｑg11，Ｑg13，Ｑg31，Ｑg32，Ｑg33，Ｑg34が転送された状態を示す図である。
【図２６】電荷Ｑg11，Ｑg13と電荷Ｑg33，Ｑg34とをそれぞれ水平転送部に転送し、これらの電荷を水平転送部上の電荷Ｑg12，Ｑg14と電荷Ｑg31，Ｑg32との転送位置に転送した後、当該電荷Ｑg12，Ｑg14と電荷Ｑg31，Ｑg32とを水平転送部に転送することにより、電荷Ｑg11，Ｑg13と電荷Ｑg12，Ｑg14、電荷Ｑg31，Ｑg32とＱg33，Ｑg34とがそれぞれ加算される状態を示す図である。
【図２７】垂直転送部から水平転送部への電荷の転送および水平転送部での電荷の転送の動作を説明するために、関係のあるゲートと水平転送部の井戸とに識別符号を付した図である。
【図２８】Ｇの色成分の電荷Ｑg12，Ｑg14，Ｑg11，Ｑg13，Ｑg31，Ｑg32，Ｑg33，Ｑg34を垂直転送部から水平転送部に転送し、更に水平転送部上を転送する際に電荷Ｑg12，Ｑg14と電荷Ｑg11，Ｑg13、電荷Ｑg31，Ｑg32と電荷Ｑg33，Ｑg34とがそれぞれ加算され、分離された状態で出力部に出力される様子を示す図である。
【図２９】Ｒの色成分の垂直転送電荷とＢの色成分の垂直転送電荷とが同時に垂直転送部８の下端に転送された状態を示す図である。
【図３０】Ｒの色成分の電荷Ｑr11，Ｑr13，Ｑr12，Ｑr14とＢの色成分の電荷Ｑb12，Ｑb14，Ｑb11，Ｑb13とを垂直転送部から水平転送部に転送し、更に水平転送部上を転送する際にＲの色成分の電荷Ｑr11，Ｑr13と電荷Ｑr12，Ｑr14、Ｂの色成分の電荷Ｑb12，Ｑb14と電荷Ｑb11，Ｑb13とがそれぞれ加算され、分離された状態で出力部に出力される様子を示す図である。
【図３１】従来の単板式カラー撮像センサを用いた撮像装置の概略構成を示す図である。
【図３２】単板式カラー撮像センサの各画素に設けられた色フィルタの配列を示す図である。
【図３３】明暗が正弦波状に変化する縦縞光像を撮像センサで受光した場合の縦縞光像と各画素との関係を示す図である。
【図３４】撮像センサの各画素の受光面における平均像面照度を算出するための一次元モデルを示す図である。
【図３５】従来の単板式カラー撮像センサの周波数応答特性を示す図である。
【図３６】従来の撮像装置に用いられる光学ローパスフィルタの周波数応答特性を示す図である。
【図３７】結合光学系を透過した光線が光学ローパスフィルタにより２つに分離されて撮像面に照射される様子を示す図である。
【図３８】光学ローパスフィルタを透過した光像を単板式カラー撮像センサで受光した場合の各画素の受光面における平均像面照度を算出するための一次元モデルを示す図である。
【図３９】結像光学系の周波数応答特性を示す図である。
【図４０】従来の撮像装置の装置全体の周波数応答特性を示す図である。
【符号の説明】
１ 撮像装置
２ 結像光学系
３ 撮像センサ
３１ ｐｎフォトダイオード
３１１ ｎ基板
３１２ Ｐ−ウェル
３１３ ｎフォトダイオード
３１４ ｎ+フローティングディフュージョン領域
３１５ ゲート酸化膜
３１６ 電極
３２ 画素選択用スイッチ素子（ＭＯＳ型ＦＥＴ）
３３ リセット用ＭＯＳ型ＦＥＴ
３４ ソースフォロアアンプ
３５ 出力制御用スイッチ素子（ＭＯＳ型ＦＥＴ）
４ 信号処理部
５ 画像メモリ
６ 駆動制御部（電荷読出手段）
７ 受光部
８ 垂直転送部（電荷統合手段）
８１ 井戸
８２ ゲート
９ 水平転送部(電荷統合手段)
９１ 井戸
ＰＤij 受光素子
ＤＦＡ(Ｒ)，ＤＦＡ(Ｇ)，ＤＦＡ(Ｂ) 増幅回路（フローティングディフュージョンアンプ）(電荷統合手段)
【０００１】
【発明の属する技術分野】本発明は、光像を電気信号に変換してカラー画像を得る単板式カラー撮像センサに関するものである。
【０００２】
【従来の技術】図３１は従来の単板式カラー撮像センサを用いた撮像装置の概略構成を示す図であり、図３２は単板式カラー撮像センサの各画素に設けられた色フィルタの配列を示す図である。
【０００３】撮像装置１００は、結像光学系１０１、光学ローパスフィルタ１０２（以下、ＯＰＬＦという。）、撮像センサ１０３、信号処理部１０４及び画像メモリ１０５を備えている。
【０００４】撮像センサ１０３は、単板式カラー撮像センサからなり、各画素には図３２に示すように、色フィルタ１０３Ｒ，１０３Ｇ，１０３Ｂが設けられている。画素位置を（ｉ，ｊ）で表すとすると、Ｇの色フィルタは、（２ｋ−１，２ｈ）（但し、ｋ＝１，２，…（ｎ＋１）／２、ｈ＝１，２，…（ｍ−１）／２），（２ｋ，２ｈ−１）（但し、ｋ＝１，２，…（ｎ−１）／２、ｈ＝１，２，…（ｍ＋１）／２）の画素に設けられ、Ｒの色フィルタは（２ｋ−１，２ｈ−１）（但し、ｋ＝１，２，…（ｎ＋１）／２、ｈ＝１，２，…（ｍ＋１）／２）の画素に設けられ、Ｂの色フィルタは（２ｋ，２ｈ）（但し、ｋ＝１，２，…（ｎ−１）／２、ｈ＝１，２，…（ｍ−１）／２）の画素に設けられている。被写体光像は結像光学系１０１により撮像センサ１０３の撮像面に結像され、撮像センサ１０３を所定時間だけ露光することによりその露光光量が画像信号に光電変換され、カラーの電気画像として取り込まれる。そして、画像信号は、色成分毎に信号処理部１０４で所定の信号処理（サンプリングノイズの低減、信号レベルの調整、Ａ／Ｄ変換、ホワイトバランス調整、γ補正等）が行なわれた後、画像メモリ１０５に記憶される。
【０００５】単板式カラー撮像センサは撮像面にＲ，Ｇ，Ｂの色成分を受光する画素が所定のピッチで離散的に配列されているため、各色成分の画像信号は当該撮像面に結像される光像を二次元的にサンプリングしたものとなる。従って、単板式カラー撮像センサから出力される各色成分の画像信号には当該サンプリングに伴う折り返し歪みが生じる。そこで、かかる不具合を低減するため、結像光学系１０１と撮像センサ１０３との間に当該撮像センサ１０３に結像される光像の高周波成分のうち、サンプリング周波数ｆsの１／２以上の成分を除去するＯＰＬＦ１０２が設けられている。
【０００６】一般に、図３３に示すように、複数の画素ｇが格子状に配列された撮像センサ１０３で明暗が正弦波状に変化する縦縞光像１０６を受光した場合、各画素の出力信号（以下、画素信号という。）のレベルは、当該画素ｇの受光面における平均像面照度Ｉaveに対応する。
【０００７】図３４は、撮像センサ１０３の各画素の受光面における平均像面照度Ｉaveを算出するための一次元モデルを示す図である。
【０００８】同図に示すモデルは、複数の画素ｇが横方向に一列に並び、これらの画素gに対して周波数ｆで明暗が正弦波状に変化する光像１０６が、当該光像１０６のピークが中央の画素ｇ（図中、斜線で示す画素）の中心に一致するように照射されているものである。同図において、横方向の画素ピッチをＰs、サンプリング周波数をｆs（＝１／Ｐs）、画素ピッチＰsに対する画素ｇの横方向寸法の比率（画素開口率）をａ、中央の画素ｇの中心を横方向の位置ｘの座標基準０として周波数ｆで明暗が変化する縦縞光像１０６の像面照度の特性をｙ＝cos（２πｆｘ）とすると、中央の画素ｇの受光面における平均像面照度Ｉaveは、下記（１）式のようになる。
【０００９】
【数１】
【００１０】上記（１）式は、縦縞光像１０６の明暗の周波数ｆの関数であるから、撮像センサ１０３の出力信号の周波数応答特性Ｒs(f)を示すものである。
【００１１】そして、ａ＝１．０とし、上記（１）式を用いて画素開口率ａが最大の場合の周波数応答特性Ｒs(f)を算出すると、図３５の特性
【００１２】周知のように、信号の標本化において、標本化定理（周波数帯域Ｗで制限された信号は、２Ｗ以上の周波数でサンプリングすれば、サンプリング値から元の信号が完全に復元できるという定理）が満足されない場合、復調した信号に折り返し成分が混入する。このことは、例えば図３３の例においては、縦縞光像１０６の周波数成分のうち、ｆs／２以上の成分が撮像センサ１０３で撮影した画像に混入することを意味している。従って、撮像センサ１０３に結像される光像の周波数成分のうち、ｆs／２以上の成分を除去して撮影画像に折り返し歪みが混入しないようにする必要がある。
【００１３】図３２のようにモザイク状に色フィルタが配列された単板式カラー撮像センサ１０３においては、例えば横方向の隣接する画素のピッチをＰHとすると、Ｇの画素の横の配列ピッチＰHGはＰHG＝ＰHとなり、Ｒ，Ｂの画素の横の配列ピッチＰHR，ＰHBはＰHR＝ＰHB＝２ＰHとなる。すなわち、Ｇの色成分については、横方向のサンプリング周波数ｆHGは画素ピッチＰHに基づくサンプリング周波数ｆH（＝１／ＰH）に等しく、Ｒ，Ｂの色成分については、横方向のサンプリング周波数ｆHR，ｆHBはｆH／２に等しい。
【００１４】従って、上記（１）式にｆs＝ｆHを代入すれば、Ｇの色成分の周波数応答特性ＲSG(f)が下記(２)のように得られ、上記（１）式にｆs＝ｆH／２を代入すれば、Ｒ，Ｇの色成分の周波数応答特性ＲSR(f)，ＲSB(f)が下記（３）式のように得られる。
【００１５】
【数２】
【００１６】そして、例えば撮像センサ１０３で縦縞光像１０６を撮影した場合、Ｇの色成分は、縦縞光像１０６の周波数成分のうち、ｆH／２までが撮影画像として再現され、ｆH／２以上の周波数成分は折り返し成分となる。すなわち、図３５において、ｆs＝ｆHとすると、特性
【００１７】単板式カラー撮像センサ１０３の画素毎にマイクロレンズを設けて画素開口率ａを大きくすれば、Ｇの色成分の折り返し歪みは問題とならない程度に小さくすることができるが、図３５に示すように、Ｒ，Ｂの色成分の折り返し成分は大きいため、十分に抑制することはできず、却ってＲ，Ｂの色成分の折り返し成分による偽解像が強くなる。このため、従来の撮像装置１００では、図３６に示すcos(πｆ／ｆs）の周波数応答特性ＲOPLF(f)を有する複屈折を利用したＯＰＬＦ１０２を設け、撮像面に結像される光像の折り返し成分を効果的に減衰させるようにしている。
【００１８】なお、ＯＰＬＦ１０２の周波数応答特性ＲOPLF(f)は、以下のように算出される。
【００１９】すなわち、図３７に示すように、結合光学系１０１を透過した光線は、ＯＰＬＦ１０２によって２つに分離され、撮像センサ１０３に結像される。図３４の例において、ｙ＝cos（２πｆｘ）の周波数特性を有する縦縞光像１０６が、図３８に示すように、ＯＰＬＦ１０２によって±ｄ／２だけずれて撮像センサ１０３に照射されるとすると、両光像の平均値が撮像センサ１０３の撮像面に照射された光像となる。
【００２０】＋ｄ／２ずれた光像の周波数特性
【００２１】結像光学系１０１が、Ｒ，Ｇ，Ｂの各色成分に対して図３９に示す周波数応答特性Ｒopt(f)を有しているとすると、例えば撮像装置１００全体としての周波数特性ＲR(f)，ＲG(f)，ＲB(f)は、図３５に示す撮像センサ１０３の周波数応答特性Ｒs(f)に結像光学系１０１の周波数応答特性Ｒopt(f)と図３６に示すＯＰＬＦ１０２の周波数応答特性ＲOPLF(f)とを掛け合わせた特性となるから、図４０に示すようになる。
【００２２】図４０から明らかなように、０．５≦２ｆ／ｆs＜１．０では周波数特性Ｒ(f）が略０となり、この部分の折り返し成分が０≦ｆ／ｆs≦０．５の周波数応答に混入しないようになっている。
【００２３】
【発明が解決しようとする課題】ところで、上記従来の撮像装置では、結像光学系１０１と撮像センサ１０３との間にＯＰＬＦ１０２を設けて、結像光学系１０１によって撮像センサ１０３の撮像面に結像される光像の折り返し成分を低減するようにしているので、撮像装置１００の部品点数が多く、コスト的に不利である。
【００２４】本発明は、上記課題に鑑みてなされたもので、ＯＰＬＦを用いることなく結像光学系の光学特性を活かした撮像装置を実現することのできる撮像センサを提供するものである。
【００２５】
【課題を解決するための手段】請求項１記載の発明は、互いに異なる色に感度を有する少なくとも２種類の複数の受光素子が水平方向及び垂直方向に同一色が隣接しないように交互に配置されてなる受光部を備えた撮像センサであって、露光によって上記受光部の各受光素子で得られた電荷を、各色毎に、隣り合う所定数の電荷毎に統合する電荷統合手段と、上記電荷統合手段で統合された電荷を、各色に分離して外部に順次、読み出す電荷読出手段とを備えたものである。
【００２６】なお、上記電荷統合手段で統合される電荷の所定数は４の整数倍の数にするとよい（請求項２）。また、上記電荷統合手段で統合される電荷を発生する所定数の受光素子は二次元的に配置されているとよい（請求項３）。また、上記受光部は赤、緑、青の三原色に感度を有する３種類の複数の受光素子をベイヤー型に配置したものであるとよい（請求項４）。
【００２７】上記構成によれば、露光によって受光部の各受光素子で得られた電荷は、各色毎に、隣り合う所定数の電荷毎に統合される。そして、統合された電荷は順次、外部に読み出される。ここに、「統合」とは、所定数の電荷を１つにすることをいい、当該電荷が電圧信号として扱われる場合の各電圧レベルを加算し、必要に応じて増幅する処理や当該電荷が電荷量として扱われる場合の各電荷量を加算する処理を含む。
【００２８】例えば受光部が赤、緑、青の三原色に感度を有する３種類の複数の受光素子をベイヤー型に配置したものでは、各色毎に、例えば二次元的に隣り合って配置された４個の受光素子を一組として、各組毎に４個の受光素子で得られた電荷が統合される。そして、統合された各組の電荷は順次、色分離されて外部に読み出される。
【００２９】請求項５記載の発明は、請求項１〜４のいずれかに記載された撮像装置において、上記電荷統合手段は、統合すべき電荷を発生する所定数の受光素子が接続され、当該所定数の受光素子で得られた電荷を電圧に変換して加算するフローティングディフュージョンアンプからなり、上記電荷読出手段は、上記フローティングディフュージョンアンプからの電圧信号の出力を制御するものである。
【００３０】上記構成によれば、統合すべき電荷を発生する所定数の受光素子はそれぞれフローティングディフュージョンアンプに接続されており、露光によってこれらの受光素子で得られた電荷はフローティングディフュージョンアンプで電圧信号に変換されて加算（ゲインが設定されている場合は、併せて増幅）される。そして、フローティングディフュージョンアンプからの電圧信号の出力を制御することにより、統合された電荷に対応する電圧信号が、色分離されて順次、外部に出力される。
【００３１】請求項６記載の発明は、請求項１〜４のいずれかに記載された撮像装置において、上記受光素子の列毎に隣設され、各列の受光素子で得られた電荷を垂直方向に順次、転送する複数の垂直転送手段と、上記複数の垂直転送手段の下端に設けられ、当該垂直転送手段で転送された電荷を水平方向に順次、転送して外部に出力する水平転送手段と、各列の上記受光素子で得られた電荷を、統合すべき電荷が加算されるタイミングで順次、上記垂直転送手段に転送させ、且つ、各垂直転送手段で転送される電荷を、統合すべき加算された電荷が同時に上記水平転送手段に到達するように、上記電荷の垂直転送手段への転送および当該垂直転送手段での電荷の転送を制御する第１の転送制御手段と、上記各垂直転送手段で順次、転送された統合すべき複数の加算された電荷を更に加算するように、上記水平転送手段での電荷の転送を制御する第２の転送制御手段とからなり、上記電荷読出手段は、上記水平転送手段で加算された電荷を順次、外部に出力するものである。
【００３２】例えば受光部が赤、緑、青の三原色に感度を有する３種類の複数の受光素子をベイヤー型に配置したもので、各色毎に、例えば二次元的に隣り合って配置された４個の受光素子を一組として、当該４個の受光素子で得られた電荷が統合される場合の、２行２列に配列されている４個一組のＲの受光素子Ｒ11，R12，Ｒ13，Ｒ14（Ｒ11，R13は第１列に上下に配置され、Ｒ12，R14は第２列に上下に配置されているとする）で得られた電荷を統合する場合を例に取ると、上記構成によれば、露光によって受光素子Ｒ11，R12，Ｒ13，Ｒ14でそれぞれ得られた電荷Ｑr11，Ｑr12，Ｑr13，Ｑr14は、まず、受光素子Ｒ11，R12で得られた電荷Ｑr11，Ｑr12が垂直転送手段に読み出される。
【００３３】垂直転送手段に読み出された電荷Ｑr11，Ｑr12は下方向に転送され、電荷Ｑr11，Ｑr12が受光素子Ｒ13，R14で得られた電荷Ｑr13，Ｑr14の読出位置に移動したタイミングで当該電荷Ｑr13，Ｑr14が垂直転送手段に読み出され、これにより電荷Ｑr11と電荷Ｑr13、電荷Ｑr12と電荷Ｑr14とがそれぞれ加算されて垂直転送用の電荷（Ｑr11＋Ｑr13），（Ｑr12＋Ｑr14）とされる。そして、加算された電荷（Ｑr11＋Ｑr13），（Ｑr12＋Ｑr14）は垂直転送手段で下方向に転送され、水平転送手段に同時に到達すると、当該水平転送手段で更に加算されて水平転送用の電荷（Ｑr11＋Ｑr13＋Ｑr12＋Ｑr14）とされ、この１つに統合された電荷（Ｑr11＋Ｑr13＋Ｑr12＋Ｑr14）が外部に読み出される。
【００３４】
【発明の実施の形態】図１は、本発明に係る単板式カラー撮像センサを用いた撮像装置の第１実施形態の概略構成を示す図である。
【００３５】撮像装置１は、結像光学系２、ＭＯＳ（Metal Oxside Semiconductor）型撮像センサ３、信号処理部４及び画像メモリ５で構成されている。本実施形態に係る撮像装置１は、後述するように撮像センサ３の構成を改良することで結像光学系２と撮像センサ３との間にＯＬＰＦを設けなくてもよい構成となっている。
【００３６】撮像センサ３は、フローティングディフュージョンアンプを備えた増幅型ＭＯＳ型撮像センサからなる単板式カラー撮像センサで構成されている。撮像センサ３の各画素には図２に示す配列で色フィルタが設けられている。なお、図２は、説明の便宜上、８×８画素分についてのみ表示している。また、撮像センサ３は、画素サイズが、図３２に示す従来の撮像装置１００の撮像センサ１０３の画素サイズの１／２（面積で１／４）となっており、Ｒ，Ｇ，Ｂの色フィルタの配列は撮像センサ１０３と同一のベイヤー方式となっている。
【００３７】図３は、撮像センサ３の具体的な回路構成を示す図である。同図は、図２の画素配列における左上隅の４×４の領域（画素位置（１，１）〜（４，４）の部分）の回路構成を示したものである。
【００３８】図３において、ＰＤij（ｉ＝１，２，…、ｊ＝１，２，…）は、画素位置（ｉ，ｊ）の受光素子であり、ＦＤＡ（Ｒ），ＦＤＡ（Ｇ），ＦＤＡ（Ｂ）は、フローティングディフュージョンアンプ（以下、増幅回路という。）である。そして、複数の受光素子全体は本発明に係る受光部に相当している。Ｒ，Ｇ，Ｂの各受光素子ＰＤijは、同一色の隣り合う４個を１組として１つの増幅回路ＦＤＡ(q)（ｑ＝Ｒ，Ｇ，Ｂ）に接続され、各増幅回路ＦＤＡ（ｑ）は対応する色の出力ラインＬR，ＬG，ＬBに接続されている。すなわち、Ｒの受光素子ＰＤ11，ＰＤ13，ＰＤ31，ＰＤ33は増幅回路ＦＤＡ（Ｒ）に接続され、この増幅回路ＦＤＡ（Ｒ）は出力ラインＬRに接続されている。また、Ｇの受光素子ＰＤ12，ＰＤ21，ＰＤ23，ＰＤ32は増幅回路部ＦＤＡ（Ｇ）に接続され、この増幅回路ＦＤＡ（Ｇ）は出力ラインＬGに接続されている。また、Ｂの受光素子ＰＤ22，ＰＤ24，ＰＤ42，ＰＤ44は増幅回路ＦＤＡ（Ｂ）に接続され、この増幅回路ＦＤＡ（Ｂ）は出力ラインＬBに接続されている。
【００３９】受光素子ＰＤijは、図４（ａ）に示すようにｐｎフォトダイオード３１からなり、これに直列接続されるＭＯＳ型ＦＥＴ（Field Effect Transistor）からなるスイッチ素子３２を含んでいる。具体的には、同図（ｂ）に示すように、ｎ基板３１１の上にｐ−ウェル（ｗｅｌｌ）３１２を形成し、その上にｐｎ接合でｎフォトダイオード３１３が形成されるとともに、ｎフォトダイオード３１３に所定の間隔を設けてｎ+フローティングディフュージョン（floating diffusion）領域３１４（以下、ＦＤ領域３１４という。）が形成されている。更にｎフォトダイオード３１３からＦＤ領域３１４に亘るｐ−ウェル３１２の表面にゲート酸化膜３１５が形成され、このゲート酸化膜３１４のｎフォトダイオード３１３とＦＤ領域３１４との隙間部分に対応する位置に電極３１６が形成されている。この電極３１６はＭＯＳ型ＦＥＴ３２のゲートに相当し、水平読出信号ＳHが入力される端子となっている。また、ＦＤ領域３１４は増幅回路ＦＤＡ（ｑ）（ｑ＝Ｒ，Ｇ，Ｂ）のＭＯＳ型ＦＥＴからなるソースフォロアアンプ３４のゲートに接続されている。
【００４０】また、増幅回路ＦＤＡ（ｑ）は、ＭＯＳ型ＦＥＴからなるソースフォロアアンプ３４と、ＦＤ領域３１４の電荷蓄積をリセットするためのＭＯＳ型ＦＥＴ３３と、ソースフォロアアンプ３４から出力ラインＬq（ｑ＝Ｒ，Ｇ，Ｂ）への信号出力を制御するためのＭＯＳ型ＦＥＴからなるスイッチ素子３５とを含む。
【００４１】なお、図４では、１個の増幅回路ＦＤＡ（ｑ）に１個の受光素子ＰＤijが接続された構成を示しているが、上述したように、本実施形態に係る撮像センサ３では１個の増幅回路ＦＤＡ（ｑ）に４個一組の同一色の受光素子ＰＤijが接続されている。例えば図４（ａ）の増幅回路ＦＤＡ（ｑ）をＲの増幅回路ＦＤＡ（Ｒ）、出力ラインＬqをＲの出力ラインＬRとすると、増幅回路ＦＤＡ（ｑ）のｃ点には４個の受光素子ＰＤ11，ＰＤ13，ＰＤ31，ＰＤ33のＦＤ領域３１４がそれぞれ接続されている。Ｇ，Ｂの増幅回路ＦＤＡ（Ｇ），ＦＤＡ（Ｂ）についても同様である。
【００４２】撮像センサ３の撮像動作においては、例えばＲの増幅回路ＦＤＡ（Ｒ）のリセット用ＭＯＳ型ＦＥＴ３３に駆動制御部６からハイの制御パルスＳRSが入力され、これにより増幅回路ＦＤＡ（Ｒ）に接続されている４個の受光素子ＰＤ11，ＰＤ13，ＰＤ31，ＰＤ33の各ＦＤ領域３１４の電位が電源電圧ＶDDにリセットされる。制御パルスＳRSがローになると、ＭＯＳ型ＦＥＴ３３がオフになり、受光素子ＰＤ11，ＰＤ13，ＰＤ31，ＰＤ33の各ＦＤ領域３１４の電位はフローティング状態となる。一方、ｎフォトダイオード３１３に入射した光エネルギーは電荷に変換されてｎフォトダイオード３１３の下部の空之層３１３ａに蓄積される。各ＦＤ領域３１４の電位が電圧ＶDDにリセットされた後、各電極３１６に駆動制御部６からハイの制御パルスＳHが入力されると、受光素子ＰＤ11，ＰＤ13，ＰＤ31，ＰＤ33では空之層３１３ａとＦＤ領域３１４との間の電位障壁が無くなり、空之層３１３ａに蓄積された電荷（受光光量に比例した電荷）がＦＤ領域３１４に注入され、これによりＦＤ領域３１４の電位が変化する。
【００４３】空之層３１３ａの蓄積電荷が完全にＦＤ領域３１４に転送されるタイミングでＭＯＳ型ＦＥＴ３５に駆動制御部６からハイの制御パルスＳVが入力されると、受光素子ＰＤ11，ＰＤ13，ＰＤ31，ＰＤ33の各ＦＤ領域３１４の電圧（受光光量に比例した電圧）がｃ点で加算され、ソースフォロアアンプ３４で増幅されてＭＯＳ型ＦＥＴ３５を介して出力ラインＬRに出力される。すなわち、４個の画素Ｒ11，Ｒ13，Ｒ31，Ｒ33の受光光量を加算した光量に対応する信号（電圧信号）が出力ラインＬRから出力される。
【００４４】Ｇの４個の受光素子ＰＤ12，ＰＤ21，ＰＤ23，ＰＤ32と増幅回路ＦＤＡ（Ｇ）やＢの４個の受光素子ＰＤ22，ＰＤ24，ＰＤ42，ＰＤ44と増幅回路ＦＤＡ（Ｂ）についても、上述したＲの４個の受光素子ＰＤ11，ＰＤ13，ＰＤ31，ＰＤ33と増幅回路ＦＤＡ（Ｒ）の動作と同様の動作が行なわれ、出力ラインＬGから４個の画素Ｇ12，Ｇ21，Ｇ23，Ｇ32の受光光量を加算した光量に対応する信号（電圧信号）が出力され、出力ラインＬBから４個の画素Ｂ22，Ｂ24，Ｂ42，Ｂ44の受光光量を加算した光量に対応する信号（電圧信号）が出力される。
【００４５】上述したように、第１実施形態に係る撮像センサ３は、各画素の受光面積は従来の撮像センサ１０３の各画素の受光面積の１／４であるが、各色毎に、隣り合う４個の画素を１組とし、これらの画素で受光した光量の積算値をフローティングディフュージョンアンプで増幅して出力させるようにしているので、４画素１組が従来の撮像センサ１０３の１画素に対応し、従来の撮像センサ１０３と比較して著しくダイナミックレンジが低下したり、ノイズが増加するようなことはない。
【００４６】図５〜図７は、それぞれＲ，Ｂ，Ｇの色成分について、従来の撮像センサ１０３の各画素の受光信号と本実施形態に係る撮像センサ３の実質的な受光信号との対応関係を示したものである。図５〜図７において、（ａ）は従来の撮像センサ１０３の画素配置であり、（ｂ）は本実施形態に係る撮像センサ３の画素配置である。なお、説明の便宜上、図５（ｂ）、図７（ｂ）は左上隅の４×８画素の範囲だけを示し、図６（ｂ）は左上隅の５×９画素の範囲だけを示している。
【００４７】Ｒの色成分は、図５（ｂ）に示すように、範囲Ａ１内にある画素位置（１，１），（１，３），（３，１），（３，３）の画素Ｒ11，Ｒ13，Ｒ31，Ｒ33の受光信号を加算した信号、範囲Ａ２内にある画素位置（１，５），（１，７），（３，５），（３，７）の画素Ｒ15，Ｒ17，Ｒ35，Ｒ37の受光信号を加算した信号が、それぞれ同図（ａ）に示す従来の撮像センサ１０３の画素位置（１，１），（１，３）の画素Ｒ11，Ｒ13の受光信号に対応する。
【００４８】Ｂの色成分は、図６（ｂ）に示すように、範囲Ｂ１内にある画素位置（２，２），（２，４），（４，２），（４，４）の画素Ｂ22，Ｂ24，Ｂ42，Ｂ44の受光信号を加算した信号、範囲Ｂ２内にある画素位置（２，６），（２，８），（４，６），（４，８）の画素Ｂ26，Ｂ28，Ｂ46，Ｂ48の受光信号を加算した信号が、それぞれ同図（ａ）に示す従来の撮像センサ１０３の画素位置（２，２），（２，４）の画素Ｂ22，Ｂ24の受光信号に対応する。
【００４９】Ｇの色成分は、図７（ｂ）に示すように、範囲Ｃ１内にある画素位置（１，２），（２，１），（２，３），（３，２）の画素Ｇ12，Ｇ21，Ｇ23，Ｇ32の受光信号を加算した信号、範囲Ｃ２内にある画素位置（１，６），（２，５），（２，７），（３，６）の画素Ｇ16，Ｇ25，Ｇ27，Ｇ36の受光信号を加算した信号、範囲Ｃ３内にある画素位置（３，４），（４，３），（４，５），（５，４）の画Ｇ34，Ｇ43，Ｇ45，Ｇ54の受光信号を加算した信号、範囲Ｃ４内にある画素位置（３，８），（４，７），（４，９），（５，８）の画素Ｇ38，Ｇ47，Ｇ49，Ｇ58の受光信号を加算した信号が、それぞれ同図（ａ）に示す従来の撮像センサ１０３の画素位置（１，２），（１，４），（２，３），（２，５）の画素Ｇ12，Ｇ14，Ｇ23，Ｇ25の受光信号に対応する。
【００５０】そして、例えばＲの色成分については、上記のように、範囲Ａ１内にある画素Ｒ11，Ｒ13，Ｒ31，Ｒ33の受光信号を加算した信号は従来の撮像センサ１０３の画素Ｒ11の受光信号に対応するから、画素Ｒ11，Ｒ13，Ｒ31，Ｒ33の平均像面照度Ｉave(r)を算出することにより、Ｒの周波数応答特性ＲSR(f)を得ることができる。
【００５１】図８に示すように、空間周波数ｆで正弦波状に明暗が変化する縦縞光像Ｌが、そのピーク値（明ラインの最大値）が範囲Ａ１の縦方向中心と一致するように照射されている場合、４個の画素Ｒ11，Ｒ13，Ｒ31，Ｒ33における平均像面照度Ｉave(r)は、図３５で説明したのと同様の方法によって、以下のように算出される。
【００５２】すなわち、画素ピッチをＰｓ'、画素開口率をａ、範囲Ａ１の縦方向中心を横方向（ｘ方向）の原点０として縦縞光像Ｌによる照度特性をｙ＝cos（２πｆｘ）とすると、−（２＋ａ）Ｐｓ'／２から＋（２＋ａ）Ｐｓ'／２の範囲（受光領域
【００５３】画素Ｒ11，Ｒ31に対応する受光領域
【００５４】
【数３】
【００５５】従って、４個の画素Ｒ11，Ｒ13，Ｒ31，Ｒ33における平均像面照度Ｉave(r)は、Ｉ３を受光領域（
【００５６】
【数４】
【００５７】なお、図８において、Ｒの画素Ｒ11，Ｒ13，Ｒ31，Ｒ33をＢの画素Ｂ22，Ｂ24，Ｂ42，Ｂ44に置き換えれば、縦縞光像Ｌを範囲Ｂ１内の４個のＢ画素で受光した場合の、各画素Ｂ22，Ｂ24，Ｂ42，Ｂ44における平均像面照度Ｉave(b)が算出されるから、Ｂの周波数応答特性ＲSB(f)は、Ｒの周波数応答特性ＲSR(f)と同じ特性となる。
【００５８】一方、Ｇの周波数応答特性ＲSG(f)は、図９に示すように、空間周波数ｆで正弦波状に明暗が変化する縦縞光像Ｌが、そのピーク値（明ラインの最大値）が範囲Ｃ１の縦方向中心と一致するように照射されている場合の４個の画素Ｇ12，Ｇ21，Ｇ23，Ｇ32における平均像面照度Ｉave(g)を算出することによって得ることができる。
【００５９】図９において、画素Ｇ21に対応する受光領域
【００６０】従って、４個の画素Ｇ12，Ｇ21，Ｇ23，Ｇ32における平均像面照度Ｉave(g)は、２（Ｉ３＋Ｉ４）を受光領域（
【００６１】
【数５】
【００６２】図１０は、ａ＝１．０として上記（８），（１１）式により算出した周波数応答特性ＲSR(f)，ＲSG(f)の図である。本実施形態に係る撮像センサ３の実際の周波数応答特性ＲR(f)’，ＲG(f)’は、図１０に示す周波数応答特性ＲSR(f)，ＲSG(f)と図３９に示す結像光学系２の周波数応答特性Ｒopt(f)とを掛け合わせた特性となるから、図１１に示すようになる。
【００６３】図１１に示すように、０．５≦ｆ／ｆｓ＜１．０ではＲ，Ｂの周波数特性ＲR(f)’，ＲB(f)’が０以下となり、この部分の折り返し成分が０≦ｆ／ｆs≦０．５の周波数応答特性に混入することはない。従って、Ｒ，Ｂの色成分の折り返し成分による偽解像は殆ど生じない。一方、ｆ／ｆs＝０．５においては、Ｇの周波数応答特性ＲG(f)’＞０となるが、そのレベルは小さいので折り返し成分が０≦ｆ／ｆs≦０．５の周波数応答特性に混入しても特に問題とはならず、むしろＯＬＰＦによりＲG(f)'＝０とするよりも解像力が向上する。
【００６４】上記のように、本実施形態に係る撮像装置１は結像光学系２と撮像センサ３との間にＯＰＬＦを設けることなく従来の撮像装置１００よりも解像特性の高い撮像装置となっている。また、各色成分毎に４画素を１組として画素信号が読み出されるので、駆動制御の観点から見ると、従来の撮像センサ１０３のように１画素ずつ画素信号を読み出す場合に比べて総画素数が実質的に１／４となるので、画素信号の読出速度が速くなる利点がある。逆に言えば、画素信号の読出期間が従来と変わらなければ、画素信号の読出制御の駆動周波数を低くくすることができる利点がある。
【００６５】図１に戻り、信号処理部４は、撮像センサ３から出力される画像信号（各ＦＤＡから出力される信号）に対して所定の信号処理（サンプリングノイズの低減、信号レベルの調整、Ａ／Ｄ変換、ホワイトバランス調整、γ補正等）を行なうものである。信号処理部４は、Ｒ，Ｇ，Ｂの色成分の画像信号毎に所定の信号を行う。画像メモリ５は、信号処理部４から出力される画像信号を記憶するものである。画像メモリ５は、Ｒ，Ｇ，Ｂの各色成分に対応した記憶領域を有し、Ｒ，Ｇ，Ｂの色成分の画像信号をそれぞれ記憶する。従って、撮像センサ３から出力されるＲ，Ｇ，Ｂの色成分の画像信号は、信号処理部１０４で上記の所定の信号処理が行われた後、画像メモリ１０５にそれぞれ記憶される。
【００６６】上記第１実施形態では、撮像センサ３は長方形若しくは正方形の画素が各辺を縦方向と横方向とに平行にしてマトリックス形状に配列されていたが、図１２に示すように、正方形の画素が対角線を縦方向と横方向とに平行にしてマトリックス形状に配列されている場合にも、上述した構成と同様の構成を採用することにより、結像光学系２と撮像センサ３との間にＯＰＬＦを設けることなく従来の撮像装置１００よりも解像特性の高い撮像装置１を実現することができる。
【００６７】図１２に示す撮像センサ３（以下、この撮像センサ３を第２実施形態に係る撮像センサ３という。）は、縦方向の行数が奇数個で、横方向の列数は、奇数行では偶数個、偶数行では奇数個となっている。縦方向の行数ｉを（２ｎ−１）、奇数行ｉ＝２ｋ−１（ｋ＝１，２，…ｎ）の列数ｊを２ｍ、偶数行ｉ＝２ｋ（ｋ＝１，２，…（ｎ−１））の列数ｊを２ｍ＋１とすると、画素位置（２ｋ−１，２ｈ−１），（２ｋ−１，２ｈ）（ｋ＝１，２，…ｎ、ｈ＝１，２，…ｍ）にはＧの色フィルタ３Ｇ（右下斜線で示すフィルタ）が設けられ、画素位置（４ｋ−２，２ｈ）（ｋ＝１，２，…（ｎ−１）、ｈ＝１，２，…ｍ）にはＲの色フィルタ３Ｒ（縦縞で示すフィルタ）が設けられ、画素位置（４ｋ，２ｈ−１）（ｋ＝１，２，…（ｎ−１）、ｈ＝１，２，…（ｍ＋１））にはＢの色フィルタ３Ｂ（横縞で示すフィルタ）が設けられている。
【００６８】そして、図１３に示すように、画素位置（４ｋ−２，２ｈ）,（４ｋ，２ｈ−１）,（４ｋ，２ｈ＋１）,（４ｋ＋２，２ｈ）（ｋ，ｈ；共に奇数又は共に偶数）の４個のＲ画素（図１３では太線で囲まれた部分に含まれる４個のＲ画素）の受光部ＰＤ4k-2,2h，ＰＤ4k,2h-1，ＰＤ4k,2h+1，ＰＤ4k+2,2hは、１個の増幅部ＦＰＡ（Ｒ）（図略）に接続され、これらの受光部ＰＤ4k-2,2h〜ＰＤ4k+2,2hの画像信号は当該増幅部ＦＰＡ（Ｒ）で加算、増幅されて出力ラインＬRから出力されるようになっている。同様に、図１４に示すように、画素位置（４ｋ−２，２ｈ＋１）,（４ｋ，２ｈ）,（４ｋ，２ｈ＋２）,（４ｋ＋２，２ｈ＋１）（ｋ，ｈ；共に奇数又は共に偶数）の４個のＢ画素（図１４では太線で囲まれた部分に含まれる４個のＢ画素）の受光部ＰＤ4k-2,2h+1，ＰＤ4k,2h，ＰＤ4k,2h+2，ＰＤ4k+2,2h+1は１個の増幅部ＦＰＡ（Ｂ）（図略）に接続され、これらの受光部ＰＤ4k-2,2h+1〜ＰＤ4k+2,2h+1の画像信号は当該増幅部ＦＰＡ（Ｂ）で加算、増幅されて出力ラインＬBから出力され、図１５に示すように、画素位置（２ｋ−１，２ｈ−１）,（２ｋ−１，２ｈ）,（２ｋ＋１，２ｈ−１）,（２ｋ＋１，２ｈ）（ｋ＝１，２，…ｎ、ｈ＝１，２，…ｍ）の４個のＧ画素（図１５では太線で囲まれた部分に含まれる４個のＲ画素）の受光部ＰＤ2k-1,2h-1，ＰＤ2k-1,2h，ＰＤ2k-1,2h-1，ＰＤ2k+1,2hは１個の増幅部ＦＰＡ（Ｇ）（図略）に接続され、これらの受光部ＰＤ2k-1,2h+1〜ＰＤ2k+1,2hの画像信号は当該増幅部ＦＰＡ（Ｇ）で加算、増幅されて出力ラインＬGから出力されるようになっている。
【００６９】上記第１，第２実施形態は、ＦＤＡを備えた増幅型ＭＯＳ型撮像センサを用いたものであったが、ＩＴ−ＣＣＤ（Interline transfer CCD）型撮像センサを用いた場合（以下、ＩＴ−ＣＣＤ型撮像センサを用いたものを第３実施形態に係る撮像センサという。）にも撮像センサの受光部と垂直転送部の構成を改良するとともに各画素の読出しを制御することで同様の効果を得ることができる。
【００７０】図１６は、第３実施形態に係る撮像センサ３の構成を示す図である。なお、同図は、説明の便宜上、最小構成単位が含まれる５×５画素の受光部の部分Ａとこの受光部の部分Ａから読み出された蓄積電荷が転送される水平転送部とその近傍の垂直転送部の部分Ｂとを描いている。
【００７１】ここに、最小構成単位とは、例えば図１７において、画素位置（１，２），（２，１），（２，３），（３，２）の４個のＧの画素、画素位置（１，１），（１，３），（３，１），（３，３）の４個のＲの画素、画素位置（２，２），（２，４），（４，２），（４，４）の４個のＢの画素、画素位置（３，４），（４，３），（５，４），（４，５）の４個のＧの画素をそれぞれ１組とし、これら４組の画素群をいうものである。これは、後述するように、各組の画素で得られた電荷は垂直転送部８及び水平転送部９を移動する際に加算されて転送されるから、Ｒ，Ｇ，Ｂの各組の出力電荷が従来の撮像センサ１０３のＲ，Ｇ，Ｂの各画素の出力電荷に対応し、従来の撮像センサ１０３では隣接するＲ，Ｂの画素と２つのＧの画素の合計４個の画素を最小構成単位として扱っているので、これに対応させて隣接する１組のＲの画素群、１組のＢの画素群及び２組のＧの画素群とを最小構成単位とするものである。
【００７２】図１６において、受光部の部分Ａの縦長長方形で示す部分は受光光量を電荷量に光電変換するフォトダイオードからなる受光素子ｇである。複数の受光素子ｇが縦方向に配列された部分は受光部７であり、各受光部７の右隣に各受光素子ｇで光電変換された電荷が読み出される垂直転送部８が設けられている。垂直転送部８は縦方向の帯状をなし、受光部７よりも下方に延びてその下端がゲート８２を介して水平転送部９に接続されている。奇数列の受光部７の各画素ｇにはＲとＧの色フィルタが交互に設けられ、偶数列の受光部７の各画素ｇにはＧとＢの色フィルタが交互に設けられている。従って、第３実施形態に係る撮像センサ３も図２に示す色フィルタの配列と同一の色フィルタの配列を有している。そして、一点鎖線で囲まれた部分が最小構成単位を構成するＲ，Ｇ，Ｂの画素である。
【００７３】垂直転送部８の複数の分割された小領域８１（図中、略正方形状で示す部分）は、受光部７から読み出された電荷を水平転送部９に転送するためのポテンシャル井戸を形成する部分である。垂直転送部８は図略の駆動制御回路により、例えば３相駆動方式で駆動される。３相駆動方式では、隣合う３個の井戸８１を１組として１画素の蓄積電荷の転送が行われる。すなわち、３個の井戸８１を上から８１ａ，８１ｂ，８１ｃとし、各井戸のポテンシャルを（Ｐａ，Ｐｂ，Ｐｃ）とすると、（Ｌ，Ｈ，Ｈ）（但し、Ｌはローレベル、Ｈはハイレベルである。）のポテンシャル状態で井戸８１ａに電荷が読み出された後、所定の周期でポテンシャル（Ｐａ，Ｐｂ，Ｐｃ）を（Ｌ，Ｌ，Ｈ）→（Ｈ，Ｌ，Ｈ）と変化させることで、電荷が隣の井戸８１ｂに移動する。以下同様の方法で、各井戸８１のポテンシャルを変化させることで、垂直転送部８に読み出された電荷は順次、水平転送部９側に移動される。
【００７４】垂直転送部８の水平転送部９に近接した領域では、偶数列の井戸８１の数が奇数列の井戸８１の数の略１／２となっている。このように、水平転送部９の近傍領域で偶数列の井戸８１の数を奇数列の井戸８１より少なくしているのは、奇数列の垂直転送部８を移動する電荷と偶数列の垂直転送部８を移動する電荷との移動速度を変化させ、これにより奇数列の電荷と遇数列の電荷との水平転送部９への到達タイミングをずらし、各色毎に、最小構成単位を構成する４個の電荷（実際は垂直転送部８で２個ずつ加算されるので、２個の電荷）を分離して水平転送部９に転送できるようにするためである。なお、この垂直転送部８及び水平転送部９における各組の画素群から読み出された４個の電荷を加算合成する動作については後述する。
【００７５】ゲート８２は、垂直転送部８の最下端に移動した電荷の水平転送部９への転送を制御するものである。各ゲート８２は個別に開閉が制御可能になされ、各ゲート８２の開閉を制御することで、各色毎に、最小構成単位を構成する４個の電荷（実際は垂直転送部８で２個ずつ加算されるので、２個の電荷）が水平転送部９に転送され、当該水平転送部９で加算される。水平転送部９は横方向の帯状をなしている。水平転送部９の複数に分割された小領域９１（図中の略正方形状で示す部分）は垂直転送部８から転送された電荷を水平左方向（図略の出力部側）に順次、転送させるためのポテンシャル井戸を形成する部分である。水平転送部９も図略の駆動制御回路により、３相駆動方式で駆動され、上述した垂直転送部８と同様の方法で電荷が順次、出力部側に転送される。
【００７６】Ｒの画素ｇ及びＢの画素ｇは右側の垂直転送部８に接続され、これらの画素ｇで得られた電荷は右側の垂直転送部８の井戸８１に転送されるようになっている。なお、Ｒの画素ｇ及びＢの画素ｇを右側の垂直転送部８に接続しているのは、各列の受光部７に対応する垂直転送部８が当該受光部７の右側に配置されているためで、各列の受光部７に対応する垂直転送部８が当該受光部７の左側に配置されていれば、Ｒの画素ｇ及びＢの画素ｇは左側の垂直転送部８に接続されることになる。
【００７７】一方、Ｇの画素ｇは、１，５，９、…（４ｎ−３）の行では全て右側の垂直転送部８に接続され、３，７，１１、…（４ｎ−１）の行では全て左側の垂直転送部８に接続されている。また、２，６，１０、…（４ｎ−２）の行では、１，５，９、…（４ｍ−３）の列にあるものは右側の垂直転送部８に接続され、３，７，１１、…（４ｍ−１）の列にあるものは左側の垂直転送部８に接続されている。また、４，８，１２、…４ｎの行では、１，５，９、…（４ｍ−３）の列にあるものは左側の垂直転送部８に接続され、３，７，１１、…（４ｍ−１）の列にあるものは右側の垂直転送部８に接続されている。この接続関係は、図１７に示すように、隣接する４個の画素ｇ（菱形で結合した４個の画素ｇ）を１組とするように撮像センサ３の撮像面のＧの画素ｇを分類したとすると、各組において、上側及び左側の画素ｇで得られる電荷は右側の垂直転送部８に転送し、右側及び下側の画素ｇで得られる電荷は左側の垂直転送部８に転送するような接続関係である。
【００７８】このように、Ｇの画素ｇについては、上側及び左側の画素ｇで得られる電荷を右側の垂直転送部８に転送し、右側及び下側の画素ｇで得られる電荷を左側の垂直転送部８に転送するような接続関係としているのは、Ｇの画素群が菱形状に配置された４個のＧの画素ｇで構成されているからである。後述するように、第３実施形態では４個一組の画素ｇで得られた４個の電荷を垂直転送部８と水平転送部９とで順次、転送しながら出力部に読み出す際、垂直転送部８では２個の電荷を加算して１個の電荷として水平転送部９に転送し、当該水平転送部９で２個の加算された電荷を更に加算して（すなわち、４個の電荷を加算合成して）図略の出力部に転送するようにしている。Ｇの色成分については、４個一組の画素が菱形状に配置されているので、一組の全ての画素を右側の垂直転送部８に接続すると、垂直転送部８で２個の電荷を加算して１個の電荷として水平転送部９に転送することができないから、上側及び左側の画素を右側の垂直転送部８に接続し、右側及び下側の画素を左側の垂直転送部８に接続することで、垂直転送部８で電荷が２個ずつ加算できるようにしている。
【００７９】なお、上記目的に照らせば、例えば画素位置（１，２），（２，１），（２，３），（３，２）の４個のＧの画素をＧ11，Ｇ12，Ｇ13，Ｇ14とすると、画素Ｇ11の左側の垂直転送部８（以下、説明の便宜上、第１垂直転送部８という。）と画素Ｇ11の右側の垂直転送部８（以下、説明の便宜上、第２垂直転送部８という。）とにそれぞれ画素Ｇ11，Ｇ12，Ｇ13，Ｇ14から転送された蓄積電荷Ｑg11，Ｑg12，Ｑg13，Ｑg14で２個ずつを加算して垂直転送用の電荷を作成する場合、その組合わせは、(a)（Ｑg11，Ｑg12），（Ｑg13，Ｑg14）
(b)（Ｑg11，Ｑg13），（Ｑg12，Ｑg14）
となるから、画素Ｇ11，Ｇ12，Ｇ13，Ｇ14と第１，第２垂直転送部８との接続関係は、(c)画素Ｇ11，Ｇ12を第１垂直転送部８に接続し、画素Ｇ13，Ｇ14を第２垂直転送部８に接続する、(d)画素Ｇ11，Ｇ13を第２垂直転送部８に接続し、画素Ｇ12，Ｇ14を第１垂直転送部８に接続する、という関係となる。
【００８０】図１６に示す４個一組のＧの画素群の接続関係は、上記（d）の接続関係に相当する。従って、上記（c）の接続関係にしてもよく、この場合は上側及び右側の画素で得られる電荷は両画素で挟まれた垂直転送部８に転送され、左側及び下側の画素で得られる電荷は両画素で挟まれた垂直転送部８に転送されることになる。
【００８１】一方、Ｒ，Ｂの色成分については、一組の画素群が正方形状に配列され、左側の上下２個の画素と右側の上下の画素とでそれぞれペアが構成されるため、左側の上下に配置される２個の画素は両画素の右側の垂直転送部８に接続され、右側の上下に配置される２個の画素は両画素の右側の垂直転送部８に接続されている。
【００８２】次に、第３実施形態に係る撮像センサ３の露光終了後の各画素で得られた電荷の垂直転送部８及び水平転送部９における転送方法について、図１８〜図３０の図を用いて説明する。
【００８３】図１８〜図２６は、各画素で得られた電荷の露光終了後の垂直転送部８及び水平転送部９における移動を最小構成単位について示したものである。
【００８４】各画素ｇに付されたＲ11，Ｇ11，Ｂ11等の符号は、画素ｇを識別するための符号である。Ｒij，Ｇij，Ｂijのｉは組番号であり、ｊは配置位置の番号である。Ｒ，Ｂの１組の画素群は、４個の画素ｇが矩形の四隅を構成するように配置されるので、配置位置の番号を左上＝１，左下＝２，右上＝３，右下＝４としている。一方、Ｇの１組の画素群は、４個の画素ｇが菱形の上下左右の頂点を構成するように配置されるので、配置位置の番号を上＝１，左＝２，右＝３，下＝４としている。従って、例えばＲ11，Ｂ11は、組番号１のＲ，Ｂの画素群のうち、左上に位置する画素を示し、Ｇ31は、組番号３のＧの画素群のうち、上に位置する画素を示している。
【００８５】また、図１８〜図２６において、垂直転送部８及び水平転送部９の井戸８１，９１に描かれた○印は画素ｇから読み出された電荷Ｑを示し、丸の中の符号は当該電荷Ｑが読み出された画素ｇの符号に相当するものである。画素ｇの符号と区別するため、アルファベットは小文字にしている。例えば「ｇ１２」はＧの画素Ｇ１２から読み出された電荷Ｑであることを示し、「ｂ１１」はＢの画素Ｂ１１から読み出された電荷Ｑであることを示している。また、太字の矢印は画素ｇから電荷Ｑが垂直転送部８に読み出されることを示している。
【００８６】なお、説明の便宜上、以下の説明では電荷間の区別を行うため、電荷Ｑに当該電荷Ｑの丸符号を付すものとする。例えば「ｇ１２」の電荷Ｑは、「Ｑg12」と表記する。また、説明の便宜と図面の見易さを考慮して、説明に関係しない電荷については図面への記載を省き、以下の説明では、図面に記載した電荷についてのみ垂直転送部８及び水平転送部９における移動の説明を行う。
【００８７】まず、図１８に示すように、画素Ｇ12，Ｇ14，Ｂ11，Ｇ31，Ｂ12の蓄積電荷Ｑg12，Ｑg14，Ｑb11，Ｑg31，Ｑb12が垂直転送部８に読み出され、これらの蓄積電荷Ｑg12，Ｑg14，Ｑb11，Ｑg31，Ｑb12は当該垂直転送部８を水平転送部９側に転送される。最初の蓄積電荷の読出しでは、画素Ｇ12の蓄積電荷Ｑg12と画素Ｇ31の蓄積電荷Ｑg31とが上下にペア（Ｑg12，Ｑg31）となって読み出され、これらの電荷Ｑg12，Ｑg31は加算されて１つの電荷（以下、この電荷を垂直転送電荷という。）となる。
【００８８】なお、図１８では、別々の井戸８１に格納された電荷Ｑg12と電荷Ｑg14とが分離した状態で描かれているが、これは説明の便宜上、加算される電荷を分り易くするためのもので、実際の動作では１つの転送電荷として扱われる。他の電荷についても同様で、垂直転送部１８に読み出された電荷のうち、上下に隣接しているペアは加算された１つの垂直転送電荷である。以下、明細書上では、加算された転送電荷を（Ｑg12＋Ｑg14）のように表記する。
【００８９】続いて、図１９に示すように、電荷Ｑb11，Ｑg31，Ｑb12が垂直転送部８の画素Ｂ13，Ｇ32，Ｂ14の蓄積電荷の読出位置の上に移動したタイミングで、画素Ｒ11，Ｇ11,Ｇ13，Ｒ12，Ｂ13,Ｇ32，Ｂ14の蓄積電荷Ｑr11，Ｑg11,Ｑg13，Ｑr12，Ｑb13,Ｑg32，Ｑb14が垂直転送部８に読み出される。この電荷の読み出しにより、画素Ｇ11から読み出された電荷Ｑg11と画素Ｇ13から読み出された電荷Ｑg13とが加算され、１つの垂直転送電荷（Ｑg11＋Ｑg13）となる。また、画素Ｂ11，Ｇ31，Ｂ12から読み出された電荷Ｑb11，Ｑg31,Ｑb12と電荷Ｑb13，Ｑg32,Ｑb14とがそれぞれ加算され、それぞれ１つの垂直転送電荷（Ｑb11＋Ｑb13），（Ｑg31＋Ｑg32），（Ｑb12＋Ｑb14）となる。
【００９０】続いて、図２０に示すように、画素Ｒ11，Ｒ12から読み出された電荷Ｑr11，Ｑr12が垂直転送部８の画素Ｒ13，Ｒ14の蓄積電荷の読出位置の上に移動したタイミングで、当該画素Ｒ13，Ｒ14の蓄積電荷Ｑr13，Ｑr14が垂直転送部８に読み出される。この電荷の読み出しにより、画素Ｒ11，Ｒ12から読み出された電荷Ｑr11，Ｑr12と電荷Ｑr13，Ｑr14とがそれぞれ加算され、それぞれ１つの垂直転送電荷（Ｑr11＋Ｑr13），（Ｑr12＋Ｑr14）となる。
【００９１】続いて、図２１に示すように、垂直転送電荷（Ｑr11＋Ｑr13），（Ｑg11＋Ｑg13），（Ｑr12＋Ｑr14）が垂直転送部８の画素Ｇ33の蓄積電荷の読出位置に移動したタイミングで、画素Ｇ33，Ｇ34の蓄積電荷Ｑg33，Ｑg34が垂直転送部８に読み出され、加算されて１つの垂直転送電荷（Ｑg33＋Ｑg34）となる。
【００９２】画素Ｇ33，Ｇ34の蓄積電荷Ｑg33，Ｑg34の読み出しにより、最小構成単位の画素（Ｒ11〜Ｒ14），（Ｇ11〜Ｇ14），（Ｇ31〜Ｇ34），（Ｂ11〜Ｂ14）の蓄積電荷の垂直転送部８への読出しが終了し、読み出された電荷（Ｑr11〜Ｑr14），（Ｑg11〜Ｑg14），（Ｑg31〜Ｑg34），（Ｑb11〜Ｑb14）は、図２１に示すように、それぞれ１つの垂直転送電荷（Ｑg12＋Ｑg14），（Ｑr11＋Ｑr13），（Ｑb11＋Ｑb13），（Ｑg11＋Ｑg13），（Ｑg31＋Ｑg32），（Ｑr12＋Ｑr14），（Ｑb12＋Ｑb14），（Ｑg33＋Ｑg34）に加算されて垂直転送部８を水平転送部９側に転送される。そして、同図に示すように、水平転送部９の近傍では、偶数列の垂直転送部８の井戸数が奇数列の垂直転送部８より少ないので、２列目と４列目のＢの色成分の垂直転送電荷（Ｑb11＋Ｑb13），（Ｑb12＋Ｑb14）が１列目と３列目のＧの色成分の垂直転送電荷（Ｑg12＋Ｑg14），（Ｑg31＋Ｑg32）より速く水平転送部９に到達する。
【００９３】Ｂの色成分の垂直転送電荷（Ｑb11＋Ｑb13），（Ｑb12＋Ｑb14）が水平転送部９に到達すると、図２２に示すように、４列目の垂直転送部８に設けられたゲート８２がオンになり、Ｂの色成分の垂直転送電荷（Ｑb12＋Ｑb14）だけが水平転送部９に転送される。その後、この電荷（Ｑb12＋Ｑb14）は水平転送部９を左側に転送され、図２３に示すように２列目の垂直転送部８の下に転送されると、図２４に示すように当該垂直転送部８に設けられたゲート８２がオンになり、Ｂの色成分の垂直転送電荷（Ｑb11＋Ｑb13）が水平転送部９に転送され、電荷（Ｑb12＋Ｑb14）と加算される。そして、加算された電荷（Ｑb11＋Ｑb12＋Ｑb13＋Ｑb14）は水平転送部９により左側に順次、移動され、図略の出力部に転送される。
【００９４】Ｂの色成分の垂直転送電荷（Ｑb11＋Ｑb13），（Ｑb12＋Ｑb14）が水平転送部９で出力部に転送されると、垂直転送部８の垂直転送電荷（Ｑg12＋Ｑg14），（Ｑr11＋Ｑr13），（Ｑg11＋Ｑg13），（Ｑg31＋Ｑg32），（Ｑr12＋Ｑr14），（Ｑg33＋Ｑg34）が水平転送部９側に移動され、図２５に示すようにＧの色成分の垂直転送電荷（Ｑg12＋Ｑg14），（Ｑg11＋Ｑg13），（Ｑg31＋Ｑg32），（Ｑg33＋Ｑg34）が水平転送部９に到達すると、図２６に示すように、Ｂの色成分の垂直転送電荷（Ｑb11＋Ｑb13），（Ｑb12＋Ｑb14）の場合と同様の方法で、電荷（Ｑg12＋Ｑg14）と電荷（Ｑg11＋Ｑg13）、電荷（Ｑg31＋Ｑg32）と電荷（Ｑg33＋Ｑg34）とが水平転送部９でそれぞれ加算されて、図略の出力部に搬送される。
【００９５】具体的には、図２７に示すように、１列目〜４列目の垂直転送部８に設けられたゲート８２を識別するため、それぞれゲート８２ｄ，ゲート８２ｃ，ゲート８２ｂ，ゲート８２ａとし、ゲート８２ａに接続された水平転送部９の井戸９１から左側の６個の井戸９１を識別するため、それぞれ井戸９１ａ，９１ｂ，９１ｃ，９１ｄ，９１ｅ，９１ｆとし、各井戸９１ａ〜９１ｆのポテンシャルを（Ｐａ，Ｐｂ，Ｐｃ，Ｐｄ，Ｐｅ，Ｐｆ）とすると、図２８（ａ）に示すようにＧの色成分の垂直転送電荷（Ｑg12＋Ｑg14），（Ｑg11＋Ｑg13），（Ｑg31＋Ｑg32），（Ｑg33＋Ｑg34）が水平転送部９に到達するタイミングで、井戸９１ａ〜９１ｆのポテンシャルは（Ｌ，Ｌ，Ｈ，Ｌ，Ｌ，Ｈ）に設定され、ゲート８２ａ〜８２ｄがオンになる。これにより垂直転送部８から水平転送部９の井戸９１ａ，９１ｂ，９１ｄ，９１ｅに電荷（Ｑg12＋Ｑg14），（Ｑg11＋Ｑg13），（Ｑg31＋Ｑg32），（Ｑg33＋Ｑg34）がそれぞれ転送される。
【００９６】井戸９１ａ，９１ｂはローレベル（図では白抜きで示す。）にあるため、水平転送部９に転送された電荷（Ｑg12＋Ｑg14）と電荷（Ｑg11＋Ｑg13）とは井戸９１ａ，９１ｂで加算される。同様に井戸９１ｄ，９１ｅもローレベルにあるため、水平転送部９に転送された電荷（Ｑg31＋Ｑg32）と電荷（Ｑg33＋Ｑg34）とは井戸９１ｄ，９１ｅで加算される。一方、井戸９１ｃ，９１ｆはハイレベル（図では斜線で示す。）にあるため、加算された電荷（Ｑg12＋Ｑg14＋Ｑg11＋Ｑg13）と電荷（Ｑg31＋Ｑg32＋Ｑg33＋Ｑg34）とが混合することはない。
【００９７】この後は、ゲート８２ａ〜８２ｄはオフにされるとともに、井戸９１ａ〜９１ｆのポテンシャルが（Ｈ，Ｌ，Ｈ，Ｈ，Ｌ，Ｈ）→（Ｈ，Ｌ，Ｌ，Ｈ，Ｌ，Ｌ）→（Ｈ，Ｈ，Ｌ，Ｈ，Ｈ，Ｌ）…と順次、切り換えられ、図２８（ｂ）〜（ｄ)に示すように、加算された電荷（Ｑg12＋Ｑg14＋Ｑg11＋Ｑg13），（Ｑg31＋Ｑg32＋Ｑg33＋Ｑg34）が各井戸９１を順次、図略の出力部側に移動する。
【００９８】図２６に戻り、Ｇの色成分の垂直転送電荷（Ｑg12＋Ｑg14），（Ｑg11＋Ｑg13），（Ｑg31＋Ｑg32），（Ｑg33＋Ｑg34）が水平転送部９で出力部に転送されると、垂直転送部８の垂直転送電荷（Ｑr11＋Ｑr13），（Ｑr12＋Ｑr14）が水平転送部９側に移動され、Ｂの色成分の垂直転送電荷（Ｑb11＋Ｑb13），（Ｑb12＋Ｑb14）の場合と同様の方法で、電荷（Ｑr11＋Ｑr13）と電荷（Ｑr12＋Ｑr14）とが水平転送部９でそれぞれ加算されて、図略の出力部に搬送される。
【００９９】なお、上記説明では、基準構成単位について、Ｒ，Ｇ，Ｂの各色成分毎の垂直転送部８及び水平転送部９における電荷の転送を説明したが、実際の撮像センサでは、垂直転送部８から水平転送部９にＲとＢの色成分の垂直転送電荷が混合したもの（図２９の状態参照）とＧの色成分の垂直転送電荷のみのもの（図２７の状態参照）とが交互に順次、転送される。
【０１００】従って、Ｇの色成分の垂直転送電荷のみが水平転送部９に転送された場合は、図２７，図２８に示す駆動方法によりＧの色成分の電荷のみが分離されて出力部に転送される。一方、ＲとＢの色成分の垂直転送電荷が混合している場合は、図３０に示す駆動方法によりＲの色成分の垂直転送電荷とＢの色成分の垂直転送電荷とが分離されて出力部に転送される。
【０１０１】すなわち、Ｒの色成分の垂直転送電荷（Ｑr11＋Ｑr13），（Ｑr12＋Ｑr14）とＢの色成分の垂直転送電荷（Ｑb11＋Ｑb13），（Ｑb12＋Ｑb14）とが水平転送部９に到達するタイミングで、図３０（ａ）に示すように、井戸９１ａ〜９１ｆのポテンシャルは（Ｈ，Ｌ，Ｈ，Ｈ，Ｌ，Ｈ）に設定され、ゲート８２ｂがオンになる。これによりＲの色成分の垂直転送電荷（Ｑr12＋Ｑr14）だけが水平転送部９の井戸９１ｂに転送される。
【０１０２】その後、井戸９１ａ〜９１ｆのポテンシャルは（Ｈ，Ｌ，Ｈ，Ｈ，Ｌ，Ｈ）→（Ｈ，Ｌ，Ｌ，Ｈ，Ｌ，Ｌ）→（Ｈ，Ｈ，Ｌ，Ｈ，Ｈ，Ｌ）…と順次、切り換えられ、電荷（Ｑr12＋Ｑr14）は、同図（ｂ）〜（ｄ)に示すように井戸９１ｃ，９１ｄに順次移動する。そして、井戸９１ａ〜９１ｆのポテンシャルが（Ｌ，Ｈ，Ｈ，Ｌ，Ｈ，Ｈ）に切り換わり、電荷（Ｑr12＋Ｑr14）が井戸９１ｄに移動したタイミングでゲート８２ａがオンになり、これによりＢの色成分の垂直転送電荷（Ｑb12＋Ｑb14）のみが水平転送部９の井戸９１ａに転送される（同図（ｄ）参照）。
【０１０３】続いて、井戸９１ａ〜９１ｆのポテンシャルが（Ｈ，Ｌ，Ｈ，Ｈ，Ｌ，Ｈ）に切り換わり、電荷（Ｑr12＋Ｑr14），（Ｑb12＋Ｑb14）がそれぞれ井戸９１ｅ，９１ｂに移動したタイミングでゲート８２ｄがオンになり、Ｒの色成分の垂直転送電荷（Ｑr11＋Ｑr13）が水平転送部９の井戸９１ｅに転送され、電荷（Ｑr12＋Ｑr14）と加算される（同図（ｅ）参照)。
【０１０４】そして、井戸９１ａ〜９１ｆのポテンシャルが（Ｈ，Ｌ，Ｈ，Ｈ，Ｌ，Ｈ）→（Ｈ，Ｌ，Ｌ，Ｈ，Ｌ，Ｌ）→（Ｈ，Ｈ，Ｌ，Ｈ，Ｈ，Ｌ）→（Ｌ，Ｈ，Ｈ，Ｌ，Ｌ，Ｈ）…と切り換わるのに応じて、加算された電荷（Ｑr11＋Ｑr13＋Ｑr12＋Ｑr14）と電荷（Ｑb12＋Ｑb14）とは順次、井戸９１を左側に移動し、電荷（Ｑb12＋Ｑb14）が井戸９１ｄに移動したタイミングでゲート８２ｃがオンになる。これによりＢの色成分の垂直転送電荷（Ｑb11＋Ｑb13）が水平転送部９の井戸９１ｄに転送され、電荷（Ｑb12＋Ｑb14）と加算される（同図（ｆ）参照)。
【０１０５】加算された電荷（Ｑb11＋Ｑb13＋Ｑb12＋Ｑb14）は、井戸９１ａ〜９１ｆのポテンシャルの変化に応じて井戸９１を順次左側に移動し、出力部に転送される。このようにゲート８２と垂直転送部９の各井戸９１のポテンシャルの切換えとを制御することにより、Ｒの色成分の垂直転送電荷とＢの色成分の垂直転送電荷とが同時に水平転送部９に到達する場合にも両色成分の電荷が確実に分離され、Ｒ，Ｂの色成分毎に基本構成単位を構成する４個の電荷が加算されて順次、出力部に出力される。
【０１０６】ところで、３相駆動によりＣＣＤ型撮像センサを駆動した場合、転送部では２クロック毎に電荷が隣の井戸に移動する。また、電荷を保持する井戸同士の間に２つの空の井戸が必要となるから、水平転送部からは６クロック毎に１個の電荷が出力部に出力されることになる。第３実施形態に係る撮像センサ３では、６クロック毎に基本構成単位を構成する４個の電荷を１個の電荷に加算して出力部に出力しているので、第１，第２実施形態に係る撮像センサ３と同様に、従来の撮像センサ１０３のように１画素ずつ画素信号を読み出す場合に比べて総画素数が実質的に１／４となり、画素信号の読出速度が速くなる利点がある。また、画素信号の読出期間が従来と変わらなければ、画素信号の読出制御の駆動周波数を低くくすることができる利点がある。
【０１０７】なお、上記実施形態では、垂直転送部８の水平転送部９の近傍領域における奇数列の井戸数と遇数列の井戸数を異ならせることで、奇数列の垂直転送部８を移動する電荷の速度と偶数列の垂直転送部８を移動する電荷の速度とに差を設け、水平転送部９への電荷の到達タイミングにずれを生じさせるようにしていたが、垂直転送部８における電荷の移動を制御するクロックパルスを制御することで、奇数列の垂直転送部８を移動する電荷と偶数列の垂直転送部８を移動する電荷との水平転送部９への到達タイミングをずらせるようにしても良い。
【０１０８】また、上記実施形態では、各色成分毎に、隣り合う４個の画素から出力される受光信号を加算合成するようにしていたが、隣り合う４の整数倍の個数の画素から出力される受光信号を加算合成するようにしてもよい。この場合、受光信号が加算合成される画素が縦横両方向に対称に配置されるように、受光信号を加算合成する画素数を４×ｎ2（ｎは整数）個とすると好ましい。
【０１０９】また、上記実施形態では、加色系の三原色の色フィルタを備えた撮像センサについて説明したが、本発明は、減色系の三原色の色フィルタ等の他の色フィルタを備えた撮像センサについても適用することができる。
【０１１０】また、上記実施形態では、３色の色フィルタを備えた単板式カラー撮像センサを例に説明したが、本発明は、少なくとも２色の色フィルタが交互に配置された撮像センサに適用することができる。更に、本実施形態では、光電変換素子の受光面に色フィルタを設けて当該光電変換素子の感度特性を調整する構成について説明したが、光電変換素子自体が偏った色に対して感度特性を有し、互いに異なる色に対して感度特性を有する少なくとも２種類の光電変換素子を同一色が隣接しないように配置された撮像センサの場合についても本発明を適用することができる。
【０１１１】なお、第３実施形態に係る撮像センサ３は、各画素ｇから垂直転送部８への電荷Ｑの読出タイミングを制御して、最小構成単位を構成する４個の画素ｇの蓄積電荷Ｑを２個ずつ加算して垂直転送電荷を生成するように垂直転送部８に読み出し、更に水平転送部９でこれら２個の垂直転送電荷を加算して出力部に出力するようにしていたが、電荷Ｑを２個ずつ加算した垂直転送電荷が生成されないように、各画素ｇから独立して蓄積電荷Ｑを垂直転送部８に読み出す制御をすることで、電荷の読出時間は最小構成単位を構成する４個の画素ｇの蓄積電荷Ｑを加算しながら読み出す方法に比べて長時間（約４倍）となるが、従来の撮像センサ１０３と同様の撮像センサとして利用することができる。
【０１１２】この場合、画素ｇの蓄積電荷Ｑを全て読み出す第１の読出モードと縦横両方向に画素ｇの蓄積電荷Ｑを１／２に間引いて読み出す第２の読出モードとが選択可能な撮像センサでは、折返し成分の増大を招く第２の読出モードでの電荷読み出しをすることなく、最小限の駆動時間で電荷を読み出すことのできる撮像センサを実現することができる。
【０１１３】また、第１実施形態においても、ＦＤＡとこのＦＤＡに接続されている４個の受光部ＰＤijとの間にスイッチを設け、各スイッチのＯＮ／ＯＦＦを制御して各ＰＤijから独立して受光信号を順次、読み出すようにすることで、従来の撮像センサ１０３と同様の撮像センサとして利用することができる。
【０１１４】
【発明の効果】以上説明したように、本発明によれば、互いに異なる色に感度を有する少なくとも２種類の複数の受光素子が水平方向及び垂直方向に同一色が隣接しないように交互に配置されてなる受光部を備えた撮像装置において、受光部の各受光素子で得られた電荷を、各色毎に、隣り合う所定数の電荷毎に統合し、その統合した電荷を各色に分離して外部に順次、読み出すようにしたので、光学ローパスフィルタを用いることなく従来の撮像センサと同等以上の解像特性に優れた撮像センサを構成することができる。これにより簡単な構成で結像光学系の光学特性を十分に生かした撮像装置を実現することができる。
【図面の簡単な説明】
【図１】本発明に係る単板式カラー撮像センサを用いた撮像装置の概略構成を示す図である。
【図２】第１実施形態に係る撮像センサの各画素に設けられた色フィルタの配列を示す図である。
【図３】第１実施形態に係る撮像センサの具体的な回路構成を示す図である。
【図４】受光部と増幅部の回路構成を示すもので、（ａ）は具体的な回路構成図であり、（ｂ）は受光部が形成された半導体基板の要部断面図である。
【図５】従来の撮像センサのＲの色成分の画素と第１実施形態に係る撮像センサのＲの色成分の画素との対応関係を説明するための図である。
【図６】従来の撮像センサのＢの色成分の画素と第１実施形態に係る撮像センサのＢの色成分の画素との対応関係を説明するための図である。
【図７】従来の撮像センサのＧの色成分の各画素と第１実施形態に係る撮像センサのＧの色成分の画素との対応関係を説明するための図である。
【図８】第1実施形態に係る撮像センサのＲの色成分の最小構成単位を構成する４個一組の画素群による受光面の平均像面照度を算出する方法を説明するための図である。
【図９】第１実施形態に係る撮像センサのＧの色成分の最小構成単位を構成する４個一組の画素群による受光面の平均像面照度を算出する方法を説明するための図である。
【図１０】（８）式，（１１）式により算出した第1実施形態に係る撮像センサの各色成分の周波数応答特性を示す図である。
【図１１】第１実施形態に係る撮像装置の全体としての周波数応答特性を示す図である。
【図１２】第２実施形態に係る撮像センサの画素及び色フィルタの配列を示す図である。
【図１３】第２実施形態に係る撮像センサのＲの色成分の最小構成単位を構成する４個一組の画素群を示す図である。
【図１４】第２実施形態に係る撮像センサのＢの色成分の最小構成単位を構成する４個一組の画素群を示す図である。
【図１５】第２実施形態に係る撮像センサのＧの色成分の最小構成単位を構成する４個一組の画素群を示す図である。
【図１６】ＩＴ−ＣＣＤを用いた第３実施形態に係る撮像センサの構成を示す図である
【図１７】第３実施形態に係る撮像センサの各色成分の最小構成単位を構成する４個一組の画素群を説明するための図である。
【図１８】第３実施形態に係る撮像センサの最初に受光部から垂直転送部へ読み出される電荷を示す図である。
【図１９】第３実施形態に係る撮像センサの２番目に受光部から垂直転送部へ読み出される電荷を示す図である。
【図２０】第３実施形態に係る撮像センサの３番目に受光部から垂直転送部へ読み出される電荷を示す図である。
【図２１】第３実施形態に係る撮像センサの４番目に受光部から垂直転送部へ読み出される電荷を示す図である。
【図２２】垂直転送部の最下端に転送されたＢの色成分の電荷Ｑb11，Ｑb12，Ｑb13，Ｑb14のうち、電荷Ｑb12，Ｑb14のみが水平転送部に転送された状態を示す図である。
【図２３】電荷Ｑb12，Ｑb14が水平転送部上の電荷Ｑb11，Ｑb13の転送位置に移動した状態を示す図である。
【図２４】電荷Ｑb11，Ｑb13を水平転送部に転送することにより当該電荷Ｑb11，Ｑb13と電荷Ｑb12，Ｑb14とが加算され、その後出力部に転送される状態を示す図である。
【図２５】垂直転送部の最下端にＧの色成分の電荷Ｑg12，Ｑg14，Ｑg11，Ｑg13，Ｑg31，Ｑg32，Ｑg33，Ｑg34が転送された状態を示す図である。
【図２６】電荷Ｑg11，Ｑg13と電荷Ｑg33，Ｑg34とをそれぞれ水平転送部に転送し、これらの電荷を水平転送部上の電荷Ｑg12，Ｑg14と電荷Ｑg31，Ｑg32との転送位置に転送した後、当該電荷Ｑg12，Ｑg14と電荷Ｑg31，Ｑg32とを水平転送部に転送することにより、電荷Ｑg11，Ｑg13と電荷Ｑg12，Ｑg14、電荷Ｑg31，Ｑg32とＱg33，Ｑg34とがそれぞれ加算される状態を示す図である。
【図２７】垂直転送部から水平転送部への電荷の転送および水平転送部での電荷の転送の動作を説明するために、関係のあるゲートと水平転送部の井戸とに識別符号を付した図である。
【図２８】Ｇの色成分の電荷Ｑg12，Ｑg14，Ｑg11，Ｑg13，Ｑg31，Ｑg32，Ｑg33，Ｑg34を垂直転送部から水平転送部に転送し、更に水平転送部上を転送する際に電荷Ｑg12，Ｑg14と電荷Ｑg11，Ｑg13、電荷Ｑg31，Ｑg32と電荷Ｑg33，Ｑg34とがそれぞれ加算され、分離された状態で出力部に出力される様子を示す図である。
【図２９】Ｒの色成分の垂直転送電荷とＢの色成分の垂直転送電荷とが同時に垂直転送部８の下端に転送された状態を示す図である。
【図３０】Ｒの色成分の電荷Ｑr11，Ｑr13，Ｑr12，Ｑr14とＢの色成分の電荷Ｑb12，Ｑb14，Ｑb11，Ｑb13とを垂直転送部から水平転送部に転送し、更に水平転送部上を転送する際にＲの色成分の電荷Ｑr11，Ｑr13と電荷Ｑr12，Ｑr14、Ｂの色成分の電荷Ｑb12，Ｑb14と電荷Ｑb11，Ｑb13とがそれぞれ加算され、分離された状態で出力部に出力される様子を示す図である。
【図３１】従来の単板式カラー撮像センサを用いた撮像装置の概略構成を示す図である。
【図３２】単板式カラー撮像センサの各画素に設けられた色フィルタの配列を示す図である。
【図３３】明暗が正弦波状に変化する縦縞光像を撮像センサで受光した場合の縦縞光像と各画素との関係を示す図である。
【図３４】撮像センサの各画素の受光面における平均像面照度を算出するための一次元モデルを示す図である。
【図３５】従来の単板式カラー撮像センサの周波数応答特性を示す図である。
【図３６】従来の撮像装置に用いられる光学ローパスフィルタの周波数応答特性を示す図である。
【図３７】結合光学系を透過した光線が光学ローパスフィルタにより２つに分離されて撮像面に照射される様子を示す図である。
【図３８】光学ローパスフィルタを透過した光像を単板式カラー撮像センサで受光した場合の各画素の受光面における平均像面照度を算出するための一次元モデルを示す図である。
【図３９】結像光学系の周波数応答特性を示す図である。
【図４０】従来の撮像装置の装置全体の周波数応答特性を示す図である。
【符号の説明】
１ 撮像装置
２ 結像光学系
３ 撮像センサ
３１ ｐｎフォトダイオード
３１１ ｎ基板
３１２ Ｐ−ウェル
３１３ ｎフォトダイオード
３１４ ｎ+フローティングディフュージョン領域
３１５ ゲート酸化膜
３１６ 電極
３２ 画素選択用スイッチ素子（ＭＯＳ型ＦＥＴ）
３３ リセット用ＭＯＳ型ＦＥＴ
３４ ソースフォロアアンプ
３５ 出力制御用スイッチ素子（ＭＯＳ型ＦＥＴ）
４ 信号処理部
５ 画像メモリ
６ 駆動制御部（電荷読出手段）
７ 受光部
８ 垂直転送部（電荷統合手段）
８１ 井戸
８２ ゲート
９ 水平転送部(電荷統合手段)
９１ 井戸
ＰＤij 受光素子
ＤＦＡ(Ｒ)，ＤＦＡ(Ｇ)，ＤＦＡ(Ｂ) 増幅回路（フローティングディフュージョンアンプ）(電荷統合手段)
【特許請求の範囲】
【請求項１】 互いに異なる色に感度を有する少なくとも２種類の複数の受光素子が水平方向及び垂直方向に同一色が隣接しないように交互に配置されてなる受光部を備えた撮像センサであって、露光によって上記受光部の各受光素子で得られた電荷を、各色毎に、隣り合う所定数の電荷毎に統合する電荷統合手段と、上記電荷統合手段で統合された電荷を、各色に分離して外部に順次、読み出す電荷読出手段とを備えたことを特徴とする撮像センサ。
【請求項２】 上記電荷統合手段で統合される電荷の所定数は、４の整数倍の数であることを特徴とする請求項１記載の撮像センサ。
【請求項３】 上記電荷統合手段で統合される電荷を発生する所定数の受光素子は、二次元的に配置されていることを特徴とする請求項１又は２記載の撮像センサ。
【請求項４】 上記受光部は赤、緑、青の三原色に感度を有する３種類の複数の受光素子をベイヤー型に配置したものであることを特徴とする請求項１〜３のいずれかに記載の撮像センサ。
【請求項５】 上記電荷統合手段は、統合すべき電荷を発生する所定数の受光素子が接続され、当該所定数の受光素子で得られた電荷を電圧に変換して加算するフローティングディフュージョンアンプからなり、上記電荷読出手段は、上記フローティングディフュージョンアンプからの電圧信号の出力を制御するものであることを特徴とする請求項１〜４のいずれかに記載の撮像センサ。
【請求項６】 上記電荷統合手段は、上記受光素子の列毎に隣設され、各列の受光素子で得られた電荷を垂直方向に順次、転送する複数の垂直転送手段と、上記複数の垂直転送手段の下端に設けられ、当該垂直転送手段で転送された電荷を水平方向に順次、転送して外部に出力する水平転送手段と、各列の上記受光素子で得られた電荷を、統合すべき電荷が加算されるタイミングで順次、上記垂直転送手段に転送させ、且つ、各垂直転送手段で転送される電荷を、統合すべき加算された電荷が同時に上記水平転送手段に到達するように、上記電荷の垂直転送手段への転送および当該垂直転送手段での電荷の転送を制御する第１の転送制御手段と、上記各垂直転送手段で順次、転送された統合すべき複数の加算された電荷を更に加算するように、上記水平転送手段での電荷の転送を制御する第２の転送制御手段とからなり、上記電荷読出手段は、上記水平転送手段で加算された電荷を順次、外部に出力するものであることを特徴とする請求項１〜４のいずれかに記載の撮像センサ。
【請求項１】 互いに異なる色に感度を有する少なくとも２種類の複数の受光素子が水平方向及び垂直方向に同一色が隣接しないように交互に配置されてなる受光部を備えた撮像センサであって、露光によって上記受光部の各受光素子で得られた電荷を、各色毎に、隣り合う所定数の電荷毎に統合する電荷統合手段と、上記電荷統合手段で統合された電荷を、各色に分離して外部に順次、読み出す電荷読出手段とを備えたことを特徴とする撮像センサ。
【請求項２】 上記電荷統合手段で統合される電荷の所定数は、４の整数倍の数であることを特徴とする請求項１記載の撮像センサ。
【請求項３】 上記電荷統合手段で統合される電荷を発生する所定数の受光素子は、二次元的に配置されていることを特徴とする請求項１又は２記載の撮像センサ。
【請求項４】 上記受光部は赤、緑、青の三原色に感度を有する３種類の複数の受光素子をベイヤー型に配置したものであることを特徴とする請求項１〜３のいずれかに記載の撮像センサ。
【請求項５】 上記電荷統合手段は、統合すべき電荷を発生する所定数の受光素子が接続され、当該所定数の受光素子で得られた電荷を電圧に変換して加算するフローティングディフュージョンアンプからなり、上記電荷読出手段は、上記フローティングディフュージョンアンプからの電圧信号の出力を制御するものであることを特徴とする請求項１〜４のいずれかに記載の撮像センサ。
【請求項６】 上記電荷統合手段は、上記受光素子の列毎に隣設され、各列の受光素子で得られた電荷を垂直方向に順次、転送する複数の垂直転送手段と、上記複数の垂直転送手段の下端に設けられ、当該垂直転送手段で転送された電荷を水平方向に順次、転送して外部に出力する水平転送手段と、各列の上記受光素子で得られた電荷を、統合すべき電荷が加算されるタイミングで順次、上記垂直転送手段に転送させ、且つ、各垂直転送手段で転送される電荷を、統合すべき加算された電荷が同時に上記水平転送手段に到達するように、上記電荷の垂直転送手段への転送および当該垂直転送手段での電荷の転送を制御する第１の転送制御手段と、上記各垂直転送手段で順次、転送された統合すべき複数の加算された電荷を更に加算するように、上記水平転送手段での電荷の転送を制御する第２の転送制御手段とからなり、上記電荷読出手段は、上記水平転送手段で加算された電荷を順次、外部に出力するものであることを特徴とする請求項１〜４のいずれかに記載の撮像センサ。
【図１】
【図２】
【図３】
【図５】
【図３７】
【図４】
【図６】
【図７】
【図８】
【図１３】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１７】
【図２７】
【図１６】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２８】
【図２９】
【図３１】
【図３０】
【図３２】
【図３３】
【図３４】
【図３５】
【図３８】
【図３６】
【図３９】
【図４０】
【図２】
【図３】
【図５】
【図３７】
【図４】
【図６】
【図７】
【図８】
【図１３】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１７】
【図２７】
【図１６】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２８】
【図２９】
【図３１】
【図３０】
【図３２】
【図３３】
【図３４】
【図３５】
【図３８】
【図３６】
【図３９】
【図４０】
【公開番号】特開２００３−１８９３１６（Ｐ２００３−１８９３１６Ａ）
【公開日】平成１５年７月４日（２００３．７．４）
【国際特許分類】
【出願番号】特願２００１−３８６６５４（Ｐ２００１−３８６６５４）
【出願日】平成１３年１２月１９日（２００１．１２．１９）
【出願人】（０００００６０７９）ミノルタ株式会社 (155)
【Ｆターム（参考）】
【公開日】平成１５年７月４日（２００３．７．４）
【国際特許分類】
【出願日】平成１３年１２月１９日（２００１．１２．１９）
【出願人】（０００００６０７９）ミノルタ株式会社 (155)
【Ｆターム（参考）】
[ Back to top ]