説明

画素欠陥補正装置

【課題】 メモリ容量を増大させることなく、高速に欠陥画素の探索処理を行ない画素欠陥補正を行なう。
【解決手段】 間引きパターンの単位を4列とする。撮像素子の走査順序に従って有効画素の画素データを欠陥補正演算部25に入力する。欠陥画素の全座標値を走査順序に従って第1〜第4メモリ151〜154に循環的に振り分けて記録する。X軸カウンタ201で管理される入力画素データに対応する4画素のX軸座標値と、第1〜第4メモリの4画素のX軸座標値をアドレス比較部21において比較する。一致した座標値に応じて一致信号を出力する。第1〜第4メモリ151〜154の第1〜第4アドレスカウンタ155〜158の値を、一致信号数分だけ各々シフトさせる。有効画素に対応する一致信号のみ欠陥補正演算部に出力し補正演算を行う。入力画素データが入力される毎に、間引きパターンに対応してX軸カウンタ201の値をシフトする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子の欠陥画素に対応する画素データを補正する装置に関する。
【背景技術】
【0002】
固体撮像素子には、一般に欠陥画素が存在する。このような傾向は特に小型・高密度の撮像素子において顕著となる。欠陥画素に対しては、画素欠陥補正処理により画素データが補正され、画素欠陥補正処理は、欠陥画素周囲の正常な画素の画素データを用いて行なわれる。
【0003】
画素欠陥補正処理では、処理中の画像データが欠陥画素のものであるかがまず判定される。画像データが欠陥画素に対応する場合には、周囲の画素データを用いて補正(補間)処理が施される。画像データに対応する画素が欠陥画素であるか否かの判定は、欠陥画素の位置情報を予め登録したデータテーブル(欠陥画素データテーブル)を参照して行なわれる。また、補正に用いられる画素データは、正常な画素データである必要があるので、補正候補となった画素に対しても欠陥画素データテーブルを参照してその画素が正常な画素であるか否かの判定を行なう必要がある。
【0004】
以上のことから、欠陥画素データテーブルが全画素を対象とする1つのデータテーブルからなるときには、間引きを行なう場合にも、処理対象となっている画素および補正候補となっている画素に対して、上述した全画素を対象とした欠陥画素データテーブルを検索しなければならないので、欠陥画素の判定および補正候補の判定を行なうには、探索処理に多くの時間が費やされた。
【0005】
このような問題に対し、間引きモードに対応して欠陥画素データテーブルを複数用意する方法が提案されている(特許文献1)。すなわち、各間引きモードに対して、欠陥画素データテーブルのデータ量は最適化されているため、参照される必要のない間引かれる画素を検索対象とする必要がなく、探索処理に掛かる時間を大幅に短縮することができる。
【0006】
また、全画素を対象とした補正処理を行なう回路と、各間引きモードに対応した補正処理を行なう回路とを別々に用意し、これらをモードに応じて適宜選択する方法も提案されている(特許文献2)。
【特許文献1】特開平9−247540号公報
【特許文献2】特開2003−51990号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかし、特許文献1、2の方法では、間引きモードの数が増えると、メモリ容量や回路数が増大すると言う問題がある。
【0008】
本発明は、メモリ容量を増大させることなく、高速に欠陥画素の探索処理を行なう画素欠陥補正装置を提供することを目的としている。
【課題を解決するための手段】
【0009】
本発明の画素欠陥補正装置は、入力画素データが欠陥画素に対応する場合にその画素データを補正する欠陥補正演算部と、欠陥画素の全位置情報を循環的に振り分けて記録するm個のメモリと、入力画素データに対応する画素を含むm個の画素の位置情報を管理する画素位置管理部と、m個の画素の位置情報とm個のメモリに各々分散されて記録されたm個の欠陥画素の位置情報との間の比較を行ない、位置情報が一致した場合にその数に対応する一致信号を出力する位置情報比較部と、一致信号のうち有効画素に対応する一致信号のみを欠陥補正演算部に出力する一致信号出力制御部と、一致信号の数に対応して、m個のメモリの読み出しアドレスを管理するアドレス管理部とを備えたことを特徴としている。
【0010】
画素位置管理部は、例えば1画素分の画素位置情報を管理するカウンタを備え、m個の画素の位置情報が、このカウンタの値によって管理される。
【0011】
カウンタの値は、例えば撮像素子の水平ライン、垂直ラインに沿った2次元座標値である。またカウンタの値は、入力画素データの入力毎に、対応する画素のシフト量分、シフトされる。また、画素欠陥補正装置は、画素位置管理部における位置情報の管理に必要なシフト量を間引きモード毎に保持管理する間引き情報管理部を備える。
【0012】
また、画素欠陥補正装置は、一致信号出力制御部における有効画素に対応する一致信号の情報を保持管理する間引き情報管理部を備える。
【0013】
入力画素データは所定の順序で入力され、欠陥画素の全位置情報が所定の順序に従ってm個のメモリに循環的に振り分けられ、m個の画素の位置情報が所定の順序で連続する画素に対応する。このとき画素欠陥補正装置は、m個のメモリ毎に読み出しアドレスを管理するm個のアドレスカウンタを備え、上記所定の順序に従った欠陥画素の順番に対応して循環的に一致数に対応した数のアドレスカウンタの値を順次カウントアップする。
【0014】
また、m個のメモリから読み出されるm個の欠陥画素の位置情報は、一致情報比較部において一致が未確認の欠陥画素のうち上記所定の順序における最初のm個の位置情報に対応する。
【0015】
また、mは間引きパターンの最大単位に対応し、欠陥画素の総数がn個のとき、m個のメモリは各々n/mの深さに設定される。
【0016】
また本発明の画素欠陥補正装置は、間引きパターンの単位をm列とする画像処理装置に用いられる画素欠陥補正装置であって、所定の順序に従って入力される入力画素データに対し欠陥画素の補正を行なう欠陥補正演算部と、欠陥画素の全位置情報を所定の順序に従って循環的に振り分けて記録するm個のメモリと、入力画素データに対応する画素を含む所定の順序で連続するm個の画素の位置情報と、m個のメモリの所定の順序に従ったm個の欠陥画素の位置情報とを比較する位置情報比較部と、入力画素データが新たに入力される毎に、入力画素データに対応する画素を含むm個の画素の位置情報を間引きパターンに対応して所定の順序に沿って所定画素数分シフトする位置情報管理部と、m個のメモリからm個の欠陥画素の位置情報を読み出すアドレスを、位置情報比較部において位置情報が一致した数分だけ、上記所定の順序に沿ってシフトさせるアドレス管理部と、位置情報比較部における位置情報の一致が、有効画素において起こるときにのみ、欠陥補正演算部に一致信号を出力する一致信号出力制御部とを備たことを特徴としている。
【0017】
また更に、本発明の画素欠陥補正装置は、所定の順序に従って入力される入力画素データに対して、欠陥画素の補正を行なう欠陥補正演算部と、欠陥画素の全位置情報を所定の順序に従って循環的に振り分けて記録するm個のメモリとを備え、連続するm個の画素の位置情報と、m個のメモリに記録された連続するm個の欠陥画素位置情報とを比較して、m個の画素の中から欠陥画素を検出し、m個の欠陥画素位置情報が、未検出の欠陥画素に対応する所定の順序に従った最初のm個の欠陥画素位置情報であり、入力画素データの入力毎にシフトされる画素数分、m個の画素の位置情報がシフトされ、欠陥画素の検出に基づいて入力画素データの前記補正が行われることを特徴としている。
【発明の効果】
【0018】
以上により、メモリ容量を増大させることなく、高速に欠陥画素の探索処理を行なう画素欠陥補正装置を提供することができる。
【発明を実施するための最良の形態】
【0019】
以下、本発明の実施形態について添付図面を参照して説明する。
図1は、本発明の一実施形態である画素欠陥補正装置を備えた画像処理システム全体の構成を模式的に示すブロック図である。
【0020】
画像処理システムは画素欠陥補正装置を搭載するものであれば如何なるものであってもよいが、以下においてはデジタルカメラ10を一例として説明を行なう。デジタルカメラ10では、レンズ11を介して被写体像が撮像素子(例えばCCD)12に結像され、その画像信号は画像処理装置13に入力される。
【0021】
画像処理装置13は、画素欠陥補正処理を行なう画素欠陥補正装置14と、欠陥位置情報メモリ15と、従来周知のその他の画像処理を行なう回路部16とに大別される。画像処理装置13において画素欠陥補正処理やその他周知の画像処理を施された画像信号は、ユーザインタフェース17に出力され、例えばディスプレイ装置等に静止画像あるいは動画として表示される。なお、図1では、撮像素子12の駆動に関わる構成など画素欠陥補正処理に直接関わらない構成は省略されている。
【0022】
欠陥位置情報メモリ15には、撮像素子12の欠陥画素の位置情報が例えば座標値として記録されている。なお、欠陥画素の位置情報は、予め行なわれる撮像素子12の検査において求められている。
【0023】
図2に、撮像素子12の各画素の配列と、各画素の座標値との関係を模式的に示す。なお、撮像素子12が例えばカラー撮像素子の場合、図2に示される各画素は、1つの色成分に対応する画素のみ(例えばR成分に対応する画素のみ)を抽出して配列したものである。
【0024】
以下の説明においても、1つの色成分に対応する画素についてのみ説明を行なうが、他の色成分(例えばG、B成分)に関しても同様である。また、以下の説明において、隣接画素と言う場合には、図2において隣接すると言う意味であり、実際の撮像素子12において隣接するものとは限らない。
【0025】
図2に示されるように、各画素は格子状に配置されており、各画素の位置は水平ライン方向をX軸、垂直ライン方向をY軸に対応させるとき、2次元の座標値(x,y)として表される。例えば、図2では、同一色成分の画素が水平ライン方向にX個存在し、垂直ライン方向にY個存在する。なお、本実施形態において撮像素子12からの読み出し動作は、X軸方向への主走査、Y軸方向への副走査により(0,0)、(1,0)、・・・、(X,0)、(0,1)、・・・、(X,1)、(0,2)、・・・、(X−1,Y)、(X,Y)の順で行なわれ、画素データは、図の矢印に沿った順序で読み出される。
【0026】
次に本実施形態における間引きパターンについて図3を参照して説明する。間引き処理は、動画の記録や再生、あるいは電子ビューファインダ(EVF)による被写体のモニタ時、低解像度静止画の記録時などに使用される。したがって、間引きパターンは、使用される態様に合わせて複数用意されるのが一般的である。
【0027】
本発明は如何なる間引きパターンにも適用することが可能であるが、本実施形態では、最大4列の垂直ラインを単位とする間引きパターンに対応可能な場合を例に説明を行なう。なお、ここでは、間引きを行なわない全画素読出しの場合も間引きパターンの1つとして扱う。
【0028】
図3に示されるように、垂直ライン4列を間引きパターンの単位(最大単位)とする場合、合計15通りの間引きパターンA0〜A14が可能である。図2では、白色の画素が読み出される画素(有効画素)であり、灰色の画素が間引かれる画素である。すなわち、パターンA0は、間引きが行われない場合であり、パターンA1〜A4は垂直ライン4列毎に1ライン間引かれる場合である。また、パターンA5〜A10は垂直ライン4列毎に2ライン間引かれる場合、パターンA11〜A14は、垂直ライン4列毎に3ライン間引かれる場合に対応する。
【0029】
図4は、垂直ライン4列を間引きパターンの単位とした場合の欠陥画素データテーブルの構成を模式的に示す図である。4列を間引きバターンの単位とした本実施形態では、欠陥位置情報メモリ15は、4つのメモリ(第1メモリ〜第4メモリ)から構成される(図5参照)。
【0030】
欠陥画素の総数がn個の場合、第1メモリ151〜第4メモリ154は、各々深さn/4に設定される。ここで深さn/4とは、nが4で割り切れる場合にはその商に対応する数の2次元座標値を格納するためのメモリ容量であり、nが4で割り切れない場合にはその商に1を加えた数に対応した2次元座標値を格納するためのメモリ容量のことである。なお、余りがある場合において、第1メモリ151〜第4メモリ154の一部のみを商に1を加えた数に対応したメモリ容量とし、残りを商に対応した数のメモリ容量として最適化を行なうことも可能である。
【0031】
本実施形態において、欠陥画素の位置情報は、撮像素子12からの画素データの読み出しの順番、すなわち図2の矢印で示されるように、X軸方向へ主走査、Y軸方向へ副走査したときの順序にしたがって、その座標値(X1,Y1)、(X2,Y2)、・・・(Xn,Yn)が順次欠陥位置情報メモリ15に格納されている。
【0032】
ここで欠陥画素の位置情報である座標値(Xi,Yi)は、添え字i(i=1,2,・・・,n)の順番で第1メモリ151〜第4メモリ154に循環的に振り分けられる。すなわち、(X1,Y1)は第1メモリのアドレスM1_AD(1)に格納され、(X2,Y2)は第2メモリのアドレスM2_AD(1)に格納される。また、(X3,Y3)は第3メモリのアドレスM3_AD(1)に格納され、(X4,Y4)は第4メモリのアドレスM4_AD(1)に格納される。そして(X5,Y5)は、再び第1メモリのアドレスM1_AD(2)に格納され、以下同様に第2メモリ2〜第4メモリの各々に欠陥画素の座標値が格納される。同様の処理は最後の座標値(Xn,Yn)が格納されるまで繰り返される。
【0033】
したがって、本実施形態のようにメモリの数が4個の場合、添え字がi=4k+1(k=0,1,・・・)の座標値は第1メモリに、i=4k+2の座標値は第2メモリに、i=4k+3の座標値は第3メモリに、i=4k+4の座標値は第4メモリに格納される。
【0034】
図5は、本実施形態の画素欠陥補正装置14の構成を模式的に示すブロック図であり、図5を参照して画素欠陥補正装置14の構成について説明する。
【0035】
画素欠陥補正装置14は、画素位置監視部20、アドレス比較部21、一致信号出力制御部22、アドレス管理部23、間引き情報管理部24、および欠陥補正演算部25から主に構成される。
【0036】
欠陥補正演算部25は、従来周知の方法を用いて、欠陥画素の画素データを隣接する正常画素の画素データを用いて補正する回路である。すなわち、撮像素子12から出力された画像信号は、色分解処理などの所定の信号処理を経た後、図2の順序に従った画素データとして欠陥補正演算部25に順次入力される。欠陥補正演算部25は、入力された画素データが欠陥画素のものに対応する場合には、隣接する正常画素の画素データを用いて画素データを補正して出力する。なお、入力画素データが欠陥画素であるか否かは、後述する一致信号出力制御部22からの信号に基づいて判断される。
【0037】
画素位置監視部20は、入力画素データに対応し、アドレス比較部21において比較される画素の位置を監視・管理するための回路であり、X軸カウンタ201およびY軸カウンタ202を備える。X軸カウンタ201、Y軸カウンタ202は、図2に示された2次元座標(x,y)のX軸成分およびY軸成分の値にそれぞれ対応する。
【0038】
本実施形態では、X軸カウンタ201、およびY軸カウンタ202に保持される座標値(x,y)は、アドレス比較部21において現在比較対象とされている画素グループ(4画素)の先頭の画素のX軸座標値、Y軸座標値を表わす。
【0039】
また、画素位置監視部20は、欠陥補正演算部25への画素データの入力を検知し、X軸カウンタ201、Y軸カウンタ202の各値を更新する。このとき、間引き情報管理部24からの間引き情報に基づいてX軸カウンタ201、Y軸カウンタ202のシフト量が各々制御される(後述)。
【0040】
図5に示されるように、アドレス比較部21は、第1比較部211〜第4比較部214とY軸比較部215とを備える。第1比較部211〜第4比較部214は、比較対象となっている4画素のX軸座標値と第1メモリ151〜第4メモリ154に格納されている4つの欠陥画素のX座標値とを比較するための回路である。また、Y軸比較部215は、比較対象となっている4画素のY軸座標値と第1メモリ151〜第4メモリ154に格納されている4つの欠陥画素のY座標値とを比較するための回路である。
【0041】
ここで、比較対象となる4画素のX軸座標値は、X軸カウンタ201の値を先頭とした連続する4つの座標値である。すなわち、X軸カウンタ201の値をxとすると、比較対象となる4つの画素のX軸座標値は、それぞれ“x”、“x+1”、“x+2”、“x+3”となる。なお、x+1、x+2、x+3は加算器26〜28においてxの値に1、2、3の値を加算することにより得られる。なお、X軸カウンタ201の値は、比較対象となる画素の座標値を特定し、アドレス比較部21にその座標値を供給することができるものであれば、先頭の座標値である必要はなく、例えば減算器や、減算器と加算器の組合せを利用して用いられてもよい。
【0042】
本実施形態において、第1比較部211〜第4比較部214、およびY軸比較部215は、それぞれ4つの比較器を備える。例えば、第1比較部211には、X軸カウンタ201の値xが入力され、第1メモリ151〜第4メモリ154に格納された4つのX軸座標値と比較される。同様に、第2比較部212〜第4比較部214には、それぞれX軸カウンタ201の値xに1、2、3を加えたx+1、x+2、x+3の値がそれぞれ入力され、各々第1メモリ151〜第4メモリ154に格納された4つのX軸座標値と比較される。
【0043】
また、本実施形態において、比較対象となる4つの画素は、同一水平ライン上に存在し、4つの画素のY軸座標値は同一であるため、Y軸比較部215ではY軸カウンタ202の値のみが比較対象となる。すなわち、Y軸比較部215には、Y軸カウンタ202の値が入力され、第1メモリ151〜第4メモリ154に格納された4つのY軸座標値と各々比較される。
【0044】
第1メモリ151〜第4メモリ154からは、データバスDBを介してそれぞれ4つの欠陥画素に対応する4つのX軸座標値が、第1比較部211〜第4比較部214の各々に入力され、4つのY軸座標値がY軸比較部215に入力される。このとき、第1メモリ151〜第4メモリ154からは、それぞれ第1アドレスカウンタ155〜第4アドレスカウンタ158の読み出しアドレス値に基づいてX軸座標値およびY軸座標値が読み出される。また、第1アドレスカウンタ155〜第4アドレスカウンタ158の値は、アドレス管理部23により管理される。
【0045】
アドレス比較部21の第1比較部211〜第4比較部214の各々は、入力されたX軸カウンタ201からのX軸座標値が第1メモリ151〜第4メモリ154からの欠陥画素のX軸座標値の何れかと一致した場合に一致信号を各々出力する。第1比較部211〜第4比較部214の各々から出力された一致信号は、それぞれ一致信号出力制御部22およびアドレス管理部23に入力される。
【0046】
なお、第1比較部211〜第4比較部214からの一致信号の出力は、Y軸比較部215における比較結果に基づいて制御される。すなわち、第1比較部211〜第4比較部214の各々において、第1メモリ151〜第4メモリ154から読み出されたY軸座標値がY軸カウンタ202の値と一致するメモリから出力されたX軸座標値が入力された比較器のみが、一致信号を出力することが可能である。
【0047】
すなわち、画素位置監視部20のX軸カウンタ201、Y軸カウンタ202の値をそれぞれx、yとすると、(x,y)=(Xi,Yi)、(x+1,y)=(Xi+1,Yi+1)、(x+2,y)=(Xi+2,Yi+2)、または(x+3,y)=(Xi+3,Yi+3)が成り立つ場合に一致信号が各比較部211〜214から出力される。
【0048】
比較部211〜214から出力された一致信号は、一致信号出力制御部22およびアドレス管理部23に入力される。アドレス管理部23は、一致数カウント部231と先頭メモリ監視部232とを備え、アドレス管理部23に入力された一致信号は一致数カウント部231においてその数が計数される。一致数カウント部231において計数された結果は先頭メモリ監視部232に送られる。
【0049】
先頭メモリ監視部232は、一致信号の数に応じて後述する先頭メモリの管理を行なうとともに、欠陥位置情報メモリ15の第1アドレスカウンタ155〜第4アドレスカウンタ158の値を一致信号の数に基づいて更新する。一方、一致信号出力制御部22では、後述するように、間引き情報管理部24からの間引き情報に基づいて、欠陥補正演算部25へ出力される各々の一致信号の出力の可否が制御される。
【0050】
欠陥補正演算部25では、一致信号出力制御部22から出力された一致信号に基づいて入力された画素データが欠陥画素に対応するか否かを判定し、入力画素データが欠陥画素に対応する場合には従来周知の方法を用いて、その画素データを正常画素の画素データに基づいて補正(補間)し(正常画素の画素データでの置き換えや正常画素の画素データを用いた画素欠陥補正演算など)、補正された画素データを出力する。なお、入力画素データが欠陥画素に対応しない場合には、入力画素データはそのまま出力される。
【0051】
次に、図5〜図7を参照して、本実施形態の画素欠陥補正装置14および欠陥位置情報メモリ15における欠陥画素探索処理の動作の概要について説明する。なお、図6は、本実施形態の欠陥画素探索処理の概略を示すフローチャートであり、図7は一致信号出力制御部22の構成を模式的に示すブロック図である。
【0052】
図3に示された間引きモード(間引きのない場合も含む)A0〜A14の中の何れかのモードが選択され、例えばカメラのレリーズボタン(図示せず)が押されると図6の処理が開始される。
【0053】
ステップS101では、初期化処理が実行される。例えば、間引き情報管理部24の各制御パラメータが間引きモードに合わせて初期設定され、画素位置監視部20のX軸カウンタ201、Y軸カウンタ202の値が(0、0)に初期化される。また、間引き情報管理部24において設定された制御パラメータに合わせて、一致信号出力制御部22のスイッチのオン/オフが設定され、アドレス管理部23の先頭メモリ、欠陥位置情報メモリ15の第1〜第4アドレスカウンタ155〜158の値がそれぞれ初期値に設定される。
【0054】
ステップS102では、選択された間引きモードに従って、撮像素子12から有効画素の画素データが欠陥補正演算部25に入力される。なお、ここで有効画素とは、撮像素子12からデータが読み出される画素(間引きされる画素以外の画素)のことである。ステップS103では、欠陥補正演算部25に入力された有効画素データが、最初の入力であるか否かが判定される。
【0055】
ステップS103において、入力が最初の画素データであると判定された場合には、ステップS105に処理は進むが、そうでない場合には、ステップS104において、画素位置監視部20のX軸カウンタ201、Y軸カウンタ202の値が間引き情報管理部24の間引きモードに対応して設定された各パラメータの値に応じて更新される。
【0056】
ステップS105では、X軸、Y軸カウンタ201、202の値に基づいて、一致信号出力制御部22のスイッチの更新が行なわれる。図7に示されるように、一致信号出力制御部22には、4つのスイッチS1〜S4が設けられており、各スイッチの一方の端子は、それぞれ第1比較部211〜第4比較部214の各々の出力端子に接続されている。また、各スイッチの他方の端子は、欠陥補正演算部25へと各々接続されている。スイッチS1〜S4のオン/オフ状態の切り替えは、間引き情報管理部24からの制御信号により各々制御される。
【0057】
ステップS106では、アドレス比較部21において、画素位置監視部20のX軸、Y軸カウンタ201、202の値(およびX軸カウンタ値に+1〜+3された値)が、欠陥位置情報メモリ15の第1アドレスカウンタ155〜第4アドレスカウンタ158の示すアドレスに格納された欠陥画素位置情報と比較される。
【0058】
アドレス比較部21の第1〜第4比較部211〜214の何れかで一致するものがあると、その比較器から一致信号が出力される。すなわち、ステップS107では、一致信号が出力された場合には、欠陥画素が含まれるものとしてステップS108に移り、何れの比較器からも一致信号が出力されない場合は、ステップS112に処理は移る。
【0059】
ステップS108では、アドレス管理部23の一致数カウント部231において、アドレス比較部21から出力された一致信号の数が計数される。次にステップS109では、先頭メモリ監視部232において、一致数カウント部231の計数結果に基づいて、先頭メモリの更新が行なわれる。ステップS110では、更新された先頭メモリに基づいて欠陥位置情報メモリ15の第1〜第4アドレスカウンタ155〜158の値が更新される。
【0060】
また、ステップS111では、一致信号出力制御部22を介して欠陥補正演算部25に一致信号が入力されると、その画素データに対して従来周知の欠陥補正演算処理が実行され、補正された画素データが欠陥補正演算部25から出力される。一方、一致信号が、欠陥補正演算部25に一致信号が入力されない場合には、入力された画素データはそのまま出力される。すなわち、一致信号出力制御部22から欠陥補正演算部25に一致信号が入力される場合には、入力された画素データは欠陥画素に対応し、一致信号が入力されない場合には、正常画素に対応している。また、一致信号出力制御部22からの一致信号の出力は、一致信号出力制御部22内のスイッチS1〜S4のオン/オフ状態に基づいて制御される。
【0061】
ステップS112では、入力が最後の画素データに対応するか否かが判定され、最後の入力ではない場合には、ステップS102以下の処理が繰り返される。一方、欠陥補正演算部25への画素データの入力が最後の入力の場合、この処理は終了する。
【0062】
なお、ステップS104とステップS105や、ステップS108〜S110とステップS111などの処理は、実際には同時並行的行われるものであり、図6の処理手順は、説明の上での便宜的なものに過ぎない。
【0063】
次に、図3〜図5、図7を参照して、本実施形態の欠陥画素探索処理における各部の動作について、具体例を挙げてより詳細に説明を行なう。
【0064】
例えば、間引きモードA5が設定されている場合に、レリーズスイッチが押されると、撮像素子12からは、まず画素座標(0、2)の画素データが読み出されて欠陥補正演算部25に入力される。
【0065】
このとき、X軸カウンタ201、Y軸カウンタ202の値は(0、0)に初期設定されており、欠陥位置情報メモリ15の第1アドレスカウンタ155〜第4アドレスカウンタ158の値は、それぞれM1−AD(1)、M2−AD(1)、M3−AD(1)、M4−AD(1)に、先頭メモリは、M1−AD(1)に初期設定されている。また、一致信号出力制御部22では、間引きパターンに対応してスイッチS1、S2がオフ状態とされ、スイッチS3、S4がオン状態に設定される。
【0066】
このときアドレス比較部21において比較対象とされるのは、初めの4画素の画素座標(0,0)、(1,0)、(2,0)、(3,0)と、第1〜第4メモリの各アドレスM1−AD(1)、M2−AD(1)、M3−AD(1)、M4−AD(1)に格納された4つの欠陥画素位置座標(X1,Y1)、(X2,Y2)、(X3,Y3)、(X4,Y4)である。
【0067】
すなわち、第1比較部211では、X軸カウンタ201の値「0」とX1〜X4の各々の値が比較され、第2比較部212では「X軸カウンタ値+1」に対応する値「1」とX1〜X4の各々の値が比較される。同様に、第3および第4比較部213、214では、「X軸カウンタ値+2」、「X軸カウンタ値+3」に対応する値「2」および「3」が各々X1〜X4の値と比較される。またY軸比較部215では、Y軸カウンタ202の値「0」とY1〜Y4の各値が比較される。
【0068】
また、画素(0,0)、(1,0)、(2,0)、(3,0)が比較対象とされるとき、有効画素は(2,0)、(3,0)なので、一致信号出力制御部22のスイッチS1〜S4は、有効画素(2,0)、(3,0)に対応するスイッチS3、S4のみがオン状態とされ、間引き画素に対応するスイッチS1、S2は、オフ状態とされる。
【0069】
例えば、8つの画素(0,0)〜(0,7)のうち、2つの画素(1,0)と(2,0)が欠陥画素の場合、第1メモリ151のアドレスM1−AD(1)、第2メモリ152のアドレスM2−AD(1)には、座標値(1,0)および(2,0)がそれぞれ(X1,Y1)、(X2,Y2)として格納されている。したがって、画素座標(0,0)、(1,0)、(2,0)、(3,0)と欠陥画素位置座標(X1,Y1)、(X2,Y2)、(X3,Y3)、(X4,Y4)が比較されるとき、一致信号は第2比較部212および第3比較部213から出力される。
【0070】
一致信号出力制御部22では、第3および第4比較部213、214に接続されたスイッチS3、S4がオン状態とされているので、第3比較部213から出力された一致信号が、欠陥補正演算部25に入力される。これにより、欠陥補正演算部25は、入力された画素(2,0)の画素データに対して補正処理が実行され、従来周知のいずれかの方法で補正された画素データが欠陥補正演算部25から出力される。なお、画素(2,0)ではなく画素(3,0)が欠陥画素の場合には、第4比較部214からの一致信号が欠陥補正演算部25に入力される。したがって、欠陥補正演算部25では、次の画素(3,0)に対応する画素データが次に入力されたときに欠陥補正を行なうように制御される。
【0071】
一方、アドレス管理部23では、アドレス比較部21からの一致信号の数が一致数カウント部231において計数される。今、一致信号は、第2比較部212および第3比較部213から出力されているので、一致信号の数は「2」であり、先頭メモリ監視部232は、先頭メモリを「現在」の先頭メモリM1−AD(1)から2メモリ分シフトし、先頭メモリはM3−AD(1)に変更される。
【0072】
なお、先頭メモリは、撮像素子12における画素配列にしたがって、第1〜第4メモリに順次格納された欠陥画素位置座標の順番に従って更新される。すなわち、先頭メモリは、(X1,Y1)、(X2,Y2)、・・・、(X5,Y5)、・・・、(Xn,Yn)を格納したM1−AD(1)、M2−AD(1)、・・・、M1−AD(2)、・・・、M4−AD(n/4)の順で移動される。
【0073】
このとき、第1アドレスカウンタ155のアドレス値M1−AD(1)、および第2アドレスカウンタ156のアドレス値M2−AD(1)は、カウントアップされ、M1−AD(2)、M2−AD(2)に更新される。すなわち、アドレス比較部21において比較対象となる第1〜第4メモリに格納された欠陥画素位置座標は、上記順番において先頭メモリ以降の4画素分であり、先頭メモリの移動は、探索済みの欠陥画素位置座標を探索候補から外す役割を果たす。
【0074】
以上で、間引きモードA5の最初の有効画素(2,0)が、欠陥補正演算部25に入力されたときの処理は終了する。次に、図3に示されるように、間引きモードA5の2番目の有効画素(3,0)が、欠陥補正演算部25に入力される。このとき、画素位置監視部20のX軸カウンタ201の値は、1つ前に入力された画素データの画素(1番目有効画素)と今回入力された画素データの画素(2番目有効画素)との間のシフト画素数分(前の入力画素データと現入力画素データとの間でシフトした画素数分)、インクリメントされる。
【0075】
すなわち、今の場合、入力画素データは、画素(2,0)から画素(3,0)に対応する画素データへと1画素分シフトしたので、X軸カウンタ201の値は「0+1」、すなわち「1」とされ、画素位置監視部20の(X,Y)の値は、(1,0)とされる。したがって、アドレス比較部21では、4画素の座標値(1,0)、(2,0)、(3,0)、(4,0)と、現先頭メモリM3−AD(1)以降の4画素分に対応する欠陥画素位置座標(X3,Y3)、(X4,Y4)、(X5,Y5)、(X6,Y6)が各々比較される。
【0076】
また、このときアドレス比較部21で比較対象とされる画素(1,0)、(2,0)、(3,0)、(4,0)のうち、有効画素に対応する画素は、(2,0)、(3,0)なので、一致信号出力制御部22のスイッチS1〜S4のうち、オン状態とされるのは、有効画素(2,0)、(3,0)のX座標値の比較を行う第2及び第3比較部212、213に接続されたスイッチS2、S3であり、スイッチS1、S4はオフ状態とされる。
【0077】
今、欠陥位置情報メモリ15から比較対象として選ばれる4画素分の位置座標は、(X3,Y3)、(X4,Y4)、(X5,Y5)、(X6,Y6)であるが、(0,0)〜(0,7)の8画素において欠陥画素に対応するのは画素(1,0)と(2,0)のみであり、これらの座標値は(X1,Y1)、(X2,Y2)に格納されているので、この比較処理において一致信号が出力されることはない。したがって、先頭メモリや第1〜第4アドレスカウンタ155〜158の値が更新されることはなく、欠陥補正演算部25においても、画素(3,0)に対応する入力画素データは、補正を受けることなくそのまま出力される。
【0078】
次に、欠陥補正演算部25には、3番目の有効画素(6,0)の画素データが入力される。このとき、X軸カウンタ201の値は、2番目の有効画素(3,0)から現在入力されている有効画素(6,0)へのシフト分、すなわち3画素分インクリメントされる。
【0079】
すなわち、X軸カウンタ201の値は「1+3」、すなわち「4」とされ、画素位置監視部20の(X,Y)の値は、(4,0)とされる。したがって、アドレス比較部21では、4画素の座標値(4,0)、(5,0)、(6,0)、(7,0)と、現先頭メモリM3−AD(1)以降の4画素分に対応する欠陥画素位置座標(X3,Y3)、(X4,Y4)、(X5,Y5)、(X6,Y6)が各々比較され、以下同様の処理が繰り返される。
【0080】
なお、X軸カウンタのシフト量や一致信号出力制御部22のスイッチS1〜S4のオン/オフの設定は、間引きモード毎に異なるが、これらの値は、間引きモード毎に間引き情報管理部24の制御パラメータとして格納されており、上で説明された処理は、これら制御パラメータの値に基づいて実行される。上記パターンA5の例では、制御パラメータは、水平方向へのシフト量として1、3の繰返し、垂直方向へのシフト量として水平ライン毎に1、スイッチ(S1、S2、S3、S4)のオン/オフ設定として(オフ、オフ、オン、オン)、(オフ、オン、オン、オフ)の繰返しが設定される。
【0081】
また、図2から明らかなように、X軸方向の走査が終了し、X軸カウンタ201の値がその最大値Xを越えると、Y軸カウンタ202の値が1インクリメントされ、X軸カウンタ201の値は0へとリセットされる。
【0082】
以上のように、本実施形態によれば、間引きパターン毎に欠陥画素の位置情報を記録したデータテーブルを用意する必要がなく、全画素に対応した重複することのない欠陥画素情報を1つのデータテーブルとして保持すればよいので、メモリ容量を大幅に節約することができる。
【0083】
また、本実施形態では4列を間引きパターンの単位としたが、本発明によれば、同様に任意のm列を単位とする間引きパターンに対応してm個のメモリを設け、これに欠陥画素位置情報を循環的に振り分けて記録することにより、m個の欠陥画素の位置情報を同時に比較することができる。更に、間引きパターンに合わせて画素位置監視部のカウンタをカウントアップ(シフト)させているため、間引きが行なわれる間引きモードでは、間引き量に合わせて探索回数を減らすことができるので、高速な探索処理を実現できる。
【0084】
また更に、m列以下の間引きパターンを単位とする如何なる間引きに対しても、画素位置監視部のカウンタのシフト量を間引きパターンに対応させて制御するだけで対応することができ、間引きパターン毎に回路を設けたり、複雑なプログラムを用意したりする必要がなく、簡単な構成でメモリ容量の低減、探索処理の高速化を実現でき、コストも削減することができる。
【0085】
なお、本実施形態では、第1〜第4比較部の各々が4つの比較器を備え、各比較部において第1〜第4メモリの各々から出力された値との比較が行なわれたが、第1比較部に1つの比較器、第2比較部に2つの比較器、第3比較部に3つの比較器、第4比較部に4つの比較器を設け、第1比較部では先頭メモリの座標値を、第2比較部では「先頭メモリ」〜「先頭メモリ+1」の座標値を、第3比較部では「先頭メモリ」〜「先頭メモリ+2」の座標値を、第4比較部では「先頭メモリ」〜「先頭メモリ+3」の座標値を比較する構成としてもよい。
【0086】
また、本実施形態では、処理対象となる画素データに対応する画素の位置と、メモリに記録された欠陥画素の位置を表す方法として、撮像素子の画素配列に対応した2次元座標が用いられたが、画素位置を表す位置情報としては、画素の位置が一意的に表せるものであればよく、例えば1次元座標であってもよい。
【図面の簡単な説明】
【0087】
【図1】本発明の一実施形態であるデジタルカメラの構成を示すブロック図である。
【図2】撮像素子の画素配列と、画素の位置座標との関係、および画素データの読出し順序(走査方法)を示す模式図である。
【図3】本実施形態における15個の間引きパターンを示す模式図である。
【図4】欠陥位置情報メモリの第1〜第4メモリへの欠陥画素位置情報の格納方法を各メモリのアドレスとともに示す欠陥画素データテーブルの模式図である。
【図5】画素欠陥補正装置の構成を示すブロック図である。
【図6】本実施形態の欠陥画素探索処理の概略を示すフローチャートである。
【図7】一致信号出力制御部の構成を模式的に示すブロック図である。
【符号の説明】
【0088】
12 撮像素子
14 画素欠陥補正装置
15 欠陥位置情報メモリ
20 画素位置監視部
21 アドレス比較部(位置情報比較部)
22 一致信号出力制御部
23 アドレス管理部
24 間引き情報管理部
25 欠陥補正演算部
151〜154 第1〜第4メモリ
155〜158 第1〜第4アドレスカウンタ
211〜214 第1〜第4比較部
231 一致数カウント部
232 先頭メモリ監視部

【特許請求の範囲】
【請求項1】
入力画素データが欠陥画素に対応する場合にその画素データを補正する欠陥補正演算部と、
前記欠陥画素の全位置情報を循環的に振り分けて記録するm個のメモリと、
前記入力画素データに対応する画素を含むm個の画素の位置情報を管理する画素位置管理部と、
前記m個の画素の位置情報と前記m個のメモリに各々分散されて記録されたm個の前記欠陥画素の位置情報との間の比較を行ない、位置情報が一致した場合にその数に対応する一致信号を出力する位置情報比較部と、
前記一致信号のうち有効画素に対応する一致信号のみを前記欠陥補正演算部に出力する一致信号出力制御部と、
前記一致信号の数に対応して、前記m個のメモリの読み出しアドレスを管理するアドレス管理部と
を備えることを特徴とする画素欠陥補正装置。
【請求項2】
前記画素位置管理部が、1画素分の画素位置情報を管理するカウンタを備え、前記m個の画素の位置情報が、前記カウンタの値によって管理されることを特徴とする請求項1に記載の画素欠陥補正装置。
【請求項3】
前記カウンタの値が撮像素子の水平ライン、垂直ラインに沿った2次元座標値であることを特徴とする請求項2に記載の画素欠陥補正装置。
【請求項4】
前記カウンタの値が、前記入力画素データの入力毎に、対応する画素のシフト量分、シフトされることを特徴とする請求項2に記載の画素欠陥補正装置。
【請求項5】
前記画素位置管理部における位置情報の管理に必要な前記シフト量を間引きモード毎に保持管理する間引き情報管理部を備えることを特徴とする請求項4に記載の画素欠陥補正装置。
【請求項6】
前記一致信号出力制御部における有効画素に対応する一致信号の情報を保持管理する間引き情報管理部を備えることを特徴とする請求項1に記載の画素欠陥補正装置。
【請求項7】
前記入力画素データが所定の順序で入力され、前記欠陥画素の全位置情報が前記所定の順序に従って前記m個のメモリに循環的に振り分けられ、前記m個の画素の位置情報が前記所定の順序で連続する画素に対応することを特徴とする請求項1に記載の画素欠陥補正装置。
【請求項8】
前記m個のメモリ毎に前記読み出しアドレスを管理するm個のアドレスカウンタを備え、前記所定の順序に従った前記欠陥画素の順番に対応して循環的に前記一致数に対応した数のアドレスカウンタの値を順次カウントアップすることを特徴とする請求項7に記載の画素欠陥補正装置。
【請求項9】
前記m個のメモリから読み出される前記m個の欠陥画素の位置情報は、前記一致情報比較部において一致が未確認の欠陥画素のうち前記所定の順序における最初のm個の位置情報であることを特徴とする請求項7に記載の画素欠陥補正装置。
【請求項10】
前記mが間引きパターンの最大単位に対応することを特徴とする請求項1に記載の画素欠陥補正装置。
【請求項11】
欠陥画素の総数がn個のとき、前記m個のメモリが各々n/mの深さに設定されることを特徴とする請求項1に記載の画素欠陥補正装置。
【請求項12】
間引きパターンの単位をm列とする画像処理装置に用いられる画素欠陥補正装置であって、
所定の順序に従って入力される入力画素データに対し欠陥画素の補正を行なう欠陥補正演算部と、
欠陥画素の全位置情報を前記所定の順序に従って循環的に振り分けて記録するm個のメモリと、
前記入力画素データに対応する画素を含む前記所定の順序で連続するm個の画素の位置情報と、前記m個のメモリの前記所定の順序に従ったm個の欠陥画素の位置情報とを比較する位置情報比較部と、
入力画素データが新たに入力される毎に、前記入力画素データに対応する画素を含む前記m個の画素の位置情報を間引きパターンに対応して前記所定の順序に沿って所定画素数分シフトする位置情報管理部と、
前記m個のメモリから前記m個の欠陥画素の位置情報を読み出すアドレスを、前記位置情報比較部において位置情報が一致した数分だけ、前記所定の順序に沿ってシフトさせるアドレス管理部と、
前記位置情報比較部における位置情報の一致が、有効画素において起こるときにのみ、前記欠陥補正演算部に一致信号を出力する一致信号出力制御部と
を備えることを特徴とする画素欠陥補正装置。
【請求項13】
所定の順序に従って入力される入力画素データに対して、欠陥画素の補正を行なう欠陥補正演算部と、
欠陥画素の全位置情報を前記所定の順序に従って循環的に振り分けて記録するm個のメモリとを備え、
連続するm個の画素の位置情報と、前記m個のメモリに記録された連続するm個の欠陥画素位置情報とを比較して、前記m個の画素の中から欠陥画素を検出し、前記m個の欠陥画素位置情報が、未検出の欠陥画素に対応する前記所定の順序に従った最初のm個の欠陥画素位置情報であり、前記入力画素データの入力毎にシフトされる画素数分、前記m個の画素の位置情報がシフトされ、前記欠陥画素の検出に基づいて前記入力画素データの前記補正が行われる
ことを特徴とする画素欠陥補正装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2006−324874(P2006−324874A)
【公開日】平成18年11月30日(2006.11.30)
【国際特許分類】
【出願番号】特願2005−145385(P2005−145385)
【出願日】平成17年5月18日(2005.5.18)
【出願人】(000000527)ペンタックス株式会社 (1,878)
【Fターム(参考)】