画像処理装置
【課題】 不良画素情報を一時的に格納した揮発性記憶手段から、該不良情報を最小限の読み出しで処理・目的の異なる複数の属性を持つ不良画素情報を使用した複数の処理回路内において前記不良画素情報を解析するデコーダ回路と不良画素情報内の位置情報を一時的に記憶させておくFIFOを持った信号処理装置を提供する事である。
【解決手段】 画素の補正を指示する（以下、不良画素情報）情報は、何らかの補正処理を必要とする画素（以下、不良画素とする）の、当該撮影画像中の位置に係る情報（以下、位置情報）と、補正の種類に係る（以下、ID情報）と夫々を有し、前記不良画素情報を格納しておく揮発性記憶手段から前記不良画素情報を受信し、該情報の内容を解析するデコーダ回路を有し、前記ID情報から自身の前記位置情報をそのデコーダ回路内のFIFOに記憶させておく回路構成において画像処理のスループットを下げ無い、FIFOの容量を持つこと事を特徴とする構成とした。
【解決手段】 画素の補正を指示する（以下、不良画素情報）情報は、何らかの補正処理を必要とする画素（以下、不良画素とする）の、当該撮影画像中の位置に係る情報（以下、位置情報）と、補正の種類に係る（以下、ID情報）と夫々を有し、前記不良画素情報を格納しておく揮発性記憶手段から前記不良画素情報を受信し、該情報の内容を解析するデコーダ回路を有し、前記ID情報から自身の前記位置情報をそのデコーダ回路内のFIFOに記憶させておく回路構成において画像処理のスループットを下げ無い、FIFOの容量を持つこと事を特徴とする構成とした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびこの装置を備えた電子スチルカメラに関するものである。
【背景技術】
【０００２】
電荷結合素子 (Charge Coupled Device：以下、CCDと呼称する)などの半導体で形成した撮像素子は、千万個以上の撮像素子を用いた高解像度のデジタルカメラの場合、１画素あたりの面積が非常に小さくなってしまう。
【０００３】
また、近年のデジタルカメラの低コスト化は、歩留まりの向上にも影響し、それはつまり不良画素の許容個数が増える方向に影響している。その為、光が入射していない状態で特異なレベルの信号を出力する不良画素を多く含んでおり、不良画素が存在しない撮像素子を生成する事は困難である。この不良画素が画質を劣化させる原因となっていることは知られている。
【０００４】
このような状況において従来から不良画素の撮像出力に起因する画質劣化を補正する技術が種々提案されている。これら従来技術の多くは、例えば特許文献1で提案されているように、工場出荷時における撮像素子の不良画素情報（不良の画素位置や不良の不良種類）を保有し、この情報を基にして不良補正するものである。上述した特許は工場出荷時における撮像素子の不良画素情報のような常時、不良画素の補正処理を必要とするもの（以下、工程傷と呼称する）を不良補正するものだった。
【０００５】
しかしながら、長時間の撮影等によってCCDの周囲温度の上昇に従って通常動作をしていた画素が不良画素になってしまう傷等（以下、リアルタイム傷と呼称する）も画素中に含まれて、特許文献1の技術では十分な不良補正を施す事が出来ないという問題があった。
【０００６】
そこで、特許文献2には、撮像装置に不良画素を検出する為の不良画素検出モードを持たせ、その検出モードで検出された不良画素位置データと記憶手段に記憶されている不良画素位置データとを用いて不良補正をする技術が提案されている。
【０００７】
また近年、CCDの画素の中に測距用のセンサーを設け、焦点検出処理を行う手段も提案されている(特許文献3)。この焦点検出用の画素(以下、PFA(Pix-For-AutoFocus)と呼称する)は、例えば、通常画素とは異なる開口部形状により所望の瞳の特性を実現し、位相差検出による焦点検出の実現を目論んでいる。
【０００８】
これらのPFAは、そのまま通常画素と同様に画像処理を施したのでは、結果画像に対して品質の劣化を起こす。この様な、被写体の撮影情報に寄与しない画素データに対しても、画像処理時には、前記不良画素と同等の補正処理を施す必要がある。
【０００９】
前記工程傷、前記リアルタイム傷の補正処理を要する画素、前記PFAで不良画素同等の補正処理を要する画素等、画素の中には補正処理を必要とする画素が多く、そのまま絶対位置情報として装置に格納していたのでは、記憶手段の容量を多く必要としてしまう。
【００１０】
そのため、これら要補正画素の位置を特定する方法としては、前回の補正位置と次回の補正位置との差分で持つ相対位置情報として記憶手段に格納する方法が提案されている。例えば、特許文献4では、不良画素情報として、前記相対位置情報と補正の要否を示す情報とを関連付けて記憶部に記憶させる提案をしている。
【００１１】
従来、不良画素補正の補正位置の検出は、前述の如く記憶部に記憶した不良画素情報中の位置情報と、撮像手段より入力される撮像データの位置カウント値と、夫々を参照しつつ行っている。特許文献5では、不良画素情報の格納部と、不良画素補正に用いるための一時バッファとの制御方法について提案をしている。これは、傷補正対象となる前記撮像データに対して消費する前記不良画素情報を、スループットを下げない様、供給する為の手段である。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開2008-53886号公報
【特許文献２】特開2003-259221号公報
【特許文献３】特開2004-191629号公報
【特許文献４】特開2008-187402号公報
【特許文献５】特開2000-023051号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
前記不良画素補正対象とする画素の数が多いことから、前記不良画素情報としては前記相対位置情報として保持しておきたい。また、工程傷、リアルタイム傷、PFA夫々の情報も、一つにして保持した方が相対位置の表現としては、効率が良い。
【００１４】
しかしながら、前述の如く、前記不良画素情報としては前記相対位置情報として、また、工程傷、リアルタイム傷、PFA夫々の情報も、一つにして保持する場合を想定する。その場合、各処理部夫々の処理タイミングで個々に前記揮発性記憶手段からデータを読み出す事は、前記揮発性記憶手段と処理回路部とのアクセスが増える為、処理効率を低下させる。
【００１５】
各処理部夫々の処理タイミングとは、例えば前記工程傷は、常時補正対象であり、その位置情報さえ分かれば良い。なので、前もって撮影画像データのライン単位毎や、フレーム単位での傷処理のイメージを展開してしまえる。｛0：正常処理、1：傷補正処理｝の様な0/1の1bitデータに展開で出来れば、撮影手段からの入力データの高レート化には有利である。しかしながら、前記リアルタイム傷においては、撮影手段からの入力データに対して傷かどうかの判断をすることが必要であり、前記工程傷の様な事前処理は出来ない。また、補正対象としてのPFAなどは、前記工程傷同様、常時補正対象であるが、合焦動作制御時にはその画素データを別途抽出して、合焦処理の演算手段に送出する必要がある。この様に、同一装置内の傷補正対象の画素といっても、その処理時期が異なる場合が生じているという事である。
【００１６】
位相差方式のためのPFAは、不良画素では無い。しかし、左右の瞳をつくるために、開口形状や、マイクロレンズ位置等に工夫があったり、光を得るために色フィルターが通常画素とは異なる場合があるので、通常の画像処理としてみれば、不良画素同様の補正処理を施す必要がある場合も想定出来る。本提案書では、該PFAの情報も含めて、不良画素情報と呼んでいる。
【００１７】
また、図２に不良画素補正回路の一例を示す。
【００１８】
図2は、DRAM等の揮発性記憶手段201から不良画素情報200を読み出して、前記不良画素情報200を使用した傷補正回路ブロック図である。この傷補正回路ブロックは前記不良画素情報200中の位置情報と補正有無を判定する距離カウンタ212及び、ID判定手段205及び、グレード判定手段206及び、自身の傷の相対位置情報を一時的に溜めておくFIFO210を持つデコーダ回路203を備えている。
【００１９】
前述の如く、不良画素の位置情報を前不良との相対距離情報で持つ場合には、前記距離カウンタ212中で次期傷迄の距離を有効画像データを受信毎にデクリメントしながら計数していく。該デクリメント値が0値になったときの受信データが不良補正対象である。該距離カウンタ212は、該デクリメント値が0になった時点で同図2中211の（前記バッファ210の）リード／ライトコントローラに対して、出力バッファの指示更新を行い、前記FIFO210に対して新しいデータを送出させる。
【００２０】
また、前記ID判定205、前記グレード判定206を行った後、自身の不良画素でないと判断した場合、相対位置情報はFIFO210には溜めておかず、ダミー距離カウンタ209に値を加算していく。また、該ダミー距離カウンタ209は、前記距離カウンタ212のデクリメント値が0値になった時、値を0値にリセットする。
【００２１】
また、前記コントローラ211は、揮発性記憶手段制御部202に対して、前記不良画素情報200中の新規データ送出の要求をする。前記距離カウンタ212は、処理対象である画像データが不良であるというステータス（図2では1の値で不良）を、論理積213に対して送出する。前記不良情報解析手段204は、前記不良画素情報200の画素毎の情報中から前記位置情報（距離情報）と不良のID情報、不良のグレード情報を夫々の処理部に送出する。また、前記位置情報は前記ID判定205、前記グレード判定206を行った結果、該当画素が不良画素だと判定されれば（図2では1の値で不良）、論理積207及び論理積208によって前記ダミー距離カウンタ209に送出されるかFIFO210に送出されるかが決まる。
【００２２】
図2中205は、前記ID情報を解析するID判定手段である。不良画素夫々は、前述した通り、工程傷、リアルタイム傷、PFA等複数の種類を持っており、例えば前記工程傷では0の値を、前記リアルタイム傷では1の値を、前記PFAでは2の値を設定しておく事によって夫々の不良画素を区別するものである。該ID判定手段の判定結果、該処理画素を不良とする場合には、該ID判定手段は1の値を出力する。
【００２３】
図2中206は、前記グレード情報を解析するグレード判定手段である。不良画素夫々は、異なる不良状態を持つ。前記工程傷は、常時補正対象ではあるが、その不良状態によっては、ISO感度、秒時設定、温度状態等々の撮影条件によっては傷とはせずに、通常画素として用いることが出来るレベルのものも存在する。その様な不良画素に対しては、幾つかのグレードを設けて情報としておき、回路側の補正条件としてグレード判定手段内で本処理時のグレードを設定して、傷とするかしないかを選択設定していくものである。該グレード判定手段の判定結果、該処理画素を不良とする場合には、該グレード判定手段は1の値を出力する。
【００２４】
該ID判定手段からの出力値と該グレード判定手段からの出力値を論理積218によって不良画素であるかそうでないかを判定する。
【００２５】
また、前記不良情報解析手段204は、不良画素情報から位置情報、ID情報、グレード情報とに分けて各々の処理手段に該情報を送出する役目をしている。
【００２６】
該論理積213では、画像データ有効ステータス及び、距離カウンタ212結果が1の値だった場合に、傷補正処理の実行を求めるステータスとして1の値を出力する。その結果、セレクタ215によって、不良画素補正値として、直前の画像データ値が選択される。
【００２７】
また、前記デコーダ回路203は、前記不良情報解析手段204、前記ID判定手段205、前記グレード判定手段206、前記ダミー距離カウンタ209、前記FIFO210、前記距離カウンタ212、前記コントローラ211、前記論理積208、207、218、213を含めた回路の事である。
【００２８】
図2中216は、前記画像データ有効ステータスの状態を保持するレジスタである。本図では、画像データ及び前記画像データ有効ステータスは同一のクロックに同期して転送されるものとする。該レジスタ216は、同様のクロックの立ち上がりエッジ（又は、立下りエッジ）によって動作保持を行うフリップフロップ回路によって実現される。同期転送用のクロック信号及び、レジスタのリセット信号については、図が煩雑になるので不図示とする。
【００２９】
図2中217は、画像データを一時保持するレジスタであり、上記レジスタ216同様フリップフロップ回路で実現される。該レジスタ217には、セレクタ215出力結果が保持される。前記セレクタ215は、前記論理積213結果が1値であり、現在注目画素が不良画素だった場合に、直前の画像データ値を出力し、そうでない場合には注目画素値をそのまま出力する。図2では、不良画素を直前の画素値で置き換える前置補間を図示している。
【００３０】
また、該前置補間回路部の後段の回路より、画像データ送出の停止要求が来た場合には、前記レジスタ216,217の状態を一時保持し、さらに前段の回路に対して画像データ送出停止要求のステータスを即時出力する回路を設けている。
【００３１】
前述に記載した後段からの停止要求信号とデコーダ回路内のFIFOが空になった時（傷の位置情報が無い）に前記211から出力される停止要求信号との論理和214によって図2中の画像データ送出停止要求ステータスが前段の回路に出力される。
【００３２】
前述の様な不良画素情報の保持条件で、一つにした前記不良画素情報を前記揮発性記憶手段から読み出して、前記揮発性記憶手段と前記不良画素補正回路とのアクセスを最小限にしたい。その為に、異なるタイミングで複数個ある前記不良画素補正回路で補正処理に対応することが課題である。
【００３３】
また、この補正処理に対応する際に、図２のコントローラ211から前述した停止要求ステータスを出力せずに、尚且つ冗長な回路構成を持つデコーダ回路にならない事が課題である。
【課題を解決するための手段】
【００３４】
本発明では、上記目的を達成する為に、揮発性記憶手段と複数個ある不良画素補正とのアクセスを必要最小限にする為に、不良画素情報の読み出しを１度だけにし読み出してきた不良画素情報を複数個あるデコーダ回路に同じタイミングで投入して使用する。その際、共通に読み出しているので一つのデコーダ回路のうちFIFO内が傷の位置情報でいっぱいになってしまったり、またはFIFOが空っぽになってしまわないように設計段階で決めておく必要がある。その為に、傷の数の割合や、前述した異なる処理タイミングの関係、また揮発性記憶手段と補正処理回路部とのレイテンシーを考慮してFIFO量を設定する事により停止要求ステータスを出力する事なく、且つ冗長なFIFO量を持たないようにする事を特徴とする。
【発明の効果】
【００３５】
本発明では、揮発性記憶手段と補正処理回路とのアクセスを必要最小限にして、デコーダ回路内のFIFOの容量を適切に設定する事で前段処理回路へ停止要求ステータスの出力元となるFIFOに関するものである。このFIFOの容量を適切に設定する為に、アクセス数を必要最小限にしているのでリソースをたくさん使用する事無く、また停止要求ステータスを出力しないので画像処理に対してスループットを低下させる事がない。また冗長なFIFOの容量を持たないように設定するので最小限のデコーダ回路規模となる。
【図面の簡単な説明】
【００３６】
【図１】本発明の不良画素補正装置のブロック図
【図２】不良画素補正処理部図示
【図３】本発明のFIFOの容量を少なく持った時の折れ線グラフ
【図４】本発明のFIFOの容量を冗長に持った時の折れ線グラフ
【図５】本発明のFIFOの容量を適切に持った時の折れ線グラフ
【発明を実施するための形態】
【００３７】
［実施例１］
以下、図1を参照して、本発明実施例の回路構成について説明する。
【００３８】
また、前述の如く、位置情報は注目する不良画素とその前の不良画素との距離情報としての相対位置を保持するものである。距離の定義としては、前記センサーの走査順（撮像データの配列順）に画素を計数したものでよい。また前記不良画素の情報は前記工程傷、前記リアルタイム傷、前記PFA夫々の属性（ID情報）を持った情報であるとする。
【００３９】
図1中前記不良画素情報104は、使用時にはアクセスの高速性からDRAM等の揮発性記憶手段（図1中105）に一時格納して用いる。該揮発性記憶手段105は、図1中106のコントローラーによって制御される。
【００４０】
被写体を撮影時、図1中100の撮像手段は光電変換により光学情報を電気情報に換えて出力する。図1中101のCDS(相関二重サンプリング)/AGC(Auto Gain Control)は、アナログの電気信号のS/Nを改善するための処理部である。
【００４１】
図1中102のA/D変換手段によって、撮像電気信号は、デジタルの撮像データに変換される。図1中103のFIFOは、後段のデータ処理のタイミング遅延緩衝用のバッファである。
【００４２】
図1中118, 127, 133は、前記不良画素情報104を処理する、処理1・処理2・処理3夫々を示すモジュールのブロック図示である。夫々センサーの補償演算や、同時化・ノイズ抑圧等の画像処理や、前記合焦検出用の演算処理等、デジタルカメラのデータ処理に係わるものである。夫々のモジュールや、内部サブモジュール間に、夫々相互に接続するセレクタを介すれば、その処理順位は選択範囲において任意とすることが出来る。図示は、あくまでもその一例である。
【００４３】
例えば、モジュール118はセンサ補償処理に係り、ここでは前記工程傷のみを対象に処理する。図1中116は、前記不良画素位置抽出用のデコーダ回路であり、図1中のFIFO121に蓄積された自身の前記工程傷の位置情報を使用して、該位置の撮像データ受信時にはそれを不良情報として前データと置き換える前置補間を行っても良い。
【００４４】
図1中モジュール118中には、幾つかのサブモジュールが存在する。例えば、図1中117はオフセット減算処理をする部位であり、119はシェーディング補正をする部位であり、120はデジタルゲイン演算等々である。
【００４５】
例えば、図1中モジュール127は、焦点検出用のセンサー画素を処理するものとする。その場合、合焦に必要なデータを抽出すると共に、それ以外の画素は画像用の通常画素として手を加えずに後段の処理にまわす必要がある。図1中122は、前記焦点検出用センサーの位置を抽出するデコーダ回路であり、FIFO123にはPFAの不良画素位置情報のみを格納している。例えば、合焦処理においては、その特殊なセンサー画素の補償演算部124や、残高による情報劣化の影響を補償し瞳を再現するための演算部125や、画素値を像として写像し位相差を求めるための相関演算部126等々が存在する。その他にも、確度を上げる為のフィルタ処理等々あるが、ここでは説明を省略する。
【００４６】
合焦処理としては、前記サブモジュール126の結果を前記揮発性記憶手段105に戻すことで、CPU（不図示）が後の処理（レンズ駆動等々）を施すことが出来る。また、画像処理（現像処理）を実行する場合には、前記モジュール127は、前記PFA位置のデータを画像処理用に補正した結果を、図1中モジュール133へと送出する。
【００４７】
例えば、前記図1中モジュール133は、画像処理部として存在し、130でホワイトバランスをとり、131で同時化処理を施して、132で偽色抑圧の処理を施しても良い。センサーの補償は、画素夫々に単独の要素として捕らえられるが、画像処理では水平・垂直（あるいは、時間軸方向にフレーム毎に等）隣接した参照画素を要するものであり、前期工程傷だけでなく、全ての不良画素の補正を最初に行っておく必要がある。
【００４８】
前記図1中モジュール133には、工程傷の補正・焦点検出用センサーの画素補正が済んだ状態の撮像データとして受信しているので、図1中128のデコード部ではリアルタイム傷の位置情報を抽出する。前記同様129のFIFOにリアルタイム傷のみの不良画素位置情報を溜めておき、傷と判断された画素に対して補正処理を施す。画処理部の参照画素用のラインバッファ等も活用出来る様であれば、水平・垂直の画素データから、補間画素データを生成しても良い。
【００４９】
図1中107は、前記揮発性記憶手段105と、各処理モジュール118,127,133,….,とのデータ授受に係るデータ管理部である。ここでは、接続先を前記処理モジュール118,127,133とした構成として説明する。
【００５０】
前記データ管理部107中108は、前記揮発性記憶手段105から読み出したデータを前記デコーダ回路116, 122, 128へと送出するためのバッファであり、FIFO構成としている。前記デコーダ回路116, 122, 128はFIFO121,123, 129へのデータ充填を、前記データ管理部107中のステータスコントローラ109に要求指示を出すと、該ステータスコントローラ109は、図1中のアービター110に前記揮発性記憶手段105からのデータ要求を出す。
【００５１】
前記アービター110は、他のステータスコントローラからの要求が無い様であれば、前期揮発性記憶手段のコントローラ106にデータ要求を出す。要求を受けた該コントローラ106は、前記揮発性記憶手段105から前記不良画素情報104の前記デコーダ回路116,122,128に対する次期データの読み出し指示を送出する。そして、読み出されたデータは、データ管理部107中108のFIFOに格納される。前記揮発性記憶手段105からのリードと、処理結果の前記揮発性記憶手段105へのライトとの方向の違いがあるが、前記データ管理部107中の他のFIFO、ステータスコントローラについても、同様の処理を実施する。
【００５２】
ここでステータスコントローラ109に要求指示を出すのだが、論理積115は全てのデコーダ回路から要求指示が来て始めてステータスコントローラ109に要求指示が出ることを意味している。すなわち116,122,128のいずれか一つでも要求指示が出せない時、前記揮発性記憶手段105から前記不良画素情報104は送出する事が出来ないという事を意味している。
【００５３】
この要因として前記116,122,128デコーダ回路内のFIFO121,123,129に前記不良画素情報104から抽出した傷の位置情報がいっぱいになってしまうという要因がある。
【００５４】
モジュール118,127,133において工程傷、リアルタイム傷、PFAと種類が異なる傷は、CCDセンサーの画素に対する夫々の割合によって自身の位置情報をFIFOに溜めていく為当然溜まっていく時間が異なってくる。
【００５５】
また、画像データに対する処理もモジュール118から処理を行い、モジュール127、133の順番で処理が行われ、前述した図2のレジスタ217のように、画像データを一時保持するレジスタ（フリップフロップ回路）が含まれている為、当然一定量の遅延が発生する。
【００５６】
すなわち前記デコード部内のFIFOの溜まる時間や逆に消費されていく時間が異なる為、一方が前記ステータスコントローラ109に要求指示を出してもう一方が要求指示を出せない状況にある事が考えられる。
【００５７】
また、前述したように消費されていく時間も異なる為にあるモジュールのFIFOが空になった時、参照するべき傷の位置情報が欠落した状態で処理が行われない為に、図2に示したように停止要求ステータス信号を出してしまう。その為、画像処理時間が多くかかってしまう事も考えられる。
【００５８】
各々のデコーダ回路部内のFIFO量を適切に持つ為には、傷の割合や、各々のモジュール間での遅れ量だけでなく、要求指示を前記ステータスコントローラ109に出してからデコーダ回路が傷データを受け取るまでのレイテンシーも考慮しなくてはいけない。また、FIFOの量を過剰に持つことは回路規模の増加につながるので避けたい。
【００５９】
すなわち回路間での遅れ量や、各々の傷の割合、前記揮発性記憶手段105とデコーダ回路とのデータを要求してから実際にデータが入力されてくるまでのレイテンシーによってFIFOに溜まっていく時間や消費されていく時間が異なる。その為FIFOの容量によって著しく処理時間がかかってスループットが低下してしまったり、逆にFIFOを冗長に持ちすぎると回路規模を増やしてしまう等の問題が出てくる。
【００６０】
図3では、FIFOの容量を少なく持ってしまったときの例を示す。
【００６１】
図3では、FIFOの容量はモジュール118、127、133全てにおいて同じだけ容量を持っていて各々20個ずつ傷の位置情報を溜められるものとする。また、処理の順番はモジュール118、127、133の順番で処理されるものとする。横軸に処理の時間、縦軸はFIFOの中の傷の数を表している。
【００６２】
また、図3、図4、図5では1cycに１個の入力データを処理するものとし、また傷の割合は工程傷、リアルタイム傷が10cycに１個の割合で含まれているとし、PFAは5cycに1個の割合で含まれているものとする。各々の位置情報は画像データ１に対して万遍なく散らばっているものとする。モジュール118とモジュール127間の遅れ量は50cycとし、モジュール127とモジュール133間の遅れ量は50cycとする。図1の前記揮発性記憶手段105と各デコーダ回路とのレイテンシーは、20cycとする（DRAMのレイテンシー303）。
【００６３】
縦軸にFullと書かれたものはFIFOの量の上限を表しており、Emptyと書かれたものはFIFOの中の傷の数が0個の時を表したものである。
【００６４】
Delay301、Delay302は各々の処理で費やす時間によって後段と処理の差が生まれその差分時間を表している。Delay302はモジュール118とモジュール127の差分時間を表している。Delay301はモジュール118とモジュール133の差分時間を表している。傷補正処理開始300はモジュール118に入力データの一番最初の画素が入力された時間を表している。
【００６５】
割合としてPFAが他の二つと比べ2倍の前記不良画素情報量を持っていて前図1のデコーダ回路116でデコードして自分の使用する傷だけをFIFOに溜めていくのでFIFOに溜まっていく割合も２倍となる。
【００６６】
要求信号出力停止304はモジュール133のFIFO128が傷位置情報でいっぱいになってしまった為、要求指示が出力されなくなった時点を表しているものである。この時点からモジュール118、モジュール127は揮発性記憶手段から不良画素情報を読む事が出来なくなってしまった為、モジュール118、モジュール127のFIFOが約半分程度溜まった所で処理が開始されてしまう。処理が開始されるとまずFIFO121が消費されていき、次に遅れ量の関係でFIFO123が消費されていき、最後にFIFO129が消費されていく為に、FIFO129が消費されていかず、要求信号が出力されない状態が続き、徐々にFIFO121の量が減っていってしまう。
【００６７】
やがて、FIFO121はEmptyになり画像データ側に前述したように画像データ送出停止要求ステータスを出力する。このようにFIFO121の容量が少ないと画像データ送出停止要求ステータスを出力してしまい、画像データが入ってこなくなってしまう為、処理に遅れが生じスループットが低下してしまう。
【００６８】
図4では、冗長なFIFOの容量を持ったときの例を示す。
【００６９】
FIFOの容量はモジュール118、モジュール127が各々26個ずつ傷データを溜められて、モジュール133が52個傷データを溜められるものとする。横軸に処理の時間、縦軸はFIFOの中の傷の数を表している。
【００７０】
縦軸にFIFO129のFullと書かれたものはモジュール133でのFIFO129の量の上限を表しており、FIFO121, 123のFullと書かれたものはモジュール118、モジュール127でのFIFOの量の上限を表している。Emptyと書かれたものはFIFOの中の傷の数が0個の時を表したものである。
【００７１】
先ほどとは異なり、モジュール133のFIFO129の容量は不良画素の割合に合わせているのでモジュール118、モジュール127、モジュール133はほぼ同時間にFIFOがFullになるようになっている。処理が開始されるとまず遅れ量の関係でFIFO121が消費されていき、次にFIFO123が消費され、最後にFIFO129が消費されていき、全ての回路のFIFOがFullでなくなった時に前記ステータスコントローラ109に要求信号を出す。
【００７２】
前記データ管理部107中のステータスコントローラ109に要求指示を出すと、該ステータスコントローラ109は、図1中のアービター110に前記揮発性記憶手段105からのデータ要求を出す。その後、前記不良画素情報は再びFIFOに溜められFullになりまた消費されるという処理が繰り返される。
【００７３】
以上の結果から、FIFOがEmptyにならなかった為に、前記停止要求ステータスは発行されなかったが、FIFO中の傷位置情報が消費される度に前記不良画素情報を読み出してくるので全ての回路のFIFOは常時、容量の半分以上も傷データを溜め込んでいる。この結果から冗長なFIFOの容量を持ってしまった為に、回路規模は大きくなってしまう。
【００７４】
図5では、適切なFIFOの容量を持ったときの例を示す。
【００７５】
横軸には処理の時間、縦軸はFIFOの中の傷の数を表している。FIFOの容量はモジュール118、モジュール127が各々１４個ずつ傷データを溜められて、モジュール133が２８個傷データを溜められるものとする。横軸に処理の時間、縦軸はFIFOの中の傷の数を表している。
【００７６】
図4と同様に、縦軸にモジュール133のFullと書かれたものはモジュール133でのFIFO129の量の上限を表しており、モジュール118、モジュール127のFullと書かれたものはモジュール118、モジュール127でのFIFOの量の上限を表している。Emptyと書かれたものはFIFOの中の傷の数が0個の時を表したものである。
【００７７】
図4と比較すると消費される割合やDelay等は図4と同様であるがFIFOの中に常に多くの傷データを溜めてはいない。また全てのFIFOがEmptyになることなく画像データに対して画像データ送出停止要求ステータスを出す事も無かった。このように適切なFIFOの容量を持つ事によって、処理時間に関してスループットを低下させる事無く冗長なFIFOを持っていないので回路規模を大きくしてしまう事もなくなる。
【００７８】
以上の事から求められる算出式としては以下の通りである。
【００７９】
尚、全てのFIFO量の式に対して＋１をしているのはFIFO内の傷の位置情報が0個になった時に画像データに対して停止要求ステータスを出してしまうので、停止要求ステータスを出さないようにする為である。また、小数点以下の値は繰り上げをする。
【００８０】
また、このFIFO量の算出式ではモジュール118を（１）に、モジュール127を（２）に、モジュール133を（３）に置き換えている。
【００８１】
また、揮発性記憶手段105はDRAMとする。
・（１）のFIFO量：（（１）と（３）間のDelay期間(cyc数)＋DRAMとのレイテンシー(cyc数)
+（３）の傷が１つ消費される平均時間）×（（１）の傷の量÷全CCD画素）＋１
実際に式に対して図5の内容を埋めてみると、
（１）のFIFO量：（１）と（３）間のDelay期間 = 50cyc(（２）と（１）のDelay) + 50cyc(（３）と（２）のDelay)
= 100cyc
DRAMのレイテンシー = 20cyc
（３）の傷が１つ消費される平均時間 = 5cyc
（（１）の傷の量÷全CCD画素） = 10cycに１個の傷が含まれている = 1/10
以上を算出式にあてはめると、
（１）のFIFO量：(100 + 20 + 5) ×(1/10) + 1 = 13.5 ≒ 14個
以上の事から（１）に必要なFIFOの容量は14個となる。
【００８２】
また、以下は（２）、（３）のFIFO量の算出式である。
【００８３】
図5のように（２）は（１）と傷の割合が同じで（１）に対してDelayがあるので（１）よりもFIFOが少なくて済むと思われるが、FIFOに溜められていく時間も同等なので（１）よりも少ないFIFO量を持ったとき（２）の方が早くFullになってしまう。その為、前記データ管理部107中のステータスコントローラ109に要求指示を出力出来なくなってしまい、（１）もそれ以上溜める事が出来なくなってしまう。その為、傷の割合が同等な場合同じFIFO量にしなければいけなくなってしまう。
【００８４】
以上の事から（２）、’３）のFIFO量の算出式は以下のようになる。
・（２）のFIFO量：（（１）のFIFO量−１）×（（２）の傷の割合）÷（（１）の傷の割合）+１
・（３）のFIFO量：（（１）のFIFO量−１）×（（３）の傷の割合）÷（（１）の傷の割合）＋１
【符号の説明】
【００８５】
103 後段のデータ処理のタイミング遅延緩衝用のバッファ
104 不良画素情報
105 揮発性記憶手段（DRAM等）
106 揮発性記憶手段コントローラ
107 データ管理部
108 デコーダ回路へ送出するためのバッファ
109,112,114 ステータスコントローラ
110 アービター
111, 113 揮発性記憶手段へ送出する為のバッファ
115 デコーダ回路からの要求信号の論理和
116 モジュール118のデコーダ回路
117 オフセット減算処理回路
118,127,133 モジュール
119 シェーディング補正回路
120 デジタルゲイン演算回路
121 デコーダ回路116のFIFO
122 モジュール127のデコーダ回路
123 デコーダ回路122のFIFO
124 焦点検出画素の補償演算回路
125 残高による情報劣化の影響を補償し瞳を再現するための演算回路
126 画素値を像として写像し位相差を求めるための相関演算回路
128 モジュール133のデコーダ回路
129 デコーダ回路128のFIFO
130 ホワイトバランス演算回路
131 同時化処理回路
132 偽色抑圧の処理
133 FIFO
【技術分野】
【０００１】
本発明は、画像処理装置およびこの装置を備えた電子スチルカメラに関するものである。
【背景技術】
【０００２】
電荷結合素子 (Charge Coupled Device：以下、CCDと呼称する)などの半導体で形成した撮像素子は、千万個以上の撮像素子を用いた高解像度のデジタルカメラの場合、１画素あたりの面積が非常に小さくなってしまう。
【０００３】
また、近年のデジタルカメラの低コスト化は、歩留まりの向上にも影響し、それはつまり不良画素の許容個数が増える方向に影響している。その為、光が入射していない状態で特異なレベルの信号を出力する不良画素を多く含んでおり、不良画素が存在しない撮像素子を生成する事は困難である。この不良画素が画質を劣化させる原因となっていることは知られている。
【０００４】
このような状況において従来から不良画素の撮像出力に起因する画質劣化を補正する技術が種々提案されている。これら従来技術の多くは、例えば特許文献1で提案されているように、工場出荷時における撮像素子の不良画素情報（不良の画素位置や不良の不良種類）を保有し、この情報を基にして不良補正するものである。上述した特許は工場出荷時における撮像素子の不良画素情報のような常時、不良画素の補正処理を必要とするもの（以下、工程傷と呼称する）を不良補正するものだった。
【０００５】
しかしながら、長時間の撮影等によってCCDの周囲温度の上昇に従って通常動作をしていた画素が不良画素になってしまう傷等（以下、リアルタイム傷と呼称する）も画素中に含まれて、特許文献1の技術では十分な不良補正を施す事が出来ないという問題があった。
【０００６】
そこで、特許文献2には、撮像装置に不良画素を検出する為の不良画素検出モードを持たせ、その検出モードで検出された不良画素位置データと記憶手段に記憶されている不良画素位置データとを用いて不良補正をする技術が提案されている。
【０００７】
また近年、CCDの画素の中に測距用のセンサーを設け、焦点検出処理を行う手段も提案されている(特許文献3)。この焦点検出用の画素(以下、PFA(Pix-For-AutoFocus)と呼称する)は、例えば、通常画素とは異なる開口部形状により所望の瞳の特性を実現し、位相差検出による焦点検出の実現を目論んでいる。
【０００８】
これらのPFAは、そのまま通常画素と同様に画像処理を施したのでは、結果画像に対して品質の劣化を起こす。この様な、被写体の撮影情報に寄与しない画素データに対しても、画像処理時には、前記不良画素と同等の補正処理を施す必要がある。
【０００９】
前記工程傷、前記リアルタイム傷の補正処理を要する画素、前記PFAで不良画素同等の補正処理を要する画素等、画素の中には補正処理を必要とする画素が多く、そのまま絶対位置情報として装置に格納していたのでは、記憶手段の容量を多く必要としてしまう。
【００１０】
そのため、これら要補正画素の位置を特定する方法としては、前回の補正位置と次回の補正位置との差分で持つ相対位置情報として記憶手段に格納する方法が提案されている。例えば、特許文献4では、不良画素情報として、前記相対位置情報と補正の要否を示す情報とを関連付けて記憶部に記憶させる提案をしている。
【００１１】
従来、不良画素補正の補正位置の検出は、前述の如く記憶部に記憶した不良画素情報中の位置情報と、撮像手段より入力される撮像データの位置カウント値と、夫々を参照しつつ行っている。特許文献5では、不良画素情報の格納部と、不良画素補正に用いるための一時バッファとの制御方法について提案をしている。これは、傷補正対象となる前記撮像データに対して消費する前記不良画素情報を、スループットを下げない様、供給する為の手段である。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開2008-53886号公報
【特許文献２】特開2003-259221号公報
【特許文献３】特開2004-191629号公報
【特許文献４】特開2008-187402号公報
【特許文献５】特開2000-023051号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
前記不良画素補正対象とする画素の数が多いことから、前記不良画素情報としては前記相対位置情報として保持しておきたい。また、工程傷、リアルタイム傷、PFA夫々の情報も、一つにして保持した方が相対位置の表現としては、効率が良い。
【００１４】
しかしながら、前述の如く、前記不良画素情報としては前記相対位置情報として、また、工程傷、リアルタイム傷、PFA夫々の情報も、一つにして保持する場合を想定する。その場合、各処理部夫々の処理タイミングで個々に前記揮発性記憶手段からデータを読み出す事は、前記揮発性記憶手段と処理回路部とのアクセスが増える為、処理効率を低下させる。
【００１５】
各処理部夫々の処理タイミングとは、例えば前記工程傷は、常時補正対象であり、その位置情報さえ分かれば良い。なので、前もって撮影画像データのライン単位毎や、フレーム単位での傷処理のイメージを展開してしまえる。｛0：正常処理、1：傷補正処理｝の様な0/1の1bitデータに展開で出来れば、撮影手段からの入力データの高レート化には有利である。しかしながら、前記リアルタイム傷においては、撮影手段からの入力データに対して傷かどうかの判断をすることが必要であり、前記工程傷の様な事前処理は出来ない。また、補正対象としてのPFAなどは、前記工程傷同様、常時補正対象であるが、合焦動作制御時にはその画素データを別途抽出して、合焦処理の演算手段に送出する必要がある。この様に、同一装置内の傷補正対象の画素といっても、その処理時期が異なる場合が生じているという事である。
【００１６】
位相差方式のためのPFAは、不良画素では無い。しかし、左右の瞳をつくるために、開口形状や、マイクロレンズ位置等に工夫があったり、光を得るために色フィルターが通常画素とは異なる場合があるので、通常の画像処理としてみれば、不良画素同様の補正処理を施す必要がある場合も想定出来る。本提案書では、該PFAの情報も含めて、不良画素情報と呼んでいる。
【００１７】
また、図２に不良画素補正回路の一例を示す。
【００１８】
図2は、DRAM等の揮発性記憶手段201から不良画素情報200を読み出して、前記不良画素情報200を使用した傷補正回路ブロック図である。この傷補正回路ブロックは前記不良画素情報200中の位置情報と補正有無を判定する距離カウンタ212及び、ID判定手段205及び、グレード判定手段206及び、自身の傷の相対位置情報を一時的に溜めておくFIFO210を持つデコーダ回路203を備えている。
【００１９】
前述の如く、不良画素の位置情報を前不良との相対距離情報で持つ場合には、前記距離カウンタ212中で次期傷迄の距離を有効画像データを受信毎にデクリメントしながら計数していく。該デクリメント値が0値になったときの受信データが不良補正対象である。該距離カウンタ212は、該デクリメント値が0になった時点で同図2中211の（前記バッファ210の）リード／ライトコントローラに対して、出力バッファの指示更新を行い、前記FIFO210に対して新しいデータを送出させる。
【００２０】
また、前記ID判定205、前記グレード判定206を行った後、自身の不良画素でないと判断した場合、相対位置情報はFIFO210には溜めておかず、ダミー距離カウンタ209に値を加算していく。また、該ダミー距離カウンタ209は、前記距離カウンタ212のデクリメント値が0値になった時、値を0値にリセットする。
【００２１】
また、前記コントローラ211は、揮発性記憶手段制御部202に対して、前記不良画素情報200中の新規データ送出の要求をする。前記距離カウンタ212は、処理対象である画像データが不良であるというステータス（図2では1の値で不良）を、論理積213に対して送出する。前記不良情報解析手段204は、前記不良画素情報200の画素毎の情報中から前記位置情報（距離情報）と不良のID情報、不良のグレード情報を夫々の処理部に送出する。また、前記位置情報は前記ID判定205、前記グレード判定206を行った結果、該当画素が不良画素だと判定されれば（図2では1の値で不良）、論理積207及び論理積208によって前記ダミー距離カウンタ209に送出されるかFIFO210に送出されるかが決まる。
【００２２】
図2中205は、前記ID情報を解析するID判定手段である。不良画素夫々は、前述した通り、工程傷、リアルタイム傷、PFA等複数の種類を持っており、例えば前記工程傷では0の値を、前記リアルタイム傷では1の値を、前記PFAでは2の値を設定しておく事によって夫々の不良画素を区別するものである。該ID判定手段の判定結果、該処理画素を不良とする場合には、該ID判定手段は1の値を出力する。
【００２３】
図2中206は、前記グレード情報を解析するグレード判定手段である。不良画素夫々は、異なる不良状態を持つ。前記工程傷は、常時補正対象ではあるが、その不良状態によっては、ISO感度、秒時設定、温度状態等々の撮影条件によっては傷とはせずに、通常画素として用いることが出来るレベルのものも存在する。その様な不良画素に対しては、幾つかのグレードを設けて情報としておき、回路側の補正条件としてグレード判定手段内で本処理時のグレードを設定して、傷とするかしないかを選択設定していくものである。該グレード判定手段の判定結果、該処理画素を不良とする場合には、該グレード判定手段は1の値を出力する。
【００２４】
該ID判定手段からの出力値と該グレード判定手段からの出力値を論理積218によって不良画素であるかそうでないかを判定する。
【００２５】
また、前記不良情報解析手段204は、不良画素情報から位置情報、ID情報、グレード情報とに分けて各々の処理手段に該情報を送出する役目をしている。
【００２６】
該論理積213では、画像データ有効ステータス及び、距離カウンタ212結果が1の値だった場合に、傷補正処理の実行を求めるステータスとして1の値を出力する。その結果、セレクタ215によって、不良画素補正値として、直前の画像データ値が選択される。
【００２７】
また、前記デコーダ回路203は、前記不良情報解析手段204、前記ID判定手段205、前記グレード判定手段206、前記ダミー距離カウンタ209、前記FIFO210、前記距離カウンタ212、前記コントローラ211、前記論理積208、207、218、213を含めた回路の事である。
【００２８】
図2中216は、前記画像データ有効ステータスの状態を保持するレジスタである。本図では、画像データ及び前記画像データ有効ステータスは同一のクロックに同期して転送されるものとする。該レジスタ216は、同様のクロックの立ち上がりエッジ（又は、立下りエッジ）によって動作保持を行うフリップフロップ回路によって実現される。同期転送用のクロック信号及び、レジスタのリセット信号については、図が煩雑になるので不図示とする。
【００２９】
図2中217は、画像データを一時保持するレジスタであり、上記レジスタ216同様フリップフロップ回路で実現される。該レジスタ217には、セレクタ215出力結果が保持される。前記セレクタ215は、前記論理積213結果が1値であり、現在注目画素が不良画素だった場合に、直前の画像データ値を出力し、そうでない場合には注目画素値をそのまま出力する。図2では、不良画素を直前の画素値で置き換える前置補間を図示している。
【００３０】
また、該前置補間回路部の後段の回路より、画像データ送出の停止要求が来た場合には、前記レジスタ216,217の状態を一時保持し、さらに前段の回路に対して画像データ送出停止要求のステータスを即時出力する回路を設けている。
【００３１】
前述に記載した後段からの停止要求信号とデコーダ回路内のFIFOが空になった時（傷の位置情報が無い）に前記211から出力される停止要求信号との論理和214によって図2中の画像データ送出停止要求ステータスが前段の回路に出力される。
【００３２】
前述の様な不良画素情報の保持条件で、一つにした前記不良画素情報を前記揮発性記憶手段から読み出して、前記揮発性記憶手段と前記不良画素補正回路とのアクセスを最小限にしたい。その為に、異なるタイミングで複数個ある前記不良画素補正回路で補正処理に対応することが課題である。
【００３３】
また、この補正処理に対応する際に、図２のコントローラ211から前述した停止要求ステータスを出力せずに、尚且つ冗長な回路構成を持つデコーダ回路にならない事が課題である。
【課題を解決するための手段】
【００３４】
本発明では、上記目的を達成する為に、揮発性記憶手段と複数個ある不良画素補正とのアクセスを必要最小限にする為に、不良画素情報の読み出しを１度だけにし読み出してきた不良画素情報を複数個あるデコーダ回路に同じタイミングで投入して使用する。その際、共通に読み出しているので一つのデコーダ回路のうちFIFO内が傷の位置情報でいっぱいになってしまったり、またはFIFOが空っぽになってしまわないように設計段階で決めておく必要がある。その為に、傷の数の割合や、前述した異なる処理タイミングの関係、また揮発性記憶手段と補正処理回路部とのレイテンシーを考慮してFIFO量を設定する事により停止要求ステータスを出力する事なく、且つ冗長なFIFO量を持たないようにする事を特徴とする。
【発明の効果】
【００３５】
本発明では、揮発性記憶手段と補正処理回路とのアクセスを必要最小限にして、デコーダ回路内のFIFOの容量を適切に設定する事で前段処理回路へ停止要求ステータスの出力元となるFIFOに関するものである。このFIFOの容量を適切に設定する為に、アクセス数を必要最小限にしているのでリソースをたくさん使用する事無く、また停止要求ステータスを出力しないので画像処理に対してスループットを低下させる事がない。また冗長なFIFOの容量を持たないように設定するので最小限のデコーダ回路規模となる。
【図面の簡単な説明】
【００３６】
【図１】本発明の不良画素補正装置のブロック図
【図２】不良画素補正処理部図示
【図３】本発明のFIFOの容量を少なく持った時の折れ線グラフ
【図４】本発明のFIFOの容量を冗長に持った時の折れ線グラフ
【図５】本発明のFIFOの容量を適切に持った時の折れ線グラフ
【発明を実施するための形態】
【００３７】
［実施例１］
以下、図1を参照して、本発明実施例の回路構成について説明する。
【００３８】
また、前述の如く、位置情報は注目する不良画素とその前の不良画素との距離情報としての相対位置を保持するものである。距離の定義としては、前記センサーの走査順（撮像データの配列順）に画素を計数したものでよい。また前記不良画素の情報は前記工程傷、前記リアルタイム傷、前記PFA夫々の属性（ID情報）を持った情報であるとする。
【００３９】
図1中前記不良画素情報104は、使用時にはアクセスの高速性からDRAM等の揮発性記憶手段（図1中105）に一時格納して用いる。該揮発性記憶手段105は、図1中106のコントローラーによって制御される。
【００４０】
被写体を撮影時、図1中100の撮像手段は光電変換により光学情報を電気情報に換えて出力する。図1中101のCDS(相関二重サンプリング)/AGC(Auto Gain Control)は、アナログの電気信号のS/Nを改善するための処理部である。
【００４１】
図1中102のA/D変換手段によって、撮像電気信号は、デジタルの撮像データに変換される。図1中103のFIFOは、後段のデータ処理のタイミング遅延緩衝用のバッファである。
【００４２】
図1中118, 127, 133は、前記不良画素情報104を処理する、処理1・処理2・処理3夫々を示すモジュールのブロック図示である。夫々センサーの補償演算や、同時化・ノイズ抑圧等の画像処理や、前記合焦検出用の演算処理等、デジタルカメラのデータ処理に係わるものである。夫々のモジュールや、内部サブモジュール間に、夫々相互に接続するセレクタを介すれば、その処理順位は選択範囲において任意とすることが出来る。図示は、あくまでもその一例である。
【００４３】
例えば、モジュール118はセンサ補償処理に係り、ここでは前記工程傷のみを対象に処理する。図1中116は、前記不良画素位置抽出用のデコーダ回路であり、図1中のFIFO121に蓄積された自身の前記工程傷の位置情報を使用して、該位置の撮像データ受信時にはそれを不良情報として前データと置き換える前置補間を行っても良い。
【００４４】
図1中モジュール118中には、幾つかのサブモジュールが存在する。例えば、図1中117はオフセット減算処理をする部位であり、119はシェーディング補正をする部位であり、120はデジタルゲイン演算等々である。
【００４５】
例えば、図1中モジュール127は、焦点検出用のセンサー画素を処理するものとする。その場合、合焦に必要なデータを抽出すると共に、それ以外の画素は画像用の通常画素として手を加えずに後段の処理にまわす必要がある。図1中122は、前記焦点検出用センサーの位置を抽出するデコーダ回路であり、FIFO123にはPFAの不良画素位置情報のみを格納している。例えば、合焦処理においては、その特殊なセンサー画素の補償演算部124や、残高による情報劣化の影響を補償し瞳を再現するための演算部125や、画素値を像として写像し位相差を求めるための相関演算部126等々が存在する。その他にも、確度を上げる為のフィルタ処理等々あるが、ここでは説明を省略する。
【００４６】
合焦処理としては、前記サブモジュール126の結果を前記揮発性記憶手段105に戻すことで、CPU（不図示）が後の処理（レンズ駆動等々）を施すことが出来る。また、画像処理（現像処理）を実行する場合には、前記モジュール127は、前記PFA位置のデータを画像処理用に補正した結果を、図1中モジュール133へと送出する。
【００４７】
例えば、前記図1中モジュール133は、画像処理部として存在し、130でホワイトバランスをとり、131で同時化処理を施して、132で偽色抑圧の処理を施しても良い。センサーの補償は、画素夫々に単独の要素として捕らえられるが、画像処理では水平・垂直（あるいは、時間軸方向にフレーム毎に等）隣接した参照画素を要するものであり、前期工程傷だけでなく、全ての不良画素の補正を最初に行っておく必要がある。
【００４８】
前記図1中モジュール133には、工程傷の補正・焦点検出用センサーの画素補正が済んだ状態の撮像データとして受信しているので、図1中128のデコード部ではリアルタイム傷の位置情報を抽出する。前記同様129のFIFOにリアルタイム傷のみの不良画素位置情報を溜めておき、傷と判断された画素に対して補正処理を施す。画処理部の参照画素用のラインバッファ等も活用出来る様であれば、水平・垂直の画素データから、補間画素データを生成しても良い。
【００４９】
図1中107は、前記揮発性記憶手段105と、各処理モジュール118,127,133,….,とのデータ授受に係るデータ管理部である。ここでは、接続先を前記処理モジュール118,127,133とした構成として説明する。
【００５０】
前記データ管理部107中108は、前記揮発性記憶手段105から読み出したデータを前記デコーダ回路116, 122, 128へと送出するためのバッファであり、FIFO構成としている。前記デコーダ回路116, 122, 128はFIFO121,123, 129へのデータ充填を、前記データ管理部107中のステータスコントローラ109に要求指示を出すと、該ステータスコントローラ109は、図1中のアービター110に前記揮発性記憶手段105からのデータ要求を出す。
【００５１】
前記アービター110は、他のステータスコントローラからの要求が無い様であれば、前期揮発性記憶手段のコントローラ106にデータ要求を出す。要求を受けた該コントローラ106は、前記揮発性記憶手段105から前記不良画素情報104の前記デコーダ回路116,122,128に対する次期データの読み出し指示を送出する。そして、読み出されたデータは、データ管理部107中108のFIFOに格納される。前記揮発性記憶手段105からのリードと、処理結果の前記揮発性記憶手段105へのライトとの方向の違いがあるが、前記データ管理部107中の他のFIFO、ステータスコントローラについても、同様の処理を実施する。
【００５２】
ここでステータスコントローラ109に要求指示を出すのだが、論理積115は全てのデコーダ回路から要求指示が来て始めてステータスコントローラ109に要求指示が出ることを意味している。すなわち116,122,128のいずれか一つでも要求指示が出せない時、前記揮発性記憶手段105から前記不良画素情報104は送出する事が出来ないという事を意味している。
【００５３】
この要因として前記116,122,128デコーダ回路内のFIFO121,123,129に前記不良画素情報104から抽出した傷の位置情報がいっぱいになってしまうという要因がある。
【００５４】
モジュール118,127,133において工程傷、リアルタイム傷、PFAと種類が異なる傷は、CCDセンサーの画素に対する夫々の割合によって自身の位置情報をFIFOに溜めていく為当然溜まっていく時間が異なってくる。
【００５５】
また、画像データに対する処理もモジュール118から処理を行い、モジュール127、133の順番で処理が行われ、前述した図2のレジスタ217のように、画像データを一時保持するレジスタ（フリップフロップ回路）が含まれている為、当然一定量の遅延が発生する。
【００５６】
すなわち前記デコード部内のFIFOの溜まる時間や逆に消費されていく時間が異なる為、一方が前記ステータスコントローラ109に要求指示を出してもう一方が要求指示を出せない状況にある事が考えられる。
【００５７】
また、前述したように消費されていく時間も異なる為にあるモジュールのFIFOが空になった時、参照するべき傷の位置情報が欠落した状態で処理が行われない為に、図2に示したように停止要求ステータス信号を出してしまう。その為、画像処理時間が多くかかってしまう事も考えられる。
【００５８】
各々のデコーダ回路部内のFIFO量を適切に持つ為には、傷の割合や、各々のモジュール間での遅れ量だけでなく、要求指示を前記ステータスコントローラ109に出してからデコーダ回路が傷データを受け取るまでのレイテンシーも考慮しなくてはいけない。また、FIFOの量を過剰に持つことは回路規模の増加につながるので避けたい。
【００５９】
すなわち回路間での遅れ量や、各々の傷の割合、前記揮発性記憶手段105とデコーダ回路とのデータを要求してから実際にデータが入力されてくるまでのレイテンシーによってFIFOに溜まっていく時間や消費されていく時間が異なる。その為FIFOの容量によって著しく処理時間がかかってスループットが低下してしまったり、逆にFIFOを冗長に持ちすぎると回路規模を増やしてしまう等の問題が出てくる。
【００６０】
図3では、FIFOの容量を少なく持ってしまったときの例を示す。
【００６１】
図3では、FIFOの容量はモジュール118、127、133全てにおいて同じだけ容量を持っていて各々20個ずつ傷の位置情報を溜められるものとする。また、処理の順番はモジュール118、127、133の順番で処理されるものとする。横軸に処理の時間、縦軸はFIFOの中の傷の数を表している。
【００６２】
また、図3、図4、図5では1cycに１個の入力データを処理するものとし、また傷の割合は工程傷、リアルタイム傷が10cycに１個の割合で含まれているとし、PFAは5cycに1個の割合で含まれているものとする。各々の位置情報は画像データ１に対して万遍なく散らばっているものとする。モジュール118とモジュール127間の遅れ量は50cycとし、モジュール127とモジュール133間の遅れ量は50cycとする。図1の前記揮発性記憶手段105と各デコーダ回路とのレイテンシーは、20cycとする（DRAMのレイテンシー303）。
【００６３】
縦軸にFullと書かれたものはFIFOの量の上限を表しており、Emptyと書かれたものはFIFOの中の傷の数が0個の時を表したものである。
【００６４】
Delay301、Delay302は各々の処理で費やす時間によって後段と処理の差が生まれその差分時間を表している。Delay302はモジュール118とモジュール127の差分時間を表している。Delay301はモジュール118とモジュール133の差分時間を表している。傷補正処理開始300はモジュール118に入力データの一番最初の画素が入力された時間を表している。
【００６５】
割合としてPFAが他の二つと比べ2倍の前記不良画素情報量を持っていて前図1のデコーダ回路116でデコードして自分の使用する傷だけをFIFOに溜めていくのでFIFOに溜まっていく割合も２倍となる。
【００６６】
要求信号出力停止304はモジュール133のFIFO128が傷位置情報でいっぱいになってしまった為、要求指示が出力されなくなった時点を表しているものである。この時点からモジュール118、モジュール127は揮発性記憶手段から不良画素情報を読む事が出来なくなってしまった為、モジュール118、モジュール127のFIFOが約半分程度溜まった所で処理が開始されてしまう。処理が開始されるとまずFIFO121が消費されていき、次に遅れ量の関係でFIFO123が消費されていき、最後にFIFO129が消費されていく為に、FIFO129が消費されていかず、要求信号が出力されない状態が続き、徐々にFIFO121の量が減っていってしまう。
【００６７】
やがて、FIFO121はEmptyになり画像データ側に前述したように画像データ送出停止要求ステータスを出力する。このようにFIFO121の容量が少ないと画像データ送出停止要求ステータスを出力してしまい、画像データが入ってこなくなってしまう為、処理に遅れが生じスループットが低下してしまう。
【００６８】
図4では、冗長なFIFOの容量を持ったときの例を示す。
【００６９】
FIFOの容量はモジュール118、モジュール127が各々26個ずつ傷データを溜められて、モジュール133が52個傷データを溜められるものとする。横軸に処理の時間、縦軸はFIFOの中の傷の数を表している。
【００７０】
縦軸にFIFO129のFullと書かれたものはモジュール133でのFIFO129の量の上限を表しており、FIFO121, 123のFullと書かれたものはモジュール118、モジュール127でのFIFOの量の上限を表している。Emptyと書かれたものはFIFOの中の傷の数が0個の時を表したものである。
【００７１】
先ほどとは異なり、モジュール133のFIFO129の容量は不良画素の割合に合わせているのでモジュール118、モジュール127、モジュール133はほぼ同時間にFIFOがFullになるようになっている。処理が開始されるとまず遅れ量の関係でFIFO121が消費されていき、次にFIFO123が消費され、最後にFIFO129が消費されていき、全ての回路のFIFOがFullでなくなった時に前記ステータスコントローラ109に要求信号を出す。
【００７２】
前記データ管理部107中のステータスコントローラ109に要求指示を出すと、該ステータスコントローラ109は、図1中のアービター110に前記揮発性記憶手段105からのデータ要求を出す。その後、前記不良画素情報は再びFIFOに溜められFullになりまた消費されるという処理が繰り返される。
【００７３】
以上の結果から、FIFOがEmptyにならなかった為に、前記停止要求ステータスは発行されなかったが、FIFO中の傷位置情報が消費される度に前記不良画素情報を読み出してくるので全ての回路のFIFOは常時、容量の半分以上も傷データを溜め込んでいる。この結果から冗長なFIFOの容量を持ってしまった為に、回路規模は大きくなってしまう。
【００７４】
図5では、適切なFIFOの容量を持ったときの例を示す。
【００７５】
横軸には処理の時間、縦軸はFIFOの中の傷の数を表している。FIFOの容量はモジュール118、モジュール127が各々１４個ずつ傷データを溜められて、モジュール133が２８個傷データを溜められるものとする。横軸に処理の時間、縦軸はFIFOの中の傷の数を表している。
【００７６】
図4と同様に、縦軸にモジュール133のFullと書かれたものはモジュール133でのFIFO129の量の上限を表しており、モジュール118、モジュール127のFullと書かれたものはモジュール118、モジュール127でのFIFOの量の上限を表している。Emptyと書かれたものはFIFOの中の傷の数が0個の時を表したものである。
【００７７】
図4と比較すると消費される割合やDelay等は図4と同様であるがFIFOの中に常に多くの傷データを溜めてはいない。また全てのFIFOがEmptyになることなく画像データに対して画像データ送出停止要求ステータスを出す事も無かった。このように適切なFIFOの容量を持つ事によって、処理時間に関してスループットを低下させる事無く冗長なFIFOを持っていないので回路規模を大きくしてしまう事もなくなる。
【００７８】
以上の事から求められる算出式としては以下の通りである。
【００７９】
尚、全てのFIFO量の式に対して＋１をしているのはFIFO内の傷の位置情報が0個になった時に画像データに対して停止要求ステータスを出してしまうので、停止要求ステータスを出さないようにする為である。また、小数点以下の値は繰り上げをする。
【００８０】
また、このFIFO量の算出式ではモジュール118を（１）に、モジュール127を（２）に、モジュール133を（３）に置き換えている。
【００８１】
また、揮発性記憶手段105はDRAMとする。
・（１）のFIFO量：（（１）と（３）間のDelay期間(cyc数)＋DRAMとのレイテンシー(cyc数)
+（３）の傷が１つ消費される平均時間）×（（１）の傷の量÷全CCD画素）＋１
実際に式に対して図5の内容を埋めてみると、
（１）のFIFO量：（１）と（３）間のDelay期間 = 50cyc(（２）と（１）のDelay) + 50cyc(（３）と（２）のDelay)
= 100cyc
DRAMのレイテンシー = 20cyc
（３）の傷が１つ消費される平均時間 = 5cyc
（（１）の傷の量÷全CCD画素） = 10cycに１個の傷が含まれている = 1/10
以上を算出式にあてはめると、
（１）のFIFO量：(100 + 20 + 5) ×(1/10) + 1 = 13.5 ≒ 14個
以上の事から（１）に必要なFIFOの容量は14個となる。
【００８２】
また、以下は（２）、（３）のFIFO量の算出式である。
【００８３】
図5のように（２）は（１）と傷の割合が同じで（１）に対してDelayがあるので（１）よりもFIFOが少なくて済むと思われるが、FIFOに溜められていく時間も同等なので（１）よりも少ないFIFO量を持ったとき（２）の方が早くFullになってしまう。その為、前記データ管理部107中のステータスコントローラ109に要求指示を出力出来なくなってしまい、（１）もそれ以上溜める事が出来なくなってしまう。その為、傷の割合が同等な場合同じFIFO量にしなければいけなくなってしまう。
【００８４】
以上の事から（２）、’３）のFIFO量の算出式は以下のようになる。
・（２）のFIFO量：（（１）のFIFO量−１）×（（２）の傷の割合）÷（（１）の傷の割合）+１
・（３）のFIFO量：（（１）のFIFO量−１）×（（３）の傷の割合）÷（（１）の傷の割合）＋１
【符号の説明】
【００８５】
103 後段のデータ処理のタイミング遅延緩衝用のバッファ
104 不良画素情報
105 揮発性記憶手段（DRAM等）
106 揮発性記憶手段コントローラ
107 データ管理部
108 デコーダ回路へ送出するためのバッファ
109,112,114 ステータスコントローラ
110 アービター
111, 113 揮発性記憶手段へ送出する為のバッファ
115 デコーダ回路からの要求信号の論理和
116 モジュール118のデコーダ回路
117 オフセット減算処理回路
118,127,133 モジュール
119 シェーディング補正回路
120 デジタルゲイン演算回路
121 デコーダ回路116のFIFO
122 モジュール127のデコーダ回路
123 デコーダ回路122のFIFO
124 焦点検出画素の補償演算回路
125 残高による情報劣化の影響を補償し瞳を再現するための演算回路
126 画素値を像として写像し位相差を求めるための相関演算回路
128 モジュール133のデコーダ回路
129 デコーダ回路128のFIFO
130 ホワイトバランス演算回路
131 同時化処理回路
132 偽色抑圧の処理
133 FIFO
【特許請求の範囲】
【請求項１】
撮像手段を有し、該撮像手段中の特定部位の画素の補正を指示する情報・手段を有する画像処理装置であり、前記画素の補正を指示する情報（以下、不良画素情報）は、撮影画像情報として処理をするときに何らかの補正処理を必要とする画素（以下、不良画素とする）の、当該撮影画像中の位置に係る情報（以下、位置情報）と、補正の種類に係る情報（以下、ID情報）と、夫々を有し、前記不良画素情報を格納しておく揮発性記憶手段と、該揮発性記憶手段の制御部と、前記揮発性記憶手段からの前記不良画素情報を受信し、該情報の内容を解析するデコーダ回路を有し、前記デコーダ回路部は、不良画素情報抽出手段と、画素を計数するカウンタと、位置情報を一時的に格納するFIFOを夫々具備し、前記デコーダ回路は、前記不良画素情報と、前記撮像手段より得た画像情報と、夫々を受信し、前記不良画素情報抽出手段は、前期位置情報と、前記ID情報と、夫々を抽出する手段であり、前記カウンタは、有効である前記画像情報を受信する毎に、計数・更新していくカウンタであり、前記位置情報を鑑みた前記カウンタ値の計数・更新結果から、現在の受信画素が不良であるかどうかを判断し、現在の不良ステータスを生成し、前記デコーダ回路内の前記FIFOが空になった時、前段の処理に対し前記画像情報の入力を止める停止要求信号を出力する為、適切なFIFOの容量に設定し、前段の処理回路に停止要求信号を出力しない且つ冗長で無いFIFOの容量を持つことを特徴とした、画像処理装置。
【請求項２】
前記画像処理装置内のFIFOの容量は前記揮発性記憶手段と前記FIFOとのレイテンシー、複数の前記不良画素情報に基づいて処理を行う処理回路間夫々の遅れ量、画素の中の夫々の前記不良画素情報の割合の少なくともいずれかに応じた容量に設定されることを特徴とした、請求項１に記載の画像処理装置。
【請求項１】
撮像手段を有し、該撮像手段中の特定部位の画素の補正を指示する情報・手段を有する画像処理装置であり、前記画素の補正を指示する情報（以下、不良画素情報）は、撮影画像情報として処理をするときに何らかの補正処理を必要とする画素（以下、不良画素とする）の、当該撮影画像中の位置に係る情報（以下、位置情報）と、補正の種類に係る情報（以下、ID情報）と、夫々を有し、前記不良画素情報を格納しておく揮発性記憶手段と、該揮発性記憶手段の制御部と、前記揮発性記憶手段からの前記不良画素情報を受信し、該情報の内容を解析するデコーダ回路を有し、前記デコーダ回路部は、不良画素情報抽出手段と、画素を計数するカウンタと、位置情報を一時的に格納するFIFOを夫々具備し、前記デコーダ回路は、前記不良画素情報と、前記撮像手段より得た画像情報と、夫々を受信し、前記不良画素情報抽出手段は、前期位置情報と、前記ID情報と、夫々を抽出する手段であり、前記カウンタは、有効である前記画像情報を受信する毎に、計数・更新していくカウンタであり、前記位置情報を鑑みた前記カウンタ値の計数・更新結果から、現在の受信画素が不良であるかどうかを判断し、現在の不良ステータスを生成し、前記デコーダ回路内の前記FIFOが空になった時、前段の処理に対し前記画像情報の入力を止める停止要求信号を出力する為、適切なFIFOの容量に設定し、前段の処理回路に停止要求信号を出力しない且つ冗長で無いFIFOの容量を持つことを特徴とした、画像処理装置。
【請求項２】
前記画像処理装置内のFIFOの容量は前記揮発性記憶手段と前記FIFOとのレイテンシー、複数の前記不良画素情報に基づいて処理を行う処理回路間夫々の遅れ量、画素の中の夫々の前記不良画素情報の割合の少なくともいずれかに応じた容量に設定されることを特徴とした、請求項１に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１２４７９６（Ｐ２０１２−１２４７９６Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７５２６２（Ｐ２０１０−２７５２６２）
【出願日】平成２２年１２月１０日（２０１０．１２．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月１０日（２０１０．１２．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]