画像処理装置、画像処理方法及び画像処理プログラム
【課題】 センサチップ間で出力レベルに大きなばらつきがある場合であっても、センサチップの継ぎ目を目立ちにくくすることができる画像処理装置を提供する。
【解決手段】 欠落画素に隣接するチップ端画素を含む周辺画素グループ内における隣接画素間で画素データの差分を求める周辺画素変化パターン算出部と、周辺画素グループとは位置が異なる任意の比較画素グループ内における隣接画素間で画素データの差分を求める比較画素変化パターン算出部と、周辺画素グループ及び比較画素グループ間で変化パターンを比較し、相関が最も高い比較画素グループを参照画素グループとして抽出する変化パターン比較部と、参照画素グループ内のチップ端画素に対応する画素の画素データ、参照画素グループに隣接する画素であって、欠落画素に対応する画素の画素データ及びチップ端画素の画素データに基づいて、欠落画素の画素データを求める画素データ算出部により構成される。
【解決手段】 欠落画素に隣接するチップ端画素を含む周辺画素グループ内における隣接画素間で画素データの差分を求める周辺画素変化パターン算出部と、周辺画素グループとは位置が異なる任意の比較画素グループ内における隣接画素間で画素データの差分を求める比較画素変化パターン算出部と、周辺画素グループ及び比較画素グループ間で変化パターンを比較し、相関が最も高い比較画素グループを参照画素グループとして抽出する変化パターン比較部と、参照画素グループ内のチップ端画素に対応する画素の画素データ、参照画素グループに隣接する画素であって、欠落画素に対応する画素の画素データ及びチップ端画素の画素データに基づいて、欠落画素の画素データを求める画素データ算出部により構成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに係り、さらに詳しくは、多数の受光素子がそれぞれ形成された複数のセンサチップを含むラインセンサから受光素子の画素データを取得してライン読取画像を生成する画像処理装置の改良に関する。
【背景技術】
【０００２】
密着型のラインイメージセンサ、いわゆるＣＩＳ（Contact Image Sensor：コンタクトイメージセンサ）は、略直線状に配列された複数のセンサチップにより構成され、原稿台上に載置された原稿を読み取って、１ライン分の画像を順次に生成する光学読取装置である。各センサチップは、多数の受光素子の１次元配列からなる撮像回路であり、共通の基板上にマウントされる。また、各センサチップは、受光素子の配列方向に連結される。
【０００３】
現在のセンサマウント技術では、解像度が高くなれば、隣接する２つのセンサチップの継ぎ目部分の間隔をセンサチップ内における受光素子の配列ピッチ以下にすることが困難である。このため、読取画像の品質がセンサチップの継ぎ目部分で劣化するという課題があった。そこで、ラインイメージセンサが読み取った画素データに対し、センサチップ間において欠落する画素データを補間してライン読取画像を生成する画像処理装置が提案されている（例えば、特許文献１及び２）。
【０００４】
センサチップ間の欠落画素の画素データは、例えば、欠落画素に隣接する画素の画素データを用いた線形補間、或いは、画素列間の輝度比較によるパターンマッチングにより求められる。線形補間による方法では、欠落画素に隣接する２つの画素について、画素データの平均値を算出することにより、欠落画素の画素データが求められる。しかし、この様な方法では、読取画像が、比較的に長い周期で輝度が変化する低周波数成分からなる場合に、良好な補間結果が得られるものの、輝度が短い周期で変化する高周波数成分からなる場合には、適切な補間結果が得られないという問題があった。
【０００５】
一方、パターンマッチングによる方法では、例えば、欠落画素と比較するための比較対象画素を含み、その比較対象画素の位置が異なる複数の比較ブロックについて、比較ブロック内の画素データが欠落画素を含む基準ブロック内の画素データと比較される。欠落画素の画素データは、基準ブロックに対して輝度分布の相関が最も高い比較ブロックに基づいて決定される。この様な方法では、読取画像が高周波数成分からなる場合であっても、良好な補間結果が得られる。しかしながら、センサチップの個体差に起因して、センサチップ間で出力レベルに大きなばらつきがある場合に、適切な補間結果が得られないという問題があった。すなわち、センサチップ間で出力レベルに大きなばらつきがあれば、対応する画素間における画素データの比較では、基準ブロックと同じ輝度変化の比較ブロックを正しく特定することができなかった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１４２６６７号公報
【特許文献２】特開２０１０−１７８１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記事情に鑑みてなされたものであり、欠落画素の画素データを補間して生成されるライン読取画像の画質を向上させることができる画像処理装置を提供することを目的としている。
【０００８】
特に、個体差に起因してセンサチップ間で出力レベルに大きなばらつきがある場合であっても、良好な補間結果が得られ、センサチップの継ぎ目を目立ちにくくすることができる画像処理装置を提供することを目的としている。
【０００９】
また、本発明は、その様な画像処理装置において用いられる画像処理方法を提供することを目的としている。また、本発明は、コンピュータを上記画像処理装置として機能させるための画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１０】
第１の本発明による画像処理装置は、多数の受光素子がそれぞれ形成された２以上のセンサチップを含むラインセンサから上記受光素子の画素データを取得し、上記センサチップ間において欠落する画素データを補間してライン読取画像を生成する画像処理装置であって、上記センサチップ間の欠落画素に隣接するチップ端画素を含み、かつ、上記センサチップ内において連続する３以上の画素からなる周辺画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める周辺画素変化パターン算出部と、上記周辺画素グループとは位置が異なる比較画素グループであって、連続する３以上の画素からなる任意の比較画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める比較画素変化パターン算出部と、上記周辺画素グループの変化パターンと、互いに位置が異なる２以上の上記比較画素グループの変化パターンとを比較し、上記周辺画素グループに対し、変化パターンの相関が最も高い上記比較画素グループを参照画素グループとして抽出する変化パターン比較部と、上記参照画素グループ内の上記チップ端画素に対応する第１画素の画素データ、上記参照画素グループに隣接する画素であって、上記欠落画素に対応する第２画素の画素データ、及び、上記チップ端画素の画素データに基づいて、上記欠落画素の画素データを求める画素データ算出部とを備えて構成される。
【００１１】
この画像処理装置では、欠落画素に隣接する周辺画素グループに対し、変化パターンの相関が最も高い比較画素グループを抽出して欠落画素の画素データが求められる。画素グループ内の隣接画素間における画素データの差分から変化パターンを求めて周辺画素グループ及び比較画素グループの比較を行うので、個体差に起因してセンサチップ間で出力レベルに大きなばらつきがある場合であっても、比較画素グループを適切に抽出することができる。つまり、周辺画素グループに対する変化パターンの相関が最も高い比較画素グループが正しく特定されるので、良好な補間結果が得られ、センサチップの継ぎ目を目立ちにくくすることができる。
【００１２】
第２の本発明による画像処理装置は、上記構成に加え、上記変化パターン比較部が、変化パターンが上記周辺画素グループと一致する上記比較画素グループを上記参照画素グループとして抽出するように構成される。この様な構成によれば、周辺画素グループと輝度変化のパターンが同じ比較画素グループを正しく特定することができる。
【００１３】
第３の本発明による画像処理装置は、上記構成に加え、上記画素データ算出部が、変化パターンが上記周辺画素グループと一致する上記比較画素グループが存在しない場合に、上記欠落画素を挟んで配置される第１チップ端画素及び第２チップ端画素の各画素データに基づいて、上記欠落画素の画素データを求めるように構成される。この様な構成によれば、周辺画素グループと同じ輝度変化の比較画素グループが特定できなくても、良好な補間結果を得ることができる。
【００１４】
第４の本発明による画像処理装置は、上記構成に加え、上記画素データ算出部が、上記第１画素の画素データと上記第２画素の画素データとから求められる画素データの変化量を上記チップ端画素の画素データに加算して、上記欠落画素の画素データを求めるように構成される。この様な構成によれば、参照画素グループ内の第１画素の画素データ、参照画素グループに隣接する第２画素の画素データ及びチップ端画素の画素データから欠落画素の画素データを求める構成を簡素化することができる。
【００１５】
第５の本発明による画像処理装置は、上記構成に加え、上記周辺画素変化パターン算出部が、上記欠落画素を挟んで配置される第１周辺画素グループ及び第２周辺画素グループをそれぞれ上記周辺画素グループとし、各周辺画素グループについて上記変化パターンを求め、上記比較画素変化パターン算出部が、上記欠落画素と比較するための比較対象画素を挟んで配置される第１比較画素グループ及び第２比較画素グループをそれぞれ上記比較画素グループとし、各比較画素グループについて上記変化パターンを求め、上記変化パターン比較部が、上記第１及び第２周辺画素グループの変化パターンと、上記比較対象画素の位置が異なる２以上の上記第１及び第２比較画素グループの変化パターンとを比較し、第１及び第２周辺画素グループに対し、変化パターンの相関が最も高い第１及び第２比較画素グループを第１及び第２参照画素グループとして抽出し、上記画素データ算出部が、上記第１参照画素グループに基づいて上記欠落画素の第１画素データを求めるとともに、上記第２参照画素グループに基づいて上記欠落画素の第２画素データを求め、上記第１及び第２画素データに基づいて、上記欠落画素の画素データを求めるように構成される。
【００１６】
この様な構成によれば、欠落画素を挟んで配置される第１及び第２周辺画素グループに対し、変化パターンの相関が最も高い第１及び第２比較画素グループを抽出して欠落画素の画素データを求めるので、欠落画素の輝度特定の精度を向上させることができる。
【００１７】
第６の本発明による画像処理方法は、多数の受光素子がそれぞれ形成された２以上のセンサチップを含むラインセンサから取得した上記受光素子の画素データに対し、上記センサチップ間において欠落する画素データを補間してライン読取画像を生成する画像処理方法であって、上記センサチップ間の欠落画素に隣接するチップ端画素を含み、かつ、上記センサチップ内において連続する３以上の画素からなる周辺画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める周辺画素変化パターン算出ステップと、上記周辺画素グループとは位置が異なる比較画素グループであって、連続する３以上の画素からなる任意の比較画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める比較画素変化パターン算出ステップと、上記周辺画素グループの変化パターンと、互いに位置が異なる２以上の上記比較画素グループの変化パターンとを比較し、上記周辺画素グループに対し、変化パターンの相関が最も高い上記比較画素グループを参照画素グループとして抽出する変化パターン比較ステップと、上記参照画素グループ内の上記チップ端画素に対応する第１画素の画素データ、上記参照画素グループに隣接する画素であって、上記欠落画素に対応する第２画素の画素データ、及び、上記チップ端画素の画素データに基づいて、上記欠落画素の画素データを求める画素データ算出ステップとを備えて構成される。
【００１８】
第７の本発明による画像処理プログラムは、多数の受光素子がそれぞれ形成された２以上のセンサチップを含むラインセンサから取得した上記受光素子の画素データに対し、上記センサチップ間において欠落する画素データを補間してライン読取画像を生成する画像処理をコンピュータに実行させるための画像処理プログラムであって、上記センサチップ間の欠落画素に隣接するチップ端画素を含み、かつ、上記センサチップ内において連続する３以上の画素からなる周辺画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める周辺画素変化パターン算出手順と、上記周辺画素グループとは位置が異なる比較画素グループであって、連続する３以上の画素からなる任意の比較画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める比較画素変化パターン算出手順と、上記周辺画素グループの変化パターンと、互いに位置が異なる２以上の上記比較画素グループの変化パターンとを比較し、上記周辺画素グループに対し、変化パターンの相関が最も高い上記比較画素グループを参照画素グループとして抽出する変化パターン比較手順と、上記参照画素グループ内の上記チップ端画素に対応する第１画素の画素データ、上記参照画素グループに隣接する画素であって、上記欠落画素に対応する第２画素の画素データ、及び、上記チップ端画素の画素データに基づいて、上記欠落画素の画素データを求める画素データ算出手順とを備えて構成される。
【発明の効果】
【００１９】
本発明による画像処理装置では、周辺画素グループに対する変化パターンの相関が最も高い比較画素グループが正しく特定されるので、個体差に起因してセンサチップ間で出力レベルに大きなばらつきがある場合であっても、良好な補間結果を得ることができる。従って、センサチップの継ぎ目を目立ちにくくすることができ、欠落画素の画素データを補間して生成されるライン読取画像の画質を向上させることができる。
【００２０】
また、本発明によれば、上述した様な画像処理装置において用いられる画像処理方法を提供することができる。また、本発明によれば、コンピュータを上記画像処理装置として機能させるための画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態による画像処理装置２０を含む画像読取システム１００の一構成例を示したブロック図である。
【図２】図１の画像処理装置２０内の変化パターン算出部２５の構成例を示したブロック図である。
【図３】図１のラインイメージセンサ１０の構成例を模式的に示した説明図であり、ラインイメージセンサ１０をＡ−Ａ切断線で切断した場合の切断面が示されている。
【図４】ラインイメージセンサ１０により読み取られた画素データから生成されるライン読取画像の一例を示した図である。
【図５】欠落画素ｐ１を挟んで配置されるセンサチップ１１間の出力レベルのばらつきを示した図である。
【図６】図１の画像処理装置２０の動作の一例を示した図であり、周辺画素グループ及び比較画素グループ間で輝度の変化パターンを比較する様子が示されている。
【図７】図１の画像処理装置２０の動作の一例を示した図であり、クロック信号と同期して順次に入力される画素データが示されている。
【発明を実施するための形態】
【００２２】
＜画像読取システム＞
図１は、本発明の実施の形態による画像処理装置２０を含む画像読取システム１００の一構成例を示したブロック図である。この画像読取システム１００は、複数のセンサチップ１１を備えたラインイメージセンサ１０と画像処理装置２０とからなり、原稿から読み取った画素データに対し、センサチップ１１間において欠落する画素データを補間してライン読取画像を生成する。
【００２３】
センサチップ１１は、多数の受光素子が略直線状に配列された撮像回路である。センサチップ１１には、ＣＣＤ（Charge Coupled Device：電荷結合素子）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補性金属酸化膜半導体）イメージセンサなどの固体撮像素子が用いられる。受光素子には、ＰＤ（フォトダイオード）が用いられる。
【００２４】
ラインイメージセンサ１０は、複数のセンサチップ１１が受光素子の配列方向に連結されたラインアレイ型の光学読取装置であり、例えば、原稿台上に載置された原稿を読み取り、受光量に応じた輝度値を示す画素データを生成する。ラインイメージセンサ１０において、各センサチップ１１は、例えば、直列に接続され、受光素子ごとに生成される画素データが受光素子の配列順に順次に出力される。
【００２５】
画像処理装置２０は、ラインイメージセンサ１０から画素データを取得し、センサチップ１１間の欠落画素ｐ１の画素データを補間することにより、１ライン分の読取画像、すなわち、ライン読取画像を生成する。欠落画素ｐ１は、ラインイメージセンサ１０上に対応する受光素子が実在しない仮想的な画素であり、センサチップ１１間には、１つの欠落画素ｐ１が仮想的に配置される。
【００２６】
原稿読取では、受光素子の配列方向を主走査方向と呼ぶことにすれば、主走査方向について、１ライン分の読み取りが終了するごとに、主走査方向と交差する副走査方向へ、ラインイメージセンサ１０又は原稿を移動させる。この様な１ライン分の読取動作を繰り返すことにより、多数のライン読取画像からなる１ページ分の原稿画像が得られる。
【００２７】
この画像処理装置２０は、画素データ記憶部２１、画素データ挿入部２２、シフトレジスタ２３、画素データ算出部２４，２７、変化パターン算出部２５、変化パターン比較部２６、補間タイミング信号生成部２８、ディレイ回路２９及びセレクタ回路３０により構成される。また、画像処理装置２０は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）などのプログラム可能な論理回路により構成される。
【００２８】
画素データ記憶部２１は、ラインイメージセンサ１０から取得した画素データを一時的に保持するためのバッファメモリである。補間タイミング信号生成部２８は、欠落画素ｐ１の画素データを補間させるタイミングを規定する補間タイミング信号を生成し、画素データ挿入部２２及びディレイ回路２９へ出力する。
【００２９】
画素データ挿入部２２は、画素データ記憶部２１から画素データを読み出してシフトレジスタ２３に順次に書き込むとともに、補間タイミング信号に基づいて、欠落画素用のデータ領域を確保する。具体的には、所定のクロック信号に同期して入出力される画素データのデータ列に対し、所定のダミーデータが欠落画素ｐ１の画素データとして挿入される。
【００３０】
シフトレジスタ２３は、画素データ挿入部２２により画素データが書き込まれるごとに画素データのデータ列をシフトさせ、セレクタ回路３０、画素データ算出部２４及び２７の各チップに対し、所定のタイミングで画素データを出力する。
【００３１】
画素データ算出部２４は、欠落画素ｐ１に隣接する画素の画素データを用いた線形補間により、欠落画素ｐ１の画素データを求め、セレクタ回路３０へ出力する。欠落画素ｐ１に隣接する画素は、センサチップ１１内のチップ端画素（後述）であり、欠落画素ｐ１の画素データは、欠落画素ｐ１を挟んで配置される２つのチップ端画素ｐ２，ｐ３間で画素データの平均値を求めることにより、算出される。
【００３２】
画素データ算出部２７は、欠落画素ｐ１に隣接するチップ端画素ｐ２，ｐ３の画素データと、後述する比較対象画素及び隣接画素間の輝度変化量とに基づいて、欠落画素ｐ１の画素データを求め、セレクタ回路３０へ出力する。
【００３３】
変化パターン算出部２５は、画素データ挿入部２２から入力される画素データのデータ列について、周辺画素グループと、互いに位置が異なる複数の比較画素グループとを定め、各画素グループについて、画素グループ内の画素に関する輝度の変化パターンを求める。周辺画素グループは、欠落画素ｐ１に隣接するチップ端画素を含み、かつ、センサチップ１１内において連続する３以上の画素からなる画素グループである。
【００３４】
比較画素グループは、周辺画素グループとは位置が異なる画素グループであって、連続する３以上の画素からなる任意の画素グループである。変化パターン算出部２５では、欠落画素ｐ１と比較するための比較対象画素ｑ１の画素データと、比較対象画素ｑ１に隣接する画素の画素データとの差分から、比較対象画素ｑ１及び隣接画素間の輝度変化量が求められる。
【００３５】
変化パターン比較部２６は、周辺画素グループの変化パターンと、互いに位置が異なる複数の比較画素グループの変化パターンとを比較し、周辺画素グループに対し、変化パターンの相関が最も高い比較画素グループを参照画素グループとして抽出する。この変化パターン比較部２６では、比較対象画素ｑ１の位置を１画素ずつ異ならせるごとに、比較画素グループの変化パターンを周辺画素グループの変化パターンと比較することが繰り返され、その比較結果がセレクタ回路３０へ出力される。
【００３６】
また、変化パターン比較部２６では、変化パターンが周辺画素グループと一致する比較画素グループを参照画素グループとして抽出し、参照画素グループに隣接する比較対象画素ｑ１の位置が画素データ算出部２７へ通知される。画素データ算出部２７では、この比較対象画素ｑ１の画素データと、比較対象画素ｑ１に隣接する画素であって、参照画素グループ内のチップ端画素に対応する画素の画素データとから求められる輝度変化量に基づいて、欠落画素ｐ１の画素データが算出される。
【００３７】
ディレイ回路２９は、補間タイミング信号生成部２８から入力される補間タイミング信号を一定時間だけ遅延させて、セレクタ回路３０へ出力する遅延時間調整部である。補間タイミング信号を遅延させる際の遅延時間は、画素データ算出部２４，２７、変化パターン算出部２５及び変化パターン比較部２６における各処理に要する時間に基づいて、予め定められる。
【００３８】
セレクタ回路３０は、ディレイ回路２９から入力される補間タイミング信号と、変化パターン比較部２６の比較結果とに基づいて、シフトレジスタ２３、画素データ算出部２４及び２７から入力される画素データのいずれかを選択し、ライン読取画像を構成する画素データとして出力する。
【００３９】
具体的には、欠落画素ｐ１以外の画素に対し、シフトレジスタ２３から入力される画素データがそのまま出力され、また、欠落画素ｐ１に対し、画素データ算出部２４又は２７から入力される画素データが出力される。
【００４０】
欠落画素ｐ１の画素データが入力されるタイミングでは、変化パターンが周辺画素グループと一致する比較画素グループが存在する場合、画素データ算出部２７から入力される画素データが出力される。すなわち、チップ端画素ｐ２，ｐ３の画素データと、比較対象画素ｑ１及び隣接画素間の輝度変化量とから求められる画素データが出力される。
【００４１】
一方、変化パターンが周辺画素グループと一致する比較画素グループが存在しない場合には、画素データ算出部２４から入力される画素データが出力される。すなわち、チップ端画素ｐ２，ｐ３間の画素データの平均値が出力される。
【００４２】
図２は、図１の画像処理装置２０内の変化パターン算出部２５の構成例を示したブロック図である。この変化パターン算出部２５は、周辺画素変化パターン算出部２５１、比較画素変化パターン算出部２５２及び変化量算出部２５３により構成される。
【００４３】
周辺画素変化パターン算出部２５１は、欠落画素ｐ１に隣接するチップ端画素ｐ２，ｐ３を含む周辺画素グループについて、隣接する画素間で画素データの差分から輝度変化量を求め、主走査方向の画素位置に関する輝度の変化パターンを算出する。具体的には、欠落画素ｐ１を挟んで配置される第１周辺画素グループ及び第２周辺画素グループをそれぞれ周辺画素グループとし、各周辺画素グループについて、輝度の変化パターンが算出される。
【００４４】
第１周辺画素グループは、欠落画素ｐ１よりもラインイメージセンサ１０の一端側に配置される周辺画素グループであり、第２周辺画素グループは、欠落画素ｐ１よりもラインイメージセンサ１０の他端側に配置される周辺画素グループである。また、チップ端画素ｐ２は、第１周辺画素グループ内のチップ端画素であり、例えば、欠落画素ｐ１よりも前に画素データが入力される。一方、チップ端画素ｐ３は、第２周辺画素グループ内のチップ端画素であり、欠落画素ｐ１よりも後に画素データが入力される。
【００４５】
比較画素変化パターン算出部２５２は、比較対象画素ｑ１に隣接する画素ｑ２，ｑ３を含み、比較対象画素ｑ１の位置が異なる複数の比較画素グループについて、隣接する画素間で画素データの差分から輝度変化量を求め、主走査方向の画素位置に関する輝度の変化パターンを算出する。具体的には、比較対象画素ｑ１を挟んで配置される第１比較画素グループ及び第２比較画素グループをそれぞれ比較画素グループとし、各比較画素グループについて、輝度の変化パターンが算出される。
【００４６】
第１比較画素グループは、比較対象画素ｑ１よりもラインイメージセンサ１０の一端側に配置される比較画素グループであり、第２比較画素グループは、比較対象画素ｑ１よりもラインイメージセンサ１０の他端側に配置される比較画素グループである。また、画素ｑ２は、第１比較画素グループ内において、チップ端画素ｐ２に対応する画素であり、比較対象画素ｑ１よりも前に画素データが入力される。一方、画素ｑ３は、第２比較画素グループ内において、チップ端画素ｐ３に対応する画素であり、比較対象画素ｑ１よりも後に画素データが入力される。
【００４７】
ここでは、第１周辺画素グループ及び第２周辺画素グループが、同じ画素数からなり、第１比較画素グループ及び第２比較画素グループも、同じ画素数からなるものとする。また、各周辺画素グループと各比較画素グループとは、同じ画素数からなる。
【００４８】
変化量算出部２５３は、比較対象画素ｑ１と比較対象画素ｑ１に隣接する画素ｑ２，ｑ３との間で画素データの差分から輝度変化量を算出する。具体的には、比較対象画素ｑ１の画素データと、画素ｑ２の画素データとの差分から第１輝度変化量が算出され、また、比較対象画素ｑ１の画素データと、画素ｑ３の画素データとの差分から第２輝度変化量が算出される。
【００４９】
変化パターン比較部２６では、比較対象画素ｑ１の位置が互いに異なる第１及び第２比較画素グループの複数の対について、第１及び第２周辺画素グループの変化パターンと、第１及び第２比較画素グループの変化パターンとが比較される。そして、第１及び第２周辺画素グループに対し、変化パターンの相関が最も高い第１及び第２比較画素グループが第１及び第２参照画素グループとして抽出される。
【００５０】
ここでは、輝度の変化パターンが第１及び第２周辺画素グループと一致する第１及び第２比較画素グループが参照画素グループとして抽出される。変化パターンが一致しているか否かは、画素グループを構成する画素列に関し、対応する画素間で輝度変化量を比較し、画素グループ内の全ての画素について、輝度変化量が概ね一致しているか否かに基づいて、決定される。
【００５１】
画素データ算出部２７では、第１参照画素グループに基づいて欠落画素ｐ１の第１画素データを求めるとともに、第２参照画素グループに基づいて欠落画素ｐ１の第２画素データが求められる。そして、第１及び第２画素データに基づいて、欠落画素ｐ１の画素データが算出される。
【００５２】
第１画素データは、第１参照画素グループ及び第２参照画素グループ間に挟まれた比較対象画素ｑ１の画素データと、当該比較対象画素ｑ１に隣接する画素ｑ２の画素データとから得られる第１輝度変化量を、欠落画素ｐ１に隣接するチップ端画素ｐ２の画素データに加算することにより、求められる。
【００５３】
一方、第２画素データは、比較対象画素ｑ１の画素データと、当該比較対象画素ｑ１に隣接する画素ｑ３の画素データとから得られる第２輝度変化量を、欠落画素ｐ１に隣接するチップ端画素ｐ３の画素データに加算することにより、求められる。欠落画素ｐ１の画素データは、第１画素データと第２画素データとの平均値を求めることにより、算出される。
【００５４】
第１及び第２比較画素グループは、３以上のセンサチップ１１に跨って指定しても良いが、ここでは、処理負荷が増大するのを抑制するために、第１周辺画素グループが属するセンサチップ１１と、第２周辺画素グループが属するセンサチップ１１とから指定される。また、位置が異なる複数の欠落画素ｐ１がラインイメージセンサ１０内に存在する場合には、これらの欠落画素ｐ１ごとに、周辺画素グループ及び比較画素グループを定めて、輝度の変化パターンが比較される。
【００５５】
＜ラインイメージセンサ１０＞
図３は、図１のラインイメージセンサ１０の構成例を模式的に示した説明図であり、ラインイメージセンサ１０をＡ−Ａ切断線により切断した場合の切断面が示されている。センサチップ１１は、多数の受光素子１１１が形成された半導体基板１１２により構成される。各受光素子１１１は、一定の配列ピッチｄ１で主走査方向の直線に沿って配置されている。
【００５６】
ラインイメージセンサ１０は、複数のセンサチップ１１を共通基板１２上に配置することにより構成される。各センサチップ１１は、互いにオーバーラップすることなく、一定の間隔で主走査方向の直線に沿って配置されている。
【００５７】
隣接する２つのセンサチップ１１間の継ぎ目部分の間隔、すなわち、センサチップ１１の端部に形成されている受光素子１１１に対応するチップ端画素間の間隔ｄ２は、配列ピッチｄ１に比べて大きい。欠落画素の画素データを補間する処理では、この様なセンサチップ１１間において欠落する画素データとして、１画素分の画素データが挿入される。このため、各センサチップ１１は、関係式ｄ２＝ｄ１×２が成り立つように、配置される。
【００５８】
図４は、ラインイメージセンサ１０により読み取られた画素データから生成されるライン読取画像の一例を示した図であり、チップ端画素ｐ２，ｐ３の画素データを用いた線形補間により、欠落画素ｐ１の画素データを求める場合が示されている。図中の（ａ）には、画像が低周波数成分からなる場合が示され、（ｂ）には、画像が高周波数成分からなる場合が示されている。
【００５９】
ライン読取画像が低周波数成分からなる場合、輝度が緩やかに変化することから、欠落画素ｐ１を挟んで配置される２つのチップ端画素ｐ２及びｐ３間の画素データの平均値を欠落画素ｐ１の画素データとしても、低周波数成分の波形に対するずれは比較的に小さい。
【００６０】
一方、ライン読取画像が高周波数成分からなる場合には、輝度が激しく変化することから、チップ端画素ｐ２及びｐ３間の画素データの平均値を欠落画素ｐ１の画素データとすれば、欠落画素ｐ１の位置によっては、高周波数成分の波形に対するずれが大きくなる。
【００６１】
本実施の形態による画像処理装置２０では、欠落画素ｐ１に隣接する周辺画素グループに対し、輝度の変化パターンが一致する比較画素グループを抽出して欠落画素ｐ１の画素データが求められる。一般に、高周波数特性の読取画像の場合、輝度の変化パターンが周辺画素グループと一致する比較画素グループは、１ライン内に必ず存在する。この様な比較画素グループを抽出して画素データを補間するので、ライン読取画像が高周波数成分からなる場合であっても、良好な補間結果を得ることができる。
【００６２】
図５は、欠落画素ｐ１を挟んで配置されるセンサチップ１１間の出力レベルのばらつきを示した図である。欠落画素ｐ１を挟んで配置されるセンサチップ１１間には、センサチップ１１の個体差により、出力レベルのばらつきが存在する。
【００６３】
例えば、チップ端画素ｐ２を含むセンサチップ１１と、チップ端画素ｐ３を含むセンサチップ１１とが同じ輝度の原稿を読み取った場合、一方のセンサチップ１１の出力範囲はＬ１であり、他方のセンサチップ１１の出力範囲はＬ２（Ｌ２＝Ｌ１）である。そして、これらのセンサチップ１１間で出力レベルには、輝度差Ｌ３のギャップが存在している。
【００６４】
センサチップ１１の出力レベルに上述した様なばらつきがあれば、画素列に関する輝度分布を比較する従来の方法では、欠落画素ｐ１を含む画素列と同じ輝度変化の画素列を正しく特定することができない。
【００６５】
本実施の形態による画像処理装置２０では、輝度の変化パターンを求めて周辺画素グループ及び比較画素グループの比較を行うので、センサチップ１１の出力レベルに大きなばらつきがあっても、欠落画素ｐ１を含む画素列と同じ輝度変化の画素列を正しく特定することができる。
【００６６】
図６は、図１の画像処理装置２０の動作の一例を示した図であり、周辺画素グループ及び比較画素グループ間で輝度の変化パターンを比較する様子が示されている。周辺画素グループＧ１１，Ｇ１２は、欠落画素ｐ１を挟んで配置される周辺画素グループである。周辺画素グループＧ１１は、欠落画素ｐ１に隣接して配置されるチップ端画素ｐ２を含み、周辺画素グループＧ１２は、欠落画素ｐ１に隣接して配置されるチップ端画素ｐ３を含んでいる。
【００６７】
一方、比較画素グループＧ２１，Ｇ２２は、任意の比較対象画素ｑ１を挟んで配置される比較画素グループである。比較画素グループＧ２１は、比較対象画素ｑ１に隣接して配置される画素ｑ２を含み、比較画素グループＧ２２は、比較対象画素ｑ１に隣接して配置される画素ｑ３を含んでいる。
【００６８】
輝度の変化パターンを比較する処理では、比較画素グループＧ２１の変化パターンが周辺画素グループＧ１１の変化パターンと比較され、比較画素グループＧ２２の変化パターンが周辺画素グループＧ１２の変化パターンと比較される。このパターンマッチング処理は、比較対象画素ｑ１の位置を異ならせながら行われ、変化パターンが周辺画素グループＧ１１，Ｇ１２と一致する比較画素グループＧ２１，Ｇ２２が参照画素グループとして抽出される。
【００６９】
欠落画素ｐ１の画素データは、チップ端画素ｐ２，ｐ３の画素データと、参照画素グループとして抽出された比較画素グループＧ２１，Ｇ２２内の画素ｑ２，ｑ３の画素データと、当該比較画素グループＧ２１，Ｇ２２間の比較対象画素ｑ１の画素データとから求められる。すなわち、画素ｑ１，ｑ２間の輝度変化量をチップ端画素ｐ２の画素データに加算して第１画素データを求めるとともに、画素ｑ１，ｑ３間の輝度変化量をチップ端画素ｐ３の画素データに加算して第２画素データを求める。そして、第１画素データ及び第２画素データの平均値を求めることにより、欠落画素ｐ１の画素データが得られる。
【００７０】
図７は、図１の画像処理装置２０の動作の一例を示した図であり、クロック信号と同期して順次に入力される画素データが示されている。画素データの補間処理では、まず、クロック信号と同期して順次に入力される画素データに対し、欠落画素ｐ１を基準として、周辺画素グループＧ１１，Ｇ１２が定められる。すなわち、周辺画素グループＧ１１は、欠落画素ｐ１の画素位置をｎとし、画素データをａ（ｎ）と表せば、周辺画素グループＧ１１内の各画素の画素データが、画素データａ（ｎ）よりも前に入力される周辺画素グループである。この周辺画素グループＧ１１内の各画素の画素データは、欠落画素ｐ１に近い方から順に画素データａ（ｎ＋１）〜ａ（ｎ＋８）と表される。
【００７１】
周辺画素グループＧ１２は、周辺画素グループＧ１２内の各画素の画素データが、画素データａ（ｎ）よりも後に入力される周辺画素グループである。この周辺画素グループＧ１２内の各画素についても、その画素データは、欠落画素ｐ１に近い方から順に画素データａ（ｎ−１）〜ａ（ｎ−８）と表される。
【００７２】
周辺画素グループＧ１１の変化パターンは、周辺画素グループＧ１１内の各画素について、隣接画素間の輝度変化量ｂ（ｎ＋ｋ）（ｋ＝１〜７）を求めることにより得られる。輝度変化量ｂ（ｎ＋ｋ）は、次式（１）により求められる。
ｂ（ｎ＋ｋ）＝ａ（ｎ＋ｋ）−ａ（ｎ＋ｋ＋１）・・・（１）
【００７３】
周辺画素グループＧ１２の変化パターンについても、周辺画素グループＧ１１の場合と同様に、隣接画素間の輝度変化量ｂ（ｎ−ｋ）（ｋ＝１〜７）を求めることにより得られる。輝度変化量ｂ（ｎ−ｋ）は、次式（２）により求められる。
ｂ（ｎ−ｋ）＝ａ（ｎ−ｋ−１）−ａ（ｎ−ｋ）・・・（２）
【００７４】
比較画素グループＧ２１，Ｇ２２についても、周辺画素グループＧ１１，Ｇ１２の場合と同様に、比較対象画素ｑ１を基準として、定められる。また、比較画素グループＧ２１内の各画素の画素データは、比較対象画素ｑ１の画素位置をｍとし、画素データをｃ（ｍ）と表せば、比較対象画素ｑ１に近い方から順に画素データｃ（ｍ＋１）〜ｃ（ｍ＋８）と表される。
【００７５】
比較画素グループＧ２１の変化パターンは、比較画素グループＧ２１内の各画素について、隣接画素間の輝度変化量ｄ（ｍ＋ｋ）（ｋ＝１〜７）を求めることにより得られる。輝度変化量ｄ（ｍ＋ｋ）は、次式（３）により求められる。
ｄ（ｍ＋ｋ）＝ｃ（ｍ＋ｋ）−ｃ（ｍ＋ｋ＋１）・・・（３）
【００７６】
一方、比較画素グループＧ２２内の各画素の画素データは、比較対象画素ｑ１に近い方から順に画素データｃ（ｍ−１）〜ｃ（ｍ−８）と表される。比較画素グループＧ２２の変化パターンについても、比較画素グループＧ２１の場合と同様に、隣接画素間の輝度変化量ｄ（ｍ−ｋ）（ｋ＝１〜７）を求めることにより得られる。輝度変化量ｄ（ｍ−ｋ）は、次式（４）により求められる。
ｄ（ｍ−ｋ）＝ｃ（ｍ−ｋ−１）−ｃ（ｍ−ｋ）・・・（４）
【００７７】
また、比較対象画素ｑ１とこの比較対象画素ｑ１に隣接する画素ｑ２，ｑ３との間の輝度変化量ｅ（ｍ），ｆ（ｍ）は、次式（５）により求められる。
ｅ（ｍ）＝ｃ（ｍ）−ｃ（ｍ＋１），ｆ（ｍ）＝ｃ（ｍ−１）−ｃ（ｍ）・・・（５）
【００７８】
次に、周辺画素グループＧ１１，Ｇ１２の変化パターンと、比較画素グループＧ２１，Ｇ２２の変化パターンとが比較され、輝度の変化パターンが周辺画素グループＧ１１，Ｇ１２と一致する比較画素グループが参照画素グループとして抽出される。
【００７９】
変化パターンの比較方法は、周辺画素グループＧ１１，Ｇ１２の輝度変化量ｂ（ｎ＋７）〜ｂ（ｎ＋１），ｂ（ｎ−１）〜ｂ（ｎ−７）と、比較画素グループＧ２１，Ｇ２２の輝度変化量ｄ（ｍ＋７）〜ｄ（ｍ＋１），ｄ（ｍ−１）〜ｄ（ｍ−７）とをそれぞれ比較することにより行われる。
【００８０】
参照画素グループは、比較画素グループＧ２１，Ｇ２２内の全ての画素について、対応する画素間における輝度変化量の誤差が所定の判定閾値以下である範囲内で、輝度変化量が周辺画素グループＧ１１，Ｇ１２と一致した比較画素グループである。
【００８１】
欠落画素ｐ１の画素データａ（ｎ）は、欠落画素ｐ１に隣接するチップ端画素ｐ２，ｐ３の画素データａ（ｎ＋１），ａ（ｎ−１）と、輝度変化量ｅ（ｍ），ｆ（ｍ）とを用いて次式（６）により求められる。
ａ（ｎ）＝｛［ａ（ｎ＋１）＋ｅ（ｍ）］＋［ａ（ｎ−１）−ｆ（ｍ）］｝／２・・・（６）
【００８２】
上式（６）では、チップ端画素ｐ２の画素データａ（ｎ＋１）に対し変化量ｅ（ｍ）を加算して第１画素データを求め、チップ端画素ｐ３の画素データａ（ｎ−１）から変化量ｆ（ｍ）を減算して第２画素データを求め、第１及び第２画素データの平均値を求めている。この様に構成すれば、参照画素グループ内の画素ｑ２，ｑ３の画素データ、参照画素グループに隣接する比較対象画素ｑ１の画素データ及びチップ端画素ｐ２，ｐ３の画素データから欠落画素ｐ１の画素データを求める構成を簡素化することができる。
【００８３】
一方、輝度の変化パターンが周辺画素グループＧ１１，Ｇ１２と一致する比較画素グループが存在しなければ、チップ端画素ｐ２，ｐ３の画素データａ（ｎ＋１），ａ（ｎ−１）を用いた線形補間により、欠落画素ｐ１の画素データａ（ｎ）が算出される。すなわち、欠落画素ｐ１の画素データａ（ｎ）は、次式（７）により求められる。
ａ（ｎ）＝｛ａ（ｎ＋１）＋ａ（ｎ−１）｝／２・・・（７）
【００８４】
本実施の形態によれば、画素グループ内の隣接画素間における画素データの差分から変化パターンを求めて周辺画素グループ及び比較画素グループの比較を行うので、個体差に起因してセンサチップ１１間で出力レベルに大きなばらつきがある場合であっても、比較画素グループを適切に抽出することができる。特に、周辺画素グループと輝度変化のパターンが同じ比較画素グループを正しく特定することができる。従って、良好な補間結果が得られ、センサチップ１１の継ぎ目を目立ちにくくすることができる。
【００８５】
また、輝度の変化パターンが周辺画素グループと一致する比較画素グループが存在しない場合には、欠落画素ｐ１に隣接するチップ端画素ｐ２，ｐ３の画素データを用いた線形補間により、欠落画素ｐ１の画素データが算出される。このため、周辺画素グループと同じ輝度変化の比較画素グループが特定できなくても、良好な補間結果を得ることができる。
【００８６】
さらに、欠落画素ｐ１を挟んで配置される周辺画素グループＧ１１，Ｇ１２に対し、変化パターンの相関が最も高い比較画素グループＧ２１，Ｇ２２を抽出して欠落画素ｐ１の画素データを求めるので、欠落画素ｐ１の輝度特定の精度を向上させることができる。
【００８７】
なお、本実施の形態では、画素グループ内の全画素について、対応する画素間で輝度変化量の誤差が一定値以下である範囲内で、輝度変化量が周辺画素グループと一致する比較画素グループを抽出して欠落画素ｐ１の画素データを求める場合の例について説明した。しかし、本発明は、比較画素グループを特定する方法をこれに限定するものではなく、周辺画素グループに対して変化パターンの相関が最も高い比較画素グループを抽出して欠落画素ｐ１の画素データを求めるものであれば、他の構成であっても良い。例えば、画素グループ内の全画素について、対応する画素間における輝度変化量の誤差を求め、当該誤差の２乗平均が最小となる比較画素グループを変化パターンの相関が最も高い参照画素グループとして抽出するというような統計的手法を用いるものも本発明には含まれる。
【００８８】
また、本実施の形態では、画素グループ内の全画素について、輝度変化量が周辺画素グループと一致する比較画素グループを参照画素グループとして抽出する場合の例について説明した。しかしながら、一定数以上の画素について、輝度変化量が周辺画素グループと一致する比較画素グループを参照画素グループとして抽出するものも本発明には含まれる。
【００８９】
また、本実施の形態では、欠落画素ｐ１を挟んで配置される周辺画素グループＧ１１及びＧ１２の変化パターンと、比較対象画素ｑ１を挟んで配置される比較画素グループＧ２１及びＧ２２の変化パターンとを比較して欠落画素ｐ１の画素データを求める場合の例について説明した。しかしながら、周辺画素グループＧ１１又はＧ１２のいずれか一方についてのみ、比較画素グループＧ２１又はＧ２２と変化パターンを比較して欠落画素ｐ１の画素データを求めるものも本発明には含まれる。
【符号の説明】
【００９０】
１００ 画像読取システム
１０ ラインイメージセンサ
１１ センサチップ
１１１ 受光素子
１１２ 半導体基板
１２ 共通基板
２０ 画像処理装置
２１ 画素データ記憶部
２２ 画素データ挿入部
２３ シフトレジスタ
２４，２７ 画素データ算出部
２５ 変化パターン算出部
２５１ 周辺画素変化パターン算出部
２５２ 比較画素変化パターン算出部
２５３ 変化量算出部
２６ 変化パターン比較部
２８ 補間タイミング信号生成部
２９ ディレイ回路
３０ セレクタ回路
Ｇ１１，Ｇ１２ 周辺画素グループ
Ｇ２１，Ｇ２２ 比較画素グループ
ｐ１ 欠落画素
ｐ２，ｐ３ チップ端画素
ｑ１ 比較対象画素
ｑ２，ｑ３ チップ端画素に対応する画素
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに係り、さらに詳しくは、多数の受光素子がそれぞれ形成された複数のセンサチップを含むラインセンサから受光素子の画素データを取得してライン読取画像を生成する画像処理装置の改良に関する。
【背景技術】
【０００２】
密着型のラインイメージセンサ、いわゆるＣＩＳ（Contact Image Sensor：コンタクトイメージセンサ）は、略直線状に配列された複数のセンサチップにより構成され、原稿台上に載置された原稿を読み取って、１ライン分の画像を順次に生成する光学読取装置である。各センサチップは、多数の受光素子の１次元配列からなる撮像回路であり、共通の基板上にマウントされる。また、各センサチップは、受光素子の配列方向に連結される。
【０００３】
現在のセンサマウント技術では、解像度が高くなれば、隣接する２つのセンサチップの継ぎ目部分の間隔をセンサチップ内における受光素子の配列ピッチ以下にすることが困難である。このため、読取画像の品質がセンサチップの継ぎ目部分で劣化するという課題があった。そこで、ラインイメージセンサが読み取った画素データに対し、センサチップ間において欠落する画素データを補間してライン読取画像を生成する画像処理装置が提案されている（例えば、特許文献１及び２）。
【０００４】
センサチップ間の欠落画素の画素データは、例えば、欠落画素に隣接する画素の画素データを用いた線形補間、或いは、画素列間の輝度比較によるパターンマッチングにより求められる。線形補間による方法では、欠落画素に隣接する２つの画素について、画素データの平均値を算出することにより、欠落画素の画素データが求められる。しかし、この様な方法では、読取画像が、比較的に長い周期で輝度が変化する低周波数成分からなる場合に、良好な補間結果が得られるものの、輝度が短い周期で変化する高周波数成分からなる場合には、適切な補間結果が得られないという問題があった。
【０００５】
一方、パターンマッチングによる方法では、例えば、欠落画素と比較するための比較対象画素を含み、その比較対象画素の位置が異なる複数の比較ブロックについて、比較ブロック内の画素データが欠落画素を含む基準ブロック内の画素データと比較される。欠落画素の画素データは、基準ブロックに対して輝度分布の相関が最も高い比較ブロックに基づいて決定される。この様な方法では、読取画像が高周波数成分からなる場合であっても、良好な補間結果が得られる。しかしながら、センサチップの個体差に起因して、センサチップ間で出力レベルに大きなばらつきがある場合に、適切な補間結果が得られないという問題があった。すなわち、センサチップ間で出力レベルに大きなばらつきがあれば、対応する画素間における画素データの比較では、基準ブロックと同じ輝度変化の比較ブロックを正しく特定することができなかった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１４２６６７号公報
【特許文献２】特開２０１０−１７８１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記事情に鑑みてなされたものであり、欠落画素の画素データを補間して生成されるライン読取画像の画質を向上させることができる画像処理装置を提供することを目的としている。
【０００８】
特に、個体差に起因してセンサチップ間で出力レベルに大きなばらつきがある場合であっても、良好な補間結果が得られ、センサチップの継ぎ目を目立ちにくくすることができる画像処理装置を提供することを目的としている。
【０００９】
また、本発明は、その様な画像処理装置において用いられる画像処理方法を提供することを目的としている。また、本発明は、コンピュータを上記画像処理装置として機能させるための画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１０】
第１の本発明による画像処理装置は、多数の受光素子がそれぞれ形成された２以上のセンサチップを含むラインセンサから上記受光素子の画素データを取得し、上記センサチップ間において欠落する画素データを補間してライン読取画像を生成する画像処理装置であって、上記センサチップ間の欠落画素に隣接するチップ端画素を含み、かつ、上記センサチップ内において連続する３以上の画素からなる周辺画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める周辺画素変化パターン算出部と、上記周辺画素グループとは位置が異なる比較画素グループであって、連続する３以上の画素からなる任意の比較画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める比較画素変化パターン算出部と、上記周辺画素グループの変化パターンと、互いに位置が異なる２以上の上記比較画素グループの変化パターンとを比較し、上記周辺画素グループに対し、変化パターンの相関が最も高い上記比較画素グループを参照画素グループとして抽出する変化パターン比較部と、上記参照画素グループ内の上記チップ端画素に対応する第１画素の画素データ、上記参照画素グループに隣接する画素であって、上記欠落画素に対応する第２画素の画素データ、及び、上記チップ端画素の画素データに基づいて、上記欠落画素の画素データを求める画素データ算出部とを備えて構成される。
【００１１】
この画像処理装置では、欠落画素に隣接する周辺画素グループに対し、変化パターンの相関が最も高い比較画素グループを抽出して欠落画素の画素データが求められる。画素グループ内の隣接画素間における画素データの差分から変化パターンを求めて周辺画素グループ及び比較画素グループの比較を行うので、個体差に起因してセンサチップ間で出力レベルに大きなばらつきがある場合であっても、比較画素グループを適切に抽出することができる。つまり、周辺画素グループに対する変化パターンの相関が最も高い比較画素グループが正しく特定されるので、良好な補間結果が得られ、センサチップの継ぎ目を目立ちにくくすることができる。
【００１２】
第２の本発明による画像処理装置は、上記構成に加え、上記変化パターン比較部が、変化パターンが上記周辺画素グループと一致する上記比較画素グループを上記参照画素グループとして抽出するように構成される。この様な構成によれば、周辺画素グループと輝度変化のパターンが同じ比較画素グループを正しく特定することができる。
【００１３】
第３の本発明による画像処理装置は、上記構成に加え、上記画素データ算出部が、変化パターンが上記周辺画素グループと一致する上記比較画素グループが存在しない場合に、上記欠落画素を挟んで配置される第１チップ端画素及び第２チップ端画素の各画素データに基づいて、上記欠落画素の画素データを求めるように構成される。この様な構成によれば、周辺画素グループと同じ輝度変化の比較画素グループが特定できなくても、良好な補間結果を得ることができる。
【００１４】
第４の本発明による画像処理装置は、上記構成に加え、上記画素データ算出部が、上記第１画素の画素データと上記第２画素の画素データとから求められる画素データの変化量を上記チップ端画素の画素データに加算して、上記欠落画素の画素データを求めるように構成される。この様な構成によれば、参照画素グループ内の第１画素の画素データ、参照画素グループに隣接する第２画素の画素データ及びチップ端画素の画素データから欠落画素の画素データを求める構成を簡素化することができる。
【００１５】
第５の本発明による画像処理装置は、上記構成に加え、上記周辺画素変化パターン算出部が、上記欠落画素を挟んで配置される第１周辺画素グループ及び第２周辺画素グループをそれぞれ上記周辺画素グループとし、各周辺画素グループについて上記変化パターンを求め、上記比較画素変化パターン算出部が、上記欠落画素と比較するための比較対象画素を挟んで配置される第１比較画素グループ及び第２比較画素グループをそれぞれ上記比較画素グループとし、各比較画素グループについて上記変化パターンを求め、上記変化パターン比較部が、上記第１及び第２周辺画素グループの変化パターンと、上記比較対象画素の位置が異なる２以上の上記第１及び第２比較画素グループの変化パターンとを比較し、第１及び第２周辺画素グループに対し、変化パターンの相関が最も高い第１及び第２比較画素グループを第１及び第２参照画素グループとして抽出し、上記画素データ算出部が、上記第１参照画素グループに基づいて上記欠落画素の第１画素データを求めるとともに、上記第２参照画素グループに基づいて上記欠落画素の第２画素データを求め、上記第１及び第２画素データに基づいて、上記欠落画素の画素データを求めるように構成される。
【００１６】
この様な構成によれば、欠落画素を挟んで配置される第１及び第２周辺画素グループに対し、変化パターンの相関が最も高い第１及び第２比較画素グループを抽出して欠落画素の画素データを求めるので、欠落画素の輝度特定の精度を向上させることができる。
【００１７】
第６の本発明による画像処理方法は、多数の受光素子がそれぞれ形成された２以上のセンサチップを含むラインセンサから取得した上記受光素子の画素データに対し、上記センサチップ間において欠落する画素データを補間してライン読取画像を生成する画像処理方法であって、上記センサチップ間の欠落画素に隣接するチップ端画素を含み、かつ、上記センサチップ内において連続する３以上の画素からなる周辺画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める周辺画素変化パターン算出ステップと、上記周辺画素グループとは位置が異なる比較画素グループであって、連続する３以上の画素からなる任意の比較画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める比較画素変化パターン算出ステップと、上記周辺画素グループの変化パターンと、互いに位置が異なる２以上の上記比較画素グループの変化パターンとを比較し、上記周辺画素グループに対し、変化パターンの相関が最も高い上記比較画素グループを参照画素グループとして抽出する変化パターン比較ステップと、上記参照画素グループ内の上記チップ端画素に対応する第１画素の画素データ、上記参照画素グループに隣接する画素であって、上記欠落画素に対応する第２画素の画素データ、及び、上記チップ端画素の画素データに基づいて、上記欠落画素の画素データを求める画素データ算出ステップとを備えて構成される。
【００１８】
第７の本発明による画像処理プログラムは、多数の受光素子がそれぞれ形成された２以上のセンサチップを含むラインセンサから取得した上記受光素子の画素データに対し、上記センサチップ間において欠落する画素データを補間してライン読取画像を生成する画像処理をコンピュータに実行させるための画像処理プログラムであって、上記センサチップ間の欠落画素に隣接するチップ端画素を含み、かつ、上記センサチップ内において連続する３以上の画素からなる周辺画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める周辺画素変化パターン算出手順と、上記周辺画素グループとは位置が異なる比較画素グループであって、連続する３以上の画素からなる任意の比較画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める比較画素変化パターン算出手順と、上記周辺画素グループの変化パターンと、互いに位置が異なる２以上の上記比較画素グループの変化パターンとを比較し、上記周辺画素グループに対し、変化パターンの相関が最も高い上記比較画素グループを参照画素グループとして抽出する変化パターン比較手順と、上記参照画素グループ内の上記チップ端画素に対応する第１画素の画素データ、上記参照画素グループに隣接する画素であって、上記欠落画素に対応する第２画素の画素データ、及び、上記チップ端画素の画素データに基づいて、上記欠落画素の画素データを求める画素データ算出手順とを備えて構成される。
【発明の効果】
【００１９】
本発明による画像処理装置では、周辺画素グループに対する変化パターンの相関が最も高い比較画素グループが正しく特定されるので、個体差に起因してセンサチップ間で出力レベルに大きなばらつきがある場合であっても、良好な補間結果を得ることができる。従って、センサチップの継ぎ目を目立ちにくくすることができ、欠落画素の画素データを補間して生成されるライン読取画像の画質を向上させることができる。
【００２０】
また、本発明によれば、上述した様な画像処理装置において用いられる画像処理方法を提供することができる。また、本発明によれば、コンピュータを上記画像処理装置として機能させるための画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態による画像処理装置２０を含む画像読取システム１００の一構成例を示したブロック図である。
【図２】図１の画像処理装置２０内の変化パターン算出部２５の構成例を示したブロック図である。
【図３】図１のラインイメージセンサ１０の構成例を模式的に示した説明図であり、ラインイメージセンサ１０をＡ−Ａ切断線で切断した場合の切断面が示されている。
【図４】ラインイメージセンサ１０により読み取られた画素データから生成されるライン読取画像の一例を示した図である。
【図５】欠落画素ｐ１を挟んで配置されるセンサチップ１１間の出力レベルのばらつきを示した図である。
【図６】図１の画像処理装置２０の動作の一例を示した図であり、周辺画素グループ及び比較画素グループ間で輝度の変化パターンを比較する様子が示されている。
【図７】図１の画像処理装置２０の動作の一例を示した図であり、クロック信号と同期して順次に入力される画素データが示されている。
【発明を実施するための形態】
【００２２】
＜画像読取システム＞
図１は、本発明の実施の形態による画像処理装置２０を含む画像読取システム１００の一構成例を示したブロック図である。この画像読取システム１００は、複数のセンサチップ１１を備えたラインイメージセンサ１０と画像処理装置２０とからなり、原稿から読み取った画素データに対し、センサチップ１１間において欠落する画素データを補間してライン読取画像を生成する。
【００２３】
センサチップ１１は、多数の受光素子が略直線状に配列された撮像回路である。センサチップ１１には、ＣＣＤ（Charge Coupled Device：電荷結合素子）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補性金属酸化膜半導体）イメージセンサなどの固体撮像素子が用いられる。受光素子には、ＰＤ（フォトダイオード）が用いられる。
【００２４】
ラインイメージセンサ１０は、複数のセンサチップ１１が受光素子の配列方向に連結されたラインアレイ型の光学読取装置であり、例えば、原稿台上に載置された原稿を読み取り、受光量に応じた輝度値を示す画素データを生成する。ラインイメージセンサ１０において、各センサチップ１１は、例えば、直列に接続され、受光素子ごとに生成される画素データが受光素子の配列順に順次に出力される。
【００２５】
画像処理装置２０は、ラインイメージセンサ１０から画素データを取得し、センサチップ１１間の欠落画素ｐ１の画素データを補間することにより、１ライン分の読取画像、すなわち、ライン読取画像を生成する。欠落画素ｐ１は、ラインイメージセンサ１０上に対応する受光素子が実在しない仮想的な画素であり、センサチップ１１間には、１つの欠落画素ｐ１が仮想的に配置される。
【００２６】
原稿読取では、受光素子の配列方向を主走査方向と呼ぶことにすれば、主走査方向について、１ライン分の読み取りが終了するごとに、主走査方向と交差する副走査方向へ、ラインイメージセンサ１０又は原稿を移動させる。この様な１ライン分の読取動作を繰り返すことにより、多数のライン読取画像からなる１ページ分の原稿画像が得られる。
【００２７】
この画像処理装置２０は、画素データ記憶部２１、画素データ挿入部２２、シフトレジスタ２３、画素データ算出部２４，２７、変化パターン算出部２５、変化パターン比較部２６、補間タイミング信号生成部２８、ディレイ回路２９及びセレクタ回路３０により構成される。また、画像処理装置２０は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）などのプログラム可能な論理回路により構成される。
【００２８】
画素データ記憶部２１は、ラインイメージセンサ１０から取得した画素データを一時的に保持するためのバッファメモリである。補間タイミング信号生成部２８は、欠落画素ｐ１の画素データを補間させるタイミングを規定する補間タイミング信号を生成し、画素データ挿入部２２及びディレイ回路２９へ出力する。
【００２９】
画素データ挿入部２２は、画素データ記憶部２１から画素データを読み出してシフトレジスタ２３に順次に書き込むとともに、補間タイミング信号に基づいて、欠落画素用のデータ領域を確保する。具体的には、所定のクロック信号に同期して入出力される画素データのデータ列に対し、所定のダミーデータが欠落画素ｐ１の画素データとして挿入される。
【００３０】
シフトレジスタ２３は、画素データ挿入部２２により画素データが書き込まれるごとに画素データのデータ列をシフトさせ、セレクタ回路３０、画素データ算出部２４及び２７の各チップに対し、所定のタイミングで画素データを出力する。
【００３１】
画素データ算出部２４は、欠落画素ｐ１に隣接する画素の画素データを用いた線形補間により、欠落画素ｐ１の画素データを求め、セレクタ回路３０へ出力する。欠落画素ｐ１に隣接する画素は、センサチップ１１内のチップ端画素（後述）であり、欠落画素ｐ１の画素データは、欠落画素ｐ１を挟んで配置される２つのチップ端画素ｐ２，ｐ３間で画素データの平均値を求めることにより、算出される。
【００３２】
画素データ算出部２７は、欠落画素ｐ１に隣接するチップ端画素ｐ２，ｐ３の画素データと、後述する比較対象画素及び隣接画素間の輝度変化量とに基づいて、欠落画素ｐ１の画素データを求め、セレクタ回路３０へ出力する。
【００３３】
変化パターン算出部２５は、画素データ挿入部２２から入力される画素データのデータ列について、周辺画素グループと、互いに位置が異なる複数の比較画素グループとを定め、各画素グループについて、画素グループ内の画素に関する輝度の変化パターンを求める。周辺画素グループは、欠落画素ｐ１に隣接するチップ端画素を含み、かつ、センサチップ１１内において連続する３以上の画素からなる画素グループである。
【００３４】
比較画素グループは、周辺画素グループとは位置が異なる画素グループであって、連続する３以上の画素からなる任意の画素グループである。変化パターン算出部２５では、欠落画素ｐ１と比較するための比較対象画素ｑ１の画素データと、比較対象画素ｑ１に隣接する画素の画素データとの差分から、比較対象画素ｑ１及び隣接画素間の輝度変化量が求められる。
【００３５】
変化パターン比較部２６は、周辺画素グループの変化パターンと、互いに位置が異なる複数の比較画素グループの変化パターンとを比較し、周辺画素グループに対し、変化パターンの相関が最も高い比較画素グループを参照画素グループとして抽出する。この変化パターン比較部２６では、比較対象画素ｑ１の位置を１画素ずつ異ならせるごとに、比較画素グループの変化パターンを周辺画素グループの変化パターンと比較することが繰り返され、その比較結果がセレクタ回路３０へ出力される。
【００３６】
また、変化パターン比較部２６では、変化パターンが周辺画素グループと一致する比較画素グループを参照画素グループとして抽出し、参照画素グループに隣接する比較対象画素ｑ１の位置が画素データ算出部２７へ通知される。画素データ算出部２７では、この比較対象画素ｑ１の画素データと、比較対象画素ｑ１に隣接する画素であって、参照画素グループ内のチップ端画素に対応する画素の画素データとから求められる輝度変化量に基づいて、欠落画素ｐ１の画素データが算出される。
【００３７】
ディレイ回路２９は、補間タイミング信号生成部２８から入力される補間タイミング信号を一定時間だけ遅延させて、セレクタ回路３０へ出力する遅延時間調整部である。補間タイミング信号を遅延させる際の遅延時間は、画素データ算出部２４，２７、変化パターン算出部２５及び変化パターン比較部２６における各処理に要する時間に基づいて、予め定められる。
【００３８】
セレクタ回路３０は、ディレイ回路２９から入力される補間タイミング信号と、変化パターン比較部２６の比較結果とに基づいて、シフトレジスタ２３、画素データ算出部２４及び２７から入力される画素データのいずれかを選択し、ライン読取画像を構成する画素データとして出力する。
【００３９】
具体的には、欠落画素ｐ１以外の画素に対し、シフトレジスタ２３から入力される画素データがそのまま出力され、また、欠落画素ｐ１に対し、画素データ算出部２４又は２７から入力される画素データが出力される。
【００４０】
欠落画素ｐ１の画素データが入力されるタイミングでは、変化パターンが周辺画素グループと一致する比較画素グループが存在する場合、画素データ算出部２７から入力される画素データが出力される。すなわち、チップ端画素ｐ２，ｐ３の画素データと、比較対象画素ｑ１及び隣接画素間の輝度変化量とから求められる画素データが出力される。
【００４１】
一方、変化パターンが周辺画素グループと一致する比較画素グループが存在しない場合には、画素データ算出部２４から入力される画素データが出力される。すなわち、チップ端画素ｐ２，ｐ３間の画素データの平均値が出力される。
【００４２】
図２は、図１の画像処理装置２０内の変化パターン算出部２５の構成例を示したブロック図である。この変化パターン算出部２５は、周辺画素変化パターン算出部２５１、比較画素変化パターン算出部２５２及び変化量算出部２５３により構成される。
【００４３】
周辺画素変化パターン算出部２５１は、欠落画素ｐ１に隣接するチップ端画素ｐ２，ｐ３を含む周辺画素グループについて、隣接する画素間で画素データの差分から輝度変化量を求め、主走査方向の画素位置に関する輝度の変化パターンを算出する。具体的には、欠落画素ｐ１を挟んで配置される第１周辺画素グループ及び第２周辺画素グループをそれぞれ周辺画素グループとし、各周辺画素グループについて、輝度の変化パターンが算出される。
【００４４】
第１周辺画素グループは、欠落画素ｐ１よりもラインイメージセンサ１０の一端側に配置される周辺画素グループであり、第２周辺画素グループは、欠落画素ｐ１よりもラインイメージセンサ１０の他端側に配置される周辺画素グループである。また、チップ端画素ｐ２は、第１周辺画素グループ内のチップ端画素であり、例えば、欠落画素ｐ１よりも前に画素データが入力される。一方、チップ端画素ｐ３は、第２周辺画素グループ内のチップ端画素であり、欠落画素ｐ１よりも後に画素データが入力される。
【００４５】
比較画素変化パターン算出部２５２は、比較対象画素ｑ１に隣接する画素ｑ２，ｑ３を含み、比較対象画素ｑ１の位置が異なる複数の比較画素グループについて、隣接する画素間で画素データの差分から輝度変化量を求め、主走査方向の画素位置に関する輝度の変化パターンを算出する。具体的には、比較対象画素ｑ１を挟んで配置される第１比較画素グループ及び第２比較画素グループをそれぞれ比較画素グループとし、各比較画素グループについて、輝度の変化パターンが算出される。
【００４６】
第１比較画素グループは、比較対象画素ｑ１よりもラインイメージセンサ１０の一端側に配置される比較画素グループであり、第２比較画素グループは、比較対象画素ｑ１よりもラインイメージセンサ１０の他端側に配置される比較画素グループである。また、画素ｑ２は、第１比較画素グループ内において、チップ端画素ｐ２に対応する画素であり、比較対象画素ｑ１よりも前に画素データが入力される。一方、画素ｑ３は、第２比較画素グループ内において、チップ端画素ｐ３に対応する画素であり、比較対象画素ｑ１よりも後に画素データが入力される。
【００４７】
ここでは、第１周辺画素グループ及び第２周辺画素グループが、同じ画素数からなり、第１比較画素グループ及び第２比較画素グループも、同じ画素数からなるものとする。また、各周辺画素グループと各比較画素グループとは、同じ画素数からなる。
【００４８】
変化量算出部２５３は、比較対象画素ｑ１と比較対象画素ｑ１に隣接する画素ｑ２，ｑ３との間で画素データの差分から輝度変化量を算出する。具体的には、比較対象画素ｑ１の画素データと、画素ｑ２の画素データとの差分から第１輝度変化量が算出され、また、比較対象画素ｑ１の画素データと、画素ｑ３の画素データとの差分から第２輝度変化量が算出される。
【００４９】
変化パターン比較部２６では、比較対象画素ｑ１の位置が互いに異なる第１及び第２比較画素グループの複数の対について、第１及び第２周辺画素グループの変化パターンと、第１及び第２比較画素グループの変化パターンとが比較される。そして、第１及び第２周辺画素グループに対し、変化パターンの相関が最も高い第１及び第２比較画素グループが第１及び第２参照画素グループとして抽出される。
【００５０】
ここでは、輝度の変化パターンが第１及び第２周辺画素グループと一致する第１及び第２比較画素グループが参照画素グループとして抽出される。変化パターンが一致しているか否かは、画素グループを構成する画素列に関し、対応する画素間で輝度変化量を比較し、画素グループ内の全ての画素について、輝度変化量が概ね一致しているか否かに基づいて、決定される。
【００５１】
画素データ算出部２７では、第１参照画素グループに基づいて欠落画素ｐ１の第１画素データを求めるとともに、第２参照画素グループに基づいて欠落画素ｐ１の第２画素データが求められる。そして、第１及び第２画素データに基づいて、欠落画素ｐ１の画素データが算出される。
【００５２】
第１画素データは、第１参照画素グループ及び第２参照画素グループ間に挟まれた比較対象画素ｑ１の画素データと、当該比較対象画素ｑ１に隣接する画素ｑ２の画素データとから得られる第１輝度変化量を、欠落画素ｐ１に隣接するチップ端画素ｐ２の画素データに加算することにより、求められる。
【００５３】
一方、第２画素データは、比較対象画素ｑ１の画素データと、当該比較対象画素ｑ１に隣接する画素ｑ３の画素データとから得られる第２輝度変化量を、欠落画素ｐ１に隣接するチップ端画素ｐ３の画素データに加算することにより、求められる。欠落画素ｐ１の画素データは、第１画素データと第２画素データとの平均値を求めることにより、算出される。
【００５４】
第１及び第２比較画素グループは、３以上のセンサチップ１１に跨って指定しても良いが、ここでは、処理負荷が増大するのを抑制するために、第１周辺画素グループが属するセンサチップ１１と、第２周辺画素グループが属するセンサチップ１１とから指定される。また、位置が異なる複数の欠落画素ｐ１がラインイメージセンサ１０内に存在する場合には、これらの欠落画素ｐ１ごとに、周辺画素グループ及び比較画素グループを定めて、輝度の変化パターンが比較される。
【００５５】
＜ラインイメージセンサ１０＞
図３は、図１のラインイメージセンサ１０の構成例を模式的に示した説明図であり、ラインイメージセンサ１０をＡ−Ａ切断線により切断した場合の切断面が示されている。センサチップ１１は、多数の受光素子１１１が形成された半導体基板１１２により構成される。各受光素子１１１は、一定の配列ピッチｄ１で主走査方向の直線に沿って配置されている。
【００５６】
ラインイメージセンサ１０は、複数のセンサチップ１１を共通基板１２上に配置することにより構成される。各センサチップ１１は、互いにオーバーラップすることなく、一定の間隔で主走査方向の直線に沿って配置されている。
【００５７】
隣接する２つのセンサチップ１１間の継ぎ目部分の間隔、すなわち、センサチップ１１の端部に形成されている受光素子１１１に対応するチップ端画素間の間隔ｄ２は、配列ピッチｄ１に比べて大きい。欠落画素の画素データを補間する処理では、この様なセンサチップ１１間において欠落する画素データとして、１画素分の画素データが挿入される。このため、各センサチップ１１は、関係式ｄ２＝ｄ１×２が成り立つように、配置される。
【００５８】
図４は、ラインイメージセンサ１０により読み取られた画素データから生成されるライン読取画像の一例を示した図であり、チップ端画素ｐ２，ｐ３の画素データを用いた線形補間により、欠落画素ｐ１の画素データを求める場合が示されている。図中の（ａ）には、画像が低周波数成分からなる場合が示され、（ｂ）には、画像が高周波数成分からなる場合が示されている。
【００５９】
ライン読取画像が低周波数成分からなる場合、輝度が緩やかに変化することから、欠落画素ｐ１を挟んで配置される２つのチップ端画素ｐ２及びｐ３間の画素データの平均値を欠落画素ｐ１の画素データとしても、低周波数成分の波形に対するずれは比較的に小さい。
【００６０】
一方、ライン読取画像が高周波数成分からなる場合には、輝度が激しく変化することから、チップ端画素ｐ２及びｐ３間の画素データの平均値を欠落画素ｐ１の画素データとすれば、欠落画素ｐ１の位置によっては、高周波数成分の波形に対するずれが大きくなる。
【００６１】
本実施の形態による画像処理装置２０では、欠落画素ｐ１に隣接する周辺画素グループに対し、輝度の変化パターンが一致する比較画素グループを抽出して欠落画素ｐ１の画素データが求められる。一般に、高周波数特性の読取画像の場合、輝度の変化パターンが周辺画素グループと一致する比較画素グループは、１ライン内に必ず存在する。この様な比較画素グループを抽出して画素データを補間するので、ライン読取画像が高周波数成分からなる場合であっても、良好な補間結果を得ることができる。
【００６２】
図５は、欠落画素ｐ１を挟んで配置されるセンサチップ１１間の出力レベルのばらつきを示した図である。欠落画素ｐ１を挟んで配置されるセンサチップ１１間には、センサチップ１１の個体差により、出力レベルのばらつきが存在する。
【００６３】
例えば、チップ端画素ｐ２を含むセンサチップ１１と、チップ端画素ｐ３を含むセンサチップ１１とが同じ輝度の原稿を読み取った場合、一方のセンサチップ１１の出力範囲はＬ１であり、他方のセンサチップ１１の出力範囲はＬ２（Ｌ２＝Ｌ１）である。そして、これらのセンサチップ１１間で出力レベルには、輝度差Ｌ３のギャップが存在している。
【００６４】
センサチップ１１の出力レベルに上述した様なばらつきがあれば、画素列に関する輝度分布を比較する従来の方法では、欠落画素ｐ１を含む画素列と同じ輝度変化の画素列を正しく特定することができない。
【００６５】
本実施の形態による画像処理装置２０では、輝度の変化パターンを求めて周辺画素グループ及び比較画素グループの比較を行うので、センサチップ１１の出力レベルに大きなばらつきがあっても、欠落画素ｐ１を含む画素列と同じ輝度変化の画素列を正しく特定することができる。
【００６６】
図６は、図１の画像処理装置２０の動作の一例を示した図であり、周辺画素グループ及び比較画素グループ間で輝度の変化パターンを比較する様子が示されている。周辺画素グループＧ１１，Ｇ１２は、欠落画素ｐ１を挟んで配置される周辺画素グループである。周辺画素グループＧ１１は、欠落画素ｐ１に隣接して配置されるチップ端画素ｐ２を含み、周辺画素グループＧ１２は、欠落画素ｐ１に隣接して配置されるチップ端画素ｐ３を含んでいる。
【００６７】
一方、比較画素グループＧ２１，Ｇ２２は、任意の比較対象画素ｑ１を挟んで配置される比較画素グループである。比較画素グループＧ２１は、比較対象画素ｑ１に隣接して配置される画素ｑ２を含み、比較画素グループＧ２２は、比較対象画素ｑ１に隣接して配置される画素ｑ３を含んでいる。
【００６８】
輝度の変化パターンを比較する処理では、比較画素グループＧ２１の変化パターンが周辺画素グループＧ１１の変化パターンと比較され、比較画素グループＧ２２の変化パターンが周辺画素グループＧ１２の変化パターンと比較される。このパターンマッチング処理は、比較対象画素ｑ１の位置を異ならせながら行われ、変化パターンが周辺画素グループＧ１１，Ｇ１２と一致する比較画素グループＧ２１，Ｇ２２が参照画素グループとして抽出される。
【００６９】
欠落画素ｐ１の画素データは、チップ端画素ｐ２，ｐ３の画素データと、参照画素グループとして抽出された比較画素グループＧ２１，Ｇ２２内の画素ｑ２，ｑ３の画素データと、当該比較画素グループＧ２１，Ｇ２２間の比較対象画素ｑ１の画素データとから求められる。すなわち、画素ｑ１，ｑ２間の輝度変化量をチップ端画素ｐ２の画素データに加算して第１画素データを求めるとともに、画素ｑ１，ｑ３間の輝度変化量をチップ端画素ｐ３の画素データに加算して第２画素データを求める。そして、第１画素データ及び第２画素データの平均値を求めることにより、欠落画素ｐ１の画素データが得られる。
【００７０】
図７は、図１の画像処理装置２０の動作の一例を示した図であり、クロック信号と同期して順次に入力される画素データが示されている。画素データの補間処理では、まず、クロック信号と同期して順次に入力される画素データに対し、欠落画素ｐ１を基準として、周辺画素グループＧ１１，Ｇ１２が定められる。すなわち、周辺画素グループＧ１１は、欠落画素ｐ１の画素位置をｎとし、画素データをａ（ｎ）と表せば、周辺画素グループＧ１１内の各画素の画素データが、画素データａ（ｎ）よりも前に入力される周辺画素グループである。この周辺画素グループＧ１１内の各画素の画素データは、欠落画素ｐ１に近い方から順に画素データａ（ｎ＋１）〜ａ（ｎ＋８）と表される。
【００７１】
周辺画素グループＧ１２は、周辺画素グループＧ１２内の各画素の画素データが、画素データａ（ｎ）よりも後に入力される周辺画素グループである。この周辺画素グループＧ１２内の各画素についても、その画素データは、欠落画素ｐ１に近い方から順に画素データａ（ｎ−１）〜ａ（ｎ−８）と表される。
【００７２】
周辺画素グループＧ１１の変化パターンは、周辺画素グループＧ１１内の各画素について、隣接画素間の輝度変化量ｂ（ｎ＋ｋ）（ｋ＝１〜７）を求めることにより得られる。輝度変化量ｂ（ｎ＋ｋ）は、次式（１）により求められる。
ｂ（ｎ＋ｋ）＝ａ（ｎ＋ｋ）−ａ（ｎ＋ｋ＋１）・・・（１）
【００７３】
周辺画素グループＧ１２の変化パターンについても、周辺画素グループＧ１１の場合と同様に、隣接画素間の輝度変化量ｂ（ｎ−ｋ）（ｋ＝１〜７）を求めることにより得られる。輝度変化量ｂ（ｎ−ｋ）は、次式（２）により求められる。
ｂ（ｎ−ｋ）＝ａ（ｎ−ｋ−１）−ａ（ｎ−ｋ）・・・（２）
【００７４】
比較画素グループＧ２１，Ｇ２２についても、周辺画素グループＧ１１，Ｇ１２の場合と同様に、比較対象画素ｑ１を基準として、定められる。また、比較画素グループＧ２１内の各画素の画素データは、比較対象画素ｑ１の画素位置をｍとし、画素データをｃ（ｍ）と表せば、比較対象画素ｑ１に近い方から順に画素データｃ（ｍ＋１）〜ｃ（ｍ＋８）と表される。
【００７５】
比較画素グループＧ２１の変化パターンは、比較画素グループＧ２１内の各画素について、隣接画素間の輝度変化量ｄ（ｍ＋ｋ）（ｋ＝１〜７）を求めることにより得られる。輝度変化量ｄ（ｍ＋ｋ）は、次式（３）により求められる。
ｄ（ｍ＋ｋ）＝ｃ（ｍ＋ｋ）−ｃ（ｍ＋ｋ＋１）・・・（３）
【００７６】
一方、比較画素グループＧ２２内の各画素の画素データは、比較対象画素ｑ１に近い方から順に画素データｃ（ｍ−１）〜ｃ（ｍ−８）と表される。比較画素グループＧ２２の変化パターンについても、比較画素グループＧ２１の場合と同様に、隣接画素間の輝度変化量ｄ（ｍ−ｋ）（ｋ＝１〜７）を求めることにより得られる。輝度変化量ｄ（ｍ−ｋ）は、次式（４）により求められる。
ｄ（ｍ−ｋ）＝ｃ（ｍ−ｋ−１）−ｃ（ｍ−ｋ）・・・（４）
【００７７】
また、比較対象画素ｑ１とこの比較対象画素ｑ１に隣接する画素ｑ２，ｑ３との間の輝度変化量ｅ（ｍ），ｆ（ｍ）は、次式（５）により求められる。
ｅ（ｍ）＝ｃ（ｍ）−ｃ（ｍ＋１），ｆ（ｍ）＝ｃ（ｍ−１）−ｃ（ｍ）・・・（５）
【００７８】
次に、周辺画素グループＧ１１，Ｇ１２の変化パターンと、比較画素グループＧ２１，Ｇ２２の変化パターンとが比較され、輝度の変化パターンが周辺画素グループＧ１１，Ｇ１２と一致する比較画素グループが参照画素グループとして抽出される。
【００７９】
変化パターンの比較方法は、周辺画素グループＧ１１，Ｇ１２の輝度変化量ｂ（ｎ＋７）〜ｂ（ｎ＋１），ｂ（ｎ−１）〜ｂ（ｎ−７）と、比較画素グループＧ２１，Ｇ２２の輝度変化量ｄ（ｍ＋７）〜ｄ（ｍ＋１），ｄ（ｍ−１）〜ｄ（ｍ−７）とをそれぞれ比較することにより行われる。
【００８０】
参照画素グループは、比較画素グループＧ２１，Ｇ２２内の全ての画素について、対応する画素間における輝度変化量の誤差が所定の判定閾値以下である範囲内で、輝度変化量が周辺画素グループＧ１１，Ｇ１２と一致した比較画素グループである。
【００８１】
欠落画素ｐ１の画素データａ（ｎ）は、欠落画素ｐ１に隣接するチップ端画素ｐ２，ｐ３の画素データａ（ｎ＋１），ａ（ｎ−１）と、輝度変化量ｅ（ｍ），ｆ（ｍ）とを用いて次式（６）により求められる。
ａ（ｎ）＝｛［ａ（ｎ＋１）＋ｅ（ｍ）］＋［ａ（ｎ−１）−ｆ（ｍ）］｝／２・・・（６）
【００８２】
上式（６）では、チップ端画素ｐ２の画素データａ（ｎ＋１）に対し変化量ｅ（ｍ）を加算して第１画素データを求め、チップ端画素ｐ３の画素データａ（ｎ−１）から変化量ｆ（ｍ）を減算して第２画素データを求め、第１及び第２画素データの平均値を求めている。この様に構成すれば、参照画素グループ内の画素ｑ２，ｑ３の画素データ、参照画素グループに隣接する比較対象画素ｑ１の画素データ及びチップ端画素ｐ２，ｐ３の画素データから欠落画素ｐ１の画素データを求める構成を簡素化することができる。
【００８３】
一方、輝度の変化パターンが周辺画素グループＧ１１，Ｇ１２と一致する比較画素グループが存在しなければ、チップ端画素ｐ２，ｐ３の画素データａ（ｎ＋１），ａ（ｎ−１）を用いた線形補間により、欠落画素ｐ１の画素データａ（ｎ）が算出される。すなわち、欠落画素ｐ１の画素データａ（ｎ）は、次式（７）により求められる。
ａ（ｎ）＝｛ａ（ｎ＋１）＋ａ（ｎ−１）｝／２・・・（７）
【００８４】
本実施の形態によれば、画素グループ内の隣接画素間における画素データの差分から変化パターンを求めて周辺画素グループ及び比較画素グループの比較を行うので、個体差に起因してセンサチップ１１間で出力レベルに大きなばらつきがある場合であっても、比較画素グループを適切に抽出することができる。特に、周辺画素グループと輝度変化のパターンが同じ比較画素グループを正しく特定することができる。従って、良好な補間結果が得られ、センサチップ１１の継ぎ目を目立ちにくくすることができる。
【００８５】
また、輝度の変化パターンが周辺画素グループと一致する比較画素グループが存在しない場合には、欠落画素ｐ１に隣接するチップ端画素ｐ２，ｐ３の画素データを用いた線形補間により、欠落画素ｐ１の画素データが算出される。このため、周辺画素グループと同じ輝度変化の比較画素グループが特定できなくても、良好な補間結果を得ることができる。
【００８６】
さらに、欠落画素ｐ１を挟んで配置される周辺画素グループＧ１１，Ｇ１２に対し、変化パターンの相関が最も高い比較画素グループＧ２１，Ｇ２２を抽出して欠落画素ｐ１の画素データを求めるので、欠落画素ｐ１の輝度特定の精度を向上させることができる。
【００８７】
なお、本実施の形態では、画素グループ内の全画素について、対応する画素間で輝度変化量の誤差が一定値以下である範囲内で、輝度変化量が周辺画素グループと一致する比較画素グループを抽出して欠落画素ｐ１の画素データを求める場合の例について説明した。しかし、本発明は、比較画素グループを特定する方法をこれに限定するものではなく、周辺画素グループに対して変化パターンの相関が最も高い比較画素グループを抽出して欠落画素ｐ１の画素データを求めるものであれば、他の構成であっても良い。例えば、画素グループ内の全画素について、対応する画素間における輝度変化量の誤差を求め、当該誤差の２乗平均が最小となる比較画素グループを変化パターンの相関が最も高い参照画素グループとして抽出するというような統計的手法を用いるものも本発明には含まれる。
【００８８】
また、本実施の形態では、画素グループ内の全画素について、輝度変化量が周辺画素グループと一致する比較画素グループを参照画素グループとして抽出する場合の例について説明した。しかしながら、一定数以上の画素について、輝度変化量が周辺画素グループと一致する比較画素グループを参照画素グループとして抽出するものも本発明には含まれる。
【００８９】
また、本実施の形態では、欠落画素ｐ１を挟んで配置される周辺画素グループＧ１１及びＧ１２の変化パターンと、比較対象画素ｑ１を挟んで配置される比較画素グループＧ２１及びＧ２２の変化パターンとを比較して欠落画素ｐ１の画素データを求める場合の例について説明した。しかしながら、周辺画素グループＧ１１又はＧ１２のいずれか一方についてのみ、比較画素グループＧ２１又はＧ２２と変化パターンを比較して欠落画素ｐ１の画素データを求めるものも本発明には含まれる。
【符号の説明】
【００９０】
１００ 画像読取システム
１０ ラインイメージセンサ
１１ センサチップ
１１１ 受光素子
１１２ 半導体基板
１２ 共通基板
２０ 画像処理装置
２１ 画素データ記憶部
２２ 画素データ挿入部
２３ シフトレジスタ
２４，２７ 画素データ算出部
２５ 変化パターン算出部
２５１ 周辺画素変化パターン算出部
２５２ 比較画素変化パターン算出部
２５３ 変化量算出部
２６ 変化パターン比較部
２８ 補間タイミング信号生成部
２９ ディレイ回路
３０ セレクタ回路
Ｇ１１，Ｇ１２ 周辺画素グループ
Ｇ２１，Ｇ２２ 比較画素グループ
ｐ１ 欠落画素
ｐ２，ｐ３ チップ端画素
ｑ１ 比較対象画素
ｑ２，ｑ３ チップ端画素に対応する画素
【特許請求の範囲】
【請求項１】
多数の受光素子がそれぞれ形成された２以上のセンサチップを含むラインセンサから上記受光素子の画素データを取得し、上記センサチップ間において欠落する画素データを補間してライン読取画像を生成する画像処理装置において、
上記センサチップ間の欠落画素に隣接するチップ端画素を含み、かつ、上記センサチップ内において連続する３以上の画素からなる周辺画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める周辺画素変化パターン算出部と、
上記周辺画素グループとは位置が異なる比較画素グループであって、連続する３以上の画素からなる任意の比較画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める比較画素変化パターン算出部と、
上記周辺画素グループの変化パターンと、互いに位置が異なる２以上の上記比較画素グループの変化パターンとを比較し、上記周辺画素グループに対し、変化パターンの相関が最も高い上記比較画素グループを参照画素グループとして抽出する変化パターン比較部と、
上記参照画素グループ内の上記チップ端画素に対応する第１画素の画素データ、上記参照画素グループに隣接する画素であって、上記欠落画素に対応する第２画素の画素データ、及び、上記チップ端画素の画素データに基づいて、上記欠落画素の画素データを求める画素データ算出部とを備えたことを特徴とする画像処理装置。
【請求項２】
上記変化パターン比較部は、変化パターンが上記周辺画素グループと一致する上記比較画素グループを上記参照画素グループとして抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記画素データ算出部は、変化パターンが上記周辺画素グループと一致する上記比較画素グループが存在しない場合に、上記欠落画素を挟んで配置される第１チップ端画素及び第２チップ端画素の各画素データに基づいて、上記欠落画素の画素データを求めることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記画素データ算出部は、上記第１画素の画素データと上記第２画素の画素データとから求められる画素データの変化量を上記チップ端画素の画素データに加算して、上記欠落画素の画素データを求めることを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
上記周辺画素変化パターン算出部は、上記欠落画素を挟んで配置される第１周辺画素グループ及び第２周辺画素グループをそれぞれ上記周辺画素グループとし、各周辺画素グループについて上記変化パターンを求め、
上記比較画素変化パターン算出部は、上記欠落画素と比較するための比較対象画素を挟んで配置される第１比較画素グループ及び第２比較画素グループをそれぞれ上記比較画素グループとし、各比較画素グループについて上記変化パターンを求め、
上記変化パターン比較部は、上記第１及び第２周辺画素グループの変化パターンと、上記比較対象画素の位置が異なる２以上の上記第１及び第２比較画素グループの変化パターンとを比較し、第１及び第２周辺画素グループに対し、変化パターンの相関が最も高い第１及び第２比較画素グループを第１及び第２参照画素グループとして抽出し、
上記画素データ算出部は、上記第１参照画素グループに基づいて上記欠落画素の第１画素データを求めるとともに、上記第２参照画素グループに基づいて上記欠落画素の第２画素データを求め、上記第１及び第２画素データに基づいて、上記欠落画素の画素データを求めることを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
多数の受光素子がそれぞれ形成された２以上のセンサチップを含むラインセンサから取得した上記受光素子の画素データに対し、上記センサチップ間において欠落する画素データを補間してライン読取画像を生成する画像処理方法において、
上記センサチップ間の欠落画素に隣接するチップ端画素を含み、かつ、上記センサチップ内において連続する３以上の画素からなる周辺画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める周辺画素変化パターン算出ステップと、
上記周辺画素グループとは位置が異なる比較画素グループであって、連続する３以上の画素からなる任意の比較画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める比較画素変化パターン算出ステップと、
上記周辺画素グループの変化パターンと、互いに位置が異なる２以上の上記比較画素グループの変化パターンとを比較し、上記周辺画素グループに対し、変化パターンの相関が最も高い上記比較画素グループを参照画素グループとして抽出する変化パターン比較ステップと、
上記参照画素グループ内の上記チップ端画素に対応する第１画素の画素データ、上記参照画素グループに隣接する画素であって、上記欠落画素に対応する第２画素の画素データ、及び、上記チップ端画素の画素データに基づいて、上記欠落画素の画素データを求める画素データ算出ステップとを備えたことを特徴とする画像処理方法。
【請求項７】
多数の受光素子がそれぞれ形成された２以上のセンサチップを含むラインセンサから取得した上記受光素子の画素データに対し、上記センサチップ間において欠落する画素データを補間してライン読取画像を生成する画像処理をコンピュータに実行させるための画像処理プログラムにおいて、
上記センサチップ間の欠落画素に隣接するチップ端画素を含み、かつ、上記センサチップ内において連続する３以上の画素からなる周辺画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める周辺画素変化パターン算出手順と、
上記周辺画素グループとは位置が異なる比較画素グループであって、連続する３以上の画素からなる任意の比較画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める比較画素変化パターン算出手順と、
上記周辺画素グループの変化パターンと、互いに位置が異なる２以上の上記比較画素グループの変化パターンとを比較し、上記周辺画素グループに対し、変化パターンの相関が最も高い上記比較画素グループを参照画素グループとして抽出する変化パターン比較手順と、
上記参照画素グループ内の上記チップ端画素に対応する第１画素の画素データ、上記参照画素グループに隣接する画素であって、上記欠落画素に対応する第２画素の画素データ、及び、上記チップ端画素の画素データに基づいて、上記欠落画素の画素データを求める画素データ算出手順とを備えたことを特徴とする画像処理プログラム。
【請求項１】
多数の受光素子がそれぞれ形成された２以上のセンサチップを含むラインセンサから上記受光素子の画素データを取得し、上記センサチップ間において欠落する画素データを補間してライン読取画像を生成する画像処理装置において、
上記センサチップ間の欠落画素に隣接するチップ端画素を含み、かつ、上記センサチップ内において連続する３以上の画素からなる周辺画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める周辺画素変化パターン算出部と、
上記周辺画素グループとは位置が異なる比較画素グループであって、連続する３以上の画素からなる任意の比較画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める比較画素変化パターン算出部と、
上記周辺画素グループの変化パターンと、互いに位置が異なる２以上の上記比較画素グループの変化パターンとを比較し、上記周辺画素グループに対し、変化パターンの相関が最も高い上記比較画素グループを参照画素グループとして抽出する変化パターン比較部と、
上記参照画素グループ内の上記チップ端画素に対応する第１画素の画素データ、上記参照画素グループに隣接する画素であって、上記欠落画素に対応する第２画素の画素データ、及び、上記チップ端画素の画素データに基づいて、上記欠落画素の画素データを求める画素データ算出部とを備えたことを特徴とする画像処理装置。
【請求項２】
上記変化パターン比較部は、変化パターンが上記周辺画素グループと一致する上記比較画素グループを上記参照画素グループとして抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記画素データ算出部は、変化パターンが上記周辺画素グループと一致する上記比較画素グループが存在しない場合に、上記欠落画素を挟んで配置される第１チップ端画素及び第２チップ端画素の各画素データに基づいて、上記欠落画素の画素データを求めることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記画素データ算出部は、上記第１画素の画素データと上記第２画素の画素データとから求められる画素データの変化量を上記チップ端画素の画素データに加算して、上記欠落画素の画素データを求めることを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
上記周辺画素変化パターン算出部は、上記欠落画素を挟んで配置される第１周辺画素グループ及び第２周辺画素グループをそれぞれ上記周辺画素グループとし、各周辺画素グループについて上記変化パターンを求め、
上記比較画素変化パターン算出部は、上記欠落画素と比較するための比較対象画素を挟んで配置される第１比較画素グループ及び第２比較画素グループをそれぞれ上記比較画素グループとし、各比較画素グループについて上記変化パターンを求め、
上記変化パターン比較部は、上記第１及び第２周辺画素グループの変化パターンと、上記比較対象画素の位置が異なる２以上の上記第１及び第２比較画素グループの変化パターンとを比較し、第１及び第２周辺画素グループに対し、変化パターンの相関が最も高い第１及び第２比較画素グループを第１及び第２参照画素グループとして抽出し、
上記画素データ算出部は、上記第１参照画素グループに基づいて上記欠落画素の第１画素データを求めるとともに、上記第２参照画素グループに基づいて上記欠落画素の第２画素データを求め、上記第１及び第２画素データに基づいて、上記欠落画素の画素データを求めることを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
多数の受光素子がそれぞれ形成された２以上のセンサチップを含むラインセンサから取得した上記受光素子の画素データに対し、上記センサチップ間において欠落する画素データを補間してライン読取画像を生成する画像処理方法において、
上記センサチップ間の欠落画素に隣接するチップ端画素を含み、かつ、上記センサチップ内において連続する３以上の画素からなる周辺画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める周辺画素変化パターン算出ステップと、
上記周辺画素グループとは位置が異なる比較画素グループであって、連続する３以上の画素からなる任意の比較画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める比較画素変化パターン算出ステップと、
上記周辺画素グループの変化パターンと、互いに位置が異なる２以上の上記比較画素グループの変化パターンとを比較し、上記周辺画素グループに対し、変化パターンの相関が最も高い上記比較画素グループを参照画素グループとして抽出する変化パターン比較ステップと、
上記参照画素グループ内の上記チップ端画素に対応する第１画素の画素データ、上記参照画素グループに隣接する画素であって、上記欠落画素に対応する第２画素の画素データ、及び、上記チップ端画素の画素データに基づいて、上記欠落画素の画素データを求める画素データ算出ステップとを備えたことを特徴とする画像処理方法。
【請求項７】
多数の受光素子がそれぞれ形成された２以上のセンサチップを含むラインセンサから取得した上記受光素子の画素データに対し、上記センサチップ間において欠落する画素データを補間してライン読取画像を生成する画像処理をコンピュータに実行させるための画像処理プログラムにおいて、
上記センサチップ間の欠落画素に隣接するチップ端画素を含み、かつ、上記センサチップ内において連続する３以上の画素からなる周辺画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める周辺画素変化パターン算出手順と、
上記周辺画素グループとは位置が異なる比較画素グループであって、連続する３以上の画素からなる任意の比較画素グループ内において、隣接する画素間における画素データの差分を求め、上記差分の変化パターンを求める比較画素変化パターン算出手順と、
上記周辺画素グループの変化パターンと、互いに位置が異なる２以上の上記比較画素グループの変化パターンとを比較し、上記周辺画素グループに対し、変化パターンの相関が最も高い上記比較画素グループを参照画素グループとして抽出する変化パターン比較手順と、
上記参照画素グループ内の上記チップ端画素に対応する第１画素の画素データ、上記参照画素グループに隣接する画素であって、上記欠落画素に対応する第２画素の画素データ、及び、上記チップ端画素の画素データに基づいて、上記欠落画素の画素データを求める画素データ算出手順とを備えたことを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−９３６７４（Ｐ２０１３−９３６７４Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１１−２３３２９２（Ｐ２０１１−２３３２９２）
【出願日】平成２３年１０月２４日（２０１１．１０．２４）
【出願人】（０００００６２９７）村田機械株式会社 (4,916)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１０月２４日（２０１１．１０．２４）
【出願人】（０００００６２９７）村田機械株式会社 (4,916)
【Ｆターム（参考）】
[ Back to top ]