画像処理方法及び装置
【課題】原稿画像に複数種類の画像が存在する場合であっても、それぞれの画像の境界線を抽出することによって領域判別を正確に行い、各領域に対して属性に応じた適切な画像処理を行うことのできる画像処理方法及び装置を提供することを目的とする。
【解決手段】入力された画像について画素毎に特徴量を抽出し、特徴量に基づき画素毎に属性を判別して画素属性情報を生成し、画素属性情報に基づいて、ハフ変換を適用して画像を辺の長さが所定の範囲内である矩形の局所領域に分割する処理を再帰的に行い、且つ分割した局所領域について属性を判別することによって画素属性情報を補正し、補正された属性情報に基づいて局所領域に対し属性に対応した画像処理を行う。
【解決手段】入力された画像について画素毎に特徴量を抽出し、特徴量に基づき画素毎に属性を判別して画素属性情報を生成し、画素属性情報に基づいて、ハフ変換を適用して画像を辺の長さが所定の範囲内である矩形の局所領域に分割する処理を再帰的に行い、且つ分割した局所領域について属性を判別することによって画素属性情報を補正し、補正された属性情報に基づいて局所領域に対し属性に対応した画像処理を行う。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、文字画像、網点画像、又は濃淡画像（写真画像）など、種々の属性の画像が混在する原稿画像に対し、その属性に応じた適切な画像処理を行うことのできる画像処理方法及び装置に関し、例えばデジタル複写機などに利用される。
【０００２】
【従来の技術】複写機などで使用される原稿には、文字画像のみの原稿、写真画像のみの原稿、網点画像のみの原稿の他、それらが混在している原稿がしばしば用いられる。これら種々の画像に対する画像処理は，それぞれの特性に適応した処理が望ましい。
【０００３】そのためには、原稿画像を、文字／写真／網点などの属性に応じた領域に分割する領域判別を正確に行う必要がある。従来の領域判別においては、原稿画像内の画素毎に、注目画素とその周辺画素との間の濃度差、注目画素を含む領域内の最大値と最小値との差、又はヒストグラムなどの濃度情報に基づいて、注目画素の属性を判定する方法がしばしば用いられている。また、注目画素を含む領域内の周波数成分からその領域内の属性を判別する方法も知られている。これらの領域判別のために、ニューラルネットがしばしば用いられる。
【０００４】
【発明が解決しようとする課題】ところが、上述した従来の領域判別方法では、原稿画像内の画素毎の属性、又は周辺画素を含めた狭い領域の属性を判別するものであるため、各領域における属性に誤判別がしばしば発生する。
【０００５】そのため、原稿画像における実際の１つの属性の領域内に、異なる属性であると誤判別された複数の属性の領域が点在することとなる可能性がある。そうすると、実際には同一の属性の領域であるにも係わらず、誤判別された属性に対応する内容の複数種類の画像処理が実行されることとなり、誤判別による画質劣化が生じるという問題があった。
【０００６】本発明は、上述の問題に鑑みてなされたもので、原稿画像に複数種類の画像が存在する場合であっても、それぞれの画像の境界線を抽出することによって領域判別を正確に行い、各領域に対して属性に応じた適切な画像処理を行うことのできる画像処理方法及び装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】請求項１の発明に係る方法は、入力された画像について画素毎に特徴量を抽出し、前記特徴量に基づき画素毎に属性を判別して画素属性情報を生成し、前記画素属性情報に基づいて、ハフ変換を適用して前記画像を辺の長さが所定の範囲内である矩形の局所領域に分割する処理を再帰的に行い、且つ分割した局所領域について属性を判別することによって前記画素属性情報を補正し、補正された属性情報に基づいて前記局所領域に対し属性に対応した画像処理を行う。
【０００８】請求項２の発明に係る装置は、入力された画像について画素毎に特徴量を抽出する特徴量抽出手段と、前記特徴量に基づき画素毎に属性を判別して画素属性情報を生成する画素属性判別手段と、前記画素属性情報に基づいて、ハフ変換を適用して前記画像を辺の長さが所定の範囲内である局所領域に分割する第１の局所領域抽出手段と、前記局所領域内においてハフ変換を適用し辺の長さが所定の範囲内である局所領域に再分割する処理を再帰的に行う第２の局所領域抽出手段と、分割した各局所領域について属性を判別する局所領域属性判別手段と、前記局所領域毎にその属性に対応した画像処理を行う手段と、を有して構成される。
【０００９】請求項３の発明に係る装置では、前記第１の局所領域抽出手段における所定の範囲は、所定の長さＬＧ１以上であり、前記第２の局所領域抽出手段における所定の範囲は、所定の長さＬＧ２（ＬＧ２＜ＬＧ１）以上であり且つ分割しようとする局所領域の辺の長さに対して所定割合の長さ以上である。
【００１０】請求項４の発明に係る装置では、前記第１の局所領域抽出手段及び前記第２の局所領域抽出手段は、画素毎に判別された属性に基づいて境界に位置する画素である境界点を抽出する手段と、直交座標平面における前記各境界点に対しハフ変換を適用して極座標平面上の曲線に変換する手段と、極座標平面に変換された各曲線の交点を検出する手段と、検出された交点の極座標を直交座標平面上の直線に逆変換することによって境界線を生成する手段と、前記境界線によって囲まれた領域を局所領域として抽出する手段と、を有してなる。
【００１１】本発明による処理を図７及び図８を参照して説明する。図７（Ａ）に概念的に示す原画像ＲＦに対し画素毎に属性判別を行うと、図７（Ｂ）に示すように、領域Ａ１であると判別された画素ＧＡ１と領域Ａ２であると判別された画素ＧＡ２とが混在した属性マップＭＰ１が得られる。
【００１２】図７（Ｂ）に示す属性マップＭＰ１に対し雑音除去を施すことによって、図７（Ｃ）に示す属性マップＭＰ２が得られる。図８（Ｄ）は、図７（Ｃ）に示す属性マップＭＰ２に対して、領域Ａ２と非領域Ａ２との境界点ＧＢを抽出した結果を示す境界マップＭＰ３である。
【００１３】境界点ＧＢに対しハフ変換を適用して所定の長さＬＧ１以上の線分ＬＢ３，ＬＢ４を検出した結果が、図８（Ｅ）に示されている。線分ＬＢ３，ＬＢ４を境界線として、４つの局所領域ＡＬ１〜４に分割されている。
【００１４】これらの各局所領域ＡＬ１〜４に対して、同様に再度ハフ変換を適用した局所領域ＡＬへの分割が再帰的に行われる。その場合に、所定の長さＬＧ２（ＬＧ２＜ＬＧ１）以上であり且つ分割しようとする局所領域ＡＬの辺の長さに対して所定割合の長さ以上の線分が検出された場合にのみ再分割を行う。再分割の結果得られた局所領域ＡＬのそれぞれにおいて、属性の判別が行われる。
【００１５】図８（Ｆ）は、各局所領域ＡＬ１〜４において、画素ＧＡ１の数と画素ＧＡ２の数との多い方の画素ＧＡの属性を採用した結果を示す。すなわち、局所領域ＡＬ１及び２は領域Ａ１、局所領域ＡＬ３及び４は領域Ａ２となっており、これは原画像ＲＦの実際の領域Ａ１，Ａ２に近い。
【００１６】本発明の方法を実行するために、又は本発明の各手段を実現するために、所定のプログラムを実行するＭＰＵ又はＣＰＵ、半導体メモリ又は他の記憶媒体、ニューラルネットワーク、ハードウエア回路などが適宜用いられる。
【００１７】本発明によると、画素毎の領域判別結果に対してハフ変換を適用し、画像を複数の局所領域に再帰的に分割してそれぞれの局所領域について属性を決定するので、局所領域内においては同一の属性となって均一な画像処理が可能となり、誤判別による画質劣化が防止される。
【００１８】
【発明の実施の形態】図１は本発明に係る画像処理部２３を内蔵した画像読取り装置１の全体の構成を示す図である。
【００１９】図１において、画像読取り装置１は、本体１０、原稿カバー１１、原稿載置ガラス１２、露光ランプ１３、ミラー１４ａ，ｂ，ｃ、レンズ１５、ＣＣＤセンサ１６、スライダー駆動部１７、操作パネル部２１、制御部２２、及び画像処理部２３などから構成されている。
【００２０】原稿載置ガラス１２の上に載置された原稿ＤＲは、露光ランプ１３によって照射される。原稿ＤＲからの反射光は、ミラー１４ａ，ｂ，ｃによってレンズ１５に導かれ、原稿ＤＲの画像がＣＣＤセンサ１６上で結像する。
【００２１】露光ランプ１３及びミラー１４ａ，ｂ，ｃは、スライダー駆動部１７によって倍率に応じた速度で移動され、原稿載置ガラス１２の上に載置された原稿ＤＲをその全面にわたって走査する。
【００２２】ＣＣＤセンサ１６に入射した原稿ＤＲの反射光は、ＣＣＤセンサ１６によって電気信号である画像信号ＳＰに変換され、画像処理部２３に入力される。画像処理部２３において、画像信号ＳＰに対し、種々のアナログ信号処理、Ａ／Ｄ変換、及びデジタル画像処理が順次行われる。画像処理が行われた画像データＤＯは、外部機器２４、例えば画像メモリ又はプリンタ部へ出力される。
【００２３】図２は画像処理部２３の構成を示すブロック図である。画像処理部２３は、Ａ／Ｄ変換部３１、シェーディング補正部３２、ＬＯＧ補正部３３、画像格納部３４、領域判別部３５、及び画像補正部３６から構成されている。
【００２４】ＣＣＤセンサ１６から出力された画像信号ＳＰは、Ａ／Ｄ変換部３１によってデジタル信号である画像データＤ１に変換され、シェーディング補正部３２及びＬＯＧ補正部３３を経て画像格納部３４に格納される。画像格納部３４に格納された画像データＤ３に基づいて、領域判別部３５によって局所領域毎の属性が判別され、属性情報ＤＡ２が出力される。画像補正部３６においては、領域判別部３５における判別結果に応じてパラメータが切り換えられ、画像データＤ３に対し局所領域毎にその属性に対応した画像処理が行われる。
【００２５】図３は領域判別部３５の構成を示すブロック図である。領域判別部３５は、特徴量抽出部４１、属性判別部４２、演算部４３、属性格納部４４、及び局所領域属性格納部４５から構成される。
【００２６】特徴量抽出部４１は、入力された画像データＤ３について画素毎に特徴量ＤＣを抽出する。特徴量抽出部４１として、例えばラプラシアンフィルタが用いられる。属性判別部４２は、特徴量ＤＣに基づいて画素毎に属性を判別し、属性情報ＤＡ１を出力する。属性情報ＤＡ１は、本発明における画素属性情報である。属性情報ＤＡ１は属性格納部４４に格納される。
【００２７】演算部４３は、属性情報ＤＡ１に基づいて、局所領域毎の属性を判別する演算を行って補正された属性情報ＤＡ２を出力する。すなわち、演算部４３は、属性情報ＤＡ１に基づいて、属性の境界に位置する画素に対しハフ変換を適用して画像を辺の長さが所定の範囲内である矩形の局所領域に分割する処理を再帰的に行い、且つ分割した局所領域について属性を判別することによって属性情報ＤＡ１を補正し、補正された属性情報である属性情報ＤＡ２を出力する。
【００２８】局所領域への分割又は抽出に当たっては、ハフ変換を適用して所定の長さＬＧ１以上の線分を検出し、検出した線分によって囲まれる矩形の領域を局所領域とする。次に、抽出された局所領域に対して、ハフ変換を再度適用して所定の長さＬＧ２（ＬＧ２＜ＬＧ１）以上であり且つ当該局所領域の縦又は横のそれぞれの辺の長さに対して所定割合の長さ以上の線分を検出し、線分が検出された場合にその線分によって囲まれる矩形の領域を局所領域とする。このように、ハフ変換を適用した局所領域の抽出を線分が検出されなくなるまで再帰的に行う。
【００２９】したがって、画像格納部３４から読み出された画像データＤ３は、特徴量抽出部４１において画素毎の特徴量ＤＣが抽出され，属性判別部４２において画素毎の属性が判別され、得られた属性情報ＤＡ１が属性格納部４４に格納される。属性格納部４４に格納された属性情報ＤＡ１は演算部４３により読み出され、ハフ変換を適用して局所領域ＡＬの抽出及びその属性の判別が行われる。判別結果である属性情報ＤＡ２は局所領域属性格納部４５に格納される。
【００３０】演算部４３及び属性格納部４４によって、属性補正部ＡＭが構成されている。属性補正部ＡＭは、本発明における第１の局所領域抽出手段、第２の局所領域抽出手段、及び局所領域属性判別手段に相当する。次に、属性補正部ＡＭにおける第１の局所領域抽出手段に相当する部分である第１の局所領域抽出部ＡＭＥ１の機能的な構成について説明する。第２の局所領域抽出手段の機能的な構成は、第１の局所領域抽出手段と同一であるので、説明を省略する。局所領域属性判別手段については、図示は省略したが、属性判別部５７として以下に説明する。
【００３１】図４は第１の局所領域抽出部ＡＭＥ１の構成を機能的に示すブロック図である。第１の局所領域抽出部ＡＭＥ１は、ノイズ除去処理部５１、境界点抽出部５２、ハフ変換部５３、交点検出部５４、逆変換部５５、及び局所領域抽出部５６から構成されている。
【００３２】ノイズ除去処理部５１は、属性情報ＤＡ１に含まれるノイズを除去するための処理を行う。ノイズ除去処理部５１では、ある画像の領域に含まれる小さな面積の他の画像の領域を削除する。例えば、写真画像及び網点画像の候補領域に含まれる１４ポイントの文字サイズ以下の面積領域を除去する。これによって属性情報ＤＡ１ａが得られる。
【００３３】境界点抽出部５２は、画素毎に判別された属性の情報である属性情報ＤＡ１ａに基づいて、境界に位置する画素である境界点ＰＢを抽出する。ハフ変換部５３は、直交座標平面における各境界点ＰＢに対し、ハフ変換（Ｈｏｕｇｈ変換）を適用して極座標平面上の曲線に変換する。交点検出部５４は、極座標平面に変換された各曲線の交点ＰＣを検出する。逆変換部５５は、検出された交点ＰＣの極座標を直交座標平面上の直線に逆変換することによって境界線ＬＢを生成する。局所領域抽出部５６は、境界線ＬＢによって囲まれた領域を局所領域ＡＬとして抽出する。
【００３４】属性判別部５７は、局所領域ＡＬ毎の属性を判別し、その判別結果である属性情報ＤＡ２を出力する。局所領域ＡＬ毎の属性の判別に当たっては、画素毎に判別された属性が用いられる。例えば、１つの局所領域ＡＬ内において、特定の属性の画素が５０パーセント以上あれば、その画素の属性を局所領域ＡＬの属性とする。また、局所領域ＡＬ内に３種類以上の属性の画素が混在する場合には、それらのうちの画素数の最も多い属性を局所領域ＡＬの属性とする。
【００３５】図５は画像補正部３６の構成を示すブロック図である。図５において、画像補正部３６は、変倍／移動処理部６１、ＭＴＦ補正部６２、濃度補正部６３、及び２値化処理部６４から構成される。これらの各部において、それぞれの処理のためのパラメータが、領域判別部３５から出力される属性情報ＤＡ２に基づいて設定される。これによって、局所領域ＡＬ毎に、その属性に対応した画像処理が行われる。例えば、文字領域に対してはエッジ強調処理、写真画像に対しては平滑化処理、網点画像に対してはフィルタリング処理などが行われる。
【００３６】次に、領域判別部３５の処理動作、特に属性情報ＤＡの処理動作についてさらに詳しく説明する。まず、ハフ変換について簡単に説明する。図６はハフ変換の概念を示す図である。このうち、図６（Ａ）はｘ−ｙ空間（直交座標平面）における各点Ａ〜Ｇの位置を示し、図６（Ｂ）は各点Ａ〜Ｇをハフ変換によってρ−θ空間（極座標平面）上に表した曲線を示す。
【００３７】ハフ変換は、画像の中から、直線、円、楕円などの図形を検出するための方法である。特に、Ｄｕｄａ ａｎｄ Ｈａｒｔの方法による直線検出方法がよく用いられており、本実施形態においてもこの方法を用いる。この方法においては、直線を、ρ＝ｘｃｏｓθ＋ｙｓｉｎθ ……（１）
で表現する。ここで、ρは原点から直線へ下ろした垂線の長さ、θは垂線とｘ軸のなす角度である。
【００３８】図６（Ａ）に示すｘ−ｙ空間上の点、例えばＡ点（ｘ0 ，ｙ0 ）は、（１）式によると、図６（Ｂ）に示すρーθ空間においては、１本の正弦曲線の軌跡ρ＝ｘ0 ｃｏｓθ＋ｙ0 ｓｉｎθに対応する。
【００３９】これとは逆に、ρ−θ空間における１本の正弦曲線の軌跡は、ｘ−ｙ空間において（ｘ0 ，ｙ0 ）を通る総ての直線群を表している。したがって、ｘ−ｙ空間における１本の直線上の各点をそれぞれρ−θ空間に変換した場合、これらの点からρ−θ空間上に作られる各正弦曲線の軌跡は一点で交わることとなる。軌跡の交わった点を逆変換することによって、ｘ−ｙ空間に１本の直線が得られる。つまり、この方法によれば、離散的な点に基づいて、換言すれば直線にとぎれのある場合であっても、１本の直線を検出することができる。
【００４０】図６（Ａ）において、ｘ−ｙ空間上の点Ａ，Ｂ，Ｃ，Ｄは１本の直線ＬＢ１上の点である。直線ＬＢ１において、θはπ／４である。これらの各点をハフ変換によりρ−θ空間上に変換すると、図６（Ｂ）に示すように、それぞれ正弦曲線の軌跡となり、それぞれの軌跡は交点αで交わる。
【００４１】同様に、ｘ−ｙ空間上の点Ｅ，Ｂ，Ｆ，Ｇは１本の直線ＬＢ２上の点である。直線ＬＢ２において、θはπ／２である。これらの各点をハフ変換によりρ−θ空間上に変換すると、図６（Ｂ）に示すような正弦曲線の軌跡となり、それぞれの軌跡は交点βで交わる。
【００４２】このように、ｘ−ｙ空間において軸に平行又は垂直な直線は、ρ−θ空間においてはθ＝０、π／２、πの位置に交点がある。したがって、θ＝０、π／２、πの位置に交点があった場合に、その交点をｘ−ｙ空間上に逆変換することによって、直線（線分）を求めることができる。
【００４３】直線を求めるための具体的な手法としては、原画像から直線の要素候補となる画素位置を検出し、その画素位置に対応するρ−θ空間上の軌跡の各点を求める。得られた各点によって、ρ−θ空間における座標位置に対しカウントアップする。ある閾値以上のカウント値をもつ点（極大値点）が交点であるから、その極大値点に対し（１）式を用いて逆変換を施すことによって、ｘ−ｙ平面上の直線が抽出される。
【００４４】また、その極大値点を通る軌跡に対応するｘ−ｙ平面上の座標位置に基づいて、直線（線分）の長さが検出される。例えば、図６において、Ａ，Ｂ，Ｃ，Ｄの各点が直線上にあることが検出された場合に、これら４点の中の端の点Ｅ及びＧを検出し、これら２点間の距離を測定すればよい。したがって、所定の長さ以上の線分のみを抽出することが可能である。
【００４５】次に、画像読取り装置１における属性補正処理の動作を説明する。図７及び図８は属性補正処理の動作を概念的に説明するための図である。図７（Ａ）には、原稿ＤＲの画像である原画像ＲＦについて、属性の異なる２つの領域Ａ１及び領域Ａ２の境界部が示されている。なお、領域Ａ１は、領域Ａ２でない領域、つまり非領域Ａ２である。原画像ＲＦに対し、画素毎に属性判別を行うと、図７（Ｂ）に示すように、領域Ａ１であると判別された画素ＧＡ１と領域Ａ２であると判別された画素ＧＡ２とが混在した属性マップＭＰ１が得られる。各画素ＧＡ１は白色で、各画素ＧＡ２は灰色で、それぞれ示されている。
【００４６】図７（Ｂ）に示す属性マップＭＰ１によると、一方の領域が他方の領域に入り込んだ状態となっており、雑音の混じった状態である。属性マップＭＰ１に対し雑音除去を施すことによって、図７（Ｃ）に示す属性マップＭＰ２が得られる。雑音除去を施すことによって、境界点の個数が減少して演算時間が低減し、且つ誤判別も減少する。なお、雑音除去処理の方法として、ある所定サイズ以下の面積領域を削除する方法、ある所定サイズのマトリクス内の属性カウント値に応じて属性マップを補正する方法などがある。
【００４７】図８（Ｄ）は、図７（Ｃ）に示す属性マップＭＰ２に対して、領域Ａ２と非領域Ａ２との境界点ＧＢを抽出した結果を示す境界マップＭＰ３である。なお境界点ＧＢは画素ＧＡ２について検出されており、画素ＧＡ２について、画素ＧＡ１との境界部分が境界点ＧＢとして抽出されている。各境界点ＧＢは黒色で示されている。
【００４８】境界点ＧＢに対しハフ変換を適用して所定の長さ以上の線分ＬＢ３，ＬＢ４を検出した結果が、図８（Ｅ）に示されている。線分ＬＢ３，ＬＢ４を境界線として、４つの局所領域ＡＬ１〜４に分割されている。これらの局所領域ＡＬ１〜４のそれぞれにおいて、属性の判別が行われる。
【００４９】図８（Ｆ）は、各局所領域ＡＬ１〜４において、画素ＧＡ１の数と画素ＧＡ２の数との多い方の画素ＧＡの属性を採用した結果を示す。すなわち、局所領域ＡＬ１及び２は領域Ａ１、局所領域ＡＬ３及び４は領域Ａ２となっており、これは原画像ＲＦの実際の領域Ａ１，Ａ２に近い。なお、各局所領域ＡＬの属性を判別するに当たって、各局所領域ＡＬ内において、それぞれの画素ＧＡ１，ＧＡ２の数をカウントし、カウント値の大きい画素ＧＡの属性を採用すればよい。
【００５０】なお、図８における説明では、局所領域ＡＬへの分割を１回のみ行うように説明したが、画像読取り装置１においては、誤判別をできるだけ低減するため、分割された局所領域ＡＬに対し、所定の長さＬＧ２以上の線分が検出されなくなるまで、局所領域ＡＬへの分割を再帰的に行う。
【００５１】次に、属性補正処理における局所領域ＡＬの分割方法について詳しく説明する。図９は局所領域ＡＬへの分割の方法を概念的に示す図、図１０は局所領域ＡＬ内における再度の分割を示す図である。
【００５２】図９（Ａ）に示す原画像ＲＦ１は、文字画像領域Ａ３及び写真画像領域Ａ４を有している。原画像ＲＦ１に対して、先に説明したようにハフ変換を適用して境界線ＬＢを引き、図９（Ｂ）に示すように境界線ＬＢで囲まれた複数の局所領域ＡＬに分割する。ここで、境界線ＬＢは、所定の長さＬＧ１以上の線分を検出した場合に、その線分を画像全体に延長したものである。さらに、分割された局所領域ＡＬ内において、上述と同様に再度ハフ変換を適用し、所定の長さＬＧ２以上の線分を抽出する。抽出された線分を境界線ＬＢとし、その局所領域ＡＬを再分割する。
【００５３】図１０（Ａ）には、図９（Ｂ）に示された１つの局所領域ＡＬ０が示されている。局所領域ＡＬ０は、境界線ＬＢ５〜８によって囲まれた領域である。局所領域ＡＬ０内において再分割を行うことによって、２つの境界線ＬＢ９，ＬＢ１０が抽出され、これによって図１０（Ｂ）に示すように４つの局所領域ＡＬ００、ＡＬ０１、ＡＬ１０、ＡＬ１１に分割される。
【００５４】ここで、ハフ変換の適用により抽出される線分の長さについて具体例を挙げると、１回目の分割においては、所定の長さＬＧ１を例えば１ｃｍとする。これは、４００ｄｐｉの密度において約１５０ｄｏｔに相当する。その場合に、２回目以降の分割においては、所定の長さＬＧ２を１ｃｍよりも小さくし、且つ局所領域ＡＬの縦及び横の長さについてそれぞれ３０％以上とする。なお、所定の長さＬＧ１を、数ｍｍ乃至数ｃｍの範囲の適当な値に設定してもよい。但し、所定の長さＬＧが小さくなると精度はよいが演算に時間がかかる。大きくなると演算速度は速いが誤判別の生じる率が高くなる。
【００５５】分割されたそれぞれの局所領域ＡＬにおいて、その属性が判別される。図１０（Ｂ）で明らかなように、局所領域ＡＬ０内において抽出された境界線ＬＢ９，ＬＢ１０によって分割されるのは、局所領域ＡＬ０の内部のみである。したがって、分割する必要のない局所領域ＡＬについては無駄な分割が行われないので、演算に要する時間が短縮される。
【００５６】上述の実施形態によると、原画像ＲＦに文字／写真／網点などの複数種類の画像が存在する場合であっても、ハフ変換を適用してそれぞれの画像の境界線ＬＢを抽出することによって領域判別を正確に行い、各局所領域ＡＬに対して属性に応じた適切な画像処理を行うことができる。
【００５７】次に、属性補正処理についてフローチャートを参照して説明する。図１１は属性補正処理の全体を示すフローチャート、図１２はハフ変換による属性判別処理を示すフローチャート、図１３は局所領域分割処理を示すフローチャートである。
【００５８】図１１において、各画素毎に属性を判別し（＃１１）、属性マップＭＰを作成し（＃１２）、ハフ変換による属性判別処理を行う（＃１３）。図１２において、孤立点を除去することにより雑音を取り除いた後（＃２１）、境界点ＧＢを検出する（＃２２）。そして局所領域分割処理を行い（＃２３）、属性を決定する（＃２４）。
【００５９】図１３において、ハフ変換を行い（＃３１）、一辺の長さが所定の長さＬＧ１以上である局所領域ＡＬに分割する（＃３２）。次に、局所領域内においてハフ変換を行い（＃３３）、一辺の長さが所定の長さＬＧ２以上であり且つ当該局所領域ＡＬの縦及び横の長さについてそれぞれ所定の割合以上である局所領域ＡＬに分割する（＃３４、３６）。局所領域ＡＬの再分割ができなくなれば（＃３５でイエス）、リターンする。
【００６０】図１４は属性補正処理の他の例を示すフローチャートである。図１４に示すフローチャートにおいては、文字画像の領域と写真／網点画像の領域とで属性情報ＤＡの補正処理の内容が異なる。
【００６１】各画素毎に属性を判別し（＃４１）、属性毎に属性マップＭＰを作成する（＃４２）。つまり、文字、写真、及び網点の各画像の候補領域毎に属性マップＭＰを作成する。
【００６２】写真又は網点の候補領域に対しては（＃４３でノー）、それぞれの属性マップＭＰについてノイズ除去処理が行われる（＃４４）。ここでは、候補領域に含まれる最大文字サイズ（１４ポイント）よりも小さい面積領域を除去する。これによってノイズの大半が除去される。そして、境界点抽出処理が行われ（＃４５）、局所領域分割処理が行われ（＃４６）、属性の決定が行われる（＃４７）。
【００６３】文字画像の候補領域に対しては（＃４３でイエス）、写真又は網点の領域と重なる部分を削除する（＃４８）。ここでの処理は、写真及び網点の領域をステップ＃４７で決定した後に行われる。残った文字画像の領域について、モホロジー処理の１種であるクロージング（Ｃｌｏｓｉｎｇ）処理を行う（＃４９）。クロージング処理では、最大文字サイズ（１４ポイント）相当のディスクフィルタを用い、画像を一旦太らせた後に縮める処理を行う。
【００６４】その後、文字、写真及び網点の各画像の領域を合成する（＃５０）。ここでは、画素毎の属性の判別の精度のよい順、例えば、網点、写真、文字の順に優先して合成する。つまり、領域が互いに重複する場合には、網点、写真、文字の順に優先して領域を確保する。
【００６５】写真画像に含まれる髪の毛の画像は、画素毎の属性判別において文字画像又は網点画像であると誤判別されることがしばしばあるが、図１４のフローチャートによると、それらの領域に対してハフ変換を適用することにより、そのような誤判別が補正され、正しく写真画像であると判別される。また、文字画像は、その中に網点画像が含まれていると誤判別されることがあるが、文字画像に対してクロージング処理を行うことにより、及び網点画像に対してハフ変換による属性判別処理を行うことにより、領域が正しく判別される。
【００６６】すなわち、図１４のフローチャートによると、まず、原画像ＲＦに対して、写真、網点、文字のそれぞれの属性を画素毎に判別して属性マップをそれぞれ生成する。次に、それぞれの属性マップに対して、ハフ変換による属性補正処理（＃４６）、ハフ変換以外の処理による属性補正処理（＃４９）を行い、これによってそれぞれ補正された属性マップを得る。そして、補正された属性マップを合成する。
【００６７】上述の実施形態において、画像補正部３６、属性補正部ＡＭ、第１の局所領域抽出部ＡＭＥ１、属性判別部５７、又は局所領域属性格納部４５の構成、処理内容、処理順序、処理タイミング、その他、画像読取り装置１の全体又は各部の構成などは、本発明の主旨に沿って適宜変更することができる。
【００６８】
【発明の効果】請求項１乃至請求項４の発明によると、原稿画像に複数種類の画像が存在する場合であっても、それぞれの画像の境界線を抽出することによって領域判別を正確に行い、各領域に対して属性に応じた適切な画像処理を行うことができる。
【００６９】特に、局所領域に分割する処理を再帰的に行うので、所定の範囲内において細かく分割して精度の高い領域分割を行うことができ、しかも分割する必要のない局所領域については無駄な分割が行われないので、演算に要する時間が短縮され処理速度が向上する。
【図面の簡単な説明】
【図１】本発明に係る画像処理部を内蔵した画像読取り装置の全体の構成を示す図である。
【図２】画像処理部の構成を示すブロック図である。
【図３】領域判別部の構成を示すブロック図である。
【図４】第１の局所領域抽出部の構成を機能的に示すブロック図である。
【図５】画像補正部の構成を示すブロック図である。
【図６】ハフ変換の概念を示す図である。
【図７】属性補正処理の動作を概念的に説明するための図である。
【図８】属性補正処理の動作を概念的に説明するための図である。
【図９】局所領域への分割の方法を概念的に示す図である。
【図１０】局所領域内における再度の分割を示す図である。
【図１１】属性補正処理の全体を示すフローチャートである。
【図１２】ハフ変換による属性判別処理を示すフローチャートである。
【図１３】局所領域分割処理を示すフローチャートである。
【図１４】属性補正処理の他の例を示すフローチャートである。
【符号の説明】
３６ 画像補正部（画像処理を行う手段）
４１ 特徴量抽出部（特徴量抽出手段）
４２ 属性判別部（画素属性判別手段）
５２ 境界点抽出部（境界点を抽出する手段）
５３ ハフ変換部（極座標平面上の曲線に変換する手段）
５４ 交点検出部（交点を検出する手段）
５５ 逆変換部（境界線を生成する手段）
５６ 局所領域抽出部（局所領域として抽出する手段）
５７ 属性判別部（局所領域属性判別手段）
ＡＭ 属性補正部（第１の局所領域抽出手段、第２の局所領域抽出手段、局所領域属性判別手段）
ＡＭＥ１ 第１の局所領域抽出部（第１の局所領域抽出手段）
【０００１】
【発明の属する技術分野】本発明は、文字画像、網点画像、又は濃淡画像（写真画像）など、種々の属性の画像が混在する原稿画像に対し、その属性に応じた適切な画像処理を行うことのできる画像処理方法及び装置に関し、例えばデジタル複写機などに利用される。
【０００２】
【従来の技術】複写機などで使用される原稿には、文字画像のみの原稿、写真画像のみの原稿、網点画像のみの原稿の他、それらが混在している原稿がしばしば用いられる。これら種々の画像に対する画像処理は，それぞれの特性に適応した処理が望ましい。
【０００３】そのためには、原稿画像を、文字／写真／網点などの属性に応じた領域に分割する領域判別を正確に行う必要がある。従来の領域判別においては、原稿画像内の画素毎に、注目画素とその周辺画素との間の濃度差、注目画素を含む領域内の最大値と最小値との差、又はヒストグラムなどの濃度情報に基づいて、注目画素の属性を判定する方法がしばしば用いられている。また、注目画素を含む領域内の周波数成分からその領域内の属性を判別する方法も知られている。これらの領域判別のために、ニューラルネットがしばしば用いられる。
【０００４】
【発明が解決しようとする課題】ところが、上述した従来の領域判別方法では、原稿画像内の画素毎の属性、又は周辺画素を含めた狭い領域の属性を判別するものであるため、各領域における属性に誤判別がしばしば発生する。
【０００５】そのため、原稿画像における実際の１つの属性の領域内に、異なる属性であると誤判別された複数の属性の領域が点在することとなる可能性がある。そうすると、実際には同一の属性の領域であるにも係わらず、誤判別された属性に対応する内容の複数種類の画像処理が実行されることとなり、誤判別による画質劣化が生じるという問題があった。
【０００６】本発明は、上述の問題に鑑みてなされたもので、原稿画像に複数種類の画像が存在する場合であっても、それぞれの画像の境界線を抽出することによって領域判別を正確に行い、各領域に対して属性に応じた適切な画像処理を行うことのできる画像処理方法及び装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】請求項１の発明に係る方法は、入力された画像について画素毎に特徴量を抽出し、前記特徴量に基づき画素毎に属性を判別して画素属性情報を生成し、前記画素属性情報に基づいて、ハフ変換を適用して前記画像を辺の長さが所定の範囲内である矩形の局所領域に分割する処理を再帰的に行い、且つ分割した局所領域について属性を判別することによって前記画素属性情報を補正し、補正された属性情報に基づいて前記局所領域に対し属性に対応した画像処理を行う。
【０００８】請求項２の発明に係る装置は、入力された画像について画素毎に特徴量を抽出する特徴量抽出手段と、前記特徴量に基づき画素毎に属性を判別して画素属性情報を生成する画素属性判別手段と、前記画素属性情報に基づいて、ハフ変換を適用して前記画像を辺の長さが所定の範囲内である局所領域に分割する第１の局所領域抽出手段と、前記局所領域内においてハフ変換を適用し辺の長さが所定の範囲内である局所領域に再分割する処理を再帰的に行う第２の局所領域抽出手段と、分割した各局所領域について属性を判別する局所領域属性判別手段と、前記局所領域毎にその属性に対応した画像処理を行う手段と、を有して構成される。
【０００９】請求項３の発明に係る装置では、前記第１の局所領域抽出手段における所定の範囲は、所定の長さＬＧ１以上であり、前記第２の局所領域抽出手段における所定の範囲は、所定の長さＬＧ２（ＬＧ２＜ＬＧ１）以上であり且つ分割しようとする局所領域の辺の長さに対して所定割合の長さ以上である。
【００１０】請求項４の発明に係る装置では、前記第１の局所領域抽出手段及び前記第２の局所領域抽出手段は、画素毎に判別された属性に基づいて境界に位置する画素である境界点を抽出する手段と、直交座標平面における前記各境界点に対しハフ変換を適用して極座標平面上の曲線に変換する手段と、極座標平面に変換された各曲線の交点を検出する手段と、検出された交点の極座標を直交座標平面上の直線に逆変換することによって境界線を生成する手段と、前記境界線によって囲まれた領域を局所領域として抽出する手段と、を有してなる。
【００１１】本発明による処理を図７及び図８を参照して説明する。図７（Ａ）に概念的に示す原画像ＲＦに対し画素毎に属性判別を行うと、図７（Ｂ）に示すように、領域Ａ１であると判別された画素ＧＡ１と領域Ａ２であると判別された画素ＧＡ２とが混在した属性マップＭＰ１が得られる。
【００１２】図７（Ｂ）に示す属性マップＭＰ１に対し雑音除去を施すことによって、図７（Ｃ）に示す属性マップＭＰ２が得られる。図８（Ｄ）は、図７（Ｃ）に示す属性マップＭＰ２に対して、領域Ａ２と非領域Ａ２との境界点ＧＢを抽出した結果を示す境界マップＭＰ３である。
【００１３】境界点ＧＢに対しハフ変換を適用して所定の長さＬＧ１以上の線分ＬＢ３，ＬＢ４を検出した結果が、図８（Ｅ）に示されている。線分ＬＢ３，ＬＢ４を境界線として、４つの局所領域ＡＬ１〜４に分割されている。
【００１４】これらの各局所領域ＡＬ１〜４に対して、同様に再度ハフ変換を適用した局所領域ＡＬへの分割が再帰的に行われる。その場合に、所定の長さＬＧ２（ＬＧ２＜ＬＧ１）以上であり且つ分割しようとする局所領域ＡＬの辺の長さに対して所定割合の長さ以上の線分が検出された場合にのみ再分割を行う。再分割の結果得られた局所領域ＡＬのそれぞれにおいて、属性の判別が行われる。
【００１５】図８（Ｆ）は、各局所領域ＡＬ１〜４において、画素ＧＡ１の数と画素ＧＡ２の数との多い方の画素ＧＡの属性を採用した結果を示す。すなわち、局所領域ＡＬ１及び２は領域Ａ１、局所領域ＡＬ３及び４は領域Ａ２となっており、これは原画像ＲＦの実際の領域Ａ１，Ａ２に近い。
【００１６】本発明の方法を実行するために、又は本発明の各手段を実現するために、所定のプログラムを実行するＭＰＵ又はＣＰＵ、半導体メモリ又は他の記憶媒体、ニューラルネットワーク、ハードウエア回路などが適宜用いられる。
【００１７】本発明によると、画素毎の領域判別結果に対してハフ変換を適用し、画像を複数の局所領域に再帰的に分割してそれぞれの局所領域について属性を決定するので、局所領域内においては同一の属性となって均一な画像処理が可能となり、誤判別による画質劣化が防止される。
【００１８】
【発明の実施の形態】図１は本発明に係る画像処理部２３を内蔵した画像読取り装置１の全体の構成を示す図である。
【００１９】図１において、画像読取り装置１は、本体１０、原稿カバー１１、原稿載置ガラス１２、露光ランプ１３、ミラー１４ａ，ｂ，ｃ、レンズ１５、ＣＣＤセンサ１６、スライダー駆動部１７、操作パネル部２１、制御部２２、及び画像処理部２３などから構成されている。
【００２０】原稿載置ガラス１２の上に載置された原稿ＤＲは、露光ランプ１３によって照射される。原稿ＤＲからの反射光は、ミラー１４ａ，ｂ，ｃによってレンズ１５に導かれ、原稿ＤＲの画像がＣＣＤセンサ１６上で結像する。
【００２１】露光ランプ１３及びミラー１４ａ，ｂ，ｃは、スライダー駆動部１７によって倍率に応じた速度で移動され、原稿載置ガラス１２の上に載置された原稿ＤＲをその全面にわたって走査する。
【００２２】ＣＣＤセンサ１６に入射した原稿ＤＲの反射光は、ＣＣＤセンサ１６によって電気信号である画像信号ＳＰに変換され、画像処理部２３に入力される。画像処理部２３において、画像信号ＳＰに対し、種々のアナログ信号処理、Ａ／Ｄ変換、及びデジタル画像処理が順次行われる。画像処理が行われた画像データＤＯは、外部機器２４、例えば画像メモリ又はプリンタ部へ出力される。
【００２３】図２は画像処理部２３の構成を示すブロック図である。画像処理部２３は、Ａ／Ｄ変換部３１、シェーディング補正部３２、ＬＯＧ補正部３３、画像格納部３４、領域判別部３５、及び画像補正部３６から構成されている。
【００２４】ＣＣＤセンサ１６から出力された画像信号ＳＰは、Ａ／Ｄ変換部３１によってデジタル信号である画像データＤ１に変換され、シェーディング補正部３２及びＬＯＧ補正部３３を経て画像格納部３４に格納される。画像格納部３４に格納された画像データＤ３に基づいて、領域判別部３５によって局所領域毎の属性が判別され、属性情報ＤＡ２が出力される。画像補正部３６においては、領域判別部３５における判別結果に応じてパラメータが切り換えられ、画像データＤ３に対し局所領域毎にその属性に対応した画像処理が行われる。
【００２５】図３は領域判別部３５の構成を示すブロック図である。領域判別部３５は、特徴量抽出部４１、属性判別部４２、演算部４３、属性格納部４４、及び局所領域属性格納部４５から構成される。
【００２６】特徴量抽出部４１は、入力された画像データＤ３について画素毎に特徴量ＤＣを抽出する。特徴量抽出部４１として、例えばラプラシアンフィルタが用いられる。属性判別部４２は、特徴量ＤＣに基づいて画素毎に属性を判別し、属性情報ＤＡ１を出力する。属性情報ＤＡ１は、本発明における画素属性情報である。属性情報ＤＡ１は属性格納部４４に格納される。
【００２７】演算部４３は、属性情報ＤＡ１に基づいて、局所領域毎の属性を判別する演算を行って補正された属性情報ＤＡ２を出力する。すなわち、演算部４３は、属性情報ＤＡ１に基づいて、属性の境界に位置する画素に対しハフ変換を適用して画像を辺の長さが所定の範囲内である矩形の局所領域に分割する処理を再帰的に行い、且つ分割した局所領域について属性を判別することによって属性情報ＤＡ１を補正し、補正された属性情報である属性情報ＤＡ２を出力する。
【００２８】局所領域への分割又は抽出に当たっては、ハフ変換を適用して所定の長さＬＧ１以上の線分を検出し、検出した線分によって囲まれる矩形の領域を局所領域とする。次に、抽出された局所領域に対して、ハフ変換を再度適用して所定の長さＬＧ２（ＬＧ２＜ＬＧ１）以上であり且つ当該局所領域の縦又は横のそれぞれの辺の長さに対して所定割合の長さ以上の線分を検出し、線分が検出された場合にその線分によって囲まれる矩形の領域を局所領域とする。このように、ハフ変換を適用した局所領域の抽出を線分が検出されなくなるまで再帰的に行う。
【００２９】したがって、画像格納部３４から読み出された画像データＤ３は、特徴量抽出部４１において画素毎の特徴量ＤＣが抽出され，属性判別部４２において画素毎の属性が判別され、得られた属性情報ＤＡ１が属性格納部４４に格納される。属性格納部４４に格納された属性情報ＤＡ１は演算部４３により読み出され、ハフ変換を適用して局所領域ＡＬの抽出及びその属性の判別が行われる。判別結果である属性情報ＤＡ２は局所領域属性格納部４５に格納される。
【００３０】演算部４３及び属性格納部４４によって、属性補正部ＡＭが構成されている。属性補正部ＡＭは、本発明における第１の局所領域抽出手段、第２の局所領域抽出手段、及び局所領域属性判別手段に相当する。次に、属性補正部ＡＭにおける第１の局所領域抽出手段に相当する部分である第１の局所領域抽出部ＡＭＥ１の機能的な構成について説明する。第２の局所領域抽出手段の機能的な構成は、第１の局所領域抽出手段と同一であるので、説明を省略する。局所領域属性判別手段については、図示は省略したが、属性判別部５７として以下に説明する。
【００３１】図４は第１の局所領域抽出部ＡＭＥ１の構成を機能的に示すブロック図である。第１の局所領域抽出部ＡＭＥ１は、ノイズ除去処理部５１、境界点抽出部５２、ハフ変換部５３、交点検出部５４、逆変換部５５、及び局所領域抽出部５６から構成されている。
【００３２】ノイズ除去処理部５１は、属性情報ＤＡ１に含まれるノイズを除去するための処理を行う。ノイズ除去処理部５１では、ある画像の領域に含まれる小さな面積の他の画像の領域を削除する。例えば、写真画像及び網点画像の候補領域に含まれる１４ポイントの文字サイズ以下の面積領域を除去する。これによって属性情報ＤＡ１ａが得られる。
【００３３】境界点抽出部５２は、画素毎に判別された属性の情報である属性情報ＤＡ１ａに基づいて、境界に位置する画素である境界点ＰＢを抽出する。ハフ変換部５３は、直交座標平面における各境界点ＰＢに対し、ハフ変換（Ｈｏｕｇｈ変換）を適用して極座標平面上の曲線に変換する。交点検出部５４は、極座標平面に変換された各曲線の交点ＰＣを検出する。逆変換部５５は、検出された交点ＰＣの極座標を直交座標平面上の直線に逆変換することによって境界線ＬＢを生成する。局所領域抽出部５６は、境界線ＬＢによって囲まれた領域を局所領域ＡＬとして抽出する。
【００３４】属性判別部５７は、局所領域ＡＬ毎の属性を判別し、その判別結果である属性情報ＤＡ２を出力する。局所領域ＡＬ毎の属性の判別に当たっては、画素毎に判別された属性が用いられる。例えば、１つの局所領域ＡＬ内において、特定の属性の画素が５０パーセント以上あれば、その画素の属性を局所領域ＡＬの属性とする。また、局所領域ＡＬ内に３種類以上の属性の画素が混在する場合には、それらのうちの画素数の最も多い属性を局所領域ＡＬの属性とする。
【００３５】図５は画像補正部３６の構成を示すブロック図である。図５において、画像補正部３６は、変倍／移動処理部６１、ＭＴＦ補正部６２、濃度補正部６３、及び２値化処理部６４から構成される。これらの各部において、それぞれの処理のためのパラメータが、領域判別部３５から出力される属性情報ＤＡ２に基づいて設定される。これによって、局所領域ＡＬ毎に、その属性に対応した画像処理が行われる。例えば、文字領域に対してはエッジ強調処理、写真画像に対しては平滑化処理、網点画像に対してはフィルタリング処理などが行われる。
【００３６】次に、領域判別部３５の処理動作、特に属性情報ＤＡの処理動作についてさらに詳しく説明する。まず、ハフ変換について簡単に説明する。図６はハフ変換の概念を示す図である。このうち、図６（Ａ）はｘ−ｙ空間（直交座標平面）における各点Ａ〜Ｇの位置を示し、図６（Ｂ）は各点Ａ〜Ｇをハフ変換によってρ−θ空間（極座標平面）上に表した曲線を示す。
【００３７】ハフ変換は、画像の中から、直線、円、楕円などの図形を検出するための方法である。特に、Ｄｕｄａ ａｎｄ Ｈａｒｔの方法による直線検出方法がよく用いられており、本実施形態においてもこの方法を用いる。この方法においては、直線を、ρ＝ｘｃｏｓθ＋ｙｓｉｎθ ……（１）
で表現する。ここで、ρは原点から直線へ下ろした垂線の長さ、θは垂線とｘ軸のなす角度である。
【００３８】図６（Ａ）に示すｘ−ｙ空間上の点、例えばＡ点（ｘ0 ，ｙ0 ）は、（１）式によると、図６（Ｂ）に示すρーθ空間においては、１本の正弦曲線の軌跡ρ＝ｘ0 ｃｏｓθ＋ｙ0 ｓｉｎθに対応する。
【００３９】これとは逆に、ρ−θ空間における１本の正弦曲線の軌跡は、ｘ−ｙ空間において（ｘ0 ，ｙ0 ）を通る総ての直線群を表している。したがって、ｘ−ｙ空間における１本の直線上の各点をそれぞれρ−θ空間に変換した場合、これらの点からρ−θ空間上に作られる各正弦曲線の軌跡は一点で交わることとなる。軌跡の交わった点を逆変換することによって、ｘ−ｙ空間に１本の直線が得られる。つまり、この方法によれば、離散的な点に基づいて、換言すれば直線にとぎれのある場合であっても、１本の直線を検出することができる。
【００４０】図６（Ａ）において、ｘ−ｙ空間上の点Ａ，Ｂ，Ｃ，Ｄは１本の直線ＬＢ１上の点である。直線ＬＢ１において、θはπ／４である。これらの各点をハフ変換によりρ−θ空間上に変換すると、図６（Ｂ）に示すように、それぞれ正弦曲線の軌跡となり、それぞれの軌跡は交点αで交わる。
【００４１】同様に、ｘ−ｙ空間上の点Ｅ，Ｂ，Ｆ，Ｇは１本の直線ＬＢ２上の点である。直線ＬＢ２において、θはπ／２である。これらの各点をハフ変換によりρ−θ空間上に変換すると、図６（Ｂ）に示すような正弦曲線の軌跡となり、それぞれの軌跡は交点βで交わる。
【００４２】このように、ｘ−ｙ空間において軸に平行又は垂直な直線は、ρ−θ空間においてはθ＝０、π／２、πの位置に交点がある。したがって、θ＝０、π／２、πの位置に交点があった場合に、その交点をｘ−ｙ空間上に逆変換することによって、直線（線分）を求めることができる。
【００４３】直線を求めるための具体的な手法としては、原画像から直線の要素候補となる画素位置を検出し、その画素位置に対応するρ−θ空間上の軌跡の各点を求める。得られた各点によって、ρ−θ空間における座標位置に対しカウントアップする。ある閾値以上のカウント値をもつ点（極大値点）が交点であるから、その極大値点に対し（１）式を用いて逆変換を施すことによって、ｘ−ｙ平面上の直線が抽出される。
【００４４】また、その極大値点を通る軌跡に対応するｘ−ｙ平面上の座標位置に基づいて、直線（線分）の長さが検出される。例えば、図６において、Ａ，Ｂ，Ｃ，Ｄの各点が直線上にあることが検出された場合に、これら４点の中の端の点Ｅ及びＧを検出し、これら２点間の距離を測定すればよい。したがって、所定の長さ以上の線分のみを抽出することが可能である。
【００４５】次に、画像読取り装置１における属性補正処理の動作を説明する。図７及び図８は属性補正処理の動作を概念的に説明するための図である。図７（Ａ）には、原稿ＤＲの画像である原画像ＲＦについて、属性の異なる２つの領域Ａ１及び領域Ａ２の境界部が示されている。なお、領域Ａ１は、領域Ａ２でない領域、つまり非領域Ａ２である。原画像ＲＦに対し、画素毎に属性判別を行うと、図７（Ｂ）に示すように、領域Ａ１であると判別された画素ＧＡ１と領域Ａ２であると判別された画素ＧＡ２とが混在した属性マップＭＰ１が得られる。各画素ＧＡ１は白色で、各画素ＧＡ２は灰色で、それぞれ示されている。
【００４６】図７（Ｂ）に示す属性マップＭＰ１によると、一方の領域が他方の領域に入り込んだ状態となっており、雑音の混じった状態である。属性マップＭＰ１に対し雑音除去を施すことによって、図７（Ｃ）に示す属性マップＭＰ２が得られる。雑音除去を施すことによって、境界点の個数が減少して演算時間が低減し、且つ誤判別も減少する。なお、雑音除去処理の方法として、ある所定サイズ以下の面積領域を削除する方法、ある所定サイズのマトリクス内の属性カウント値に応じて属性マップを補正する方法などがある。
【００４７】図８（Ｄ）は、図７（Ｃ）に示す属性マップＭＰ２に対して、領域Ａ２と非領域Ａ２との境界点ＧＢを抽出した結果を示す境界マップＭＰ３である。なお境界点ＧＢは画素ＧＡ２について検出されており、画素ＧＡ２について、画素ＧＡ１との境界部分が境界点ＧＢとして抽出されている。各境界点ＧＢは黒色で示されている。
【００４８】境界点ＧＢに対しハフ変換を適用して所定の長さ以上の線分ＬＢ３，ＬＢ４を検出した結果が、図８（Ｅ）に示されている。線分ＬＢ３，ＬＢ４を境界線として、４つの局所領域ＡＬ１〜４に分割されている。これらの局所領域ＡＬ１〜４のそれぞれにおいて、属性の判別が行われる。
【００４９】図８（Ｆ）は、各局所領域ＡＬ１〜４において、画素ＧＡ１の数と画素ＧＡ２の数との多い方の画素ＧＡの属性を採用した結果を示す。すなわち、局所領域ＡＬ１及び２は領域Ａ１、局所領域ＡＬ３及び４は領域Ａ２となっており、これは原画像ＲＦの実際の領域Ａ１，Ａ２に近い。なお、各局所領域ＡＬの属性を判別するに当たって、各局所領域ＡＬ内において、それぞれの画素ＧＡ１，ＧＡ２の数をカウントし、カウント値の大きい画素ＧＡの属性を採用すればよい。
【００５０】なお、図８における説明では、局所領域ＡＬへの分割を１回のみ行うように説明したが、画像読取り装置１においては、誤判別をできるだけ低減するため、分割された局所領域ＡＬに対し、所定の長さＬＧ２以上の線分が検出されなくなるまで、局所領域ＡＬへの分割を再帰的に行う。
【００５１】次に、属性補正処理における局所領域ＡＬの分割方法について詳しく説明する。図９は局所領域ＡＬへの分割の方法を概念的に示す図、図１０は局所領域ＡＬ内における再度の分割を示す図である。
【００５２】図９（Ａ）に示す原画像ＲＦ１は、文字画像領域Ａ３及び写真画像領域Ａ４を有している。原画像ＲＦ１に対して、先に説明したようにハフ変換を適用して境界線ＬＢを引き、図９（Ｂ）に示すように境界線ＬＢで囲まれた複数の局所領域ＡＬに分割する。ここで、境界線ＬＢは、所定の長さＬＧ１以上の線分を検出した場合に、その線分を画像全体に延長したものである。さらに、分割された局所領域ＡＬ内において、上述と同様に再度ハフ変換を適用し、所定の長さＬＧ２以上の線分を抽出する。抽出された線分を境界線ＬＢとし、その局所領域ＡＬを再分割する。
【００５３】図１０（Ａ）には、図９（Ｂ）に示された１つの局所領域ＡＬ０が示されている。局所領域ＡＬ０は、境界線ＬＢ５〜８によって囲まれた領域である。局所領域ＡＬ０内において再分割を行うことによって、２つの境界線ＬＢ９，ＬＢ１０が抽出され、これによって図１０（Ｂ）に示すように４つの局所領域ＡＬ００、ＡＬ０１、ＡＬ１０、ＡＬ１１に分割される。
【００５４】ここで、ハフ変換の適用により抽出される線分の長さについて具体例を挙げると、１回目の分割においては、所定の長さＬＧ１を例えば１ｃｍとする。これは、４００ｄｐｉの密度において約１５０ｄｏｔに相当する。その場合に、２回目以降の分割においては、所定の長さＬＧ２を１ｃｍよりも小さくし、且つ局所領域ＡＬの縦及び横の長さについてそれぞれ３０％以上とする。なお、所定の長さＬＧ１を、数ｍｍ乃至数ｃｍの範囲の適当な値に設定してもよい。但し、所定の長さＬＧが小さくなると精度はよいが演算に時間がかかる。大きくなると演算速度は速いが誤判別の生じる率が高くなる。
【００５５】分割されたそれぞれの局所領域ＡＬにおいて、その属性が判別される。図１０（Ｂ）で明らかなように、局所領域ＡＬ０内において抽出された境界線ＬＢ９，ＬＢ１０によって分割されるのは、局所領域ＡＬ０の内部のみである。したがって、分割する必要のない局所領域ＡＬについては無駄な分割が行われないので、演算に要する時間が短縮される。
【００５６】上述の実施形態によると、原画像ＲＦに文字／写真／網点などの複数種類の画像が存在する場合であっても、ハフ変換を適用してそれぞれの画像の境界線ＬＢを抽出することによって領域判別を正確に行い、各局所領域ＡＬに対して属性に応じた適切な画像処理を行うことができる。
【００５７】次に、属性補正処理についてフローチャートを参照して説明する。図１１は属性補正処理の全体を示すフローチャート、図１２はハフ変換による属性判別処理を示すフローチャート、図１３は局所領域分割処理を示すフローチャートである。
【００５８】図１１において、各画素毎に属性を判別し（＃１１）、属性マップＭＰを作成し（＃１２）、ハフ変換による属性判別処理を行う（＃１３）。図１２において、孤立点を除去することにより雑音を取り除いた後（＃２１）、境界点ＧＢを検出する（＃２２）。そして局所領域分割処理を行い（＃２３）、属性を決定する（＃２４）。
【００５９】図１３において、ハフ変換を行い（＃３１）、一辺の長さが所定の長さＬＧ１以上である局所領域ＡＬに分割する（＃３２）。次に、局所領域内においてハフ変換を行い（＃３３）、一辺の長さが所定の長さＬＧ２以上であり且つ当該局所領域ＡＬの縦及び横の長さについてそれぞれ所定の割合以上である局所領域ＡＬに分割する（＃３４、３６）。局所領域ＡＬの再分割ができなくなれば（＃３５でイエス）、リターンする。
【００６０】図１４は属性補正処理の他の例を示すフローチャートである。図１４に示すフローチャートにおいては、文字画像の領域と写真／網点画像の領域とで属性情報ＤＡの補正処理の内容が異なる。
【００６１】各画素毎に属性を判別し（＃４１）、属性毎に属性マップＭＰを作成する（＃４２）。つまり、文字、写真、及び網点の各画像の候補領域毎に属性マップＭＰを作成する。
【００６２】写真又は網点の候補領域に対しては（＃４３でノー）、それぞれの属性マップＭＰについてノイズ除去処理が行われる（＃４４）。ここでは、候補領域に含まれる最大文字サイズ（１４ポイント）よりも小さい面積領域を除去する。これによってノイズの大半が除去される。そして、境界点抽出処理が行われ（＃４５）、局所領域分割処理が行われ（＃４６）、属性の決定が行われる（＃４７）。
【００６３】文字画像の候補領域に対しては（＃４３でイエス）、写真又は網点の領域と重なる部分を削除する（＃４８）。ここでの処理は、写真及び網点の領域をステップ＃４７で決定した後に行われる。残った文字画像の領域について、モホロジー処理の１種であるクロージング（Ｃｌｏｓｉｎｇ）処理を行う（＃４９）。クロージング処理では、最大文字サイズ（１４ポイント）相当のディスクフィルタを用い、画像を一旦太らせた後に縮める処理を行う。
【００６４】その後、文字、写真及び網点の各画像の領域を合成する（＃５０）。ここでは、画素毎の属性の判別の精度のよい順、例えば、網点、写真、文字の順に優先して合成する。つまり、領域が互いに重複する場合には、網点、写真、文字の順に優先して領域を確保する。
【００６５】写真画像に含まれる髪の毛の画像は、画素毎の属性判別において文字画像又は網点画像であると誤判別されることがしばしばあるが、図１４のフローチャートによると、それらの領域に対してハフ変換を適用することにより、そのような誤判別が補正され、正しく写真画像であると判別される。また、文字画像は、その中に網点画像が含まれていると誤判別されることがあるが、文字画像に対してクロージング処理を行うことにより、及び網点画像に対してハフ変換による属性判別処理を行うことにより、領域が正しく判別される。
【００６６】すなわち、図１４のフローチャートによると、まず、原画像ＲＦに対して、写真、網点、文字のそれぞれの属性を画素毎に判別して属性マップをそれぞれ生成する。次に、それぞれの属性マップに対して、ハフ変換による属性補正処理（＃４６）、ハフ変換以外の処理による属性補正処理（＃４９）を行い、これによってそれぞれ補正された属性マップを得る。そして、補正された属性マップを合成する。
【００６７】上述の実施形態において、画像補正部３６、属性補正部ＡＭ、第１の局所領域抽出部ＡＭＥ１、属性判別部５７、又は局所領域属性格納部４５の構成、処理内容、処理順序、処理タイミング、その他、画像読取り装置１の全体又は各部の構成などは、本発明の主旨に沿って適宜変更することができる。
【００６８】
【発明の効果】請求項１乃至請求項４の発明によると、原稿画像に複数種類の画像が存在する場合であっても、それぞれの画像の境界線を抽出することによって領域判別を正確に行い、各領域に対して属性に応じた適切な画像処理を行うことができる。
【００６９】特に、局所領域に分割する処理を再帰的に行うので、所定の範囲内において細かく分割して精度の高い領域分割を行うことができ、しかも分割する必要のない局所領域については無駄な分割が行われないので、演算に要する時間が短縮され処理速度が向上する。
【図面の簡単な説明】
【図１】本発明に係る画像処理部を内蔵した画像読取り装置の全体の構成を示す図である。
【図２】画像処理部の構成を示すブロック図である。
【図３】領域判別部の構成を示すブロック図である。
【図４】第１の局所領域抽出部の構成を機能的に示すブロック図である。
【図５】画像補正部の構成を示すブロック図である。
【図６】ハフ変換の概念を示す図である。
【図７】属性補正処理の動作を概念的に説明するための図である。
【図８】属性補正処理の動作を概念的に説明するための図である。
【図９】局所領域への分割の方法を概念的に示す図である。
【図１０】局所領域内における再度の分割を示す図である。
【図１１】属性補正処理の全体を示すフローチャートである。
【図１２】ハフ変換による属性判別処理を示すフローチャートである。
【図１３】局所領域分割処理を示すフローチャートである。
【図１４】属性補正処理の他の例を示すフローチャートである。
【符号の説明】
３６ 画像補正部（画像処理を行う手段）
４１ 特徴量抽出部（特徴量抽出手段）
４２ 属性判別部（画素属性判別手段）
５２ 境界点抽出部（境界点を抽出する手段）
５３ ハフ変換部（極座標平面上の曲線に変換する手段）
５４ 交点検出部（交点を検出する手段）
５５ 逆変換部（境界線を生成する手段）
５６ 局所領域抽出部（局所領域として抽出する手段）
５７ 属性判別部（局所領域属性判別手段）
ＡＭ 属性補正部（第１の局所領域抽出手段、第２の局所領域抽出手段、局所領域属性判別手段）
ＡＭＥ１ 第１の局所領域抽出部（第１の局所領域抽出手段）
【特許請求の範囲】
【請求項１】入力された画像について画素毎に特徴量を抽出し、前記特徴量に基づき画素毎に属性を判別して画素属性情報を生成し、前記画素属性情報に基づいて、ハフ変換を適用して前記画像を辺の長さが所定の範囲内である矩形の局所領域に分割する処理を再帰的に行い、且つ分割した局所領域について属性を判別することによって前記画素属性情報を補正し、補正された属性情報に基づいて前記局所領域に対し属性に対応した画像処理を行う、ことを特徴とする画像処理方法。
【請求項２】入力された画像について画素毎に特徴量を抽出する特徴量抽出手段と、前記特徴量に基づき画素毎に属性を判別して画素属性情報を生成する画素属性判別手段と、前記画素属性情報に基づいて、ハフ変換を適用して前記画像を辺の長さが所定の範囲内である局所領域に分割する第１の局所領域抽出手段と、前記局所領域内においてハフ変換を適用し辺の長さが所定の範囲内である局所領域に再分割する処理を再帰的に行う第２の局所領域抽出手段と、分割した各局所領域について属性を判別する局所領域属性判別手段と、前記局所領域毎にその属性に対応した画像処理を行う手段と、を有してなることを特徴とする画像処理装置。
【請求項３】前記第１の局所領域抽出手段における所定の範囲は、所定の長さＬＧ１以上であり、前記第２の局所領域抽出手段における所定の範囲は、所定の長さＬＧ２（ＬＧ２＜ＬＧ１）以上であり且つ分割しようとする局所領域の辺の長さに対して所定割合の長さ以上である、請求項２記載の画像処理装置。
【請求項４】前記第１の局所領域抽出手段及び前記第２の局所領域抽出手段は、画素毎に判別された属性に基づいて境界に位置する画素である境界点を抽出する手段と、直交座標平面における前記各境界点に対しハフ変換を適用して極座標平面上の曲線に変換する手段と、極座標平面に変換された各曲線の交点を検出する手段と、検出された交点の極座標を直交座標平面上の直線に逆変換することによって境界線を生成する手段と、前記境界線によって囲まれた領域を局所領域として抽出する手段と、を有してなる請求項２又は請求項３記載の画像処理装置。
【請求項１】入力された画像について画素毎に特徴量を抽出し、前記特徴量に基づき画素毎に属性を判別して画素属性情報を生成し、前記画素属性情報に基づいて、ハフ変換を適用して前記画像を辺の長さが所定の範囲内である矩形の局所領域に分割する処理を再帰的に行い、且つ分割した局所領域について属性を判別することによって前記画素属性情報を補正し、補正された属性情報に基づいて前記局所領域に対し属性に対応した画像処理を行う、ことを特徴とする画像処理方法。
【請求項２】入力された画像について画素毎に特徴量を抽出する特徴量抽出手段と、前記特徴量に基づき画素毎に属性を判別して画素属性情報を生成する画素属性判別手段と、前記画素属性情報に基づいて、ハフ変換を適用して前記画像を辺の長さが所定の範囲内である局所領域に分割する第１の局所領域抽出手段と、前記局所領域内においてハフ変換を適用し辺の長さが所定の範囲内である局所領域に再分割する処理を再帰的に行う第２の局所領域抽出手段と、分割した各局所領域について属性を判別する局所領域属性判別手段と、前記局所領域毎にその属性に対応した画像処理を行う手段と、を有してなることを特徴とする画像処理装置。
【請求項３】前記第１の局所領域抽出手段における所定の範囲は、所定の長さＬＧ１以上であり、前記第２の局所領域抽出手段における所定の範囲は、所定の長さＬＧ２（ＬＧ２＜ＬＧ１）以上であり且つ分割しようとする局所領域の辺の長さに対して所定割合の長さ以上である、請求項２記載の画像処理装置。
【請求項４】前記第１の局所領域抽出手段及び前記第２の局所領域抽出手段は、画素毎に判別された属性に基づいて境界に位置する画素である境界点を抽出する手段と、直交座標平面における前記各境界点に対しハフ変換を適用して極座標平面上の曲線に変換する手段と、極座標平面に変換された各曲線の交点を検出する手段と、検出された交点の極座標を直交座標平面上の直線に逆変換することによって境界線を生成する手段と、前記境界線によって囲まれた領域を局所領域として抽出する手段と、を有してなる請求項２又は請求項３記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１１】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１１】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【公開番号】特開平１０−２８３４７６
【公開日】平成１０年（１９９８）１０月２３日
【国際特許分類】
【出願番号】特願平９−８６１５９
【出願日】平成９年（１９９７）４月４日
【出願人】（０００００６０７９）ミノルタ株式会社 (155)
【公開日】平成１０年（１９９８）１０月２３日
【国際特許分類】
【出願日】平成９年（１９９７）４月４日
【出願人】（０００００６０７９）ミノルタ株式会社 (155)
[ Back to top ]