画像処理装置、画像処理方法及びコンピュータプログラム
【課題】背景が含まれる場合であっても、背景の明るさの影響を低減して検査対象物表面の明るさを自動的に調整することができる画像処理装置、該画像処理装置で実行する画像処理方法及びコンピュータプログラムを提供する。
【解決手段】検査対象物を含む撮像領域を撮像する撮像部と、撮像領域を前記撮像部で撮像した画像に対して画像処理を実行する画像処理部とを備える。画像処理部は、撮像部から出力された画像の撮像領域内に設けられ、各々が複数の画素を含む複数の小領域ごとに、検査対象物が存在する可能性を示す特徴量を算出する。算出した特徴量に基づいて、少なくとも検査対象物を含む画像の明るさの評価値を算出し、算出した評価値に基づいて、画像の明るさを調整するための調整信号を出力する。
【解決手段】検査対象物を含む撮像領域を撮像する撮像部と、撮像領域を前記撮像部で撮像した画像に対して画像処理を実行する画像処理部とを備える。画像処理部は、撮像部から出力された画像の撮像領域内に設けられ、各々が複数の画素を含む複数の小領域ごとに、検査対象物が存在する可能性を示す特徴量を算出する。算出した特徴量に基づいて、少なくとも検査対象物を含む画像の明るさの評価値を算出し、算出した評価値に基づいて、画像の明るさを調整するための調整信号を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、背景の明るさの影響を排除し、検査対象物の表面の明るさを自動的に調整することができる画像処理装置、該画像処理装置で実行する画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
検査対象物の外観検査を実行する場合、検査対象物に照射する照明の光量を調整しないと、検査対象物の明るい部分が飽和し、表面の詳細を確認することができないという問題点があった。そこで、外観検査を実行する場合、検査対象物に照射する照明の光量を自動調整する技術が多々開発されている。
【０００３】
例えば特許文献１では、ＣＣＤラインセンサからの出力信号に基づいて、信号レベルの最大値、最小値、平均値等に基づく評価値を算出し、算出した評価値が一定範囲内に存在する場合にのみ照明の光量を調整する欠陥検査方法が開示されている。この他にも、エリアセンサからの出力信号のうち、特定領域の明るさの平均値が目標値となるように調整する技術、所定の閾値以上（以下）の明るさの画素数が所定の割合以上（以下）となるよう調整する技術等も開発されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１２１３６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、画像全体、あるいは検査対象物と背景との両方を含めた領域の明るさを自動で調整する場合、背景の明るさによって調整後の明るさが変化してしまう。したがって、背景の明るさによっては、手動で明るさを調整することが必要となるという問題点があった。また、特定の領域の明るさの平均値が目標値になるように調整する場合であっても、必ずしも特定の領域に背景が含まれないとは限らず、背景の明るさが特定の領域の明るさの平均値自体を押し上げたり、あるいは押し下げたりすることから、背景の明るさの影響を排除することが困難であるという問題点もあった。
【０００６】
本発明は、上記問題点に鑑みてなされたものであり、背景が含まれる場合であっても、背景の明るさの影響を低減して検査対象物表面の明るさを自動的に調整することができる画像処理装置、該画像処理装置で実行する画像処理方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために第１発明に係る画像処理装置は、検査対象物を含む撮像領域を撮像する撮像部と、該撮像部で撮像領域を撮像した画像に対して画像処理を実行する画像処理部とを備える画像処理装置において、前記画像処理部は、前記撮像部から出力された画像の撮像領域内に設けられ、各々が複数の画素を含む複数の小領域ごとに、検査対象物が存在する可能性を示す特徴量を算出する特徴量算出部と、算出した特徴量に基づいて、少なくとも検査対象物を含む画像の明るさの評価値を算出する評価値算出部と、算出した評価値に基づいて、画像の明るさを調整するための調整信号を出力する調整信号出力部とを備えることを特徴とする。
【０００８】
また、第２発明に係る画像処理装置は、第１発明において、前記評価値算出部は、前記複数の小領域すべてから算出した特徴量に基づいて、画像の明るさの評価値を算出することを特徴とする。
【０００９】
また、第３発明に係る画像処理装置は、第１発明において、前記評価値算出部は、検査対象物が存在する可能性を示す特徴量を有する小領域から算出した特徴量のみに基づいて、画像の明るさの評価値を算出することを特徴とする。
【００１０】
また、第４発明に係る画像処理装置は、第１乃至第３発明のいずれか１つにおいて、前記調整信号出力部から出力された調整信号に基づいて、前記撮像領域に光を照射する照明部を備えることを特徴とする。
【００１１】
また、第５発明に係る画像処理装置は、第１乃至第４発明のいずれか１つにおいて、前記撮像部は、前記調整信号出力部から出力された調整信号に基づいて、前記撮像領域を撮像する場合に用いる露光時間又はゲインを調整することを特徴とする。
【００１２】
また、第６発明に係る画像処理装置は、第１乃至第５発明のいずれか１つにおいて、前記評価値算出部は、算出した特徴量に応じて、検査対象物が存在する領域を特定するための重み係数を前記小領域ごとに算出する重み係数算出部を備え、算出した重み係数を用いて前記評価値を算出するようにしてあることを特徴とする。
【００１３】
また、第７発明に係る画像処理装置は、第６発明において、前記評価値算出部は、前記小領域ごとの重み係数に基づいて飽和画素の割合を算出する飽和画素割合算出部を備え、算出した飽和画素の割合に基づいて前記評価値を算出するようにしてあることを特徴とする。
【００１４】
また、第８発明に係る画像処理装置は、第７発明において、前記撮像部は、ダイナミックレンジを広げる変換特性に基づいて、撮像した画像をＨＤＲ画像に変換するＨＤＲ変換部を有し、前記画像処理部は、前記飽和画素の割合が所定値以上であるか否かを判断し、所定値以上であると判断した場合、前記ＨＤＲ変換部を動作させるよう制御することを特徴とする。
【００１５】
また、第９発明に係る画像処理装置は、第１乃至第８発明のいずれか１つにおいて、前記小領域を生成する小領域生成部を備え、該小領域生成部は、隣接する前記小領域の少なくとも一部が重なり合うよう前記小領域を生成するようにしてあることを特徴とする。
【００１６】
また、第１０発明に係る画像処理装置は、第９発明において、前記小領域生成部は、隣接する前記小領域の半分が重なり合うよう前記小領域を生成するようにしてあることを特徴とする。
【００１７】
また、第１１発明に係る画像処理装置は、第１乃至第１０発明のいずれか１つにおいて、前記特徴量は、画素の画素値の分散として算出するようにしてあることを特徴とする。
【００１８】
次に、上記目的を達成するために第１２発明に係る画像処理方法は、検査対象物を含む撮像領域を撮像する撮像部と、該撮像部で撮像領域を前記撮像部で撮像した画像に対して画像処理を実行する画像処理部とを備える画像処理装置で実行することが可能な画像処理方法において、前記画像処理部は、前記撮像部から出力された画像の撮像領域内に設けられ、各々が複数の画素を含む複数の小領域ごとに、検査対象物が存在する可能性を示す特徴量を算出し、算出した特徴量に基づいて、少なくとも検査対象物を含む画像の明るさの評価値を算出し、算出した評価値に基づいて、画像の明るさを調整するための調整信号を出力することを特徴とする。
【００１９】
また、第１３発明に係る画像処理方法は、第１２発明において、前記複数の小領域すべてから算出した特徴量に基づいて、画像の明るさの評価値を算出することを特徴とする。
【００２０】
また、第１４発明に係る画像処理方法は、第１２発明において、検査対象物が存在する可能性を示す特徴量を有する小領域から算出した特徴量のみに基づいて、画像の明るさの評価値を算出することを特徴とする。
【００２１】
また、第１５発明に係る画像処理方法は、第１２乃至第１４発明のいずれか１つにおいて、前記撮像部は、出力された調整信号に基づいて、前記撮像領域を撮像する場合に用いる露光時間又はゲインを調整することを特徴とする。
【００２２】
また、第１６発明に係る画像処理方法は、第１２乃至第１５発明のいずれか１つにおいて、算出した特徴量に応じて、検査対象物が存在する領域を特定するための重み係数を前記小領域ごとに算出し、算出した重み係数を用いて前記評価値を算出することを特徴とする。
【００２３】
また、第１７発明に係る画像処理方法は、第１６発明において、前記小領域ごとの重み係数に基づいて飽和画素の割合を算出し、算出した飽和画素の割合に基づいて前記評価値を算出することを特徴とする。
【００２４】
また、第１８発明に係る画像処理方法は、第１７発明において、前記撮像部は、ダイナミックレンジを広げる変換特性に基づいて、撮像した画像をＨＤＲ画像に変換し、前記画像処理部は、前記飽和画素の割合が所定値以上であるか否かを判断し、所定値以上であると判断した場合に、前記変換特性に基づいて、撮像した画像をＨＤＲ画像に変換するよう制御することを特徴とする。
【００２５】
また、第１９発明に係る画像処理方法は、第１２乃至第１８発明のいずれか１つにおいて、隣接する前記小領域の少なくとも一部が重なり合うよう前記小領域を生成することを特徴とする。
【００２６】
また、第２０発明に係る画像処理方法は、第１９発明において、隣接する前記小領域の半分が重なり合うよう前記小領域を生成することを特徴とする。
【００２７】
また、第２１発明に係る画像処理方法は、第１２乃至第２０発明のいずれか１つにおいて、前記特徴量は、画素の画素値の分散として算出することを特徴とする。
【００２８】
次に、上記目的を達成するために第２２発明に係るコンピュータプログラムは、検査対象物を含む撮像領域を撮像する撮像部と、該撮像部で撮像領域を撮像した画像に対して画像処理を実行する画像処理部とを備える画像処理装置で実行することが可能なコンピュータプログラムにおいて、前記画像処理部を、前記撮像部から出力された画像の撮像領域内に設けられ、各々が複数の画素を含む複数の小領域ごとに、検査対象物が存在する可能性を示す特徴量を算出する特徴量算出手段、算出した特徴量に基づいて、少なくとも検査対象物を含む画像の明るさの評価値を算出する評価値算出手段、及び算出した評価値に基づいて、画像の明るさを調整するための調整信号を出力する調整信号出力手段として機能させることを特徴とする。
【００２９】
また、第２３発明に係るコンピュータプログラムは、第２２発明において、前記評価値算出手段を、前記複数の小領域すべてから算出した特徴量に基づいて、画像の明るさの評価値を算出する手段として機能させることを特徴とする。
【００３０】
また、第２４発明に係るコンピュータプログラムは、第２２発明において、前記評価値算出手段を、検査対象物が存在する可能性を示す特徴量を有する小領域から算出した特徴量のみに基づいて、画像の明るさの評価値を算出する手段として機能させることを特徴とする。
【００３１】
また、第２５発明に係るコンピュータプログラムは、第２２乃至第２４発明のいずれか１つにおいて、前記評価値算出手段を、算出した特徴量に応じて、検査対象物が存在する領域を特定するための重み係数を前記小領域ごとに算出する重み係数算出手段、及び算出した重み係数を用いて前記評価値を算出する手段として機能させることを特徴とする。
【００３２】
また、第２６発明に係るコンピュータプログラムは、第２５発明において、前記評価値算出手段を、前記小領域ごとの重み係数に基づいて飽和画素の割合を算出する飽和画素割合算出手段、及び算出した飽和画素の割合に基づいて前記評価値を算出する手段として機能させることを特徴とする。
【００３３】
また、第２７発明に係るコンピュータプログラムは、第２６発明において、前記画像処理部を、前記飽和画素の割合が所定値以上であるか否かを判断する手段、及び所定値以上であると判断した場合、前記撮像部を、ダイナミックレンジを広げる変換特性に基づいて、撮像した画像をＨＤＲ画像に変換する手段として機能させることを特徴とする。
【００３４】
第１発明、第１２発明及び第２２発明では、撮像部から出力された画像の撮像領域内に設けられ、各々が複数の画素を含む複数の小領域ごとに、検査対象物が存在する可能性を示す特徴量を算出する。算出した特徴量に基づいて、少なくとも検査対象物を含む画像の明るさの評価値を算出し、算出した評価値に基づいて、画像の明るさを調整するための調整信号を出力する。これにより、背景の明るさの影響を低減しつつ、検査対象物が撮像されている領域の明るさを最適に調整することが可能となる。
【００３５】
第２発明、第１３発明及び第２３発明では、複数の小領域すべてから算出した特徴量に基づいて、画像の明るさの評価値を算出する。これにより、小領域すべてから算出した特徴量を考慮して、背景の明るさの影響を低減しつつ、検査対象物が撮像されている領域の明るさを最適に調整することが可能となる。
【００３６】
第３発明、第１４発明及び第２４発明では、検査対象物が存在する可能性を示す特徴量を有する小領域から算出した特徴量のみに基づいて、画像の明るさの評価値を算出する。これにより、検査対象物が存在する可能性を示す特徴量を有する小領域から算出した特徴量のみを用いるので、全体として演算処理負荷を軽減することが可能となる。
【００３７】
第４発明では、調整信号出力部から出力された調整信号に基づいて、撮像領域に光を照射する照明部を備えるので、背景の明るさの影響を低減しつつ、検査対象物が撮像されている領域の明るさを最適に調整することが可能となる。
【００３８】
第５発明及び第１５発明では、出力された調整信号に基づいて、撮像領域を撮像する場合に用いる露光時間又はゲインを調整することにより、背景の明るさの影響を低減しつつ、検査対象物が撮像されている領域の明るさを最適に調整することが可能となる。
【００３９】
第６発明、第１６発明及び第２５発明では、算出した特徴量に応じて、検査対象物が存在する領域を特定するための重み係数を小領域ごとに算出し、算出した重み係数を用いて評価値を算出する。検査対象物が存在する領域に大きな重み係数を乗ずることにより、評価値を算出する場合に、検査対象物が存在する領域の明るさをより反映させることができ、より適切に明るさを調整することが可能となる。
【００４０】
第７発明、第１７発明及び第２６発明では、小領域ごとの重み係数に基づいて飽和画素の割合を算出し、算出した飽和画素の割合に基づいて評価値を算出するので、飽和画素の割合に応じて適切に明るさを調整することが可能となる。
【００４１】
第８発明、第１８発明及び第２７発明では、撮像部は、ダイナミックレンジを広げる変換特性に基づいて、撮像した画像をＨＤＲ画像に変換し、画像処理部は、飽和画素の割合が所定値以上であるか否かを判断し、所定値以上であると判断した場合に、変換特性に基づいて、撮像した画像をＨＤＲ画像に変換するよう制御する。これにより、ハレーションが発生している場合であっても、ＨＤＲ画像に変換することで、ハレーションによる影響を低減したうえで評価値を算出することが可能となる。
【００４２】
第９発明及び第１９発明では、隣接する小領域の少なくとも一部が重なり合うよう小領域を生成してあるので、小領域の境界部分で画素値に大きな差が存在する場合であっても、特徴量を正しく評価して算出することができる。
【００４３】
第１０発明及び第２０発明では、隣接する小領域の半分が重なり合うよう小領域を生成してあるので、小領域の境界部分で画素値に大きな差が存在する場合であっても、特徴量を過小に算出することを回避することができる。
【００４４】
第１１発明及び第２１発明では、特徴量を、画素の画素値の分散として算出することにより、画素値のばらつき具合を考慮して明るさを調整することが可能となる。
【発明の効果】
【００４５】
本発明では、背景の明るさの影響を低減しつつ、検査対象物が撮像されている領域の明るさを最適に調整することが可能となる。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施の形態に係る画像処理センサの構成を示す模式図である。
【図２】本発明の実施の形態に係る画像処理センサの撮像装置の構成を示す外形図である。
【図３】本発明の実施の形態に係る画像処理センサの撮像装置のハードウェア構成を示すブロック図である。
【図４】本発明の実施の形態に係る画像処理センサの表示装置の構成を示す正面図である。
【図５】本発明の実施の形態に係る画像処理センサの表示装置のモード切り替え画面の例示図である。
【図６】本発明の実施の形態に係る画像処理センサの表示装置の設定画面の例示図である。
【図７】本発明の実施の形態に係る画像処理センサの撮像装置の機能ブロック図である。
【図８】撮像領域への小領域の設定方法を具体的に示す例示図である。
【図９】本発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のＦＰＧＡの処理手順を示すフローチャートである。
【図１０】検査対象物を撮像した画像の例示図である。
【図１１】本発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のＦＰＧＡの評価値算出処理の手順を示すフローチャートである。
【図１２】本発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のＦＰＧＡの明るさ調整処理の手順を示すフローチャートである。
【図１３】ハレーションが発生している場合の検査対象物を撮像した画像の例示図である。
【図１４】ダイナミックレンジを広げる変換特性を示すグラフである。
【発明を実施するための形態】
【００４７】
以下、本発明の実施の形態に係る画像処理装置について、図面を参照して説明する。なお、本実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。以下、画像処理装置として画像処理センサを例に挙げて説明する。
【００４８】
図１は、本発明の実施の形態に係る画像処理センサの構成を示す模式図である。図１に示すように、本実施の形態に係る画像処理センサは、撮像装置１と、撮像装置１とデータ通信することが可能に接続ケーブル３で接続されている表示装置２とで構成されている。もちろん、表示装置２の代わりに、ディスプレイを有する外部コンピュータであっても良い。なお、撮像装置１と表示装置２とが一体として構成されていても良い。
【００４９】
撮像装置１は、内部に画像処理を実行するＦＰＧＡ、ＤＳＰ等を備えており、検査対象物を撮像する撮像素子を有するカメラモジュール（撮像部）と、検査対象物に対して光を照射する照明部とを備えている。撮像装置１をコンパクトにするべく、例えば図１に示すように、撮像装置１の正面の中央近傍にレンズ１２を配置し、レンズ１２の周囲を囲むように、照明部の複数のＬＥＤ１１を配置してある。なお、撮像装置１とは別に外部照明（リング照明等）を設けても良い。
【００５０】
図２は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す外形図である。図２（ａ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す正面図を、図２（ｂ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す平面図を、図２（ｃ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す背面図を、それぞれ示している。
【００５１】
図２（ａ）に示すように、撮像装置１はレンズ１２を正面の中央近傍に配置しており、レンズ１２の周囲に複数のＬＥＤ１１を配置してある。撮像時には、複数のＬＥＤ１１を点灯させることにより、検査対象物に光を照射し、検査対象物を明瞭に撮像することができる。
【００５２】
図２（ｂ）及び図２（ｃ）に示すように、撮像装置１の背面には、外部の電源から電力の供給を受ける電源ケーブルを接続する電源コネクタ１０２と、表示装置２とデータ通信する接続ケーブル３を接続することが可能な接続コネクタ１０３とを備えている。また、手動でフォーカスを調整することができるフォーカス調整ネジ１０１も背面に備えている。
【００５３】
図３は、本発明の実施の形態に係る画像処理センサの撮像装置１のハードウェア構成を示すブロック図である。図３において、コネクタ基板１６は、電源インタフェース１６１に設けてある電源コネクタ１０２（図２（ｂ）及び図２（ｃ）参照）を介して、外部の電源から電力の供給を受ける。電源基板１８は、供給された電力を各基板に供給する。本実施の形態では、カメラモジュール１４にはメイン基板１３を介して電力を供給している。モータドライバ１８１は、カメラモジュール１４のモータ１４１に駆動電力を供給し、オートフォーカスを実現している。
【００５４】
通信基板１７は、メイン基板１３から出力された欠陥を検出したか否かで検査対象物の良否を示すＯＫ／ＮＧ信号（判定信号）を表示装置２へ送信する。判定信号を受信した表示装置２は、判定結果を表示する。
【００５５】
照明基板１５は、検査対象物を撮像する撮像領域に光を照射する、複数のＬＥＤ１１が設けてあり、図示しないリフレクタはＬＥＤ１１の前方に設けてある。また、レンズ１２は、短距離用又は長距離用のレンズユニットとして交換可能となっている。
【００５６】
カメラモジュール（撮像部）１４は、モータ１４１が駆動することにより、オートフォーカス動作の制御を行うことができる。メイン基板１３からの撮像指示信号に応じて検査対象物を撮像する。本実施の形態では、撮像素子としてＣＭＯＳ基板１４２を備えており、撮像したカラー画像は、ＣＭＯＳ基板１４２にてダイナミックレンジを広げる変換特性に基づいてＨＤＲ画像に変換され、メイン基板１３のＦＰＧＡ１３１へ出力される。つまり、ＣＭＯＳ基板１４２は、ＨＤＲ画像を生成・出力する機能を備えており、例えばＨＤＲＣＭＯＳ等がこれに該当する。なお、画像処理センサの撮像装置１には、ＣＭＯＳ基板１４２にてＨＤＲ画像を生成するか否かを切り替える切替部を設けても良い。切替部により、ハレーション等が発生しにくい検査対象物を撮像する場合に、ＨＤＲ画像を生成しないよう切り替えることができ、ひいては演算処理負荷を軽減することができる。
【００５７】
メイン基板１３は、接続してある各基板の動作を制御する。例えば照明基板１５に対しては、複数のＬＥＤ１１の点灯／消灯を制御する制御信号を、ＬＥＤドライバ１５１へ送信する。ＬＥＤドライバ１５１は、ＦＰＧＡ１３１からの制御信号に応じて、例えばＬＥＤ１１の点灯／消灯、光量等を調整する。また、カメラモジュール１４のモータ１４１に対しては、電源基板１８のモータドライバ１８１を介してオートフォーカス動作を制御する制御信号を、ＣＭＯＳ基板１４２に対しては、撮像開始信号等を、それぞれ送信する。
【００５８】
メイン基板１３のＦＰＧＡ１３１は、照明制御、撮像制御をするとともに、取得した画像データに対する画像処理を実行する（画像処理部）。また、メイン基板１３のＤＳＰ１３２は、画像データについて、エッジ検出処理、パターン検索処理等を実行する。パターン検索処理の結果として、欠陥を検出したか否かで検査対象物の良否を示すＯＫ／ＮＧ信号（判定信号）を通信基板１７へ出力する。演算処理結果等はメモリ１３３に記憶される。なお、本実施の形態では、エッジ検出処理、パターン検索処理等の比較的負荷の重い処理をＤＳＰ１３２により実行している。しかし、場合によってはＦＰＧＡ１３１により実行するようにしても良い。要するに、画像処理部は、ＣＭＯＳ基板１４２で取得した画像データに対して何らかの画像処理を実行できれば、それで足りる。
【００５９】
図４は、本発明の実施の形態に係る画像処理センサの表示装置２の構成を示す正面図である。図４に示すように、表示装置２の前面の中央部分にはタッチパネル２１が設けてあり、撮像した検査対象物のカラー画像を画面に表示するとともに、ユーザによる選択入力を受け付ける。つまり、表示装置２は、撮像装置１から出力された画像を表示する表示部の一例として機能する。
【００６０】
また、表示装置２は、外部の電源から電力が供給される電源ケーブルを接続する電源コネクタ２４と、撮像装置１とデータ通信する接続ケーブル３を接続することが可能な接続コネクタ２５とを備えている。さらにＵＳＢメモリ等と接続することが可能なＵＳＢポート２２を前面に設けてある。
【００６１】
ユーザは、表示装置２のタッチパネル２１の画面に表示されているボタンを選択することにより、画像処理センサの動作を制御する。そして、検査対象物の検査を実行する「検査モード」と、画像処理センサの条件設定を行う「設定モード」との切り替えを行うこともできる。言い換えると、本実施の形態に係る画像処理センサは、検査対象物の良否を判定する検査モード（Ｒｕｎモード）と、検査に用いる各種パラメータ（撮像パラメータ、照明パラメータ、画像処理パラメータ等）の設定を行う設定モード（非Ｒｕｎモード）とを切り替えるためのモード切替部を有している。図５は、本発明の実施の形態に係る画像処理センサの表示装置２のモード切り替え画面の例示図である。
【００６２】
図５（ａ）は、「検査モード」の画面表示の例示図である。図５（ａ）に示すように、検査対象物表示領域５１に、撮像装置１が撮像した検査対象物の画像を表示する。左下の「センサ設定」ボタン５２がモード切替部として機能し、「センサ設定」ボタン５２が選択された場合、「設定モード」へと切り替わり、図５（ｂ）に示す画面へと画面遷移する。
【００６３】
図５（ｂ）は、「設定モード」の画面表示の例示図である。図５（ｂ）に示すように、プログラム選択領域５３にて、検査対象物の種類又は検査環境を選択する。ここで、「プログラム」とは、検査対象物の種類又は検査環境に応じて設定された一連のデータ群（パラメータ値の組み合わせ）を意味しており、検査対象物の種類又は検査環境ごとに異なるデータ群をプログラムとして記憶することができる。
【００６４】
また、検査対象物と比較する基準となるマスタ画像が記憶されている場合、マスタ画像表示領域５４にマスタ画像が表示される。「設定ナビ」ボタン５５が選択された場合、詳細な設定を行う設定画面に画面遷移する。左下の「運転開始」ボタン５６はモード切替部として機能し、「運転開始」ボタン５６が選択された場合、「検査モード」へと切り替わり、図５（ａ）に示す画面へと画面遷移する。
【００６５】
図６は、本発明の実施の形態に係る画像処理センサの表示装置２の設定画面の例示図である。図６に示す設定画面を通じて、ユーザは、撮像条件の設定（図６（ａ））、パターンサーチする基準となるマスタ画像の登録（図６（ｂ））、マスタ画像に対する輪郭サーチ等のツール設定（図６（ｃ）〜図６（ｅ））、出力割り当て（図６（ｆ））、という流れで順次設定を行う。以下、詳細に説明する。図５（ｂ）に示す「設定ナビ」ボタン５５が選択された場合、まず図６（ａ）に示す撮像条件設定画面が表示される。撮像条件設定画面では、マスタ画像が記憶されている場合にはマスタ画像が主表示領域６１に表示され、画面下部に撮像条件を設定する設定ボタン群が表示されている。例えば「トリガ条件」ボタンが選択された場合には、撮像装置１が検査対象物を撮像するタイミングを特定するトリガ条件を設定することができる。詳細な設定画面は省略するが、それぞれのボタンが選択された場合、それぞれの設定条件に応じて図４に示すタッチパネル２１上に表示される。
【００６６】
また、より詳細な設定をするには、図６（ａ）の「拡張機能」ボタン６２を選択すれば良い。「拡張機能」ボタン６２が選択された場合、詳細な設定を行うためのボタンが別途表示される。このように撮像条件設定画面では、明るさの調整、フォーカスの調整、撮像範囲、照明のオン／オフ、ズームのオン／オフ等を設定することができる。
【００６７】
図６（ａ）の「進む」と表示された「画面遷移」ボタン６３が選択された場合、図６（ｂ）に示すマスタ画像登録画面が表示される。登録されたマスタ画像上に、以後、検査用の様々なツールを設定する。１つのマスタ画像に対して複数のプログラムを記憶することができる。つまり、同じマスタ画像に対して異なるツールを設定し、異なるプログラムとして記憶しておくことができる。
【００６８】
マスタ画像は、現在撮像している画像を登録しても良いし、以前に撮像しておいた画像から選択して登録しても良い。現在撮像している画像を登録する場合、ユーザは「Ｌｉｖｅ画像登録」ボタン６４を選択すればよい。「Ｌｉｖｅ画像登録」ボタン６４が選択された時点で撮像されている画像がマスタ画像として登録される。
【００６９】
図６（ｂ）の「進む」と表示された「画面遷移」ボタン６５が選択された場合、図６（ｃ）に示すマスタ画像ごとのツール設定画面が表示される。マスタ画像上に、以後、検査用の様々なツールを設定する。
【００７０】
ツール設定画面では、表示されているマスタ画像に、検査を実行するためのツールを追加設定する。図６（ｃ）に示す「追加」ボタン６６が選択された場合、図６（ｄ）に示すツール選択画面が表示される。ツール選択画面で選択されたツールを追加設定する。例えば「輪郭サーチ」ボタン６７が選択された場合、図６（ｅ）に示す輪郭サーチ設定画面が表示される。輪郭サーチ設定画面で、マスタ画像のどの輪郭を撮像された検査対象物の画像と照合するのか設定しておくことにより、欠陥が検出したか否かで検査対象物の良否を判定することができる。以下、色面積、位置補正等の設定をすることができる。
【００７１】
図６（ｃ）の「進む」と表示された「画面遷移」ボタン６８が選択された場合、図６（ｆ）に示す出力割当画面が表示される。出力割当画面では、検査の結果として画面に表示される出力線が何を意味するのか設定することができる。「完了」ボタン６９が選択された場合、図５（ｂ）に示す「設定モード」の画面表示に戻る。このように、ユーザは、図４に示す表示装置２のタッチパネル２１上で、「進む」と表示された「画面遷移」ボタン６３、６５、６８を順に選択することで、簡単かつ短時間で、検査に用いる各種パラメータを設定することができる。また、画像処理センサに慣れていないユーザであっても、表示装置２のタッチパネル２１上で次の操作へと誘導されるので、各種パラメータを容易に設定することができる。
【００７２】
図７は、本発明の実施の形態に係る画像処理センサの撮像装置１の機能ブロック図である。図７において、カラー画像取得部７０１は、カメラモジュール１４のＣＭＯＳ基板１４２で撮像されたカラー画像の画素値（色成分値）を取得する。最初の撮像時には、適当な明るさに調整して撮像している。
【００７３】
小領域生成部７０３は、撮像装置１から出力された画像の撮像領域内に、各々が複数の画素を含む複数の小領域を生成する。図８は、撮像領域への小領域の設定方法を具体的に示す例示図である。図８（ａ）は、撮像領域への小領域の生成方法を具体的に示す例示図であり、図８（ｂ）は、撮像領域へ小領域を事前に設定しておく場合の例示図である。
【００７４】
図８（ａ）に示すように、例えばＱＶＧＡサイズの画像、すなわち３２０ピクセル×２４０ピクセルのサイズの画像に対して、Ａピクセル×Ａピクセル（Ａは３２０以下の任意の数値）の小領域を左上から順次生成している。この時、順次、前に生成した小領域に半分重なり合うように次の小領域を生成している。小領域を重ね合わせることにより、小領域の境界部分で画素値に大きな差が存在する場合であっても、後述する特徴量を過小に算出することを回避することができる。
【００７５】
もちろん、前に生成した小領域に半分重なり合うように次の小領域を生成することに限定されるものではなく、隣接する小領域の少なくとも一部が重なり合うよう小領域を生成すれば良い。小領域の境界部分で画素値に大きな差が存在する場合であっても、後述する特徴量を正しく評価して算出することができるからである。
【００７６】
また、本実施の形態では、小領域としてＡピクセル×Ａピクセルの正方形領域を生成しているが、特にこれに限定されるものではなく、Ａピクセル×Ｂピクセル（Ｂも３２０以下の任意の数値）の小領域を生成しても良い。また、本実施の形態では、小領域を重ね合わせることにより上述した効果を奏しているが、特にこれに限定されるものではなく、必ずしも小領域を重ね合わせなくても良い。
【００７７】
さらに、小領域は、画像処理センサが自動的に生成するようにしても良いし、ユーザが表示装置２を介して例えば任意のウインドウを設定し、設定したウインドウに基づいて生成しても良く、生成方法は特に限定されるものではない。また、本発明は、図８（ｂ）に示すように、表示装置２を介して事前に複数の小領域を設定しておき、小領域の生成処理を省略しても良い。その場合、小領域生成部７０３を備える必要はない。
【００７８】
図７に戻って、特徴量算出部７０４は、生成した小領域ごとに、検査対象物が存在する可能性を示す特徴量を算出する。算出する特徴量は、画素値のばらつきを示す数値であれば良く、例えば分散、偏差値等である。本実施の形態では、画素の画素値の分散を特徴量として算出する。なお、分散に限定されるものではなく、例えば、各小領域のエッジの多さ、各小領域の画素値の最大値と最小値との差等として特徴量を算出しても良い。要するに、検査対象物が存在する可能性を示す特徴量であれば、特に限定されるものではない。
【００７９】
また、生成した小領域ごとに特徴量を算出しているが、生成処理を省略する場合は、表示装置２を介して事前に設定された小領域ごとに特徴量を算出する。要するに、画像の撮像領域内に設けられ、各々が複数の画素を含む複数の小領域ごとに、検査対象物が存在する可能性を示す特徴量を算出すれば良い。
【００８０】
評価値算出部７０５は、算出した特徴量に基づいて、少なくとも検査対象物を含む画像の明るさの評価値を算出する。本実施の形態では、画素の画素値の分散σに応じて、各小領域の重み係数を算出し、背景の明るさと検査対象物の明るさとの比較に応じて、適切な重み付けをして明るさを調整している。
【００８１】
重み係数は、例えば、画素値（色成分値）であるＲ値、Ｇ値、Ｂ値の分散の和を計算することによって算出することができる。また、算出した特徴量を一定の閾値と比較し、一定の閾値より大きい場合は０又は１の一方、一定の閾値より小さい場合は０又は１の他方を重み係数としても良い。この場合、重み係数０は、評価値の算出に使用しない小領域を特定するための係数を示し、重み係数１は、評価値の算出に使用する小領域を特定するための係数を示す。
【００８２】
なお、重み係数は、画素値（色成分値）であるＲ値、Ｇ値、Ｂ値を、色の３要素であるＨ値（色相）、Ｓ値（彩度）、Ｖ値（明度）に変換して算出しても良い。本実施の形態では、明度を示すＶ値を取り扱うので、Ｖ値を画素値の最大値として求めている。
【００８３】
重み係数算出部７０６は、算出した特徴量に応じて、検査対象物が存在する領域を特定するための重み係数を小領域ごとに算出する。評価値算出部７０５は、算出した重み係数を用いて評価値を算出するので、評価値を算出する場合に、検査対象物が存在する領域の明るさをより反映させることができ、より適切に照明の光量を調整することが可能となる。
【００８４】
また、飽和画素割合算出部７０７は、小領域ごとの重み係数に基づいて飽和画素の割合を算出する。評価値算出部７０５が、算出した飽和画素の割合に基づいて評価値を算出するので、飽和画素の割合に応じて適切に照明の光量を調整することが可能となる。
【００８５】
調整信号出力部７０８は、算出した評価値に基づいて、画像の明るさを調整するための調整信号を出力する。照明の光量を調整する指示信号は、照明基板１５のＬＥＤドライバ１５１へ送信する。なお、本実施の形態では、照明の光量を調整することによって画像の明るさを調整しているが、その他にも、例えば撮像素子の露光時間の調整、画像処理部で乗算しているゲインの調整等により明るさ調整を行っても良い。つまり、画像の明るさの調整方法については、種々の方法が考えられる。
【００８６】
図９は、本発明の実施の形態に係る画像処理センサの撮像装置１のメイン基板１３のＦＰＧＡ１３１の処理手順を示すフローチャートである。図９において、撮像装置１のメイン基板１３のＦＰＧＡ１３１は、カメラモジュール１４のＣＭＯＳ基板１４１で撮像されたカラー画像の画像データを、画素ごとの画素値（色成分値）として取得する（ステップＳ９０１）。ＦＰＧＡ１３１は、取得した画像データの撮像領域内に、各々が複数の画素を含む複数の小領域を生成する（ステップＳ９０２）。
【００８７】
なお、小領域は、撮像装置１で撮像された撮像領域を一定の大きさの小領域に分割して生成しても良いし、複数のウインドウを張り付けることで生成しても良い。また、撮像前に撮像領域内に小領域を生成しておいても良い。このようにすることで、例えば明るさ調整値Ｌを初期値に設定して検査対象物を含む撮像領域の画像データを取得し、事前に生成してある小領域の画素値の平均値が所定の範囲内に収束するまで明るさ調整値Ｌを変動させることができる。
【００８８】
本実施の形態では、隣接する小領域の半分が重なり合うよう小領域を生成する。もちろん、隣接する小領域の少なくとも一部が重なり合うよう小領域を生成すれば良い。
【００８９】
ＦＰＧＡ１３１は、生成した小領域ごとに、検査対象物が存在する可能性を示す特徴量として分散σを算出して、小領域ごとの画素値の分散の総和を算出する（ステップＳ９０３）。ＦＰＧＡ１３１は、算出した小領域ごとの分散σの総和に基づいて、検査対象物が存在する領域を特定するための重み係数Ｗを小領域ごとに算出する（ステップＳ９０４）。本実施の形態では、Ｒ値、Ｇ値、Ｂ値の分散の総和をそのまま重み係数Ｗとしているが、例えば、Ｒ値、Ｇ値、Ｂ値の分散の総和に所定の係数を加算又は乗算した値を重み係数Ｗとしても良い。
【００９０】
ＦＰＧＡ１３１は、標準画像用の評価値算出係数α、βを設定し（ステップＳ９０５）、算出した重み係数Ｗを用いて評価値Ｅを算出する（ステップＳ９０６）。ここで、標準画像とは、ＨＤＲ変換されていない画像を意味する。
【００９１】
算出される評価値は、特に限定されるものではなく、明るさの調整を行うための判断をすることができる値であれば何でも良い。本実施の形態では、評価値Ｅを、評価値算出係数α、βを用いて（式１）のように定義する。
【００９２】
Ｅ＝Ｖａ＋α＊Ｒｓ−β ・・・ （式１）
【００９３】
（式１）において、Ｖａは重み付き明るさ平均値であり、画素値（色成分値）であるＲ値、Ｇ値、Ｂ値を、色の３要素であるＨ値（色相）、Ｓ値（彩度）、Ｖ値（明度）に変換した場合の、明度を示すＶ値の平均値に重みづけをした値である。重み付き明るさ平均値Ｖａは、算出した重み係数Ｗを用いて（式２）で算出される。
【００９４】
Ｖａ＝Σ（Ｗ×Ｖ）／ΣＷ ・・・ （式２）
【００９５】
また、（式１）において、Ｒｓは飽和画素率を示している。飽和画素率Ｒｓとは、小領域ごとに画素値が飽和状態（最大値）となっている画素の存在率を意味しており、各小領域の画素数をＰ、飽和画素数をＳとすると、（式３）により算出することができる。
【００９６】
Ｒｓ＝Σ（Ｗ×Ｓ）／ΣＷ／Ｐ ・・・ （式３）
【００９７】
明るさ調整値Ｌを順次変更していき、都度（式１）に基づいて算出した評価値Ｅの符号が正から負、又は負から正に変わる時点の明るさ調整値Ｌが、最適な明るさ調整値となる。図１０は、検査対象物を撮像した画像の例示図である。
【００９８】
図１０（ａ）は背景が暗い画像データを、図１０（ｂ）は背景が明るい画像データを、それぞれ示している。図１０（ａ）の画素値の平均値は‘８０’であるのに対して図１０（ｂ）の画素値の平均値は‘１７２’である。したがって、従来のように画素値の平均値に基づいて画像の明るさ調整をする場合、図１０（ａ）の画像に対しては、平均値が低いことから、より明るくなるよう調整するので、検査対象物の画像が飽和状態になり視認することができなくなるおそれがある。一方、図１０（ｂ）の画像に対しては、平均値が高いことから、より暗くなるよう調整するので、検査対象物の画像が見えにくくなるおそれがある。
【００９９】
それに対して、本実施の形態で算出する重み付き明るさ平均値Ｖａは、図１０（ａ）と図１０（ｂ）とでほぼ同一であるので、背景の明るさにかかわらず、検査対象物が撮像されている領域の明るさを調整することが可能となる。
【０１００】
図１１は、本発明の実施の形態に係る画像処理センサの撮像装置１のメイン基板１３のＦＰＧＡ１３１の評価値算出処理の手順を示すフローチャートである。
【０１０１】
図１１において、撮像装置１のメイン基板１３のＦＰＧＡ１３１は、図９のステップＳ９０６において、カメラモジュール１４のＣＭＯＳ基板１４１で撮像された画像データを、画素ごとの画素値（色成分値）として取得する（ステップＳ１１０１）。ＦＰＧＡ１３１は、（式２）に従って、重み付き明るさ平均値Ｖａを算出し（ステップＳ１１０２）、（式３）に従って、飽和画素率Ｒｓを算出する（ステップＳ１１０３）。ＦＰＧＡ１３１は、（式１）に従って評価値Ｅを算出して（ステップＳ１１０４）、図９のステップＳ９０７へ処理を戻す。
【０１０２】
図９に戻って、撮像装置１のメイン基板１３のＦＰＧＡ１３１は、算出した評価値Ｅが目標値に十分に近づいたか否かを判断する（ステップＳ９０７）。具体的には、目標値を‘０’とし、算出した評価値Ｅの符号が正から負、又は負から正に変わった時点の明るさ調整値Ｌが、最適な明るさ調整値であると判断する。
【０１０３】
ＦＰＧＡ１３１が、算出した評価値Ｅが目標値にまだ近づいていないと判断した場合（ステップＳ９０７：ＮＯ）、ＦＰＧＡ１３１は、明るさ調整値Ｌを変更し、評価値Ｅを再算出し（ステップＳ９０８）、処理をステップＳ９０７へ戻す。
【０１０４】
図１２は、本発明の実施の形態に係る画像処理センサの撮像装置１のメイン基板１３のＦＰＧＡ１３１の明るさ調整処理の手順を示すフローチャートである。図１２において、撮像装置１のメイン基板１３のＦＰＧＡ１３１は、ステップＳ９０７及びステップＳ９０８において、算出した評価値Ｅが負であるか否かを判断する（ステップＳ１２０１）。
【０１０５】
ＦＰＧＡ１３１が、算出した評価値Ｅが負ではないと判断した場合（ステップＳ１２０１：ＮＯ）、ＦＰＧＡ１３１は、明るさ調整値Ｌを‘１’デクリメントする（ステップＳ１２０２）。すなわち、画像の明るさを減じる方向に調整する。ＦＰＧＡ１３１が、算出した評価値Ｅが負であると判断した場合（ステップＳ１２０１：ＹＥＳ）、ＦＰＧＡ１３１は、明るさ調整値Ｌを‘１’インクリメントする（ステップＳ１２０３）。すなわち、画像の明るさを増す方向に調整する。
【０１０６】
ＦＰＧＡ１３１は、明るさ調整値Ｌを変更して、再度カメラモジュール１４のＣＭＯＳ基板１４１で、検査対象物を撮像したカラー画像の画像データを、画素ごとの画素値（色成分値）として取得する（ステップＳ１２０４）。ＦＰＧＡ１３１は、（式２）に従って、重み付き明るさ平均値Ｖａを算出し（ステップＳ１２０５）、（式３）に従って、飽和画素率Ｒｓを算出する（ステップＳ１２０６）。ＦＰＧＡ１３１は、（式１）に従って評価値Ｅを算出して（ステップＳ１２０７）、評価値Ｅの符号が前回算出した場合の符号と逆転しているか否かを判断する（ステップＳ１２０８）。
【０１０７】
ＦＰＧＡ１３１が、評価値Ｅの符号が前回算出した場合の符号と逆転していないと判断した場合（ステップＳ１２０８：ＮＯ）、ＦＰＧＡ１３１は、処理をステップＳ１２０１へ戻し（図９のステップＳ９０８に相当）、上述した処理を繰り返す。ＦＰＧＡ１３１が、評価値Ｅの符号が前回算出した場合の符号と逆転したと判断した場合（ステップＳ１２０８：ＹＥＳ）、ＦＰＧＡ１３１は、処理をステップＳ９０９へ進める。
【０１０８】
図９に戻って、撮像装置１のメイン基板１３のＦＰＧＡ１３１が、算出した評価値Ｅが目標値に十分に近づいたと判断した場合（ステップ９０７：ＹＥＳ）、ＦＰＧＡ１３１は、飽和画素の割合、すなわち飽和画素率Ｒｓが所定値より小さいか否かを判断する（ステップＳ９０９）。ＦＰＧＡ１３１が、飽和画素率Ｒｓが所定値より小さいと判断した場合（ステップＳ９０９：ＹＥＳ）、ＦＰＧＡ１３１は、見やすい明るさに調整が完了したと判断して処理を終了する。ＦＰＧＡ１３１が、飽和画素率Ｒｓが所定値以上であると判断した場合（ステップＳ９０９：ＮＯ）、ＦＰＧＡ１３１は、ＨＤＲ画像への変換機能を作動させているか否か、すなわちＨＤＲ変換部７０２が動作しているか否かを判断する（ステップＳ９１０）。ここで、ＨＤＲ画像とは、取得したカラー画像の画素値（色成分値）を、ダイナミックレンジを広げる変換特性に基づいて変換した画像を意味する。
【０１０９】
ＦＰＧＡ１３１が、ＨＤＲ画像への変換機能を作動させていると判断した場合（ステップＳ９１０：ＹＥＳ）、ＦＰＧＡ１３１は、これ以上明るさを調整する手段は無いと判断して、処理を終了する。
【０１１０】
ＦＰＧＡ１３１が、ＨＤＲ画像への変換機能を作動させていないと判断した場合（ステップＳ９１０：ＮＯ）、ＦＰＧＡ１３１は、ＨＤＲ画像用の評価値算出係数α、βを設定し（ステップＳ９１１）、ＨＤＲ画像を生成する（ステップＳ９１２）。ＦＰＧＡ１３１は、処理をステップＳ９０６へ戻して、上述した処理を繰り返す。
【０１１１】
すなわち、ハレーションが発生している場合であっても、ＨＤＲ画像に変換することでダイナミックレンジが広がり、ハレーションによる影響を低減したうえで評価値Ｅを算出することが可能となる。図１３は、ハレーションが発生している場合の検査対象物を撮像した画像の例示図である。
【０１１２】
図１３では、画素値の平均値は‘１３３’である。したがって、従来のように画素値の平均値に基づいて画像の明るさ調整をする場合、平均値が低いことから、より明るくなるよう調整するので、検査対象物の画像は飽和状態になり視認することができなくなる。一方、本実施の形態で算出する重み付き明るさ平均値Ｖａは、かなり大きめの値‘２２５’と算出されているので、これ以上明るさを増す方向に調整することはない。
【０１１３】
撮像した画像をＨＤＲ画像へ変換する、図７に示すＨＤＲ変換部７０２は、カメラモジュール１４のＣＭＯＳ基板１４２に備えている。したがって、飽和画素の割合が所定値以上である場合、ＦＰＧＡ１３１は、ＣＭＯＳ基板１４２に対して、ＨＤＲ変換部７０２を動作させる指示信号を送信する。
【０１１４】
なお、ＨＤＲ変換部７０２は、取得したカラー画像の画素値（色成分値）を、ダイナミックレンジを広げる変換特性に基づいて変換することにより、ＨＤＲ画像を生成する。具体的には画素ごとに変換特性に応じた画素値へと変換する。
【０１１５】
図１４は、ダイナミックレンジを広げる変換特性を示すグラフである。図１４では、縦軸（ｘ軸）に変換前の画素値（８ビット）を、横軸（ｙ軸）に変換後の画素値（１０ビット）を、それぞれ示している。ＨＤＲ変換部７０２は、取得したカラー画像の画素値（色成分値）ｘを図８に示す変換特性に応じて画素値（色成分値）ｙへと変換する。
【０１１６】
以上のように本実施の形態によれば、背景の明るさの影響を低減しつつ、検査対象物が撮像されている領域の明るさを最適に調整することが可能となる。特に、検査対象物の位置検出処理は実行していないので、例えばフォーカスが合っていない状態、すなわち撮像された画像自体が鮮明ではない状態であっても、明度のみで明るさを自動的に調整することが可能となる。
【０１１７】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば撮像装置１と表示装置２とは、接続ケーブル３で直結されている形態に限定されるものではなく、ＬＡＮ、ＷＡＮ等のネットワーク網を介して接続されていても良いことは言うまでもない。また、本実施の形態では撮像装置１と表示装置２とは別体となっているが、両者が一体として構成された画像処理センサであっても良い。
【符号の説明】
【０１１８】
１ 撮像装置
２ 表示装置
３ 接続ケーブル
１３ メイン基板
１４ カメラモジュール（撮像部）
１５ 照明基板（照明部）
２１ タッチパネル
１３１ ＦＰＧＡ（画像処理部）
７０１ カラー画像取得部
７０２ ＨＤＲ変換部
７０３ 小領域生成部
７０４ 特徴量算出部
７０５ 評価値算出部
７０６ 重み係数算出部
７０７ 飽和画素割合算出部
７０８ 調整信号出力部
【技術分野】
【０００１】
本発明は、背景の明るさの影響を排除し、検査対象物の表面の明るさを自動的に調整することができる画像処理装置、該画像処理装置で実行する画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
検査対象物の外観検査を実行する場合、検査対象物に照射する照明の光量を調整しないと、検査対象物の明るい部分が飽和し、表面の詳細を確認することができないという問題点があった。そこで、外観検査を実行する場合、検査対象物に照射する照明の光量を自動調整する技術が多々開発されている。
【０００３】
例えば特許文献１では、ＣＣＤラインセンサからの出力信号に基づいて、信号レベルの最大値、最小値、平均値等に基づく評価値を算出し、算出した評価値が一定範囲内に存在する場合にのみ照明の光量を調整する欠陥検査方法が開示されている。この他にも、エリアセンサからの出力信号のうち、特定領域の明るさの平均値が目標値となるように調整する技術、所定の閾値以上（以下）の明るさの画素数が所定の割合以上（以下）となるよう調整する技術等も開発されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１２１３６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、画像全体、あるいは検査対象物と背景との両方を含めた領域の明るさを自動で調整する場合、背景の明るさによって調整後の明るさが変化してしまう。したがって、背景の明るさによっては、手動で明るさを調整することが必要となるという問題点があった。また、特定の領域の明るさの平均値が目標値になるように調整する場合であっても、必ずしも特定の領域に背景が含まれないとは限らず、背景の明るさが特定の領域の明るさの平均値自体を押し上げたり、あるいは押し下げたりすることから、背景の明るさの影響を排除することが困難であるという問題点もあった。
【０００６】
本発明は、上記問題点に鑑みてなされたものであり、背景が含まれる場合であっても、背景の明るさの影響を低減して検査対象物表面の明るさを自動的に調整することができる画像処理装置、該画像処理装置で実行する画像処理方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために第１発明に係る画像処理装置は、検査対象物を含む撮像領域を撮像する撮像部と、該撮像部で撮像領域を撮像した画像に対して画像処理を実行する画像処理部とを備える画像処理装置において、前記画像処理部は、前記撮像部から出力された画像の撮像領域内に設けられ、各々が複数の画素を含む複数の小領域ごとに、検査対象物が存在する可能性を示す特徴量を算出する特徴量算出部と、算出した特徴量に基づいて、少なくとも検査対象物を含む画像の明るさの評価値を算出する評価値算出部と、算出した評価値に基づいて、画像の明るさを調整するための調整信号を出力する調整信号出力部とを備えることを特徴とする。
【０００８】
また、第２発明に係る画像処理装置は、第１発明において、前記評価値算出部は、前記複数の小領域すべてから算出した特徴量に基づいて、画像の明るさの評価値を算出することを特徴とする。
【０００９】
また、第３発明に係る画像処理装置は、第１発明において、前記評価値算出部は、検査対象物が存在する可能性を示す特徴量を有する小領域から算出した特徴量のみに基づいて、画像の明るさの評価値を算出することを特徴とする。
【００１０】
また、第４発明に係る画像処理装置は、第１乃至第３発明のいずれか１つにおいて、前記調整信号出力部から出力された調整信号に基づいて、前記撮像領域に光を照射する照明部を備えることを特徴とする。
【００１１】
また、第５発明に係る画像処理装置は、第１乃至第４発明のいずれか１つにおいて、前記撮像部は、前記調整信号出力部から出力された調整信号に基づいて、前記撮像領域を撮像する場合に用いる露光時間又はゲインを調整することを特徴とする。
【００１２】
また、第６発明に係る画像処理装置は、第１乃至第５発明のいずれか１つにおいて、前記評価値算出部は、算出した特徴量に応じて、検査対象物が存在する領域を特定するための重み係数を前記小領域ごとに算出する重み係数算出部を備え、算出した重み係数を用いて前記評価値を算出するようにしてあることを特徴とする。
【００１３】
また、第７発明に係る画像処理装置は、第６発明において、前記評価値算出部は、前記小領域ごとの重み係数に基づいて飽和画素の割合を算出する飽和画素割合算出部を備え、算出した飽和画素の割合に基づいて前記評価値を算出するようにしてあることを特徴とする。
【００１４】
また、第８発明に係る画像処理装置は、第７発明において、前記撮像部は、ダイナミックレンジを広げる変換特性に基づいて、撮像した画像をＨＤＲ画像に変換するＨＤＲ変換部を有し、前記画像処理部は、前記飽和画素の割合が所定値以上であるか否かを判断し、所定値以上であると判断した場合、前記ＨＤＲ変換部を動作させるよう制御することを特徴とする。
【００１５】
また、第９発明に係る画像処理装置は、第１乃至第８発明のいずれか１つにおいて、前記小領域を生成する小領域生成部を備え、該小領域生成部は、隣接する前記小領域の少なくとも一部が重なり合うよう前記小領域を生成するようにしてあることを特徴とする。
【００１６】
また、第１０発明に係る画像処理装置は、第９発明において、前記小領域生成部は、隣接する前記小領域の半分が重なり合うよう前記小領域を生成するようにしてあることを特徴とする。
【００１７】
また、第１１発明に係る画像処理装置は、第１乃至第１０発明のいずれか１つにおいて、前記特徴量は、画素の画素値の分散として算出するようにしてあることを特徴とする。
【００１８】
次に、上記目的を達成するために第１２発明に係る画像処理方法は、検査対象物を含む撮像領域を撮像する撮像部と、該撮像部で撮像領域を前記撮像部で撮像した画像に対して画像処理を実行する画像処理部とを備える画像処理装置で実行することが可能な画像処理方法において、前記画像処理部は、前記撮像部から出力された画像の撮像領域内に設けられ、各々が複数の画素を含む複数の小領域ごとに、検査対象物が存在する可能性を示す特徴量を算出し、算出した特徴量に基づいて、少なくとも検査対象物を含む画像の明るさの評価値を算出し、算出した評価値に基づいて、画像の明るさを調整するための調整信号を出力することを特徴とする。
【００１９】
また、第１３発明に係る画像処理方法は、第１２発明において、前記複数の小領域すべてから算出した特徴量に基づいて、画像の明るさの評価値を算出することを特徴とする。
【００２０】
また、第１４発明に係る画像処理方法は、第１２発明において、検査対象物が存在する可能性を示す特徴量を有する小領域から算出した特徴量のみに基づいて、画像の明るさの評価値を算出することを特徴とする。
【００２１】
また、第１５発明に係る画像処理方法は、第１２乃至第１４発明のいずれか１つにおいて、前記撮像部は、出力された調整信号に基づいて、前記撮像領域を撮像する場合に用いる露光時間又はゲインを調整することを特徴とする。
【００２２】
また、第１６発明に係る画像処理方法は、第１２乃至第１５発明のいずれか１つにおいて、算出した特徴量に応じて、検査対象物が存在する領域を特定するための重み係数を前記小領域ごとに算出し、算出した重み係数を用いて前記評価値を算出することを特徴とする。
【００２３】
また、第１７発明に係る画像処理方法は、第１６発明において、前記小領域ごとの重み係数に基づいて飽和画素の割合を算出し、算出した飽和画素の割合に基づいて前記評価値を算出することを特徴とする。
【００２４】
また、第１８発明に係る画像処理方法は、第１７発明において、前記撮像部は、ダイナミックレンジを広げる変換特性に基づいて、撮像した画像をＨＤＲ画像に変換し、前記画像処理部は、前記飽和画素の割合が所定値以上であるか否かを判断し、所定値以上であると判断した場合に、前記変換特性に基づいて、撮像した画像をＨＤＲ画像に変換するよう制御することを特徴とする。
【００２５】
また、第１９発明に係る画像処理方法は、第１２乃至第１８発明のいずれか１つにおいて、隣接する前記小領域の少なくとも一部が重なり合うよう前記小領域を生成することを特徴とする。
【００２６】
また、第２０発明に係る画像処理方法は、第１９発明において、隣接する前記小領域の半分が重なり合うよう前記小領域を生成することを特徴とする。
【００２７】
また、第２１発明に係る画像処理方法は、第１２乃至第２０発明のいずれか１つにおいて、前記特徴量は、画素の画素値の分散として算出することを特徴とする。
【００２８】
次に、上記目的を達成するために第２２発明に係るコンピュータプログラムは、検査対象物を含む撮像領域を撮像する撮像部と、該撮像部で撮像領域を撮像した画像に対して画像処理を実行する画像処理部とを備える画像処理装置で実行することが可能なコンピュータプログラムにおいて、前記画像処理部を、前記撮像部から出力された画像の撮像領域内に設けられ、各々が複数の画素を含む複数の小領域ごとに、検査対象物が存在する可能性を示す特徴量を算出する特徴量算出手段、算出した特徴量に基づいて、少なくとも検査対象物を含む画像の明るさの評価値を算出する評価値算出手段、及び算出した評価値に基づいて、画像の明るさを調整するための調整信号を出力する調整信号出力手段として機能させることを特徴とする。
【００２９】
また、第２３発明に係るコンピュータプログラムは、第２２発明において、前記評価値算出手段を、前記複数の小領域すべてから算出した特徴量に基づいて、画像の明るさの評価値を算出する手段として機能させることを特徴とする。
【００３０】
また、第２４発明に係るコンピュータプログラムは、第２２発明において、前記評価値算出手段を、検査対象物が存在する可能性を示す特徴量を有する小領域から算出した特徴量のみに基づいて、画像の明るさの評価値を算出する手段として機能させることを特徴とする。
【００３１】
また、第２５発明に係るコンピュータプログラムは、第２２乃至第２４発明のいずれか１つにおいて、前記評価値算出手段を、算出した特徴量に応じて、検査対象物が存在する領域を特定するための重み係数を前記小領域ごとに算出する重み係数算出手段、及び算出した重み係数を用いて前記評価値を算出する手段として機能させることを特徴とする。
【００３２】
また、第２６発明に係るコンピュータプログラムは、第２５発明において、前記評価値算出手段を、前記小領域ごとの重み係数に基づいて飽和画素の割合を算出する飽和画素割合算出手段、及び算出した飽和画素の割合に基づいて前記評価値を算出する手段として機能させることを特徴とする。
【００３３】
また、第２７発明に係るコンピュータプログラムは、第２６発明において、前記画像処理部を、前記飽和画素の割合が所定値以上であるか否かを判断する手段、及び所定値以上であると判断した場合、前記撮像部を、ダイナミックレンジを広げる変換特性に基づいて、撮像した画像をＨＤＲ画像に変換する手段として機能させることを特徴とする。
【００３４】
第１発明、第１２発明及び第２２発明では、撮像部から出力された画像の撮像領域内に設けられ、各々が複数の画素を含む複数の小領域ごとに、検査対象物が存在する可能性を示す特徴量を算出する。算出した特徴量に基づいて、少なくとも検査対象物を含む画像の明るさの評価値を算出し、算出した評価値に基づいて、画像の明るさを調整するための調整信号を出力する。これにより、背景の明るさの影響を低減しつつ、検査対象物が撮像されている領域の明るさを最適に調整することが可能となる。
【００３５】
第２発明、第１３発明及び第２３発明では、複数の小領域すべてから算出した特徴量に基づいて、画像の明るさの評価値を算出する。これにより、小領域すべてから算出した特徴量を考慮して、背景の明るさの影響を低減しつつ、検査対象物が撮像されている領域の明るさを最適に調整することが可能となる。
【００３６】
第３発明、第１４発明及び第２４発明では、検査対象物が存在する可能性を示す特徴量を有する小領域から算出した特徴量のみに基づいて、画像の明るさの評価値を算出する。これにより、検査対象物が存在する可能性を示す特徴量を有する小領域から算出した特徴量のみを用いるので、全体として演算処理負荷を軽減することが可能となる。
【００３７】
第４発明では、調整信号出力部から出力された調整信号に基づいて、撮像領域に光を照射する照明部を備えるので、背景の明るさの影響を低減しつつ、検査対象物が撮像されている領域の明るさを最適に調整することが可能となる。
【００３８】
第５発明及び第１５発明では、出力された調整信号に基づいて、撮像領域を撮像する場合に用いる露光時間又はゲインを調整することにより、背景の明るさの影響を低減しつつ、検査対象物が撮像されている領域の明るさを最適に調整することが可能となる。
【００３９】
第６発明、第１６発明及び第２５発明では、算出した特徴量に応じて、検査対象物が存在する領域を特定するための重み係数を小領域ごとに算出し、算出した重み係数を用いて評価値を算出する。検査対象物が存在する領域に大きな重み係数を乗ずることにより、評価値を算出する場合に、検査対象物が存在する領域の明るさをより反映させることができ、より適切に明るさを調整することが可能となる。
【００４０】
第７発明、第１７発明及び第２６発明では、小領域ごとの重み係数に基づいて飽和画素の割合を算出し、算出した飽和画素の割合に基づいて評価値を算出するので、飽和画素の割合に応じて適切に明るさを調整することが可能となる。
【００４１】
第８発明、第１８発明及び第２７発明では、撮像部は、ダイナミックレンジを広げる変換特性に基づいて、撮像した画像をＨＤＲ画像に変換し、画像処理部は、飽和画素の割合が所定値以上であるか否かを判断し、所定値以上であると判断した場合に、変換特性に基づいて、撮像した画像をＨＤＲ画像に変換するよう制御する。これにより、ハレーションが発生している場合であっても、ＨＤＲ画像に変換することで、ハレーションによる影響を低減したうえで評価値を算出することが可能となる。
【００４２】
第９発明及び第１９発明では、隣接する小領域の少なくとも一部が重なり合うよう小領域を生成してあるので、小領域の境界部分で画素値に大きな差が存在する場合であっても、特徴量を正しく評価して算出することができる。
【００４３】
第１０発明及び第２０発明では、隣接する小領域の半分が重なり合うよう小領域を生成してあるので、小領域の境界部分で画素値に大きな差が存在する場合であっても、特徴量を過小に算出することを回避することができる。
【００４４】
第１１発明及び第２１発明では、特徴量を、画素の画素値の分散として算出することにより、画素値のばらつき具合を考慮して明るさを調整することが可能となる。
【発明の効果】
【００４５】
本発明では、背景の明るさの影響を低減しつつ、検査対象物が撮像されている領域の明るさを最適に調整することが可能となる。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施の形態に係る画像処理センサの構成を示す模式図である。
【図２】本発明の実施の形態に係る画像処理センサの撮像装置の構成を示す外形図である。
【図３】本発明の実施の形態に係る画像処理センサの撮像装置のハードウェア構成を示すブロック図である。
【図４】本発明の実施の形態に係る画像処理センサの表示装置の構成を示す正面図である。
【図５】本発明の実施の形態に係る画像処理センサの表示装置のモード切り替え画面の例示図である。
【図６】本発明の実施の形態に係る画像処理センサの表示装置の設定画面の例示図である。
【図７】本発明の実施の形態に係る画像処理センサの撮像装置の機能ブロック図である。
【図８】撮像領域への小領域の設定方法を具体的に示す例示図である。
【図９】本発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のＦＰＧＡの処理手順を示すフローチャートである。
【図１０】検査対象物を撮像した画像の例示図である。
【図１１】本発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のＦＰＧＡの評価値算出処理の手順を示すフローチャートである。
【図１２】本発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のＦＰＧＡの明るさ調整処理の手順を示すフローチャートである。
【図１３】ハレーションが発生している場合の検査対象物を撮像した画像の例示図である。
【図１４】ダイナミックレンジを広げる変換特性を示すグラフである。
【発明を実施するための形態】
【００４７】
以下、本発明の実施の形態に係る画像処理装置について、図面を参照して説明する。なお、本実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。以下、画像処理装置として画像処理センサを例に挙げて説明する。
【００４８】
図１は、本発明の実施の形態に係る画像処理センサの構成を示す模式図である。図１に示すように、本実施の形態に係る画像処理センサは、撮像装置１と、撮像装置１とデータ通信することが可能に接続ケーブル３で接続されている表示装置２とで構成されている。もちろん、表示装置２の代わりに、ディスプレイを有する外部コンピュータであっても良い。なお、撮像装置１と表示装置２とが一体として構成されていても良い。
【００４９】
撮像装置１は、内部に画像処理を実行するＦＰＧＡ、ＤＳＰ等を備えており、検査対象物を撮像する撮像素子を有するカメラモジュール（撮像部）と、検査対象物に対して光を照射する照明部とを備えている。撮像装置１をコンパクトにするべく、例えば図１に示すように、撮像装置１の正面の中央近傍にレンズ１２を配置し、レンズ１２の周囲を囲むように、照明部の複数のＬＥＤ１１を配置してある。なお、撮像装置１とは別に外部照明（リング照明等）を設けても良い。
【００５０】
図２は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す外形図である。図２（ａ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す正面図を、図２（ｂ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す平面図を、図２（ｃ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す背面図を、それぞれ示している。
【００５１】
図２（ａ）に示すように、撮像装置１はレンズ１２を正面の中央近傍に配置しており、レンズ１２の周囲に複数のＬＥＤ１１を配置してある。撮像時には、複数のＬＥＤ１１を点灯させることにより、検査対象物に光を照射し、検査対象物を明瞭に撮像することができる。
【００５２】
図２（ｂ）及び図２（ｃ）に示すように、撮像装置１の背面には、外部の電源から電力の供給を受ける電源ケーブルを接続する電源コネクタ１０２と、表示装置２とデータ通信する接続ケーブル３を接続することが可能な接続コネクタ１０３とを備えている。また、手動でフォーカスを調整することができるフォーカス調整ネジ１０１も背面に備えている。
【００５３】
図３は、本発明の実施の形態に係る画像処理センサの撮像装置１のハードウェア構成を示すブロック図である。図３において、コネクタ基板１６は、電源インタフェース１６１に設けてある電源コネクタ１０２（図２（ｂ）及び図２（ｃ）参照）を介して、外部の電源から電力の供給を受ける。電源基板１８は、供給された電力を各基板に供給する。本実施の形態では、カメラモジュール１４にはメイン基板１３を介して電力を供給している。モータドライバ１８１は、カメラモジュール１４のモータ１４１に駆動電力を供給し、オートフォーカスを実現している。
【００５４】
通信基板１７は、メイン基板１３から出力された欠陥を検出したか否かで検査対象物の良否を示すＯＫ／ＮＧ信号（判定信号）を表示装置２へ送信する。判定信号を受信した表示装置２は、判定結果を表示する。
【００５５】
照明基板１５は、検査対象物を撮像する撮像領域に光を照射する、複数のＬＥＤ１１が設けてあり、図示しないリフレクタはＬＥＤ１１の前方に設けてある。また、レンズ１２は、短距離用又は長距離用のレンズユニットとして交換可能となっている。
【００５６】
カメラモジュール（撮像部）１４は、モータ１４１が駆動することにより、オートフォーカス動作の制御を行うことができる。メイン基板１３からの撮像指示信号に応じて検査対象物を撮像する。本実施の形態では、撮像素子としてＣＭＯＳ基板１４２を備えており、撮像したカラー画像は、ＣＭＯＳ基板１４２にてダイナミックレンジを広げる変換特性に基づいてＨＤＲ画像に変換され、メイン基板１３のＦＰＧＡ１３１へ出力される。つまり、ＣＭＯＳ基板１４２は、ＨＤＲ画像を生成・出力する機能を備えており、例えばＨＤＲＣＭＯＳ等がこれに該当する。なお、画像処理センサの撮像装置１には、ＣＭＯＳ基板１４２にてＨＤＲ画像を生成するか否かを切り替える切替部を設けても良い。切替部により、ハレーション等が発生しにくい検査対象物を撮像する場合に、ＨＤＲ画像を生成しないよう切り替えることができ、ひいては演算処理負荷を軽減することができる。
【００５７】
メイン基板１３は、接続してある各基板の動作を制御する。例えば照明基板１５に対しては、複数のＬＥＤ１１の点灯／消灯を制御する制御信号を、ＬＥＤドライバ１５１へ送信する。ＬＥＤドライバ１５１は、ＦＰＧＡ１３１からの制御信号に応じて、例えばＬＥＤ１１の点灯／消灯、光量等を調整する。また、カメラモジュール１４のモータ１４１に対しては、電源基板１８のモータドライバ１８１を介してオートフォーカス動作を制御する制御信号を、ＣＭＯＳ基板１４２に対しては、撮像開始信号等を、それぞれ送信する。
【００５８】
メイン基板１３のＦＰＧＡ１３１は、照明制御、撮像制御をするとともに、取得した画像データに対する画像処理を実行する（画像処理部）。また、メイン基板１３のＤＳＰ１３２は、画像データについて、エッジ検出処理、パターン検索処理等を実行する。パターン検索処理の結果として、欠陥を検出したか否かで検査対象物の良否を示すＯＫ／ＮＧ信号（判定信号）を通信基板１７へ出力する。演算処理結果等はメモリ１３３に記憶される。なお、本実施の形態では、エッジ検出処理、パターン検索処理等の比較的負荷の重い処理をＤＳＰ１３２により実行している。しかし、場合によってはＦＰＧＡ１３１により実行するようにしても良い。要するに、画像処理部は、ＣＭＯＳ基板１４２で取得した画像データに対して何らかの画像処理を実行できれば、それで足りる。
【００５９】
図４は、本発明の実施の形態に係る画像処理センサの表示装置２の構成を示す正面図である。図４に示すように、表示装置２の前面の中央部分にはタッチパネル２１が設けてあり、撮像した検査対象物のカラー画像を画面に表示するとともに、ユーザによる選択入力を受け付ける。つまり、表示装置２は、撮像装置１から出力された画像を表示する表示部の一例として機能する。
【００６０】
また、表示装置２は、外部の電源から電力が供給される電源ケーブルを接続する電源コネクタ２４と、撮像装置１とデータ通信する接続ケーブル３を接続することが可能な接続コネクタ２５とを備えている。さらにＵＳＢメモリ等と接続することが可能なＵＳＢポート２２を前面に設けてある。
【００６１】
ユーザは、表示装置２のタッチパネル２１の画面に表示されているボタンを選択することにより、画像処理センサの動作を制御する。そして、検査対象物の検査を実行する「検査モード」と、画像処理センサの条件設定を行う「設定モード」との切り替えを行うこともできる。言い換えると、本実施の形態に係る画像処理センサは、検査対象物の良否を判定する検査モード（Ｒｕｎモード）と、検査に用いる各種パラメータ（撮像パラメータ、照明パラメータ、画像処理パラメータ等）の設定を行う設定モード（非Ｒｕｎモード）とを切り替えるためのモード切替部を有している。図５は、本発明の実施の形態に係る画像処理センサの表示装置２のモード切り替え画面の例示図である。
【００６２】
図５（ａ）は、「検査モード」の画面表示の例示図である。図５（ａ）に示すように、検査対象物表示領域５１に、撮像装置１が撮像した検査対象物の画像を表示する。左下の「センサ設定」ボタン５２がモード切替部として機能し、「センサ設定」ボタン５２が選択された場合、「設定モード」へと切り替わり、図５（ｂ）に示す画面へと画面遷移する。
【００６３】
図５（ｂ）は、「設定モード」の画面表示の例示図である。図５（ｂ）に示すように、プログラム選択領域５３にて、検査対象物の種類又は検査環境を選択する。ここで、「プログラム」とは、検査対象物の種類又は検査環境に応じて設定された一連のデータ群（パラメータ値の組み合わせ）を意味しており、検査対象物の種類又は検査環境ごとに異なるデータ群をプログラムとして記憶することができる。
【００６４】
また、検査対象物と比較する基準となるマスタ画像が記憶されている場合、マスタ画像表示領域５４にマスタ画像が表示される。「設定ナビ」ボタン５５が選択された場合、詳細な設定を行う設定画面に画面遷移する。左下の「運転開始」ボタン５６はモード切替部として機能し、「運転開始」ボタン５６が選択された場合、「検査モード」へと切り替わり、図５（ａ）に示す画面へと画面遷移する。
【００６５】
図６は、本発明の実施の形態に係る画像処理センサの表示装置２の設定画面の例示図である。図６に示す設定画面を通じて、ユーザは、撮像条件の設定（図６（ａ））、パターンサーチする基準となるマスタ画像の登録（図６（ｂ））、マスタ画像に対する輪郭サーチ等のツール設定（図６（ｃ）〜図６（ｅ））、出力割り当て（図６（ｆ））、という流れで順次設定を行う。以下、詳細に説明する。図５（ｂ）に示す「設定ナビ」ボタン５５が選択された場合、まず図６（ａ）に示す撮像条件設定画面が表示される。撮像条件設定画面では、マスタ画像が記憶されている場合にはマスタ画像が主表示領域６１に表示され、画面下部に撮像条件を設定する設定ボタン群が表示されている。例えば「トリガ条件」ボタンが選択された場合には、撮像装置１が検査対象物を撮像するタイミングを特定するトリガ条件を設定することができる。詳細な設定画面は省略するが、それぞれのボタンが選択された場合、それぞれの設定条件に応じて図４に示すタッチパネル２１上に表示される。
【００６６】
また、より詳細な設定をするには、図６（ａ）の「拡張機能」ボタン６２を選択すれば良い。「拡張機能」ボタン６２が選択された場合、詳細な設定を行うためのボタンが別途表示される。このように撮像条件設定画面では、明るさの調整、フォーカスの調整、撮像範囲、照明のオン／オフ、ズームのオン／オフ等を設定することができる。
【００６７】
図６（ａ）の「進む」と表示された「画面遷移」ボタン６３が選択された場合、図６（ｂ）に示すマスタ画像登録画面が表示される。登録されたマスタ画像上に、以後、検査用の様々なツールを設定する。１つのマスタ画像に対して複数のプログラムを記憶することができる。つまり、同じマスタ画像に対して異なるツールを設定し、異なるプログラムとして記憶しておくことができる。
【００６８】
マスタ画像は、現在撮像している画像を登録しても良いし、以前に撮像しておいた画像から選択して登録しても良い。現在撮像している画像を登録する場合、ユーザは「Ｌｉｖｅ画像登録」ボタン６４を選択すればよい。「Ｌｉｖｅ画像登録」ボタン６４が選択された時点で撮像されている画像がマスタ画像として登録される。
【００６９】
図６（ｂ）の「進む」と表示された「画面遷移」ボタン６５が選択された場合、図６（ｃ）に示すマスタ画像ごとのツール設定画面が表示される。マスタ画像上に、以後、検査用の様々なツールを設定する。
【００７０】
ツール設定画面では、表示されているマスタ画像に、検査を実行するためのツールを追加設定する。図６（ｃ）に示す「追加」ボタン６６が選択された場合、図６（ｄ）に示すツール選択画面が表示される。ツール選択画面で選択されたツールを追加設定する。例えば「輪郭サーチ」ボタン６７が選択された場合、図６（ｅ）に示す輪郭サーチ設定画面が表示される。輪郭サーチ設定画面で、マスタ画像のどの輪郭を撮像された検査対象物の画像と照合するのか設定しておくことにより、欠陥が検出したか否かで検査対象物の良否を判定することができる。以下、色面積、位置補正等の設定をすることができる。
【００７１】
図６（ｃ）の「進む」と表示された「画面遷移」ボタン６８が選択された場合、図６（ｆ）に示す出力割当画面が表示される。出力割当画面では、検査の結果として画面に表示される出力線が何を意味するのか設定することができる。「完了」ボタン６９が選択された場合、図５（ｂ）に示す「設定モード」の画面表示に戻る。このように、ユーザは、図４に示す表示装置２のタッチパネル２１上で、「進む」と表示された「画面遷移」ボタン６３、６５、６８を順に選択することで、簡単かつ短時間で、検査に用いる各種パラメータを設定することができる。また、画像処理センサに慣れていないユーザであっても、表示装置２のタッチパネル２１上で次の操作へと誘導されるので、各種パラメータを容易に設定することができる。
【００７２】
図７は、本発明の実施の形態に係る画像処理センサの撮像装置１の機能ブロック図である。図７において、カラー画像取得部７０１は、カメラモジュール１４のＣＭＯＳ基板１４２で撮像されたカラー画像の画素値（色成分値）を取得する。最初の撮像時には、適当な明るさに調整して撮像している。
【００７３】
小領域生成部７０３は、撮像装置１から出力された画像の撮像領域内に、各々が複数の画素を含む複数の小領域を生成する。図８は、撮像領域への小領域の設定方法を具体的に示す例示図である。図８（ａ）は、撮像領域への小領域の生成方法を具体的に示す例示図であり、図８（ｂ）は、撮像領域へ小領域を事前に設定しておく場合の例示図である。
【００７４】
図８（ａ）に示すように、例えばＱＶＧＡサイズの画像、すなわち３２０ピクセル×２４０ピクセルのサイズの画像に対して、Ａピクセル×Ａピクセル（Ａは３２０以下の任意の数値）の小領域を左上から順次生成している。この時、順次、前に生成した小領域に半分重なり合うように次の小領域を生成している。小領域を重ね合わせることにより、小領域の境界部分で画素値に大きな差が存在する場合であっても、後述する特徴量を過小に算出することを回避することができる。
【００７５】
もちろん、前に生成した小領域に半分重なり合うように次の小領域を生成することに限定されるものではなく、隣接する小領域の少なくとも一部が重なり合うよう小領域を生成すれば良い。小領域の境界部分で画素値に大きな差が存在する場合であっても、後述する特徴量を正しく評価して算出することができるからである。
【００７６】
また、本実施の形態では、小領域としてＡピクセル×Ａピクセルの正方形領域を生成しているが、特にこれに限定されるものではなく、Ａピクセル×Ｂピクセル（Ｂも３２０以下の任意の数値）の小領域を生成しても良い。また、本実施の形態では、小領域を重ね合わせることにより上述した効果を奏しているが、特にこれに限定されるものではなく、必ずしも小領域を重ね合わせなくても良い。
【００７７】
さらに、小領域は、画像処理センサが自動的に生成するようにしても良いし、ユーザが表示装置２を介して例えば任意のウインドウを設定し、設定したウインドウに基づいて生成しても良く、生成方法は特に限定されるものではない。また、本発明は、図８（ｂ）に示すように、表示装置２を介して事前に複数の小領域を設定しておき、小領域の生成処理を省略しても良い。その場合、小領域生成部７０３を備える必要はない。
【００７８】
図７に戻って、特徴量算出部７０４は、生成した小領域ごとに、検査対象物が存在する可能性を示す特徴量を算出する。算出する特徴量は、画素値のばらつきを示す数値であれば良く、例えば分散、偏差値等である。本実施の形態では、画素の画素値の分散を特徴量として算出する。なお、分散に限定されるものではなく、例えば、各小領域のエッジの多さ、各小領域の画素値の最大値と最小値との差等として特徴量を算出しても良い。要するに、検査対象物が存在する可能性を示す特徴量であれば、特に限定されるものではない。
【００７９】
また、生成した小領域ごとに特徴量を算出しているが、生成処理を省略する場合は、表示装置２を介して事前に設定された小領域ごとに特徴量を算出する。要するに、画像の撮像領域内に設けられ、各々が複数の画素を含む複数の小領域ごとに、検査対象物が存在する可能性を示す特徴量を算出すれば良い。
【００８０】
評価値算出部７０５は、算出した特徴量に基づいて、少なくとも検査対象物を含む画像の明るさの評価値を算出する。本実施の形態では、画素の画素値の分散σに応じて、各小領域の重み係数を算出し、背景の明るさと検査対象物の明るさとの比較に応じて、適切な重み付けをして明るさを調整している。
【００８１】
重み係数は、例えば、画素値（色成分値）であるＲ値、Ｇ値、Ｂ値の分散の和を計算することによって算出することができる。また、算出した特徴量を一定の閾値と比較し、一定の閾値より大きい場合は０又は１の一方、一定の閾値より小さい場合は０又は１の他方を重み係数としても良い。この場合、重み係数０は、評価値の算出に使用しない小領域を特定するための係数を示し、重み係数１は、評価値の算出に使用する小領域を特定するための係数を示す。
【００８２】
なお、重み係数は、画素値（色成分値）であるＲ値、Ｇ値、Ｂ値を、色の３要素であるＨ値（色相）、Ｓ値（彩度）、Ｖ値（明度）に変換して算出しても良い。本実施の形態では、明度を示すＶ値を取り扱うので、Ｖ値を画素値の最大値として求めている。
【００８３】
重み係数算出部７０６は、算出した特徴量に応じて、検査対象物が存在する領域を特定するための重み係数を小領域ごとに算出する。評価値算出部７０５は、算出した重み係数を用いて評価値を算出するので、評価値を算出する場合に、検査対象物が存在する領域の明るさをより反映させることができ、より適切に照明の光量を調整することが可能となる。
【００８４】
また、飽和画素割合算出部７０７は、小領域ごとの重み係数に基づいて飽和画素の割合を算出する。評価値算出部７０５が、算出した飽和画素の割合に基づいて評価値を算出するので、飽和画素の割合に応じて適切に照明の光量を調整することが可能となる。
【００８５】
調整信号出力部７０８は、算出した評価値に基づいて、画像の明るさを調整するための調整信号を出力する。照明の光量を調整する指示信号は、照明基板１５のＬＥＤドライバ１５１へ送信する。なお、本実施の形態では、照明の光量を調整することによって画像の明るさを調整しているが、その他にも、例えば撮像素子の露光時間の調整、画像処理部で乗算しているゲインの調整等により明るさ調整を行っても良い。つまり、画像の明るさの調整方法については、種々の方法が考えられる。
【００８６】
図９は、本発明の実施の形態に係る画像処理センサの撮像装置１のメイン基板１３のＦＰＧＡ１３１の処理手順を示すフローチャートである。図９において、撮像装置１のメイン基板１３のＦＰＧＡ１３１は、カメラモジュール１４のＣＭＯＳ基板１４１で撮像されたカラー画像の画像データを、画素ごとの画素値（色成分値）として取得する（ステップＳ９０１）。ＦＰＧＡ１３１は、取得した画像データの撮像領域内に、各々が複数の画素を含む複数の小領域を生成する（ステップＳ９０２）。
【００８７】
なお、小領域は、撮像装置１で撮像された撮像領域を一定の大きさの小領域に分割して生成しても良いし、複数のウインドウを張り付けることで生成しても良い。また、撮像前に撮像領域内に小領域を生成しておいても良い。このようにすることで、例えば明るさ調整値Ｌを初期値に設定して検査対象物を含む撮像領域の画像データを取得し、事前に生成してある小領域の画素値の平均値が所定の範囲内に収束するまで明るさ調整値Ｌを変動させることができる。
【００８８】
本実施の形態では、隣接する小領域の半分が重なり合うよう小領域を生成する。もちろん、隣接する小領域の少なくとも一部が重なり合うよう小領域を生成すれば良い。
【００８９】
ＦＰＧＡ１３１は、生成した小領域ごとに、検査対象物が存在する可能性を示す特徴量として分散σを算出して、小領域ごとの画素値の分散の総和を算出する（ステップＳ９０３）。ＦＰＧＡ１３１は、算出した小領域ごとの分散σの総和に基づいて、検査対象物が存在する領域を特定するための重み係数Ｗを小領域ごとに算出する（ステップＳ９０４）。本実施の形態では、Ｒ値、Ｇ値、Ｂ値の分散の総和をそのまま重み係数Ｗとしているが、例えば、Ｒ値、Ｇ値、Ｂ値の分散の総和に所定の係数を加算又は乗算した値を重み係数Ｗとしても良い。
【００９０】
ＦＰＧＡ１３１は、標準画像用の評価値算出係数α、βを設定し（ステップＳ９０５）、算出した重み係数Ｗを用いて評価値Ｅを算出する（ステップＳ９０６）。ここで、標準画像とは、ＨＤＲ変換されていない画像を意味する。
【００９１】
算出される評価値は、特に限定されるものではなく、明るさの調整を行うための判断をすることができる値であれば何でも良い。本実施の形態では、評価値Ｅを、評価値算出係数α、βを用いて（式１）のように定義する。
【００９２】
Ｅ＝Ｖａ＋α＊Ｒｓ−β ・・・ （式１）
【００９３】
（式１）において、Ｖａは重み付き明るさ平均値であり、画素値（色成分値）であるＲ値、Ｇ値、Ｂ値を、色の３要素であるＨ値（色相）、Ｓ値（彩度）、Ｖ値（明度）に変換した場合の、明度を示すＶ値の平均値に重みづけをした値である。重み付き明るさ平均値Ｖａは、算出した重み係数Ｗを用いて（式２）で算出される。
【００９４】
Ｖａ＝Σ（Ｗ×Ｖ）／ΣＷ ・・・ （式２）
【００９５】
また、（式１）において、Ｒｓは飽和画素率を示している。飽和画素率Ｒｓとは、小領域ごとに画素値が飽和状態（最大値）となっている画素の存在率を意味しており、各小領域の画素数をＰ、飽和画素数をＳとすると、（式３）により算出することができる。
【００９６】
Ｒｓ＝Σ（Ｗ×Ｓ）／ΣＷ／Ｐ ・・・ （式３）
【００９７】
明るさ調整値Ｌを順次変更していき、都度（式１）に基づいて算出した評価値Ｅの符号が正から負、又は負から正に変わる時点の明るさ調整値Ｌが、最適な明るさ調整値となる。図１０は、検査対象物を撮像した画像の例示図である。
【００９８】
図１０（ａ）は背景が暗い画像データを、図１０（ｂ）は背景が明るい画像データを、それぞれ示している。図１０（ａ）の画素値の平均値は‘８０’であるのに対して図１０（ｂ）の画素値の平均値は‘１７２’である。したがって、従来のように画素値の平均値に基づいて画像の明るさ調整をする場合、図１０（ａ）の画像に対しては、平均値が低いことから、より明るくなるよう調整するので、検査対象物の画像が飽和状態になり視認することができなくなるおそれがある。一方、図１０（ｂ）の画像に対しては、平均値が高いことから、より暗くなるよう調整するので、検査対象物の画像が見えにくくなるおそれがある。
【００９９】
それに対して、本実施の形態で算出する重み付き明るさ平均値Ｖａは、図１０（ａ）と図１０（ｂ）とでほぼ同一であるので、背景の明るさにかかわらず、検査対象物が撮像されている領域の明るさを調整することが可能となる。
【０１００】
図１１は、本発明の実施の形態に係る画像処理センサの撮像装置１のメイン基板１３のＦＰＧＡ１３１の評価値算出処理の手順を示すフローチャートである。
【０１０１】
図１１において、撮像装置１のメイン基板１３のＦＰＧＡ１３１は、図９のステップＳ９０６において、カメラモジュール１４のＣＭＯＳ基板１４１で撮像された画像データを、画素ごとの画素値（色成分値）として取得する（ステップＳ１１０１）。ＦＰＧＡ１３１は、（式２）に従って、重み付き明るさ平均値Ｖａを算出し（ステップＳ１１０２）、（式３）に従って、飽和画素率Ｒｓを算出する（ステップＳ１１０３）。ＦＰＧＡ１３１は、（式１）に従って評価値Ｅを算出して（ステップＳ１１０４）、図９のステップＳ９０７へ処理を戻す。
【０１０２】
図９に戻って、撮像装置１のメイン基板１３のＦＰＧＡ１３１は、算出した評価値Ｅが目標値に十分に近づいたか否かを判断する（ステップＳ９０７）。具体的には、目標値を‘０’とし、算出した評価値Ｅの符号が正から負、又は負から正に変わった時点の明るさ調整値Ｌが、最適な明るさ調整値であると判断する。
【０１０３】
ＦＰＧＡ１３１が、算出した評価値Ｅが目標値にまだ近づいていないと判断した場合（ステップＳ９０７：ＮＯ）、ＦＰＧＡ１３１は、明るさ調整値Ｌを変更し、評価値Ｅを再算出し（ステップＳ９０８）、処理をステップＳ９０７へ戻す。
【０１０４】
図１２は、本発明の実施の形態に係る画像処理センサの撮像装置１のメイン基板１３のＦＰＧＡ１３１の明るさ調整処理の手順を示すフローチャートである。図１２において、撮像装置１のメイン基板１３のＦＰＧＡ１３１は、ステップＳ９０７及びステップＳ９０８において、算出した評価値Ｅが負であるか否かを判断する（ステップＳ１２０１）。
【０１０５】
ＦＰＧＡ１３１が、算出した評価値Ｅが負ではないと判断した場合（ステップＳ１２０１：ＮＯ）、ＦＰＧＡ１３１は、明るさ調整値Ｌを‘１’デクリメントする（ステップＳ１２０２）。すなわち、画像の明るさを減じる方向に調整する。ＦＰＧＡ１３１が、算出した評価値Ｅが負であると判断した場合（ステップＳ１２０１：ＹＥＳ）、ＦＰＧＡ１３１は、明るさ調整値Ｌを‘１’インクリメントする（ステップＳ１２０３）。すなわち、画像の明るさを増す方向に調整する。
【０１０６】
ＦＰＧＡ１３１は、明るさ調整値Ｌを変更して、再度カメラモジュール１４のＣＭＯＳ基板１４１で、検査対象物を撮像したカラー画像の画像データを、画素ごとの画素値（色成分値）として取得する（ステップＳ１２０４）。ＦＰＧＡ１３１は、（式２）に従って、重み付き明るさ平均値Ｖａを算出し（ステップＳ１２０５）、（式３）に従って、飽和画素率Ｒｓを算出する（ステップＳ１２０６）。ＦＰＧＡ１３１は、（式１）に従って評価値Ｅを算出して（ステップＳ１２０７）、評価値Ｅの符号が前回算出した場合の符号と逆転しているか否かを判断する（ステップＳ１２０８）。
【０１０７】
ＦＰＧＡ１３１が、評価値Ｅの符号が前回算出した場合の符号と逆転していないと判断した場合（ステップＳ１２０８：ＮＯ）、ＦＰＧＡ１３１は、処理をステップＳ１２０１へ戻し（図９のステップＳ９０８に相当）、上述した処理を繰り返す。ＦＰＧＡ１３１が、評価値Ｅの符号が前回算出した場合の符号と逆転したと判断した場合（ステップＳ１２０８：ＹＥＳ）、ＦＰＧＡ１３１は、処理をステップＳ９０９へ進める。
【０１０８】
図９に戻って、撮像装置１のメイン基板１３のＦＰＧＡ１３１が、算出した評価値Ｅが目標値に十分に近づいたと判断した場合（ステップ９０７：ＹＥＳ）、ＦＰＧＡ１３１は、飽和画素の割合、すなわち飽和画素率Ｒｓが所定値より小さいか否かを判断する（ステップＳ９０９）。ＦＰＧＡ１３１が、飽和画素率Ｒｓが所定値より小さいと判断した場合（ステップＳ９０９：ＹＥＳ）、ＦＰＧＡ１３１は、見やすい明るさに調整が完了したと判断して処理を終了する。ＦＰＧＡ１３１が、飽和画素率Ｒｓが所定値以上であると判断した場合（ステップＳ９０９：ＮＯ）、ＦＰＧＡ１３１は、ＨＤＲ画像への変換機能を作動させているか否か、すなわちＨＤＲ変換部７０２が動作しているか否かを判断する（ステップＳ９１０）。ここで、ＨＤＲ画像とは、取得したカラー画像の画素値（色成分値）を、ダイナミックレンジを広げる変換特性に基づいて変換した画像を意味する。
【０１０９】
ＦＰＧＡ１３１が、ＨＤＲ画像への変換機能を作動させていると判断した場合（ステップＳ９１０：ＹＥＳ）、ＦＰＧＡ１３１は、これ以上明るさを調整する手段は無いと判断して、処理を終了する。
【０１１０】
ＦＰＧＡ１３１が、ＨＤＲ画像への変換機能を作動させていないと判断した場合（ステップＳ９１０：ＮＯ）、ＦＰＧＡ１３１は、ＨＤＲ画像用の評価値算出係数α、βを設定し（ステップＳ９１１）、ＨＤＲ画像を生成する（ステップＳ９１２）。ＦＰＧＡ１３１は、処理をステップＳ９０６へ戻して、上述した処理を繰り返す。
【０１１１】
すなわち、ハレーションが発生している場合であっても、ＨＤＲ画像に変換することでダイナミックレンジが広がり、ハレーションによる影響を低減したうえで評価値Ｅを算出することが可能となる。図１３は、ハレーションが発生している場合の検査対象物を撮像した画像の例示図である。
【０１１２】
図１３では、画素値の平均値は‘１３３’である。したがって、従来のように画素値の平均値に基づいて画像の明るさ調整をする場合、平均値が低いことから、より明るくなるよう調整するので、検査対象物の画像は飽和状態になり視認することができなくなる。一方、本実施の形態で算出する重み付き明るさ平均値Ｖａは、かなり大きめの値‘２２５’と算出されているので、これ以上明るさを増す方向に調整することはない。
【０１１３】
撮像した画像をＨＤＲ画像へ変換する、図７に示すＨＤＲ変換部７０２は、カメラモジュール１４のＣＭＯＳ基板１４２に備えている。したがって、飽和画素の割合が所定値以上である場合、ＦＰＧＡ１３１は、ＣＭＯＳ基板１４２に対して、ＨＤＲ変換部７０２を動作させる指示信号を送信する。
【０１１４】
なお、ＨＤＲ変換部７０２は、取得したカラー画像の画素値（色成分値）を、ダイナミックレンジを広げる変換特性に基づいて変換することにより、ＨＤＲ画像を生成する。具体的には画素ごとに変換特性に応じた画素値へと変換する。
【０１１５】
図１４は、ダイナミックレンジを広げる変換特性を示すグラフである。図１４では、縦軸（ｘ軸）に変換前の画素値（８ビット）を、横軸（ｙ軸）に変換後の画素値（１０ビット）を、それぞれ示している。ＨＤＲ変換部７０２は、取得したカラー画像の画素値（色成分値）ｘを図８に示す変換特性に応じて画素値（色成分値）ｙへと変換する。
【０１１６】
以上のように本実施の形態によれば、背景の明るさの影響を低減しつつ、検査対象物が撮像されている領域の明るさを最適に調整することが可能となる。特に、検査対象物の位置検出処理は実行していないので、例えばフォーカスが合っていない状態、すなわち撮像された画像自体が鮮明ではない状態であっても、明度のみで明るさを自動的に調整することが可能となる。
【０１１７】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば撮像装置１と表示装置２とは、接続ケーブル３で直結されている形態に限定されるものではなく、ＬＡＮ、ＷＡＮ等のネットワーク網を介して接続されていても良いことは言うまでもない。また、本実施の形態では撮像装置１と表示装置２とは別体となっているが、両者が一体として構成された画像処理センサであっても良い。
【符号の説明】
【０１１８】
１ 撮像装置
２ 表示装置
３ 接続ケーブル
１３ メイン基板
１４ カメラモジュール（撮像部）
１５ 照明基板（照明部）
２１ タッチパネル
１３１ ＦＰＧＡ（画像処理部）
７０１ カラー画像取得部
７０２ ＨＤＲ変換部
７０３ 小領域生成部
７０４ 特徴量算出部
７０５ 評価値算出部
７０６ 重み係数算出部
７０７ 飽和画素割合算出部
７０８ 調整信号出力部
【特許請求の範囲】
【請求項１】
検査対象物を含む撮像領域を撮像する撮像部と、
該撮像部で撮像領域を撮像した画像に対して画像処理を実行する画像処理部と
を備える画像処理装置において、
前記画像処理部は、
前記撮像部から出力された画像の撮像領域内に設けられ、各々が複数の画素を含む複数の小領域ごとに、検査対象物が存在する可能性を示す特徴量を算出する特徴量算出部と、
算出した特徴量に基づいて、少なくとも検査対象物を含む画像の明るさの評価値を算出する評価値算出部と、
算出した評価値に基づいて、画像の明るさを調整するための調整信号を出力する調整信号出力部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記評価値算出部は、前記複数の小領域すべてから算出した特徴量に基づいて、画像の明るさの評価値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記評価値算出部は、検査対象物が存在する可能性を示す特徴量を有する小領域から算出した特徴量のみに基づいて、画像の明るさの評価値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記調整信号出力部から出力された調整信号に基づいて、前記撮像領域に光を照射する照明部を備えることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記撮像部は、前記調整信号出力部から出力された調整信号に基づいて、前記撮像領域を撮像する場合に用いる露光時間又はゲインを調整することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記評価値算出部は、算出した特徴量に応じて、検査対象物が存在する領域を特定するための重み係数を前記小領域ごとに算出する重み係数算出部を備え、
算出した重み係数を用いて前記評価値を算出するようにしてあることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項７】
前記評価値算出部は、前記小領域ごとの重み係数に基づいて飽和画素の割合を算出する飽和画素割合算出部を備え、
算出した飽和画素の割合に基づいて前記評価値を算出するようにしてあることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記撮像部は、ダイナミックレンジを広げる変換特性に基づいて、撮像した画像をＨＤＲ画像に変換するＨＤＲ変換部を有し、
前記画像処理部は、
前記飽和画素の割合が所定値以上であるか否かを判断し、
所定値以上であると判断した場合、前記ＨＤＲ変換部を動作させるよう制御することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記小領域を生成する小領域生成部を備え、
該小領域生成部は、隣接する前記小領域の少なくとも一部が重なり合うよう前記小領域を生成するようにしてあることを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記小領域生成部は、隣接する前記小領域の半分が重なり合うよう前記小領域を生成するようにしてあることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記特徴量は、画素の画素値の分散として算出するようにしてあることを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理装置。
【請求項１２】
検査対象物を含む撮像領域を撮像する撮像部と、
該撮像部で撮像領域を前記撮像部で撮像した画像に対して画像処理を実行する画像処理部と
を備える画像処理装置で実行することが可能な画像処理方法において、
前記画像処理部は、
前記撮像部から出力された画像の撮像領域内に設けられ、各々が複数の画素を含む複数の小領域ごとに、検査対象物が存在する可能性を示す特徴量を算出し、
算出した特徴量に基づいて、少なくとも検査対象物を含む画像の明るさの評価値を算出し、
算出した評価値に基づいて、画像の明るさを調整するための調整信号を出力することを特徴とする画像処理方法。
【請求項１３】
前記複数の小領域すべてから算出した特徴量に基づいて、画像の明るさの評価値を算出することを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
検査対象物が存在する可能性を示す特徴量を有する小領域から算出した特徴量のみに基づいて、画像の明るさの評価値を算出することを特徴とする請求項１２に記載の画像処理方法。
【請求項１５】
前記撮像部は、出力された調整信号に基づいて、前記撮像領域を撮像する場合に用いる露光時間又はゲインを調整することを特徴とする請求項１２乃至１４のいずれか一項に記載の画像処理方法。
【請求項１６】
算出した特徴量に応じて、検査対象物が存在する領域を特定するための重み係数を前記小領域ごとに算出し、
算出した重み係数を用いて前記評価値を算出することを特徴とする請求項１２乃至１５のいずれか一項に記載の画像処理方法。
【請求項１７】
前記小領域ごとの重み係数に基づいて飽和画素の割合を算出し、
算出した飽和画素の割合に基づいて前記評価値を算出することを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】
前記撮像部は、ダイナミックレンジを広げる変換特性に基づいて、撮像した画像をＨＤＲ画像に変換し、
前記画像処理部は、
前記飽和画素の割合が所定値以上であるか否かを判断し、
所定値以上であると判断した場合に、前記変換特性に基づいて、撮像した画像をＨＤＲ画像に変換するよう制御することを特徴とする請求項１７に記載の画像処理方法。
【請求項１９】
隣接する前記小領域の少なくとも一部が重なり合うよう前記小領域を生成することを特徴とする請求項１２乃至１８のいずれか一項に記載の画像処理方法。
【請求項２０】
隣接する前記小領域の半分が重なり合うよう前記小領域を生成することを特徴とする請求項１９に記載の画像処理方法。
【請求項２１】
前記特徴量は、画素の画素値の分散として算出することを特徴とする請求項１２乃至２０のいずれか一項に記載の画像処理方法。
【請求項２２】
検査対象物を含む撮像領域を撮像する撮像部と、
該撮像部で撮像領域を撮像した画像に対して画像処理を実行する画像処理部と
を備える画像処理装置で実行することが可能なコンピュータプログラムにおいて、
前記画像処理部を、
前記撮像部から出力された画像の撮像領域内に設けられ、各々が複数の画素を含む複数の小領域ごとに、検査対象物が存在する可能性を示す特徴量を算出する特徴量算出手段、
算出した特徴量に基づいて、少なくとも検査対象物を含む画像の明るさの評価値を算出する評価値算出手段、及び
算出した評価値に基づいて、画像の明るさを調整するための調整信号を出力する調整信号出力手段
として機能させることを特徴とするコンピュータプログラム。
【請求項２３】
前記評価値算出手段を、前記複数の小領域すべてから算出した特徴量に基づいて、画像の明るさの評価値を算出する手段として機能させることを特徴とする請求項２２に記載のコンピュータプログラム。
【請求項２４】
前記評価値算出手段を、検査対象物が存在する可能性を示す特徴量を有する小領域から算出した特徴量のみに基づいて、画像の明るさの評価値を算出する手段として機能させることを特徴とする請求項２２に記載のコンピュータプログラム。
【請求項２５】
前記評価値算出手段を、算出した特徴量に応じて、検査対象物が存在する領域を特定するための重み係数を前記小領域ごとに算出する重み係数算出手段、及び
算出した重み係数を用いて前記評価値を算出する手段として機能させることを特徴とする請求項２２乃至２４のいずれか一項に記載のコンピュータプログラム。
【請求項２６】
前記評価値算出手段を、前記小領域ごとの重み係数に基づいて飽和画素の割合を算出する飽和画素割合算出手段、及び
算出した飽和画素の割合に基づいて前記評価値を算出する手段として機能させることを特徴とする請求項２５に記載のコンピュータプログラム。
【請求項２７】
前記画像処理部を、
前記飽和画素の割合が所定値以上であるか否かを判断する手段、及び
所定値以上であると判断した場合、前記撮像部を、ダイナミックレンジを広げる変換特性に基づいて、撮像した画像をＨＤＲ画像に変換する手段として機能させることを特徴とする請求項２６に記載のコンピュータプログラム。
【請求項１】
検査対象物を含む撮像領域を撮像する撮像部と、
該撮像部で撮像領域を撮像した画像に対して画像処理を実行する画像処理部と
を備える画像処理装置において、
前記画像処理部は、
前記撮像部から出力された画像の撮像領域内に設けられ、各々が複数の画素を含む複数の小領域ごとに、検査対象物が存在する可能性を示す特徴量を算出する特徴量算出部と、
算出した特徴量に基づいて、少なくとも検査対象物を含む画像の明るさの評価値を算出する評価値算出部と、
算出した評価値に基づいて、画像の明るさを調整するための調整信号を出力する調整信号出力部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記評価値算出部は、前記複数の小領域すべてから算出した特徴量に基づいて、画像の明るさの評価値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記評価値算出部は、検査対象物が存在する可能性を示す特徴量を有する小領域から算出した特徴量のみに基づいて、画像の明るさの評価値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記調整信号出力部から出力された調整信号に基づいて、前記撮像領域に光を照射する照明部を備えることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記撮像部は、前記調整信号出力部から出力された調整信号に基づいて、前記撮像領域を撮像する場合に用いる露光時間又はゲインを調整することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記評価値算出部は、算出した特徴量に応じて、検査対象物が存在する領域を特定するための重み係数を前記小領域ごとに算出する重み係数算出部を備え、
算出した重み係数を用いて前記評価値を算出するようにしてあることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項７】
前記評価値算出部は、前記小領域ごとの重み係数に基づいて飽和画素の割合を算出する飽和画素割合算出部を備え、
算出した飽和画素の割合に基づいて前記評価値を算出するようにしてあることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記撮像部は、ダイナミックレンジを広げる変換特性に基づいて、撮像した画像をＨＤＲ画像に変換するＨＤＲ変換部を有し、
前記画像処理部は、
前記飽和画素の割合が所定値以上であるか否かを判断し、
所定値以上であると判断した場合、前記ＨＤＲ変換部を動作させるよう制御することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記小領域を生成する小領域生成部を備え、
該小領域生成部は、隣接する前記小領域の少なくとも一部が重なり合うよう前記小領域を生成するようにしてあることを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記小領域生成部は、隣接する前記小領域の半分が重なり合うよう前記小領域を生成するようにしてあることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記特徴量は、画素の画素値の分散として算出するようにしてあることを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理装置。
【請求項１２】
検査対象物を含む撮像領域を撮像する撮像部と、
該撮像部で撮像領域を前記撮像部で撮像した画像に対して画像処理を実行する画像処理部と
を備える画像処理装置で実行することが可能な画像処理方法において、
前記画像処理部は、
前記撮像部から出力された画像の撮像領域内に設けられ、各々が複数の画素を含む複数の小領域ごとに、検査対象物が存在する可能性を示す特徴量を算出し、
算出した特徴量に基づいて、少なくとも検査対象物を含む画像の明るさの評価値を算出し、
算出した評価値に基づいて、画像の明るさを調整するための調整信号を出力することを特徴とする画像処理方法。
【請求項１３】
前記複数の小領域すべてから算出した特徴量に基づいて、画像の明るさの評価値を算出することを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
検査対象物が存在する可能性を示す特徴量を有する小領域から算出した特徴量のみに基づいて、画像の明るさの評価値を算出することを特徴とする請求項１２に記載の画像処理方法。
【請求項１５】
前記撮像部は、出力された調整信号に基づいて、前記撮像領域を撮像する場合に用いる露光時間又はゲインを調整することを特徴とする請求項１２乃至１４のいずれか一項に記載の画像処理方法。
【請求項１６】
算出した特徴量に応じて、検査対象物が存在する領域を特定するための重み係数を前記小領域ごとに算出し、
算出した重み係数を用いて前記評価値を算出することを特徴とする請求項１２乃至１５のいずれか一項に記載の画像処理方法。
【請求項１７】
前記小領域ごとの重み係数に基づいて飽和画素の割合を算出し、
算出した飽和画素の割合に基づいて前記評価値を算出することを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】
前記撮像部は、ダイナミックレンジを広げる変換特性に基づいて、撮像した画像をＨＤＲ画像に変換し、
前記画像処理部は、
前記飽和画素の割合が所定値以上であるか否かを判断し、
所定値以上であると判断した場合に、前記変換特性に基づいて、撮像した画像をＨＤＲ画像に変換するよう制御することを特徴とする請求項１７に記載の画像処理方法。
【請求項１９】
隣接する前記小領域の少なくとも一部が重なり合うよう前記小領域を生成することを特徴とする請求項１２乃至１８のいずれか一項に記載の画像処理方法。
【請求項２０】
隣接する前記小領域の半分が重なり合うよう前記小領域を生成することを特徴とする請求項１９に記載の画像処理方法。
【請求項２１】
前記特徴量は、画素の画素値の分散として算出することを特徴とする請求項１２乃至２０のいずれか一項に記載の画像処理方法。
【請求項２２】
検査対象物を含む撮像領域を撮像する撮像部と、
該撮像部で撮像領域を撮像した画像に対して画像処理を実行する画像処理部と
を備える画像処理装置で実行することが可能なコンピュータプログラムにおいて、
前記画像処理部を、
前記撮像部から出力された画像の撮像領域内に設けられ、各々が複数の画素を含む複数の小領域ごとに、検査対象物が存在する可能性を示す特徴量を算出する特徴量算出手段、
算出した特徴量に基づいて、少なくとも検査対象物を含む画像の明るさの評価値を算出する評価値算出手段、及び
算出した評価値に基づいて、画像の明るさを調整するための調整信号を出力する調整信号出力手段
として機能させることを特徴とするコンピュータプログラム。
【請求項２３】
前記評価値算出手段を、前記複数の小領域すべてから算出した特徴量に基づいて、画像の明るさの評価値を算出する手段として機能させることを特徴とする請求項２２に記載のコンピュータプログラム。
【請求項２４】
前記評価値算出手段を、検査対象物が存在する可能性を示す特徴量を有する小領域から算出した特徴量のみに基づいて、画像の明るさの評価値を算出する手段として機能させることを特徴とする請求項２２に記載のコンピュータプログラム。
【請求項２５】
前記評価値算出手段を、算出した特徴量に応じて、検査対象物が存在する領域を特定するための重み係数を前記小領域ごとに算出する重み係数算出手段、及び
算出した重み係数を用いて前記評価値を算出する手段として機能させることを特徴とする請求項２２乃至２４のいずれか一項に記載のコンピュータプログラム。
【請求項２６】
前記評価値算出手段を、前記小領域ごとの重み係数に基づいて飽和画素の割合を算出する飽和画素割合算出手段、及び
算出した飽和画素の割合に基づいて前記評価値を算出する手段として機能させることを特徴とする請求項２５に記載のコンピュータプログラム。
【請求項２７】
前記画像処理部を、
前記飽和画素の割合が所定値以上であるか否かを判断する手段、及び
所定値以上であると判断した場合、前記撮像部を、ダイナミックレンジを広げる変換特性に基づいて、撮像した画像をＨＤＲ画像に変換する手段として機能させることを特徴とする請求項２６に記載のコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１４】
【図５】
【図６】
【図１０】
【図１３】
【図２】
【図３】
【図４】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１４】
【図５】
【図６】
【図１０】
【図１３】
【公開番号】特開２０１３−１０８８８５（Ｐ２０１３−１０８８８５Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５４９８３（Ｐ２０１１−２５４９８３）
【出願日】平成２３年１１月２２日（２０１１．１１．２２）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２２日（２０１１．１１．２２）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
[ Back to top ]