画像処理装置、画像処理方法及びコンピュータプログラム
【課題】検査対象物の表面の彩度、色相等をより正確に再現することができ、欠陥検出精度の低下を防止することができる画像処理装置、該画像処理装置で実行する画像処理方法及びコンピュータプログラムを提供する。
【解決手段】検査対象物を撮像する撮像素子を有する撮像部と、該撮像部で取得した画像データに対して画像処理を実行する画像処理部とを備える。撮像部は、撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてHDR画像に変換して出力する。画像処理部は、撮像部から出力されたHDR画像の画素ごとの色成分値を変換特性に基づいて逆変換し、逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出し、算出した明度を変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後HDR画像を生成する。
【解決手段】検査対象物を撮像する撮像素子を有する撮像部と、該撮像部で取得した画像データに対して画像処理を実行する画像処理部とを備える。撮像部は、撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてHDR画像に変換して出力する。画像処理部は、撮像部から出力されたHDR画像の画素ごとの色成分値を変換特性に基づいて逆変換し、逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出し、算出した明度を変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後HDR画像を生成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検査対象物の表面の彩度、色相等をより正確に再現することができ、欠陥検出精度の低下を防止することができる画像処理装置、該画像処理装置で実行する画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
検査対象物の外観検査を実行する場合、コントラストの大きい検査対象物を撮像したときには、撮像した画像の高輝度領域において白飛び、低輝度領域において黒つぶれが発生するおそれがある。画像に白飛び、黒つぶれが発生するのを回避するために、HDR処理を行って検査対象物の画像検査を実行している。
【0003】
典型的なHDR処理としては、例えば露光時間の異なる画像を複数撮像し、撮像した複数の画像に基づいて受光素子のダイナミックレンジより広いダイナミックレンジを有する合成画像をHDR画像として生成している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2000−023183号公報
【特許文献2】特開平07−046605号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
HDR画像を生成する場合、異なる複数の露光条件で撮像した複数の画像を合成することにより、多階調の合成画像をHDR画像として生成する。したがって、HDR画像を生成するのに相当の時間を要し、検査タクトタイムを短縮することが困難になるという問題があった。
【0006】
また、少しでもHDR画像を生成する時間を短縮するべく、1回の撮像時に異なる複数の時間内での受光信号の上限値を段階的に変化させることにより、複数回撮像した場合と同様のHDR画像を生成する方法も考えられている。しかし、HDR画像を生成する場合、輝度が高い画素の画素値が小さくなるので画像全体が灰色がかった色になり、彩度が低下して色褪せた画像となる。
【0007】
これに対して、HDR画像に対して彩度を補正する技術も開示されている(特許文献1及び2参照)。しかし、いずれもHDR画像に対して彩度を補正する技術であって、HDR画像として生成する前の彩度、色相等を正確に再現する技術ではない。
【0008】
本発明は、斯かる事情に鑑みてなされたものであり、検査対象物の表面の彩度、色相等をより正確に再現することができ、欠陥検出精度の低下を防止することができる画像処理装置、該画像処理装置で実行する画像処理方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために第1発明に係る画像処理装置は、検査対象物を撮像する撮像素子を有する撮像部と、該撮像部で取得した画像データに対して画像処理を実行する画像処理部とを備える画像処理装置において、前記撮像部は、前記撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてHDR画像に変換して出力し、前記画像処理部は、前記撮像部から出力されたHDR画像の画素ごとの色成分値を前記変換特性に基づいて逆変換する逆変換部と、逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出する算出部と、算出した明度を前記変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後HDR画像を生成する補正後HDR画像生成部とを備えることを特徴とする。
【0010】
また、第2発明に係る画像処理装置は、第1発明において、前記算出部は、前記色成分値の最大値を前記明度として算出し、前記補正後HDR画像生成部は、画素ごとに算出した明度を前記変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、前記補正後HDR画像を生成することを特徴とする。
【0011】
また、第3発明に係る画像処理装置は、第1又は第2発明において、前記画像処理部は、前記逆変換部により逆変換されたHDR画像の画素ごとの色成分値に対して、ホワイトバランスを調整するゲインを乗算するホワイトバランス調整部を備えることを特徴とする。
【0012】
また、第4発明に係る画像処理装置は、第1乃至第3発明のいずれか1つにおいて、前記撮像部においてHDR画像に変換するか否かを切り替える切替部を備えることを特徴とする。
【0013】
次に、上記目的を達成するために第5発明に係る画像処理方法は、検査対象物を撮像する撮像素子を有する撮像部と、該撮像部で取得した画像データに対して画像処理を実行する画像処理部とを備える画像処理装置で実行することが可能な画像処理方法において、前記撮像部は、前記撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてHDR画像に変換して出力し、前記画像処理部は、前記撮像部から出力されたHDR画像の画素ごとの色成分値を前記変換特性に基づいて逆変換し、逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出し、算出した明度を前記変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後HDR画像を生成することを特徴とする。
【0014】
また、第6発明に係る画像処理方法は、第5発明において、前記色成分値の最大値を前記明度として算出し、画素ごとに算出した明度を前記変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、前記補正後HDR画像を生成することを特徴とする。
【0015】
また、第7発明に係る画像処理方法は、第5又は第6発明において、前記画像処理部は、逆変換されたHDR画像の画素ごとの色成分値に対して、ホワイトバランスを調整するゲインを乗算することを特徴とする。
【0016】
また、第8発明に係る画像処理方法は、第5乃至第7発明のいずれか1つにおいて、前記撮像部においてHDR画像に変換するか否かを切り替えることを特徴とする。
【0017】
次に、上記目的を達成するために第9発明に係るコンピュータプログラムは、検査対象物を撮像する撮像素子を有する撮像部と、該撮像部で取得した画像データに対して画像処理を実行する画像処理部とを備える画像処理装置で実行することが可能なコンピュータプログラムにおいて、前記撮像部を、前記撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてHDR画像に変換して出力する手段として機能させ、前記画像処理部を、前記撮像部から出力されたHDR画像の画素ごとの色成分値を前記変換特性に基づいて逆変換する逆変換手段、逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出する算出手段、及び算出した明度を前記変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後HDR画像を生成する補正後HDR画像生成手段として機能させることを特徴とする。
【0018】
また、第10発明に係るコンピュータプログラムは、第9発明において、前記算出手段を、前記色成分値の最大値を前記明度として算出する手段として機能させ、前記補正後HDR画像生成手段を、画素ごとに算出した明度を前記変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、前記補正後HDR画像を生成する手段として機能させることを特徴とする。
【0019】
また、第11発明に係るコンピュータプログラムは、第9又は第10発明において、前記画像処理部を、逆変換されたHDR画像の画素ごとの色成分値に対して、ホワイトバランスを調整するゲインを乗算する手段として機能させることを特徴とする。
【0020】
第1発明、第5発明及び第9発明では、撮像部は、撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてHDR画像に変換して出力する。画像処理部は、撮像部から出力されたHDR画像の画素ごとの色成分値を変換特性に基づいて逆変換し、逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出する。算出した明度を変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後HDR画像を生成する。生成した補正後HDR画像の彩度、色相が、撮像されたカラー画像の彩度、色相とほぼ同一となるので、明度のみを補正することができ、画質の劣化を抑制することができる。また、カラー画像の1回の撮像で、異なる複数の露光時間で複数回撮像した場合と同様のHDR画像を生成するにもかかわらず画質の劣化を抑制することができるとともに、撮像部と画像処理部との間のデータ通信量を減らすことができ、検査タクトタイムを短縮することが可能となる。
【0021】
第2発明、第6発明及び第10発明では、色成分値の最大値を明度として算出し、画素ごとに算出した明度を変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、補正後HDR画像を生成する。これにより、生成した補正後HDR画像の彩度、色相が、撮像されたカラー画像の彩度、色相とほぼ同一となるので、明度のみを補正することができ、画質の劣化を抑制することができる。
【0022】
第3発明、第7発明及び第11発明では、逆変換されたHDR画像の画素ごとの各色成分値に対して、ホワイトバランスを調整するゲインを乗算するので、ホワイトバランスを調整するときの色の変化を抑制することが可能となる。より詳細に説明すると、撮像部から出力されたHDR画像に対してホワイトバランス調整を実行すると、画像の色合いが変化する場合があるが、本発明のように、逆変換部により逆変換されたHDR画像に対してホワイトバランス調整を実行することによって、ホワイトバランス調整をした際に色合いが変化することを抑制することができる。
【0023】
第4発明及び第8発明では、撮像部においてHDR画像に変換するか否かを切り替えることができるので、検査対象物を撮像した場合にハレーションが生じないときは、HDR画像を生成しないよう切り替えることができ、全体として演算処理負荷を軽減することが可能となる。
【発明の効果】
【0024】
本発明では、生成した補正後HDR画像の彩度、色相が、撮像されたカラー画像の彩度、色相とほぼ同一となるので、明度のみを補正することができ、画質の劣化を抑制することができる。また、カラー画像の1回の撮像で、異なる複数の露光時間で複数回撮像した場合と同様のHDR画像を生成するにもかかわらず画質の劣化を抑制することができるとともに、撮像部と画像処理部との間のデータ通信量を減らすことができ、検査タクトタイムを短縮することが可能となる。
【図面の簡単な説明】
【0025】
【図1】本発明の実施の形態に係る画像処理センサの構成を示す模式図である。
【図2】本発明の実施の形態に係る画像処理センサの撮像装置の構成を示す外形図である。
【図3】本発明の実施の形態に係る画像処理センサの撮像装置のハードウェア構成を示すブロック図である。
【図4】本発明の実施の形態に係る画像処理センサの表示装置の構成を示す正面図である。
【図5】本発明の実施の形態に係る画像処理センサの表示装置のモード切り替え画面の例示図である。
【図6】本発明の実施の形態に係る画像処理センサの表示装置の設定画面の例示図である。
【図7】本発明の実施の形態に係る画像処理センサの撮像装置の機能ブロック図である。
【図8】ダイナミックレンジを広げるための変換特性の例示図である。
【図9】撮像装置で撮像したカラー画像の状態変化を示す図である。
【図10】本発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のFPGAの処理手順を示すフローチャートである。
【図11】本発明の実施の形態に係る画像処理センサの撮像装置の、ホワイトバランスを調整する場合の機能ブロック図である。
【図12】本発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のFPGAの、ホワイトバランスを調整する場合の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0026】
以下、本発明の実施の形態に係る画像処理装置について、図面を参照して説明する。なお、本実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。以下、画像処理装置として画像処理センサを例に挙げて説明する。
【0027】
図1は、本発明の実施の形態に係る画像処理センサの構成を示す模式図である。図1に示すように、本実施の形態に係る画像処理センサは、撮像装置1と、撮像装置1とデータ通信することが可能に接続ケーブル3で接続されている表示装置2とで構成されている。もちろん、表示装置2の代わりに、ディスプレイを有する外部コンピュータであっても良い。なお、撮像装置1と表示装置2とが一体として構成されていても良い。
【0028】
撮像装置1は、内部に画像処理を実行するFPGA、DSP等を備えており、検査対象物を撮像する撮像素子を有するカメラモジュール(撮像部)と、検査対象物に対して光を照射する照明部とを備えている。撮像装置1をコンパクトにするべく、例えば図1に示すように、撮像装置1の正面の中央近傍にレンズ12を配置し、レンズ12の周囲を囲むように、照明部として複数のLED11を配置してある。なお、撮像装置1とは別に外部照明(リング照明等)を設けても良い。
【0029】
図2は、本発明の実施の形態に係る画像処理センサの撮像装置1の構成を示す外形図である。図2(a)は、本発明の実施の形態に係る画像処理センサの撮像装置1の構成を示す正面図を、図2(b)は、本発明の実施の形態に係る画像処理センサの撮像装置1の構成を示す平面図を、図2(c)は、本発明の実施の形態に係る画像処理センサの撮像装置1の構成を示す背面図を、それぞれ示している。
【0030】
図2(a)に示すように、撮像装置1はレンズ12を正面の中央近傍に配置しており、レンズ12の周囲を囲むように複数のLED11を配置してある。撮像時には、複数のLED11を点灯させることにより、検査対象物に光を照射し、検査対象物を明瞭に撮像することができる。
【0031】
図2(b)及び図2(c)に示すように、撮像装置1の背面には、外部の電源から電力の供給を受ける電源ケーブルを接続する電源コネクタ102と、表示装置2とデータ通信する接続ケーブル3を接続することが可能な接続コネクタ103とを備えている。また、手動でフォーカスを調整することができるフォーカス調整ネジ101も背面に備えている。
【0032】
図3は、本発明の実施の形態に係る画像処理センサの撮像装置1のハードウェア構成を示すブロック図である。図3において、コネクタ基板16は、電源インタフェース161に設けてある電源コネクタ102(図2(b)及び図2(c)参照)を介して、外部の電源から電力の供給を受ける。電源基板18は、供給された電力を各基板に供給する。本実施の形態では、カメラモジュール14にはメイン基板13を介して電力を供給している。電源基板18のモータドライバ181は、カメラモジュール14のモータ141に駆動電力を供給し、オートフォーカス機能を実現している。
【0033】
通信基板17は、メイン基板13から出力された欠陥を検出したか否かで検査対象物の良否を示すOK/NG信号(判定信号)を表示装置2へ送信する。判定信号を受信した表示装置2は、判定結果を表示する。
【0034】
照明基板(照明部)15は、検査対象物を撮像する撮像領域に光を照射する、複数のLED11が設けてあり、図示しないリフレクタはLED11の前方に設けてある。また、レンズ12は、短距離用又は長距離用のレンズユニットとして交換可能となっている。
【0035】
カメラモジュール(撮像部)14は、モータ141が駆動することにより、オートフォーカス動作の制御を行うことができる。メイン基板13からの撮像指示信号に応じて検査対象物を撮像する。本実施の形態では、撮像素子としてCMOS基板142を備えており、撮像されたカラー画像は、CMOS基板142にてダイナミックレンジを広げる変換特性に基づいてHDR画像へ変換され、メイン基板13のFPGA131へ出力される。つまり、CMOS基板142は、HDR画像を生成・出力する機能を備えており、例えばHDRCMOS等がこれに該当する。なお、画像処理センサの撮像装置1には、CMOS基板にてHDR画像に変換するか否かを切り替える切替部を設けても良い。切替部により、検査対象物を撮像した場合にハレーション等が生じ難いワークが搬送されてきたとき、HDR画像を生成しないよう切り替えることができ、ひいては演算処理負荷を軽減することができる。
【0036】
メイン基板13は、接続してある各基板の動作を制御する。例えば照明基板15に対しては、複数のLED11の点灯/消灯を制御する制御信号を、LEDドライバ151へ送信する。LEDドライバ151は、FPGA131からの制御信号に応じて、例えばLED11の点灯/消灯、光量等を調整する。また、カメラモジュール14のモータ141に対しては、電源基板18のモータドライバ181を介してオートフォーカス動作を制御する制御信号を、CMOS基板142に対しては、撮像指示信号等を、それぞれ送信する。
【0037】
メイン基板13のFPGA131は、照明制御、撮像制御をするとともに、取得した画像データに対して画像処理を実行する(画像処理部)。また、メイン基板13のDSP132は、画像データについて、エッジ検出処理、パターン検索処理等を実行する。パターン検索処理の結果として、欠陥を検出したか否かで検査対象物の良否を示すOK/NG信号(判定信号)を通信基板17へ出力する。演算処理結果等はメモリ133に記憶される。なお、本実施の形態では、エッジ検出処理、パターン検索処理等の比較的負荷の重い処理をDSP132により実行している。しかし、場合によってはFPGA131により実行するようにしても良い。要するに、画像処理部は、CMOS基板142で取得した画像データに対して何らかの画像処理を実行できれば、それで足りる。
【0038】
図4は、本発明の実施の形態に係る画像処理センサの表示装置2の構成を示す正面図である。図4に示すように、表示装置2の前面の中央部分にはタッチパネル21が設けてあり、撮像された検査対象物のカラー画像を画面に表示するとともに、ユーザによる選択入力を受け付ける。
【0039】
また、表示装置2は、外部の電源から電力が供給される電源ケーブルを接続する電源コネクタ24と、撮像装置1とデータ通信する接続ケーブル3を接続することが可能な接続コネクタ25とを備えている。さらにUSBメモリ等と接続することが可能なUSBポート22を前面に設けてある。
【0040】
ユーザは、表示装置2のタッチパネル21の画面に表示されているボタンを選択することにより、画像処理センサの動作を制御する。そして、検査対象物の検査を実行する「検査モード」と、画像処理センサの条件設定を行う「設定モード」との切り替えを行うこともできる。言い換えると、本実施の形態に係る画像処理センサは、検査対象物の良否を判定する検査モード(Runモード)と、検査に用いる各種パラメータ(撮像パラメータ、照明パラメータ、画像処理パラメータ等)の設定を行う設定モード(非Runモード)とを切り替えるためのモード切替部を有している。図5は、本発明の実施の形態に係る画像処理センサの表示装置2のモード切り替え画面の例示図である。
【0041】
図5(a)は、「検査モード」の画面表示の例示図である。図5(a)に示すように、検査対象物表示領域51に、撮像装置1が撮像した検査対象物の画像を表示する。左下の「センサ設定」ボタン52が切替部として機能し、「センサ設定」ボタン52が選択された場合、「設定モード」へと切り替わり、図5(b)に示す画面へと画面遷移する。
【0042】
図5(b)は、「設定モード」の画面表示の例示図である。図5(b)に示すように、プログラム選択領域53にて、検査対象物の種類を選択する。ここで、「プログラム」とは、検査対象物の種類又は検査環境に応じて設定された一連のデータ群(パラメータ値の組み合わせ)を意味しており、検査対象物の種類ごとに異なるデータ群をプログラムとして記憶することができる。
【0043】
また、検査対象物と比較する基準となるマスタ画像が記憶されている場合、マスタ画像表示領域54にマスタ画像が表示される。「設定ナビ」ボタン55が選択された場合、詳細な設定を行う設定画面に画面遷移する。図5(b)の「運転開始」ボタン56は切替部として機能し、「運転開始」ボタン56が選択された場合、「検査モード」へと切り替わり、図5(a)に示す画面へと画面遷移する。
【0044】
図6は、本発明の実施の形態に係る画像処理センサの表示装置2の設定画面の例示図である。図6に示す設定画面を通じて、ユーザは、撮像条件の設定(図6(a))から、パターンサーチする基準となるマスタ画像の登録(図6(b))、マスタ画像に対して輪郭サーチ等のツール設定(図6(c)〜図6(e))、出力割当(図6(f))、という流れで順次設定を行う。以下、詳細に説明する。図5(b)に示す「設定ナビ」ボタン55が選択された場合、まず図6(a)に示す撮像条件設定画面が表示される。撮像条件設定画面では、マスタ画像が記憶されている場合にはマスタ画像が主表示領域61に表示され、画面下部に撮像条件を設定する設定ボタン群が表示されている。例えば「トリガ条件」ボタンが選択された場合には、撮像装置1が検査対象物を撮像するタイミングを特定するトリガ条件を設定することができる。詳細な設定画面は省略するが、それぞれのボタンが選択された場合、それぞれの設定条件に応じて図4に示すタッチパネル21上に表示される。
【0045】
また、より詳細な設定をするには、図6(a)の「拡張機能」ボタン62を選択すれば良い。「拡張機能」ボタン62が選択された場合、詳細な設定を行うためのボタンが別途表示される。このように撮像条件設定画面では、明るさの調整、フォーカスの調整、撮像範囲、照明のオン/オフ、ズームのオン/オフ等を設定することができる。
【0046】
図6(a)の「進む」と表示された「画面遷移」ボタン63が選択された場合、図6(b)に示すマスタ画像登録画面が表示される。登録されたマスタ画像上に、以後、検査用の様々なツールを設定する。1つのマスタ画像に対して複数のプログラムを記憶することができる。つまり、同じマスタ画像に対して異なるツールを設定し、異なるプログラムとして記憶しておくことができる。
【0047】
マスタ画像は、現在撮像している検査対象物の画像を登録しても良いし、以前に撮像しておいた画像から選択して登録しても良い。現在撮像している画像を登録する場合、ユーザは「Live画像登録」ボタン64を選択すればよい。「Live画像登録」ボタン64が選択された時点で撮像されている画像がマスタ画像として登録される。
【0048】
図6(b)の「進む」と表示された「画面遷移」ボタン65が選択された場合、図6(c)に示すマスタ画像ごとのツール設定画面が表示される。マスタ画像上に、以後、検査用の様々なツールを設定する。
【0049】
ツール設定画面では、表示されているマスタ画像に、検査を実行するためのツールを追加設定する。図6(c)に示す「追加」ボタン66が選択された場合、図6(d)に示すツール選択画面が表示される。ツール選択画面で選択されたツールを追加設定する。例えば「輪郭サーチ」ボタン67が選択された場合、図6(e)に示す輪郭サーチ設定画面が表示される。輪郭サーチ設定画面で、マスタ画像のどの輪郭を撮像された検査対象物の画像と照合するのか設定しておくことにより、欠陥を検出したか否かで検査対象物の良否を判定することができる。以下、色面積、位置補正等の設定をすることができる。
【0050】
図6(c)の「進む」と表示された「画面遷移」ボタン68が選択された場合、図6(f)に示す出力割当画面が表示される。出力割当画面では、検査の結果として画面に表示される出力線が何を意味するのか設定することができる。「完了」ボタン69が選択された場合、図5(b)に示す「設定モード」の画面表示に戻る。このように、ユーザは、図4に示す表示装置2のタッチパネル21上で、「進む」と表示された「画面遷移」ボタン63、65、68を順に選択することで、簡単かつ短時間に、検査に用いる各種パラメータを設定することができる。また、画像処理センサに慣れていないユーザであっても、表示装置2のタッチパネル21上で次の操作へ誘導されるので、各種パラメータを容易に設定することができる。
【0051】
図7は、本発明の実施の形態に係る画像処理センサの撮像装置1の機能ブロック図である。図7において、カラー画像取得部701は、図3に示すカメラモジュール14のCMOS基板142で撮像されたカラー画像の画素値を色成分値として取得する。HDR画像生成部702は、取得したカラー画像の画素値(色成分値)を、ダイナミックレンジを広げる変換特性に基づいて変換することにより、HDR画像を生成する。具体的には画素ごとに変換特性に応じた画素値へと変換する。
【0052】
図8は、ダイナミックレンジを広げるための変換特性の例示図である。図8では、縦軸(x軸)に変換後の画素値(8ビット)を、横軸(y軸)にHDR画像の画素値(10ビット)を、それぞれ示している。HDR画像生成部702は、取得したカラー画像の画素値(色成分値)yを図8に示す変換特性に応じた画素値(色成分値)xへと変換する。つまり、ダイナミックレンジ(定義としては、例えば、最も明るい部分と最も暗い部分との明暗の比率、識別可能な信号の最小値と最大値との比率、又はこれらの比率をdB単位で示したもの等)を広げるように、所定の変換特性(例えば対数特性)に基づいて画素値を変換する。本実施の形態では、図8に示すような変換特性を用いているが、本発明は特に斯かる変換特性に限定されるものではなく、例えば折れ線ではなく滑らかな曲線で表される変換特性であっても良い。
【0053】
また、本実施の形態では、カラー画像取得部701及びHDR画像生成部702の一例として、CMOS基板142を考えている。すなわち、HDR画像生成・出力機能を有するCMOS基板を考えている。画像処理検査の分野では、検査画像の中にハレーションや黒飛びが発生すると検査精度の低下を招くことから、このようなHDR画像生成・出力機能を有するCMOS基板を用いることが一般的である。本実施の形態に係る画像処理センサは、このようなCMOS基板を用いた場合であったとしても、検査対象物の表面の彩度、色相等をより正確に再現することができる。つまり、本実施の形態に係る画像処理センサは、検査精度の低下を防止しつつ、検査対象物の表面の彩度、色相等をより正確に再現することができる。
【0054】
図7に戻って、逆変換部703は、HDR画像生成部702で生成されたHDR画像の画素ごとの色成分値を、変換特性に基づいて逆変換する。なお、本来、逆変換することで元の画像が再現できるはずであるが、現実には丸め誤差等の存在により、撮像されたカラー画像と全く同一にはならない。
【0055】
算出部704は、逆変換された画素値から、画素ごとに明度及び各色成分値の比を算出する。本実施の形態では、色成分値の最大値を明度として算出し、画素ごとの明度と各色成分値との比は、算出した明度で各色成分値を除算した値としている。これにより、明度と各色成分値との比は0〜1の範囲の値として求めることができ、ひいては演算処理負荷の軽減、メモリ資源の利用の効率化等を図ることができる。ただし、本発明はこれに限定されるものではなく、例えば色成分値を足し合わせた合計値を明度としても良い。
【0056】
補正後HDR画像生成部705は、算出した明度を変換特性に基づいて変換してHDR画像における明度へと再変換する。そして、再変換された明度を算出した各色成分値の比に乗算することにより、補正後HDR画像を生成する。なお、本実施の形態では、補正後のHDR画像を生成する場合に、再変換された明度を算出した各色成分値の比に乗算する計算法を採用しているが、本発明はこれに限定されるものではない。
【0057】
以下、具体的な数値を用いて、より詳細に説明する。例えば、CMOS基板142で撮像されたカラー画像の色成分値をそれぞれR、G、Bとした場合、メイン基板13のFPGA131には、HDR画像へ変換されたR’、G’、B’が渡されるものとする。FPGA131は、HDR画像へ変換されたR’、G’、B’を逆変換することにより、画素ごとの色成分値RL、GL、BLを算出する。
【0058】
ここで、明度VLを、画素ごとの色成分値RL、GL、BLの最大値として算出することで、画素ごとの明度と各色成分値との比は、RL/VL、GL/VL、BL/VLと表すことができる。明度VLはHDR画像から逆変換された値なので、再度HDR画像へ変換し、明度Vを得る。したがって、画素ごとの色成分値は、再変換された明度Vを用いて、RL/VL×V、GL/VL×V、BL/VL×Vと表すことができる。
【0059】
例えば、具体的な数値として、HDR変換前の画像の色成分値を(R、G、B)=(768、196、96)とすると、彩度Sは、(768−96)/768で0.875となる。この状態で図8に示す変換特性に応じてHDR画像に変換すると、(R、G、B)=(224、113、80)となる。このままでは、彩度Sは、(224−80)/224で0.643となり、色合いに変化が生じ、例えば灰色がかった色になり、彩度が低下して褪せたような色となる。
【0060】
それに対して、本実施の形態のように、HDR画像に対して色補正をする場合、前述の例と同様にHDR変換前の画像の色成分値を(R、G、B)=(768、196、96)とすると、RGB比が8:2:1と求まる。明度Vは色補正をしない場合と同様768であるから、図8に示す変換特性に応じて変換すると、Rは224となる。したがって、求めたRGB比に応じて、(R、G、B)=(224、56、28)となる。この場合、彩度Sは、(224−28)/224で0.875と変化せず、色相Hも同様に変化しない。したがって、明度Vに対してのみ色補正の影響が出るため、画像全体が色褪せた画像にはならない。
【0061】
図9は、撮像装置1で撮像したカラー画像の状態変化を示す図である。図9(a)に示すように、HDR画像を生成しない場合には色の境界がぼやけて表示されている。HDR画像を生成する場合、図9(b)に示すようにHDR画像に対して色補正をしないときには、生成した補正後HDR画像の彩度Sが低下し、色褪せたような画像になる。一方、図9(c)に示すようにHDR画像に対して色補正をすることにより、生成した補正後HDR画像の彩度、色相は、撮像されたカラー画像の彩度、色相とほぼ同一になる。したがって、色褪せることがなく、検査における欠陥の検出精度の低下を防止することができる。
【0062】
図10は、本発明の実施の形態に係る画像処理センサの撮像装置1のメイン基板13のFPGA131の処理手順を示すフローチャートである。図10において、撮像装置1のメイン基板13のFPGA131は、カメラモジュール14で変換されて生成されたHDR画像の、画素ごとの色成分値として取得する(ステップS1001)。
【0063】
FPGA131は、取得したHDR画像の画素ごとの色成分値を、変換特性に基づいて逆変換する(ステップS1002)。FPGA131は、逆変換された画素値から、画素ごとに明度及び色成分値の比を算出する(ステップS1003)。本実施の形態では、色成分値の最大値を明度として算出し、画素ごとの明度と各色成分値との比は、算出した明度で各色成分値を除算した値としている。これにより、明度と各色成分値との比は0〜1の範囲の値として求めることができる。
【0064】
FPGA131は、算出した明度を変換特性に基づいて変換してHDR画像における明度へと再変換する(ステップS1004)。そして、FPGA131は、再変換された明度を算出した各色成分値の比に乗算することにより、補正後HDR画像を生成する(ステップS1005)。
【0065】
なお、白色を白色として表示するためには、R、G、Bそれぞれの色成分値のホワイトバランスを調整することが必要となる。図11は、本発明の実施の形態に係る画像処理センサの撮像装置1の、ホワイトバランスを調整する場合の機能ブロック図である。図11において、カラー画像取得部701、HDR画像生成部702は、ホワイトバランスを調整しない場合と同様であるので詳細な説明は省略する。
【0066】
逆変換部703は、HDR画像生成部702で生成されたHDR画像の画素ごとの色成分値を、変換特性に基づいて逆変換する。本来、逆変換することで元の画像が再現できるはずであるが、現実には丸め誤差等の存在により、撮像されたカラー画像と全く同一にはならない。
【0067】
ホワイトバランス調整部1101は、ホワイトバランスを調整するゲインを、逆変換された画素ごとの画素値(色成分値)に乗算する。そして、算出部704は、ゲインが乗算された画素値から、画素ごとに明度及び各色成分値の比を算出する。本実施の形態では、色成分値の最大値を明度として算出し、画素ごとの明度と各色成分値との比は、算出した明度で各色成分値を除算した値としている。これにより、明度と各色成分値との比は0〜1の範囲の値として求めることができる。
【0068】
補正後HDR画像生成部705は、算出した明度を変換特性に基づいて変換してHDR画像における明度へと再変換する。そして、再変換された明度を算出した各色成分値の比に乗算することにより、補正後HDR画像を生成する。
【0069】
例えば、CMOS基板142で撮像されたカラー画像の色成分値をそれぞれR、G、Bとした場合、メイン基板13のFPGA131には、HDR画像へ変換された色成分値R’、G’、B’が渡されるものとする。FPGA131は、HDR画像へ変換された色成分値R’、G’、B’を逆変換することにより、画素ごとの色成分値RL、GL、BLを算出する。
【0070】
次に、算出した画素ごとの色成分値RL、GL、BLに、ホワイトバランスを調整するゲイン(AR、AG、AB)を乗算する。したがって、ホワイトバランスを調整した後の画素ごとの色成分値は、(RL×AR、GL×AG、BL×AB)となる。
【0071】
ここで、明度VLを、画素ごとの色成分値RL×AR、GL×AG、BL×ABの最大値として算出することで、画素ごとの明度と各色成分値との比は、RL×AR/VL、GL×AG/VL、BL×AB/VLと表すことができる。明度VLはHDR画像から逆変換された値なので、再度HDR画像へ変換し、明度Vを得る。したがって、画素ごとの色成分値は、再変換された明度Vを用いて、RL×AR/VL×V、GL×AG/VL×V、BL×AB/VL×Vと表すことができる。
【0072】
HDR画像への変換を行わない場合、色成分値を(R、G、B)=(160、200、100)とし、ホワイトバランスを調整するゲイン(AR、AG、AB)=(1.25、1.00、2.00)を乗算する。これにより、色成分値は(R、G、B)=(200、200、200)となるので白色表示となる。HDR画像に変換する場合、RGB比が同じ色成分値(R、G、B)=(320、400、200)を、図8に示す変換特性に応じて変換すると、(R、G、B)=(144、164、114)となる。このまま、ゲイン(1.25、1.00、2.00)を乗算した場合、(R、G、B)=(180、164、228)となるので、白色を白色として表示することができなくなる。
【0073】
それに対して、本実施の形態のように、HDR画像に対して色補正をして、ホワイトバランスを調整する場合、HDR画像の色成分値を(R、G、B)=(144、164、114)とすると、図8に示す変換特性に応じて逆変換して、(R、G、B)=(320、400、200)となる。これにホワイトバランスを調整するゲイン(AR、AG、AB)=(1.25、1.00、2.00)を乗算して、(R、G、B)=(400、400、400)としておくことにより、図8に示す変換特性に応じて変換して、(R、G、B)=(164、164、164)となる。したがって、白色を確実に白色として表示することができる。
【0074】
図12は、本発明の実施の形態に係る画像処理センサの撮像装置1のメイン基板13のFPGA131の、ホワイトバランスを調整する場合の処理手順を示すフローチャートである。図12において、撮像装置1のメイン基板13のFPGA131は、カメラモジュール14で変換されて生成されたHDR画像の、画素ごとの色成分値として取得する(ステップS1001)。
【0075】
FPGA131は、取得したHDR画像の画素ごとの色成分値を、変換特性に基づいて逆変換する(ステップS1002)。FPGA131は、逆変換された画素ごとの画素値(色成分値)にホワイトバランスを調整するゲインを乗算し(ステップS1201)、ゲインが乗算された画素値(色成分値)から、画素ごとに明度及び色成分値の比を算出する(ステップS1003)。本実施の形態では、色成分値の最大値を明度として算出し、画素ごとの明度と各色成分値との比は、算出した明度で各色成分値を除算した値としている。これにより、明度と各色成分値との比は0〜1の範囲の値として求めることができる。
【0076】
FPGA131は、算出した明度を変換特性に基づいて変換してHDR画像における明度へと再変換する(ステップS1004)。そして、FPGA131は、再変換された明度を算出した各色成分値の比に乗算することにより、補正後HDR画像を生成する(ステップS1005)。
【0077】
以上のように本実施の形態によれば、生成した補正後HDR画像の彩度、色相が、撮像されたカラー画像の彩度、色相とほぼ同一となるので、明度のみを補正することができ、画質の劣化を抑制することができる。また、カラー画像の1回の撮像で、異なる複数の露光時間で複数回撮像した場合と同様のHDR画像を生成するにもかかわらず画質の劣化を抑制することができるとともに、撮像部と画像処理部との間のデータ通信量を減らすことができ、検査タクトタイムを短縮することが可能となる。
【0078】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば撮像装置1と表示装置2とは、接続ケーブル3で直結されている形態に限定されるものではなく、LAN、WAN等のネットワーク網を介して接続されていても良いことは言うまでもない。また、上記実施例では、撮像装置1と表示装置2とは別体となっているが、両者が一体になった画像処理装置であっても良い。
【符号の説明】
【0079】
1 撮像装置
2 表示装置
3 接続ケーブル
13 メイン基板
14 カメラモジュール
21 タッチパネル
131 FPGA
701 カラー画像取得部
702 HDR画像生成部
703 逆変換部
704 算出部
705 補正後HDR画像生成部
1101 ホワイトバランス調整部
【技術分野】
【0001】
本発明は、検査対象物の表面の彩度、色相等をより正確に再現することができ、欠陥検出精度の低下を防止することができる画像処理装置、該画像処理装置で実行する画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
検査対象物の外観検査を実行する場合、コントラストの大きい検査対象物を撮像したときには、撮像した画像の高輝度領域において白飛び、低輝度領域において黒つぶれが発生するおそれがある。画像に白飛び、黒つぶれが発生するのを回避するために、HDR処理を行って検査対象物の画像検査を実行している。
【0003】
典型的なHDR処理としては、例えば露光時間の異なる画像を複数撮像し、撮像した複数の画像に基づいて受光素子のダイナミックレンジより広いダイナミックレンジを有する合成画像をHDR画像として生成している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2000−023183号公報
【特許文献2】特開平07−046605号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
HDR画像を生成する場合、異なる複数の露光条件で撮像した複数の画像を合成することにより、多階調の合成画像をHDR画像として生成する。したがって、HDR画像を生成するのに相当の時間を要し、検査タクトタイムを短縮することが困難になるという問題があった。
【0006】
また、少しでもHDR画像を生成する時間を短縮するべく、1回の撮像時に異なる複数の時間内での受光信号の上限値を段階的に変化させることにより、複数回撮像した場合と同様のHDR画像を生成する方法も考えられている。しかし、HDR画像を生成する場合、輝度が高い画素の画素値が小さくなるので画像全体が灰色がかった色になり、彩度が低下して色褪せた画像となる。
【0007】
これに対して、HDR画像に対して彩度を補正する技術も開示されている(特許文献1及び2参照)。しかし、いずれもHDR画像に対して彩度を補正する技術であって、HDR画像として生成する前の彩度、色相等を正確に再現する技術ではない。
【0008】
本発明は、斯かる事情に鑑みてなされたものであり、検査対象物の表面の彩度、色相等をより正確に再現することができ、欠陥検出精度の低下を防止することができる画像処理装置、該画像処理装置で実行する画像処理方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために第1発明に係る画像処理装置は、検査対象物を撮像する撮像素子を有する撮像部と、該撮像部で取得した画像データに対して画像処理を実行する画像処理部とを備える画像処理装置において、前記撮像部は、前記撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてHDR画像に変換して出力し、前記画像処理部は、前記撮像部から出力されたHDR画像の画素ごとの色成分値を前記変換特性に基づいて逆変換する逆変換部と、逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出する算出部と、算出した明度を前記変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後HDR画像を生成する補正後HDR画像生成部とを備えることを特徴とする。
【0010】
また、第2発明に係る画像処理装置は、第1発明において、前記算出部は、前記色成分値の最大値を前記明度として算出し、前記補正後HDR画像生成部は、画素ごとに算出した明度を前記変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、前記補正後HDR画像を生成することを特徴とする。
【0011】
また、第3発明に係る画像処理装置は、第1又は第2発明において、前記画像処理部は、前記逆変換部により逆変換されたHDR画像の画素ごとの色成分値に対して、ホワイトバランスを調整するゲインを乗算するホワイトバランス調整部を備えることを特徴とする。
【0012】
また、第4発明に係る画像処理装置は、第1乃至第3発明のいずれか1つにおいて、前記撮像部においてHDR画像に変換するか否かを切り替える切替部を備えることを特徴とする。
【0013】
次に、上記目的を達成するために第5発明に係る画像処理方法は、検査対象物を撮像する撮像素子を有する撮像部と、該撮像部で取得した画像データに対して画像処理を実行する画像処理部とを備える画像処理装置で実行することが可能な画像処理方法において、前記撮像部は、前記撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてHDR画像に変換して出力し、前記画像処理部は、前記撮像部から出力されたHDR画像の画素ごとの色成分値を前記変換特性に基づいて逆変換し、逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出し、算出した明度を前記変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後HDR画像を生成することを特徴とする。
【0014】
また、第6発明に係る画像処理方法は、第5発明において、前記色成分値の最大値を前記明度として算出し、画素ごとに算出した明度を前記変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、前記補正後HDR画像を生成することを特徴とする。
【0015】
また、第7発明に係る画像処理方法は、第5又は第6発明において、前記画像処理部は、逆変換されたHDR画像の画素ごとの色成分値に対して、ホワイトバランスを調整するゲインを乗算することを特徴とする。
【0016】
また、第8発明に係る画像処理方法は、第5乃至第7発明のいずれか1つにおいて、前記撮像部においてHDR画像に変換するか否かを切り替えることを特徴とする。
【0017】
次に、上記目的を達成するために第9発明に係るコンピュータプログラムは、検査対象物を撮像する撮像素子を有する撮像部と、該撮像部で取得した画像データに対して画像処理を実行する画像処理部とを備える画像処理装置で実行することが可能なコンピュータプログラムにおいて、前記撮像部を、前記撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてHDR画像に変換して出力する手段として機能させ、前記画像処理部を、前記撮像部から出力されたHDR画像の画素ごとの色成分値を前記変換特性に基づいて逆変換する逆変換手段、逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出する算出手段、及び算出した明度を前記変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後HDR画像を生成する補正後HDR画像生成手段として機能させることを特徴とする。
【0018】
また、第10発明に係るコンピュータプログラムは、第9発明において、前記算出手段を、前記色成分値の最大値を前記明度として算出する手段として機能させ、前記補正後HDR画像生成手段を、画素ごとに算出した明度を前記変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、前記補正後HDR画像を生成する手段として機能させることを特徴とする。
【0019】
また、第11発明に係るコンピュータプログラムは、第9又は第10発明において、前記画像処理部を、逆変換されたHDR画像の画素ごとの色成分値に対して、ホワイトバランスを調整するゲインを乗算する手段として機能させることを特徴とする。
【0020】
第1発明、第5発明及び第9発明では、撮像部は、撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてHDR画像に変換して出力する。画像処理部は、撮像部から出力されたHDR画像の画素ごとの色成分値を変換特性に基づいて逆変換し、逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出する。算出した明度を変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後HDR画像を生成する。生成した補正後HDR画像の彩度、色相が、撮像されたカラー画像の彩度、色相とほぼ同一となるので、明度のみを補正することができ、画質の劣化を抑制することができる。また、カラー画像の1回の撮像で、異なる複数の露光時間で複数回撮像した場合と同様のHDR画像を生成するにもかかわらず画質の劣化を抑制することができるとともに、撮像部と画像処理部との間のデータ通信量を減らすことができ、検査タクトタイムを短縮することが可能となる。
【0021】
第2発明、第6発明及び第10発明では、色成分値の最大値を明度として算出し、画素ごとに算出した明度を変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、補正後HDR画像を生成する。これにより、生成した補正後HDR画像の彩度、色相が、撮像されたカラー画像の彩度、色相とほぼ同一となるので、明度のみを補正することができ、画質の劣化を抑制することができる。
【0022】
第3発明、第7発明及び第11発明では、逆変換されたHDR画像の画素ごとの各色成分値に対して、ホワイトバランスを調整するゲインを乗算するので、ホワイトバランスを調整するときの色の変化を抑制することが可能となる。より詳細に説明すると、撮像部から出力されたHDR画像に対してホワイトバランス調整を実行すると、画像の色合いが変化する場合があるが、本発明のように、逆変換部により逆変換されたHDR画像に対してホワイトバランス調整を実行することによって、ホワイトバランス調整をした際に色合いが変化することを抑制することができる。
【0023】
第4発明及び第8発明では、撮像部においてHDR画像に変換するか否かを切り替えることができるので、検査対象物を撮像した場合にハレーションが生じないときは、HDR画像を生成しないよう切り替えることができ、全体として演算処理負荷を軽減することが可能となる。
【発明の効果】
【0024】
本発明では、生成した補正後HDR画像の彩度、色相が、撮像されたカラー画像の彩度、色相とほぼ同一となるので、明度のみを補正することができ、画質の劣化を抑制することができる。また、カラー画像の1回の撮像で、異なる複数の露光時間で複数回撮像した場合と同様のHDR画像を生成するにもかかわらず画質の劣化を抑制することができるとともに、撮像部と画像処理部との間のデータ通信量を減らすことができ、検査タクトタイムを短縮することが可能となる。
【図面の簡単な説明】
【0025】
【図1】本発明の実施の形態に係る画像処理センサの構成を示す模式図である。
【図2】本発明の実施の形態に係る画像処理センサの撮像装置の構成を示す外形図である。
【図3】本発明の実施の形態に係る画像処理センサの撮像装置のハードウェア構成を示すブロック図である。
【図4】本発明の実施の形態に係る画像処理センサの表示装置の構成を示す正面図である。
【図5】本発明の実施の形態に係る画像処理センサの表示装置のモード切り替え画面の例示図である。
【図6】本発明の実施の形態に係る画像処理センサの表示装置の設定画面の例示図である。
【図7】本発明の実施の形態に係る画像処理センサの撮像装置の機能ブロック図である。
【図8】ダイナミックレンジを広げるための変換特性の例示図である。
【図9】撮像装置で撮像したカラー画像の状態変化を示す図である。
【図10】本発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のFPGAの処理手順を示すフローチャートである。
【図11】本発明の実施の形態に係る画像処理センサの撮像装置の、ホワイトバランスを調整する場合の機能ブロック図である。
【図12】本発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のFPGAの、ホワイトバランスを調整する場合の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0026】
以下、本発明の実施の形態に係る画像処理装置について、図面を参照して説明する。なお、本実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。以下、画像処理装置として画像処理センサを例に挙げて説明する。
【0027】
図1は、本発明の実施の形態に係る画像処理センサの構成を示す模式図である。図1に示すように、本実施の形態に係る画像処理センサは、撮像装置1と、撮像装置1とデータ通信することが可能に接続ケーブル3で接続されている表示装置2とで構成されている。もちろん、表示装置2の代わりに、ディスプレイを有する外部コンピュータであっても良い。なお、撮像装置1と表示装置2とが一体として構成されていても良い。
【0028】
撮像装置1は、内部に画像処理を実行するFPGA、DSP等を備えており、検査対象物を撮像する撮像素子を有するカメラモジュール(撮像部)と、検査対象物に対して光を照射する照明部とを備えている。撮像装置1をコンパクトにするべく、例えば図1に示すように、撮像装置1の正面の中央近傍にレンズ12を配置し、レンズ12の周囲を囲むように、照明部として複数のLED11を配置してある。なお、撮像装置1とは別に外部照明(リング照明等)を設けても良い。
【0029】
図2は、本発明の実施の形態に係る画像処理センサの撮像装置1の構成を示す外形図である。図2(a)は、本発明の実施の形態に係る画像処理センサの撮像装置1の構成を示す正面図を、図2(b)は、本発明の実施の形態に係る画像処理センサの撮像装置1の構成を示す平面図を、図2(c)は、本発明の実施の形態に係る画像処理センサの撮像装置1の構成を示す背面図を、それぞれ示している。
【0030】
図2(a)に示すように、撮像装置1はレンズ12を正面の中央近傍に配置しており、レンズ12の周囲を囲むように複数のLED11を配置してある。撮像時には、複数のLED11を点灯させることにより、検査対象物に光を照射し、検査対象物を明瞭に撮像することができる。
【0031】
図2(b)及び図2(c)に示すように、撮像装置1の背面には、外部の電源から電力の供給を受ける電源ケーブルを接続する電源コネクタ102と、表示装置2とデータ通信する接続ケーブル3を接続することが可能な接続コネクタ103とを備えている。また、手動でフォーカスを調整することができるフォーカス調整ネジ101も背面に備えている。
【0032】
図3は、本発明の実施の形態に係る画像処理センサの撮像装置1のハードウェア構成を示すブロック図である。図3において、コネクタ基板16は、電源インタフェース161に設けてある電源コネクタ102(図2(b)及び図2(c)参照)を介して、外部の電源から電力の供給を受ける。電源基板18は、供給された電力を各基板に供給する。本実施の形態では、カメラモジュール14にはメイン基板13を介して電力を供給している。電源基板18のモータドライバ181は、カメラモジュール14のモータ141に駆動電力を供給し、オートフォーカス機能を実現している。
【0033】
通信基板17は、メイン基板13から出力された欠陥を検出したか否かで検査対象物の良否を示すOK/NG信号(判定信号)を表示装置2へ送信する。判定信号を受信した表示装置2は、判定結果を表示する。
【0034】
照明基板(照明部)15は、検査対象物を撮像する撮像領域に光を照射する、複数のLED11が設けてあり、図示しないリフレクタはLED11の前方に設けてある。また、レンズ12は、短距離用又は長距離用のレンズユニットとして交換可能となっている。
【0035】
カメラモジュール(撮像部)14は、モータ141が駆動することにより、オートフォーカス動作の制御を行うことができる。メイン基板13からの撮像指示信号に応じて検査対象物を撮像する。本実施の形態では、撮像素子としてCMOS基板142を備えており、撮像されたカラー画像は、CMOS基板142にてダイナミックレンジを広げる変換特性に基づいてHDR画像へ変換され、メイン基板13のFPGA131へ出力される。つまり、CMOS基板142は、HDR画像を生成・出力する機能を備えており、例えばHDRCMOS等がこれに該当する。なお、画像処理センサの撮像装置1には、CMOS基板にてHDR画像に変換するか否かを切り替える切替部を設けても良い。切替部により、検査対象物を撮像した場合にハレーション等が生じ難いワークが搬送されてきたとき、HDR画像を生成しないよう切り替えることができ、ひいては演算処理負荷を軽減することができる。
【0036】
メイン基板13は、接続してある各基板の動作を制御する。例えば照明基板15に対しては、複数のLED11の点灯/消灯を制御する制御信号を、LEDドライバ151へ送信する。LEDドライバ151は、FPGA131からの制御信号に応じて、例えばLED11の点灯/消灯、光量等を調整する。また、カメラモジュール14のモータ141に対しては、電源基板18のモータドライバ181を介してオートフォーカス動作を制御する制御信号を、CMOS基板142に対しては、撮像指示信号等を、それぞれ送信する。
【0037】
メイン基板13のFPGA131は、照明制御、撮像制御をするとともに、取得した画像データに対して画像処理を実行する(画像処理部)。また、メイン基板13のDSP132は、画像データについて、エッジ検出処理、パターン検索処理等を実行する。パターン検索処理の結果として、欠陥を検出したか否かで検査対象物の良否を示すOK/NG信号(判定信号)を通信基板17へ出力する。演算処理結果等はメモリ133に記憶される。なお、本実施の形態では、エッジ検出処理、パターン検索処理等の比較的負荷の重い処理をDSP132により実行している。しかし、場合によってはFPGA131により実行するようにしても良い。要するに、画像処理部は、CMOS基板142で取得した画像データに対して何らかの画像処理を実行できれば、それで足りる。
【0038】
図4は、本発明の実施の形態に係る画像処理センサの表示装置2の構成を示す正面図である。図4に示すように、表示装置2の前面の中央部分にはタッチパネル21が設けてあり、撮像された検査対象物のカラー画像を画面に表示するとともに、ユーザによる選択入力を受け付ける。
【0039】
また、表示装置2は、外部の電源から電力が供給される電源ケーブルを接続する電源コネクタ24と、撮像装置1とデータ通信する接続ケーブル3を接続することが可能な接続コネクタ25とを備えている。さらにUSBメモリ等と接続することが可能なUSBポート22を前面に設けてある。
【0040】
ユーザは、表示装置2のタッチパネル21の画面に表示されているボタンを選択することにより、画像処理センサの動作を制御する。そして、検査対象物の検査を実行する「検査モード」と、画像処理センサの条件設定を行う「設定モード」との切り替えを行うこともできる。言い換えると、本実施の形態に係る画像処理センサは、検査対象物の良否を判定する検査モード(Runモード)と、検査に用いる各種パラメータ(撮像パラメータ、照明パラメータ、画像処理パラメータ等)の設定を行う設定モード(非Runモード)とを切り替えるためのモード切替部を有している。図5は、本発明の実施の形態に係る画像処理センサの表示装置2のモード切り替え画面の例示図である。
【0041】
図5(a)は、「検査モード」の画面表示の例示図である。図5(a)に示すように、検査対象物表示領域51に、撮像装置1が撮像した検査対象物の画像を表示する。左下の「センサ設定」ボタン52が切替部として機能し、「センサ設定」ボタン52が選択された場合、「設定モード」へと切り替わり、図5(b)に示す画面へと画面遷移する。
【0042】
図5(b)は、「設定モード」の画面表示の例示図である。図5(b)に示すように、プログラム選択領域53にて、検査対象物の種類を選択する。ここで、「プログラム」とは、検査対象物の種類又は検査環境に応じて設定された一連のデータ群(パラメータ値の組み合わせ)を意味しており、検査対象物の種類ごとに異なるデータ群をプログラムとして記憶することができる。
【0043】
また、検査対象物と比較する基準となるマスタ画像が記憶されている場合、マスタ画像表示領域54にマスタ画像が表示される。「設定ナビ」ボタン55が選択された場合、詳細な設定を行う設定画面に画面遷移する。図5(b)の「運転開始」ボタン56は切替部として機能し、「運転開始」ボタン56が選択された場合、「検査モード」へと切り替わり、図5(a)に示す画面へと画面遷移する。
【0044】
図6は、本発明の実施の形態に係る画像処理センサの表示装置2の設定画面の例示図である。図6に示す設定画面を通じて、ユーザは、撮像条件の設定(図6(a))から、パターンサーチする基準となるマスタ画像の登録(図6(b))、マスタ画像に対して輪郭サーチ等のツール設定(図6(c)〜図6(e))、出力割当(図6(f))、という流れで順次設定を行う。以下、詳細に説明する。図5(b)に示す「設定ナビ」ボタン55が選択された場合、まず図6(a)に示す撮像条件設定画面が表示される。撮像条件設定画面では、マスタ画像が記憶されている場合にはマスタ画像が主表示領域61に表示され、画面下部に撮像条件を設定する設定ボタン群が表示されている。例えば「トリガ条件」ボタンが選択された場合には、撮像装置1が検査対象物を撮像するタイミングを特定するトリガ条件を設定することができる。詳細な設定画面は省略するが、それぞれのボタンが選択された場合、それぞれの設定条件に応じて図4に示すタッチパネル21上に表示される。
【0045】
また、より詳細な設定をするには、図6(a)の「拡張機能」ボタン62を選択すれば良い。「拡張機能」ボタン62が選択された場合、詳細な設定を行うためのボタンが別途表示される。このように撮像条件設定画面では、明るさの調整、フォーカスの調整、撮像範囲、照明のオン/オフ、ズームのオン/オフ等を設定することができる。
【0046】
図6(a)の「進む」と表示された「画面遷移」ボタン63が選択された場合、図6(b)に示すマスタ画像登録画面が表示される。登録されたマスタ画像上に、以後、検査用の様々なツールを設定する。1つのマスタ画像に対して複数のプログラムを記憶することができる。つまり、同じマスタ画像に対して異なるツールを設定し、異なるプログラムとして記憶しておくことができる。
【0047】
マスタ画像は、現在撮像している検査対象物の画像を登録しても良いし、以前に撮像しておいた画像から選択して登録しても良い。現在撮像している画像を登録する場合、ユーザは「Live画像登録」ボタン64を選択すればよい。「Live画像登録」ボタン64が選択された時点で撮像されている画像がマスタ画像として登録される。
【0048】
図6(b)の「進む」と表示された「画面遷移」ボタン65が選択された場合、図6(c)に示すマスタ画像ごとのツール設定画面が表示される。マスタ画像上に、以後、検査用の様々なツールを設定する。
【0049】
ツール設定画面では、表示されているマスタ画像に、検査を実行するためのツールを追加設定する。図6(c)に示す「追加」ボタン66が選択された場合、図6(d)に示すツール選択画面が表示される。ツール選択画面で選択されたツールを追加設定する。例えば「輪郭サーチ」ボタン67が選択された場合、図6(e)に示す輪郭サーチ設定画面が表示される。輪郭サーチ設定画面で、マスタ画像のどの輪郭を撮像された検査対象物の画像と照合するのか設定しておくことにより、欠陥を検出したか否かで検査対象物の良否を判定することができる。以下、色面積、位置補正等の設定をすることができる。
【0050】
図6(c)の「進む」と表示された「画面遷移」ボタン68が選択された場合、図6(f)に示す出力割当画面が表示される。出力割当画面では、検査の結果として画面に表示される出力線が何を意味するのか設定することができる。「完了」ボタン69が選択された場合、図5(b)に示す「設定モード」の画面表示に戻る。このように、ユーザは、図4に示す表示装置2のタッチパネル21上で、「進む」と表示された「画面遷移」ボタン63、65、68を順に選択することで、簡単かつ短時間に、検査に用いる各種パラメータを設定することができる。また、画像処理センサに慣れていないユーザであっても、表示装置2のタッチパネル21上で次の操作へ誘導されるので、各種パラメータを容易に設定することができる。
【0051】
図7は、本発明の実施の形態に係る画像処理センサの撮像装置1の機能ブロック図である。図7において、カラー画像取得部701は、図3に示すカメラモジュール14のCMOS基板142で撮像されたカラー画像の画素値を色成分値として取得する。HDR画像生成部702は、取得したカラー画像の画素値(色成分値)を、ダイナミックレンジを広げる変換特性に基づいて変換することにより、HDR画像を生成する。具体的には画素ごとに変換特性に応じた画素値へと変換する。
【0052】
図8は、ダイナミックレンジを広げるための変換特性の例示図である。図8では、縦軸(x軸)に変換後の画素値(8ビット)を、横軸(y軸)にHDR画像の画素値(10ビット)を、それぞれ示している。HDR画像生成部702は、取得したカラー画像の画素値(色成分値)yを図8に示す変換特性に応じた画素値(色成分値)xへと変換する。つまり、ダイナミックレンジ(定義としては、例えば、最も明るい部分と最も暗い部分との明暗の比率、識別可能な信号の最小値と最大値との比率、又はこれらの比率をdB単位で示したもの等)を広げるように、所定の変換特性(例えば対数特性)に基づいて画素値を変換する。本実施の形態では、図8に示すような変換特性を用いているが、本発明は特に斯かる変換特性に限定されるものではなく、例えば折れ線ではなく滑らかな曲線で表される変換特性であっても良い。
【0053】
また、本実施の形態では、カラー画像取得部701及びHDR画像生成部702の一例として、CMOS基板142を考えている。すなわち、HDR画像生成・出力機能を有するCMOS基板を考えている。画像処理検査の分野では、検査画像の中にハレーションや黒飛びが発生すると検査精度の低下を招くことから、このようなHDR画像生成・出力機能を有するCMOS基板を用いることが一般的である。本実施の形態に係る画像処理センサは、このようなCMOS基板を用いた場合であったとしても、検査対象物の表面の彩度、色相等をより正確に再現することができる。つまり、本実施の形態に係る画像処理センサは、検査精度の低下を防止しつつ、検査対象物の表面の彩度、色相等をより正確に再現することができる。
【0054】
図7に戻って、逆変換部703は、HDR画像生成部702で生成されたHDR画像の画素ごとの色成分値を、変換特性に基づいて逆変換する。なお、本来、逆変換することで元の画像が再現できるはずであるが、現実には丸め誤差等の存在により、撮像されたカラー画像と全く同一にはならない。
【0055】
算出部704は、逆変換された画素値から、画素ごとに明度及び各色成分値の比を算出する。本実施の形態では、色成分値の最大値を明度として算出し、画素ごとの明度と各色成分値との比は、算出した明度で各色成分値を除算した値としている。これにより、明度と各色成分値との比は0〜1の範囲の値として求めることができ、ひいては演算処理負荷の軽減、メモリ資源の利用の効率化等を図ることができる。ただし、本発明はこれに限定されるものではなく、例えば色成分値を足し合わせた合計値を明度としても良い。
【0056】
補正後HDR画像生成部705は、算出した明度を変換特性に基づいて変換してHDR画像における明度へと再変換する。そして、再変換された明度を算出した各色成分値の比に乗算することにより、補正後HDR画像を生成する。なお、本実施の形態では、補正後のHDR画像を生成する場合に、再変換された明度を算出した各色成分値の比に乗算する計算法を採用しているが、本発明はこれに限定されるものではない。
【0057】
以下、具体的な数値を用いて、より詳細に説明する。例えば、CMOS基板142で撮像されたカラー画像の色成分値をそれぞれR、G、Bとした場合、メイン基板13のFPGA131には、HDR画像へ変換されたR’、G’、B’が渡されるものとする。FPGA131は、HDR画像へ変換されたR’、G’、B’を逆変換することにより、画素ごとの色成分値RL、GL、BLを算出する。
【0058】
ここで、明度VLを、画素ごとの色成分値RL、GL、BLの最大値として算出することで、画素ごとの明度と各色成分値との比は、RL/VL、GL/VL、BL/VLと表すことができる。明度VLはHDR画像から逆変換された値なので、再度HDR画像へ変換し、明度Vを得る。したがって、画素ごとの色成分値は、再変換された明度Vを用いて、RL/VL×V、GL/VL×V、BL/VL×Vと表すことができる。
【0059】
例えば、具体的な数値として、HDR変換前の画像の色成分値を(R、G、B)=(768、196、96)とすると、彩度Sは、(768−96)/768で0.875となる。この状態で図8に示す変換特性に応じてHDR画像に変換すると、(R、G、B)=(224、113、80)となる。このままでは、彩度Sは、(224−80)/224で0.643となり、色合いに変化が生じ、例えば灰色がかった色になり、彩度が低下して褪せたような色となる。
【0060】
それに対して、本実施の形態のように、HDR画像に対して色補正をする場合、前述の例と同様にHDR変換前の画像の色成分値を(R、G、B)=(768、196、96)とすると、RGB比が8:2:1と求まる。明度Vは色補正をしない場合と同様768であるから、図8に示す変換特性に応じて変換すると、Rは224となる。したがって、求めたRGB比に応じて、(R、G、B)=(224、56、28)となる。この場合、彩度Sは、(224−28)/224で0.875と変化せず、色相Hも同様に変化しない。したがって、明度Vに対してのみ色補正の影響が出るため、画像全体が色褪せた画像にはならない。
【0061】
図9は、撮像装置1で撮像したカラー画像の状態変化を示す図である。図9(a)に示すように、HDR画像を生成しない場合には色の境界がぼやけて表示されている。HDR画像を生成する場合、図9(b)に示すようにHDR画像に対して色補正をしないときには、生成した補正後HDR画像の彩度Sが低下し、色褪せたような画像になる。一方、図9(c)に示すようにHDR画像に対して色補正をすることにより、生成した補正後HDR画像の彩度、色相は、撮像されたカラー画像の彩度、色相とほぼ同一になる。したがって、色褪せることがなく、検査における欠陥の検出精度の低下を防止することができる。
【0062】
図10は、本発明の実施の形態に係る画像処理センサの撮像装置1のメイン基板13のFPGA131の処理手順を示すフローチャートである。図10において、撮像装置1のメイン基板13のFPGA131は、カメラモジュール14で変換されて生成されたHDR画像の、画素ごとの色成分値として取得する(ステップS1001)。
【0063】
FPGA131は、取得したHDR画像の画素ごとの色成分値を、変換特性に基づいて逆変換する(ステップS1002)。FPGA131は、逆変換された画素値から、画素ごとに明度及び色成分値の比を算出する(ステップS1003)。本実施の形態では、色成分値の最大値を明度として算出し、画素ごとの明度と各色成分値との比は、算出した明度で各色成分値を除算した値としている。これにより、明度と各色成分値との比は0〜1の範囲の値として求めることができる。
【0064】
FPGA131は、算出した明度を変換特性に基づいて変換してHDR画像における明度へと再変換する(ステップS1004)。そして、FPGA131は、再変換された明度を算出した各色成分値の比に乗算することにより、補正後HDR画像を生成する(ステップS1005)。
【0065】
なお、白色を白色として表示するためには、R、G、Bそれぞれの色成分値のホワイトバランスを調整することが必要となる。図11は、本発明の実施の形態に係る画像処理センサの撮像装置1の、ホワイトバランスを調整する場合の機能ブロック図である。図11において、カラー画像取得部701、HDR画像生成部702は、ホワイトバランスを調整しない場合と同様であるので詳細な説明は省略する。
【0066】
逆変換部703は、HDR画像生成部702で生成されたHDR画像の画素ごとの色成分値を、変換特性に基づいて逆変換する。本来、逆変換することで元の画像が再現できるはずであるが、現実には丸め誤差等の存在により、撮像されたカラー画像と全く同一にはならない。
【0067】
ホワイトバランス調整部1101は、ホワイトバランスを調整するゲインを、逆変換された画素ごとの画素値(色成分値)に乗算する。そして、算出部704は、ゲインが乗算された画素値から、画素ごとに明度及び各色成分値の比を算出する。本実施の形態では、色成分値の最大値を明度として算出し、画素ごとの明度と各色成分値との比は、算出した明度で各色成分値を除算した値としている。これにより、明度と各色成分値との比は0〜1の範囲の値として求めることができる。
【0068】
補正後HDR画像生成部705は、算出した明度を変換特性に基づいて変換してHDR画像における明度へと再変換する。そして、再変換された明度を算出した各色成分値の比に乗算することにより、補正後HDR画像を生成する。
【0069】
例えば、CMOS基板142で撮像されたカラー画像の色成分値をそれぞれR、G、Bとした場合、メイン基板13のFPGA131には、HDR画像へ変換された色成分値R’、G’、B’が渡されるものとする。FPGA131は、HDR画像へ変換された色成分値R’、G’、B’を逆変換することにより、画素ごとの色成分値RL、GL、BLを算出する。
【0070】
次に、算出した画素ごとの色成分値RL、GL、BLに、ホワイトバランスを調整するゲイン(AR、AG、AB)を乗算する。したがって、ホワイトバランスを調整した後の画素ごとの色成分値は、(RL×AR、GL×AG、BL×AB)となる。
【0071】
ここで、明度VLを、画素ごとの色成分値RL×AR、GL×AG、BL×ABの最大値として算出することで、画素ごとの明度と各色成分値との比は、RL×AR/VL、GL×AG/VL、BL×AB/VLと表すことができる。明度VLはHDR画像から逆変換された値なので、再度HDR画像へ変換し、明度Vを得る。したがって、画素ごとの色成分値は、再変換された明度Vを用いて、RL×AR/VL×V、GL×AG/VL×V、BL×AB/VL×Vと表すことができる。
【0072】
HDR画像への変換を行わない場合、色成分値を(R、G、B)=(160、200、100)とし、ホワイトバランスを調整するゲイン(AR、AG、AB)=(1.25、1.00、2.00)を乗算する。これにより、色成分値は(R、G、B)=(200、200、200)となるので白色表示となる。HDR画像に変換する場合、RGB比が同じ色成分値(R、G、B)=(320、400、200)を、図8に示す変換特性に応じて変換すると、(R、G、B)=(144、164、114)となる。このまま、ゲイン(1.25、1.00、2.00)を乗算した場合、(R、G、B)=(180、164、228)となるので、白色を白色として表示することができなくなる。
【0073】
それに対して、本実施の形態のように、HDR画像に対して色補正をして、ホワイトバランスを調整する場合、HDR画像の色成分値を(R、G、B)=(144、164、114)とすると、図8に示す変換特性に応じて逆変換して、(R、G、B)=(320、400、200)となる。これにホワイトバランスを調整するゲイン(AR、AG、AB)=(1.25、1.00、2.00)を乗算して、(R、G、B)=(400、400、400)としておくことにより、図8に示す変換特性に応じて変換して、(R、G、B)=(164、164、164)となる。したがって、白色を確実に白色として表示することができる。
【0074】
図12は、本発明の実施の形態に係る画像処理センサの撮像装置1のメイン基板13のFPGA131の、ホワイトバランスを調整する場合の処理手順を示すフローチャートである。図12において、撮像装置1のメイン基板13のFPGA131は、カメラモジュール14で変換されて生成されたHDR画像の、画素ごとの色成分値として取得する(ステップS1001)。
【0075】
FPGA131は、取得したHDR画像の画素ごとの色成分値を、変換特性に基づいて逆変換する(ステップS1002)。FPGA131は、逆変換された画素ごとの画素値(色成分値)にホワイトバランスを調整するゲインを乗算し(ステップS1201)、ゲインが乗算された画素値(色成分値)から、画素ごとに明度及び色成分値の比を算出する(ステップS1003)。本実施の形態では、色成分値の最大値を明度として算出し、画素ごとの明度と各色成分値との比は、算出した明度で各色成分値を除算した値としている。これにより、明度と各色成分値との比は0〜1の範囲の値として求めることができる。
【0076】
FPGA131は、算出した明度を変換特性に基づいて変換してHDR画像における明度へと再変換する(ステップS1004)。そして、FPGA131は、再変換された明度を算出した各色成分値の比に乗算することにより、補正後HDR画像を生成する(ステップS1005)。
【0077】
以上のように本実施の形態によれば、生成した補正後HDR画像の彩度、色相が、撮像されたカラー画像の彩度、色相とほぼ同一となるので、明度のみを補正することができ、画質の劣化を抑制することができる。また、カラー画像の1回の撮像で、異なる複数の露光時間で複数回撮像した場合と同様のHDR画像を生成するにもかかわらず画質の劣化を抑制することができるとともに、撮像部と画像処理部との間のデータ通信量を減らすことができ、検査タクトタイムを短縮することが可能となる。
【0078】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば撮像装置1と表示装置2とは、接続ケーブル3で直結されている形態に限定されるものではなく、LAN、WAN等のネットワーク網を介して接続されていても良いことは言うまでもない。また、上記実施例では、撮像装置1と表示装置2とは別体となっているが、両者が一体になった画像処理装置であっても良い。
【符号の説明】
【0079】
1 撮像装置
2 表示装置
3 接続ケーブル
13 メイン基板
14 カメラモジュール
21 タッチパネル
131 FPGA
701 カラー画像取得部
702 HDR画像生成部
703 逆変換部
704 算出部
705 補正後HDR画像生成部
1101 ホワイトバランス調整部
【特許請求の範囲】
【請求項1】
検査対象物を撮像する撮像素子を有する撮像部と、
該撮像部で取得した画像データに対して画像処理を実行する画像処理部と
を備える画像処理装置において、
前記撮像部は、前記撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてHDR画像に変換して出力し、
前記画像処理部は、
前記撮像部から出力されたHDR画像の画素ごとの色成分値を前記変換特性に基づいて逆変換する逆変換部と、
逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出する算出部と、
算出した明度を前記変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後HDR画像を生成する補正後HDR画像生成部と
を備えることを特徴とする画像処理装置。
【請求項2】
前記算出部は、前記色成分値の最大値を前記明度として算出し、
前記補正後HDR画像生成部は、画素ごとに算出した明度を前記変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、前記補正後HDR画像を生成することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記画像処理部は、前記逆変換部により逆変換されたHDR画像の画素ごとの色成分値に対して、ホワイトバランスを調整するゲインを乗算するホワイトバランス調整部を備えることを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記撮像部においてHDR画像に変換するか否かを切り替える切替部を備えることを特徴とする請求項1乃至3のいずれか一項に記載の画像処理装置。
【請求項5】
検査対象物を撮像する撮像素子を有する撮像部と、
該撮像部で取得した画像データに対して画像処理を実行する画像処理部と
を備える画像処理装置で実行することが可能な画像処理方法において、
前記撮像部は、前記撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてHDR画像に変換して出力し、
前記画像処理部は、
前記撮像部から出力されたHDR画像の画素ごとの色成分値を前記変換特性に基づいて逆変換し、
逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出し、
算出した明度を前記変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後HDR画像を生成することを特徴とする画像処理方法。
【請求項6】
前記色成分値の最大値を前記明度として算出し、
画素ごとに算出した明度を前記変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、前記補正後HDR画像を生成することを特徴とする請求項5に記載の画像処理方法。
【請求項7】
前記画像処理部は、逆変換されたHDR画像の画素ごとの色成分値に対して、ホワイトバランスを調整するゲインを乗算することを特徴とする請求項5又は6に記載の画像処理方法。
【請求項8】
前記撮像部においてHDR画像に変換するか否かを切り替えることを特徴とする請求項5乃至7のいずれか一項に記載の画像処理方法。
【請求項9】
検査対象物を撮像する撮像素子を有する撮像部と、
該撮像部で取得した画像データに対して画像処理を実行する画像処理部と
を備える画像処理装置で実行することが可能なコンピュータプログラムにおいて、
前記撮像部を、前記撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてHDR画像に変換して出力する手段として機能させ、
前記画像処理部を、
前記撮像部から出力されたHDR画像の画素ごとの色成分値を前記変換特性に基づいて逆変換する逆変換手段、
逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出する算出手段、及び
算出した明度を前記変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後HDR画像を生成する補正後HDR画像生成手段
として機能させることを特徴とするコンピュータプログラム。
【請求項10】
前記算出手段を、前記色成分値の最大値を前記明度として算出する手段として機能させ、
前記補正後HDR画像生成手段を、画素ごとに算出した明度を前記変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、前記補正後HDR画像を生成する手段として機能させることを特徴とする請求項9に記載のコンピュータプログラム。
【請求項11】
前記画像処理部を、逆変換されたHDR画像の画素ごとの色成分値に対して、ホワイトバランスを調整するゲインを乗算する手段として機能させることを特徴とする請求項9又は10に記載のコンピュータプログラム。
【請求項1】
検査対象物を撮像する撮像素子を有する撮像部と、
該撮像部で取得した画像データに対して画像処理を実行する画像処理部と
を備える画像処理装置において、
前記撮像部は、前記撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてHDR画像に変換して出力し、
前記画像処理部は、
前記撮像部から出力されたHDR画像の画素ごとの色成分値を前記変換特性に基づいて逆変換する逆変換部と、
逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出する算出部と、
算出した明度を前記変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後HDR画像を生成する補正後HDR画像生成部と
を備えることを特徴とする画像処理装置。
【請求項2】
前記算出部は、前記色成分値の最大値を前記明度として算出し、
前記補正後HDR画像生成部は、画素ごとに算出した明度を前記変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、前記補正後HDR画像を生成することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記画像処理部は、前記逆変換部により逆変換されたHDR画像の画素ごとの色成分値に対して、ホワイトバランスを調整するゲインを乗算するホワイトバランス調整部を備えることを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記撮像部においてHDR画像に変換するか否かを切り替える切替部を備えることを特徴とする請求項1乃至3のいずれか一項に記載の画像処理装置。
【請求項5】
検査対象物を撮像する撮像素子を有する撮像部と、
該撮像部で取得した画像データに対して画像処理を実行する画像処理部と
を備える画像処理装置で実行することが可能な画像処理方法において、
前記撮像部は、前記撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてHDR画像に変換して出力し、
前記画像処理部は、
前記撮像部から出力されたHDR画像の画素ごとの色成分値を前記変換特性に基づいて逆変換し、
逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出し、
算出した明度を前記変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後HDR画像を生成することを特徴とする画像処理方法。
【請求項6】
前記色成分値の最大値を前記明度として算出し、
画素ごとに算出した明度を前記変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、前記補正後HDR画像を生成することを特徴とする請求項5に記載の画像処理方法。
【請求項7】
前記画像処理部は、逆変換されたHDR画像の画素ごとの色成分値に対して、ホワイトバランスを調整するゲインを乗算することを特徴とする請求項5又は6に記載の画像処理方法。
【請求項8】
前記撮像部においてHDR画像に変換するか否かを切り替えることを特徴とする請求項5乃至7のいずれか一項に記載の画像処理方法。
【請求項9】
検査対象物を撮像する撮像素子を有する撮像部と、
該撮像部で取得した画像データに対して画像処理を実行する画像処理部と
を備える画像処理装置で実行することが可能なコンピュータプログラムにおいて、
前記撮像部を、前記撮像素子で撮像されたカラー画像を、ダイナミックレンジを広げる変換特性に基づいてHDR画像に変換して出力する手段として機能させ、
前記画像処理部を、
前記撮像部から出力されたHDR画像の画素ごとの色成分値を前記変換特性に基づいて逆変換する逆変換手段、
逆変換された色成分値から、画素ごとに明度及び色成分値の比を算出する算出手段、及び
算出した明度を前記変換特性に基づいて変換し、変換された明度と算出した色成分値の比とに基づいて、補正後HDR画像を生成する補正後HDR画像生成手段
として機能させることを特徴とするコンピュータプログラム。
【請求項10】
前記算出手段を、前記色成分値の最大値を前記明度として算出する手段として機能させ、
前記補正後HDR画像生成手段を、画素ごとに算出した明度を前記変換特性に基づいて変換し、変換された明度を算出した色成分値の比に乗算することにより、前記補正後HDR画像を生成する手段として機能させることを特徴とする請求項9に記載のコンピュータプログラム。
【請求項11】
前記画像処理部を、逆変換されたHDR画像の画素ごとの色成分値に対して、ホワイトバランスを調整するゲインを乗算する手段として機能させることを特徴とする請求項9又は10に記載のコンピュータプログラム。
【図1】
【図2】
【図3】
【図4】
【図7】
【図8】
【図10】
【図11】
【図12】
【図5】
【図6】
【図9】
【図2】
【図3】
【図4】
【図7】
【図8】
【図10】
【図11】
【図12】
【図5】
【図6】
【図9】
【公開番号】特開2013−110513(P2013−110513A)
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願番号】特願2011−252802(P2011−252802)
【出願日】平成23年11月18日(2011.11.18)
【出願人】(000129253)株式会社キーエンス (681)
【Fターム(参考)】
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願日】平成23年11月18日(2011.11.18)
【出願人】(000129253)株式会社キーエンス (681)
【Fターム(参考)】
[ Back to top ]