物体色判定の照明強度補正方法
【構成】 照明強度を調整しつつ、カラーテレビジョンカメラにて撮像した物体色の色要素の強度値のデータ列を採取し、メモリ素子２１、２２、２３、２４に格納し、このデータ列を用いて、輝度値Ｉから逆に調整量Ｐを導出し、導出された調整量Ｐから逆に他の色要素の推定強度値ｒ、ｇ、ｂを導出する。
【効果】 対象物の撮像時の照明強度の変化に対して、カラーテレビジョンカメラを構成する光電変換素子およびビデオ信号処理回路の特性を含めた測定系総体の非線形性の影響を無視しえる補正ができる。
【効果】 対象物の撮像時の照明強度の変化に対して、カラーテレビジョンカメラを構成する光電変換素子およびビデオ信号処理回路の特性を含めた測定系総体の非線形性の影響を無視しえる補正ができる。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、カラーテレビジョンカメラの色要素の強度値、例えば、受像三原色の色要素の強度値を処理し、物体色を抽出し同定する装置の、輝度の測定特性の補正に関するもので、被写体となる物体への照明強度の変動を補正する事により、容易に同一物体の色として抽出し認識できる物体色判定の照明強度補正方法に関する。
【０００２】
【従来の技術】色の同定において、照明強度の影響を補正するために照明強度の指標となる値を測定し算出したり、照明強度の影響を補正した色度値を測定し算出したりする従来の方法としては、例えば、以下に示されているいくつかの方法がある。
【０００３】カラーテレビジョンカメラからの受像三原色の色要素である赤、緑、青の強度値Ｒ、Ｇ、Ｂから撮像対象物の物体色の同定をおこなうには、赤、緑、青の色要素の強度値Ｒ、Ｇ、Ｂが各々が同時に一致するかにより決定できる。しかし、この強度値の絶対値の比較による方法では、対象物への照明強度の変動に対しても物体の色そのものの変動として判定されてしまう。照明強度の変動によるこの影響を除くために、なんらかの強度変換を行い、変換された量により、ある物体色が同一であるか異なるかを判定する必要がある。
【０００４】この変換演算としては、能率的に行なうために線形演算が利用される。カラーテレビジョン技術上の色変換としてカラーテレビジョンカメラからの受像三原色の色要素の強度値Ｒ、Ｇ、Ｂに、ある係数を剰じて積算する線形変換の方法がある。この様な、線形演算は、例えば、デジタルデータの積和算のように能率よく行なう手段が知られており実施されている。例えば、下記の様な変換が知られている。
【０００５】
【数１】
【０００６】この場合、Ｙは輝度因子、ＵとＶは色差因子と呼ばれている。これらの因子は、画像信号伝送時の要素としての便宜を目的としており、逆変換も線形であるため、元の強度値Ｒ、Ｇ、Ｂの再生が容易である。また、変換で用いる比例係数の設定により、視感度の特性を考慮して、伝送精度を設定することにより効率的な信号伝送が可能である。しかしながら、輝度因子Ｙを撮像対象物への照明強度の指標としたり、色差因子Ｕ、Ｖを色要素の強度値の指標として同定に利用しても、実用上有効な精度とはならない。
【０００７】赤、緑、青の受像三原色の色要素の強度値Ｒ、Ｇ、Ｂをスペクトル三刺激値Ｘ、Ｙ、Ｚに変換する例は以下の様になる。
【０００８】
【数２】
【０００９】この三刺激値Ｘ、Ｙ、Ｚは色要素の強度としての指標にはなるが、輝度因子Ｙ、色差因子Ｕ、Ｖと同様に、撮像対象物への照明強度と直線的な関係にはならない。
【００１０】これらの強度変換が照明強度と直線的な関係にならない理由は、測定系になんらかの非線形性があるからと考えられており、良く知られているものとして、カラーテレビジョンカメラの光電変換素子の受光強度と出力強度との間の非直線性がある。カラーテレビジョンカメラの光電変換素子の受光強度と出力強度との間の非直線性を補正する方法として、べき関数で表わした感度補正方法（ガンマ補正）が知られており、入力感度Ｉｉｎに対して出力値Ｉｏｕｔを次のように補正する。ここでのγは例えば、２．２である。
【００１１】
【数３】
【００１２】しかしながら、ガンマ補正を行なっても、照明強度と色要素の強度値とは直線的な関係にならず、例えば、照明強度が大きくなっても、色要素の強度値にはビデオ信号処理回路としての上限があるという飽和特性等を含めて、測定系の中にさらに非線形な要素が残っているものと考えられ、照明強度の変動に対する影響を除くための前述の様な強度変換を行っても、変換された量を用いて、ある物体色が他の物体色と同一であるか異なるかを判定する充分な効果はえられなかった。
【００１３】受像三原色の強度値Ｒ、Ｇ、Ｂを、測色学的色空間への近似変換、すなわち、ある数式モデルにより明度、彩度、色相などの因子へ数値変換することも行なわれている（文献；「カラー動画像処理システム ＦＩＶＩＳ／ＶＩＰ」富士通技報 ３９，３（０６，１９８８））。この様な数式モデルと実験数値を比較すると、照明強度等の明るさは明度に関係するが色相へも依存性があることがわかり、照明強度補正に対しての数式モデルの効果や精度が悪いという問題がある。他方、かかる数式モデルの計算を用いて全画像データについて逐次計算することは工業上の実用的な処理時間を考慮すると困難である。このため、変換数値テーブルを用いることも考えられるが、必要となる変換数値テーブルのためのメモリの大きさは、例えば、各色要素の強度値が８ビットデータで表現されるとすれば、組み合せで２４ビットデータが必要となり、変換数値テーブルによる一括変換をする回路規模は非常に大きなものとなる。また、照明強度の変化を考慮した場合を含めて問題とすると、全ての状況における判定条件を無原則に入力することは困難である。
【００１４】また、現実の画像における色要素の強度値をすべての条件について教示し格納するような変換数値テーブルを用いる場合であっても、その組み合せにより必要となる変換数値テーブルのためのメモリの大きさは、前述した例と同様、組み合せで２４ビットデータが必要となり、前述した例と同様の問題が発生する。
【００１５】
【発明が解決しようとする課題】前述した従来の方法では、以下の様な課題があった。
【００１６】（１）カラーテレビジョンカメラの感度特性やビデオ信号処理や伝送系を含めた測定系において、対象物の照明強度に対して色要素の強度値が直線的な特性を持たないために、線形変換により補正を行っても、あるいは、一部の素子の非線形特性を考慮にいれて補正を行なっても、照明強度の変化に対して色要素の強度値を補正することが出来ない。
【００１７】（２）受像三原色の色要素の強度値Ｒ、Ｇ、Ｂを、測色学的色空間への近似変換、すなわち、ある数式モデルにより明度、彩度、色相などの因子へ数値変換する場合、この様な数式モデルと実験数値を比較すると、照明強度は明度に関係するが、色相へも依存性があることがわかり、数式モデルの、照明強度の補正に対しての効果や精度が悪いという問題がある。また、かかる数式モデルの計算を、全画像データについて逐次計算を行い、なおかつ、工業上の実用的な時間で処理できるような装置を安価に提供することは困難である。
【００１８】（３）数式モデルを変換数値テーブルを用いて判定を行う場合、あるいは、現実の画像により強度値をすべての条件について教示し格納するための変換数値テーブルを用いて判定を行なう場合、その組み合せにより必要となる変換数値テーブルのためのメモリの大きさは、各色要素の強度値が８ビットデータで表現されるとすれば、組み合せで２４ビットとなり、変換数値テーブルによる一括変換のための回路規模は非常に大きなものとなり、安価な装置として提供することは困難である。また、照明強度の変化を考慮した場合を含めて問題とすると、全ての状況における判定条件を無原則に入力することは、現実には困難である。
【００１９】この様な問題の要因として、対象物の撮像時の照明強度の変化に対して、カラーテレビジョンカメラを構成する光電変換素子およびビデオ信号処理回路の特性を含めた測定系全体が非線形の特性を示すことがあげられる。そこで本発明の目的は、測定系の非線形性の影響を考慮した適正な補正方法を提供することが本発明の目的である。
【００２０】
【課題を解決するための手段】上記の目的を達成させるために、本発明は、照明強度または撮像系の透過光量を調整しつつ、カラーテレビジョンカメラにて撮像した物体色の色要素の強度値のデータ列を採取し、該データ列を基にして、ひとつの色要素の強度値から逆に調整量を導出し、導出された調整量を基にして、他の色要素の強度値を補正する。
【００２１】
【実施例】
（実施例１）以下、本発明による実施例を図面を基に説明する。図１は、カラーテレビジョンカメラ１からの画像強度信号から、色要素の強度をデジタルデータ（強度値）として出力する装置の構成を示している。カラーテレビジョンカメラ１は受像三原色の画像強度信号を出力し、カラーテレビジョンカメラ１から出力された受像三原色の画像強度信号をビデオ増幅器２、３、４は信号増幅およびレベル調整し、ビデオ増幅器２、３、４からの信号をアナログ−デジタル変換器５、６、７がアナログ−デジタル変換し、色要素の強度のデジタルデータとして強度値Ｒ、Ｇ、Ｂを出力する。８は強度値Ｒ、Ｇ、Ｂとある係数値を積和算し輝度値Ｉを算出する積和算回路を示している。カラーテレビジョンカメラ１からの輝度信号が利用出来ない場合、積和算回路８からの出力を輝度値Ｉとして用いる。９は輝度信号用のビデオ増幅器を示しており、１０は、ビデオ増幅器９からの輝度信号をデジタルデータ（輝度値）に変換するためのアナログ−デジタル変換器を示している。積和算回路８またはアナログ−デジタル変換器１０からの出力（輝度値）のどちらか一方を選択回路１４で選択して輝度値Ｉとする。１１は、カラーテレビジョンカメラに前置された透過率の調整可能な光学フィルターを示しているが、光学フィルター１１の代わりに虹彩絞りを用いても良い。１２は照明強度を調整できる照明装置を示している。光学フィルター１１の透過光量の調整量または照明装置１２の照明強度の調整量は調整量Ｐとして入力される。どちらの調整量を用いるかは、被写体を取りまく環境等により適当に判断される。前述したように、照明強度または透過光量は、意図的に調整でき、この可変調整の結果、調整量Ｐが確定する。以後の説明では照明装置１２の照明強度の調整量を調整量Ｐとして用いた場合について説明する。１３は、カラーテレビジョンカメラで撮像し、物体色を検出する対象となる被写体を示している。以上、これらの構成により、照明強度の調整量Ｐを調整し、照明強度の調整量Ｐの変化に伴う色要素の強度値Ｒ、Ｇ、Ｂ、および輝度値Ｉが測定できる。
【００２２】輝度値Ｉは、カラーテレビジョンカメラ１自体からの輝度信号をビデオ増幅器９を介してアナログ−デジタル変換器１０が出力した輝度値を利用しても良いし、カラーテレビジョンカメラ１からの受像三原色の画像強度信号をビデオ増幅器２、３、４を介してアナログ−デジタル変換器５、６、７が出力した色要素の強度値Ｒ、Ｇ、Ｂとある係数値とを積和算回路８にて積和算して得た輝度値を利用しても良い。本発明の実施例では、カラーテレビジョンカメラ１からの受像三原色の画像強度信号をビデオ増幅器２、３、４を介してアナログ−デジタル変換器５、６、７が出力した色要素の強度値Ｒ、Ｇ、Ｂとある係数値とを積和算回路８にて積和算して得た輝度値Ｉとして用いる。
【００２３】図２は、図１に示した装置により測定された照明装置１２の照明強度の調整量Ｐの変化に伴う積和算回路８にて積和算して得た輝度値Ｉの測定例の曲線を示している。なお、アナログ−デジタル変換器１０が出力した輝度値を輝度値Ｉとして利用してもほぼ同様な結果が得られる。図２から照明強度の調整量Ｐと輝度値Ｉとは直線的な関係にないことが分かる。前述したように、カラーテレビジョンカメラの光電変換素子の受光強度と出力強度の間の関係、および、ビデオ信号処理の電気回路系の特性に由来する入力値と出力データの間の関係等の非直線性がこの非直線性の原因となっている。
【００２４】本発明の物体色判定の照明強度補正方法では、まず、対象となる物体色の被写体について、照明装置１２の照明強度の調整量Ｐを可変調整しつつ、照明装置１２の照明強度の調整量Ｐと積和算回路８から出力される輝度値Ｉとの関係を表すデータ列を採取しておく。照明強度の調整量ＰがＰ０のときの輝度値ＩはＩ０となるが、照明強度が変化して調整量ＰがＰ１になったとすれば、色要素の強度値はＩ１を示す。照明強度が外乱等で変化した場合、照明強度の調整量Ｐの相当値を推定出来れば、あらかじめ採取したデータ列から照明強度の調整量Ｐに対する輝度値Ｉを導出することができる。
【００２５】図４は、照明強度の調整量Ｐと輝度値Ｉとの関係のデータ列を保持するためのメモリ素子を示している。前述した照明強度の調整量Ｐを可変調整して採取した輝度値Ｉと照明強度の調整量Ｐとを用いて、輝度値Ｉをメモリのアドレスとして照明強度の調整量Ｐのデータをメモリ素子２１に書き込むことにより、輝度値Ｉと照明強度の調整量Ｐとの関係を表すデータ列がテーブル化される。カラーテレビジョンカメラからの色要素をデジタルデータ（強度値。この場合は、輝度値。）として処理する場合、輝度値Ｉの分解能として６〜１６ビット程度要求され、通常は、前述した従来例の様に、８ビットデータの分解能が利用される。照明強度の調整量Ｐのデータ幅を輝度値Ｉのアドレス幅と等しい程度とすれば、強度値Ｉが８ビットデータである場合、メモリ素子２１に要求されるアドレス幅は８ビットとなる。このように、照明強度の調整量Ｐと輝度値Ｉとの関係を表す測定値のデータ列のためのメモリ量は非常に少ない規模である。アドレス幅を１６ビットとしても充分実用的な規模であることは言うまでもない。なお、メモリ素子２１は、データを保持した後は、照明強度の調整量Ｐの入力があれば輝度値Ｉを出力し、輝度値Ｉの入力があればメモリ素子２１により推定された照明強度の調整量Ｐが出力される構成になっている。
【００２６】続いて、照明強度の調整量Ｐと色要素の強度値Ｒ、Ｇ、Ｂとの関係のデータ列を保持するためのメモリ素子を色要素毎に作成するために、輝度値Ｉについてと同様に、対象となる物体色の被写体について、照明装置１２の照明強度の調整量Ｐを可変調整しつつ、照明装置１２の照明強度の調整量Ｐとアナログ−デジタル変換器５、６、７から出力される色要素の強度値Ｒ、Ｇ、Ｂとの関係を表すデータ列を採取しておく。
【００２７】図３は、図１に示した装置により測定された照明装置１２の照明強度の調整量Ｐの変化に伴うアナログ−デジタル変換器５、６、７から出力される強度値Ｒ、Ｇ、Ｂの測定例の曲線である。図２と同様、調整量Ｐと強度値Ｒ、Ｇ、Ｂとは直線的な関係にない。ここでの特性は、図２の説明において述べた原因と基本的には同じものであるが、さらには、受像三原色の各々の分光特性による相互依存性にもとずく特性の影響も含まれる。
【００２８】照明強度の調整量値ＰがＰ０のときの色要素の強度値Ｒ、Ｇ、ＢはそれぞれＲ０、Ｇ０、Ｂ０となるが、照明強度が変化して照明強度の調整量Ｐ１になったとすれば、色要素の強度値はＲ１、Ｇ１、Ｂ１を示す。照明強度が外乱等で変化した場合、照明強度の調整量Ｐの相当値を推定出来れば、あらかじめ採取したデータ列から照明強度の調整量Ｐに対応する色要素の強度値Ｒ、Ｇ、Ｂの値を導出することができる。
【００２９】図５は、照明強度の調整量Ｐと赤の強度値Ｒとの関係のデータ列を保持するためのメモリ素子を示している。前述した照明強度の調整量Ｐを可変調整して採取した強度値Ｒと照明強度の調整量Ｐとを用いて、強度値Ｒをメモリのアドレスとして照明強度の調整量Ｐのデータをメモリ素子２２に書き込むことにより、強度値Ｒと照明強度の調整量Ｐとの関係を表すデータ列がテーブル化される。本実施例においてメモリ素子２２の分解能はメモリ素子２１と同じとしている。なお、メモリ素子２２は、データを保持した後は、照明強度の調整量Ｐの入力があれば強度値Ｒを出力し、強度値Ｒの入力があればメモリ素子２２により推定された照明強度の調整量Ｐが出力される構成になっている。
【００３０】続いて、照明強度の調整量Ｐと緑、青の強度値Ｇ、Ｂとの関係のデータ列を保持するためのメモリ素子を作成するが、赤の強度値Ｒと同様に作成すれば良いので説明は省略する。
【００３１】図６は、本発明の第１の実施例である照明強度補正装置のブロック図である。前述した方法により採取した照明強度の調整量Ｐに対する輝度値Ｉおよび色要素の強度値Ｒ、Ｂ、Ｇの測定値のデータ列をテーブル化して保持するメモリを用いて、照明強度が変動しても色要素の強度値を補正できるようになっている。２１は輝度値Ｉと照明強度の調整量Ｐとの関係のデータ列のテーブルを保持するメモリ素子を示している。２２、２３、２４はそれぞれ赤、緑、青の色要素の強度値Ｒ、Ｇ、Ｂと照明強度の調整量Ｐとの関係のデータ列のテーブルを保持するメモリ素子を示している。前述の方法により、照明強度の調整量Ｐに対する輝度値Ｉおよび色要素の強度値Ｒ、Ｂ、Ｇの関係を示すデータ列はあらかじめ採取され、各メモリ素子にテーブル化して保持されている。
【００３２】図６に示すＰは、入力された輝度値Ｉからメモリ素子２１に保持されるデータ列のテーブルにより推定された照明強度の調整量Ｐであり、メモリ素子２１により推定された照明強度の調整量Ｐを各メモリ素子２２、２３、２４に入力することにより、それぞれ、赤、緑、青についての色要素の推定強度値ｒ、ｇ、ｂが出力される。２５、２６、２７は、それぞれ赤、緑、青の色要素の強度値について、測定時に入力されている強度値Ｒ、Ｇ、Ｂとメモリ素子２２、２３、２４の推定強度値ｒ、ｇ、ｂとを比較する差演算回路を示している。差演算回路２５、２６、２７は、一致ないし近似の量的な判定を行うものであり、例えば、差ないし差の絶対値を算出する回路である。２８は、赤と緑と青の三要素の比較結果から、色の最終的な一致度Ｃを算出する一致度演算回路を示している。一致度演算回路２８は、赤と緑と青の三要素の比較値がともに所定の範囲内に入っているならば同一の物体色であるとの判定を行うものであり、例えば、差演算回路２５、２６、２７が差の絶対値を出力する回路であれば、差演算回路２５、２６、２７が出力する三つの値の加算値ないし加算値が一定の範囲内にあるか否かを判定する。
【００３３】（実施例２）続いて、図７を基に第２の実施例について説明する。
【００３４】図７は、本発明の第２の実施例である照明強度補正装置のブロック図である。第１の実施例で説明したように、照明強度の調整量Ｐに対する色要素の強度値として、受像三原色の強度値Ｒ、Ｇ、Ｂの測定値のデータ列をテーブル化して保持するメモリ用いて、照明強度が変動しても色要素の強度値を補正できるようになっている。本実施例の特徴は輝度値を用いない点にある。１５、１６、１７はそれぞれ赤、緑、青の色要素の強度値Ｒ、Ｇ、Ｂと照明強度の調整量Ｐとの関係のデータ列のテーブルを保持するメモリ素子を示している。第１の実施例で説明した方法と同様に、照明強度の調整量Ｐに対する色要素の強度値Ｒ、Ｂ、Ｇの関係を示すデータ列があらかじめ採取され、各メモリ素子にテーブル化して保持されている。
【００３５】図７に示すＰは、入力された赤の強度値Ｒからメモリ素子１５に保持されるデータ列のテーブルにより推定された照明強度の調整量Ｐであり、メモリ素子１５により推定された照明強度の調整量Ｐを各メモリ素子１６、１７に入力することにより、それぞれ、緑と青についての色要素の強度値の推定値ｇ、ｂが出力される。１８、１９は、それぞれ緑、青の色要素の強度値について、測定時に入力されている強度値Ｇ、Ｂと推定強度値ｇ、ｂとを比較する差演算回路を示している。差演算回路１８、１９は、一致ないし近似の量的な判定を行うものであり、例えば、差ないし差の絶対値を算出する回路である。２０は、緑と青の両要素の比較結果から、色の最終的な一致度Ｃを算出する一致度演算回路を示している。一致度演算回路２０は、緑と青の両色要素の比較値がともに所定の範囲内に入っているならば同一の物体色であるとの判定を行うものであり、例えば、差演算回路１８、１９が差の絶対値を出力する回路であれば、差演算回路１８、１９が出力する二つの値の加算値ないし加算値が一定の範囲内にあるか否かを判定する。
【００３６】
【発明の効果】照明強度または撮像系の透過光量を調整しつつ、カラーテレビジョンカメラにて撮像した物体色の色要素の画像強度信号の強度値のデータ列を採取し、該データ列を用いて、外乱等により照明強度が変動しても、ひとつの色要素の強度値から逆に調整量を導出し、導出された調整量を基にして、他の色要素の強度値を補正することにより、対象物の撮像時の照明強度の変化に対して、カラーテレビジョンカメラを構成する光電変換素子およびビデオ信号処理回路の測定系全体の非線形の影響を無視しえる照明強度補正が可能となる。
【図面の簡単な説明】
【図１】画像強度信号から色要素の強度をデジタルデータとして出力する装置を示すブロック図である。
【図２】照明強度の調整量Ｐに対する輝度値Ｉの変化を示すグラフである。
【図３】照明強度の調整量Ｐに対する強度値Ｒ、Ｇ、Ｂの変化を示すグラフである。
【図４】本発明の第１の実施例である物体色判定の照明強度補正装置の照明強度の調整量Ｐと輝度値Ｉとの関係を表すデータ列を保持するメモリ素子を示す概念図である。
【図５】本発明の第１の実施例である物体色判定の照明強度補正装置の照明強度の調整量Ｐと強度値Ｒとの関係を表すデータ列を保持するメモリ素子を示す概念図である。
【図６】本発明の第１の実施例である物体色判定の照明強度補正装置のブロック図である。
【図７】本発明の第２の実施例である物体色判定の照明強度補正装置のブロック図である。
【符号の説明】
１５ メモリ素子
１６ メモリ素子
１７ メモリ素子
１８ 差演算回路
１９ 差演算回路
２０ 一致度演算回路
２１ メモリ素子
２２ メモリ素子
２３ メモリ素子
２４ メモリ素子
２５ 差演算回路
２６ 差演算回路
２７ 差演算回路
２８ 一致度演算回路
【０００１】
【産業上の利用分野】本発明は、カラーテレビジョンカメラの色要素の強度値、例えば、受像三原色の色要素の強度値を処理し、物体色を抽出し同定する装置の、輝度の測定特性の補正に関するもので、被写体となる物体への照明強度の変動を補正する事により、容易に同一物体の色として抽出し認識できる物体色判定の照明強度補正方法に関する。
【０００２】
【従来の技術】色の同定において、照明強度の影響を補正するために照明強度の指標となる値を測定し算出したり、照明強度の影響を補正した色度値を測定し算出したりする従来の方法としては、例えば、以下に示されているいくつかの方法がある。
【０００３】カラーテレビジョンカメラからの受像三原色の色要素である赤、緑、青の強度値Ｒ、Ｇ、Ｂから撮像対象物の物体色の同定をおこなうには、赤、緑、青の色要素の強度値Ｒ、Ｇ、Ｂが各々が同時に一致するかにより決定できる。しかし、この強度値の絶対値の比較による方法では、対象物への照明強度の変動に対しても物体の色そのものの変動として判定されてしまう。照明強度の変動によるこの影響を除くために、なんらかの強度変換を行い、変換された量により、ある物体色が同一であるか異なるかを判定する必要がある。
【０００４】この変換演算としては、能率的に行なうために線形演算が利用される。カラーテレビジョン技術上の色変換としてカラーテレビジョンカメラからの受像三原色の色要素の強度値Ｒ、Ｇ、Ｂに、ある係数を剰じて積算する線形変換の方法がある。この様な、線形演算は、例えば、デジタルデータの積和算のように能率よく行なう手段が知られており実施されている。例えば、下記の様な変換が知られている。
【０００５】
【数１】
【０００６】この場合、Ｙは輝度因子、ＵとＶは色差因子と呼ばれている。これらの因子は、画像信号伝送時の要素としての便宜を目的としており、逆変換も線形であるため、元の強度値Ｒ、Ｇ、Ｂの再生が容易である。また、変換で用いる比例係数の設定により、視感度の特性を考慮して、伝送精度を設定することにより効率的な信号伝送が可能である。しかしながら、輝度因子Ｙを撮像対象物への照明強度の指標としたり、色差因子Ｕ、Ｖを色要素の強度値の指標として同定に利用しても、実用上有効な精度とはならない。
【０００７】赤、緑、青の受像三原色の色要素の強度値Ｒ、Ｇ、Ｂをスペクトル三刺激値Ｘ、Ｙ、Ｚに変換する例は以下の様になる。
【０００８】
【数２】
【０００９】この三刺激値Ｘ、Ｙ、Ｚは色要素の強度としての指標にはなるが、輝度因子Ｙ、色差因子Ｕ、Ｖと同様に、撮像対象物への照明強度と直線的な関係にはならない。
【００１０】これらの強度変換が照明強度と直線的な関係にならない理由は、測定系になんらかの非線形性があるからと考えられており、良く知られているものとして、カラーテレビジョンカメラの光電変換素子の受光強度と出力強度との間の非直線性がある。カラーテレビジョンカメラの光電変換素子の受光強度と出力強度との間の非直線性を補正する方法として、べき関数で表わした感度補正方法（ガンマ補正）が知られており、入力感度Ｉｉｎに対して出力値Ｉｏｕｔを次のように補正する。ここでのγは例えば、２．２である。
【００１１】
【数３】
【００１２】しかしながら、ガンマ補正を行なっても、照明強度と色要素の強度値とは直線的な関係にならず、例えば、照明強度が大きくなっても、色要素の強度値にはビデオ信号処理回路としての上限があるという飽和特性等を含めて、測定系の中にさらに非線形な要素が残っているものと考えられ、照明強度の変動に対する影響を除くための前述の様な強度変換を行っても、変換された量を用いて、ある物体色が他の物体色と同一であるか異なるかを判定する充分な効果はえられなかった。
【００１３】受像三原色の強度値Ｒ、Ｇ、Ｂを、測色学的色空間への近似変換、すなわち、ある数式モデルにより明度、彩度、色相などの因子へ数値変換することも行なわれている（文献；「カラー動画像処理システム ＦＩＶＩＳ／ＶＩＰ」富士通技報 ３９，３（０６，１９８８））。この様な数式モデルと実験数値を比較すると、照明強度等の明るさは明度に関係するが色相へも依存性があることがわかり、照明強度補正に対しての数式モデルの効果や精度が悪いという問題がある。他方、かかる数式モデルの計算を用いて全画像データについて逐次計算することは工業上の実用的な処理時間を考慮すると困難である。このため、変換数値テーブルを用いることも考えられるが、必要となる変換数値テーブルのためのメモリの大きさは、例えば、各色要素の強度値が８ビットデータで表現されるとすれば、組み合せで２４ビットデータが必要となり、変換数値テーブルによる一括変換をする回路規模は非常に大きなものとなる。また、照明強度の変化を考慮した場合を含めて問題とすると、全ての状況における判定条件を無原則に入力することは困難である。
【００１４】また、現実の画像における色要素の強度値をすべての条件について教示し格納するような変換数値テーブルを用いる場合であっても、その組み合せにより必要となる変換数値テーブルのためのメモリの大きさは、前述した例と同様、組み合せで２４ビットデータが必要となり、前述した例と同様の問題が発生する。
【００１５】
【発明が解決しようとする課題】前述した従来の方法では、以下の様な課題があった。
【００１６】（１）カラーテレビジョンカメラの感度特性やビデオ信号処理や伝送系を含めた測定系において、対象物の照明強度に対して色要素の強度値が直線的な特性を持たないために、線形変換により補正を行っても、あるいは、一部の素子の非線形特性を考慮にいれて補正を行なっても、照明強度の変化に対して色要素の強度値を補正することが出来ない。
【００１７】（２）受像三原色の色要素の強度値Ｒ、Ｇ、Ｂを、測色学的色空間への近似変換、すなわち、ある数式モデルにより明度、彩度、色相などの因子へ数値変換する場合、この様な数式モデルと実験数値を比較すると、照明強度は明度に関係するが、色相へも依存性があることがわかり、数式モデルの、照明強度の補正に対しての効果や精度が悪いという問題がある。また、かかる数式モデルの計算を、全画像データについて逐次計算を行い、なおかつ、工業上の実用的な時間で処理できるような装置を安価に提供することは困難である。
【００１８】（３）数式モデルを変換数値テーブルを用いて判定を行う場合、あるいは、現実の画像により強度値をすべての条件について教示し格納するための変換数値テーブルを用いて判定を行なう場合、その組み合せにより必要となる変換数値テーブルのためのメモリの大きさは、各色要素の強度値が８ビットデータで表現されるとすれば、組み合せで２４ビットとなり、変換数値テーブルによる一括変換のための回路規模は非常に大きなものとなり、安価な装置として提供することは困難である。また、照明強度の変化を考慮した場合を含めて問題とすると、全ての状況における判定条件を無原則に入力することは、現実には困難である。
【００１９】この様な問題の要因として、対象物の撮像時の照明強度の変化に対して、カラーテレビジョンカメラを構成する光電変換素子およびビデオ信号処理回路の特性を含めた測定系全体が非線形の特性を示すことがあげられる。そこで本発明の目的は、測定系の非線形性の影響を考慮した適正な補正方法を提供することが本発明の目的である。
【００２０】
【課題を解決するための手段】上記の目的を達成させるために、本発明は、照明強度または撮像系の透過光量を調整しつつ、カラーテレビジョンカメラにて撮像した物体色の色要素の強度値のデータ列を採取し、該データ列を基にして、ひとつの色要素の強度値から逆に調整量を導出し、導出された調整量を基にして、他の色要素の強度値を補正する。
【００２１】
【実施例】
（実施例１）以下、本発明による実施例を図面を基に説明する。図１は、カラーテレビジョンカメラ１からの画像強度信号から、色要素の強度をデジタルデータ（強度値）として出力する装置の構成を示している。カラーテレビジョンカメラ１は受像三原色の画像強度信号を出力し、カラーテレビジョンカメラ１から出力された受像三原色の画像強度信号をビデオ増幅器２、３、４は信号増幅およびレベル調整し、ビデオ増幅器２、３、４からの信号をアナログ−デジタル変換器５、６、７がアナログ−デジタル変換し、色要素の強度のデジタルデータとして強度値Ｒ、Ｇ、Ｂを出力する。８は強度値Ｒ、Ｇ、Ｂとある係数値を積和算し輝度値Ｉを算出する積和算回路を示している。カラーテレビジョンカメラ１からの輝度信号が利用出来ない場合、積和算回路８からの出力を輝度値Ｉとして用いる。９は輝度信号用のビデオ増幅器を示しており、１０は、ビデオ増幅器９からの輝度信号をデジタルデータ（輝度値）に変換するためのアナログ−デジタル変換器を示している。積和算回路８またはアナログ−デジタル変換器１０からの出力（輝度値）のどちらか一方を選択回路１４で選択して輝度値Ｉとする。１１は、カラーテレビジョンカメラに前置された透過率の調整可能な光学フィルターを示しているが、光学フィルター１１の代わりに虹彩絞りを用いても良い。１２は照明強度を調整できる照明装置を示している。光学フィルター１１の透過光量の調整量または照明装置１２の照明強度の調整量は調整量Ｐとして入力される。どちらの調整量を用いるかは、被写体を取りまく環境等により適当に判断される。前述したように、照明強度または透過光量は、意図的に調整でき、この可変調整の結果、調整量Ｐが確定する。以後の説明では照明装置１２の照明強度の調整量を調整量Ｐとして用いた場合について説明する。１３は、カラーテレビジョンカメラで撮像し、物体色を検出する対象となる被写体を示している。以上、これらの構成により、照明強度の調整量Ｐを調整し、照明強度の調整量Ｐの変化に伴う色要素の強度値Ｒ、Ｇ、Ｂ、および輝度値Ｉが測定できる。
【００２２】輝度値Ｉは、カラーテレビジョンカメラ１自体からの輝度信号をビデオ増幅器９を介してアナログ−デジタル変換器１０が出力した輝度値を利用しても良いし、カラーテレビジョンカメラ１からの受像三原色の画像強度信号をビデオ増幅器２、３、４を介してアナログ−デジタル変換器５、６、７が出力した色要素の強度値Ｒ、Ｇ、Ｂとある係数値とを積和算回路８にて積和算して得た輝度値を利用しても良い。本発明の実施例では、カラーテレビジョンカメラ１からの受像三原色の画像強度信号をビデオ増幅器２、３、４を介してアナログ−デジタル変換器５、６、７が出力した色要素の強度値Ｒ、Ｇ、Ｂとある係数値とを積和算回路８にて積和算して得た輝度値Ｉとして用いる。
【００２３】図２は、図１に示した装置により測定された照明装置１２の照明強度の調整量Ｐの変化に伴う積和算回路８にて積和算して得た輝度値Ｉの測定例の曲線を示している。なお、アナログ−デジタル変換器１０が出力した輝度値を輝度値Ｉとして利用してもほぼ同様な結果が得られる。図２から照明強度の調整量Ｐと輝度値Ｉとは直線的な関係にないことが分かる。前述したように、カラーテレビジョンカメラの光電変換素子の受光強度と出力強度の間の関係、および、ビデオ信号処理の電気回路系の特性に由来する入力値と出力データの間の関係等の非直線性がこの非直線性の原因となっている。
【００２４】本発明の物体色判定の照明強度補正方法では、まず、対象となる物体色の被写体について、照明装置１２の照明強度の調整量Ｐを可変調整しつつ、照明装置１２の照明強度の調整量Ｐと積和算回路８から出力される輝度値Ｉとの関係を表すデータ列を採取しておく。照明強度の調整量ＰがＰ０のときの輝度値ＩはＩ０となるが、照明強度が変化して調整量ＰがＰ１になったとすれば、色要素の強度値はＩ１を示す。照明強度が外乱等で変化した場合、照明強度の調整量Ｐの相当値を推定出来れば、あらかじめ採取したデータ列から照明強度の調整量Ｐに対する輝度値Ｉを導出することができる。
【００２５】図４は、照明強度の調整量Ｐと輝度値Ｉとの関係のデータ列を保持するためのメモリ素子を示している。前述した照明強度の調整量Ｐを可変調整して採取した輝度値Ｉと照明強度の調整量Ｐとを用いて、輝度値Ｉをメモリのアドレスとして照明強度の調整量Ｐのデータをメモリ素子２１に書き込むことにより、輝度値Ｉと照明強度の調整量Ｐとの関係を表すデータ列がテーブル化される。カラーテレビジョンカメラからの色要素をデジタルデータ（強度値。この場合は、輝度値。）として処理する場合、輝度値Ｉの分解能として６〜１６ビット程度要求され、通常は、前述した従来例の様に、８ビットデータの分解能が利用される。照明強度の調整量Ｐのデータ幅を輝度値Ｉのアドレス幅と等しい程度とすれば、強度値Ｉが８ビットデータである場合、メモリ素子２１に要求されるアドレス幅は８ビットとなる。このように、照明強度の調整量Ｐと輝度値Ｉとの関係を表す測定値のデータ列のためのメモリ量は非常に少ない規模である。アドレス幅を１６ビットとしても充分実用的な規模であることは言うまでもない。なお、メモリ素子２１は、データを保持した後は、照明強度の調整量Ｐの入力があれば輝度値Ｉを出力し、輝度値Ｉの入力があればメモリ素子２１により推定された照明強度の調整量Ｐが出力される構成になっている。
【００２６】続いて、照明強度の調整量Ｐと色要素の強度値Ｒ、Ｇ、Ｂとの関係のデータ列を保持するためのメモリ素子を色要素毎に作成するために、輝度値Ｉについてと同様に、対象となる物体色の被写体について、照明装置１２の照明強度の調整量Ｐを可変調整しつつ、照明装置１２の照明強度の調整量Ｐとアナログ−デジタル変換器５、６、７から出力される色要素の強度値Ｒ、Ｇ、Ｂとの関係を表すデータ列を採取しておく。
【００２７】図３は、図１に示した装置により測定された照明装置１２の照明強度の調整量Ｐの変化に伴うアナログ−デジタル変換器５、６、７から出力される強度値Ｒ、Ｇ、Ｂの測定例の曲線である。図２と同様、調整量Ｐと強度値Ｒ、Ｇ、Ｂとは直線的な関係にない。ここでの特性は、図２の説明において述べた原因と基本的には同じものであるが、さらには、受像三原色の各々の分光特性による相互依存性にもとずく特性の影響も含まれる。
【００２８】照明強度の調整量値ＰがＰ０のときの色要素の強度値Ｒ、Ｇ、ＢはそれぞれＲ０、Ｇ０、Ｂ０となるが、照明強度が変化して照明強度の調整量Ｐ１になったとすれば、色要素の強度値はＲ１、Ｇ１、Ｂ１を示す。照明強度が外乱等で変化した場合、照明強度の調整量Ｐの相当値を推定出来れば、あらかじめ採取したデータ列から照明強度の調整量Ｐに対応する色要素の強度値Ｒ、Ｇ、Ｂの値を導出することができる。
【００２９】図５は、照明強度の調整量Ｐと赤の強度値Ｒとの関係のデータ列を保持するためのメモリ素子を示している。前述した照明強度の調整量Ｐを可変調整して採取した強度値Ｒと照明強度の調整量Ｐとを用いて、強度値Ｒをメモリのアドレスとして照明強度の調整量Ｐのデータをメモリ素子２２に書き込むことにより、強度値Ｒと照明強度の調整量Ｐとの関係を表すデータ列がテーブル化される。本実施例においてメモリ素子２２の分解能はメモリ素子２１と同じとしている。なお、メモリ素子２２は、データを保持した後は、照明強度の調整量Ｐの入力があれば強度値Ｒを出力し、強度値Ｒの入力があればメモリ素子２２により推定された照明強度の調整量Ｐが出力される構成になっている。
【００３０】続いて、照明強度の調整量Ｐと緑、青の強度値Ｇ、Ｂとの関係のデータ列を保持するためのメモリ素子を作成するが、赤の強度値Ｒと同様に作成すれば良いので説明は省略する。
【００３１】図６は、本発明の第１の実施例である照明強度補正装置のブロック図である。前述した方法により採取した照明強度の調整量Ｐに対する輝度値Ｉおよび色要素の強度値Ｒ、Ｂ、Ｇの測定値のデータ列をテーブル化して保持するメモリを用いて、照明強度が変動しても色要素の強度値を補正できるようになっている。２１は輝度値Ｉと照明強度の調整量Ｐとの関係のデータ列のテーブルを保持するメモリ素子を示している。２２、２３、２４はそれぞれ赤、緑、青の色要素の強度値Ｒ、Ｇ、Ｂと照明強度の調整量Ｐとの関係のデータ列のテーブルを保持するメモリ素子を示している。前述の方法により、照明強度の調整量Ｐに対する輝度値Ｉおよび色要素の強度値Ｒ、Ｂ、Ｇの関係を示すデータ列はあらかじめ採取され、各メモリ素子にテーブル化して保持されている。
【００３２】図６に示すＰは、入力された輝度値Ｉからメモリ素子２１に保持されるデータ列のテーブルにより推定された照明強度の調整量Ｐであり、メモリ素子２１により推定された照明強度の調整量Ｐを各メモリ素子２２、２３、２４に入力することにより、それぞれ、赤、緑、青についての色要素の推定強度値ｒ、ｇ、ｂが出力される。２５、２６、２７は、それぞれ赤、緑、青の色要素の強度値について、測定時に入力されている強度値Ｒ、Ｇ、Ｂとメモリ素子２２、２３、２４の推定強度値ｒ、ｇ、ｂとを比較する差演算回路を示している。差演算回路２５、２６、２７は、一致ないし近似の量的な判定を行うものであり、例えば、差ないし差の絶対値を算出する回路である。２８は、赤と緑と青の三要素の比較結果から、色の最終的な一致度Ｃを算出する一致度演算回路を示している。一致度演算回路２８は、赤と緑と青の三要素の比較値がともに所定の範囲内に入っているならば同一の物体色であるとの判定を行うものであり、例えば、差演算回路２５、２６、２７が差の絶対値を出力する回路であれば、差演算回路２５、２６、２７が出力する三つの値の加算値ないし加算値が一定の範囲内にあるか否かを判定する。
【００３３】（実施例２）続いて、図７を基に第２の実施例について説明する。
【００３４】図７は、本発明の第２の実施例である照明強度補正装置のブロック図である。第１の実施例で説明したように、照明強度の調整量Ｐに対する色要素の強度値として、受像三原色の強度値Ｒ、Ｇ、Ｂの測定値のデータ列をテーブル化して保持するメモリ用いて、照明強度が変動しても色要素の強度値を補正できるようになっている。本実施例の特徴は輝度値を用いない点にある。１５、１６、１７はそれぞれ赤、緑、青の色要素の強度値Ｒ、Ｇ、Ｂと照明強度の調整量Ｐとの関係のデータ列のテーブルを保持するメモリ素子を示している。第１の実施例で説明した方法と同様に、照明強度の調整量Ｐに対する色要素の強度値Ｒ、Ｂ、Ｇの関係を示すデータ列があらかじめ採取され、各メモリ素子にテーブル化して保持されている。
【００３５】図７に示すＰは、入力された赤の強度値Ｒからメモリ素子１５に保持されるデータ列のテーブルにより推定された照明強度の調整量Ｐであり、メモリ素子１５により推定された照明強度の調整量Ｐを各メモリ素子１６、１７に入力することにより、それぞれ、緑と青についての色要素の強度値の推定値ｇ、ｂが出力される。１８、１９は、それぞれ緑、青の色要素の強度値について、測定時に入力されている強度値Ｇ、Ｂと推定強度値ｇ、ｂとを比較する差演算回路を示している。差演算回路１８、１９は、一致ないし近似の量的な判定を行うものであり、例えば、差ないし差の絶対値を算出する回路である。２０は、緑と青の両要素の比較結果から、色の最終的な一致度Ｃを算出する一致度演算回路を示している。一致度演算回路２０は、緑と青の両色要素の比較値がともに所定の範囲内に入っているならば同一の物体色であるとの判定を行うものであり、例えば、差演算回路１８、１９が差の絶対値を出力する回路であれば、差演算回路１８、１９が出力する二つの値の加算値ないし加算値が一定の範囲内にあるか否かを判定する。
【００３６】
【発明の効果】照明強度または撮像系の透過光量を調整しつつ、カラーテレビジョンカメラにて撮像した物体色の色要素の画像強度信号の強度値のデータ列を採取し、該データ列を用いて、外乱等により照明強度が変動しても、ひとつの色要素の強度値から逆に調整量を導出し、導出された調整量を基にして、他の色要素の強度値を補正することにより、対象物の撮像時の照明強度の変化に対して、カラーテレビジョンカメラを構成する光電変換素子およびビデオ信号処理回路の測定系全体の非線形の影響を無視しえる照明強度補正が可能となる。
【図面の簡単な説明】
【図１】画像強度信号から色要素の強度をデジタルデータとして出力する装置を示すブロック図である。
【図２】照明強度の調整量Ｐに対する輝度値Ｉの変化を示すグラフである。
【図３】照明強度の調整量Ｐに対する強度値Ｒ、Ｇ、Ｂの変化を示すグラフである。
【図４】本発明の第１の実施例である物体色判定の照明強度補正装置の照明強度の調整量Ｐと輝度値Ｉとの関係を表すデータ列を保持するメモリ素子を示す概念図である。
【図５】本発明の第１の実施例である物体色判定の照明強度補正装置の照明強度の調整量Ｐと強度値Ｒとの関係を表すデータ列を保持するメモリ素子を示す概念図である。
【図６】本発明の第１の実施例である物体色判定の照明強度補正装置のブロック図である。
【図７】本発明の第２の実施例である物体色判定の照明強度補正装置のブロック図である。
【符号の説明】
１５ メモリ素子
１６ メモリ素子
１７ メモリ素子
１８ 差演算回路
１９ 差演算回路
２０ 一致度演算回路
２１ メモリ素子
２２ メモリ素子
２３ メモリ素子
２４ メモリ素子
２５ 差演算回路
２６ 差演算回路
２７ 差演算回路
２８ 一致度演算回路
【特許請求の範囲】
【請求項１】 照明強度を調整しつつ、カラーテレビジョンカメラで撮像した物体色の色要素の強度値のデータ列を採取し、該データ列を用いて、ひとつの色要素の強度値から逆に照明強度の調整量を導出し、導出された調整量を基にして、他の色要素の強度値を補正することを特徴とする物体色判定の照明強度補正方法。
【請求項１】 照明強度を調整しつつ、カラーテレビジョンカメラで撮像した物体色の色要素の強度値のデータ列を採取し、該データ列を用いて、ひとつの色要素の強度値から逆に照明強度の調整量を導出し、導出された調整量を基にして、他の色要素の強度値を補正することを特徴とする物体色判定の照明強度補正方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図６】
【図２】
【図３】
【図４】
【図５】
【図７】
【図６】
【公開番号】特開平７−２８９８４
【公開日】平成７年（１９９５）１月３１日
【国際特許分類】
【出願番号】特願平５−１９２９７８
【出願日】平成５年（１９９３）７月９日
【出願人】（０００００１９６０）シチズン時計株式会社 (1,939)
【公開日】平成７年（１９９５）１月３１日
【国際特許分類】
【出願日】平成５年（１９９３）７月９日
【出願人】（０００００１９６０）シチズン時計株式会社 (1,939)
[ Back to top ]