音響検査方法および装置
【課題】音信号の加工手段とニューラルネットワーク（ＮＮＷ）を用いる音響検査方法において、検査対象によって相違する音信号の適正加工条件を、簡便かつ確実に決定できる手段を提供する。
【解決手段】デジタル化された音信号を周波数解析、座標軸変換、座標軸分割、平均化処理、強度・振幅の圧縮処理の各ステップで加工した後、ＮＮＷに入力して学習データによる学習及び検査対象音の異常判定を行う。また、学習データとは別に教師付き試験データのセットを使用し、周波数軸変換モードや圧縮処理の冪指数を変えて、試験データセットについて正常か否かの判定を行い、正答率が最高になる座標軸変換モードや圧縮処理の冪指数の最適条件を定めて、この条件で検査対象音の異常判定を行う。
【解決手段】デジタル化された音信号を周波数解析、座標軸変換、座標軸分割、平均化処理、強度・振幅の圧縮処理の各ステップで加工した後、ＮＮＷに入力して学習データによる学習及び検査対象音の異常判定を行う。また、学習データとは別に教師付き試験データのセットを使用し、周波数軸変換モードや圧縮処理の冪指数を変えて、試験データセットについて正常か否かの判定を行い、正答率が最高になる座標軸変換モードや圧縮処理の冪指数の最適条件を定めて、この条件で検査対象音の異常判定を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ニューラルネットワークを用いた音響検査方法に関し、とくに打診音により製品の異常の有無を判定するのに好適で、音信号の加工手段により判定の的中率を高めることのできる音響検査方法とこれに用いる検査装置に関する。
【背景技術】
【０００２】
従来から各種の製品や装置の異常の有無を判定する検査方法として、検査対象の音響信号の周波数スペクトルを求め、各周波数成分の振幅値と閾値とを比較して、異常の有無を判定する音響検査方法が広く用いられている。しかしこの方法は、判定精度を高めようとすると、分割する周波数帯域の数を多くする必要があり、適切な閾値を設定する手間が過大になるという問題があった。
【０００３】
これを解決するため、音響信号の周波数解析結果を、ニューラルネットワーク（以下、ＮＮＷと略記する）に入力して、異常の有無を判定する音響検査方法も広く試みられるようになってきた（例えば下記の非特許文献１、特許文献１など）。この方法は、ＮＮＷの入力層に各周波数帯域の音信号を入力し、その出力値を閾値と比較して異常を判定するものであるが、学習データを用いて、ＮＮＷのパラメータの値を学習することにより、判定精度を高めることができる。
【０００４】
しかし、この方法でも、学習データを用いてＮＮＷのパラメータの値を学習する過程において、入力の与え方や条件設定等の巧拙があり、効率良くＮＮＷの学習を行なうには、かなりの熟練を要するという問題があった。また、検査対象の音信号の種類によっては、学習したＮＮＷを用いても、異常判定の的中率が必ずしも向上しないという問題もあった。
【非特許文献１】R.P.Gorman et al.：Neural Networks Vol.1,Issue1,1988 pp.75-89
【特許文献１】特開平１１−２４１９４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明者らは、人の聴覚特性を模擬して加工した音響検査の打診音を、階層型のＮＮＷに入力して異常（とくに瓶の欠陥）を判定する方法について、種々の検討を行なってきた。かかる音信号の加工には、音信号を複数の周波数帯域に分割し、各帯域での音圧の圧縮処理（出力音圧を入力音圧のｎ乗（ｎ＜１）として、小さな音を相対的に大きくする処理）や、周波数軸を人間の聴覚特性にならって変換する処理（例えば対数変換や指数変換など）が含まれる。その結果、音信号に何らかの加工をしてＮＮＷに入力したときに、元の音信号のまま入力するより、判定の的中率が大幅に向上する場合があることを知見した。
【０００６】
しかし、検査対象は多様であり、如何なる加工が的中率の向上に有効であるかは、一律に論ずることができない。同じ圧縮処理でも、冪指数ｎの値によって的中率に差が生じるし、当然ながら周波数軸の変換処理モードによっても大きく相違する。例えば、瓶の欠陥検査の場合、ビール瓶とコーラ瓶の欠陥では、最も高い的中率が得られる周波数軸の変換処理モードや冪指数ｎの値が大きく相違する。従来は、検査対象の種類によって、試行錯誤しながら適正な音信号の加工条件を探索する必要が有り、実際に打音検査に着手する前の、事前検討の手間がきわめて大きいという問題があった。
【０００７】
また、かかる音響検査はすでに実用化の段階に入っていると言えるが、実際の生産ラインにこれを適用するには、上述のような音信号の加工条件の選択や学習データによる学習
に手間取ることなく、自動的にこれを行いうること、およびかかる条件の選択に熟練を要することなく、誰にでも操作可能であることが求められる。
【０００８】
そこで本発明は、音信号の加工手段とニューラルネットワーク（ＮＮＷ）を用いる音響検査方法において、検査対象によって相違する音信号の適正加工条件を、簡便かつ確実に決定することのできる手段を提供し、これにより異常有無の判定の的中率を従来より大幅に高め得る音響検査方法と検査装置を提供することを課題としている。
【０００９】
また本発明は、上記の音信号の適正加工条件を自動的に決定しうる手段を提供
し、これにより、かかる音響検査に格別の熟練を要することなく、何人にもこれ
を実施可能にすることを課題としている。
【課題を解決するための手段】
【００１０】
上記課題を解決するための本発明の音響検査方法は、
周波数解析した音信号を、学習データセットを使用して学習したニューラルネットワークの入力層に入力し、その出力により検査対象の音信号が正常状態か異常状態かを判定する音響検査方法であって、
デジタル化された音信号を周波数解析してその周波数スペクトルを得るステップと、該スペクトルの周波数軸を変換するステップと、変換された周波数軸をニューラルネットワークの入力ユニット数Ｎと同数の周波数帯域に分割するステップと、この分割された帯域内の音信号の強度または振幅をそれぞれ平均化するステップと、この平均化された音信号をニューラルネットワークの各入力ユニットに入力して、学習データセットによる学習及び検査対象音信号が正常か否かの判定を行なうステップとを具備することを特徴とする。
【００１１】
上記の方法によれば、ニューラルネットワークを使用する音響検査において、音信号の周波数軸を人間の聴覚特性に倣って変換してから周波数分割して、ニューラルネットワークに入力することが可能になり、人間の官能による音響検査に近づけることができる。そのため、かかる変換を行なわずにニューラルネットワークに入力する場合よりも、異常判定の的中率を向上させることができる場合が多い。
【００１２】
上記の音響検査方法においては、前記の平均化ステップで周波数帯域毎に平均化された音信号を入力して、その強度または振幅を下記(１)式の関係を満たすように圧縮処理するステップを設け、該ステップで圧縮処理された信号を前記ニューラルネットワークの各入力ユニットに入力することが好ましい。
【００１３】
Ｗ ＝ Ｃ・Ｉｎ ………(１)
ここで、Ｉ：圧縮処理ステップへの入力信号
Ｗ：圧縮処理ステップからの出力信号
Ｃ：比例定数
ｎ：処理目的に応じて設定される冪指数で、入力信号が強度のとき
０＜ｎ＜０．５、振幅のとき０＜ｎ＜１
かかる圧縮処理により、入力信号が大きい範囲では出力信号が相対的に小さく、入力信号が小さい範囲で相対的に大きくなる。そのため、比較的大きな打診自体の音響の中から、異状時の小さな音信号をキャッチすることが容易になり、異常判定の的中率の向上を図ることができる。
【００１４】
また、上記の音響検査方法においては、前記学習データセットとは別に、各複数の正常状態及び異常状態の音信号からなる試験データセットを使用し、前記の周波数軸変換ステップにおける周波数軸変換モードを複数選択して、選択された各変換モードにおいて、学習データセットによる学習及び前記試験データセットについて正常か否かの判定を行い、
この判定によりこれらの変換モードのうちで正答率が最高になる変換モードを定め、定められた変換モードを用いて、学習データセットによる学習及び検査対象音信号が正常か否かの判定を行なうことが好ましい。
【００１５】
前述した周波数軸を変換する方法において、如何なる変換モードが的中率の向上に最も有効かは、検査対象の音信号によって相違し、一律に論ずることができない。従来は最適な周波数軸変換モードを試行錯誤して定める必要があり、そのための手間が過大になるという問題があった。これに対して、上記の方法によれば、一定の計算プログラムを用いて上記の試行を自動的に行なうことが可能になり、試行の手間が著しく軽減されるとともに、「かかる検査を熟練を要することなく実施可能にする」という本発明の目的を容易に達成することができる。
【００１６】
さらに、上記の音響検査方法においては、前記の周波数軸変換ステップにおける周波数軸変換モードとして、対数変換、冪指数変換、メル変換、ｂａｒｋ変換等の周波数軸圧縮変換及び線形変換よりなる群から２種以上を選択するとともに、(１)式における冪指数ｎを入力信号が強度のとき０＜ｎ＜０．５、振幅のとき０＜ｎ＜１の範囲の値を含む数値で２段階以上に変えて、この変換モードとｎ値の各組合せにおいて学習データセットによる学習及び前記試験データセットについて正常か否かの判定を行い、この判定によりこれらの組合せのうちで正答率が最高になるものを定め、定められた変換モードとｎ値の組合せを用いて、学習データセットによる学習及び検査対象音信号が正常か否かの判定を行ってもよい。
【００１７】
このように構成することによって、異常判定の的中率の向上に最も有効な、周波数軸変換モードと圧縮処理における冪指数ｎの値の組合せを、自動的に定めることが可能になり、的中率の向上にさらに有効な手段を提供することができる。
【００１８】
本発明の音響検査装置は、上記の検査方法を実施するための装置であって、
デジタル化された音信号を周波数解析して周波数スペクトルを得る手段と、該スペクトルの周波数軸を変換する手段と、この変換された周波数軸を複数の周波数帯域に分割する手段と、この分割された帯域内の信号強度または振幅をそれぞれ平均化する手段と、この平均化された音信号を前記(１）式の関係を満たすように圧縮処理する手段と、この圧縮処理された信号を入力して学習及び検査対象音信号が正常か否かの判定を行なうニューラルネットワークを備えたことを特徴とする音響検査装置である。
【発明の効果】
【００１９】
本発明により、音信号の加工手段とニューラルネットワーク（ＮＮＷ）を用いる音響検査方法において、検査対象によって相違する音信号の適正加工条件を、簡便かつ確実に決定することが可能になり、これにより異常有無の判定の的中率を従来より大幅に高めることができるようになった。
【００２０】
また本発明によれば、かかる音響検査に格別の熟練を要することなく、何人にも実施可能になり、かかる検査の普及に寄与することができる。
【発明を実施するための最良の形態】
【００２１】
本発明の音響検査方法は、入力音信号に一定の加工を施したのち、学習したＮＮＷで判定を行なうものであるが、教師信号あり（正常か異常か既知の）試験データを用いて、音信号の加工条件の最適化を行なったのち、検査対象データについて異常の有無の判定を行なうことを特徴とするものである。したがって、その操作手順は、図１のブロック図に示すように、最適化処理と検査の２工程に分けられる。
【００２２】
最適化処理及び検査のいずれの工程も、音信号の加工の内容は、デジタル化された音信号を周波数解析して周波数スペクトルを得て（Ｓ１、Ｔ１）、この周波数スペクトルの周波数軸を特定の周波数軸変換モードで変換し（Ｓ２、Ｔ２）、変換された周波数軸において、周波数帯域をＮＮＷのニューロン数（Ｎ）と同数に分割（原則的には等分割）して、それぞれの帯域で信号強度または振幅を平均化し（Ｓ３、Ｔ３）、この平均化された信号を前記(１)式の関係を満たすように振幅・強度の圧縮処理を行う（Ｓ４、Ｔ４）という点で同じである。また、この加工した信号をＮＮＷの各ニューロンに入力して、その出力値により判定を行なうことも同様である。
【００２３】
最適化処理の内容は、検査対象に応じて、ステップＳ２における周波数軸変換モードとステップＳ４における圧縮処理の冪指数（(１)式のｎ）の値の最適なものを選択することである。すなわち、候補となる周波数軸変換モード（以下、これをＭｋ（ｋ＝１，２，……，ｋ）と表示する）と、圧縮処理の冪指数の値（以下、これをｎｊ（ｊ＝１，２，……，ｊ）と表示する）を予め複数水準選択しておき、デジタル化された教師信号あり試験データのセットをＮＮＷで判定したときに、その正答率が最高になるパラメータ(Ｍｋとｎｊ)を求めることにある。ただし、両者各々独立に最適化するのではなく、両者の組合せ（Ｍｋ，ｎｊ）において最適条件を求める。
【００２４】
ＮＮＷで試験データセットか正常か異常かを判定する前に、ＮＮＷの重み係数を最適化しておく必要がある。そのため、試験データセットとは別に、デジタル化された教師信号あり学習データのセットを用意する。この学習データセットの音信号も、Ｓ１〜Ｓ４のステップで加工を施したのち、ＮＮＷの各ニューロンに入力して学習し、重み係数を最適化する。このようにして学習したＮＮＷに、試験データセットの加工後の信号を入力すれば、確度の高い判定を行なうことができる。
【００２５】
上記のようにして、検査対象に応じて、最適な（Ｍｋ，ｎｊ)の組合せが定まれば、Ｔ２ステップにおけるＭｋとＴ４ステップにおけるｎｊは、これらの値に固定する。また、Ｔ５ステップにおけるＮＮＷの最適重み係数は、先のＳ５ステップで既に求められているので、これをそのまま使うことができる。したがって、この状態で検査工程に入り、検査対象音を採音してＡ／Ｄ変換を行った（Ｔ０）のち、Ｔ１〜Ｔ４の加工が施された信号を、学習したＮＮＷに入力して（Ｔ５）、正常か異常かの判定を行なうことができる。
【００２６】
以下、最適化処理及び検査の各工程のフローについて、さらに詳しく説明する。図２は、最適化処理の操作手順の例を示すフローチャートである。同図において、入力されるデータセット１は、教師信号あり学習データのセットと、教師信号あり試験データのセットで構成される。教師信号あり学習データセットを使ってニューラルネットワーク（ＮＮＷ）の学習を行い、教師信号あり試験データセットを使って、学習の効果とパラメータ選定の適否（正答率）を判定する。
【００２７】
Ｓ１ステップで入力音信号を周波数解析すると、直流成分、基本波（ｆ１）成分と高調波（２ｆ１，３ｆ１，…ｋｆ１）成分が算出される。それらの成分数（ｋ＋１）がＮＮＷの入力層ニューロンの数Ｎより十分大きくなるように、周波数帯域と基本波の周波数ｆを設定する。
【００２８】
次にＳ２の周波数軸変換としては、線形変換、対数変換、冪乗変換、メル変換、ｂａｒｋ変換、ＥＲＢ変換、ＥＲＢｓ変換等が例示される。これらの変換は、元の周波数をｆとし変換後の周波数をＦとしたとき、下記の各式で表される。
【００２９】
線形変換： Ｆ ＝ ａｆ （ａは比例定数であるが通常は１、以下同じ）
対数変換： Ｆ ＝ ａｌｏｇｆ、又はＦ ＝ ａｌｎｆ
冪乗変換： Ｆ ＝ ａｆｎ（ｎ＜１）
メル変換： Ｆ ＝ ２５９５ｌｏｇ１０（１＋ｆ／７００）
ｂａｒｋ変換： Ｆ ＝ １３ｔａｎ−１（０．７６ｆ／１０００）
＋３．５ｔａｎ−１（（ｆ／７５００）２）
ＥＲＢ変換： Ｆ ＝ ２４．７＋０．１０８ｆ
ＥＲＢｓ変換： Ｆ ＝ ２１．４ｌｏｇ１０（０．００４３７ｆ＋１）
上記の各変換のうち、線形変換、対数変換、冪数ｎを０．２５及び０．５とした時の冪乗変換、メル（ｍｅｌ）変換及びｂａｒｋ変換における元の周波数ｆと変換後の周波数Ｆとの関係を図３に示す。同図の縦軸は、ｆ＝２０，０００Ｈｚの時のＦの値 Ｆ(20000)を１００として、これに対するＦ(ｆ)の相対値（Ｆ(ｆ)／Ｆ(20000)×１００）で表示している。上記の変換のうち、線形変換とＥＲＢ変換以外は、低周波域の帯域幅を相対的に拡大し、高周波域の帯域幅を相対的に縮小する変換（本発明においては、これを周波数軸圧縮変換という）である。人間の聴覚は、一種の周波数軸圧縮変換を行なっており、上記のメル変換やｂａｒｋ変換は、人間の聴覚特性を良く近似することが知られている。したがって、人間の聴覚に基づく打診検査を模擬するという意味において、かかる周波数軸圧縮変換が、的中率の向上に寄与する可能性が高いと考えられる。
【００３０】
次にＳ３ステップの分割処理は、変換した周波数軸をニューロン数Ｎに合わせて等分することである。また、平均化は等分された各帯域内の高調波の強度の平均値（変換後の周波数Ｆを変数として上記の強度を積分し、帯域幅ΔＦで除した値）を求めることである。振幅の平均値を使用しても同様な学習及び検査結果が得られる。
【００３１】
Ｓ４ステップの振幅・強度圧縮処理は、Ｓ３の平均値を入力信号Ｉとして、下式の関係を満たすような出力信号の値Ｗを求めることである。
Ｗ ＝Ｃ・Ｉｎ ………(１)
ここで、Ｃ：比例定数
ｎ：処理目的に応じて設定される冪指数で、入力信号が強度のとき
０＜ｎ＜０．５、振幅のとき０＜ｎ＜１
一般に、冪指数ｎを１未満にすると、入力Ｉの値の大きい範囲（大きい音）は出力値Ｗが相対的に小さくなり、Ｉの小さい範囲（小さい音）は相対的に大きくなる。また、ｎを１超にするとその逆になるので、ｎ＝１を境として音圧圧縮と音圧伸長とに分けられる。比較的大きな打診自体の音響の中から、異状時の小さな音信号を確実にキャッチするという意味で、一般に音圧圧縮が的中率の向上に有効である。上記(１)式のＩは、スペクトルの強度または振幅であって、強度は振幅の２乗に相当する。したがって、本発明における圧縮処理は、入力信号が強度のとき０＜ｎ＜０．５、振幅のとき０＜ｎ＜１として、圧縮する処理を行なっている。
【００３２】
Ｓ５ステップのＮＮＷでは、先ず教師信号あり学習データのセットを使って学習を行い、ニューロン間の結合の重みを調整する（重み調整の内容については後述する）。次いで、その調整結果と教師信号あり試験データのセットを使って、ＮＮＷの出力値から、各試験データが正常か異常かの判定を行なう。試験データセットは、正常か異常かが既知であるから、この判定から正答率が求められる。この正答率は、周波数軸変換モードをＭｋとし、圧縮処理の冪指数の値をｎｊとしたときのものである。そこで、Ｓ５ステップの出力１として、Ｍｋ、ｎｊ、正答率及びＮＮＷの重み係数のセットをメモリーに記録する。
【００３３】
次いで、ｎｊのフラッグｊをｊ−１として、Ｓ４ステップの入り口に戻る。学習データセットの圧縮処理と、そのデータによるＮＮＷの学習を行なった後、試験データセットを圧縮処理して、ＮＮＷに入力して正答率を求め、出力１をメモリーに記録する手順を繰り返す。Ｊ＝０になったところで、ｊ＝ｊに戻すとともに、Ｍｋのフラッグｋをｋ−１として、Ｓ２ステップの入り口に戻り、ｋ＝０になるまで、上記と同じ手順を繰り返す。フラ
ッグｊ，ｋがともに０になったところで、すべての（Ｍｋ，ｎｊ)の組合せにおける正答率とＮＮＷの重み係数のセットがメモリーに記録されているので、この中から最も高い正答率を与えるＭｋ，ｎｊの組合せを選定し、その時のＭｋ，ｎｊの値とＮＮＷの重み係数のセットを出力２として出力して、最適化処理の工程を終了する。
【００３４】
図４は、検査工程の操作手順の例を示すフローチャートである。まず、最適化処理の出力２（（Ｍｋ，ｎｊ)の組合せの最適値と、その時のＮＮＷの重み係数のセット）を入力したところで、検査開始のトリガー信号を出力３として出力する（Ｓ０）。これにより打診検査が開始され、打診検査の信号入力を増幅し（Ｐ１）、フィルタにより可聴範囲を越える高周波域をカット（Ｐ２）した後、Ａ／Ｄ変換を行い（Ｔ０）、このデジタル化された信号を検査データとして取り込む。
【００３５】
この検査データについて、前述のＳ１ステップと同様に周波数解析し（Ｔ１）、最適条件として選択した周波数軸変換モードＭｋで周波数軸変換を行い（Ｔ２）、周波数軸の分割と各周波数帯域での信号強度または振幅の平均化を行い（Ｔ３）、その平均値の信号を入力して、各周波数帯域毎に(１)式の冪指数を選択されたｎｊとする圧縮処理を行い（Ｔ４）、その出力をすでに学習ずみ（重み係数が最適化された）ＮＮＷの入力層のそれぞれのユニットに入力して、その出力値により検査データが正常か異常かの判定を行なう（Ｔ５）。この正常・異常の判断結果を出力４として出力する。検査回数のフラッグｍをｍ−１として、Ｓ０ステップの入り口に戻って、検査データの取込み、データの加工とＮＮＷによる判定の一連の操作を繰り返す。
【００３６】
上記の手段によれば、ＮＮＷの学習と音信号の加工条件の最適化を完全に自動的に行なうことができ、「音響検査に格別の熟練を要することなく、何人にもこれを実施可能にする」という本発明の目的を容易に達成することができる。なお、上記の最適化処理及び検査の両工程において、振幅・強度の圧縮処理（Ｓ４，Ｔ４ステップ）をともに省略しても差し支えない。この場合は、Ｓ３及びＴ３の出力信号が直ちにＮＮＷに入力されることになる。また、Ｓ４，Ｔ４ステップをＳ３，Ｔ３ステップの周波数分割処理と平均化処理の間に入れることも可能である。すなわち、平均化する前の各高調波について、(１)式による圧縮処理を行い、その結果を平均化してもよい。しかしこの方法は、(１)式の計算の手間が大きくなるので、図１、３及び４の例に示すように、Ｓ３，Ｔ３ステップの後にＳ４，Ｔ４ステップを置くことが好ましい。
【００３７】
次ぎに、後記の実施例で用いたニューラルネットワ−ク（ＮＮＷ）の構成と、学習データによる学習について説明する。本実施例では、パターン認識に効果があるとされる階層型のＮＮＷを用い、入力層、中間層、出力層の計３層で構成される階層型のＮＮＷを用いた。出力は、検査対象物が正常か異常かを判別する２通りなので、出力層のニューロン数は１個とした。このＮＮＷを図５に示す。図に示されるように、ニューロンが層をなして並んでいて、それぞれ異なる重み付け（weight）をされてつながっている。ニューロンの役割は、他のニューロンからの入力を受け取り、その入力和に応じて出力をするだけであるが、重み付けが変化することで、同じ入力データを与えても違う出力が出てくる。
【００３８】
ＮＮＷの学習とは、目的の出力が得られるように、重み付けを変化させていくことである。学習には、バックプロパゲーション（誤差逆伝播法）を用いた。この学習方法は、まずニューロン数を入力層Ｉ個、中間層Ｊ個とし、入力層のｉ番目のニューロンから中間層のｊ番目のニューロンへの重みをＶｊｉ、中間層のｊ番目のニューロンから出力層のニューロンへの重みをＷｊとすると、入力層ニューロンの出力Ｘｉはそのまま次の層へ値を伝え、中間層ニューロンｊの出力Ｙｊは、下記(２)式で与えられ、
【数１】
出力層ニューロンの出力Ｚは、下記(３)式で与えられる。
【数２】
教師信号をＤとすると、出力層の出力との誤差Ｅは、Ｅ＝(Ｄ−Ｚ)２／２で与えられる。ＮＮＷの学習は、この誤差Ｅが小さくなるように重みの修正を行なっていくもので、中間層から出力層への重みの現在の値をＷｊ(ｔ)、重み修正後の値をＷｊ(ｔ＋１)とすると、Ｗｊ(ｔ＋１)＝Ｗｊ(ｔ)＋ΔＷｊとしたときのΔＷｊは下記(４)式で与えられる。
【数３】
ここで、η（η＞０）は学習係数であり、この値を調整することにより、学習の度合いを変化させることができる。
【００３９】
一方、入力層から中間層への重みの現在の値をＶｊｉ(ｔ)、重み修正後の値をＶｊｉ(ｔ＋１)とすると、Ｖｊｉ(ｔ＋１)＝Ｖｊｉ(ｔ)＋ΔＶｊｉとしたときのΔＶｊｉは下記(５)式で与えられる。
【数４】
このようにして、ＷｊとＶｊｉの修正を繰り返す。Ｎ個の学習データのセットがあるとすると、下記(６)式を満たすまで、この重みの修正を続ける。
【数５】
なお、上式のε(ε＞０）は学習終了条件である。
【００４０】
バックプロパゲーションのアルゴリズムは、出力と教師信号との誤差を小さくする方向へ重み付けを変更していくもので、重み付けの修正が、入力から出力を計算する時のデータの流れと逆向きの流れで行われる。このＮＮＷの学習は、あらかじめ上記のηやεを経験的に設定しておくことにより、一定の計算プログラムで自動的に計算を行なうことができる。(６)式の関係が満たされた時のＷｊとＶｊｉの値を、ＮＮＷの重み係数としたものが、ここでいう「学習したＮＮＷ」である。
【実施例】
【００４１】
コーラ瓶とビール瓶の２種類を試料として、図３に示したフローで音信号の加工とＮＮＷによる判定を行い、周波数軸変換のモードや振幅・音圧圧縮処理の冪指数を変えて、正答率がどのように変化するかを調査した。教師ありデータとして、コーラ瓶とビール瓶ともに、正常瓶と欠陥瓶の打音を各４００個用意し、この音信号をデジタル化して、正常瓶・欠陥瓶ともに半数を学習データセット、他の半数を試験データセットとした。ＮＮＷのニューロン数は、入力層１００、中間層５、出力層１とした。
【００４２】
周波数軸変換モードとして、線形，対数，ｍｅｌ，ｂａｒｋ，ＥＲＢ，ＥＲＢｓの各変換について検討した。また、振幅・音圧圧縮処理（Ｓ４ステップ）の入力は振幅（強度の１／２乗）とし、コーラ瓶については、冪指数ｎ＝０．４（圧縮処理あり）とｎ＝１（圧縮処理なし）の２水準で、ビール瓶については、冪指数ｎ＝０．４（圧縮処理あり）の場合のみ検討した。またコーラ瓶については、周波数帯域を可聴域全体（２０Ｈｚ〜２０ｋＨｚ）とした場合と、周波数解析で比較的強いスペクトルが認められる範囲（１ｋＨｚ〜１５ｋＨｚ）に制限した場合の両方について検討した。上記の条件で、学習セータセットで学習したＮＮＷにより、試験データセットについて正常か否かの判定を行い、正答率を求めた結果をまとめて表１に示す。
【表１】
表１のコーラ瓶についての結果から、ｎ＝１（振幅そのまま）とした場合よりも、ｎ＝０．４とすると正答率が大幅に高くなることが知れる。また、ｎ＝０．４で、周波数軸変換モードは、線形とＥＲＢ（線形に類似）の場合に正答率が高い。したがって、コーラ瓶の場合には、周波数解析した周波数軸を変換せずに等分割・平均処理し、その振幅を０．４乗したものをＮＮＷに入力した検査を行なうのが好ましいことが知れる。なお、周波数帯域は制限せず、可聴域全体で解析した方が正答率が高かった。
【００４３】
一方、ビール瓶では、周波数軸変換がｍｅｌやｂａｒｋの場合に、線形（周波数軸変換なし）よりも正答率が明らかに高い。したがって、この場合は、周波数軸をｍｅｌ変換又はｂａｒｋ変換して、その振幅を０．４乗したものをＮＮＷに入力することが好ましい。
【００４４】
この実施例から分かるように、打音検査の的中率を高めるための音信号の加工の適正条件（周波数軸の変換モードや圧縮処理の冪指数）は、検査対象により大幅に相違する。しかしながら本発明によれば、検査対象に応じて、自動的に（格別の熟練を要することなく）最適な加工条件を見つけ出して検査を行なうことができ、これにより、打音検査の的中率を確実に高めることができる。
【図面の簡単な説明】
【００４５】
【図１】本発明の音響検査方法の操作手順の例を示すブロック図である。
【図２】本発明における最適化処理の操作手順の例を示すフローチャートである。
【図３】各種の周波数軸変換における元の周波数と変換後の周波数との関係を示す図である。
【図４】本発明における検査工程の操作手順の例を示すフローチャートである。
【図５】本発明の実施例で用いたニューラルネットワークの構成を示す図である。
【技術分野】
【０００１】
本発明は、ニューラルネットワークを用いた音響検査方法に関し、とくに打診音により製品の異常の有無を判定するのに好適で、音信号の加工手段により判定の的中率を高めることのできる音響検査方法とこれに用いる検査装置に関する。
【背景技術】
【０００２】
従来から各種の製品や装置の異常の有無を判定する検査方法として、検査対象の音響信号の周波数スペクトルを求め、各周波数成分の振幅値と閾値とを比較して、異常の有無を判定する音響検査方法が広く用いられている。しかしこの方法は、判定精度を高めようとすると、分割する周波数帯域の数を多くする必要があり、適切な閾値を設定する手間が過大になるという問題があった。
【０００３】
これを解決するため、音響信号の周波数解析結果を、ニューラルネットワーク（以下、ＮＮＷと略記する）に入力して、異常の有無を判定する音響検査方法も広く試みられるようになってきた（例えば下記の非特許文献１、特許文献１など）。この方法は、ＮＮＷの入力層に各周波数帯域の音信号を入力し、その出力値を閾値と比較して異常を判定するものであるが、学習データを用いて、ＮＮＷのパラメータの値を学習することにより、判定精度を高めることができる。
【０００４】
しかし、この方法でも、学習データを用いてＮＮＷのパラメータの値を学習する過程において、入力の与え方や条件設定等の巧拙があり、効率良くＮＮＷの学習を行なうには、かなりの熟練を要するという問題があった。また、検査対象の音信号の種類によっては、学習したＮＮＷを用いても、異常判定の的中率が必ずしも向上しないという問題もあった。
【非特許文献１】R.P.Gorman et al.：Neural Networks Vol.1,Issue1,1988 pp.75-89
【特許文献１】特開平１１−２４１９４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明者らは、人の聴覚特性を模擬して加工した音響検査の打診音を、階層型のＮＮＷに入力して異常（とくに瓶の欠陥）を判定する方法について、種々の検討を行なってきた。かかる音信号の加工には、音信号を複数の周波数帯域に分割し、各帯域での音圧の圧縮処理（出力音圧を入力音圧のｎ乗（ｎ＜１）として、小さな音を相対的に大きくする処理）や、周波数軸を人間の聴覚特性にならって変換する処理（例えば対数変換や指数変換など）が含まれる。その結果、音信号に何らかの加工をしてＮＮＷに入力したときに、元の音信号のまま入力するより、判定の的中率が大幅に向上する場合があることを知見した。
【０００６】
しかし、検査対象は多様であり、如何なる加工が的中率の向上に有効であるかは、一律に論ずることができない。同じ圧縮処理でも、冪指数ｎの値によって的中率に差が生じるし、当然ながら周波数軸の変換処理モードによっても大きく相違する。例えば、瓶の欠陥検査の場合、ビール瓶とコーラ瓶の欠陥では、最も高い的中率が得られる周波数軸の変換処理モードや冪指数ｎの値が大きく相違する。従来は、検査対象の種類によって、試行錯誤しながら適正な音信号の加工条件を探索する必要が有り、実際に打音検査に着手する前の、事前検討の手間がきわめて大きいという問題があった。
【０００７】
また、かかる音響検査はすでに実用化の段階に入っていると言えるが、実際の生産ラインにこれを適用するには、上述のような音信号の加工条件の選択や学習データによる学習
に手間取ることなく、自動的にこれを行いうること、およびかかる条件の選択に熟練を要することなく、誰にでも操作可能であることが求められる。
【０００８】
そこで本発明は、音信号の加工手段とニューラルネットワーク（ＮＮＷ）を用いる音響検査方法において、検査対象によって相違する音信号の適正加工条件を、簡便かつ確実に決定することのできる手段を提供し、これにより異常有無の判定の的中率を従来より大幅に高め得る音響検査方法と検査装置を提供することを課題としている。
【０００９】
また本発明は、上記の音信号の適正加工条件を自動的に決定しうる手段を提供
し、これにより、かかる音響検査に格別の熟練を要することなく、何人にもこれ
を実施可能にすることを課題としている。
【課題を解決するための手段】
【００１０】
上記課題を解決するための本発明の音響検査方法は、
周波数解析した音信号を、学習データセットを使用して学習したニューラルネットワークの入力層に入力し、その出力により検査対象の音信号が正常状態か異常状態かを判定する音響検査方法であって、
デジタル化された音信号を周波数解析してその周波数スペクトルを得るステップと、該スペクトルの周波数軸を変換するステップと、変換された周波数軸をニューラルネットワークの入力ユニット数Ｎと同数の周波数帯域に分割するステップと、この分割された帯域内の音信号の強度または振幅をそれぞれ平均化するステップと、この平均化された音信号をニューラルネットワークの各入力ユニットに入力して、学習データセットによる学習及び検査対象音信号が正常か否かの判定を行なうステップとを具備することを特徴とする。
【００１１】
上記の方法によれば、ニューラルネットワークを使用する音響検査において、音信号の周波数軸を人間の聴覚特性に倣って変換してから周波数分割して、ニューラルネットワークに入力することが可能になり、人間の官能による音響検査に近づけることができる。そのため、かかる変換を行なわずにニューラルネットワークに入力する場合よりも、異常判定の的中率を向上させることができる場合が多い。
【００１２】
上記の音響検査方法においては、前記の平均化ステップで周波数帯域毎に平均化された音信号を入力して、その強度または振幅を下記(１)式の関係を満たすように圧縮処理するステップを設け、該ステップで圧縮処理された信号を前記ニューラルネットワークの各入力ユニットに入力することが好ましい。
【００１３】
Ｗ ＝ Ｃ・Ｉｎ ………(１)
ここで、Ｉ：圧縮処理ステップへの入力信号
Ｗ：圧縮処理ステップからの出力信号
Ｃ：比例定数
ｎ：処理目的に応じて設定される冪指数で、入力信号が強度のとき
０＜ｎ＜０．５、振幅のとき０＜ｎ＜１
かかる圧縮処理により、入力信号が大きい範囲では出力信号が相対的に小さく、入力信号が小さい範囲で相対的に大きくなる。そのため、比較的大きな打診自体の音響の中から、異状時の小さな音信号をキャッチすることが容易になり、異常判定の的中率の向上を図ることができる。
【００１４】
また、上記の音響検査方法においては、前記学習データセットとは別に、各複数の正常状態及び異常状態の音信号からなる試験データセットを使用し、前記の周波数軸変換ステップにおける周波数軸変換モードを複数選択して、選択された各変換モードにおいて、学習データセットによる学習及び前記試験データセットについて正常か否かの判定を行い、
この判定によりこれらの変換モードのうちで正答率が最高になる変換モードを定め、定められた変換モードを用いて、学習データセットによる学習及び検査対象音信号が正常か否かの判定を行なうことが好ましい。
【００１５】
前述した周波数軸を変換する方法において、如何なる変換モードが的中率の向上に最も有効かは、検査対象の音信号によって相違し、一律に論ずることができない。従来は最適な周波数軸変換モードを試行錯誤して定める必要があり、そのための手間が過大になるという問題があった。これに対して、上記の方法によれば、一定の計算プログラムを用いて上記の試行を自動的に行なうことが可能になり、試行の手間が著しく軽減されるとともに、「かかる検査を熟練を要することなく実施可能にする」という本発明の目的を容易に達成することができる。
【００１６】
さらに、上記の音響検査方法においては、前記の周波数軸変換ステップにおける周波数軸変換モードとして、対数変換、冪指数変換、メル変換、ｂａｒｋ変換等の周波数軸圧縮変換及び線形変換よりなる群から２種以上を選択するとともに、(１)式における冪指数ｎを入力信号が強度のとき０＜ｎ＜０．５、振幅のとき０＜ｎ＜１の範囲の値を含む数値で２段階以上に変えて、この変換モードとｎ値の各組合せにおいて学習データセットによる学習及び前記試験データセットについて正常か否かの判定を行い、この判定によりこれらの組合せのうちで正答率が最高になるものを定め、定められた変換モードとｎ値の組合せを用いて、学習データセットによる学習及び検査対象音信号が正常か否かの判定を行ってもよい。
【００１７】
このように構成することによって、異常判定の的中率の向上に最も有効な、周波数軸変換モードと圧縮処理における冪指数ｎの値の組合せを、自動的に定めることが可能になり、的中率の向上にさらに有効な手段を提供することができる。
【００１８】
本発明の音響検査装置は、上記の検査方法を実施するための装置であって、
デジタル化された音信号を周波数解析して周波数スペクトルを得る手段と、該スペクトルの周波数軸を変換する手段と、この変換された周波数軸を複数の周波数帯域に分割する手段と、この分割された帯域内の信号強度または振幅をそれぞれ平均化する手段と、この平均化された音信号を前記(１）式の関係を満たすように圧縮処理する手段と、この圧縮処理された信号を入力して学習及び検査対象音信号が正常か否かの判定を行なうニューラルネットワークを備えたことを特徴とする音響検査装置である。
【発明の効果】
【００１９】
本発明により、音信号の加工手段とニューラルネットワーク（ＮＮＷ）を用いる音響検査方法において、検査対象によって相違する音信号の適正加工条件を、簡便かつ確実に決定することが可能になり、これにより異常有無の判定の的中率を従来より大幅に高めることができるようになった。
【００２０】
また本発明によれば、かかる音響検査に格別の熟練を要することなく、何人にも実施可能になり、かかる検査の普及に寄与することができる。
【発明を実施するための最良の形態】
【００２１】
本発明の音響検査方法は、入力音信号に一定の加工を施したのち、学習したＮＮＷで判定を行なうものであるが、教師信号あり（正常か異常か既知の）試験データを用いて、音信号の加工条件の最適化を行なったのち、検査対象データについて異常の有無の判定を行なうことを特徴とするものである。したがって、その操作手順は、図１のブロック図に示すように、最適化処理と検査の２工程に分けられる。
【００２２】
最適化処理及び検査のいずれの工程も、音信号の加工の内容は、デジタル化された音信号を周波数解析して周波数スペクトルを得て（Ｓ１、Ｔ１）、この周波数スペクトルの周波数軸を特定の周波数軸変換モードで変換し（Ｓ２、Ｔ２）、変換された周波数軸において、周波数帯域をＮＮＷのニューロン数（Ｎ）と同数に分割（原則的には等分割）して、それぞれの帯域で信号強度または振幅を平均化し（Ｓ３、Ｔ３）、この平均化された信号を前記(１)式の関係を満たすように振幅・強度の圧縮処理を行う（Ｓ４、Ｔ４）という点で同じである。また、この加工した信号をＮＮＷの各ニューロンに入力して、その出力値により判定を行なうことも同様である。
【００２３】
最適化処理の内容は、検査対象に応じて、ステップＳ２における周波数軸変換モードとステップＳ４における圧縮処理の冪指数（(１)式のｎ）の値の最適なものを選択することである。すなわち、候補となる周波数軸変換モード（以下、これをＭｋ（ｋ＝１，２，……，ｋ）と表示する）と、圧縮処理の冪指数の値（以下、これをｎｊ（ｊ＝１，２，……，ｊ）と表示する）を予め複数水準選択しておき、デジタル化された教師信号あり試験データのセットをＮＮＷで判定したときに、その正答率が最高になるパラメータ(Ｍｋとｎｊ)を求めることにある。ただし、両者各々独立に最適化するのではなく、両者の組合せ（Ｍｋ，ｎｊ）において最適条件を求める。
【００２４】
ＮＮＷで試験データセットか正常か異常かを判定する前に、ＮＮＷの重み係数を最適化しておく必要がある。そのため、試験データセットとは別に、デジタル化された教師信号あり学習データのセットを用意する。この学習データセットの音信号も、Ｓ１〜Ｓ４のステップで加工を施したのち、ＮＮＷの各ニューロンに入力して学習し、重み係数を最適化する。このようにして学習したＮＮＷに、試験データセットの加工後の信号を入力すれば、確度の高い判定を行なうことができる。
【００２５】
上記のようにして、検査対象に応じて、最適な（Ｍｋ，ｎｊ)の組合せが定まれば、Ｔ２ステップにおけるＭｋとＴ４ステップにおけるｎｊは、これらの値に固定する。また、Ｔ５ステップにおけるＮＮＷの最適重み係数は、先のＳ５ステップで既に求められているので、これをそのまま使うことができる。したがって、この状態で検査工程に入り、検査対象音を採音してＡ／Ｄ変換を行った（Ｔ０）のち、Ｔ１〜Ｔ４の加工が施された信号を、学習したＮＮＷに入力して（Ｔ５）、正常か異常かの判定を行なうことができる。
【００２６】
以下、最適化処理及び検査の各工程のフローについて、さらに詳しく説明する。図２は、最適化処理の操作手順の例を示すフローチャートである。同図において、入力されるデータセット１は、教師信号あり学習データのセットと、教師信号あり試験データのセットで構成される。教師信号あり学習データセットを使ってニューラルネットワーク（ＮＮＷ）の学習を行い、教師信号あり試験データセットを使って、学習の効果とパラメータ選定の適否（正答率）を判定する。
【００２７】
Ｓ１ステップで入力音信号を周波数解析すると、直流成分、基本波（ｆ１）成分と高調波（２ｆ１，３ｆ１，…ｋｆ１）成分が算出される。それらの成分数（ｋ＋１）がＮＮＷの入力層ニューロンの数Ｎより十分大きくなるように、周波数帯域と基本波の周波数ｆを設定する。
【００２８】
次にＳ２の周波数軸変換としては、線形変換、対数変換、冪乗変換、メル変換、ｂａｒｋ変換、ＥＲＢ変換、ＥＲＢｓ変換等が例示される。これらの変換は、元の周波数をｆとし変換後の周波数をＦとしたとき、下記の各式で表される。
【００２９】
線形変換： Ｆ ＝ ａｆ （ａは比例定数であるが通常は１、以下同じ）
対数変換： Ｆ ＝ ａｌｏｇｆ、又はＦ ＝ ａｌｎｆ
冪乗変換： Ｆ ＝ ａｆｎ（ｎ＜１）
メル変換： Ｆ ＝ ２５９５ｌｏｇ１０（１＋ｆ／７００）
ｂａｒｋ変換： Ｆ ＝ １３ｔａｎ−１（０．７６ｆ／１０００）
＋３．５ｔａｎ−１（（ｆ／７５００）２）
ＥＲＢ変換： Ｆ ＝ ２４．７＋０．１０８ｆ
ＥＲＢｓ変換： Ｆ ＝ ２１．４ｌｏｇ１０（０．００４３７ｆ＋１）
上記の各変換のうち、線形変換、対数変換、冪数ｎを０．２５及び０．５とした時の冪乗変換、メル（ｍｅｌ）変換及びｂａｒｋ変換における元の周波数ｆと変換後の周波数Ｆとの関係を図３に示す。同図の縦軸は、ｆ＝２０，０００Ｈｚの時のＦの値 Ｆ(20000)を１００として、これに対するＦ(ｆ)の相対値（Ｆ(ｆ)／Ｆ(20000)×１００）で表示している。上記の変換のうち、線形変換とＥＲＢ変換以外は、低周波域の帯域幅を相対的に拡大し、高周波域の帯域幅を相対的に縮小する変換（本発明においては、これを周波数軸圧縮変換という）である。人間の聴覚は、一種の周波数軸圧縮変換を行なっており、上記のメル変換やｂａｒｋ変換は、人間の聴覚特性を良く近似することが知られている。したがって、人間の聴覚に基づく打診検査を模擬するという意味において、かかる周波数軸圧縮変換が、的中率の向上に寄与する可能性が高いと考えられる。
【００３０】
次にＳ３ステップの分割処理は、変換した周波数軸をニューロン数Ｎに合わせて等分することである。また、平均化は等分された各帯域内の高調波の強度の平均値（変換後の周波数Ｆを変数として上記の強度を積分し、帯域幅ΔＦで除した値）を求めることである。振幅の平均値を使用しても同様な学習及び検査結果が得られる。
【００３１】
Ｓ４ステップの振幅・強度圧縮処理は、Ｓ３の平均値を入力信号Ｉとして、下式の関係を満たすような出力信号の値Ｗを求めることである。
Ｗ ＝Ｃ・Ｉｎ ………(１)
ここで、Ｃ：比例定数
ｎ：処理目的に応じて設定される冪指数で、入力信号が強度のとき
０＜ｎ＜０．５、振幅のとき０＜ｎ＜１
一般に、冪指数ｎを１未満にすると、入力Ｉの値の大きい範囲（大きい音）は出力値Ｗが相対的に小さくなり、Ｉの小さい範囲（小さい音）は相対的に大きくなる。また、ｎを１超にするとその逆になるので、ｎ＝１を境として音圧圧縮と音圧伸長とに分けられる。比較的大きな打診自体の音響の中から、異状時の小さな音信号を確実にキャッチするという意味で、一般に音圧圧縮が的中率の向上に有効である。上記(１)式のＩは、スペクトルの強度または振幅であって、強度は振幅の２乗に相当する。したがって、本発明における圧縮処理は、入力信号が強度のとき０＜ｎ＜０．５、振幅のとき０＜ｎ＜１として、圧縮する処理を行なっている。
【００３２】
Ｓ５ステップのＮＮＷでは、先ず教師信号あり学習データのセットを使って学習を行い、ニューロン間の結合の重みを調整する（重み調整の内容については後述する）。次いで、その調整結果と教師信号あり試験データのセットを使って、ＮＮＷの出力値から、各試験データが正常か異常かの判定を行なう。試験データセットは、正常か異常かが既知であるから、この判定から正答率が求められる。この正答率は、周波数軸変換モードをＭｋとし、圧縮処理の冪指数の値をｎｊとしたときのものである。そこで、Ｓ５ステップの出力１として、Ｍｋ、ｎｊ、正答率及びＮＮＷの重み係数のセットをメモリーに記録する。
【００３３】
次いで、ｎｊのフラッグｊをｊ−１として、Ｓ４ステップの入り口に戻る。学習データセットの圧縮処理と、そのデータによるＮＮＷの学習を行なった後、試験データセットを圧縮処理して、ＮＮＷに入力して正答率を求め、出力１をメモリーに記録する手順を繰り返す。Ｊ＝０になったところで、ｊ＝ｊに戻すとともに、Ｍｋのフラッグｋをｋ−１として、Ｓ２ステップの入り口に戻り、ｋ＝０になるまで、上記と同じ手順を繰り返す。フラ
ッグｊ，ｋがともに０になったところで、すべての（Ｍｋ，ｎｊ)の組合せにおける正答率とＮＮＷの重み係数のセットがメモリーに記録されているので、この中から最も高い正答率を与えるＭｋ，ｎｊの組合せを選定し、その時のＭｋ，ｎｊの値とＮＮＷの重み係数のセットを出力２として出力して、最適化処理の工程を終了する。
【００３４】
図４は、検査工程の操作手順の例を示すフローチャートである。まず、最適化処理の出力２（（Ｍｋ，ｎｊ)の組合せの最適値と、その時のＮＮＷの重み係数のセット）を入力したところで、検査開始のトリガー信号を出力３として出力する（Ｓ０）。これにより打診検査が開始され、打診検査の信号入力を増幅し（Ｐ１）、フィルタにより可聴範囲を越える高周波域をカット（Ｐ２）した後、Ａ／Ｄ変換を行い（Ｔ０）、このデジタル化された信号を検査データとして取り込む。
【００３５】
この検査データについて、前述のＳ１ステップと同様に周波数解析し（Ｔ１）、最適条件として選択した周波数軸変換モードＭｋで周波数軸変換を行い（Ｔ２）、周波数軸の分割と各周波数帯域での信号強度または振幅の平均化を行い（Ｔ３）、その平均値の信号を入力して、各周波数帯域毎に(１)式の冪指数を選択されたｎｊとする圧縮処理を行い（Ｔ４）、その出力をすでに学習ずみ（重み係数が最適化された）ＮＮＷの入力層のそれぞれのユニットに入力して、その出力値により検査データが正常か異常かの判定を行なう（Ｔ５）。この正常・異常の判断結果を出力４として出力する。検査回数のフラッグｍをｍ−１として、Ｓ０ステップの入り口に戻って、検査データの取込み、データの加工とＮＮＷによる判定の一連の操作を繰り返す。
【００３６】
上記の手段によれば、ＮＮＷの学習と音信号の加工条件の最適化を完全に自動的に行なうことができ、「音響検査に格別の熟練を要することなく、何人にもこれを実施可能にする」という本発明の目的を容易に達成することができる。なお、上記の最適化処理及び検査の両工程において、振幅・強度の圧縮処理（Ｓ４，Ｔ４ステップ）をともに省略しても差し支えない。この場合は、Ｓ３及びＴ３の出力信号が直ちにＮＮＷに入力されることになる。また、Ｓ４，Ｔ４ステップをＳ３，Ｔ３ステップの周波数分割処理と平均化処理の間に入れることも可能である。すなわち、平均化する前の各高調波について、(１)式による圧縮処理を行い、その結果を平均化してもよい。しかしこの方法は、(１)式の計算の手間が大きくなるので、図１、３及び４の例に示すように、Ｓ３，Ｔ３ステップの後にＳ４，Ｔ４ステップを置くことが好ましい。
【００３７】
次ぎに、後記の実施例で用いたニューラルネットワ−ク（ＮＮＷ）の構成と、学習データによる学習について説明する。本実施例では、パターン認識に効果があるとされる階層型のＮＮＷを用い、入力層、中間層、出力層の計３層で構成される階層型のＮＮＷを用いた。出力は、検査対象物が正常か異常かを判別する２通りなので、出力層のニューロン数は１個とした。このＮＮＷを図５に示す。図に示されるように、ニューロンが層をなして並んでいて、それぞれ異なる重み付け（weight）をされてつながっている。ニューロンの役割は、他のニューロンからの入力を受け取り、その入力和に応じて出力をするだけであるが、重み付けが変化することで、同じ入力データを与えても違う出力が出てくる。
【００３８】
ＮＮＷの学習とは、目的の出力が得られるように、重み付けを変化させていくことである。学習には、バックプロパゲーション（誤差逆伝播法）を用いた。この学習方法は、まずニューロン数を入力層Ｉ個、中間層Ｊ個とし、入力層のｉ番目のニューロンから中間層のｊ番目のニューロンへの重みをＶｊｉ、中間層のｊ番目のニューロンから出力層のニューロンへの重みをＷｊとすると、入力層ニューロンの出力Ｘｉはそのまま次の層へ値を伝え、中間層ニューロンｊの出力Ｙｊは、下記(２)式で与えられ、
【数１】
出力層ニューロンの出力Ｚは、下記(３)式で与えられる。
【数２】
教師信号をＤとすると、出力層の出力との誤差Ｅは、Ｅ＝(Ｄ−Ｚ)２／２で与えられる。ＮＮＷの学習は、この誤差Ｅが小さくなるように重みの修正を行なっていくもので、中間層から出力層への重みの現在の値をＷｊ(ｔ)、重み修正後の値をＷｊ(ｔ＋１)とすると、Ｗｊ(ｔ＋１)＝Ｗｊ(ｔ)＋ΔＷｊとしたときのΔＷｊは下記(４)式で与えられる。
【数３】
ここで、η（η＞０）は学習係数であり、この値を調整することにより、学習の度合いを変化させることができる。
【００３９】
一方、入力層から中間層への重みの現在の値をＶｊｉ(ｔ)、重み修正後の値をＶｊｉ(ｔ＋１)とすると、Ｖｊｉ(ｔ＋１)＝Ｖｊｉ(ｔ)＋ΔＶｊｉとしたときのΔＶｊｉは下記(５)式で与えられる。
【数４】
このようにして、ＷｊとＶｊｉの修正を繰り返す。Ｎ個の学習データのセットがあるとすると、下記(６)式を満たすまで、この重みの修正を続ける。
【数５】
なお、上式のε(ε＞０）は学習終了条件である。
【００４０】
バックプロパゲーションのアルゴリズムは、出力と教師信号との誤差を小さくする方向へ重み付けを変更していくもので、重み付けの修正が、入力から出力を計算する時のデータの流れと逆向きの流れで行われる。このＮＮＷの学習は、あらかじめ上記のηやεを経験的に設定しておくことにより、一定の計算プログラムで自動的に計算を行なうことができる。(６)式の関係が満たされた時のＷｊとＶｊｉの値を、ＮＮＷの重み係数としたものが、ここでいう「学習したＮＮＷ」である。
【実施例】
【００４１】
コーラ瓶とビール瓶の２種類を試料として、図３に示したフローで音信号の加工とＮＮＷによる判定を行い、周波数軸変換のモードや振幅・音圧圧縮処理の冪指数を変えて、正答率がどのように変化するかを調査した。教師ありデータとして、コーラ瓶とビール瓶ともに、正常瓶と欠陥瓶の打音を各４００個用意し、この音信号をデジタル化して、正常瓶・欠陥瓶ともに半数を学習データセット、他の半数を試験データセットとした。ＮＮＷのニューロン数は、入力層１００、中間層５、出力層１とした。
【００４２】
周波数軸変換モードとして、線形，対数，ｍｅｌ，ｂａｒｋ，ＥＲＢ，ＥＲＢｓの各変換について検討した。また、振幅・音圧圧縮処理（Ｓ４ステップ）の入力は振幅（強度の１／２乗）とし、コーラ瓶については、冪指数ｎ＝０．４（圧縮処理あり）とｎ＝１（圧縮処理なし）の２水準で、ビール瓶については、冪指数ｎ＝０．４（圧縮処理あり）の場合のみ検討した。またコーラ瓶については、周波数帯域を可聴域全体（２０Ｈｚ〜２０ｋＨｚ）とした場合と、周波数解析で比較的強いスペクトルが認められる範囲（１ｋＨｚ〜１５ｋＨｚ）に制限した場合の両方について検討した。上記の条件で、学習セータセットで学習したＮＮＷにより、試験データセットについて正常か否かの判定を行い、正答率を求めた結果をまとめて表１に示す。
【表１】
表１のコーラ瓶についての結果から、ｎ＝１（振幅そのまま）とした場合よりも、ｎ＝０．４とすると正答率が大幅に高くなることが知れる。また、ｎ＝０．４で、周波数軸変換モードは、線形とＥＲＢ（線形に類似）の場合に正答率が高い。したがって、コーラ瓶の場合には、周波数解析した周波数軸を変換せずに等分割・平均処理し、その振幅を０．４乗したものをＮＮＷに入力した検査を行なうのが好ましいことが知れる。なお、周波数帯域は制限せず、可聴域全体で解析した方が正答率が高かった。
【００４３】
一方、ビール瓶では、周波数軸変換がｍｅｌやｂａｒｋの場合に、線形（周波数軸変換なし）よりも正答率が明らかに高い。したがって、この場合は、周波数軸をｍｅｌ変換又はｂａｒｋ変換して、その振幅を０．４乗したものをＮＮＷに入力することが好ましい。
【００４４】
この実施例から分かるように、打音検査の的中率を高めるための音信号の加工の適正条件（周波数軸の変換モードや圧縮処理の冪指数）は、検査対象により大幅に相違する。しかしながら本発明によれば、検査対象に応じて、自動的に（格別の熟練を要することなく）最適な加工条件を見つけ出して検査を行なうことができ、これにより、打音検査の的中率を確実に高めることができる。
【図面の簡単な説明】
【００４５】
【図１】本発明の音響検査方法の操作手順の例を示すブロック図である。
【図２】本発明における最適化処理の操作手順の例を示すフローチャートである。
【図３】各種の周波数軸変換における元の周波数と変換後の周波数との関係を示す図である。
【図４】本発明における検査工程の操作手順の例を示すフローチャートである。
【図５】本発明の実施例で用いたニューラルネットワークの構成を示す図である。
【特許請求の範囲】
【請求項１】
周波数解析した音信号を、学習データセットを使用して学習したニューラルネットワークの入力層に入力し、その出力により検査対象の音信号が正常状態か異常状態かを判定する音響検査方法であって、
デジタル化された音信号を周波数解析してその周波数スペクトルを得るステップと、該スペクトルの周波数軸を変換するステップと、変換された周波数軸を前記ニューラルネットワークの入力ユニット数Ｎと同数の周波数帯域に分割するステップと、この分割された帯域内の音信号の強度または振幅をそれぞれ平均化するステップと、この平均化された音信号を前記ニューラルネットワークの各入力ユニットに入力して、学習データセットによる学習及び検査対象音信号が正常か否かの判定を行なうステップとを具備することを特徴とする音響検査方法。
【請求項２】
前記の平均化ステップで周波数帯域毎に平均化された音信号を入力して、その強度または振幅を下記(１)式の関係を満たすように圧縮処理するステップを設け、該ステップで圧縮処理された信号を前記ニューラルネットワークの各入力ユニットに入力することを特徴とする請求項１記載の音響検査方法。
Ｗ ＝Ｃ・Ｉｎ ………(１)
ここで、Ｉ：圧縮処理ステップへの入力信号
Ｗ：圧縮処理ステップからの出力信号
Ｃ：比例定数
ｎ：処理目的に応じて設定される冪指数で、入力信号が強度のとき
０＜ｎ＜０．５、振幅のとき０＜ｎ＜１
【請求項３】
前記学習データセットとは別に、各複数の正常状態及び異常状態の音信号からなる試験データセットを使用し、前記の周波数軸変換ステップにおける周波数軸変換モードを複数選択して、選択された各変換モードにおいて前記学習及び前記試験データセットについて正常か否かの判定を行い、この判定によりこれらの変換モードのうちで正答率が最高になる変換モードを定め、定められた変換モードを用いて、前記学習及び検査対象音信号が正常か否かの判定を行なうことを特徴とする請求項１又は２記載の音響検査方法。
【請求項４】
前記の周波数軸変換ステップにおける周波数軸変換モードとして、対数変換、冪指数変換、メル変換、ｂａｒｋ変換等の周波数軸圧縮変換及び線形変換よりなる群から２種以上を選択するとともに、前記(１）式における冪指数ｎを入力信号が強度のとき０＜ｎ＜０．５、振幅のとき０＜ｎ＜１の範囲の値を含む数値で２段階以上に変えて、この変換モードとｎ値の各組合せにおいて前記学習及び前記試験データセットについて正常か否かの判定を行い、この判定によりこれらの組合せのうちで正答率が最高になるものを定め、定められた変換モードとｎ値の組合せを用いて、前記学習及び検査対象音信号が正常か否かの判定を行なうことを特徴とする請求項３記載の音響検査方法。
【請求項５】
請求項１乃至４のいずれかに記載の音響検査方法を実施するための装置であって、デジタル化された音信号を周波数解析して周波数スペクトルを得る手段と、該スペクトルの周波数軸を変換する手段と、この変換された周波数軸を複数の周波数帯域に分割する手段と、この分割された帯域内の信号強度または振幅をそれぞれ平均化する手段と、この平均化された音信号を前記(１）式の関係を満たすように圧縮処理する手段と、この圧縮処理された音信号を入力して学習及び検査対象音信号が正常か否かの判定を行なうニューラルネットワークを備えたことを特徴とする音響検査装置。
【請求項１】
周波数解析した音信号を、学習データセットを使用して学習したニューラルネットワークの入力層に入力し、その出力により検査対象の音信号が正常状態か異常状態かを判定する音響検査方法であって、
デジタル化された音信号を周波数解析してその周波数スペクトルを得るステップと、該スペクトルの周波数軸を変換するステップと、変換された周波数軸を前記ニューラルネットワークの入力ユニット数Ｎと同数の周波数帯域に分割するステップと、この分割された帯域内の音信号の強度または振幅をそれぞれ平均化するステップと、この平均化された音信号を前記ニューラルネットワークの各入力ユニットに入力して、学習データセットによる学習及び検査対象音信号が正常か否かの判定を行なうステップとを具備することを特徴とする音響検査方法。
【請求項２】
前記の平均化ステップで周波数帯域毎に平均化された音信号を入力して、その強度または振幅を下記(１)式の関係を満たすように圧縮処理するステップを設け、該ステップで圧縮処理された信号を前記ニューラルネットワークの各入力ユニットに入力することを特徴とする請求項１記載の音響検査方法。
Ｗ ＝Ｃ・Ｉｎ ………(１)
ここで、Ｉ：圧縮処理ステップへの入力信号
Ｗ：圧縮処理ステップからの出力信号
Ｃ：比例定数
ｎ：処理目的に応じて設定される冪指数で、入力信号が強度のとき
０＜ｎ＜０．５、振幅のとき０＜ｎ＜１
【請求項３】
前記学習データセットとは別に、各複数の正常状態及び異常状態の音信号からなる試験データセットを使用し、前記の周波数軸変換ステップにおける周波数軸変換モードを複数選択して、選択された各変換モードにおいて前記学習及び前記試験データセットについて正常か否かの判定を行い、この判定によりこれらの変換モードのうちで正答率が最高になる変換モードを定め、定められた変換モードを用いて、前記学習及び検査対象音信号が正常か否かの判定を行なうことを特徴とする請求項１又は２記載の音響検査方法。
【請求項４】
前記の周波数軸変換ステップにおける周波数軸変換モードとして、対数変換、冪指数変換、メル変換、ｂａｒｋ変換等の周波数軸圧縮変換及び線形変換よりなる群から２種以上を選択するとともに、前記(１）式における冪指数ｎを入力信号が強度のとき０＜ｎ＜０．５、振幅のとき０＜ｎ＜１の範囲の値を含む数値で２段階以上に変えて、この変換モードとｎ値の各組合せにおいて前記学習及び前記試験データセットについて正常か否かの判定を行い、この判定によりこれらの組合せのうちで正答率が最高になるものを定め、定められた変換モードとｎ値の組合せを用いて、前記学習及び検査対象音信号が正常か否かの判定を行なうことを特徴とする請求項３記載の音響検査方法。
【請求項５】
請求項１乃至４のいずれかに記載の音響検査方法を実施するための装置であって、デジタル化された音信号を周波数解析して周波数スペクトルを得る手段と、該スペクトルの周波数軸を変換する手段と、この変換された周波数軸を複数の周波数帯域に分割する手段と、この分割された帯域内の信号強度または振幅をそれぞれ平均化する手段と、この平均化された音信号を前記(１）式の関係を満たすように圧縮処理する手段と、この圧縮処理された音信号を入力して学習及び検査対象音信号が正常か否かの判定を行なうニューラルネットワークを備えたことを特徴とする音響検査装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００６−５８０５１（Ｐ２００６−５８０５１Ａ）
【公開日】平成１８年３月２日（２００６．３．２）
【国際特許分類】
【出願番号】特願２００４−２３７９２５（Ｐ２００４−２３７９２５）
【出願日】平成１６年８月１８日（２００４．８．１８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成１６年２月２７日 山梨大学電気電子システム工学科、山梨大学共催の「平成１５年度 電気電子システム工学科 卒業論文発表会」において文書をもって発表
【出願人】（８００００００７９）株式会社山梨ティー・エル・オー (11)
【Ｆターム（参考）】
【公開日】平成１８年３月２日（２００６．３．２）
【国際特許分類】
【出願日】平成１６年８月１８日（２００４．８．１８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成１６年２月２７日 山梨大学電気電子システム工学科、山梨大学共催の「平成１５年度 電気電子システム工学科 卒業論文発表会」において文書をもって発表
【出願人】（８００００００７９）株式会社山梨ティー・エル・オー (11)
【Ｆターム（参考）】
[ Back to top ]