作業者安全検査装置
【課題】画像処理により屋内作業場所において単独作業を行う作業者の安全検査を行うことができる作業者安全検査装置を提供する。
【解決手段】画像を撮像する監視カメラ１と、前記監視カメラ１で撮像した画像を差分計算又は相関計算を用いた画像処理により画像上に動いて入って来た対象物が一定時間以上静止した状態を検出した場合に異常と判断する画像処理部２と、前記画像処理部２における判断結果を表示する結果表示部３とを備えた。
【解決手段】画像を撮像する監視カメラ１と、前記監視カメラ１で撮像した画像を差分計算又は相関計算を用いた画像処理により画像上に動いて入って来た対象物が一定時間以上静止した状態を検出した場合に異常と判断する画像処理部２と、前記画像処理部２における判断結果を表示する結果表示部３とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業者安全検査装置に関する。
【背景技術】
【０００２】
近年、室内環境における人の安全検査装置として、浴室における安全検査装置が提案されている。
下記特許文献１では、検査場所を浴室に限定し、浴室天井に設置されたカメラにより鉛直下向き方向を撮影したカメラ画像を用い、人の入っていない背景画像と入力画像との差分を行い、差分画像によって浴室内における人の有無を検出し、タイマーによって人が浴室内に居る時間を計測し、予め決められたリミット時間より長く人が浴室内に留まっている場合はアラーム信号を発生する。
【０００３】
また、下記特許文献２では、検査場所を浴室に限定し、浴室天井に設置されたカメラにより鉛直下向き方向を撮影したカメラ画像を用い、入力画像から入浴者の輪郭線を抽出し、さらに輪郭線から体形の識別を行うことで腕・脚・胴体の各領域を取り出し、各領域の重心位置の変化から入浴者の動きを検出し、各重心の静止時間によって動きがないと判断し、入浴者に異常が発生していないか否かを判断する。
【０００４】
また、下記特許文献３では、検査場所を浴室に限定し、赤外線センサによる熱検知により人体を検知し、人体の動きを撮像して画像処理する人体検出センサにより人の動きを検出し、入浴者の動きが一定時間無かった場合、浴槽で寝ているか、又は、倒れたと推測する。画像処理を行う人体検出センサは人口網膜チップで構成し、現在の入力画像と一つ前の時間に撮影した入力画像との間の差分を行うフレーム間差分により画像中の動きの有無を判断する。
【０００５】
また、従来の画像照合装置による方法では、画像を格子状の小領域に分割し、各小領域の状態を差分演算によって調べ、何かが静止している状態にある小領域が人物サイズ以上の数だけ検出された場合に、屋内作業場所において転倒や卒倒等の何らかの理由により動かなくなったものと判断して異常を検出した。
【０００６】
また、作業場所の運用としては複数名作業を義務付ける方法、入退室記録簿を記入する方法がある。また、監視カメラにより撮影した映像を管理室に設置したモニタで監視する方法も用いられる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平４−３４７４４７号公報「入浴装置」
【特許文献２】特開平１１−１０１５０２号公報「入浴監視装置」
【特許文献３】特開２００３−６７８６５号公報「人体検出装置」
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１では、浴室内に人が入ったか否かの判断を画像処理により行うことができるが、浴室内の人が動いているか否かの判断ができない。このため、定められた一定時間以上、人が浴室内に居た場合は強制的に異常と判断しアラーム信号を発生してしまう。
【０００９】
また、上記特許文献２では、体形の識別による腕・脚・胴体の各領域の重心の動きを基に入浴者の異常を判断するため、画像中における入浴者のサイズが体形が識別できる程度大きく撮影する必要があり、かつ、体形を腕・脚・胴体の各領域に識別できるよう人の正面から、又は、背面から撮影したカメラ画像でなければならない。
【００１０】
また、上記特許文献３では、赤外線センサによる熱検知により人体を検知するため、衣服着用時には温度分布の違いにより検知精度が低下する。また、安価な赤外線センサは遠距離での感度が悪く間近な検知対象しか検知できないため、狭い屋内範囲に適用が限定される。さらに、画像処理により動きを検知する構成として人口網膜チップという特殊なセンサを用いているため、一般の監視カメラ画像を入力装置として適用することができず、上記特許文献３に用途として挙げている浴室以外に適用することができない。また、人の検知を赤外線センサで行い、人の動き検知を人工網膜チップで行うため、入浴者の安全検査のために複数種類のセンサを必要とする。
【００１１】
また、従来の画像照合装置による方法では、照明の安定した屋内作業場所においては、一般のカメラ画像から比較的広範囲の作業場所の作業者の異常を検出できるが、屋内作業場所において屋外光を取り入れる大きな窓等があった場合は、屋外光により照明状況が急激に変化する場合があり、屋外光による照明状況の急激な変化を検出して、誤って異常と判断する場合がある。
【００１２】
また、複数名作業を義務付ける運用方法では、実際に運用規則を守らない作業者には効果が無く、入退室記録では作業者の事故後の記録として利用できるが、事故発生時直後の判定には効果が無い。また、監視カメラをモニタする方法では、監視員がたまたまモニタを見ていなかった時間帯に事故が発生した場合は、事故発生時直後の短時間で作業員の状態を判定することができない。
【００１３】
以上のことから、本発明は、画像処理により屋内作業場所において単独作業を行う作業者の安全検査を行うことができる作業者安全検査装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記の課題を解決するための第１の発明に係る作業者安全検査装置によれば、
画像を撮像するカメラと、
前記カメラで撮像した画像を相関計算を用いた画像処理により画像上に動いて入って来た対象物が一定時間以上静止した状態を検出した場合に異常と判断する画像処理部と、
前記画像処理部における判断結果を表示する結果表示部と
を備える
作業者の安全検査装置において、
前記画像処理部が、
画像データ、各処理変数、カウンタ、結果データ等を保存する記憶部と、
前記カメラの画像を入力し、前記記憶部へ保存する画像入力部と、
安全検査の判断に必要なパラメータを設定し前記記憶部へ保存する処理設定部と、
入力画像データと一つ前の時間間隔で撮影した入力画像データを前記記憶部から取り出し、前記入力画像データと前記一つ前の時間間隔で撮影した入力画像データを適当な小領域に分割して、一つ一つの小領域毎について相関計算を行いフレーム間相関結果を求め、各小領域毎の前記フレーム間相関結果を前記記憶部へ保存し、また、前記入力画像データと予め記憶しておいた背景画像データを前記記憶部から取り出し、その画像を適当な小領域に分割し、一つ一つの小領域毎について相関計算を行い背景相関結果を求め、各小領域毎の前記背景相関結果を前記記憶部へ保存する相関演算部と、
前記背景相関結果が、背景相関に関するしきい値以下の場合で、かつ、前記フレーム間相関結果が、フレーム間相関に関するしきい値よりも大きい場合は、小領域上に何かが停止していると判断して予め設定しておいた値に達したときに小領域状態を「静止」とする動作制御部と、
小領域状態が「静止」になっている小領域の数を静止小領域数とし、静止小領域数が予め設定しておいた静止物判定数以上であれば、動いた後停止して動かなくなった何らかの大きな物体があると判断し、異常結果を前記記憶部へ保存する安全検査部と、
異常の有無を前記画像処理部の外部へ出力すると共に、画像データ、各小領域の小領域状態を前記画像処理部の外部へ出力する結果出力部と
を備える
ことを特徴とする。
【００１５】
上記の課題を解決するための第２の発明に係る作業者安全検査装置によれば、第１の発明に係る作業者安全検査装置において、
前記背景相関に関するしきい値及び前記フレーム間相関に関するしきい値は、予め設定しておくものであることを特徴とする。
【００１６】
上記の課題を解決するための第３の発明に係る作業者安全検査装置によれば、第１の発明に係る作業者安全検査装置において、
前記画像処理部は、
前記相関演算部で計算された各小領域に関する前記フレーム間相関結果と前記背景相関結果を画像について集計し、前記フレーム間相関結果の画像全体における平均値としてフレーム間相関画像平均値、及び、前記背景相関結果の画像全体における平均値として背景相関画像平均値を計算し、次に、前記フレーム間相関画像平均値及び前記背景相関画像平均値からの相関結果の分散を調べ標準偏差を計算し、前記フレーム間相関結果の標準偏差としてフレーム間相関画像標準偏差値、及び、前記背景相関結果の標準偏差として背景相関画像標準偏差値を求め、さらに、予め設定しておいた係数と前記フレーム間相関画像標準偏差値を掛けた値を前記フレーム間相関画像平均値から差し引くことにより前記フレーム間相関に関するしきい値を計算し、また、予め設定しておいた係数と前記背景相関画像標準偏差値を掛けた値を前記背景相関画像平均値から差し引くことにより前記背景相関に関するしきい値を計算する画像状態検査部を備える
ことを特徴とする。
【００１７】
上記の課題を解決するための第４の発明に係る作業者安全検査装置によれば、第１の発明に係る作業者安全検査装置において、
前記画像処理部は、
各小領域について前記フレーム間相関結果と前記背景相関結果の履歴データを集計し、前記フレーム間相関結果の履歴データにおける平均値としてフレーム間相関定常平均値、及び、前記背景相関結果の履歴データにおける平均値として背景相関定常平均値を計算し、次に、各小領域の履歴データについて前記フレーム間相関定常平均値及び前記背景相関定常平均値からの相関結果の分散を調べ標準偏差を計算し、前記フレーム間相関結果の標準偏差としてフレーム間相関定常標準偏差値、及び、前記背景相関結果の標準偏差として背景相関定常標準偏差値を求め、さらに、各小領域について、予め設定しておいた係数と前記フレーム間相関定常標準偏差値を掛けた値を前記フレーム間相関定常平均値から差し引くことにより、前記フレーム間相関に関するしきい値を計算し、また、各小領域について、予め設定しておいた係数と前記背景相関定常標準偏差値を掛けた値を前記背景相関定常平均値から差し引くことにより、前記背景相関に関するしきい値を計算し、前記フレーム間相関に関するしきい値及び前記背景相関に関するしきい値を前記記憶部へ保存する定常状態検査部を備える
ことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、以下のような効果を奏する。
（１）一般的なカメラの画像を調べることによって、作業者が一定時間以上静止した状態を検出し異常と判断するため、作業者が転倒や卒倒等の何らかの理由で動かなくなった状態を自動的に検知して異常と判断することができる。
（２）屋内作業場所であれば適用が可能であるため、様々な作業場所において作業者の安全検査を行うことができる。
（３）人体の各部を検出できる程、人物を大きなサイズで撮像する必要が無いため、一台のカメラで広範囲の作業者安全検査を行うことができる。
（４）入力装置として一般的な監視カメラを用いることができるため、特別な入力装置を用意する必要がない。
（５）屋外光を取り入れる大きな窓があるような屋内作業場所においても、屋外光の明かりの変化の影響を受けることなく、照明状況の変化による誤った異常を検出しない。
（６）画像処理により自動で作業者の安全検査を行うため見落としが無く、事故が発生した場合は、事故発生時直後の短時間で作業員の状態を判定することができる。
以上のことから、本発明によれば、画像処理により屋内作業場所において単独作業を行う作業者の安全検査を行うことができる作業者安全検査装置を実現することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の比較例に係る作業者安全検査装置の装置構成を示した図である。
【図２】本発明の第１の比較例に係る作業者安全検査装置における作業者安全検査処理の手順を示した図である。
【図３】本発明の第１及び第２の比較例に係る作業者安全検査装置における第１及び第２型動作制御部の処理の流れを示した図である。
【図４】本発明の第２の比較例に係る作業者安全検査装置の装置構成を示した図である。
【図５】本発明の第３の比較例に係る作業者安全検査装置の装置構成を示した図である。
【図６】本発明の第３の比較例に係る作業者安全検査装置における第３型動作制御部の処理の流れを示した図である。
【図７】図７は本発明の第１の実施例に係る作業者安全検査装置の装置構成を示した図である。
【図８】本発明の第１の実施例に係る作業者安全検査装置における作業者安全検査処理の手順を示した図である。
【図９】本発明の第１及び第２の実施例に係る作業者安全検査装置における第４及び第５型動作制御部の処理の流れを示した図である。
【図１０】本発明の第２の実施例に係る作業者安全検査装置の装置構成を示した図である。
【図１１】本発明の第３の実施例に係る作業者安全検査装置の装置構成を示した図である。
【図１２】本発明の第３の実施例に係る作業者安全検査装置における第６型動作制御部の処理の流れを示した図である。
【図１３】本発明の第１〜第３の実施例及び第１〜第３の比較例に係る作業者安全検査装置における画像を小領域に分割して作業者安全監視を行う例を示した図である。
【発明を実施するための形態】
【００２０】
以下、本発明に係る作業者安全検査装置の実施例及び比較例について図を用いて説明する。なお、図１は本発明の第１の比較例に係る作業者安全検査装置の装置構成を示した図、図２は本発明の第１の比較例に係る作業者安全検査装置における作業者安全検査処理の手順を示した図、図３は本発明の第１及び第２の比較例に係る作業者安全検査装置における第１及び第２型動作制御部の処理の流れを示した図、図４は本発明の第２の比較例に係る作業者安全検査装置の装置構成を示した図、図５は本発明の第３の比較例に係る作業者安全検査装置の装置構成を示した図、図６は本発明の第３の比較例に係る作業者安全検査装置における第３型動作制御部の処理の流れを示した図、図７は本発明の第１の実施例に係る作業者安全検査装置の装置構成を示した図、図８は本発明の第１の実施例に係る作業者安全検査装置における作業者安全検査処理の手順を示した図、図９は本発明の第１及び第２の実施例に係る作業者安全検査装置における第４及び第５型動作制御部の処理の流れを示した図、図１０は本発明の第２の実施例に係る作業者安全検査装置の装置構成を示した図、図１１は本発明の第３の実施例に係る作業者安全検査装置の装置構成を示した図、図１２は本発明の第３の実施例に係る作業者安全検査装置における第６型動作制御部の処理の流れを示した図、図１３は本発明の第１〜第３の実施例及び第１〜第３の比較例に係る作業者安全検査装置における画像を小領域に分割して作業者安全監視を行う例を示した図である。
【比較例１】
【００２１】
本発明の第１の比較例に係る作業者安全検査装置では、画像処理により画像上に動いて入って来た作業者が一定時間以上静止した状態を検出した場合に異常と判断することで、作業者の安全検査を行う。
【００２２】
はじめに、本比較例に係る作業者安全検査装置における作業者安全検査処理の手順について説明する。
本比較例に係る作業者安全検査装置では、図２に示すように、はじめに、ステップＳ１０において、画像を入力する。
次に、ステップＳ１１において、画像上に動いて入って来たものが静止したことを検出するために、まず、画像を図１３中に矢印Ａで示すように格子状の小領域に分割する。なお、例えば、図１３中に矢印Ｂで示す部分が変化を検出した小領域である。
【００２３】
次に、ステップＳ１２において、各小領域について小領域の状態が変化を検出しない安定状態であるのか、何かが動いている変化状態であるのか、何かが静止している静止状態であるのかの差分計算による小領域状態の検査を行う。
【００２４】
次に、ステップＳ１３において、静止状態である小領域の数（面積に相当する）を調べ、画面上の人物サイズ程度以上の面積に相当する小領域の数が静止状態であった場合は異常と判断することで、屋内施設で作業する作業者の安全の有無を検査する。
最後に、ステップＳ１４において、検出結果を出力する。
【００２５】
次に、本比較例に係る作業者安全検査装置の装置構成について説明する。
本比較例に係る作業者安全検査装置は、図１に示すように、監視カメラの画像を画像解析することにより屋内作業場所の作業者の安全検査を行うため、監視カメラ１と、第１型画像処理部２と、結果表示部３とにより構成される。
【００２６】
監視カメラ１は、屋内作業場所を見渡せる位置に設置し、屋内作業場所を撮影して、その画像を第１型画像処理部２へ伝送する。
第１型画像処理部２は、画像入力部１０、記憶部１１、処理設定部１２、差分演算部１３、第１型動作制御部１４、安全検査部１５、結果出力部１６により構成される。
【００２７】
画像入力部１０は、設定された時間間隔毎に監視カメラ１の画像を入力し、記憶部１１へ保存する。
処理設定部１２は、安全検査の判断に必要なパラメータを設定し記憶部１１へ保存する。
【００２８】
差分演算部１３は、入力画像データと一つ前の時間間隔で撮影した入力画像データを記憶部１１から取り出し、入力画像データと一つ前の時間間隔で撮影した入力画像データを適当な小領域に分割し、一つ一つの小領域毎について差分計算を行い（「フレーム間差分」と呼ぶ）、各小領域毎のフレーム間差分結果を記憶部１１へ保存する。
【００２９】
また、差分演算部１３は、入力画像データと予め記憶しておいた背景画像データを記憶部１１から取り出し、入力画像データと背景画像データを適当な小領域に分割し、一つ一つの小領域毎について差分計算を行い（「背景差分」と呼ぶ）、各小領域毎の背景差分結果を記憶部１１へ保存する。なお、差分演算部１３における差分計算には、反転正規化絶対値差分計算を用いる。
【００３０】
ここで、反転正規化絶対値差分計算について説明する。
はじめに、絶対差分値を基準輝度差で正規化した画像領域の正規化絶対差分値Ｄを算出する。正規化絶対差分値Ｄを算出する数式を下記式（１）に示す。
【数１】
【００３１】
上記式（１）において、Ｎは比較領域内の画素数、ｆ（ｉ，ｊ）は比較領域内の点ｐ（ｉ，ｊ）に位置する比較対象となっている画素の輝度値、ｇ（ｉ，ｊ）は比較対象画像内の点ｑ（ｉ，ｊ）に位置する比較対象となっている画素の輝度値、Ｉｍａｘは最大輝度値である。なお、点ｑは、比較領域内の点ｐに対応する点である。
【００３２】
また、ｍａｘ[ｆ（ｉ，ｊ），Ｉｍａｘ−ｆ（ｉ，ｊ）]は基準画像の対象画素の輝度値ｆ（ｉ，ｊ）が最大輝度値Ｉｍａｘの半値より小さい場合、Ｉｍａｘ−ｆ（ｉ，ｊ）を選択し、基準画像の対象画素の輝度値ｆ（ｉ，ｊ）が最大輝度値Ｉｍａｘの半値より大きい場合、ｆ（ｉ，ｊ）を選択するものとする。
【００３３】
上記式（１）から、正規化絶対差分値Ｄは比較領域内の画素数、すなわち、比較領域内の画像領域の大きさや、基準画像の明暗等の輝度の度合に関わらず０〜１の範囲の値をとる。そして、算出した値が０に近いほど画像の類似度が高く、１に近いほど画像の類似度が低いという特徴を有する。
【００３４】
次に、反転正規化絶対差分値ｄを算出する。反転正規化絶対差分値ｄを算出する数式を下記式（２）に示す。
【数２】
【００３５】
上記式（１）より、正規化絶対差分値Ｄは０〜１の値をとることから、上記式（２）より、反転正規化絶対差分値ｄについても、比較領域の画像領域の大きさや、基準画像の明暗等の輝度の度合に関わらず０〜１の範囲の値を取る。そして、正規化絶対差分値Ｄと異なり、算出された数値が０に近いほど画像の類似度が低く、１に近いほど画像の類似度が高いという特徴がある。
【００３６】
すなわち、反転正規化絶対差分値ｄによれば、比較領域と比較対象画像の類似度が高いほど算出される値が大きくなるため、２つの画像の類似度と反転正規化絶対差分値ｄとの対応関係を作業者が直感的に判断しやすいという利点がある。
以上が、反転正規化絶対値差分計算である。
【００３７】
第１型動作制御部１４は、作業者安全検査処理の全体の動作制御を行う。第１型動作制御部１４は、動作モードによって「背景設定モード」、「動き検出モード」及び「停止検出モード」を切り替えて処理を行い、それぞれで小領域状態を設定する。
【００３８】
ここで、本比較例に係る作業者安全検査装置における第１型動作制御部１４の処理の流れについて説明する。
図３に示すように、動作モードが「背景設定モード」の場合、フレーム間差分結果が予め設定しておいたフレーム間差分しきい値よりも大きい場合は、カウンタを増やし、また、フレーム間差分結果が予め設定しておいたフレーム間差分しきい値以下の場合は、カウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００３９】
動作モードが「動き検出モード」の場合、フレーム間差分結果が予め設定しておいたフレーム間差分しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００４０】
また、フレーム間差分結果が予め設定しておいたフレーム間差分しきい値以下の場合は、小領域上に何らかの変化を検出したとして、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
【００４１】
動作モードが「停止検出モード」の場合、背景差分結果が予め設定しておいた背景差分しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００４２】
また、背景差分結果が予め設定しておいた背景差分しきい値以下の場合で、かつ、フレーム間差分結果が予め設定しておいたフレーム間差分しきい値よりも大きい場合は、小領域上に何かが停止していると判断してカウンタを増やし、動作モードを「停止検出モード」にする。この時、カウンタが予め設定しておいた静止判定フレーム数に達すれば小領域状態を「静止」にする。
【００４３】
さらに、背景差分結果が予め設定しておいた背景差分しきい値以下の場合で、かつ、フレーム間差分結果が予め設定しておいたフレーム間差分しきい値以下の場合は、小領域上に何かが動いていると判断してカウンタをクリアし、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
以上が、本比較例に係る作業者安全検査装置における第１型動作制御部１４の処理の流れである。
【００４４】
安全検査部１５は、小領域状態が「静止」になっている小領域の数（以降「静止小領域数」と呼ぶ）を調べ、静止小領域数が予め設定しておいた静止物判定数以上であれば、動いた後停止して動かなくなった何らかの大きな物体があると判断し、異常結果を記憶部１１へ保存する。
【００４５】
結果出力部１６は、異常の有無を第１型画像処理部２から外部へ出力すると共に、画像データ、各小領域の小領域状態を第１型画像処理部２から外部へ出力する。
記憶部１１は、画像データ、各処理変数、カウンタ、結果データ等を保存する。
結果表示部３は、結果出力部１６より画像データと安全検査結果を受け取り、監視カメラ１により撮影した画像と共に安全検査結果を表示する。
【００４６】
本比較例に係る作業者安全検査装置によれば、一般的なカメラの画像を調べることによって、作業者が一定時間以上静止した状態を検出し異常と判断するため、作業者が転倒や卒倒等の何らかの理由で動かなくなった状態を自動的に検知して異常と判断することができる。
【００４７】
そして、上記特許文献１に比べ、本比較例に係る作業者安全検査装置では、作業者が動いているか静止しているかの状態を画像から検出しているため、作業者が単に屋内施設へ長時間入って作業しているだけではアラームを発生せず、作業者が何らかの理由により静止している状態が続いた場合のみ異常と判断することができる。
【００４８】
また、上記特許文献２に比べ、本比較例に係る作業者安全検査装置では、人間の体形による領域を検出する方法でなく、画像上の状態によって動きと静止の判断を行うため、人間の体形が識別できる程大きく撮影する必要がなく、ある程度広範囲な屋内作業場所を検査範囲とすることができる。さらに、人間の正面から撮影する必要もないため、作業者の向きを気にすることなくカメラを設置できる。
【００４９】
また、上記特許文献３に比べ、本比較例に係る作業者安全検査装置では、一般のカメラを入力装置として使用するため、赤外線センサや人口網膜チップといった特殊な装置を用いる必要が無く、既存の監視カメラがあればそれを入力装置として流用することができる。さらに、赤外線センサのように着衣時の温度分布の違いにより検知精度影響されることがない。
【００５０】
また、監視カメラのモニタを監視員が視認する方法に比べ、本比較例に係る作業者安全検査装置では、本装置が常時屋内施設を監視して異常を自動で検査するため、監視員がたまたま見ていなかった時間帯が存在せず、事故発生時には短時間での対処が可能となる。
【比較例２】
【００５１】
本発明の第２の比較例に係る作業者安全検査装置では、第１の比較例に係る作業者安全検査装置の第１型画像処理部２において「画像状態検査部１７」を加えると共に、第１の比較例に示した「第１型動作制御部１４」の替わりに「第２型動作制御部１８」を用いた「第２型画像処理部４」により構成する。なお、これら以外の構成については、第１の比較例に係る作業者安全検査装置と同様であるため、ここでの説明は省略する。
【００５２】
図４に示すように、画像状態検査部１７では、差分演算部１３で計算された各小領域に関するフレーム間差分結果と背景差分結果を画像について集計し、フレーム間差分結果の画像全体における平均値（以降「フレーム間差分画像平均値」と呼ぶ）、及び、背景差分結果の画像全体における平均値（以降「背景差分画像平均値」と呼ぶ）を計算する。
【００５３】
次に、これら平均値からの差分結果の分散を調べ標準偏差を計算し、フレーム間差分結果の標準偏差（以降「フレーム間差分画像標準偏差値」と呼ぶ）、及び、背景差分結果の標準偏差（以降「背景差分画像標準偏差値」と呼ぶ）を求める。
【００５４】
さらに、予め設定しておいた係数とフレーム間差分画像標準偏差値を掛けた値をフレーム間差分画像平均値から差し引くことにより、第２型動作制御部１８で用いるフレーム間差分に関するしきい値（以降「フレーム間差分画像基準しきい値」と呼ぶ）を計算し、また、予め設定しておいた係数と背景差分画像標準偏差値を掛けた値を背景差分画像平均値から差し引くことにより、第２型動作制御部１８で用いる背景差分に関するしきい値（以降「背景差分画像基準しきい値」と呼ぶ）を計算する。これら計算した各値を記憶部１１へ保存する。
【００５５】
第２型動作制御部１８は、第１の比較例の第１型動作制御部１４で用いた各しきい値の替わりに「フレーム間差分画像基準しきい値」及び「背景差分画像基準しきい値」を用いる。このため、第２型動作制御部１８の各モードの動作は次のようになる。
【００５６】
ここで、本比較例に係る作業者安全検査装置における第２型動作制御部１８の処理の流れについて説明する。
図３に示すように、動作モードが「背景設定モード」の場合、フレーム間差分結果がフレーム間差分画像基準しきい値よりも大きい場合はカウンタを増やし、フレーム間差分結果がフレーム間差分画像基準しきい値以下の場合はカウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００５７】
動作モードが「動き検出モード」の場合、フレーム間差分結果がフレーム間差分画像基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００５８】
また、フレーム間差分結果がフレーム間差分画像基準しきい値以下の場合は、小領域上に何らかの変化を検出したとして、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
【００５９】
動作モードが「停止検出モード」の場合、背景差分結果が背景差分画像基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００６０】
また、背景差分結果が背景差分画像基準しきい値以下の場合で、かつ、フレーム間差分結果がフレーム間差分画像基準しきい値よりも大きい場合は、小領域上に何かが停止していると判断してカウンタを増やし、動作モードを「停止検出モード」にする。この時、カウンタが予め設定しておいた静止判定フレーム数に達すれば小領域状態を「静止」にする。
【００６１】
さらに、背景差分結果が背景差分画像基準しきい値以下の場合で、かつ、フレーム間差分結果がフレーム間差分画像基準しきい値以下の場合は、小領域上に何かが動いていると判断してカウンタをクリアし、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
以上が、本比較例に係る作業者安全検査装置における第２型動作制御部１８の処理の流れである。
【００６２】
本比較例に係る作業者安全検査装置によれば、第１の比較例に係る作業者安全検査装置の効果に加え、入力画像の状態を調べて画像上の変化検出のためのしきい値を調整するため、各入力画像の状態に対応したしきい値を設定することができ、環境変化により頑健な作業者安全検査を行うことができる。
【比較例３】
【００６３】
本発明の第３の比較例に係る作業者安全検査装置では、第１の比較例に係る作業者安全検査装置の第１型画像処理部２において「定常状態検査部１９」を加えると共に、第１の比較例に示した「第１型動作制御部１４」の替わりに「第３型動作制御部２０」を用いた「第３型画像処理部５」により構成する。なお、これら以外の構成については、第１の比較例に係る作業者安全検査装置と同様であるため、ここでの説明は省略する。
【００６４】
図５に示すように、定常状態検査部１９は、各小領域についてフレーム間差分結果と背景差分結果の履歴データを集計し、フレーム間差分結果の履歴データにおける平均値（以降「フレーム間差分定常平均値」と呼ぶ）、及び、背景差分の履歴データにおける平均値（以降「背景差分定常平均値」）を計算する。
【００６５】
次に、各小領域の履歴データについてこれらの平均値からの差分結果の分散を調べ標準偏差を計算し、フレーム間差分結果の標準偏差（以降「フレーム間差分定常標準偏差値」と呼ぶ）、及び、背景差分結果の標準偏差（以降「背景差分定常標準偏差値」と呼ぶ）を求める。
【００６６】
さらに、各小領域について、予め設定しておいた係数とフレーム間差分定常標準偏差値を掛けた値をフレーム間差分定常平均値から差し引くことにより、第３型動作制御部２０で用いるフレーム間差分に関するしきい値（以降「フレーム間差分定常基準しきい値」と呼ぶ）を計算し、また、各小領域について、予め設定しておいた係数と背景差分定常標準偏差値を掛けた値を背景差分定常平均値から差し引くことにより、第３型動作制御部２０で用いる背景差分に関するしきい値（以降「背景差分定常基準しきい値」と呼ぶ）を計算する。これら計算した各値を記憶部１１へ保存する。
【００６７】
第３型動作制御部２０は、第１の比較例で用いた第１型動作制御部１４の各しきい値の替わりに「フレーム間差分定常基準しきい値」及び「背景差分定常基準しきい値」を用いる。また、各差分結果の履歴データを作るための「データ更新」を行う機能を追加すると共に、初期の履歴データを作るための「初期状態設定モード」を設ける。
【００６８】
ここで、本比較例に係る作業者安全検査装置における第３型動作制御部２０の処理の流れについて説明する。
図６に示すように、動作モードが「初期状態設定モード」の場合、カウンタを増やし、カウンタが予め設定しておいた値に達すれば、小領域状態を「安定」にし、動作モードを「背景設定モード」にする。
【００６９】
動作モードが「背景設定モード」の場合、フレーム間差分結果がフレーム間差分定常基準しきい値よりも大きい場合は、カウンタを増やし、フレーム間差分結果がフレーム間差分定常基準しきい値以下の場合は、カウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００７０】
動作モードが「動き検出モード」の場合、フレーム間差分結果がフレーム間差分定常基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００７１】
また、フレーム間差分結果がフレーム間差分定常基準しきい値以下の場合は、小領域上に何らかの変化を検出したとして、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
【００７２】
動作モードが「停止検出モード」の場合、背景差分結果が背景差分定常基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００７３】
また、背景差分結果が背景差分定常基準しきい値以下の場合で、かつ、フレーム間差分結果がフレーム間差分定常基準しきい値よりも大きい場合は、小領域上に何かが停止していると判断してカウンタを増やし、動作モードを「停止検出モード」にする。この時、カウンタが予め設定しておいた静止判定フレーム数に達すれば小領域状態を「静止」にする。
【００７４】
さらに、背景差分結果が背景差分定常基準しきい値以下の場合で、かつ、フレーム間差分結果がフレーム間差分定常基準しきい値以下の場合は、小領域上に何かが動いていると判断してカウンタをクリアし、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
【００７５】
また、動作モードが「初期状態設定モード」、「背景設定モード」、「動き検出モード」及び「停止検出モード」それぞれに場合において、フレーム間差分結果と背景差分結果を記憶部１１に保存してあるそれぞれの履歴データヘ追加する。データの追加においては、履歴データが用意してある保存容量に達した場合、最も過去のデータを新しいデータヘ更新する。
以上が、本比較例に係る作業者安全検査装置における第３型動作制御部２０の処理の流れである。
【００７６】
本比較例に係る作業者安全検査装置によれば、第１の比較例に係る作業者安全検査装置の効果に加え、各小領域のフレーム間差分結果と背景差分結果の履歴を調べて画像上の変化検出のためのしきい値を調整するため、画像上の局部的な定常変化状態に柔軟に適応したしきい値を設定することができ、環境変化や局部的な定常変化に頑健な作業者安全検査を行うことができる。
【実施例１】
【００７７】
本発明の第１の実施例に係る作業者安全検査装置では、画像処理により画像上に動いて入って来た作業者が一定時間以上静止した状態を検出した場合に異常と判断することで、作業者の安全検査を行う。
【００７８】
はじめに、本実施例に係る作業者安全検査装置における作業者安全検査処理の手順について説明する。
本実施例に係る作業者安全検査装置では、図７に示すように、はじめに、ステップＳ２０において、画像を入力する。
次に、ステップＳ２１において、画像上に動いて入って来たものが静止したことを検出するために、まず、画像を図１３中に矢印Ａで示すように格子状の小領域に分割する。なお、例えば、図１３中に矢印Ｂで示す部分が変化を検出した小領域である。
【００７９】
次に、ステップＳ２２において、各小領域について小領域の状態が変化を検出しない安定状態であるのか、何かが動いている変化状態であるのか、何かが静止している静止状態であるのかの相関計算による小領域状態の検査を行う。
【００８０】
次に、ステップＳ２３において、静止状態である小領域の数（面積に相当する）を調べ、画面上の人物サイズ程度以上の面積に相当する小領域の数が静止状態であった場合は異常と判断することで、屋内施設で作業する作業者の安全の有無を検査する。最後に、ステップＳ２４において、検出結果を出力する。
【００８１】
次に、本実施例に係る作業者安全検査装置の装置構成について説明する。
本実施例に係る作業者安全検査装置は、図７に示すように、監視カメラ１の画像を画像解析することにより屋内作業場所の作業者の安全検査を行うため、監視カメラ１と、第４型画像処理部６と、結果表示部３とにより構成される。
【００８２】
監視カメラ１は、屋内作業場所を見渡せる位置に設置し、屋内作業場所を撮影してその画像を第４型画像処理部６へ伝送する。
第４型画像処理部６は、画像入力部１０、記憶部１１、処理設定部１２、相関演算部２１、第４型動作制御部２２、安全検査部１５、結果出力部３により構成される。
画像入力部１０では、設定された時間間隔毎に監視カメラ１の画像を入力し、記憶部１１へ保存する。
【００８３】
処理設定部１２は、安全検査の判断に必要なパラメータを設定し記憶部１１へ保存する。
相関演算部２１は、入力画像データと一つ前の時間間隔で撮影した入力画像データを記憶部１１から取り出し、入力画像データと一つ前の時間間隔で撮影した入力画像データを適当な小領域に分割し、一つ一つの小領域毎について相関計算を行い（「フレーム間相関」と呼ぶ）、各小領域毎のフレーム間相関結果を記憶部１１へ保存する。
【００８４】
また、相関演算部２１は、入力画像データと背景画像データを記憶部１１から取り出し、入力画像データと予め記憶しておいた背景画像データを適当な小領域に分割し、一つ一つの小領域毎について相関計算を行い（「背景相関」と呼ぶ）、各小領域毎の背景相関結果を記憶部１１へ保存する。相関演算部２１における相関計算には、屋外光による明るさ変化の影響を考慮して、明るさ変化に頑健な正規化相関計算を行う。
【００８５】
第４型動作制御部２２は、作業者安全検査処理の全体の動作制御を行う。第４型動作制御部２２は、動作モードによって「背景設定モード」、「動き検出モード」及び「停止検出モード」を切り替えて処理を行い、それぞれで小領域状態を設定する。
【００８６】
ここで、本実施例に係る作業者安全検査装置における第４型動作制御部２２の処理の流れについて説明する。
図９に示すように、動作モードが「背景設定モード」の場合、フレーム間相関結果が予め設定しておいたフレーム間相関しきい値よりも大きい場合は、カウンタを増やし、フレーム間相関結果が予め設定しておいたフレーム間相関しきい値以下の場合は、カウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００８７】
動作モードが「動き検出モード」の場合、フレーム間相関結果が予め設定しておいたフレーム間相関しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００８８】
また、フレーム間相関結果が予め設定しておいたフレーム間相関しきい値以下の場合は、小領域上に何らかの変化を検出したとして、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
【００８９】
動作モードが「停止検出モード」の場合、背景相関結果が予め設定しておいた背景相関しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００９０】
また、背景相関結果が予め設定しておいた背景相関しきい値以下の場合で、かつ、フレーム間相関結果が予め設定しておいたフレーム間相関しきい値よりも大きい場合は、小領域上に何かが停止していると判断してカウンタを増やし、動作モードを「停止検出モード」にする。この時、カウンタが予め設定しておいた静止判定フレーム数に達すれば小領域状態を「静止」にする。
【００９１】
さらに、背景相関結果が予め設定しておいた背景相関しきい値以下の場合で、かつ、フレーム間相関結果が予め設定しておいたフレーム間相関しきい値以下の場合は、小領域上に何かが動いていると判断してカウンタをクリアし、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
以上が、本実施例に係る作業者安全検査装置における第４型動作制御部２２の処理の流れである。
【００９２】
安全検査部１５は、小領域状態が「静止」になっている小領域の数（以降「静止小領域数」と呼ぶ）を調べ、静止小領域数が予め設定しておいた静止物判定数以上であれば、動いた後停止して動かなくなった何らかの大きな物体があると判断し、異常結果を記憶部１１へ保存する。
【００９３】
結果出力部１６は、異常の有無を第４型画像処理部６から外部へ出力すると共に、画像データ、各小領域の小領域状態を第４型画像処理部６から外部へ出力する。
記憶部１１では、画像データ、各処理変数、カウンタ、結果データ等を保存する。
結果表示部３は、結果出力部１６より画像データと安全検査結果を受け取り、監視カメラ１の撮影した画像と共に安全検査結果を表示する。
【００９４】
本実施例に係る作業者安全検査装置によれば、一般的なカメラの画像を調べることによって、作業者が一定時間以上静止した状態を検出し異常と判断するため、作業者が転倒や卒倒等の何らかの理由で動かなくなった状態を自動的に検知して異常と判断することができる。
【００９５】
そして、上記特許文献１に比べ、本実施例に係る作業者安全検査装置では、作業者が動いているか静止しているかの状態を画像から検出しているため、作業者が単に屋内施設へ長時間入って作業しているだけではアラームを発生せず、作業者が何らかの理由により静止している状態が続いた場合のみ異常と判断することができる。
【００９６】
上記特許文献２に比べ、本実施例に係る作業者安全検査装置では、人間の体形による領域を検出する方法でなく、画像上の状態によって動きと静止の判断を行うため、人間の体形が識別できる程大きく撮影する必要がなく、ある程度広範囲な屋内作業場所を検査範囲とすることができる。さらに、人間の正面から撮影する必要もないため、作業者の向きを気にすることなくカメラを設置できる。
【００９７】
上記特許文献３に比べ、本実施例に係る作業者安全検査装置では、一般のカメラを入力装置として使用するため、赤外線センサや人口網膜チップといった特殊な装置を用いる必要が無く、既存の監視カメラがあればそれを入力装置として流用することができる。さらに、赤外線センサのように着衣時の温度分布の違いにより検知精度影響されることがない。
【００９８】
また、従来の画像照合装置による方法に比べ、本実施例に係る作業者安全検査装置では、各小領域の状態を明るさ変化に頑健な正規化相関計算の結果を基に検出しているため、屋外光を取り入れる大きな窓があるような屋内作業場所においても、屋外光による照明状況の急激な変化等で誤った異常を検出しない。
【００９９】
また、監視カメラのモニタを監視員が視認する方法に比べ、本実施例に係る作業者安全検査装置では、本装置が常時屋内施設を監視して異常を自動で検査するため、監視員がたまたま見ていなかった時間帯が存在せず、事故発生時には短時間での対処が可能となる。
【実施例２】
【０１００】
本発明の第２の実施例に係る作業者安全検査装置では、第１の実施例に係る作業者安全検査装置の第４型画像処理部６において「画像状態検査部１７」を加えると共に、第１の実施例に示した「第４型動作制御部２２」の替わりに「第５型動作制御部２３」を用いた「第５型画像処理部７」により構成する。なお、これら以外の構成については、第１の実施例に係る作業者安全検査装置と同様であるため、ここでの説明は省略する。
【０１０１】
図１０に示すように、画像状態検査部１７は、相関演算部２１で計算された各小領域に関するフレーム間相関結果と背景相関結果を画像について集計し、フレーム間相関結果の画像全体における平均値（以降「フレーム間相関画像平均値」と呼ぶ）、及び、背景相関結果の画像全体における平均値（以降「背景相関画像平均値」と呼ぶ）を計算する。
【０１０２】
次に、これら平均値からの相関結果の分散を調べ標準偏差を計算し、フレーム間相関結果の標準偏差（以降「フレーム間相関画像標準偏差値」と呼ぶ）、及び、背景相関結果の標準偏差（以降「背景相関画像標準偏差値」と呼ぶ）を求める。
【０１０３】
さらに、予め設定しておいた係数とフレーム間相関画像標準偏差値を掛けた値をフレーム間相関画像平均値から差し引くことにより、第５型動作制御部２３で用いるフレーム間相関に関するしきい値（以降「フレーム間相関画像基準しきい値」と呼ぶ）を計算し、また、予め設定しておいた係数と背景相関画像標準偏差値を掛けた値を背景相関画像平均値から差し引くことにより、第５型動作制御部２３で用いる背景相関に関するしきい値（以降「背景相関画像基準しきい値」と呼ぶ）を計算する。これら計算した各値を記憶部１１へ保存する。
【０１０４】
第５型動作制御部２３は、第１の実施例の第４型動作制御部２２で用いた各しきい値の替わりに「フレーム間相関画像基準しきい値」及び「背景相関画像基準しきい値」を用いる。このため、第５型動作制御部２３の各モードの動作は次のようになる。
【０１０５】
ここで、本実施例に係る作業者安全検査装置における第５型動作制御部２３の処理の流れについて説明する。
図９に示すように、動作モードが「背景設定モード」の場合、フレーム間相関結果がフレーム間相関画像基準しきい値よりも大きい場合は、カウンタを増やし、フレーム間相関結果がフレーム間相関画像基準しきい値以下の場合は、カウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【０１０６】
動作モードが「動き検出モード」の場合、フレーム間相関結果がフレーム間相関画像基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【０１０７】
また、フレーム間相関結果がフレーム間相関画像基準しきい値以下の場合は、小領域上に何らかの変化を検出したとして、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
【０１０８】
動作モードが「停止検出モード」の場合、背景相関結果が背景相関画像基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【０１０９】
また、背景相関結果が背景相関画像基準しきい値以下の場合で、かつ、フレーム間相関結果がフレーム間相関画像基準しきい値よりも大きい場合は、小領域上に何かが停止していると判断してカウンタを増やし、動作モードを「停止検出モード」にする。この時、カウンタが予め設定しておいた静止判定フレーム数に達すれば小領域状態を「静止」にする。
【０１１０】
さらに、背景相関結果が背景相関画像基準しきい値以下の場合で、かつ、フレーム間相関結果がフレーム間相関画像基準しきい値以下の場合は、小領域上に何かが動いていると判断してカウンタをクリアし、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
以上が、本実施例に係る作業者安全検査装置における第５型動作制御部２３の処理の流れである。
【０１１１】
本実施例に係る作業者安全検査装置によれば、第１の実施例に係る作業者安全検査装置の効果に加え、入力画像の状態を調べて画像上の変化検出のためのしきい値を調整するため、各入力画像の状態に対応したしきい値を設定することができ、環境変化により頑健な作業者安全検査を行うことができる。
【実施例３】
【０１１２】
本発明の第３の実施例に係る作業者安全検査装置では、第１の実施例に係る作業者安全検査装置の第４型画像処理部６において「定常状態検査部１９」を加えると共に、第１の実施例に示した「第４型動作制御部２２」の替わりに「第６型動作制御部２４」を用いた「第６型画像処理部８」により構成する。
【０１１３】
図１１に示すように、定常状態検査部１９は、各小領域についてフレーム間相関結果と背景相関結果の履歴データを集計し、フレーム間相関結果の履歴データにおける平均値（以降「フレーム間相関定常平均値」と呼ぶ）、及び、背景相関の履歴データにおける平均値（以降「背景相関定常平均値」）を計算する。
【０１１４】
次に、各小領域の履歴データについてこれらの平均値からの相関結果の分散を調べ標準偏差を計算し、フレーム間相関結果の標準偏差（以降「フレーム間相関定常標準偏差値」と呼ぶ）、及び、背景相関結果の標準偏差（以降「背景相関定常標準偏差値」と呼ぶ）を求める。
【０１１５】
さらに、各小領域について、予め設定しておいた係数とフレーム間相関定常標準偏差値を掛けた値をフレーム間相関定常平均値から差し引くことにより第６型動作制御部２４で用いるフレーム間相関に関するしきい値（以降「フレーム間相関定常基準しきい値」と呼ぶ）を計算し、また、各小領域について、予め設定しておいた係数と背景相関定常標準偏差値を掛けた値を背景相関定常平均値から差し引くことにより第６型動作制御部２４で用いる背景相関に関するしきい値（以降「背景相関定常基準しきい値」と呼ぶ）を計算する。これら計算した各値を記憶部１１へ保存する。
【０１１６】
第６型動作制御部２４は、第１の実施例で用いた第１型動作制御部２２の各しきい値の替わりに「フレーム間相関定常基準しきい値」及び「背景相関定常基準しきい値」を用いる。また、各相関結果の履歴データを作るための「データ更新」を行う機能を追加すると共に、初期の履歴データを作るための「初期状態設定モード」を設ける。
【０１１７】
ここで、本実施例に係る作業者安全検査装置における第６型動作制御部２４の処理の流れについて説明する。
図１２に示すように、動作モードが「初期状態設定モード」の場合、カウンタを増やし、カウンタが予め設定しておいた値に達すれば、小領域状態を「安定」にし、動作モードを「背景設定モード」にする。
【０１１８】
動作モードが「背景設定モード」の場合、フレーム間相関結果がフレーム間相関定常基準しきい値よりも大きい場合は、カウンタを増やし、フレーム間相関結果がフレーム間相関定常基準しきい値以下の場合は、カウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【０１１９】
動作モードが「動き検出モード」の場合、フレーム間相関結果がフレーム間相関定常基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【０１２０】
また、フレーム間相関結果がフレーム間相関定常基準しきい値以下の場合は、小領域上に何らかの変化を検出したとして、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
【０１２１】
動作モードが「停止検出モード」の場合、背景相関結果が背景相関定常基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【０１２２】
また、背景相関結果が背景相関定常基準しきい値以下の場合で、かつ、フレーム間相関結果がフレーム間相関定常基準しきい値よりも大きい場合は、小領域上に何かが停止していると判断してカウンタを増やし、動作モードを「停止検出モード」にする。この時、カウンタが予め設定しておいた静止判定フレーム数に達すれば小領域状態を「静止」にする。
【０１２３】
さらに、背景相関結果が背景相関定常基準しきい値以下の場合で、かつ、フレーム間相関結果がフレーム間相関定常基準しきい値以下の場合は、小領域上に何かが動いていると判断してカウンタをクリアし、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
【０１２４】
また、動作モードが「初期状態設定モード」、「背景設定モード」、「動き検出モード」及び「停止検出モード」それぞれに場合においてフレーム間相関結果と背景相関結果を記憶部１１に保存してあるそれぞれの履歴データヘ追加する。データの追加においては、履歴データが用意してある保存容量に達した場合、最も過去のデータを新しいデータヘ更新する。
以上が、本実施例に係る作業者安全検査装置における第６型動作制御部２４の処理の流れである。
【０１２５】
本実施例に係る作業者安全検査装置によれば、第１の実施例に係る作業者安全検査装置の効果に加え、各小領域のフレーム間相関結果と背景相関結果の履歴を調べて画像上の変化検出のためのしきい値を調整するため、画像上の局部的な定常変化状態に柔軟に適応したしきい値を設定することができ、環境変化や局部的な定常変化に頑健な作業者安全検査を行うことができる。
【産業上の利用可能性】
【０１２６】
本発明は、例えば、屋内施設で作業する作業者の安全を検査する装置に利用することが可能であり、特に屋内作業場所において単独作業を行う作業者が、転倒や卒倒等の何らかの理由で動かなくなった状況を、屋内作業場所に設置された監視カメラの画像により検出する、作業者安全検査装置に利用することが可能である。
【符号の説明】
【０１２７】
１ 監視カメラ
２ 第１型画像処理部
３ 結果表示部
４ 第２型画像処理部
５ 第３型画像処理部
６ 第４型画像処理部
７ 第５型画像処理部
８ 第６型画像処理部
１０ 画像入力部
１１ 記憶部
１２ 処理設定部
１３ 差分演算部
１４ 第１型動作制御部
１５ 安全検査部
１６ 結果出力部
１７ 画像状態検査部
１８ 第２型動作制御部
１９ 定常状態検査部
２０ 第３型動作制御部
２１ 相関演算部
２２ 第４型動作制御部
２３ 第５型動作制御部
２４ 第６型動作制御部
【技術分野】
【０００１】
本発明は、作業者安全検査装置に関する。
【背景技術】
【０００２】
近年、室内環境における人の安全検査装置として、浴室における安全検査装置が提案されている。
下記特許文献１では、検査場所を浴室に限定し、浴室天井に設置されたカメラにより鉛直下向き方向を撮影したカメラ画像を用い、人の入っていない背景画像と入力画像との差分を行い、差分画像によって浴室内における人の有無を検出し、タイマーによって人が浴室内に居る時間を計測し、予め決められたリミット時間より長く人が浴室内に留まっている場合はアラーム信号を発生する。
【０００３】
また、下記特許文献２では、検査場所を浴室に限定し、浴室天井に設置されたカメラにより鉛直下向き方向を撮影したカメラ画像を用い、入力画像から入浴者の輪郭線を抽出し、さらに輪郭線から体形の識別を行うことで腕・脚・胴体の各領域を取り出し、各領域の重心位置の変化から入浴者の動きを検出し、各重心の静止時間によって動きがないと判断し、入浴者に異常が発生していないか否かを判断する。
【０００４】
また、下記特許文献３では、検査場所を浴室に限定し、赤外線センサによる熱検知により人体を検知し、人体の動きを撮像して画像処理する人体検出センサにより人の動きを検出し、入浴者の動きが一定時間無かった場合、浴槽で寝ているか、又は、倒れたと推測する。画像処理を行う人体検出センサは人口網膜チップで構成し、現在の入力画像と一つ前の時間に撮影した入力画像との間の差分を行うフレーム間差分により画像中の動きの有無を判断する。
【０００５】
また、従来の画像照合装置による方法では、画像を格子状の小領域に分割し、各小領域の状態を差分演算によって調べ、何かが静止している状態にある小領域が人物サイズ以上の数だけ検出された場合に、屋内作業場所において転倒や卒倒等の何らかの理由により動かなくなったものと判断して異常を検出した。
【０００６】
また、作業場所の運用としては複数名作業を義務付ける方法、入退室記録簿を記入する方法がある。また、監視カメラにより撮影した映像を管理室に設置したモニタで監視する方法も用いられる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平４−３４７４４７号公報「入浴装置」
【特許文献２】特開平１１−１０１５０２号公報「入浴監視装置」
【特許文献３】特開２００３−６７８６５号公報「人体検出装置」
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１では、浴室内に人が入ったか否かの判断を画像処理により行うことができるが、浴室内の人が動いているか否かの判断ができない。このため、定められた一定時間以上、人が浴室内に居た場合は強制的に異常と判断しアラーム信号を発生してしまう。
【０００９】
また、上記特許文献２では、体形の識別による腕・脚・胴体の各領域の重心の動きを基に入浴者の異常を判断するため、画像中における入浴者のサイズが体形が識別できる程度大きく撮影する必要があり、かつ、体形を腕・脚・胴体の各領域に識別できるよう人の正面から、又は、背面から撮影したカメラ画像でなければならない。
【００１０】
また、上記特許文献３では、赤外線センサによる熱検知により人体を検知するため、衣服着用時には温度分布の違いにより検知精度が低下する。また、安価な赤外線センサは遠距離での感度が悪く間近な検知対象しか検知できないため、狭い屋内範囲に適用が限定される。さらに、画像処理により動きを検知する構成として人口網膜チップという特殊なセンサを用いているため、一般の監視カメラ画像を入力装置として適用することができず、上記特許文献３に用途として挙げている浴室以外に適用することができない。また、人の検知を赤外線センサで行い、人の動き検知を人工網膜チップで行うため、入浴者の安全検査のために複数種類のセンサを必要とする。
【００１１】
また、従来の画像照合装置による方法では、照明の安定した屋内作業場所においては、一般のカメラ画像から比較的広範囲の作業場所の作業者の異常を検出できるが、屋内作業場所において屋外光を取り入れる大きな窓等があった場合は、屋外光により照明状況が急激に変化する場合があり、屋外光による照明状況の急激な変化を検出して、誤って異常と判断する場合がある。
【００１２】
また、複数名作業を義務付ける運用方法では、実際に運用規則を守らない作業者には効果が無く、入退室記録では作業者の事故後の記録として利用できるが、事故発生時直後の判定には効果が無い。また、監視カメラをモニタする方法では、監視員がたまたまモニタを見ていなかった時間帯に事故が発生した場合は、事故発生時直後の短時間で作業員の状態を判定することができない。
【００１３】
以上のことから、本発明は、画像処理により屋内作業場所において単独作業を行う作業者の安全検査を行うことができる作業者安全検査装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記の課題を解決するための第１の発明に係る作業者安全検査装置によれば、
画像を撮像するカメラと、
前記カメラで撮像した画像を相関計算を用いた画像処理により画像上に動いて入って来た対象物が一定時間以上静止した状態を検出した場合に異常と判断する画像処理部と、
前記画像処理部における判断結果を表示する結果表示部と
を備える
作業者の安全検査装置において、
前記画像処理部が、
画像データ、各処理変数、カウンタ、結果データ等を保存する記憶部と、
前記カメラの画像を入力し、前記記憶部へ保存する画像入力部と、
安全検査の判断に必要なパラメータを設定し前記記憶部へ保存する処理設定部と、
入力画像データと一つ前の時間間隔で撮影した入力画像データを前記記憶部から取り出し、前記入力画像データと前記一つ前の時間間隔で撮影した入力画像データを適当な小領域に分割して、一つ一つの小領域毎について相関計算を行いフレーム間相関結果を求め、各小領域毎の前記フレーム間相関結果を前記記憶部へ保存し、また、前記入力画像データと予め記憶しておいた背景画像データを前記記憶部から取り出し、その画像を適当な小領域に分割し、一つ一つの小領域毎について相関計算を行い背景相関結果を求め、各小領域毎の前記背景相関結果を前記記憶部へ保存する相関演算部と、
前記背景相関結果が、背景相関に関するしきい値以下の場合で、かつ、前記フレーム間相関結果が、フレーム間相関に関するしきい値よりも大きい場合は、小領域上に何かが停止していると判断して予め設定しておいた値に達したときに小領域状態を「静止」とする動作制御部と、
小領域状態が「静止」になっている小領域の数を静止小領域数とし、静止小領域数が予め設定しておいた静止物判定数以上であれば、動いた後停止して動かなくなった何らかの大きな物体があると判断し、異常結果を前記記憶部へ保存する安全検査部と、
異常の有無を前記画像処理部の外部へ出力すると共に、画像データ、各小領域の小領域状態を前記画像処理部の外部へ出力する結果出力部と
を備える
ことを特徴とする。
【００１５】
上記の課題を解決するための第２の発明に係る作業者安全検査装置によれば、第１の発明に係る作業者安全検査装置において、
前記背景相関に関するしきい値及び前記フレーム間相関に関するしきい値は、予め設定しておくものであることを特徴とする。
【００１６】
上記の課題を解決するための第３の発明に係る作業者安全検査装置によれば、第１の発明に係る作業者安全検査装置において、
前記画像処理部は、
前記相関演算部で計算された各小領域に関する前記フレーム間相関結果と前記背景相関結果を画像について集計し、前記フレーム間相関結果の画像全体における平均値としてフレーム間相関画像平均値、及び、前記背景相関結果の画像全体における平均値として背景相関画像平均値を計算し、次に、前記フレーム間相関画像平均値及び前記背景相関画像平均値からの相関結果の分散を調べ標準偏差を計算し、前記フレーム間相関結果の標準偏差としてフレーム間相関画像標準偏差値、及び、前記背景相関結果の標準偏差として背景相関画像標準偏差値を求め、さらに、予め設定しておいた係数と前記フレーム間相関画像標準偏差値を掛けた値を前記フレーム間相関画像平均値から差し引くことにより前記フレーム間相関に関するしきい値を計算し、また、予め設定しておいた係数と前記背景相関画像標準偏差値を掛けた値を前記背景相関画像平均値から差し引くことにより前記背景相関に関するしきい値を計算する画像状態検査部を備える
ことを特徴とする。
【００１７】
上記の課題を解決するための第４の発明に係る作業者安全検査装置によれば、第１の発明に係る作業者安全検査装置において、
前記画像処理部は、
各小領域について前記フレーム間相関結果と前記背景相関結果の履歴データを集計し、前記フレーム間相関結果の履歴データにおける平均値としてフレーム間相関定常平均値、及び、前記背景相関結果の履歴データにおける平均値として背景相関定常平均値を計算し、次に、各小領域の履歴データについて前記フレーム間相関定常平均値及び前記背景相関定常平均値からの相関結果の分散を調べ標準偏差を計算し、前記フレーム間相関結果の標準偏差としてフレーム間相関定常標準偏差値、及び、前記背景相関結果の標準偏差として背景相関定常標準偏差値を求め、さらに、各小領域について、予め設定しておいた係数と前記フレーム間相関定常標準偏差値を掛けた値を前記フレーム間相関定常平均値から差し引くことにより、前記フレーム間相関に関するしきい値を計算し、また、各小領域について、予め設定しておいた係数と前記背景相関定常標準偏差値を掛けた値を前記背景相関定常平均値から差し引くことにより、前記背景相関に関するしきい値を計算し、前記フレーム間相関に関するしきい値及び前記背景相関に関するしきい値を前記記憶部へ保存する定常状態検査部を備える
ことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、以下のような効果を奏する。
（１）一般的なカメラの画像を調べることによって、作業者が一定時間以上静止した状態を検出し異常と判断するため、作業者が転倒や卒倒等の何らかの理由で動かなくなった状態を自動的に検知して異常と判断することができる。
（２）屋内作業場所であれば適用が可能であるため、様々な作業場所において作業者の安全検査を行うことができる。
（３）人体の各部を検出できる程、人物を大きなサイズで撮像する必要が無いため、一台のカメラで広範囲の作業者安全検査を行うことができる。
（４）入力装置として一般的な監視カメラを用いることができるため、特別な入力装置を用意する必要がない。
（５）屋外光を取り入れる大きな窓があるような屋内作業場所においても、屋外光の明かりの変化の影響を受けることなく、照明状況の変化による誤った異常を検出しない。
（６）画像処理により自動で作業者の安全検査を行うため見落としが無く、事故が発生した場合は、事故発生時直後の短時間で作業員の状態を判定することができる。
以上のことから、本発明によれば、画像処理により屋内作業場所において単独作業を行う作業者の安全検査を行うことができる作業者安全検査装置を実現することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の比較例に係る作業者安全検査装置の装置構成を示した図である。
【図２】本発明の第１の比較例に係る作業者安全検査装置における作業者安全検査処理の手順を示した図である。
【図３】本発明の第１及び第２の比較例に係る作業者安全検査装置における第１及び第２型動作制御部の処理の流れを示した図である。
【図４】本発明の第２の比較例に係る作業者安全検査装置の装置構成を示した図である。
【図５】本発明の第３の比較例に係る作業者安全検査装置の装置構成を示した図である。
【図６】本発明の第３の比較例に係る作業者安全検査装置における第３型動作制御部の処理の流れを示した図である。
【図７】図７は本発明の第１の実施例に係る作業者安全検査装置の装置構成を示した図である。
【図８】本発明の第１の実施例に係る作業者安全検査装置における作業者安全検査処理の手順を示した図である。
【図９】本発明の第１及び第２の実施例に係る作業者安全検査装置における第４及び第５型動作制御部の処理の流れを示した図である。
【図１０】本発明の第２の実施例に係る作業者安全検査装置の装置構成を示した図である。
【図１１】本発明の第３の実施例に係る作業者安全検査装置の装置構成を示した図である。
【図１２】本発明の第３の実施例に係る作業者安全検査装置における第６型動作制御部の処理の流れを示した図である。
【図１３】本発明の第１〜第３の実施例及び第１〜第３の比較例に係る作業者安全検査装置における画像を小領域に分割して作業者安全監視を行う例を示した図である。
【発明を実施するための形態】
【００２０】
以下、本発明に係る作業者安全検査装置の実施例及び比較例について図を用いて説明する。なお、図１は本発明の第１の比較例に係る作業者安全検査装置の装置構成を示した図、図２は本発明の第１の比較例に係る作業者安全検査装置における作業者安全検査処理の手順を示した図、図３は本発明の第１及び第２の比較例に係る作業者安全検査装置における第１及び第２型動作制御部の処理の流れを示した図、図４は本発明の第２の比較例に係る作業者安全検査装置の装置構成を示した図、図５は本発明の第３の比較例に係る作業者安全検査装置の装置構成を示した図、図６は本発明の第３の比較例に係る作業者安全検査装置における第３型動作制御部の処理の流れを示した図、図７は本発明の第１の実施例に係る作業者安全検査装置の装置構成を示した図、図８は本発明の第１の実施例に係る作業者安全検査装置における作業者安全検査処理の手順を示した図、図９は本発明の第１及び第２の実施例に係る作業者安全検査装置における第４及び第５型動作制御部の処理の流れを示した図、図１０は本発明の第２の実施例に係る作業者安全検査装置の装置構成を示した図、図１１は本発明の第３の実施例に係る作業者安全検査装置の装置構成を示した図、図１２は本発明の第３の実施例に係る作業者安全検査装置における第６型動作制御部の処理の流れを示した図、図１３は本発明の第１〜第３の実施例及び第１〜第３の比較例に係る作業者安全検査装置における画像を小領域に分割して作業者安全監視を行う例を示した図である。
【比較例１】
【００２１】
本発明の第１の比較例に係る作業者安全検査装置では、画像処理により画像上に動いて入って来た作業者が一定時間以上静止した状態を検出した場合に異常と判断することで、作業者の安全検査を行う。
【００２２】
はじめに、本比較例に係る作業者安全検査装置における作業者安全検査処理の手順について説明する。
本比較例に係る作業者安全検査装置では、図２に示すように、はじめに、ステップＳ１０において、画像を入力する。
次に、ステップＳ１１において、画像上に動いて入って来たものが静止したことを検出するために、まず、画像を図１３中に矢印Ａで示すように格子状の小領域に分割する。なお、例えば、図１３中に矢印Ｂで示す部分が変化を検出した小領域である。
【００２３】
次に、ステップＳ１２において、各小領域について小領域の状態が変化を検出しない安定状態であるのか、何かが動いている変化状態であるのか、何かが静止している静止状態であるのかの差分計算による小領域状態の検査を行う。
【００２４】
次に、ステップＳ１３において、静止状態である小領域の数（面積に相当する）を調べ、画面上の人物サイズ程度以上の面積に相当する小領域の数が静止状態であった場合は異常と判断することで、屋内施設で作業する作業者の安全の有無を検査する。
最後に、ステップＳ１４において、検出結果を出力する。
【００２５】
次に、本比較例に係る作業者安全検査装置の装置構成について説明する。
本比較例に係る作業者安全検査装置は、図１に示すように、監視カメラの画像を画像解析することにより屋内作業場所の作業者の安全検査を行うため、監視カメラ１と、第１型画像処理部２と、結果表示部３とにより構成される。
【００２６】
監視カメラ１は、屋内作業場所を見渡せる位置に設置し、屋内作業場所を撮影して、その画像を第１型画像処理部２へ伝送する。
第１型画像処理部２は、画像入力部１０、記憶部１１、処理設定部１２、差分演算部１３、第１型動作制御部１４、安全検査部１５、結果出力部１６により構成される。
【００２７】
画像入力部１０は、設定された時間間隔毎に監視カメラ１の画像を入力し、記憶部１１へ保存する。
処理設定部１２は、安全検査の判断に必要なパラメータを設定し記憶部１１へ保存する。
【００２８】
差分演算部１３は、入力画像データと一つ前の時間間隔で撮影した入力画像データを記憶部１１から取り出し、入力画像データと一つ前の時間間隔で撮影した入力画像データを適当な小領域に分割し、一つ一つの小領域毎について差分計算を行い（「フレーム間差分」と呼ぶ）、各小領域毎のフレーム間差分結果を記憶部１１へ保存する。
【００２９】
また、差分演算部１３は、入力画像データと予め記憶しておいた背景画像データを記憶部１１から取り出し、入力画像データと背景画像データを適当な小領域に分割し、一つ一つの小領域毎について差分計算を行い（「背景差分」と呼ぶ）、各小領域毎の背景差分結果を記憶部１１へ保存する。なお、差分演算部１３における差分計算には、反転正規化絶対値差分計算を用いる。
【００３０】
ここで、反転正規化絶対値差分計算について説明する。
はじめに、絶対差分値を基準輝度差で正規化した画像領域の正規化絶対差分値Ｄを算出する。正規化絶対差分値Ｄを算出する数式を下記式（１）に示す。
【数１】
【００３１】
上記式（１）において、Ｎは比較領域内の画素数、ｆ（ｉ，ｊ）は比較領域内の点ｐ（ｉ，ｊ）に位置する比較対象となっている画素の輝度値、ｇ（ｉ，ｊ）は比較対象画像内の点ｑ（ｉ，ｊ）に位置する比較対象となっている画素の輝度値、Ｉｍａｘは最大輝度値である。なお、点ｑは、比較領域内の点ｐに対応する点である。
【００３２】
また、ｍａｘ[ｆ（ｉ，ｊ），Ｉｍａｘ−ｆ（ｉ，ｊ）]は基準画像の対象画素の輝度値ｆ（ｉ，ｊ）が最大輝度値Ｉｍａｘの半値より小さい場合、Ｉｍａｘ−ｆ（ｉ，ｊ）を選択し、基準画像の対象画素の輝度値ｆ（ｉ，ｊ）が最大輝度値Ｉｍａｘの半値より大きい場合、ｆ（ｉ，ｊ）を選択するものとする。
【００３３】
上記式（１）から、正規化絶対差分値Ｄは比較領域内の画素数、すなわち、比較領域内の画像領域の大きさや、基準画像の明暗等の輝度の度合に関わらず０〜１の範囲の値をとる。そして、算出した値が０に近いほど画像の類似度が高く、１に近いほど画像の類似度が低いという特徴を有する。
【００３４】
次に、反転正規化絶対差分値ｄを算出する。反転正規化絶対差分値ｄを算出する数式を下記式（２）に示す。
【数２】
【００３５】
上記式（１）より、正規化絶対差分値Ｄは０〜１の値をとることから、上記式（２）より、反転正規化絶対差分値ｄについても、比較領域の画像領域の大きさや、基準画像の明暗等の輝度の度合に関わらず０〜１の範囲の値を取る。そして、正規化絶対差分値Ｄと異なり、算出された数値が０に近いほど画像の類似度が低く、１に近いほど画像の類似度が高いという特徴がある。
【００３６】
すなわち、反転正規化絶対差分値ｄによれば、比較領域と比較対象画像の類似度が高いほど算出される値が大きくなるため、２つの画像の類似度と反転正規化絶対差分値ｄとの対応関係を作業者が直感的に判断しやすいという利点がある。
以上が、反転正規化絶対値差分計算である。
【００３７】
第１型動作制御部１４は、作業者安全検査処理の全体の動作制御を行う。第１型動作制御部１４は、動作モードによって「背景設定モード」、「動き検出モード」及び「停止検出モード」を切り替えて処理を行い、それぞれで小領域状態を設定する。
【００３８】
ここで、本比較例に係る作業者安全検査装置における第１型動作制御部１４の処理の流れについて説明する。
図３に示すように、動作モードが「背景設定モード」の場合、フレーム間差分結果が予め設定しておいたフレーム間差分しきい値よりも大きい場合は、カウンタを増やし、また、フレーム間差分結果が予め設定しておいたフレーム間差分しきい値以下の場合は、カウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００３９】
動作モードが「動き検出モード」の場合、フレーム間差分結果が予め設定しておいたフレーム間差分しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００４０】
また、フレーム間差分結果が予め設定しておいたフレーム間差分しきい値以下の場合は、小領域上に何らかの変化を検出したとして、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
【００４１】
動作モードが「停止検出モード」の場合、背景差分結果が予め設定しておいた背景差分しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００４２】
また、背景差分結果が予め設定しておいた背景差分しきい値以下の場合で、かつ、フレーム間差分結果が予め設定しておいたフレーム間差分しきい値よりも大きい場合は、小領域上に何かが停止していると判断してカウンタを増やし、動作モードを「停止検出モード」にする。この時、カウンタが予め設定しておいた静止判定フレーム数に達すれば小領域状態を「静止」にする。
【００４３】
さらに、背景差分結果が予め設定しておいた背景差分しきい値以下の場合で、かつ、フレーム間差分結果が予め設定しておいたフレーム間差分しきい値以下の場合は、小領域上に何かが動いていると判断してカウンタをクリアし、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
以上が、本比較例に係る作業者安全検査装置における第１型動作制御部１４の処理の流れである。
【００４４】
安全検査部１５は、小領域状態が「静止」になっている小領域の数（以降「静止小領域数」と呼ぶ）を調べ、静止小領域数が予め設定しておいた静止物判定数以上であれば、動いた後停止して動かなくなった何らかの大きな物体があると判断し、異常結果を記憶部１１へ保存する。
【００４５】
結果出力部１６は、異常の有無を第１型画像処理部２から外部へ出力すると共に、画像データ、各小領域の小領域状態を第１型画像処理部２から外部へ出力する。
記憶部１１は、画像データ、各処理変数、カウンタ、結果データ等を保存する。
結果表示部３は、結果出力部１６より画像データと安全検査結果を受け取り、監視カメラ１により撮影した画像と共に安全検査結果を表示する。
【００４６】
本比較例に係る作業者安全検査装置によれば、一般的なカメラの画像を調べることによって、作業者が一定時間以上静止した状態を検出し異常と判断するため、作業者が転倒や卒倒等の何らかの理由で動かなくなった状態を自動的に検知して異常と判断することができる。
【００４７】
そして、上記特許文献１に比べ、本比較例に係る作業者安全検査装置では、作業者が動いているか静止しているかの状態を画像から検出しているため、作業者が単に屋内施設へ長時間入って作業しているだけではアラームを発生せず、作業者が何らかの理由により静止している状態が続いた場合のみ異常と判断することができる。
【００４８】
また、上記特許文献２に比べ、本比較例に係る作業者安全検査装置では、人間の体形による領域を検出する方法でなく、画像上の状態によって動きと静止の判断を行うため、人間の体形が識別できる程大きく撮影する必要がなく、ある程度広範囲な屋内作業場所を検査範囲とすることができる。さらに、人間の正面から撮影する必要もないため、作業者の向きを気にすることなくカメラを設置できる。
【００４９】
また、上記特許文献３に比べ、本比較例に係る作業者安全検査装置では、一般のカメラを入力装置として使用するため、赤外線センサや人口網膜チップといった特殊な装置を用いる必要が無く、既存の監視カメラがあればそれを入力装置として流用することができる。さらに、赤外線センサのように着衣時の温度分布の違いにより検知精度影響されることがない。
【００５０】
また、監視カメラのモニタを監視員が視認する方法に比べ、本比較例に係る作業者安全検査装置では、本装置が常時屋内施設を監視して異常を自動で検査するため、監視員がたまたま見ていなかった時間帯が存在せず、事故発生時には短時間での対処が可能となる。
【比較例２】
【００５１】
本発明の第２の比較例に係る作業者安全検査装置では、第１の比較例に係る作業者安全検査装置の第１型画像処理部２において「画像状態検査部１７」を加えると共に、第１の比較例に示した「第１型動作制御部１４」の替わりに「第２型動作制御部１８」を用いた「第２型画像処理部４」により構成する。なお、これら以外の構成については、第１の比較例に係る作業者安全検査装置と同様であるため、ここでの説明は省略する。
【００５２】
図４に示すように、画像状態検査部１７では、差分演算部１３で計算された各小領域に関するフレーム間差分結果と背景差分結果を画像について集計し、フレーム間差分結果の画像全体における平均値（以降「フレーム間差分画像平均値」と呼ぶ）、及び、背景差分結果の画像全体における平均値（以降「背景差分画像平均値」と呼ぶ）を計算する。
【００５３】
次に、これら平均値からの差分結果の分散を調べ標準偏差を計算し、フレーム間差分結果の標準偏差（以降「フレーム間差分画像標準偏差値」と呼ぶ）、及び、背景差分結果の標準偏差（以降「背景差分画像標準偏差値」と呼ぶ）を求める。
【００５４】
さらに、予め設定しておいた係数とフレーム間差分画像標準偏差値を掛けた値をフレーム間差分画像平均値から差し引くことにより、第２型動作制御部１８で用いるフレーム間差分に関するしきい値（以降「フレーム間差分画像基準しきい値」と呼ぶ）を計算し、また、予め設定しておいた係数と背景差分画像標準偏差値を掛けた値を背景差分画像平均値から差し引くことにより、第２型動作制御部１８で用いる背景差分に関するしきい値（以降「背景差分画像基準しきい値」と呼ぶ）を計算する。これら計算した各値を記憶部１１へ保存する。
【００５５】
第２型動作制御部１８は、第１の比較例の第１型動作制御部１４で用いた各しきい値の替わりに「フレーム間差分画像基準しきい値」及び「背景差分画像基準しきい値」を用いる。このため、第２型動作制御部１８の各モードの動作は次のようになる。
【００５６】
ここで、本比較例に係る作業者安全検査装置における第２型動作制御部１８の処理の流れについて説明する。
図３に示すように、動作モードが「背景設定モード」の場合、フレーム間差分結果がフレーム間差分画像基準しきい値よりも大きい場合はカウンタを増やし、フレーム間差分結果がフレーム間差分画像基準しきい値以下の場合はカウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００５７】
動作モードが「動き検出モード」の場合、フレーム間差分結果がフレーム間差分画像基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００５８】
また、フレーム間差分結果がフレーム間差分画像基準しきい値以下の場合は、小領域上に何らかの変化を検出したとして、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
【００５９】
動作モードが「停止検出モード」の場合、背景差分結果が背景差分画像基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００６０】
また、背景差分結果が背景差分画像基準しきい値以下の場合で、かつ、フレーム間差分結果がフレーム間差分画像基準しきい値よりも大きい場合は、小領域上に何かが停止していると判断してカウンタを増やし、動作モードを「停止検出モード」にする。この時、カウンタが予め設定しておいた静止判定フレーム数に達すれば小領域状態を「静止」にする。
【００６１】
さらに、背景差分結果が背景差分画像基準しきい値以下の場合で、かつ、フレーム間差分結果がフレーム間差分画像基準しきい値以下の場合は、小領域上に何かが動いていると判断してカウンタをクリアし、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
以上が、本比較例に係る作業者安全検査装置における第２型動作制御部１８の処理の流れである。
【００６２】
本比較例に係る作業者安全検査装置によれば、第１の比較例に係る作業者安全検査装置の効果に加え、入力画像の状態を調べて画像上の変化検出のためのしきい値を調整するため、各入力画像の状態に対応したしきい値を設定することができ、環境変化により頑健な作業者安全検査を行うことができる。
【比較例３】
【００６３】
本発明の第３の比較例に係る作業者安全検査装置では、第１の比較例に係る作業者安全検査装置の第１型画像処理部２において「定常状態検査部１９」を加えると共に、第１の比較例に示した「第１型動作制御部１４」の替わりに「第３型動作制御部２０」を用いた「第３型画像処理部５」により構成する。なお、これら以外の構成については、第１の比較例に係る作業者安全検査装置と同様であるため、ここでの説明は省略する。
【００６４】
図５に示すように、定常状態検査部１９は、各小領域についてフレーム間差分結果と背景差分結果の履歴データを集計し、フレーム間差分結果の履歴データにおける平均値（以降「フレーム間差分定常平均値」と呼ぶ）、及び、背景差分の履歴データにおける平均値（以降「背景差分定常平均値」）を計算する。
【００６５】
次に、各小領域の履歴データについてこれらの平均値からの差分結果の分散を調べ標準偏差を計算し、フレーム間差分結果の標準偏差（以降「フレーム間差分定常標準偏差値」と呼ぶ）、及び、背景差分結果の標準偏差（以降「背景差分定常標準偏差値」と呼ぶ）を求める。
【００６６】
さらに、各小領域について、予め設定しておいた係数とフレーム間差分定常標準偏差値を掛けた値をフレーム間差分定常平均値から差し引くことにより、第３型動作制御部２０で用いるフレーム間差分に関するしきい値（以降「フレーム間差分定常基準しきい値」と呼ぶ）を計算し、また、各小領域について、予め設定しておいた係数と背景差分定常標準偏差値を掛けた値を背景差分定常平均値から差し引くことにより、第３型動作制御部２０で用いる背景差分に関するしきい値（以降「背景差分定常基準しきい値」と呼ぶ）を計算する。これら計算した各値を記憶部１１へ保存する。
【００６７】
第３型動作制御部２０は、第１の比較例で用いた第１型動作制御部１４の各しきい値の替わりに「フレーム間差分定常基準しきい値」及び「背景差分定常基準しきい値」を用いる。また、各差分結果の履歴データを作るための「データ更新」を行う機能を追加すると共に、初期の履歴データを作るための「初期状態設定モード」を設ける。
【００６８】
ここで、本比較例に係る作業者安全検査装置における第３型動作制御部２０の処理の流れについて説明する。
図６に示すように、動作モードが「初期状態設定モード」の場合、カウンタを増やし、カウンタが予め設定しておいた値に達すれば、小領域状態を「安定」にし、動作モードを「背景設定モード」にする。
【００６９】
動作モードが「背景設定モード」の場合、フレーム間差分結果がフレーム間差分定常基準しきい値よりも大きい場合は、カウンタを増やし、フレーム間差分結果がフレーム間差分定常基準しきい値以下の場合は、カウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００７０】
動作モードが「動き検出モード」の場合、フレーム間差分結果がフレーム間差分定常基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００７１】
また、フレーム間差分結果がフレーム間差分定常基準しきい値以下の場合は、小領域上に何らかの変化を検出したとして、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
【００７２】
動作モードが「停止検出モード」の場合、背景差分結果が背景差分定常基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００７３】
また、背景差分結果が背景差分定常基準しきい値以下の場合で、かつ、フレーム間差分結果がフレーム間差分定常基準しきい値よりも大きい場合は、小領域上に何かが停止していると判断してカウンタを増やし、動作モードを「停止検出モード」にする。この時、カウンタが予め設定しておいた静止判定フレーム数に達すれば小領域状態を「静止」にする。
【００７４】
さらに、背景差分結果が背景差分定常基準しきい値以下の場合で、かつ、フレーム間差分結果がフレーム間差分定常基準しきい値以下の場合は、小領域上に何かが動いていると判断してカウンタをクリアし、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
【００７５】
また、動作モードが「初期状態設定モード」、「背景設定モード」、「動き検出モード」及び「停止検出モード」それぞれに場合において、フレーム間差分結果と背景差分結果を記憶部１１に保存してあるそれぞれの履歴データヘ追加する。データの追加においては、履歴データが用意してある保存容量に達した場合、最も過去のデータを新しいデータヘ更新する。
以上が、本比較例に係る作業者安全検査装置における第３型動作制御部２０の処理の流れである。
【００７６】
本比較例に係る作業者安全検査装置によれば、第１の比較例に係る作業者安全検査装置の効果に加え、各小領域のフレーム間差分結果と背景差分結果の履歴を調べて画像上の変化検出のためのしきい値を調整するため、画像上の局部的な定常変化状態に柔軟に適応したしきい値を設定することができ、環境変化や局部的な定常変化に頑健な作業者安全検査を行うことができる。
【実施例１】
【００７７】
本発明の第１の実施例に係る作業者安全検査装置では、画像処理により画像上に動いて入って来た作業者が一定時間以上静止した状態を検出した場合に異常と判断することで、作業者の安全検査を行う。
【００７８】
はじめに、本実施例に係る作業者安全検査装置における作業者安全検査処理の手順について説明する。
本実施例に係る作業者安全検査装置では、図７に示すように、はじめに、ステップＳ２０において、画像を入力する。
次に、ステップＳ２１において、画像上に動いて入って来たものが静止したことを検出するために、まず、画像を図１３中に矢印Ａで示すように格子状の小領域に分割する。なお、例えば、図１３中に矢印Ｂで示す部分が変化を検出した小領域である。
【００７９】
次に、ステップＳ２２において、各小領域について小領域の状態が変化を検出しない安定状態であるのか、何かが動いている変化状態であるのか、何かが静止している静止状態であるのかの相関計算による小領域状態の検査を行う。
【００８０】
次に、ステップＳ２３において、静止状態である小領域の数（面積に相当する）を調べ、画面上の人物サイズ程度以上の面積に相当する小領域の数が静止状態であった場合は異常と判断することで、屋内施設で作業する作業者の安全の有無を検査する。最後に、ステップＳ２４において、検出結果を出力する。
【００８１】
次に、本実施例に係る作業者安全検査装置の装置構成について説明する。
本実施例に係る作業者安全検査装置は、図７に示すように、監視カメラ１の画像を画像解析することにより屋内作業場所の作業者の安全検査を行うため、監視カメラ１と、第４型画像処理部６と、結果表示部３とにより構成される。
【００８２】
監視カメラ１は、屋内作業場所を見渡せる位置に設置し、屋内作業場所を撮影してその画像を第４型画像処理部６へ伝送する。
第４型画像処理部６は、画像入力部１０、記憶部１１、処理設定部１２、相関演算部２１、第４型動作制御部２２、安全検査部１５、結果出力部３により構成される。
画像入力部１０では、設定された時間間隔毎に監視カメラ１の画像を入力し、記憶部１１へ保存する。
【００８３】
処理設定部１２は、安全検査の判断に必要なパラメータを設定し記憶部１１へ保存する。
相関演算部２１は、入力画像データと一つ前の時間間隔で撮影した入力画像データを記憶部１１から取り出し、入力画像データと一つ前の時間間隔で撮影した入力画像データを適当な小領域に分割し、一つ一つの小領域毎について相関計算を行い（「フレーム間相関」と呼ぶ）、各小領域毎のフレーム間相関結果を記憶部１１へ保存する。
【００８４】
また、相関演算部２１は、入力画像データと背景画像データを記憶部１１から取り出し、入力画像データと予め記憶しておいた背景画像データを適当な小領域に分割し、一つ一つの小領域毎について相関計算を行い（「背景相関」と呼ぶ）、各小領域毎の背景相関結果を記憶部１１へ保存する。相関演算部２１における相関計算には、屋外光による明るさ変化の影響を考慮して、明るさ変化に頑健な正規化相関計算を行う。
【００８５】
第４型動作制御部２２は、作業者安全検査処理の全体の動作制御を行う。第４型動作制御部２２は、動作モードによって「背景設定モード」、「動き検出モード」及び「停止検出モード」を切り替えて処理を行い、それぞれで小領域状態を設定する。
【００８６】
ここで、本実施例に係る作業者安全検査装置における第４型動作制御部２２の処理の流れについて説明する。
図９に示すように、動作モードが「背景設定モード」の場合、フレーム間相関結果が予め設定しておいたフレーム間相関しきい値よりも大きい場合は、カウンタを増やし、フレーム間相関結果が予め設定しておいたフレーム間相関しきい値以下の場合は、カウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００８７】
動作モードが「動き検出モード」の場合、フレーム間相関結果が予め設定しておいたフレーム間相関しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００８８】
また、フレーム間相関結果が予め設定しておいたフレーム間相関しきい値以下の場合は、小領域上に何らかの変化を検出したとして、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
【００８９】
動作モードが「停止検出モード」の場合、背景相関結果が予め設定しておいた背景相関しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【００９０】
また、背景相関結果が予め設定しておいた背景相関しきい値以下の場合で、かつ、フレーム間相関結果が予め設定しておいたフレーム間相関しきい値よりも大きい場合は、小領域上に何かが停止していると判断してカウンタを増やし、動作モードを「停止検出モード」にする。この時、カウンタが予め設定しておいた静止判定フレーム数に達すれば小領域状態を「静止」にする。
【００９１】
さらに、背景相関結果が予め設定しておいた背景相関しきい値以下の場合で、かつ、フレーム間相関結果が予め設定しておいたフレーム間相関しきい値以下の場合は、小領域上に何かが動いていると判断してカウンタをクリアし、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
以上が、本実施例に係る作業者安全検査装置における第４型動作制御部２２の処理の流れである。
【００９２】
安全検査部１５は、小領域状態が「静止」になっている小領域の数（以降「静止小領域数」と呼ぶ）を調べ、静止小領域数が予め設定しておいた静止物判定数以上であれば、動いた後停止して動かなくなった何らかの大きな物体があると判断し、異常結果を記憶部１１へ保存する。
【００９３】
結果出力部１６は、異常の有無を第４型画像処理部６から外部へ出力すると共に、画像データ、各小領域の小領域状態を第４型画像処理部６から外部へ出力する。
記憶部１１では、画像データ、各処理変数、カウンタ、結果データ等を保存する。
結果表示部３は、結果出力部１６より画像データと安全検査結果を受け取り、監視カメラ１の撮影した画像と共に安全検査結果を表示する。
【００９４】
本実施例に係る作業者安全検査装置によれば、一般的なカメラの画像を調べることによって、作業者が一定時間以上静止した状態を検出し異常と判断するため、作業者が転倒や卒倒等の何らかの理由で動かなくなった状態を自動的に検知して異常と判断することができる。
【００９５】
そして、上記特許文献１に比べ、本実施例に係る作業者安全検査装置では、作業者が動いているか静止しているかの状態を画像から検出しているため、作業者が単に屋内施設へ長時間入って作業しているだけではアラームを発生せず、作業者が何らかの理由により静止している状態が続いた場合のみ異常と判断することができる。
【００９６】
上記特許文献２に比べ、本実施例に係る作業者安全検査装置では、人間の体形による領域を検出する方法でなく、画像上の状態によって動きと静止の判断を行うため、人間の体形が識別できる程大きく撮影する必要がなく、ある程度広範囲な屋内作業場所を検査範囲とすることができる。さらに、人間の正面から撮影する必要もないため、作業者の向きを気にすることなくカメラを設置できる。
【００９７】
上記特許文献３に比べ、本実施例に係る作業者安全検査装置では、一般のカメラを入力装置として使用するため、赤外線センサや人口網膜チップといった特殊な装置を用いる必要が無く、既存の監視カメラがあればそれを入力装置として流用することができる。さらに、赤外線センサのように着衣時の温度分布の違いにより検知精度影響されることがない。
【００９８】
また、従来の画像照合装置による方法に比べ、本実施例に係る作業者安全検査装置では、各小領域の状態を明るさ変化に頑健な正規化相関計算の結果を基に検出しているため、屋外光を取り入れる大きな窓があるような屋内作業場所においても、屋外光による照明状況の急激な変化等で誤った異常を検出しない。
【００９９】
また、監視カメラのモニタを監視員が視認する方法に比べ、本実施例に係る作業者安全検査装置では、本装置が常時屋内施設を監視して異常を自動で検査するため、監視員がたまたま見ていなかった時間帯が存在せず、事故発生時には短時間での対処が可能となる。
【実施例２】
【０１００】
本発明の第２の実施例に係る作業者安全検査装置では、第１の実施例に係る作業者安全検査装置の第４型画像処理部６において「画像状態検査部１７」を加えると共に、第１の実施例に示した「第４型動作制御部２２」の替わりに「第５型動作制御部２３」を用いた「第５型画像処理部７」により構成する。なお、これら以外の構成については、第１の実施例に係る作業者安全検査装置と同様であるため、ここでの説明は省略する。
【０１０１】
図１０に示すように、画像状態検査部１７は、相関演算部２１で計算された各小領域に関するフレーム間相関結果と背景相関結果を画像について集計し、フレーム間相関結果の画像全体における平均値（以降「フレーム間相関画像平均値」と呼ぶ）、及び、背景相関結果の画像全体における平均値（以降「背景相関画像平均値」と呼ぶ）を計算する。
【０１０２】
次に、これら平均値からの相関結果の分散を調べ標準偏差を計算し、フレーム間相関結果の標準偏差（以降「フレーム間相関画像標準偏差値」と呼ぶ）、及び、背景相関結果の標準偏差（以降「背景相関画像標準偏差値」と呼ぶ）を求める。
【０１０３】
さらに、予め設定しておいた係数とフレーム間相関画像標準偏差値を掛けた値をフレーム間相関画像平均値から差し引くことにより、第５型動作制御部２３で用いるフレーム間相関に関するしきい値（以降「フレーム間相関画像基準しきい値」と呼ぶ）を計算し、また、予め設定しておいた係数と背景相関画像標準偏差値を掛けた値を背景相関画像平均値から差し引くことにより、第５型動作制御部２３で用いる背景相関に関するしきい値（以降「背景相関画像基準しきい値」と呼ぶ）を計算する。これら計算した各値を記憶部１１へ保存する。
【０１０４】
第５型動作制御部２３は、第１の実施例の第４型動作制御部２２で用いた各しきい値の替わりに「フレーム間相関画像基準しきい値」及び「背景相関画像基準しきい値」を用いる。このため、第５型動作制御部２３の各モードの動作は次のようになる。
【０１０５】
ここで、本実施例に係る作業者安全検査装置における第５型動作制御部２３の処理の流れについて説明する。
図９に示すように、動作モードが「背景設定モード」の場合、フレーム間相関結果がフレーム間相関画像基準しきい値よりも大きい場合は、カウンタを増やし、フレーム間相関結果がフレーム間相関画像基準しきい値以下の場合は、カウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【０１０６】
動作モードが「動き検出モード」の場合、フレーム間相関結果がフレーム間相関画像基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【０１０７】
また、フレーム間相関結果がフレーム間相関画像基準しきい値以下の場合は、小領域上に何らかの変化を検出したとして、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
【０１０８】
動作モードが「停止検出モード」の場合、背景相関結果が背景相関画像基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【０１０９】
また、背景相関結果が背景相関画像基準しきい値以下の場合で、かつ、フレーム間相関結果がフレーム間相関画像基準しきい値よりも大きい場合は、小領域上に何かが停止していると判断してカウンタを増やし、動作モードを「停止検出モード」にする。この時、カウンタが予め設定しておいた静止判定フレーム数に達すれば小領域状態を「静止」にする。
【０１１０】
さらに、背景相関結果が背景相関画像基準しきい値以下の場合で、かつ、フレーム間相関結果がフレーム間相関画像基準しきい値以下の場合は、小領域上に何かが動いていると判断してカウンタをクリアし、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
以上が、本実施例に係る作業者安全検査装置における第５型動作制御部２３の処理の流れである。
【０１１１】
本実施例に係る作業者安全検査装置によれば、第１の実施例に係る作業者安全検査装置の効果に加え、入力画像の状態を調べて画像上の変化検出のためのしきい値を調整するため、各入力画像の状態に対応したしきい値を設定することができ、環境変化により頑健な作業者安全検査を行うことができる。
【実施例３】
【０１１２】
本発明の第３の実施例に係る作業者安全検査装置では、第１の実施例に係る作業者安全検査装置の第４型画像処理部６において「定常状態検査部１９」を加えると共に、第１の実施例に示した「第４型動作制御部２２」の替わりに「第６型動作制御部２４」を用いた「第６型画像処理部８」により構成する。
【０１１３】
図１１に示すように、定常状態検査部１９は、各小領域についてフレーム間相関結果と背景相関結果の履歴データを集計し、フレーム間相関結果の履歴データにおける平均値（以降「フレーム間相関定常平均値」と呼ぶ）、及び、背景相関の履歴データにおける平均値（以降「背景相関定常平均値」）を計算する。
【０１１４】
次に、各小領域の履歴データについてこれらの平均値からの相関結果の分散を調べ標準偏差を計算し、フレーム間相関結果の標準偏差（以降「フレーム間相関定常標準偏差値」と呼ぶ）、及び、背景相関結果の標準偏差（以降「背景相関定常標準偏差値」と呼ぶ）を求める。
【０１１５】
さらに、各小領域について、予め設定しておいた係数とフレーム間相関定常標準偏差値を掛けた値をフレーム間相関定常平均値から差し引くことにより第６型動作制御部２４で用いるフレーム間相関に関するしきい値（以降「フレーム間相関定常基準しきい値」と呼ぶ）を計算し、また、各小領域について、予め設定しておいた係数と背景相関定常標準偏差値を掛けた値を背景相関定常平均値から差し引くことにより第６型動作制御部２４で用いる背景相関に関するしきい値（以降「背景相関定常基準しきい値」と呼ぶ）を計算する。これら計算した各値を記憶部１１へ保存する。
【０１１６】
第６型動作制御部２４は、第１の実施例で用いた第１型動作制御部２２の各しきい値の替わりに「フレーム間相関定常基準しきい値」及び「背景相関定常基準しきい値」を用いる。また、各相関結果の履歴データを作るための「データ更新」を行う機能を追加すると共に、初期の履歴データを作るための「初期状態設定モード」を設ける。
【０１１７】
ここで、本実施例に係る作業者安全検査装置における第６型動作制御部２４の処理の流れについて説明する。
図１２に示すように、動作モードが「初期状態設定モード」の場合、カウンタを増やし、カウンタが予め設定しておいた値に達すれば、小領域状態を「安定」にし、動作モードを「背景設定モード」にする。
【０１１８】
動作モードが「背景設定モード」の場合、フレーム間相関結果がフレーム間相関定常基準しきい値よりも大きい場合は、カウンタを増やし、フレーム間相関結果がフレーム間相関定常基準しきい値以下の場合は、カウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【０１１９】
動作モードが「動き検出モード」の場合、フレーム間相関結果がフレーム間相関定常基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【０１２０】
また、フレーム間相関結果がフレーム間相関定常基準しきい値以下の場合は、小領域上に何らかの変化を検出したとして、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
【０１２１】
動作モードが「停止検出モード」の場合、背景相関結果が背景相関定常基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
【０１２２】
また、背景相関結果が背景相関定常基準しきい値以下の場合で、かつ、フレーム間相関結果がフレーム間相関定常基準しきい値よりも大きい場合は、小領域上に何かが停止していると判断してカウンタを増やし、動作モードを「停止検出モード」にする。この時、カウンタが予め設定しておいた静止判定フレーム数に達すれば小領域状態を「静止」にする。
【０１２３】
さらに、背景相関結果が背景相関定常基準しきい値以下の場合で、かつ、フレーム間相関結果がフレーム間相関定常基準しきい値以下の場合は、小領域上に何かが動いていると判断してカウンタをクリアし、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
【０１２４】
また、動作モードが「初期状態設定モード」、「背景設定モード」、「動き検出モード」及び「停止検出モード」それぞれに場合においてフレーム間相関結果と背景相関結果を記憶部１１に保存してあるそれぞれの履歴データヘ追加する。データの追加においては、履歴データが用意してある保存容量に達した場合、最も過去のデータを新しいデータヘ更新する。
以上が、本実施例に係る作業者安全検査装置における第６型動作制御部２４の処理の流れである。
【０１２５】
本実施例に係る作業者安全検査装置によれば、第１の実施例に係る作業者安全検査装置の効果に加え、各小領域のフレーム間相関結果と背景相関結果の履歴を調べて画像上の変化検出のためのしきい値を調整するため、画像上の局部的な定常変化状態に柔軟に適応したしきい値を設定することができ、環境変化や局部的な定常変化に頑健な作業者安全検査を行うことができる。
【産業上の利用可能性】
【０１２６】
本発明は、例えば、屋内施設で作業する作業者の安全を検査する装置に利用することが可能であり、特に屋内作業場所において単独作業を行う作業者が、転倒や卒倒等の何らかの理由で動かなくなった状況を、屋内作業場所に設置された監視カメラの画像により検出する、作業者安全検査装置に利用することが可能である。
【符号の説明】
【０１２７】
１ 監視カメラ
２ 第１型画像処理部
３ 結果表示部
４ 第２型画像処理部
５ 第３型画像処理部
６ 第４型画像処理部
７ 第５型画像処理部
８ 第６型画像処理部
１０ 画像入力部
１１ 記憶部
１２ 処理設定部
１３ 差分演算部
１４ 第１型動作制御部
１５ 安全検査部
１６ 結果出力部
１７ 画像状態検査部
１８ 第２型動作制御部
１９ 定常状態検査部
２０ 第３型動作制御部
２１ 相関演算部
２２ 第４型動作制御部
２３ 第５型動作制御部
２４ 第６型動作制御部
【特許請求の範囲】
【請求項１】
画像を撮像するカメラと、
前記カメラで撮像した画像を相関計算を用いた画像処理により画像上に動いて入って来た対象物が一定時間以上静止した状態を検出した場合に異常と判断する画像処理部と、
前記画像処理部における判断結果を表示する結果表示部と
を備える
作業者の安全検査装置において、
前記画像処理部が、
画像データ、各処理変数、カウンタ、結果データ等を保存する記憶部と、
前記カメラの画像を入力し、前記記憶部へ保存する画像入力部と、
安全検査の判断に必要なパラメータを設定し前記記憶部へ保存する処理設定部と、
入力画像データと一つ前の時間間隔で撮影した入力画像データを前記記憶部から取り出し、前記入力画像データと前記一つ前の時間間隔で撮影した入力画像データを適当な小領域に分割して、一つ一つの小領域毎について相関計算を行いフレーム間相関結果を求め、各小領域毎の前記フレーム間相関結果を前記記憶部へ保存し、また、前記入力画像データと予め記憶しておいた背景画像データを前記記憶部から取り出し、その画像を適当な小領域に分割し、一つ一つの小領域毎について相関計算を行い背景相関結果を求め、各小領域毎の前記背景相関結果を前記記憶部へ保存する相関演算部と、
前記背景相関結果が、背景相関に関するしきい値以下の場合で、かつ、前記フレーム間相関結果が、フレーム間相関に関するしきい値よりも大きい場合は、小領域上に何かが停止していると判断して予め設定しておいた値に達したときに小領域状態を「静止」とする動作制御部と、
小領域状態が「静止」になっている小領域の数を静止小領域数とし、静止小領域数が予め設定しておいた静止物判定数以上であれば、動いた後停止して動かなくなった何らかの大きな物体があると判断し、異常結果を前記記憶部へ保存する安全検査部と、
異常の有無を前記画像処理部の外部へ出力すると共に、画像データ、各小領域の小領域状態を前記画像処理部の外部へ出力する結果出力部と
を備える
ことを特徴とする作業者安全検査装置。
【請求項２】
前記背景相関に関するしきい値及び前記フレーム間相関に関するしきい値は、予め設定しておくものであることを特徴とする請求項１に記載の作業者安全検査装置。
【請求項３】
前記画像処理部は、
前記相関演算部で計算された各小領域に関する前記フレーム間相関結果と前記背景相関結果を画像について集計し、前記フレーム間相関結果の画像全体における平均値としてフレーム間相関画像平均値、及び、前記背景相関結果の画像全体における平均値として背景相関画像平均値を計算し、次に、前記フレーム間相関画像平均値及び前記背景相関画像平均値からの相関結果の分散を調べ標準偏差を計算し、前記フレーム間相関結果の標準偏差としてフレーム間相関画像標準偏差値、及び、前記背景相関結果の標準偏差として背景相関画像標準偏差値を求め、さらに、予め設定しておいた係数と前記フレーム間相関画像標準偏差値を掛けた値を前記フレーム間相関画像平均値から差し引くことにより前記フレーム間相関に関するしきい値を計算し、また、予め設定しておいた係数と前記背景相関画像標準偏差値を掛けた値を前記背景相関画像平均値から差し引くことにより前記背景相関に関するしきい値を計算する画像状態検査部を備える
ことを特徴とする請求項１に記載の作業者安全検査装置。
【請求項４】
前記画像処理部は、
各小領域について前記フレーム間相関結果と前記背景相関結果の履歴データを集計し、前記フレーム間相関結果の履歴データにおける平均値としてフレーム間相関定常平均値、及び、前記背景相関結果の履歴データにおける平均値として背景相関定常平均値を計算し、次に、各小領域の履歴データについて前記フレーム間相関定常平均値及び前記背景相関定常平均値からの相関結果の分散を調べ標準偏差を計算し、前記フレーム間相関結果の標準偏差としてフレーム間相関定常標準偏差値、及び、前記背景相関結果の標準偏差として背景相関定常標準偏差値を求め、さらに、各小領域について、予め設定しておいた係数と前記フレーム間相関定常標準偏差値を掛けた値を前記フレーム間相関定常平均値から差し引くことにより、前記フレーム間相関に関するしきい値を計算し、また、各小領域について、予め設定しておいた係数と前記背景相関定常標準偏差値を掛けた値を前記背景相関定常平均値から差し引くことにより、前記背景相関に関するしきい値を計算し、前記フレーム間相関に関するしきい値及び前記背景相関に関するしきい値を前記記憶部へ保存する定常状態検査部を備える
ことを特徴とする請求項１に記載の作業者安全検査装置。
【請求項１】
画像を撮像するカメラと、
前記カメラで撮像した画像を相関計算を用いた画像処理により画像上に動いて入って来た対象物が一定時間以上静止した状態を検出した場合に異常と判断する画像処理部と、
前記画像処理部における判断結果を表示する結果表示部と
を備える
作業者の安全検査装置において、
前記画像処理部が、
画像データ、各処理変数、カウンタ、結果データ等を保存する記憶部と、
前記カメラの画像を入力し、前記記憶部へ保存する画像入力部と、
安全検査の判断に必要なパラメータを設定し前記記憶部へ保存する処理設定部と、
入力画像データと一つ前の時間間隔で撮影した入力画像データを前記記憶部から取り出し、前記入力画像データと前記一つ前の時間間隔で撮影した入力画像データを適当な小領域に分割して、一つ一つの小領域毎について相関計算を行いフレーム間相関結果を求め、各小領域毎の前記フレーム間相関結果を前記記憶部へ保存し、また、前記入力画像データと予め記憶しておいた背景画像データを前記記憶部から取り出し、その画像を適当な小領域に分割し、一つ一つの小領域毎について相関計算を行い背景相関結果を求め、各小領域毎の前記背景相関結果を前記記憶部へ保存する相関演算部と、
前記背景相関結果が、背景相関に関するしきい値以下の場合で、かつ、前記フレーム間相関結果が、フレーム間相関に関するしきい値よりも大きい場合は、小領域上に何かが停止していると判断して予め設定しておいた値に達したときに小領域状態を「静止」とする動作制御部と、
小領域状態が「静止」になっている小領域の数を静止小領域数とし、静止小領域数が予め設定しておいた静止物判定数以上であれば、動いた後停止して動かなくなった何らかの大きな物体があると判断し、異常結果を前記記憶部へ保存する安全検査部と、
異常の有無を前記画像処理部の外部へ出力すると共に、画像データ、各小領域の小領域状態を前記画像処理部の外部へ出力する結果出力部と
を備える
ことを特徴とする作業者安全検査装置。
【請求項２】
前記背景相関に関するしきい値及び前記フレーム間相関に関するしきい値は、予め設定しておくものであることを特徴とする請求項１に記載の作業者安全検査装置。
【請求項３】
前記画像処理部は、
前記相関演算部で計算された各小領域に関する前記フレーム間相関結果と前記背景相関結果を画像について集計し、前記フレーム間相関結果の画像全体における平均値としてフレーム間相関画像平均値、及び、前記背景相関結果の画像全体における平均値として背景相関画像平均値を計算し、次に、前記フレーム間相関画像平均値及び前記背景相関画像平均値からの相関結果の分散を調べ標準偏差を計算し、前記フレーム間相関結果の標準偏差としてフレーム間相関画像標準偏差値、及び、前記背景相関結果の標準偏差として背景相関画像標準偏差値を求め、さらに、予め設定しておいた係数と前記フレーム間相関画像標準偏差値を掛けた値を前記フレーム間相関画像平均値から差し引くことにより前記フレーム間相関に関するしきい値を計算し、また、予め設定しておいた係数と前記背景相関画像標準偏差値を掛けた値を前記背景相関画像平均値から差し引くことにより前記背景相関に関するしきい値を計算する画像状態検査部を備える
ことを特徴とする請求項１に記載の作業者安全検査装置。
【請求項４】
前記画像処理部は、
各小領域について前記フレーム間相関結果と前記背景相関結果の履歴データを集計し、前記フレーム間相関結果の履歴データにおける平均値としてフレーム間相関定常平均値、及び、前記背景相関結果の履歴データにおける平均値として背景相関定常平均値を計算し、次に、各小領域の履歴データについて前記フレーム間相関定常平均値及び前記背景相関定常平均値からの相関結果の分散を調べ標準偏差を計算し、前記フレーム間相関結果の標準偏差としてフレーム間相関定常標準偏差値、及び、前記背景相関結果の標準偏差として背景相関定常標準偏差値を求め、さらに、各小領域について、予め設定しておいた係数と前記フレーム間相関定常標準偏差値を掛けた値を前記フレーム間相関定常平均値から差し引くことにより、前記フレーム間相関に関するしきい値を計算し、また、各小領域について、予め設定しておいた係数と前記背景相関定常標準偏差値を掛けた値を前記背景相関定常平均値から差し引くことにより、前記背景相関に関するしきい値を計算し、前記フレーム間相関に関するしきい値及び前記背景相関に関するしきい値を前記記憶部へ保存する定常状態検査部を備える
ことを特徴とする請求項１に記載の作業者安全検査装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２１６２２１（Ｐ２０１２−２１６２２１Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１２−１２７５５０（Ｐ２０１２−１２７５５０）
【出願日】平成２４年６月４日（２０１２．６．４）
【分割の表示】特願２００８−７９５６４（Ｐ２００８−７９５６４）の分割
【原出願日】平成２０年３月２６日（２００８．３．２６）
【出願人】（０００００６１０５）株式会社明電舎 (1,739)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２４年６月４日（２０１２．６．４）
【分割の表示】特願２００８−７９５６４（Ｐ２００８−７９５６４）の分割
【原出願日】平成２０年３月２６日（２００８．３．２６）
【出願人】（０００００６１０５）株式会社明電舎 (1,739)
【Ｆターム（参考）】
[ Back to top ]