建設・土木作業車両の作業安全監視システム
【課題】大規模なシステムを組むこと無く、作業車両にのみ取り付けることで完結する安価な構成でありながら、操作者による作業の安全確認に寄与することができる建設・土木作業車両の作業安全監視システムを提供すること。
【解決手段】旋回動作やアームの伸長度合いにより可動域が変化する油圧ショベルAの作業安全監視システムにおいて、油圧ショベルAに搭載され、作業車両周囲のカメラ映像データを取得するカメラ1と、油圧ショベルAに搭載され、操作者による操作ミスを想定した最大可動域を危険領域と判定する危険領域判定処理部3dと、カメラ1からのカメラ映像データに、判定された危険領域を重ね合わせるスーパーインポーズ処理部3fを有する安全監視コントローラ3と、油圧ショベルAの操作室22に設定され、カメラ映像に危険領域を重畳した画像を内部警告表示として映し出す画像モニター6と、を備えた。
【解決手段】旋回動作やアームの伸長度合いにより可動域が変化する油圧ショベルAの作業安全監視システムにおいて、油圧ショベルAに搭載され、作業車両周囲のカメラ映像データを取得するカメラ1と、油圧ショベルAに搭載され、操作者による操作ミスを想定した最大可動域を危険領域と判定する危険領域判定処理部3dと、カメラ1からのカメラ映像データに、判定された危険領域を重ね合わせるスーパーインポーズ処理部3fを有する安全監視コントローラ3と、油圧ショベルAの操作室22に設定され、カメラ映像に危険領域を重畳した画像を内部警告表示として映し出す画像モニター6と、を備えた。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、油圧ショベル等のように、旋回動作やアームの伸長度合いにより可動域が変化する建設・土木作業車両の作業安全監視システムに関する。
【背景技術】
【0002】
建設・土木作業車両の一例である油圧ショベルは、バケットを下向きにつけるバックホーの形式で運用されることが多いが、ブレーカー(圧搾空気、油圧等で操作される削岩機状のコンクリート破砕機)、リフティングマグネット(鋼材等の廃棄物分類用)、グラップル(クチバシ状の木造家屋解体、廃棄物分類用)等のアタッチメントに付け替え、その用途に合わせて運用されている。これは形状も大きさも違っており、作業車両の旋回等を行う際の可動半径が微妙に異なる。
【0003】
また、操作方法自体もクローラと呼ばれる無限軌道(キャタピラー)の操作方法は共通であるが、実際の現場で作業を行う場合の作業装置自体の操作方法は、例えば、JIS方式やコマツ方式や三菱方式等、機種により違いがあり不慣れな形式の場合、操作ミスにつながりかねない。
【0004】
上記操作ミスが生じても、誰も居ない原野であれば問題は生じないが、色々な作業者が混在する作業現場では、わずかのミスが人命に関わる事故につながることもあり何らかの対策が必要とされていた。
【0005】
通常、それらバケット等のアタッチメントを付けた場合の旋回動作やその他の操作による危険範囲の認識は、操作者の経験と勘に頼るところが大きく、外部監督者による危険回避のための視認による確認作業や周囲で作業を行う作業者自身の注意等により、その危険性を回避していたのが現状であった。
【0006】
このような状況に対し、各作業者全員に特殊な端末を所持させることで、各人の位置を把握し、これらの危険を回避しようとする土木工事現場における作業安全監視システムが提案されている。例えば、GPS等の位置情報を検出可能な手段及びそのデータや音声データの送受信機能を持ち、更に油圧ショベル側にある装置本体とのデータリンクが可能である様な機器を所持させ、これを用いての危険回避を図るようにしている(例えば、特許文献1参照)。
【特許文献1】特開2002−138518号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
従来の土木工事現場における作業安全監視システムの場合、確かに、危険領域に作業者が存在することを人が介在すること無く機械的に情報を提供することが可能で有り、非常に有効な手段である。しかし、これは現行の技術では非常に高価な物となり、又、各作業者全員に配布することが必須であるため、普及に難があった。更に、未配布の作業者、見学者、突然の来訪者等が存在する場合、これらの人員にはその恩恵は無く、逆に機械制御を行っている作業者にとっては警告が無いことで安心して作業機械の操作を行ってしまい、却って安全性を損なうことになりかねない、という問題があった。
【0008】
本発明は、上記問題に着目してなされたもので、大規模なシステムを組むこと無く、作業車両にのみ取り付けることで完結する安価な構成でありながら、操作者による作業の安全確認に寄与することができる建設・土木作業車両の作業安全監視システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するため、本発明では、旋回動作やアームの伸長度合いにより可動域が変化する建設・土木作業車両の作業安全監視システムにおいて、
前記建設・土木作業車両に搭載され、作業車両周囲のカメラ映像データを取得するカメラと、
前記建設・土木作業車両に搭載され、操作者による操作ミスを想定した最大可動域を危険領域と判定する危険領域判定処理部と、前記カメラからのカメラ映像データに、判定された危険領域を重ね合わせるスーパーインポーズ処理部を有する安全監視コントローラと、
前記建設・土木作業車両の操作室に設定され、カメラ映像に危険領域を重畳した画像を内部警告表示として映し出す画像モニターと、
を備えたことを特徴とする。
【発明の効果】
【0010】
よって、本発明の建設・土木作業車両の作業安全監視システムにあっては、安全監視コントローラの危険領域判定処理部において、操作者による操作ミスを想定した最大可動域が危険領域と判定される。そして、安全監視コントローラのスーパーインポーズ処理部において、建設・土木作業車両に搭載されたカメラからのカメラ映像データに、判定された危険領域が重ね合わせられる。そして、建設・土木作業車両の操作室に設定された画像モニターにおいて、カメラ映像に危険領域を重畳した画像が内部警告表示として映し出される。
すなわち、システム構成要素であるカメラと安全監視コントローラと画像モニターは、いずれも建設・土木作業車両に搭載されているため、作業車両にのみ取り付けることでシステムが完結する。そして、建設・土木作業車両の操作室内の操作者は、カメラ映像に危険領域を重畳した画像を映し出す画像モニターを見ることで、作業環境の中で危険領域が占める位置関係を視覚情報として常に得ることができる。この位置関係情報は、作業を安全に進めるため、あるいは、事故を未然に防ぐための操作者に対する内部警告となる。
この結果、大規模なシステムを組むこと無く、作業車両にのみ取り付けることで完結する安価な構成でありながら、操作者による作業の安全確認に寄与することができる。
【発明を実施するための最良の形態】
【0011】
以下、本発明の建設・土木作業車両の作業安全監視システムを実現する最良の形態を、図面に示す実施例1および実施例2に基づいて説明する。
【実施例1】
【0012】
まず、構成を説明する。
図1は、実施例1の油圧ショベル(建設・土木作業車両の一例)の作業安全監視システムを示す制御系全体システム図である。図2は、実施例1の作業安全監視システムが適用された油圧ショベルの各部名称を説明するための概略側面図である。図3は、実施例1の作業安全監視システムが適用された油圧ショベルへのカメラの設定位置を説明するための平面図である。図4は、実施例1の作業安全監視システムが適用された油圧ショベルへのレーザー投光器の設定位置を説明するための斜視図である。
【0013】
実施例1の油圧ショベルAの作業安全監視システムは、図1に示すように、カメラ1と、駆動系センサー2と、安全監視コントローラ3と、メッセージ発生用外部手動スイッチ4と、外部スピーカー5と、画像モニター6と、レーザー発光・駆動装置7と、強制発光用外部警告スイッチ8と、近赤外線レーザー投光器9(投光器)と、可視光レーザー投光器10(投光器)と、を備えている。
【0014】
前記油圧ショベルAは、図2に示すように、下部走行体20と、上部旋回体21と、操作室22と、ブーム23と、アーム24と、アタッチメント(バケット)25と、を備えている。
【0015】
前記カメラ1は、油圧ショベルAの周囲映像(作業環境)を映し出すCCDカメラやCMOSカメラ等による撮像手段であり、第1カメラ1aと、第2カメラ1bと、第3カメラ1cと、第4カメラ1dと、の4台のカメラを搭載している。これらのカメラ1a,1b,1c,1dの代表的な取り付け位置は、図3に示すように、下部走行体20の前方側に第1カメラ1aを取り付け、下部走行体20の右側方側に第2カメラ1bを取り付け、下部走行体20の左側方側に第3カメラ1cを取り付け、下部走行体20の後方側に第4カメラ1dを取り付けている。これによって、作業によるブーム23やアーム24の旋回動作に対して、モニター画面の視界が変化しないで、油圧ショベルAの全周囲を監視できるカメラシステムを構築している。
【0016】
前記駆動系センサー2は、油圧ショベルAの上部旋回体21が下部走行体20に対して旋回動作をした際、ブーム23,アーム24,アタッチメント25の旋回移動による危険領域を判定するための入力情報を提供するセンサーである。この駆動系センサー2としては、油圧ショベルAのブーム23とアーム24の各関節部の角度を検出する第1関節部角度センサー2a,第2関節部角度センサー2b,第3関節部角度センサー2cと、上部旋回体21に取り付けられた旋回部角度センサー2dと、油圧ショベルAの作業姿勢を検出するジャイロセンサー2e等を備えている。前記関節部角度センサー2a,2b,2cは、パワーショベルの腕であるブーム23のうち付け根に近い部分と、アーム24のうち腕の先端に近い部分と、アタッチメント25の取り付け関節部分に取り付けている。また、旋回部角度センサー2dは、上部旋回体21が下部走行体20に対してどの様な状態にあるかを検知する。
【0017】
前記安全監視コントローラ3は、基本的に、入力されたカメラ映像へ画像処理を施し、その状況にあった映像を画像モニター6へ出力する。そして、カメラ映像中に判定された危険領域をスーパーインポーズし、これを操作者に警告する構成となっている。
この安全監視コントローラ3は、図1に示すように、画像メモリ3aと、画像処理部3bと、画像認識処理部3cと、危険領域判定処理部3dと、画像処理用基本情報ROM3eと、スーパーインポーズ処理部3fと、表示制御系3gと、警告メッセージ発生器3hと、警告音発生器3iと、危険領域外部表示制御部3jと、を備えている。
【0018】
前記画像処理部3bは、各カメラ1a,1b,1c,1dから入力されたカメラ映像データを一時的に出力画像メモリ3aへ保存し、保存したカメラ映像データのうち、危険領域判定処理部3dにて判定された危険領域を含むカメラ映像データを、あたかも上空から見下ろした様に見える俯瞰映像データに視点変換する画像処理を施す。
【0019】
前記画像認識処理部3cは、画像処理部3bにより生成された俯瞰映像データの危険領域内に作業者の存在を認識するための画像認識処理を行う。
【0020】
前記危険領域判定処理部3dは、油圧ショベルAの各関節部に取り付けられた関節部角度センサー2a,2b,2cや上部旋回体21に取り付けられた旋回部角度センサー2d等の情報と、画像処理用基本情報ROM3eにより、初期値として与えられている各パラメータ(アーム・ブームの長さカメラ取り付け角度等)の情報に基づき、現時点でのブーム23やアーム24やアタッチメント25等の可動域を計算する。そして、計算された可動域から、万が一予期しない操作ミスにより旋回・バケットの掬い動作などが起こった場合の危険領域を判定する。
【0021】
前記スーパーインポーズ処理部3fは、前記画像処理部3bにより取得された油圧ショベルAとその周囲をあらわす俯瞰映像データに、前記危険領域判定処理部3dにより判定された危険領域を重ね合わせるスーパーインポーズ処理を行う。そして、画像認識処理部3cにおいて、危険領域内に作業者等の存在が認識された場合には、危険領域に入り込んでいる作業者等を囲む特定枠(赤枠等)の表示をさらに重ね合わせる。
【0022】
前記表示制御系3gは、前記スーパーインポーズ処理部3fからの映像データを画像モニター6に表示するためのモニター表示出力信号に変換する。
【0023】
前記警告メッセージ発生器3hは、前記メッセージ発生用外部手動スイッチ4に対するスイッチON操作時であって、前記画像認識処理部3cにおいて危険領域内に作業者の存在が認識された場合、外部スピーカー5により音声や楽曲等を発するスピーカー駆動信号を出力する。
【0024】
前記警告音発生器3iは、前記画像認識処理部3cにおいて危険領域内に作業者の存在が認識された場合、スイッチ操作等の条件を加えることなく、外部スピーカー5により警告音を発するスピーカー駆動信号を出力する。また、前記強制発光用外部警告スイッチ8に対するスイッチON操作時、外部スピーカー5により警告音を発するスピーカー駆動信号を出力する。
【0025】
前記危険領域外部表示制御部3jは、前記強制発光用外部警告スイッチ8に対するスイッチOFF操作時、前記表示制御系3gからのモニター表示出力信号に基づき、常時監視するために危険領域を近赤外線レーザー投光器9からのレーザー照射により描画するレーザー発光走査駆動指令をレーザー発光・駆動装置7に出力する。また、前記強制発光用外部警告スイッチ8に対するスイッチON操作時、前記表示制御系3gからのモニター表示出力信号に基づき、注意喚起のために危険領域を可視光レーザー投光器10からのレーザー発振により描画するレーザー発光走査駆動指令をレーザー発光・駆動装置7に出力する。
【0026】
前記メッセージ発生用外部手動スイッチ4は、操作室22内の操作者から手が届く位置に設定され、危険領域内に作業者の存在が認識された場合、点滅誘導に基づきON操作を促すことで、定められた音声・音楽・警告音を外部スピーカー5より出力する。
【0027】
前記外部スピーカー5は、油圧ショベルAの操作室22の外側上部位置等に設けられ、警告メッセージ発生器3hまたは警告音発生器3iからのスピーカー駆動信号により所定の音を外部の作業者に向けて発する。
【0028】
前記画像モニター6は、油圧ショベルAの操作室22内部のうち、操作者から視認し易い位置に設けられる。
【0029】
前記レーザー発光・駆動装置7は、強制発光用外部警告スイッチ8がOFFである常時監視時、近赤外線レーザー投光器9に対しレーザー発光走査駆動指令を出力し、強制発光用外部警告スイッチ8がONである注意喚起時、可視光レーザー投光器10に対しレーザー発光走査駆動指令を出力する。
【0030】
前記強制発光用外部警告スイッチ8は、危険領域内に作業者の存在が認識された場合、強制的にONへ切り替えることで、危険領域を可視光レーザー投光器10からのレーザー発振により描画する。なお、手動操作により強制発光用外部警告スイッチ8のON/OFFも行うことができる。
【0031】
前記可視光レーザー投光器9および前記近赤外線レーザー投光器10は、油圧ショベルAの高所数点から危険領域を描画できるように設けられる。具体的には、図4に示すように、操作室22の外側上部の4箇所位置に、第1可視光レーザー投光器9aおよび第1近赤外線レーザー投光器10aと、第2可視光レーザー投光器9bおよび第2近赤外線レーザー投光器10bと、第3可視光レーザー投光器9cおよび第3近赤外線レーザー投光器10cと、第4可視光レーザー投光器9dおよび第4近赤外線レーザー投光器10dと、が取り付けられている。
【0032】
図5は、実施例1の画像認識機能を有する安全監視コントローラ3にて実行される油圧ショベル作業の安全監視制御処理の流れを示すフローチャートであり、以下、各ステップについて説明する。
【0033】
ステップS51では、駆動系センサー2の初期値を取得し、ステップS52へ移行する。
ここで、駆動系センサー2からのセンサー値は、2つの記録エリア(「記録エリア1」と「記録エリア2」)へ代入される。記録エリア1には、初期値を除き、1サイクル前の駆動系センサー2の値が入る。記録エリア2には、初期値を除き、現在の駆動系センサー2の値が入る。
【0034】
ステップS52では、ステップS51での駆動系センサー2の初期値取得に続き、初期条件での危険領域を画像モニター6へ表示し、ステップS53へ移行する。
【0035】
ステップS53では、ステップS52での初期条件での危険領域のモニター表示に続き、強制発光用外部警告スイッチ8はOFFであるか否かを判断し、Yesの場合(強制発光用外部警告スイッチ8がOFF)はステップS56へ移行し、Noの場合(強制発光用外部警告スイッチ8がON)はステップS54へ移行する。
【0036】
ステップS54では、ステップS53での強制発光用外部警告スイッチ8がONであるとの判断に続き、外部作業者への警告動作として、可視光レーザー投光器9を用い、レーザー発振による外部作業エリアに対し危険領域の描画動作を行い、ステップS55へ移行する。
【0037】
ステップS55では、ステップS54での可視光レーザーによる危険領域の描画に続き、外部スピーカー5により外部の作業者へ警告音を鳴らし、ステップS56へ移行する。
【0038】
ステップS56では、ステップS53での強制発光用外部警告スイッチ8がOFFであるとの判断、あるいは、ステップS55での警告音の吹鳴に続き、駆動系センサー2の現在値を取得し、ステップS57へ移行する。
【0039】
ステップS57では、ステップS56での駆動系センサー2の現在値取得に続き、駆動系センサー2の現在値を記録エリア2へ代入し、ステップS58へ移行する。
【0040】
ステップS58では、ステップS57での現在値の記録エリア2への代入に続き、記録エリア1の1サイクル前の駆動系センサー2の値と、記録エリア2へ代入された駆動系センサー2の現在値を比較し、駆動系センサー2の値に変化があるか否かを判断し、Yesの場合(アーム24の伸長に変化有り)はステップS59へ移行し、Noの場合(アーム24の伸長に変化無し)はステップS53へ戻る。
【0041】
ステップS59では、ステップS58での駆動系センサー2の値に変化があるとの判断に続き、記録エリア2のデータ値(現在値)に基づき、危険領域を演算し、ステップS60へ移行する。
【0042】
ステップS60では、ステップS59での危険領域の演算に続き、操作者への危険領域の表示として、カメラ映像データに基づく俯瞰映像に、演算された危険領域を重ね合わせてスーパーインポーズ化し、これを画像モニター6に表示し、ステップS61へ移行する。
【0043】
ステップS61では、ステップS60での画像モニター6への表示に続き、駆動系センサー2の現在値を記憶(記録エリア1へ記録)し、ステップS62へ移行する。
【0044】
ステップS62では、ステップS61での駆動系センサー2の現在値の記憶に続き、近赤外線レーザー投光器9から外部の危険作業エリアへ近赤外線レーザービームを照射し、ステップS63へ移行する。
【0045】
ステップS63では、ステップS62での近赤外線レーザービームの照射に続き、作業者が危険エリアに存在するか否かを判断し、Yesの場合はステップS64へ移行し、Noの場合はステップS53へ移行する。
ここで、操作者の画像モニター6上では、危険エリアに居る外部作業者が、近赤外線レーザービームの照射により、鮮明に浮かび上がる。これを利用した画像認識処理(例えば、白い部分の形を認識する二値化処理等)により、作業者が危険エリアに存在するか否かを判断する。
【0046】
ステップS64では、ステップS63での画像認識処理により作業者が危険エリアに存在するとの判断に続き、強制発光用外部警告スイッチ8を強制的にONにし、ステップS65へ移行する。
【0047】
ステップS65では、ステップS64での強制発光用外部警告スイッチ8のONに続き、メッセージ発生用外部手動スイッチ4はOFFであるか否かを判断し、Yesの場合(メッセージ発生用外部手動スイッチ4はOFF)はステップS67へ移行し、Noの場合(メッセージ発生用外部手動スイッチ4はON)はステップS66へ移行する。
【0048】
ステップS66では、ステップS65でのメッセージ発生用外部手動スイッチ4はONであるとの判断に続き、定められた音声・音楽・警告音を外部スピーカー5により出力し、ステップS67へ移行する。
【0049】
ステップS67では、ステップS65でのメッセージ発生用外部手動スイッチ4はOFFであるとの判断、あるいは、ステップS66での警告メッセージの発生に続き、ΔT時間が経過したか否かを判断し、Yesの場合(ΔT時間の経過後)はステップS53へ戻り、Noの場合(ΔT時間の経過前)はステップS67の判断を繰り返す。
ここで、ΔT時間は、設定可能な待ち時間(ウェイト時間)であり、初期設定はΔT=0を想定する。
【0050】
次に、作用を説明する。
実施例1の油圧ショベルの作業安全監視システムにおける作用を、「危険領域に作業者等の存在が認識されない場合の作業安全監視作用」、「危険領域内に入り込んだ作業者等の存在認識作用」、「危険領域に作業者等の存在が認識された場合の作業安全監視作用」に分けて説明する。
【0051】
[危険領域に作業者等の存在が認識されない場合の作業安全監視作用]
まず、安全監視制御処理の流れを説明する。
危険領域に作業者等の存在が認識されない場合、図5のフローチャートにおいて、ステップS51→ステップS52→ステップS53→ステップS56→ステップS57→ステップS58→ステップS59→ステップS60→ステップS61→ステップS62→ステップS63へと進む。そして、ステップS63にてNoとの判断に基づき、ステップS53へ戻り、駆動系センサー2の値に変化がない限り、ステップS53→ステップS56→ステップS57→ステップS58へと進む流れが繰り返される。そして、駆動系センサー2の値に変化があると、ステップS58からステップS59→ステップS60→ステップS61→ステップS62→ステップS63へと進み、再びステップS53へ戻る流れとなる。
【0052】
この場合、ステップS59では、記録エリア2のデータ値(現在値)に基づき、危険領域が演算される。この危険領域は、アーム24・ブーム23・上部旋回体21・アタッチメント(バケット)25等の関節部に取り付けられた各関節部角度センサー2a,2b,2cの情報に基づき演算される。つまり、現時点で作業用のアーム24の伸張度合いや下部走行体20に対しての角度に基づき、仮に現時点で操作ミスや何らかの不具合が生じた時にバケット25やアーム24がぶつかり得る範囲を計算することとなる。腕の長さは、初期値として与えられているため、各関節部の角度が解れば簡単な三角関数でも旋回半径は求められる。これらの計算は、リアルタイムに計算され、危険領域は常時更新され表示される。
【0053】
次に、操作者への内部警告表示について説明する。
ステップS60では、操作者への危険領域の内部警告表示として、カメラ映像データに基づく俯瞰映像に、演算された危険領域を重ね合わせてスーパーインポーズ化され、これが画像モニター6に表示される。
【0054】
したがって、油圧ショベルAの操作室22内の操作者は、カメラ映像に危険領域を重畳した画像を映し出す画像モニター6を見ることで、作業環境の中で危険領域が占める位置関係を視覚情報として常に得ることができる。この位置関係情報は、作業を安全に進めるため、あるいは、事故を未然に防ぐための操作者に対する内部警告となり、操作者による作業の安全確認に寄与することができる。以下、画像モニター6への表示例を説明する。
【0055】
図6は、俯瞰映像にスーパーインポーズ機能を用いて危険領域を表示したモニター画面の一例を示す図である。
この図6では各カメラ映像を画像処理し、油圧ショベルAとその周囲状況が、あたかも上空から見下ろした様に見える俯瞰図に変換して表示される。そして、この映像の油圧ショベルAの周りに、スーパーインポーズ機能を用いて内側から、下部走行体20の旋回運動による危険領域aと、上部旋回体21の旋回運動による危険領域bと、アーム伸長時の危険領域cと、が重畳表示されている。危険領域aは、クローラ(キャタピラー)の駆動による巻き込み事故を想定した場合の線である。危険領域bは、上部旋回体21自体が回転したときに突起物による危険領域を想定した場合の線である。危険領域cは、アーム24が伸長し、かつ、上部旋回体21が回転したことを想定したときの危険領域を示す線である。
【0056】
図7は、実際の油圧ショベルAの挙動と危険領域を示すイメージ図である。
この図7では、アーム24とブーム23が動くことにより、危険領域が、内側のアーム収納時の旋回軌道から現在の最先端部までの旋回軌道までの範囲にて変化することを表している。
【0057】
図8は、旋回による危険領域に加えバケット25の掘削作業によるより危険度の高い領域を別枠で表示する一例を示す図である。
この図8では、危険度の高い領域を別枠で表示することで、危険領域のうち、危険度の高い領域を知ることができる。
【0058】
次に、作業者等への外部警告表示について説明する。
ステップS62では、近赤外線レーザー投光器9から外部の危険作業エリアへ近赤外線レーザービームを照射する。
【0059】
上記画像モニター6への表示により、危険領域を油圧ショベルAの操作者に伝達できることになるが、外部で作業を行っている者へはこの情報が伝わらない。特に、日中の様な明るい時は距離感も掴み易く、危険度は比較的低めであるが、夕闇が迫る薄暮の時間帯や夜間作業の際には、作業者の勘も鈍り危険度が増すことになる。
【0060】
そこで、実施例1では、薄暮の状況でも比較的視認性の良い可視光レーザー光線を用いて、外部作業現場にも危険領域を表示するようにしている。つまり、俯瞰映像上にスーパーインポーズされる危険領域データを、可視光レーザー投光器10からのレーザー発光を用いて実際の工事現場の地表面に表示するものである。
【0061】
したがって、油圧ショベルAの近くで作業している作業者等は、可視光レーザー投光器10からのレーザー発光を用いた危険領域の地表面表示を見ることで、工事現場の中で危険領域を視覚情報として常に得ることができる。この危険領域情報は、作業を安全に進めるため、あるいは、事故を未然に防ぐための作業者等に対する外部警告となり、作業者等による作業の安全確認に寄与することができる。以下、レーザー発光を用いた危険領域の地表面表示例を説明する。
【0062】
図9は、外部への危険領域の理想的な表示イメージを示す図である。図10はレーザー光による危険領域の理想的な外部表示イメージを示す図である。図11は、レーザー光による危険領域の現実的な外部表示イメージを示す図である。
【0063】
理想的には、図9および図10に示す様に、作業車両の上空から車両の旋回軸を中心とした円が表示されることをイメージしている。しかし、実際には車体自身が影となり描画の際に死角を生じてしまうため、図11に示す様に、作業車両の高所数点から危険領域を分割して描画・表示することになる。図11では、近赤外線レーザー投光器9を設定した各々の点(実施例1では4点)から分割し、走査することで、危険領域を描画しようとしている。
【0064】
この場合の描画は、危険領域の境界のみをレーザー光にて描画しても良いが、実施例1では、危険領域内を上下左右に空間的に走査し、危険領域全体を浮かび上がらせる形としている。また、強力なレーザー光であると、光が視覚負担を及ぼす可能性もあるため、実施例1では、通常は、非常に弱い光である近赤外線レーザー光線により走査を行い、危険領域内に外部作業者等が侵入してきたとき、つまり、危険喚起を要する場合にのみ、強い光による可視光レーザーを用いる形を取っている。
【0065】
[危険領域内に入り込んだ作業者等の存在認識作用]
ステップS63では、作業者が危険エリアに存在するか否かを判断する。つまり、操作者の画像モニター6上では、危険領域に居る外部作業者が、近赤外線レーザービームの照射により、鮮明に浮かび上がる。これを利用した画像認識処理により、作業者等が危険領域に存在するか否かを判断する。
【0066】
上記のように、危険領域内に作業者等の存在が認識できないとき、弱い光による近赤外線レーザー光を用いることで、光による視覚負担を軽減できて有用であるが、近赤外線レーザー光を用いる場合は次の利点も生じる。
【0067】
前述の様に、斜め高所から照射される近赤外線レーザーは、平面である地面に対しては乱反射を除き、反射光は生じないため、CCDカメラで見ても知覚できない。しかし、危険領域内に入り込んだ人体の様な立体物に対しては、高さを持っている分、反射光を生じ、何らかの物体が危険領域内に入り込んだことが、より判り易くなってくる。
【0068】
言い換えれば、薄暮・夜間では危険領域内の立体物のみが、浮かび上がることになり、人間の認識が非常に容易になると共に、操作者の安全操作に寄与できる。例えば、図12に示すように、近赤外線で照らし出された作業者等は、近赤外線が照射された足のみが白くハッキリと浮かび上がることになる。
【0069】
[危険領域に作業者等の存在が認識された場合の作業安全監視作用]
まず、安全監視制御処理の流れを説明する。
危険領域に作業者等の存在が認識された場合、図5のフローチャートにおいて、ステップS63からステップS64→ステップS65→ステップS67へと進む。そして、ウェイト時間を経過すると、ステップS67からステップS53→ステップS54→ステップS55→ステップS56→ステップS57→ステップS58→ステップS59→ステップS60→ステップS61→ステップS62→ステップS63へと進む。そして、メッセージ発生用外部手動スイッチ4のON操作を行うと、ステップS63からステップS64→ステップS65→ステップS66→ステップS67へと進む流れとなる。
【0070】
次に、操作者への内部警告表示について説明する。
ステップS60では、危険領域に作業者等の存在が認識されると、操作者への危険領域の内部警告表示として、カメラ映像データに基づく俯瞰映像に、演算された危険領域と認識された作業者等を赤枠で囲んだ表示を重ね合わせてスーパーインポーズ化され、これが画像モニター6に表示される。
【0071】
したがって、油圧ショベルAの操作室22内の操作者は、カメラ映像に危険領域と侵入者表示を重畳した画像を映し出す画像モニター6を見ることで、作業環境の中で危険領域のどの位置に侵入者が存在しているかを視覚情報として得ることができる。この侵入者の位置情報は、作業を安全に進めるため、あるいは、事故を未然に防ぐための操作者に対する内部警告となり、操作者による作業の安全確認に寄与することができる。
【0072】
次に、作業者等への外部警告表示について説明する。
ステップS54では、危険領域に作業者等の存在が認識されると、近赤外線レーザー発光に代え、可視光レーザー投光器10から外部の危険作業エリアへ可視光レーザー発振による描画動作が行われる。
【0073】
したがって、危険領域内に入り込んだ作業者等は、可視光レーザー投光器10からの視認性が高い強い光による可視光レーザーを用いた危険領域の描画表示を見ることで、直ちに危険領域から脱出すべきことを視覚情報として得ることができる。この危険領域の描画表示情報は、作業を安全に進めるため、あるいは、事故を未然に防ぐための作業者等に対する外部警告となり、作業者等による作業の安全確認に寄与することができる。
【0074】
次に、作業者等への警告音発生について説明する。
ステップS55では、危険領域に作業者等の存在が認識されると、外部スピーカー5から警告音が鳴らされる。
【0075】
したがって、危険領域内に入り込んでいることを知らずに熱心に作業を継続している作業者等に対し、外部スピーカー5から警告音により、直ちに危険領域から脱出すべきことを聴覚情報として得ることができる。この聴覚情報は、作業を安全に進めるため、あるいは、事故を未然に防ぐための作業者等に対する視覚情報を補助する外部警告となり、作業者等による作業の安全確認に寄与することができる。
【0076】
さらに、外部スピーカー5から警告音を発しても、工事現場の騒音等により、作業者等に対し危険領域に入っていることを知らせることができない場合には、操作者が手動によりメッセージ発生用外部手動スイッチ4をON操作すると、ステップS66において、定められた音声・音楽・警告音が外部スピーカー5から発せられる。
【0077】
したがって、作業者等への外部警告として、レーザー光による描画表示、警告音、メッセージ音というように、3通りの外部警告を行うことで、確実に作業者等に危険領域から脱出すべきことを伝えることができる。
【0078】
そして、実施例1の油圧ショベルAの作業安全監視システムでは、下記に述べるようなメリットを期待することができる。
・カメラシステムからの映像に危険領域を表示するため、各作業者の存在を認知した時に、危険な範囲に存在するか否かが、直感的に判り易く、危険回避が容易である。
・外部作業者、監督者に何処までが危険領域か、現在のアタッチメントやブーム・アームの伸長状態で旋回した場合の危険領域が一目で判るため、危険領域に作業者が入るミスを防げる、又、重機操作者への注意喚起を促せる。
・近赤外線を用いて、常時監視を行い、注意喚起の場合のみ外部作業者へレーザー光による危険領域の描画を用いることで、薄暮・夜間の作業の安全効率UPが図れる。
・各作業者一人一人へ、端末を配布すること無く、油圧ショベルの様な重機一台ずつで完結するシステムを組めるため、コストが下がり普及が容易である。
・人体の画像認識との組み合わせにて、より安全なシステムへの発展が望める。
【0079】
次に、効果を説明する。
実施例1の油圧ショベルAの作業安全監視システムにあっては、下記に列挙する効果を得ることができる。
【0080】
(1) 旋回動作やアームの伸長度合いにより可動域が変化する油圧ショベルAの作業安全監視システムにおいて、前記油圧ショベルAに搭載され、作業車両周囲のカメラ映像データを取得するカメラ1と、前記油圧ショベルAに搭載され、操作者による操作ミスを想定した最大可動域を危険領域と判定する危険領域判定処理部3dと、前記カメラ1からのカメラ映像データに、判定された危険領域を重ね合わせるスーパーインポーズ処理部3fを有する安全監視コントローラ3と、前記油圧ショベルAの操作室22に設定され、カメラ映像に危険領域を重畳した画像を内部警告表示として映し出す画像モニター6と、を備えたため、大規模なシステムを組むこと無く、作業車両にのみ取り付けることで完結する安価な構成でありながら、操作者による作業の安全確認に寄与することができる。
【0081】
(2) 前記カメラ1は、前記油圧ショベルAの可動域が変化しても視界が変化しない下部走行体20に複数取り付けられ、前記安全監視コントローラ3は、前記複数のカメラ1a,1b,1c,1dからのカメラ映像データを、前記油圧ショベルAとその周囲を真上から見下ろした俯瞰映像データに視点変換する画像処理部3bを有するため、油圧ショベルAの可動域が変化してもモニター画面の視界変化が無く、カメラシステムからの俯瞰映像に危険領域を重畳した操作者が視認し易い内部警告表示を行うことができる。
【0082】
(3) 前記油圧ショベルAによる旋回動作やアームの伸長度合いによる可動域の変化を検出する駆動系センサー2を設け、前記安全監視コントローラ3は、前記危険領域判定処理部3dにおいて、前記駆動系センサー2からの検出値が変化する毎に危険領域を判定し、前記スーパーインポーズ処理部3fにおいて、カメラ映像に重畳する危険領域をリアルタイムに更新して表示するため、作業中に危険領域が変化しても応答良く追従して変化する危険領域をモニター画面に重畳表示することができる。
【0083】
(4) 前記油圧ショベルAに、車両外部の作業者等が視認できる光線を用いて領域表示する投光器9,10を設け、前記安全監視コントローラ3は、前記危険領域判定処理部3dにより危険領域が判定されると、前記画像モニター6による内部警告表示と共に、前記投光器9,10により危険領域を外部警告表示するため、車両内部の操作者への内部警告表示と車両外部の作業者等への外部警告表示により、操作者と車両外部の作業者等の両方への警告表示により、操作者のみへの警告表示に比べ、より高い作業安全性の確保に寄与することができる。
【0084】
(5) 前記投光器9,10は、投光ビームにより危険領域内を上下左右に素早く走査することにより、危険領域の空間を描画表示するため、車両外部の作業者等に対し視認性の高い外部警告表示を行うことができる。
【0085】
(6) 前記近赤外線レーザー投光器9は、近赤外線レーザー光を照射するものであり、前記安全監視コントローラ3は、危険領域に作業者等が入ってきた場合、近赤外線レーザー光が照射された部分が白く浮かび上がることを利用し、これを映し出すカメラ画像データから外部作業者等の存在を認識する画像認識処理部3cを有するため、危険領域に作業者等が入ってきた場合、応答良く、かつ、確実に危険領域に作業者等が存在することを検知することができる。
【0086】
(7) 前記安全監視コントローラ3のスーパーインポーズ処理部3fは、前記画像認識処理部3cにより外部作業者等の存在が認識された場合、外部作業者等をあらわす侵入者表示を重畳し、前記画像モニター6は、カメラ映像に危険領域と侵入者表示を重畳した画像を内部警告表示として映し出すため、危険領域に作業者等が入ってきた場合、操作者に応答良く危険領域に作業者等が存在することを知らせることができると共に、作業者等の行動をモニター画面上で確認することができる。
【0087】
(8) 前記安全監視コントローラ3は、前記画像認識処理部3cにより外部作業者等の存在が認識されると、近赤外線レーザー光に代え、近赤外線レーザー光より視認性の高い可視光レーザーにより危険領域を外部警告表示するため、危険領域に入ってきた外部作業者等に対し、素早く危険領域から脱出することを促すことができる。
【0088】
(9) 前記安全監視コントローラ3は、前記画像認識処理部3cにより外部作業者等の存在が認識されると、前記画像モニター6による内部警告表示と前記可視光レーザー投光器10による外部警告表示に加え、外部スピーカー5により警告音を発生するため、誤って危険領域に入ってきた外部作業者等に対し、視覚情報と聴覚情報とも併用により素早く危険領域から脱出することを促すことができる。
【実施例2】
【0089】
実施例2は、実施例1が危険領域内への侵入者を認識する画像認識機能を有するのに対し、画像認識機能を有さない例である。
【0090】
まず、構成を説明する。
図14は、実施例2の油圧ショベル(建設・土木作業車両の一例)の作業安全監視システムを示す制御系全体システム図である。
【0091】
実施例2の油圧ショベルAの作業安全監視システムは、図14に示すように、カメラ1と、駆動系センサー2と、安全監視コントローラ3と、画像モニター6と、レーザー発光・駆動装置7と、強制発光用外部警告スイッチ8と、近赤外線レーザー投光器9(投光器)と、可視光レーザー投光器10(投光器)と、を備えている。
【0092】
前記安全監視コントローラ3は、図14に示すように、画像メモリ3aと、画像処理部3bと、危険領域判定処理部3dと、画像処理用基本情報ROM3eと、スーパーインポーズ処理部3fと、表示制御系3gと、危険領域外部表示制御部3jと、を備えている。
【0093】
すなわち、作業安全監視システムから、メッセージ発生用外部手動スイッチ4と外部スピーカー5を省略した点で実施例1とは相違する。また、安全監視コントローラ3から、画像認識処理部3cと警告メッセージ発生器3hと警告音発生器3iを省略した点で実施例1とは相違する。なお、他の構成は、実施例1と同様であるので、各構成の説明を省略する。
【0094】
図15は、実施例2の画像認識機能の無い安全監視コントローラ3にて実行される油圧ショベル作業の安全監視制御処理の流れを示すフローチャートである。
【0095】
ステップS151〜ステップS154の各ステップは、図5に示すフローチャートのステップS51〜ステップS54の各ステップと対応する。ステップS156〜ステップS162の各ステップは、図5に示すフローチャートのステップS56〜ステップS62の各ステップと対応する。ステップS167は、図5に示すフローチャートのステップS67と対応する。したがって、図15の各ステップについての説明を省略する。
【0096】
実施例2の油圧ショベルAの作業安全監視システムの作用としては、実施例1の「危険領域に作業者等の存在が認識されない場合の作業安全監視作用」と同様の作用を示す。
【0097】
また、実施例2の油圧ショベルAの作業安全監視システムの効果としては、実施例1の(1)〜(5)に列挙した効果を奏する。
【0098】
以上、本発明の建設・土木作業車両の作業安全監視システムを実施例1,2に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【0099】
実施例1,2では、各カメラ映像を画像処理し、あたかも上空から見下ろした様に見える俯瞰図に変換していた例を示したが、例えば、図13に示すように、通常のカメラ映像をそのまま流用し、通常のカメラ映像に、そのレンズ歪や取り付け位置等に考慮したスーパーインポーズを計算し、危険領域を重畳表示するようにしても良い。
【0100】
実施例1,2では、便宜的に4個のカメラを用いたシステムの例を示した。しかし、カメラの個数や設置場所に関しては、これを問わないものとする。また、カメラは下部走行体に取り付けられ、モニター画面の視界が変化しないものとしての説明を行っているが、上部旋回体にカメラを装着する形でも何ら問題はない。
【0101】
実施例1,2では、危険領域の表示を、スーパーインポーズによる線表示する例を示した。しかし、危険領域の全体を半透明色によって重畳表示しても良い。また、危険領域の危険度に合わせ段階的に表示色を変える等の工夫を行っても良い。
【0102】
実施例1,2では、外部への警告表示として、近赤外線レーザーと可視光レーザーを用いる例を示した。しかし、この例に限られるものではなく、必要に応じてレーザーポインタの様な低出力レーザーやハロゲン投光器の様な昼間でも判り易い光源を用いて、危険エリアを照らす投光機能を持つ表示装置を用いても良い。
【0103】
実施例1,2では、関節部角度センサーと旋回部角度センサーとジャイロセンサーを用いて危険領域を判定する例を示した。しかし、各センサー情報と危険領域の関係として、実際には、各アームの角度のみならず、車体自体の動揺具合、車両水平角の異常による横転の危険性、アタッチメントの変更等による重量バランスのミスマッチの動揺等、様々な外部要因があるため、これらを考慮してセンサーを増やし、危険領域の判定精度を高めても良い。
【0104】
実施例1では、人間を画像処理データから分離認識し、危険領域に存在する場合に、その映像を赤枠などで囲み操作者に注意喚起を行う例を示したが、操作室内に設定したスピーカーからの音声を用いて警告を発すること等を併用しても良い。
【0105】
実施例1では、画像認識により、危険領域に作業者等が存在する場合、その位置を判別し、侵入者表示を重畳する例を示した。しかし、危険領域に存在する作業者等の位置認識に基づき、作業車両が旋回稼動できないように、可動エリアを制限する機構を作業車両に備える構成としても良い。
【産業上の利用可能性】
【0106】
実施例1,2では、建設・土木作業車両として油圧ショベルへの適用例を示したが、油圧ショベル以外の作業車両、例えば、バックホーやクレーン車等へも適用することができる。要するに、旋回動作やアームの伸長度合いにより可動域が変化する建設・土木作業車両であれば適用できる。
【図面の簡単な説明】
【0107】
【図1】実施例1の油圧ショベル(建設・土木作業車両の一例)の作業安全監視システムを示す制御系全体システム図である。
【図2】実施例1の作業安全監視システムが適用された油圧ショベルの各部名称を説明するための概略側面図である。
【図3】実施例1の作業安全監視システムが適用された油圧ショベルへのカメラの設定位置を説明するための平面図である。
【図4】実施例1の作業安全監視システムが適用された油圧ショベルへのレーザー投光器の設定位置を説明するための斜視図である。
【図5】実施例1の画像認識機能を有する安全監視コントローラ3にて実行される油圧ショベル作業の安全監視制御処理の流れを示すフローチャートである。
【図6】俯瞰映像にスーパーインポーズ機能を用いて危険領域を表示したモニター画面の一例を示す図である。
【図7】実際の油圧ショベルAの挙動と危険領域を示すイメージ図である。
【図8】旋回による危険領域に加えバケット25の掘削作業によるより危険度の高い領域を別枠で表示する一例を示す図である。
【図9】外部への危険領域の理想的な表示イメージを示す図である。
【図10】レーザー光による危険領域の理想的な外部表示イメージを示す図である。
【図11】レーザー光による危険領域の現実的な外部表示イメージを示す図である。
【図12】近赤外線レーザー光を危険領域内に侵入してきた作業者等に照射したときの様子を示す図である。
【図13】カメラ映像をそのまま用いて危険領域をスーパーインポーズ処理した場合の画像モニターでの表示イメージを示す図である。
【図14】実施例2の油圧ショベル(建設・土木作業車両の一例)の作業安全監視システムを示す制御系全体システム図である。
【図15】実施例2の画像認識機能の無い安全監視コントローラ3にて実行される油圧ショベル作業の安全監視制御処理の流れを示すフローチャートである。
【符号の説明】
【0108】
A 油圧ショベルA(建設・土木作業車両の一例)
1 カメラ
2 駆動系センサー
3 安全監視コントローラ
3a 画像メモリ
3b 画像処理部
3c 画像認識処理部
3d 危険領域判定処理部
3e 画像処理用基本情報ROM
3f スーパーインポーズ処理部
3g 表示制御系
3h 警告メッセージ発生器
3i 警告音発生器
3j 危険領域外部表示制御部
4 メッセージ発生用外部手動スイッチ
5 外部スピーカー
6 画像モニター
7 レーザー発光・駆動装置
8 強制発光用外部警告スイッチ
9 近赤外線レーザー投光器(投光器)
10 可視光レーザー投光器(投光器)
【技術分野】
【0001】
本発明は、油圧ショベル等のように、旋回動作やアームの伸長度合いにより可動域が変化する建設・土木作業車両の作業安全監視システムに関する。
【背景技術】
【0002】
建設・土木作業車両の一例である油圧ショベルは、バケットを下向きにつけるバックホーの形式で運用されることが多いが、ブレーカー(圧搾空気、油圧等で操作される削岩機状のコンクリート破砕機)、リフティングマグネット(鋼材等の廃棄物分類用)、グラップル(クチバシ状の木造家屋解体、廃棄物分類用)等のアタッチメントに付け替え、その用途に合わせて運用されている。これは形状も大きさも違っており、作業車両の旋回等を行う際の可動半径が微妙に異なる。
【0003】
また、操作方法自体もクローラと呼ばれる無限軌道(キャタピラー)の操作方法は共通であるが、実際の現場で作業を行う場合の作業装置自体の操作方法は、例えば、JIS方式やコマツ方式や三菱方式等、機種により違いがあり不慣れな形式の場合、操作ミスにつながりかねない。
【0004】
上記操作ミスが生じても、誰も居ない原野であれば問題は生じないが、色々な作業者が混在する作業現場では、わずかのミスが人命に関わる事故につながることもあり何らかの対策が必要とされていた。
【0005】
通常、それらバケット等のアタッチメントを付けた場合の旋回動作やその他の操作による危険範囲の認識は、操作者の経験と勘に頼るところが大きく、外部監督者による危険回避のための視認による確認作業や周囲で作業を行う作業者自身の注意等により、その危険性を回避していたのが現状であった。
【0006】
このような状況に対し、各作業者全員に特殊な端末を所持させることで、各人の位置を把握し、これらの危険を回避しようとする土木工事現場における作業安全監視システムが提案されている。例えば、GPS等の位置情報を検出可能な手段及びそのデータや音声データの送受信機能を持ち、更に油圧ショベル側にある装置本体とのデータリンクが可能である様な機器を所持させ、これを用いての危険回避を図るようにしている(例えば、特許文献1参照)。
【特許文献1】特開2002−138518号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
従来の土木工事現場における作業安全監視システムの場合、確かに、危険領域に作業者が存在することを人が介在すること無く機械的に情報を提供することが可能で有り、非常に有効な手段である。しかし、これは現行の技術では非常に高価な物となり、又、各作業者全員に配布することが必須であるため、普及に難があった。更に、未配布の作業者、見学者、突然の来訪者等が存在する場合、これらの人員にはその恩恵は無く、逆に機械制御を行っている作業者にとっては警告が無いことで安心して作業機械の操作を行ってしまい、却って安全性を損なうことになりかねない、という問題があった。
【0008】
本発明は、上記問題に着目してなされたもので、大規模なシステムを組むこと無く、作業車両にのみ取り付けることで完結する安価な構成でありながら、操作者による作業の安全確認に寄与することができる建設・土木作業車両の作業安全監視システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するため、本発明では、旋回動作やアームの伸長度合いにより可動域が変化する建設・土木作業車両の作業安全監視システムにおいて、
前記建設・土木作業車両に搭載され、作業車両周囲のカメラ映像データを取得するカメラと、
前記建設・土木作業車両に搭載され、操作者による操作ミスを想定した最大可動域を危険領域と判定する危険領域判定処理部と、前記カメラからのカメラ映像データに、判定された危険領域を重ね合わせるスーパーインポーズ処理部を有する安全監視コントローラと、
前記建設・土木作業車両の操作室に設定され、カメラ映像に危険領域を重畳した画像を内部警告表示として映し出す画像モニターと、
を備えたことを特徴とする。
【発明の効果】
【0010】
よって、本発明の建設・土木作業車両の作業安全監視システムにあっては、安全監視コントローラの危険領域判定処理部において、操作者による操作ミスを想定した最大可動域が危険領域と判定される。そして、安全監視コントローラのスーパーインポーズ処理部において、建設・土木作業車両に搭載されたカメラからのカメラ映像データに、判定された危険領域が重ね合わせられる。そして、建設・土木作業車両の操作室に設定された画像モニターにおいて、カメラ映像に危険領域を重畳した画像が内部警告表示として映し出される。
すなわち、システム構成要素であるカメラと安全監視コントローラと画像モニターは、いずれも建設・土木作業車両に搭載されているため、作業車両にのみ取り付けることでシステムが完結する。そして、建設・土木作業車両の操作室内の操作者は、カメラ映像に危険領域を重畳した画像を映し出す画像モニターを見ることで、作業環境の中で危険領域が占める位置関係を視覚情報として常に得ることができる。この位置関係情報は、作業を安全に進めるため、あるいは、事故を未然に防ぐための操作者に対する内部警告となる。
この結果、大規模なシステムを組むこと無く、作業車両にのみ取り付けることで完結する安価な構成でありながら、操作者による作業の安全確認に寄与することができる。
【発明を実施するための最良の形態】
【0011】
以下、本発明の建設・土木作業車両の作業安全監視システムを実現する最良の形態を、図面に示す実施例1および実施例2に基づいて説明する。
【実施例1】
【0012】
まず、構成を説明する。
図1は、実施例1の油圧ショベル(建設・土木作業車両の一例)の作業安全監視システムを示す制御系全体システム図である。図2は、実施例1の作業安全監視システムが適用された油圧ショベルの各部名称を説明するための概略側面図である。図3は、実施例1の作業安全監視システムが適用された油圧ショベルへのカメラの設定位置を説明するための平面図である。図4は、実施例1の作業安全監視システムが適用された油圧ショベルへのレーザー投光器の設定位置を説明するための斜視図である。
【0013】
実施例1の油圧ショベルAの作業安全監視システムは、図1に示すように、カメラ1と、駆動系センサー2と、安全監視コントローラ3と、メッセージ発生用外部手動スイッチ4と、外部スピーカー5と、画像モニター6と、レーザー発光・駆動装置7と、強制発光用外部警告スイッチ8と、近赤外線レーザー投光器9(投光器)と、可視光レーザー投光器10(投光器)と、を備えている。
【0014】
前記油圧ショベルAは、図2に示すように、下部走行体20と、上部旋回体21と、操作室22と、ブーム23と、アーム24と、アタッチメント(バケット)25と、を備えている。
【0015】
前記カメラ1は、油圧ショベルAの周囲映像(作業環境)を映し出すCCDカメラやCMOSカメラ等による撮像手段であり、第1カメラ1aと、第2カメラ1bと、第3カメラ1cと、第4カメラ1dと、の4台のカメラを搭載している。これらのカメラ1a,1b,1c,1dの代表的な取り付け位置は、図3に示すように、下部走行体20の前方側に第1カメラ1aを取り付け、下部走行体20の右側方側に第2カメラ1bを取り付け、下部走行体20の左側方側に第3カメラ1cを取り付け、下部走行体20の後方側に第4カメラ1dを取り付けている。これによって、作業によるブーム23やアーム24の旋回動作に対して、モニター画面の視界が変化しないで、油圧ショベルAの全周囲を監視できるカメラシステムを構築している。
【0016】
前記駆動系センサー2は、油圧ショベルAの上部旋回体21が下部走行体20に対して旋回動作をした際、ブーム23,アーム24,アタッチメント25の旋回移動による危険領域を判定するための入力情報を提供するセンサーである。この駆動系センサー2としては、油圧ショベルAのブーム23とアーム24の各関節部の角度を検出する第1関節部角度センサー2a,第2関節部角度センサー2b,第3関節部角度センサー2cと、上部旋回体21に取り付けられた旋回部角度センサー2dと、油圧ショベルAの作業姿勢を検出するジャイロセンサー2e等を備えている。前記関節部角度センサー2a,2b,2cは、パワーショベルの腕であるブーム23のうち付け根に近い部分と、アーム24のうち腕の先端に近い部分と、アタッチメント25の取り付け関節部分に取り付けている。また、旋回部角度センサー2dは、上部旋回体21が下部走行体20に対してどの様な状態にあるかを検知する。
【0017】
前記安全監視コントローラ3は、基本的に、入力されたカメラ映像へ画像処理を施し、その状況にあった映像を画像モニター6へ出力する。そして、カメラ映像中に判定された危険領域をスーパーインポーズし、これを操作者に警告する構成となっている。
この安全監視コントローラ3は、図1に示すように、画像メモリ3aと、画像処理部3bと、画像認識処理部3cと、危険領域判定処理部3dと、画像処理用基本情報ROM3eと、スーパーインポーズ処理部3fと、表示制御系3gと、警告メッセージ発生器3hと、警告音発生器3iと、危険領域外部表示制御部3jと、を備えている。
【0018】
前記画像処理部3bは、各カメラ1a,1b,1c,1dから入力されたカメラ映像データを一時的に出力画像メモリ3aへ保存し、保存したカメラ映像データのうち、危険領域判定処理部3dにて判定された危険領域を含むカメラ映像データを、あたかも上空から見下ろした様に見える俯瞰映像データに視点変換する画像処理を施す。
【0019】
前記画像認識処理部3cは、画像処理部3bにより生成された俯瞰映像データの危険領域内に作業者の存在を認識するための画像認識処理を行う。
【0020】
前記危険領域判定処理部3dは、油圧ショベルAの各関節部に取り付けられた関節部角度センサー2a,2b,2cや上部旋回体21に取り付けられた旋回部角度センサー2d等の情報と、画像処理用基本情報ROM3eにより、初期値として与えられている各パラメータ(アーム・ブームの長さカメラ取り付け角度等)の情報に基づき、現時点でのブーム23やアーム24やアタッチメント25等の可動域を計算する。そして、計算された可動域から、万が一予期しない操作ミスにより旋回・バケットの掬い動作などが起こった場合の危険領域を判定する。
【0021】
前記スーパーインポーズ処理部3fは、前記画像処理部3bにより取得された油圧ショベルAとその周囲をあらわす俯瞰映像データに、前記危険領域判定処理部3dにより判定された危険領域を重ね合わせるスーパーインポーズ処理を行う。そして、画像認識処理部3cにおいて、危険領域内に作業者等の存在が認識された場合には、危険領域に入り込んでいる作業者等を囲む特定枠(赤枠等)の表示をさらに重ね合わせる。
【0022】
前記表示制御系3gは、前記スーパーインポーズ処理部3fからの映像データを画像モニター6に表示するためのモニター表示出力信号に変換する。
【0023】
前記警告メッセージ発生器3hは、前記メッセージ発生用外部手動スイッチ4に対するスイッチON操作時であって、前記画像認識処理部3cにおいて危険領域内に作業者の存在が認識された場合、外部スピーカー5により音声や楽曲等を発するスピーカー駆動信号を出力する。
【0024】
前記警告音発生器3iは、前記画像認識処理部3cにおいて危険領域内に作業者の存在が認識された場合、スイッチ操作等の条件を加えることなく、外部スピーカー5により警告音を発するスピーカー駆動信号を出力する。また、前記強制発光用外部警告スイッチ8に対するスイッチON操作時、外部スピーカー5により警告音を発するスピーカー駆動信号を出力する。
【0025】
前記危険領域外部表示制御部3jは、前記強制発光用外部警告スイッチ8に対するスイッチOFF操作時、前記表示制御系3gからのモニター表示出力信号に基づき、常時監視するために危険領域を近赤外線レーザー投光器9からのレーザー照射により描画するレーザー発光走査駆動指令をレーザー発光・駆動装置7に出力する。また、前記強制発光用外部警告スイッチ8に対するスイッチON操作時、前記表示制御系3gからのモニター表示出力信号に基づき、注意喚起のために危険領域を可視光レーザー投光器10からのレーザー発振により描画するレーザー発光走査駆動指令をレーザー発光・駆動装置7に出力する。
【0026】
前記メッセージ発生用外部手動スイッチ4は、操作室22内の操作者から手が届く位置に設定され、危険領域内に作業者の存在が認識された場合、点滅誘導に基づきON操作を促すことで、定められた音声・音楽・警告音を外部スピーカー5より出力する。
【0027】
前記外部スピーカー5は、油圧ショベルAの操作室22の外側上部位置等に設けられ、警告メッセージ発生器3hまたは警告音発生器3iからのスピーカー駆動信号により所定の音を外部の作業者に向けて発する。
【0028】
前記画像モニター6は、油圧ショベルAの操作室22内部のうち、操作者から視認し易い位置に設けられる。
【0029】
前記レーザー発光・駆動装置7は、強制発光用外部警告スイッチ8がOFFである常時監視時、近赤外線レーザー投光器9に対しレーザー発光走査駆動指令を出力し、強制発光用外部警告スイッチ8がONである注意喚起時、可視光レーザー投光器10に対しレーザー発光走査駆動指令を出力する。
【0030】
前記強制発光用外部警告スイッチ8は、危険領域内に作業者の存在が認識された場合、強制的にONへ切り替えることで、危険領域を可視光レーザー投光器10からのレーザー発振により描画する。なお、手動操作により強制発光用外部警告スイッチ8のON/OFFも行うことができる。
【0031】
前記可視光レーザー投光器9および前記近赤外線レーザー投光器10は、油圧ショベルAの高所数点から危険領域を描画できるように設けられる。具体的には、図4に示すように、操作室22の外側上部の4箇所位置に、第1可視光レーザー投光器9aおよび第1近赤外線レーザー投光器10aと、第2可視光レーザー投光器9bおよび第2近赤外線レーザー投光器10bと、第3可視光レーザー投光器9cおよび第3近赤外線レーザー投光器10cと、第4可視光レーザー投光器9dおよび第4近赤外線レーザー投光器10dと、が取り付けられている。
【0032】
図5は、実施例1の画像認識機能を有する安全監視コントローラ3にて実行される油圧ショベル作業の安全監視制御処理の流れを示すフローチャートであり、以下、各ステップについて説明する。
【0033】
ステップS51では、駆動系センサー2の初期値を取得し、ステップS52へ移行する。
ここで、駆動系センサー2からのセンサー値は、2つの記録エリア(「記録エリア1」と「記録エリア2」)へ代入される。記録エリア1には、初期値を除き、1サイクル前の駆動系センサー2の値が入る。記録エリア2には、初期値を除き、現在の駆動系センサー2の値が入る。
【0034】
ステップS52では、ステップS51での駆動系センサー2の初期値取得に続き、初期条件での危険領域を画像モニター6へ表示し、ステップS53へ移行する。
【0035】
ステップS53では、ステップS52での初期条件での危険領域のモニター表示に続き、強制発光用外部警告スイッチ8はOFFであるか否かを判断し、Yesの場合(強制発光用外部警告スイッチ8がOFF)はステップS56へ移行し、Noの場合(強制発光用外部警告スイッチ8がON)はステップS54へ移行する。
【0036】
ステップS54では、ステップS53での強制発光用外部警告スイッチ8がONであるとの判断に続き、外部作業者への警告動作として、可視光レーザー投光器9を用い、レーザー発振による外部作業エリアに対し危険領域の描画動作を行い、ステップS55へ移行する。
【0037】
ステップS55では、ステップS54での可視光レーザーによる危険領域の描画に続き、外部スピーカー5により外部の作業者へ警告音を鳴らし、ステップS56へ移行する。
【0038】
ステップS56では、ステップS53での強制発光用外部警告スイッチ8がOFFであるとの判断、あるいは、ステップS55での警告音の吹鳴に続き、駆動系センサー2の現在値を取得し、ステップS57へ移行する。
【0039】
ステップS57では、ステップS56での駆動系センサー2の現在値取得に続き、駆動系センサー2の現在値を記録エリア2へ代入し、ステップS58へ移行する。
【0040】
ステップS58では、ステップS57での現在値の記録エリア2への代入に続き、記録エリア1の1サイクル前の駆動系センサー2の値と、記録エリア2へ代入された駆動系センサー2の現在値を比較し、駆動系センサー2の値に変化があるか否かを判断し、Yesの場合(アーム24の伸長に変化有り)はステップS59へ移行し、Noの場合(アーム24の伸長に変化無し)はステップS53へ戻る。
【0041】
ステップS59では、ステップS58での駆動系センサー2の値に変化があるとの判断に続き、記録エリア2のデータ値(現在値)に基づき、危険領域を演算し、ステップS60へ移行する。
【0042】
ステップS60では、ステップS59での危険領域の演算に続き、操作者への危険領域の表示として、カメラ映像データに基づく俯瞰映像に、演算された危険領域を重ね合わせてスーパーインポーズ化し、これを画像モニター6に表示し、ステップS61へ移行する。
【0043】
ステップS61では、ステップS60での画像モニター6への表示に続き、駆動系センサー2の現在値を記憶(記録エリア1へ記録)し、ステップS62へ移行する。
【0044】
ステップS62では、ステップS61での駆動系センサー2の現在値の記憶に続き、近赤外線レーザー投光器9から外部の危険作業エリアへ近赤外線レーザービームを照射し、ステップS63へ移行する。
【0045】
ステップS63では、ステップS62での近赤外線レーザービームの照射に続き、作業者が危険エリアに存在するか否かを判断し、Yesの場合はステップS64へ移行し、Noの場合はステップS53へ移行する。
ここで、操作者の画像モニター6上では、危険エリアに居る外部作業者が、近赤外線レーザービームの照射により、鮮明に浮かび上がる。これを利用した画像認識処理(例えば、白い部分の形を認識する二値化処理等)により、作業者が危険エリアに存在するか否かを判断する。
【0046】
ステップS64では、ステップS63での画像認識処理により作業者が危険エリアに存在するとの判断に続き、強制発光用外部警告スイッチ8を強制的にONにし、ステップS65へ移行する。
【0047】
ステップS65では、ステップS64での強制発光用外部警告スイッチ8のONに続き、メッセージ発生用外部手動スイッチ4はOFFであるか否かを判断し、Yesの場合(メッセージ発生用外部手動スイッチ4はOFF)はステップS67へ移行し、Noの場合(メッセージ発生用外部手動スイッチ4はON)はステップS66へ移行する。
【0048】
ステップS66では、ステップS65でのメッセージ発生用外部手動スイッチ4はONであるとの判断に続き、定められた音声・音楽・警告音を外部スピーカー5により出力し、ステップS67へ移行する。
【0049】
ステップS67では、ステップS65でのメッセージ発生用外部手動スイッチ4はOFFであるとの判断、あるいは、ステップS66での警告メッセージの発生に続き、ΔT時間が経過したか否かを判断し、Yesの場合(ΔT時間の経過後)はステップS53へ戻り、Noの場合(ΔT時間の経過前)はステップS67の判断を繰り返す。
ここで、ΔT時間は、設定可能な待ち時間(ウェイト時間)であり、初期設定はΔT=0を想定する。
【0050】
次に、作用を説明する。
実施例1の油圧ショベルの作業安全監視システムにおける作用を、「危険領域に作業者等の存在が認識されない場合の作業安全監視作用」、「危険領域内に入り込んだ作業者等の存在認識作用」、「危険領域に作業者等の存在が認識された場合の作業安全監視作用」に分けて説明する。
【0051】
[危険領域に作業者等の存在が認識されない場合の作業安全監視作用]
まず、安全監視制御処理の流れを説明する。
危険領域に作業者等の存在が認識されない場合、図5のフローチャートにおいて、ステップS51→ステップS52→ステップS53→ステップS56→ステップS57→ステップS58→ステップS59→ステップS60→ステップS61→ステップS62→ステップS63へと進む。そして、ステップS63にてNoとの判断に基づき、ステップS53へ戻り、駆動系センサー2の値に変化がない限り、ステップS53→ステップS56→ステップS57→ステップS58へと進む流れが繰り返される。そして、駆動系センサー2の値に変化があると、ステップS58からステップS59→ステップS60→ステップS61→ステップS62→ステップS63へと進み、再びステップS53へ戻る流れとなる。
【0052】
この場合、ステップS59では、記録エリア2のデータ値(現在値)に基づき、危険領域が演算される。この危険領域は、アーム24・ブーム23・上部旋回体21・アタッチメント(バケット)25等の関節部に取り付けられた各関節部角度センサー2a,2b,2cの情報に基づき演算される。つまり、現時点で作業用のアーム24の伸張度合いや下部走行体20に対しての角度に基づき、仮に現時点で操作ミスや何らかの不具合が生じた時にバケット25やアーム24がぶつかり得る範囲を計算することとなる。腕の長さは、初期値として与えられているため、各関節部の角度が解れば簡単な三角関数でも旋回半径は求められる。これらの計算は、リアルタイムに計算され、危険領域は常時更新され表示される。
【0053】
次に、操作者への内部警告表示について説明する。
ステップS60では、操作者への危険領域の内部警告表示として、カメラ映像データに基づく俯瞰映像に、演算された危険領域を重ね合わせてスーパーインポーズ化され、これが画像モニター6に表示される。
【0054】
したがって、油圧ショベルAの操作室22内の操作者は、カメラ映像に危険領域を重畳した画像を映し出す画像モニター6を見ることで、作業環境の中で危険領域が占める位置関係を視覚情報として常に得ることができる。この位置関係情報は、作業を安全に進めるため、あるいは、事故を未然に防ぐための操作者に対する内部警告となり、操作者による作業の安全確認に寄与することができる。以下、画像モニター6への表示例を説明する。
【0055】
図6は、俯瞰映像にスーパーインポーズ機能を用いて危険領域を表示したモニター画面の一例を示す図である。
この図6では各カメラ映像を画像処理し、油圧ショベルAとその周囲状況が、あたかも上空から見下ろした様に見える俯瞰図に変換して表示される。そして、この映像の油圧ショベルAの周りに、スーパーインポーズ機能を用いて内側から、下部走行体20の旋回運動による危険領域aと、上部旋回体21の旋回運動による危険領域bと、アーム伸長時の危険領域cと、が重畳表示されている。危険領域aは、クローラ(キャタピラー)の駆動による巻き込み事故を想定した場合の線である。危険領域bは、上部旋回体21自体が回転したときに突起物による危険領域を想定した場合の線である。危険領域cは、アーム24が伸長し、かつ、上部旋回体21が回転したことを想定したときの危険領域を示す線である。
【0056】
図7は、実際の油圧ショベルAの挙動と危険領域を示すイメージ図である。
この図7では、アーム24とブーム23が動くことにより、危険領域が、内側のアーム収納時の旋回軌道から現在の最先端部までの旋回軌道までの範囲にて変化することを表している。
【0057】
図8は、旋回による危険領域に加えバケット25の掘削作業によるより危険度の高い領域を別枠で表示する一例を示す図である。
この図8では、危険度の高い領域を別枠で表示することで、危険領域のうち、危険度の高い領域を知ることができる。
【0058】
次に、作業者等への外部警告表示について説明する。
ステップS62では、近赤外線レーザー投光器9から外部の危険作業エリアへ近赤外線レーザービームを照射する。
【0059】
上記画像モニター6への表示により、危険領域を油圧ショベルAの操作者に伝達できることになるが、外部で作業を行っている者へはこの情報が伝わらない。特に、日中の様な明るい時は距離感も掴み易く、危険度は比較的低めであるが、夕闇が迫る薄暮の時間帯や夜間作業の際には、作業者の勘も鈍り危険度が増すことになる。
【0060】
そこで、実施例1では、薄暮の状況でも比較的視認性の良い可視光レーザー光線を用いて、外部作業現場にも危険領域を表示するようにしている。つまり、俯瞰映像上にスーパーインポーズされる危険領域データを、可視光レーザー投光器10からのレーザー発光を用いて実際の工事現場の地表面に表示するものである。
【0061】
したがって、油圧ショベルAの近くで作業している作業者等は、可視光レーザー投光器10からのレーザー発光を用いた危険領域の地表面表示を見ることで、工事現場の中で危険領域を視覚情報として常に得ることができる。この危険領域情報は、作業を安全に進めるため、あるいは、事故を未然に防ぐための作業者等に対する外部警告となり、作業者等による作業の安全確認に寄与することができる。以下、レーザー発光を用いた危険領域の地表面表示例を説明する。
【0062】
図9は、外部への危険領域の理想的な表示イメージを示す図である。図10はレーザー光による危険領域の理想的な外部表示イメージを示す図である。図11は、レーザー光による危険領域の現実的な外部表示イメージを示す図である。
【0063】
理想的には、図9および図10に示す様に、作業車両の上空から車両の旋回軸を中心とした円が表示されることをイメージしている。しかし、実際には車体自身が影となり描画の際に死角を生じてしまうため、図11に示す様に、作業車両の高所数点から危険領域を分割して描画・表示することになる。図11では、近赤外線レーザー投光器9を設定した各々の点(実施例1では4点)から分割し、走査することで、危険領域を描画しようとしている。
【0064】
この場合の描画は、危険領域の境界のみをレーザー光にて描画しても良いが、実施例1では、危険領域内を上下左右に空間的に走査し、危険領域全体を浮かび上がらせる形としている。また、強力なレーザー光であると、光が視覚負担を及ぼす可能性もあるため、実施例1では、通常は、非常に弱い光である近赤外線レーザー光線により走査を行い、危険領域内に外部作業者等が侵入してきたとき、つまり、危険喚起を要する場合にのみ、強い光による可視光レーザーを用いる形を取っている。
【0065】
[危険領域内に入り込んだ作業者等の存在認識作用]
ステップS63では、作業者が危険エリアに存在するか否かを判断する。つまり、操作者の画像モニター6上では、危険領域に居る外部作業者が、近赤外線レーザービームの照射により、鮮明に浮かび上がる。これを利用した画像認識処理により、作業者等が危険領域に存在するか否かを判断する。
【0066】
上記のように、危険領域内に作業者等の存在が認識できないとき、弱い光による近赤外線レーザー光を用いることで、光による視覚負担を軽減できて有用であるが、近赤外線レーザー光を用いる場合は次の利点も生じる。
【0067】
前述の様に、斜め高所から照射される近赤外線レーザーは、平面である地面に対しては乱反射を除き、反射光は生じないため、CCDカメラで見ても知覚できない。しかし、危険領域内に入り込んだ人体の様な立体物に対しては、高さを持っている分、反射光を生じ、何らかの物体が危険領域内に入り込んだことが、より判り易くなってくる。
【0068】
言い換えれば、薄暮・夜間では危険領域内の立体物のみが、浮かび上がることになり、人間の認識が非常に容易になると共に、操作者の安全操作に寄与できる。例えば、図12に示すように、近赤外線で照らし出された作業者等は、近赤外線が照射された足のみが白くハッキリと浮かび上がることになる。
【0069】
[危険領域に作業者等の存在が認識された場合の作業安全監視作用]
まず、安全監視制御処理の流れを説明する。
危険領域に作業者等の存在が認識された場合、図5のフローチャートにおいて、ステップS63からステップS64→ステップS65→ステップS67へと進む。そして、ウェイト時間を経過すると、ステップS67からステップS53→ステップS54→ステップS55→ステップS56→ステップS57→ステップS58→ステップS59→ステップS60→ステップS61→ステップS62→ステップS63へと進む。そして、メッセージ発生用外部手動スイッチ4のON操作を行うと、ステップS63からステップS64→ステップS65→ステップS66→ステップS67へと進む流れとなる。
【0070】
次に、操作者への内部警告表示について説明する。
ステップS60では、危険領域に作業者等の存在が認識されると、操作者への危険領域の内部警告表示として、カメラ映像データに基づく俯瞰映像に、演算された危険領域と認識された作業者等を赤枠で囲んだ表示を重ね合わせてスーパーインポーズ化され、これが画像モニター6に表示される。
【0071】
したがって、油圧ショベルAの操作室22内の操作者は、カメラ映像に危険領域と侵入者表示を重畳した画像を映し出す画像モニター6を見ることで、作業環境の中で危険領域のどの位置に侵入者が存在しているかを視覚情報として得ることができる。この侵入者の位置情報は、作業を安全に進めるため、あるいは、事故を未然に防ぐための操作者に対する内部警告となり、操作者による作業の安全確認に寄与することができる。
【0072】
次に、作業者等への外部警告表示について説明する。
ステップS54では、危険領域に作業者等の存在が認識されると、近赤外線レーザー発光に代え、可視光レーザー投光器10から外部の危険作業エリアへ可視光レーザー発振による描画動作が行われる。
【0073】
したがって、危険領域内に入り込んだ作業者等は、可視光レーザー投光器10からの視認性が高い強い光による可視光レーザーを用いた危険領域の描画表示を見ることで、直ちに危険領域から脱出すべきことを視覚情報として得ることができる。この危険領域の描画表示情報は、作業を安全に進めるため、あるいは、事故を未然に防ぐための作業者等に対する外部警告となり、作業者等による作業の安全確認に寄与することができる。
【0074】
次に、作業者等への警告音発生について説明する。
ステップS55では、危険領域に作業者等の存在が認識されると、外部スピーカー5から警告音が鳴らされる。
【0075】
したがって、危険領域内に入り込んでいることを知らずに熱心に作業を継続している作業者等に対し、外部スピーカー5から警告音により、直ちに危険領域から脱出すべきことを聴覚情報として得ることができる。この聴覚情報は、作業を安全に進めるため、あるいは、事故を未然に防ぐための作業者等に対する視覚情報を補助する外部警告となり、作業者等による作業の安全確認に寄与することができる。
【0076】
さらに、外部スピーカー5から警告音を発しても、工事現場の騒音等により、作業者等に対し危険領域に入っていることを知らせることができない場合には、操作者が手動によりメッセージ発生用外部手動スイッチ4をON操作すると、ステップS66において、定められた音声・音楽・警告音が外部スピーカー5から発せられる。
【0077】
したがって、作業者等への外部警告として、レーザー光による描画表示、警告音、メッセージ音というように、3通りの外部警告を行うことで、確実に作業者等に危険領域から脱出すべきことを伝えることができる。
【0078】
そして、実施例1の油圧ショベルAの作業安全監視システムでは、下記に述べるようなメリットを期待することができる。
・カメラシステムからの映像に危険領域を表示するため、各作業者の存在を認知した時に、危険な範囲に存在するか否かが、直感的に判り易く、危険回避が容易である。
・外部作業者、監督者に何処までが危険領域か、現在のアタッチメントやブーム・アームの伸長状態で旋回した場合の危険領域が一目で判るため、危険領域に作業者が入るミスを防げる、又、重機操作者への注意喚起を促せる。
・近赤外線を用いて、常時監視を行い、注意喚起の場合のみ外部作業者へレーザー光による危険領域の描画を用いることで、薄暮・夜間の作業の安全効率UPが図れる。
・各作業者一人一人へ、端末を配布すること無く、油圧ショベルの様な重機一台ずつで完結するシステムを組めるため、コストが下がり普及が容易である。
・人体の画像認識との組み合わせにて、より安全なシステムへの発展が望める。
【0079】
次に、効果を説明する。
実施例1の油圧ショベルAの作業安全監視システムにあっては、下記に列挙する効果を得ることができる。
【0080】
(1) 旋回動作やアームの伸長度合いにより可動域が変化する油圧ショベルAの作業安全監視システムにおいて、前記油圧ショベルAに搭載され、作業車両周囲のカメラ映像データを取得するカメラ1と、前記油圧ショベルAに搭載され、操作者による操作ミスを想定した最大可動域を危険領域と判定する危険領域判定処理部3dと、前記カメラ1からのカメラ映像データに、判定された危険領域を重ね合わせるスーパーインポーズ処理部3fを有する安全監視コントローラ3と、前記油圧ショベルAの操作室22に設定され、カメラ映像に危険領域を重畳した画像を内部警告表示として映し出す画像モニター6と、を備えたため、大規模なシステムを組むこと無く、作業車両にのみ取り付けることで完結する安価な構成でありながら、操作者による作業の安全確認に寄与することができる。
【0081】
(2) 前記カメラ1は、前記油圧ショベルAの可動域が変化しても視界が変化しない下部走行体20に複数取り付けられ、前記安全監視コントローラ3は、前記複数のカメラ1a,1b,1c,1dからのカメラ映像データを、前記油圧ショベルAとその周囲を真上から見下ろした俯瞰映像データに視点変換する画像処理部3bを有するため、油圧ショベルAの可動域が変化してもモニター画面の視界変化が無く、カメラシステムからの俯瞰映像に危険領域を重畳した操作者が視認し易い内部警告表示を行うことができる。
【0082】
(3) 前記油圧ショベルAによる旋回動作やアームの伸長度合いによる可動域の変化を検出する駆動系センサー2を設け、前記安全監視コントローラ3は、前記危険領域判定処理部3dにおいて、前記駆動系センサー2からの検出値が変化する毎に危険領域を判定し、前記スーパーインポーズ処理部3fにおいて、カメラ映像に重畳する危険領域をリアルタイムに更新して表示するため、作業中に危険領域が変化しても応答良く追従して変化する危険領域をモニター画面に重畳表示することができる。
【0083】
(4) 前記油圧ショベルAに、車両外部の作業者等が視認できる光線を用いて領域表示する投光器9,10を設け、前記安全監視コントローラ3は、前記危険領域判定処理部3dにより危険領域が判定されると、前記画像モニター6による内部警告表示と共に、前記投光器9,10により危険領域を外部警告表示するため、車両内部の操作者への内部警告表示と車両外部の作業者等への外部警告表示により、操作者と車両外部の作業者等の両方への警告表示により、操作者のみへの警告表示に比べ、より高い作業安全性の確保に寄与することができる。
【0084】
(5) 前記投光器9,10は、投光ビームにより危険領域内を上下左右に素早く走査することにより、危険領域の空間を描画表示するため、車両外部の作業者等に対し視認性の高い外部警告表示を行うことができる。
【0085】
(6) 前記近赤外線レーザー投光器9は、近赤外線レーザー光を照射するものであり、前記安全監視コントローラ3は、危険領域に作業者等が入ってきた場合、近赤外線レーザー光が照射された部分が白く浮かび上がることを利用し、これを映し出すカメラ画像データから外部作業者等の存在を認識する画像認識処理部3cを有するため、危険領域に作業者等が入ってきた場合、応答良く、かつ、確実に危険領域に作業者等が存在することを検知することができる。
【0086】
(7) 前記安全監視コントローラ3のスーパーインポーズ処理部3fは、前記画像認識処理部3cにより外部作業者等の存在が認識された場合、外部作業者等をあらわす侵入者表示を重畳し、前記画像モニター6は、カメラ映像に危険領域と侵入者表示を重畳した画像を内部警告表示として映し出すため、危険領域に作業者等が入ってきた場合、操作者に応答良く危険領域に作業者等が存在することを知らせることができると共に、作業者等の行動をモニター画面上で確認することができる。
【0087】
(8) 前記安全監視コントローラ3は、前記画像認識処理部3cにより外部作業者等の存在が認識されると、近赤外線レーザー光に代え、近赤外線レーザー光より視認性の高い可視光レーザーにより危険領域を外部警告表示するため、危険領域に入ってきた外部作業者等に対し、素早く危険領域から脱出することを促すことができる。
【0088】
(9) 前記安全監視コントローラ3は、前記画像認識処理部3cにより外部作業者等の存在が認識されると、前記画像モニター6による内部警告表示と前記可視光レーザー投光器10による外部警告表示に加え、外部スピーカー5により警告音を発生するため、誤って危険領域に入ってきた外部作業者等に対し、視覚情報と聴覚情報とも併用により素早く危険領域から脱出することを促すことができる。
【実施例2】
【0089】
実施例2は、実施例1が危険領域内への侵入者を認識する画像認識機能を有するのに対し、画像認識機能を有さない例である。
【0090】
まず、構成を説明する。
図14は、実施例2の油圧ショベル(建設・土木作業車両の一例)の作業安全監視システムを示す制御系全体システム図である。
【0091】
実施例2の油圧ショベルAの作業安全監視システムは、図14に示すように、カメラ1と、駆動系センサー2と、安全監視コントローラ3と、画像モニター6と、レーザー発光・駆動装置7と、強制発光用外部警告スイッチ8と、近赤外線レーザー投光器9(投光器)と、可視光レーザー投光器10(投光器)と、を備えている。
【0092】
前記安全監視コントローラ3は、図14に示すように、画像メモリ3aと、画像処理部3bと、危険領域判定処理部3dと、画像処理用基本情報ROM3eと、スーパーインポーズ処理部3fと、表示制御系3gと、危険領域外部表示制御部3jと、を備えている。
【0093】
すなわち、作業安全監視システムから、メッセージ発生用外部手動スイッチ4と外部スピーカー5を省略した点で実施例1とは相違する。また、安全監視コントローラ3から、画像認識処理部3cと警告メッセージ発生器3hと警告音発生器3iを省略した点で実施例1とは相違する。なお、他の構成は、実施例1と同様であるので、各構成の説明を省略する。
【0094】
図15は、実施例2の画像認識機能の無い安全監視コントローラ3にて実行される油圧ショベル作業の安全監視制御処理の流れを示すフローチャートである。
【0095】
ステップS151〜ステップS154の各ステップは、図5に示すフローチャートのステップS51〜ステップS54の各ステップと対応する。ステップS156〜ステップS162の各ステップは、図5に示すフローチャートのステップS56〜ステップS62の各ステップと対応する。ステップS167は、図5に示すフローチャートのステップS67と対応する。したがって、図15の各ステップについての説明を省略する。
【0096】
実施例2の油圧ショベルAの作業安全監視システムの作用としては、実施例1の「危険領域に作業者等の存在が認識されない場合の作業安全監視作用」と同様の作用を示す。
【0097】
また、実施例2の油圧ショベルAの作業安全監視システムの効果としては、実施例1の(1)〜(5)に列挙した効果を奏する。
【0098】
以上、本発明の建設・土木作業車両の作業安全監視システムを実施例1,2に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【0099】
実施例1,2では、各カメラ映像を画像処理し、あたかも上空から見下ろした様に見える俯瞰図に変換していた例を示したが、例えば、図13に示すように、通常のカメラ映像をそのまま流用し、通常のカメラ映像に、そのレンズ歪や取り付け位置等に考慮したスーパーインポーズを計算し、危険領域を重畳表示するようにしても良い。
【0100】
実施例1,2では、便宜的に4個のカメラを用いたシステムの例を示した。しかし、カメラの個数や設置場所に関しては、これを問わないものとする。また、カメラは下部走行体に取り付けられ、モニター画面の視界が変化しないものとしての説明を行っているが、上部旋回体にカメラを装着する形でも何ら問題はない。
【0101】
実施例1,2では、危険領域の表示を、スーパーインポーズによる線表示する例を示した。しかし、危険領域の全体を半透明色によって重畳表示しても良い。また、危険領域の危険度に合わせ段階的に表示色を変える等の工夫を行っても良い。
【0102】
実施例1,2では、外部への警告表示として、近赤外線レーザーと可視光レーザーを用いる例を示した。しかし、この例に限られるものではなく、必要に応じてレーザーポインタの様な低出力レーザーやハロゲン投光器の様な昼間でも判り易い光源を用いて、危険エリアを照らす投光機能を持つ表示装置を用いても良い。
【0103】
実施例1,2では、関節部角度センサーと旋回部角度センサーとジャイロセンサーを用いて危険領域を判定する例を示した。しかし、各センサー情報と危険領域の関係として、実際には、各アームの角度のみならず、車体自体の動揺具合、車両水平角の異常による横転の危険性、アタッチメントの変更等による重量バランスのミスマッチの動揺等、様々な外部要因があるため、これらを考慮してセンサーを増やし、危険領域の判定精度を高めても良い。
【0104】
実施例1では、人間を画像処理データから分離認識し、危険領域に存在する場合に、その映像を赤枠などで囲み操作者に注意喚起を行う例を示したが、操作室内に設定したスピーカーからの音声を用いて警告を発すること等を併用しても良い。
【0105】
実施例1では、画像認識により、危険領域に作業者等が存在する場合、その位置を判別し、侵入者表示を重畳する例を示した。しかし、危険領域に存在する作業者等の位置認識に基づき、作業車両が旋回稼動できないように、可動エリアを制限する機構を作業車両に備える構成としても良い。
【産業上の利用可能性】
【0106】
実施例1,2では、建設・土木作業車両として油圧ショベルへの適用例を示したが、油圧ショベル以外の作業車両、例えば、バックホーやクレーン車等へも適用することができる。要するに、旋回動作やアームの伸長度合いにより可動域が変化する建設・土木作業車両であれば適用できる。
【図面の簡単な説明】
【0107】
【図1】実施例1の油圧ショベル(建設・土木作業車両の一例)の作業安全監視システムを示す制御系全体システム図である。
【図2】実施例1の作業安全監視システムが適用された油圧ショベルの各部名称を説明するための概略側面図である。
【図3】実施例1の作業安全監視システムが適用された油圧ショベルへのカメラの設定位置を説明するための平面図である。
【図4】実施例1の作業安全監視システムが適用された油圧ショベルへのレーザー投光器の設定位置を説明するための斜視図である。
【図5】実施例1の画像認識機能を有する安全監視コントローラ3にて実行される油圧ショベル作業の安全監視制御処理の流れを示すフローチャートである。
【図6】俯瞰映像にスーパーインポーズ機能を用いて危険領域を表示したモニター画面の一例を示す図である。
【図7】実際の油圧ショベルAの挙動と危険領域を示すイメージ図である。
【図8】旋回による危険領域に加えバケット25の掘削作業によるより危険度の高い領域を別枠で表示する一例を示す図である。
【図9】外部への危険領域の理想的な表示イメージを示す図である。
【図10】レーザー光による危険領域の理想的な外部表示イメージを示す図である。
【図11】レーザー光による危険領域の現実的な外部表示イメージを示す図である。
【図12】近赤外線レーザー光を危険領域内に侵入してきた作業者等に照射したときの様子を示す図である。
【図13】カメラ映像をそのまま用いて危険領域をスーパーインポーズ処理した場合の画像モニターでの表示イメージを示す図である。
【図14】実施例2の油圧ショベル(建設・土木作業車両の一例)の作業安全監視システムを示す制御系全体システム図である。
【図15】実施例2の画像認識機能の無い安全監視コントローラ3にて実行される油圧ショベル作業の安全監視制御処理の流れを示すフローチャートである。
【符号の説明】
【0108】
A 油圧ショベルA(建設・土木作業車両の一例)
1 カメラ
2 駆動系センサー
3 安全監視コントローラ
3a 画像メモリ
3b 画像処理部
3c 画像認識処理部
3d 危険領域判定処理部
3e 画像処理用基本情報ROM
3f スーパーインポーズ処理部
3g 表示制御系
3h 警告メッセージ発生器
3i 警告音発生器
3j 危険領域外部表示制御部
4 メッセージ発生用外部手動スイッチ
5 外部スピーカー
6 画像モニター
7 レーザー発光・駆動装置
8 強制発光用外部警告スイッチ
9 近赤外線レーザー投光器(投光器)
10 可視光レーザー投光器(投光器)
【特許請求の範囲】
【請求項1】
旋回動作やアームの伸長度合いにより可動域が変化する建設・土木作業車両の作業安全監視システムにおいて、
前記建設・土木作業車両に搭載され、作業車両周囲のカメラ映像データを取得するカメラと、
前記建設・土木作業車両に搭載され、操作者による操作ミスを想定した最大可動域を危険領域と判定する危険領域判定処理部と、前記カメラからのカメラ映像データに、判定された危険領域を重ね合わせるスーパーインポーズ処理部を有する安全監視コントローラと、
前記建設・土木作業車両の操作室に設定され、カメラ映像に危険領域を重畳した画像を内部警告表示として映し出す画像モニターと、
を備えたことを特徴とする建設・土木作業車両の作業安全監視システム。
【請求項2】
請求項1に記載された建設・土木作業車両の作業安全監視システムにおいて、
前記カメラは、前記建設・土木作業車両の可動域が変化しても視界が変化しない下部走行体に複数取り付けられ、
前記安全監視コントローラは、前記複数のカメラからのカメラ映像データを、前記建設・土木作業車両とその周囲を真上から見下ろした俯瞰映像データに視点変換する画像処理部を有することを特徴とする建設・土木作業車両の作業安全監視システム。
【請求項3】
請求項1または請求項2に記載された建設・土木作業車両の作業安全監視システムにおいて、
前記建設・土木作業車両による旋回動作やアームの伸長度合いによる可動域の変化を検出する駆動系センサーを設け、
前記安全監視コントローラは、前記危険領域判定処理部において、前記駆動系センサーからの検出値が変化する毎に危険領域を判定し、前記スーパーインポーズ処理部において、カメラ映像に重畳する危険領域をリアルタイムに更新して表示することを特徴とする建設・土木作業車両の作業安全監視システム。
【請求項4】
請求項1乃至請求項3の何れか1項に記載された建設・土木作業車両の作業安全監視システムにおいて、
前記建設・土木作業車両に、車両外部の作業者等が視認できる光線を用いて領域表示する投光器を設け、
前記安全監視コントローラは、前記危険領域判定処理部により危険領域が判定されると、前記画像モニターによる内部警告表示と共に、前記投光器により危険領域を外部警告表示することを特徴とする建設・土木作業車両の作業安全監視システム。
【請求項5】
請求項4に記載された建設・土木作業車両の作業安全監視システムにおいて、
前記投光器は、投光ビームにより危険領域内を上下左右に素早く走査することにより、危険領域の空間を描画表示することを特徴とする建設・土木作業車両の作業安全監視システム。
【請求項6】
請求項5に記載された建設・土木作業車両の作業安全監視システムにおいて、
前記投光器は、近赤外線レーザー光を照射するものであり、
前記安全監視コントローラは、危険領域に作業者等が入ってきた場合、近赤外線レーザー光が照射された部分が白く浮かび上がることを利用し、これを映し出すカメラ画像データから外部作業者等の存在を認識する画像認識処理部を有することを特徴とする建設・土木作業車両の作業安全監視システム。
【請求項7】
請求項6に記載された建設・土木作業車両の作業安全監視システムにおいて、
前記安全監視コントローラのスーパーインポーズ処理部は、前記画像認識処理部により外部作業者等の存在が認識された場合、外部作業者等をあらわす侵入者表示を重畳し、
前記画像モニターは、カメラ映像に危険領域と侵入者表示を重畳した画像を内部警告表示として映し出すことを特徴とする建設・土木作業車両の作業安全監視システム。
【請求項8】
請求項6または請求項7に記載された建設・土木作業車両の作業安全監視システムにおいて、
前記安全監視コントローラは、前記画像認識処理部により外部作業者等の存在が認識されると、近赤外線レーザー光に代え、近赤外線レーザー光より視認性の高い可視光レーザーにより危険領域を外部警告表示することを特徴とする建設・土木作業車両の作業安全監視システム。
【請求項9】
請求項6乃至請求項8の何れか1項に記載された建設・土木作業車両の作業安全監視システムにおいて、
前記安全監視コントローラは、前記画像認識処理部により外部作業者等の存在が認識されると、前記画像モニターによる内部警告表示と前記投光器による外部警告表示に加え、外部スピーカーにより警告音を発生することを特徴とする建設・土木作業車両の作業安全監視システム。
【請求項1】
旋回動作やアームの伸長度合いにより可動域が変化する建設・土木作業車両の作業安全監視システムにおいて、
前記建設・土木作業車両に搭載され、作業車両周囲のカメラ映像データを取得するカメラと、
前記建設・土木作業車両に搭載され、操作者による操作ミスを想定した最大可動域を危険領域と判定する危険領域判定処理部と、前記カメラからのカメラ映像データに、判定された危険領域を重ね合わせるスーパーインポーズ処理部を有する安全監視コントローラと、
前記建設・土木作業車両の操作室に設定され、カメラ映像に危険領域を重畳した画像を内部警告表示として映し出す画像モニターと、
を備えたことを特徴とする建設・土木作業車両の作業安全監視システム。
【請求項2】
請求項1に記載された建設・土木作業車両の作業安全監視システムにおいて、
前記カメラは、前記建設・土木作業車両の可動域が変化しても視界が変化しない下部走行体に複数取り付けられ、
前記安全監視コントローラは、前記複数のカメラからのカメラ映像データを、前記建設・土木作業車両とその周囲を真上から見下ろした俯瞰映像データに視点変換する画像処理部を有することを特徴とする建設・土木作業車両の作業安全監視システム。
【請求項3】
請求項1または請求項2に記載された建設・土木作業車両の作業安全監視システムにおいて、
前記建設・土木作業車両による旋回動作やアームの伸長度合いによる可動域の変化を検出する駆動系センサーを設け、
前記安全監視コントローラは、前記危険領域判定処理部において、前記駆動系センサーからの検出値が変化する毎に危険領域を判定し、前記スーパーインポーズ処理部において、カメラ映像に重畳する危険領域をリアルタイムに更新して表示することを特徴とする建設・土木作業車両の作業安全監視システム。
【請求項4】
請求項1乃至請求項3の何れか1項に記載された建設・土木作業車両の作業安全監視システムにおいて、
前記建設・土木作業車両に、車両外部の作業者等が視認できる光線を用いて領域表示する投光器を設け、
前記安全監視コントローラは、前記危険領域判定処理部により危険領域が判定されると、前記画像モニターによる内部警告表示と共に、前記投光器により危険領域を外部警告表示することを特徴とする建設・土木作業車両の作業安全監視システム。
【請求項5】
請求項4に記載された建設・土木作業車両の作業安全監視システムにおいて、
前記投光器は、投光ビームにより危険領域内を上下左右に素早く走査することにより、危険領域の空間を描画表示することを特徴とする建設・土木作業車両の作業安全監視システム。
【請求項6】
請求項5に記載された建設・土木作業車両の作業安全監視システムにおいて、
前記投光器は、近赤外線レーザー光を照射するものであり、
前記安全監視コントローラは、危険領域に作業者等が入ってきた場合、近赤外線レーザー光が照射された部分が白く浮かび上がることを利用し、これを映し出すカメラ画像データから外部作業者等の存在を認識する画像認識処理部を有することを特徴とする建設・土木作業車両の作業安全監視システム。
【請求項7】
請求項6に記載された建設・土木作業車両の作業安全監視システムにおいて、
前記安全監視コントローラのスーパーインポーズ処理部は、前記画像認識処理部により外部作業者等の存在が認識された場合、外部作業者等をあらわす侵入者表示を重畳し、
前記画像モニターは、カメラ映像に危険領域と侵入者表示を重畳した画像を内部警告表示として映し出すことを特徴とする建設・土木作業車両の作業安全監視システム。
【請求項8】
請求項6または請求項7に記載された建設・土木作業車両の作業安全監視システムにおいて、
前記安全監視コントローラは、前記画像認識処理部により外部作業者等の存在が認識されると、近赤外線レーザー光に代え、近赤外線レーザー光より視認性の高い可視光レーザーにより危険領域を外部警告表示することを特徴とする建設・土木作業車両の作業安全監視システム。
【請求項9】
請求項6乃至請求項8の何れか1項に記載された建設・土木作業車両の作業安全監視システムにおいて、
前記安全監視コントローラは、前記画像認識処理部により外部作業者等の存在が認識されると、前記画像モニターによる内部警告表示と前記投光器による外部警告表示に加え、外部スピーカーにより警告音を発生することを特徴とする建設・土木作業車両の作業安全監視システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2009−121053(P2009−121053A)
【公開日】平成21年6月4日(2009.6.4)
【国際特許分類】
【出願番号】特願2007−293427(P2007−293427)
【出願日】平成19年11月12日(2007.11.12)
【出願人】(000001487)クラリオン株式会社 (1,722)
【Fターム(参考)】
【公開日】平成21年6月4日(2009.6.4)
【国際特許分類】
【出願日】平成19年11月12日(2007.11.12)
【出願人】(000001487)クラリオン株式会社 (1,722)
【Fターム(参考)】
[ Back to top ]