収穫ロボット
【課題】 果菜類の果実の色や形状に限定されることなく、収穫適期の果実を収穫することができる収穫ロボットを提供すること。
【解決手段】 果実を照明する照明装置、及び平行に設置された2台のカメラを備えた撮影手段と、摘み取り装置と、移動装置と、2台のカメラによって夫々撮影されたアナログの画像情報を取得してデジタル変換する画像入力ボード、該画像入力ボードがデジタル変換した画像情報を処理する画像処理アプリケーション、並びに、該画像処理アプリケーションにて処理された画像情報に基づいて前記撮影手段、摘み取り装置及び移動装置を制御する制御手段とを備えた画像処理手段とで構成され、前記画像処理アプリケーションは、デジタル変換されたカラー画像データをHSI値に変換して二値化し、その二値化によって絞り込んだ果実の領域から特徴量を判別することを特徴とする収穫ロボットとする。
【解決手段】 果実を照明する照明装置、及び平行に設置された2台のカメラを備えた撮影手段と、摘み取り装置と、移動装置と、2台のカメラによって夫々撮影されたアナログの画像情報を取得してデジタル変換する画像入力ボード、該画像入力ボードがデジタル変換した画像情報を処理する画像処理アプリケーション、並びに、該画像処理アプリケーションにて処理された画像情報に基づいて前記撮影手段、摘み取り装置及び移動装置を制御する制御手段とを備えた画像処理手段とで構成され、前記画像処理アプリケーションは、デジタル変換されたカラー画像データをHSI値に変換して二値化し、その二値化によって絞り込んだ果実の領域から特徴量を判別することを特徴とする収穫ロボットとする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、収穫ロボットに関し、より詳しくは、収穫適期の果実を判別して収穫する収穫ロボットに関するものである。
【背景技術】
【0002】
労働力不足の解消や農作業の援助などのため、ハウス園芸における自動化が期待されており、温度管理や水やりなどの自動化とともに、ナスやイチゴなどの果菜類の収穫ロボットの研究開発が行われている。
例えば、ナス等の長物果実の収穫適期のもののみを選択的に自動収穫するため、カメラ撮影された長物果実の画像を取り込み、撮影画像の色情報を基に画像を処理して果実を検出すると共に、果実の位置から移動位置を決定し、果実に接近させ、果実の把持及び大きさ判定を行って収穫適期の果実の果梗を切断する技術が提案されている(下記特許文献1参照)。
このような技術によれば、長物果実のナス等であれば、赤緑青色の色情報を基に果実を認識することができ、その検出した果実の果実長さを判定して収穫適期のものを選択することが可能である。
【0003】
しかしながら、ピーマンやオクラ等の緑色の果実は、葉や茎と同じ緑色で、上記技術のような色情報を基に果実を認識することはできない。
また、ピーマン等の長物果実でない果実は、葉の形との区別もつきにくく、形状に基づいて認識することも困難である。
【0004】
【特許文献1】特開2000−262128号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
本発明は、上述したような従来技術の問題点を解決すべくなされたものであって、果菜類の果実の色や形状に限定されることなく、収穫適期の果実を収穫することができる収穫ロボットを提供するものである。
【課題を解決するための手段】
【0006】
請求項1に係る発明は、撮影手段、画像処理手段、果柄を切断して果実を取り込む摘み取り装置及び移動装置からなる果菜類の収穫ロボットであって、前記撮影手段は、果菜を照明する照明装置と、2台のカメラとを備えてなり、前記画像処理手段は、2台のカメラによって夫々撮影されたアナログの画像情報を取得してデジタル変換する画像入力ボードと、該画像入力ボードがデジタル変換した画像情報を処理する画像処理アプリケーションと、該画像処理アプリケーションにて処理された画像情報に基づいて前記撮影手段、摘み取り装置及び移動装置を制御する制御手段とを備え、前記画像処理アプリケーションは、デジタル変換されたカラー画像データをHSI値に変換して二値化し、その二値化によって絞り込んだ果実の領域から特徴量を判別することを特徴とする収穫ロボットに関する。
【0007】
請求項2に係る発明は、前記照明装置は、その照明範囲が限定されていることを特徴とする請求項1記載の収穫ロボットに関する。
【0008】
請求項3に係る発明は、前記照明装置は、LEDであって、前記2台のカメラのうち、一方のレンズ周囲に複数個取り付けられていることを特徴とする請求項2記載の収穫ロボットに関する。
【0009】
請求項4に係る発明は、前記撮影手段は、2台のカメラ位置を同時に移動する移動機構を備え、前記画像処理アプリケーションは、画像情報から認識された果実の中央位置、及び、前記2台のカメラによるステレオビジョンによって果実とカメラとの距離を算出し、前記制御手段は、前記果実の中央位置が画像における基準位置(x,y)に揃い、かつ、前記距離が所定距離となる基準位置(z)にカメラが配置されるように、前記移動機構及び移動装置を制御することを特徴とする請求項1乃至3いずれか記載の収穫ロボットに関する。
【0010】
請求項5に係る発明は、前記摘み取り装置は、ラック駆動機構を備え、水平面において所定角度回転及び前後にスライド可能に取り付けられていることを特徴とする請求項1乃至4いずれか記載の収穫ロボットに関する。
【発明の効果】
【0011】
請求項1に係る発明によれば、撮影手段における照明装置によって照明された果菜が2台のカメラで夫々撮影され、その撮影された各画像が画像処理手段においてHSI値に変換されて二値化されることによって、ピーマン等の葉等と色や形の区別がつきにくい果実であっても、葉等から区別して認識することができ、その二値化で絞り込んだ領域から特徴量(大きさ等)を判別して収穫適期の果実を選別することが可能である。
【0012】
請求項2に係る発明によれば、照明装置による照明範囲を限定することによって、果実同士が隣接したり重なったりした状態であっても、1つの果実に照明が集中するので、他の果実との光度及び彩度が異なり、2台のカメラで夫々撮影された画像から、その1つの果実を確実に一致して認識することが可能となる。
【0013】
請求項3に係る発明によれば、照明装置がLEDであって、2台のカメラのうち、一方のレンズ周囲に複数個取り付けられていることによって、照明範囲が限定されるとともに、照明を均一に当てることができ、2台のカメラで夫々撮影された画像から、その1つの果実をより確実に一致して認識することが可能となる。
【0014】
請求項4に係る発明によれば、さらに撮影手段が2台のカメラの位置を同時に移動する移動機構を備え、認識された果実の中央位置がカメラ画像の基準位置(x,y)に揃うように、かつ、2台のカメラによるステレオビジョンによって算出された果実とカメラとの距離(奥行)を、所定距離(基準位置(z))となるようにカメラ位置を移動することによって、摘み取り装置が果実に届く範囲に配置される。これによって、摘み取り装置は、果柄を切断して果実を収穫することができる。
【0015】
請求項5に係る発明によれば、摘み取り装置は、ラック駆動機構を備えることによって、カメラの移動とは別に、水平面において所定角度回転及び前後にスライドして果実に接近することができ、より確実に果柄を切断することが可能である。
【発明を実施するための最良の形態】
【0016】
以下、本発明に係る収穫ロボットの好適な実施形態について、図面を参照しつつ説明する。
図1は、本発明に係る収穫ロボットの実施形態の一例を示す概略構成図である。図2は、収穫ロボットにおける機能構成を示す構成図である。図3は、収穫ロボットにおける撮影手段及び摘み取り装置の一例を示す斜視図である。図4は、照明装置の一例を示す概略構成図である。図5は、摘み取り装置の機能構成を示す構成図である。
本発明に係る収穫ロボット1は、2台のカメラ10を備える撮影手段2と、画像処理手段3と、移動装置4と、果柄を切断して果実を摘み取る摘み取り装置5と、摘み取った果実を収容するコンテナ6とで構成される。なお、図1においては、2台のカメラ10が紙面垂直方向に重なっているので、1台のみが表されている。
【0017】
画像処理手段3は、画像入力ボード21と、画像処理アプリケーション22と、制御手段23とを有する。画像処理手段3は、後述する画像処理システムの主要機能を担っている。
【0018】
撮影手段2は、2台のカメラ10と、これらのカメラ位置を移動する移動機構20と、撮影対象を照らす照明装置17とからなる。カメラ10は、カラー画像撮影用で、立体視(ステレオビジョン)によって果実の位置を検出するために、2台を平行配設する。2台のカメラ10の周辺には、図3に示すように、電位差計12、DCモータ11と、その駆動によって作動するタイミングベルト13及びスライドレール14とで構成される移動機構20が設けられている。2台のカメラ10は、これらの構成によって、平行状態を保って同時に同方向へ3方向(水平、垂直、奥行)で位置決めすることができるようになっている。なお、2台のカメラは、必ずしも平行に設置する必要はなく、適度な間隔をあけてステレオビジョンを撮影することができればよい。例えば、2台のカメラを後方より前方の間隔が狭くなるように内向きに設置したりすることができる。
【0019】
照明装置17は、図示例では、2台のカメラ10のうちの一方のみに、そのレンズ18周囲に複数個取り付けられたLED照明装置である。照明装置17は、LEDに限定されるものではなく、蛍光灯等、果実を照らすことができるものであればよいが、LEDのように照明範囲が限定されるものが好ましい。また、レンズ周囲に1個取り付けられたもの、2台のカメラの両方のレンズ周囲に1又は複数個取り付けられたもの、カメラのレンズ周囲以外の場所に取り付けられたものも除外するものではない。
【0020】
摘み取り装置5は、図3に示すように2台のカメラの近傍に、カメラの移動に追従して移動可能に取り付けられ、かつカメラの移動とは別に、水平方向において所定角度回転及び前後にスライド可能に取り付けられ、水平面において移動可能である。これらの移動は、DCモータ16によって駆動するラック駆動機構15によって実現される。また、図5に示すように、果菜を果柄で切断して果実を摘み取る剪定ハサミ31と、剪定ハサミ31の開閉を実現する並列連結機構32と、並列連結機構32を駆動するDCモータ33とで構成される。
【0021】
移動装置4は、当該収穫ロボット1を前後左右に移動するための図示しない駆動手段と、複数の車輪とで構成されている。
【0022】
以上のように構成される収穫ロボット1は、農作業従事者と同様に、果実を認識し、それを摘み取り、摘み取った果実をコンテナ6に入れて、果実を収穫することができる。
この果実の収穫は、画像処理システムと、カメラ位置決めシステムとによって実現することができる。画像処理システムによって果実を認識し、その果柄を切断するため、カメラ位置決めシステムによって、認識した果実に対してカメラを位置決めする。
【0023】
図6は、画像処理システムを機能構成によって示す構成図である。図7は、画像処理システムにおけるアルゴリズムを説明するフロー図である。
画像処理システムは、カメラ10によって撮影された茎や葉とともにある果菜の画像を、画像処理アルゴリズムによって処理し、茎や葉から識別して果実を認識する。
【0024】
この画像処理アルゴリズムにおいては、まず、画像入力ボード21が左右のカメラ10からの各デジタルカラー画像を取込み(ステップ1:S1)、赤(Red),緑(Green),青(Blue)からなるRGB値で表される画像を、輝度、彩度、色相からなるHSI空間表色系のHSI値に変換する(ステップ2:S2)。
そして、変換された画像データ24(輝度、彩度、色相の各値)は、画像処理アプリケーション22によって収穫しようとする果実ごとに予め設定した閾値に基づいて、その果実の色の領域に絞り込まれる(二値化)。二値化では、まず光度画像で選別し(ステップ3:S3)、彩度の二値化で葉等の大部分が果実と区別され(ステップ4:S4)、最後に色相でノイズを取り除く(ステップ5:S5)。
【0025】
このようにして絞り込んだ色の領域を、連続した固まりごとに一つのものとして認識させる(標識づけ)(ステップ6:S6)。
標識づけされた各領域について、特徴量(形状、大きさ等)を算出し(ステップ7:S7)、収穫しようとする果実ごとに予め設定された特徴量に合致する領域を果実として認識する(ステップ8:S8)。このとき、大きさで選別することによって、収穫適期の果実を認識することが可能である。
【0026】
なお、この果実の認識は、左右のカメラ10において撮影された各画像について別個に処理され、別個に認識される。従って、左右の認識が異なる場合、認識できなかったものとして処理する。このように処理するのは、認識結果の整合性をとるためだけであれば、例えば、照明装置17が取り付けられたカメラによる認識を優先するようにすることも可能であるが、後述するカメラ位置決めシステムにおけるステレオビジョンによる処理において、左右のカメラ10によって同時に夫々撮影されて夫々認識された1つの果実の画像が必要とされるからである。
【0027】
従って、後述するステレオビジョンによる処理のためにも、左右のカメラ10による果実の認識が異なることなく、1つの果実を認識することが必要である。このような認識を、本発明に係る収穫ロボットにおいては、果実に照明を当てることによって実現している。
ピーマン等のように果実の色が葉等と同じ緑色の果実については、普通に撮影された画像データについて二値化しただけでは、葉等から識別することが困難である。そこで、果実に照明装置17のライトを当てることによって、彩度のグレー値は、果実と葉等とで明確に区別することができ、葉等とともにある画像の中から果実だけを認識することができる。
【0028】
また、果実が複数隣接したり重なったりした状態において、1つの果実を他の果実と識別するには、果実に当てる照明範囲を限定することによって、左右のカメラで夫々撮影された画像から認識される果実を確実に一致させて1つの果実を認識することができる。
例えば、果実が2つ隣接した状態では、左カメラにLEDが取り付けられていると左カメラ正面に照明範囲が限定され、そこに位置する果実に照明が集中して隣接する果実よりも明るく照らされ、光度や彩度が異なる。従って、明るく照らされた果実を認識するように、光度及び彩度の閾値を設定すれば、左右のカメラで夫々撮影された画像から、左カメラ正面に位置する1つの果実のみを確実に一致して認識することができる。
【0029】
また、例えば、前後方向に2つの果実が一部重なっている状態では、左カメラ正面の重なった果実に照明が当てられる場合、前方の果実が明るく照らされ、後方の果実は影になって前方の果実とは光度や彩度が異なり、左右のカメラで夫々撮影された画像から確実に一致して前方の1つの果実のみを認識することができる。
なお、画像処理領域を小さく限定することによって、左右のカメラで夫々撮影された画像から認識される果実を一致させることも考えられるが、その場合、果実を見つけ出すまでに時間がかかりすぎるという問題がある。これに対し、照明範囲を限定することによって時間をかけずに1つの果実を認識することが可能である。
【0030】
以上のように、本発明に係る収穫ロボットは、撮影手段2及び画像処理手段3によって実現される画像処理システムを備えることによって、撮影手段2における照明装置17によって照明された果菜が2台のカメラ10で夫々撮影され、その撮影された各画像が画像処理手段3においてHSI値に変換されて二値化されることによって、ピーマン等の葉等と色や形の区別がつきにくい果実であっても、葉等から区別して認識することができ、その二値化で絞り込んだ領域から特徴量(大きさ等)を判別して収穫適期の果実を選別することが可能である。
【0031】
また、照明装置17で照明範囲を限定することによって、果実同士が隣接したり重なったりした状態であっても、1つの果実に照明が集中するので、他の果実との光度及び彩度が異なり、2台のカメラで夫々撮影された画像から、その1つの果実を確実に一致して認識することが可能となる。
さらに、照明装置17をLEDとし、2台のカメラのうち、一方のレンズ周囲に複数個取り付けることによって、照明範囲が限定されるとともに、照明を均一に当てることができ、2台のカメラで夫々撮影された画像から、その1つの果実をより確実に一致して認識することが可能となる。
【0032】
次に、カメラ位置決めシステムについて説明する。
カメラ位置決めシステムは、上述のように、画像処理システムによって認識された果実の果柄を切断するために、その果実に対してカメラの位置決めを行うシステムであり、画像処理を利用したビジュアルフィードバック制御を利用する。このように、カメラ位置決めシステムは、上述の画像処理システムを包含するシステムである。
図8は、ビジュアルフィードバック制御を利用したカメラ位置決めシステムを説明するための概念図である。図9は、図8のカメラ位置決めシステムを機能構成によって示す構成図である。図10は、ステレオビジョンによって奥行を算出する原理を示す概念図である。図11は、認識された果実の中央位置を画像の基準位置に合わせる様子を示す模式図である。図12は、カメラ位置決めシステムによって果実を摘み取る動作を説明するフローチャート図である。
【0033】
カメラ位置決めシステムでは、まず、カメラ位置を移動して果菜の影像を撮影する(ステップ11:S11)。このときカメラ位置は、移動装置4と撮影手段2の移動機構20によって移動させられる。
次いで、撮影された画像が、上述の画像処理システムによって処理される(ステップ12:S12)。この処理によって、左右のカメラによって同時に撮影された画像について夫々果実が認識され、左右のカメラで認識された果実がなければ(ステップ13:S13)、再びカメラ位置を移動するところから始める(ステップ11:S11)。なお、S13までは、上述の画像処理システムにおける処理である。
【0034】
一方、左右のカメラで果実を認識すると(ステップ13:S13)、認識した果実の中心位置が算出され、図11に示すように、一方のカメラ10(例えば、左カメラ)による画像における果実の中心位置41が、カメラ画像の基準位置(x,y)42に揃うように、カメラ位置を移動機構20によって移動する(ステップ14:S14)。このとき、果実の位置は、2台のカメラ10によって検知されており、その位置データによって各モータが制御手段23によって制御され、カメラが移動する。
【0035】
具体的には、図9のように、画像処理アプリケーション22によって把握された果実の中心位置情報を、制御手段23が取得する。制御手段23は、取得した中心位置情報から、該中心位置41をカメラ画像の基準位置42に揃えるために、移動機構20を制御する。即ち、制御手段23は、垂直方向及び水平方向に動かすモータの増幅器に対し、DSP回路24を介して指示信号を送信する。これらの信号によって図3に示した移動機構20におけるDCモータ11が駆動され、タイミングベルト13、スライドレール14が作動して、垂直方向及び水平方向にカメラ10が移動する。なお、2台のカメラ10は平行に固定されているので、同時に移動することになる。
【0036】
基準位置(x,y)42は、果実の中心位置41がこの基準位置42に揃うことによって、果実に対してカメラが一定の位置に配置されると同時に、摘み取り装置5が果実を摘み取り可能な範囲に配置されるように設定された位置である。
次いで、画像処理アプリケーション22によって、ステレオビジョンによる画像処理が行われる。即ち、2台のカメラ10によるステレオビジョンによって、カメラ10と認識された果実との距離が測定される。例えば図10に示すように、各カメラ10で撮影された画像における果実の中央位置のX座標は異なるので、その差(xl−xr)によって、奥行dがd=bf/(xl−xr)から算出される。なお、fは焦点長さ、bは2台のカメラの距離である。この画像処理によって、カメラから果実の奥行方向への位置を把握することができる。
【0037】
そして、算出された奥行dに基づいて奥行方向の基準位置(z)にカメラ位置を移動する(ステップ15:S15)。基準位置(x,y)42に加え、この奥行方向の基準位置(z)にカメラ位置を移動することによって、摘み取り装置5の剪定ハサミ31は果実に届く範囲に配置される。また、摘み取り装置5は、ラック駆動機構15を備えているので、カメラの移動とは別に、水平面において所定角度回転又は前後にスライドして果実に接近することができる。
【0038】
次いで、剪定ハサミ31は、図5に示したDCモータ18が駆動して並列連結機構32を開くことによって、当該剪定ハサミ31を開く(ステップ16)。そして、剪定ハサミ31が果柄を挟む位置まで、摘み取り装置5をスライドさせ(ステップ17)、並列連結機構32を閉じることによって剪定ハサミ31を閉じ、果柄を切断する(ステップ18)。切断された果実は、コンテナ6内に落下して収容される。
さらに、別の果実の摘み取りを続行する場合には(ステップ19)、ステップ11に戻り、摘み取り作業を続行しない場合には終了する。
【0039】
なお、ステレオビジョンによる奥行の算出は、基準位置(x,y)へ移動するS14の前に行うようにしてもよく、上述のようにS14の後に行った場合と同様に基準位置(x,y,z)へ移動することができる。
また、本実施形態においては、ピーマンやオクラ等の軽量な果実を摘み取る場合を想定し、摘み取り装置5には、果実を把持してコンテナ6に収容する機構を設けていないが、従来既知の把持機構を備えるようにすれば、重量のある果実に対応することが可能である。
【0040】
このようにカメラ位置決めシステムにおいてビジュアルフィードバック制御を利用することによって、画像処理によって得た果実の中心位置をフィードバックして、認識した果実に対してカメラを一定位置に位置決めすることができる。これによって、果柄と剪定ハサミとの相対位置を制御でき、摘み取り動作のための位置決めが可能となる。
【0041】
以上のように、本発明に係る収穫ロボットは、画像処理システムにおいて1つの果実が認識されていることを前提に、撮影手段2が2台のカメラの位置を同時に移動する移動機構を備え、認識した果実の中央位置がカメラ画像の基準位置(x,y)に揃うように、かつ、2台のカメラによるステレオビジョンによって算出された果実とカメラとの距離(奥行)を、所定距離(基準位置(z))となるようにカメラ位置を移動することによって、摘み取り装置5が果実に届く範囲に配置される。これによって、摘み取り装置5は、果柄を切断して果実を収穫することができる。
また、摘み取り装置5は、ラック駆動機構15を備えることによって、カメラの移動とは別に、水平面において所定角度回転及び前後にスライドして果実に接近することができ、より確実に果柄を切断することが可能である。
【試験例】
【0042】
(試験例1)
本発明に係る収穫ロボットにおける撮影手段及び画像処理手段の構成部分を作製し、実際に栽培されているハウス内の果菜(ピーマン)の画像データを収集し、画像処理アルゴリズムの検証試験を行った。なお、撮影手段に、移動機構は設けず、2台のカメラと照明装置で構成した。
有効画素数640×480のカラーCCDカメラ(Logcool製QcamPro4000)2台を、110mmの間隔で照明装置(蛍光灯27W)に取り付け、画像入力ボード(Leutron Vision製Pic−Port)、画像処理アプリケーション(MVTec製HALCON)及び制御手段(DSPコントローラ)で構成される画像処理手段(ノート型パーソナルコンピュータ)に接続し、本試験例1における収穫ロボットとした。周囲の明るさの影響を確認するため、昼間と夜間の画像データを夫々収集し、これらの画像データにおいて認識できたピーマンの認識数を、人の目で確認したピーマンの個数と比較した。
【0043】
図13は、試験例1における試験結果を示す一覧表である。
認識率は、昼間47.6%、夜間75.5%で、画像処理アルゴリズムは有効であった。夜間に認識率が高いのは、周囲の明るさの影響を受けにくく、安定して認識できたためと考えられる。なお、ピーマンが葉に一部隠れている状態では、大きさの判定や果柄部の認識は困難であったが、ピーマン自体の存在の認識は可能であった。
【0044】
(試験例2)
本発明に係る収穫ロボットを試作し、撮影手段及び画像処理手段の構成によって果実を認識してカメラを位置決めし、その果実を摘み取り装置によって摘み取った。
有効画素数640×480のカラーCCDカメラ(Logcool製QcamPro4000)2台を、120mmの間隔で配設し、画像処理手段を、画像入力ボード(Leutron Vision製Pic−Port)、画像処理アプリケーション(MVTec製HALCON)及び制御手段(DSPコントローラ)で構成した。照明装置として、蛍光灯(27W)は2台のカメラの下方に取り付けた。撮影手段における移動機構は、図3に示すように2台のカメラが平行状態を保って同時に同方向へ3方向(水平、垂直、奥行)で位置決めすることができるように設定した。また、摘み取り装置は、図3のように、右カメラの右側上方にカメラの移動に追従し、かつカメラの移動とは別に水平方向に移動可能なように取り付けた。
【0045】
図14は、認識及び摘み取り目標となる果実の4種類の配置状態を示す画像である。
認識及び摘み取り目標の果実(ピーマン)は、カメラからのリアルタイムの影像を画像処理して認識した。なお、画像処理領域は小さく限定し、左右カメラで夫々撮影された画像において認識する果実を一致させるようにした。
【0046】
図15は、摘み取り装置による果柄の切断成功率を示す一覧表である。
図14(a)のように果実が葉とともにあっても単体で存在する場合は、葉と区別して高い確率で果実の認識から摘み取りまでの動作ができることが確認できた。複数の果実が存在する場合、左右カメラで夫々撮影された画像において認識する摘み取りの目標となる果実が一致しないことがあり、認識が不安定となって摘み取り成功率が低くなった。図14(c),(d)のように果実同士が接触したり、重なり合った状態では、切断成功率は低かったが、果実が2つ以上存在する場合でも図14(b)のように果実同士が隣接せずに離れている場合は、93%と高い切断成功率であった。
【0047】
(試験例3)
試験例2と同じ収穫ロボットを試作し、さらに照明装置として、白色のLED(光度:5500mcd/20mA,指向特性:18度)16個を左カメラの周囲に取り付けた。左カメラ1台による認識状況を、LEDを用いた場合と蛍光灯を用いた場合とで比較した。
認識対象の果実としてピーマンを2個用い、隣接させて設置した場合と、1個を後方に置いて前方から重なって見える場合の2つのケースで実施した。大きさによる果実の絞込みや画像領域の制限は行わず、認識したピーマンをすべてマーキングさせた。
【0048】
図16は、蛍光灯及びLEDによって夫々認識された果実のマーキング結果を示す画像である。
隣接して果実を設置した場合、図16(a),(b)のように蛍光灯の照明では2つの果実を認識したが、図16(c),(d)のようにLEDの照明では、正面にあたる果実のみを認識した。また、重なりがあるように設置した場合、図16(e),(f)のように蛍光灯の照明では2つの果実を1つと認識したが、図16(g),(h)のようにLEDの照明では、前方の果実のみを認識した。これらの結果から、蛍光灯を用いた照明では、広範囲の果実を認識するため、誤認や左右のカメラで認識する果実の不一致が生じる可能性が高いことが分かった。一方、LEDの場合、照明範囲が限定されるため、誤認が少なく、左右のカメラで夫々撮影された画像において認識する果実が一致する可能性が高いと考えられる。
【0049】
(試験例4)
試験例3と同じ収穫ロボットによって、左右2台のカメラによるステレオビジョンでの認識状況を、LEDを用いた場合と蛍光灯を用いた場合とで比較した。
認識対象の果実としてピーマンを2個用い、図14(b)の状態で、カメラ位置を移動させて、認識状況を確認した。カメラは、2個のピーマンに対して正面右側方、略真正面及び正面左側方に順次移動させた。画像処理領域は制限せず、ピーマンと認識されたものの中で最も大きいものを選択してマーキングさせた。また、同じカメラ位置で、複数回、認識状況を確認した。
蛍光灯照明の場合、左右カメラで夫々撮影された画像において認識するピーマンの不一致や、同じカメラ位置で撮影された画像でも認識するピーマンの変動が見られた。一方、LED照明の場合、カメラ位置によって認識するピーマンを限定できることが分かった。
【産業上の利用可能性】
【0050】
本発明は、果菜類の温度管理や水やりなどの自動化を進めているハウス園芸において好適に利用されるものである。
【図面の簡単な説明】
【0051】
【図1】本発明に係る収穫ロボットの実施形態の一例を示す概略構成図である。
【図2】収穫ロボットにおける機能構成を示す構成図である。
【図3】収穫ロボットにおける撮影手段及び摘み取り装置の一例を示す斜視図である。
【図4】照明装置の一例を示す概略構成図である。
【図5】摘み取り装置の機能構成を示す構成図である。
【図6】画像処理システムを機能構成によって示す構成図である。
【図7】画像処理システムにおけるアルゴリズムを説明するフロー図である。
【図8】ビジュアルフィードバック制御を利用したカメラ位置決めシステムを説明するための概念図である。
【図9】図8のカメラ位置決めシステムを機能構成によって示す構成図である。
【図10】ステレオビジョンによって奥行を算出する原理を示す概念図である。
【図11】認識された果実の中央位置を画像の基準位置に合わせる様子を示す模式図である。
【図12】カメラ位置決めシステムによって果実を摘み取る動作を説明するフローチャート図である。
【図13】試験例1における試験結果を示す一覧表である。
【図14】認識及び摘み取り目標となる果実の4種類の配置状態を示す画像である。
【図15】摘み取り装置による果柄の切断成功率を示す一覧表である。
【図16】蛍光灯及びLEDによって夫々認識された果実のマーキング結果を示す画像である。
【符号の説明】
【0052】
1 収穫ロボット
2 撮影手段
3 画像処理手段
4 移動装置
5 摘み取り装置
6 コンテナ
【技術分野】
【0001】
本発明は、収穫ロボットに関し、より詳しくは、収穫適期の果実を判別して収穫する収穫ロボットに関するものである。
【背景技術】
【0002】
労働力不足の解消や農作業の援助などのため、ハウス園芸における自動化が期待されており、温度管理や水やりなどの自動化とともに、ナスやイチゴなどの果菜類の収穫ロボットの研究開発が行われている。
例えば、ナス等の長物果実の収穫適期のもののみを選択的に自動収穫するため、カメラ撮影された長物果実の画像を取り込み、撮影画像の色情報を基に画像を処理して果実を検出すると共に、果実の位置から移動位置を決定し、果実に接近させ、果実の把持及び大きさ判定を行って収穫適期の果実の果梗を切断する技術が提案されている(下記特許文献1参照)。
このような技術によれば、長物果実のナス等であれば、赤緑青色の色情報を基に果実を認識することができ、その検出した果実の果実長さを判定して収穫適期のものを選択することが可能である。
【0003】
しかしながら、ピーマンやオクラ等の緑色の果実は、葉や茎と同じ緑色で、上記技術のような色情報を基に果実を認識することはできない。
また、ピーマン等の長物果実でない果実は、葉の形との区別もつきにくく、形状に基づいて認識することも困難である。
【0004】
【特許文献1】特開2000−262128号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
本発明は、上述したような従来技術の問題点を解決すべくなされたものであって、果菜類の果実の色や形状に限定されることなく、収穫適期の果実を収穫することができる収穫ロボットを提供するものである。
【課題を解決するための手段】
【0006】
請求項1に係る発明は、撮影手段、画像処理手段、果柄を切断して果実を取り込む摘み取り装置及び移動装置からなる果菜類の収穫ロボットであって、前記撮影手段は、果菜を照明する照明装置と、2台のカメラとを備えてなり、前記画像処理手段は、2台のカメラによって夫々撮影されたアナログの画像情報を取得してデジタル変換する画像入力ボードと、該画像入力ボードがデジタル変換した画像情報を処理する画像処理アプリケーションと、該画像処理アプリケーションにて処理された画像情報に基づいて前記撮影手段、摘み取り装置及び移動装置を制御する制御手段とを備え、前記画像処理アプリケーションは、デジタル変換されたカラー画像データをHSI値に変換して二値化し、その二値化によって絞り込んだ果実の領域から特徴量を判別することを特徴とする収穫ロボットに関する。
【0007】
請求項2に係る発明は、前記照明装置は、その照明範囲が限定されていることを特徴とする請求項1記載の収穫ロボットに関する。
【0008】
請求項3に係る発明は、前記照明装置は、LEDであって、前記2台のカメラのうち、一方のレンズ周囲に複数個取り付けられていることを特徴とする請求項2記載の収穫ロボットに関する。
【0009】
請求項4に係る発明は、前記撮影手段は、2台のカメラ位置を同時に移動する移動機構を備え、前記画像処理アプリケーションは、画像情報から認識された果実の中央位置、及び、前記2台のカメラによるステレオビジョンによって果実とカメラとの距離を算出し、前記制御手段は、前記果実の中央位置が画像における基準位置(x,y)に揃い、かつ、前記距離が所定距離となる基準位置(z)にカメラが配置されるように、前記移動機構及び移動装置を制御することを特徴とする請求項1乃至3いずれか記載の収穫ロボットに関する。
【0010】
請求項5に係る発明は、前記摘み取り装置は、ラック駆動機構を備え、水平面において所定角度回転及び前後にスライド可能に取り付けられていることを特徴とする請求項1乃至4いずれか記載の収穫ロボットに関する。
【発明の効果】
【0011】
請求項1に係る発明によれば、撮影手段における照明装置によって照明された果菜が2台のカメラで夫々撮影され、その撮影された各画像が画像処理手段においてHSI値に変換されて二値化されることによって、ピーマン等の葉等と色や形の区別がつきにくい果実であっても、葉等から区別して認識することができ、その二値化で絞り込んだ領域から特徴量(大きさ等)を判別して収穫適期の果実を選別することが可能である。
【0012】
請求項2に係る発明によれば、照明装置による照明範囲を限定することによって、果実同士が隣接したり重なったりした状態であっても、1つの果実に照明が集中するので、他の果実との光度及び彩度が異なり、2台のカメラで夫々撮影された画像から、その1つの果実を確実に一致して認識することが可能となる。
【0013】
請求項3に係る発明によれば、照明装置がLEDであって、2台のカメラのうち、一方のレンズ周囲に複数個取り付けられていることによって、照明範囲が限定されるとともに、照明を均一に当てることができ、2台のカメラで夫々撮影された画像から、その1つの果実をより確実に一致して認識することが可能となる。
【0014】
請求項4に係る発明によれば、さらに撮影手段が2台のカメラの位置を同時に移動する移動機構を備え、認識された果実の中央位置がカメラ画像の基準位置(x,y)に揃うように、かつ、2台のカメラによるステレオビジョンによって算出された果実とカメラとの距離(奥行)を、所定距離(基準位置(z))となるようにカメラ位置を移動することによって、摘み取り装置が果実に届く範囲に配置される。これによって、摘み取り装置は、果柄を切断して果実を収穫することができる。
【0015】
請求項5に係る発明によれば、摘み取り装置は、ラック駆動機構を備えることによって、カメラの移動とは別に、水平面において所定角度回転及び前後にスライドして果実に接近することができ、より確実に果柄を切断することが可能である。
【発明を実施するための最良の形態】
【0016】
以下、本発明に係る収穫ロボットの好適な実施形態について、図面を参照しつつ説明する。
図1は、本発明に係る収穫ロボットの実施形態の一例を示す概略構成図である。図2は、収穫ロボットにおける機能構成を示す構成図である。図3は、収穫ロボットにおける撮影手段及び摘み取り装置の一例を示す斜視図である。図4は、照明装置の一例を示す概略構成図である。図5は、摘み取り装置の機能構成を示す構成図である。
本発明に係る収穫ロボット1は、2台のカメラ10を備える撮影手段2と、画像処理手段3と、移動装置4と、果柄を切断して果実を摘み取る摘み取り装置5と、摘み取った果実を収容するコンテナ6とで構成される。なお、図1においては、2台のカメラ10が紙面垂直方向に重なっているので、1台のみが表されている。
【0017】
画像処理手段3は、画像入力ボード21と、画像処理アプリケーション22と、制御手段23とを有する。画像処理手段3は、後述する画像処理システムの主要機能を担っている。
【0018】
撮影手段2は、2台のカメラ10と、これらのカメラ位置を移動する移動機構20と、撮影対象を照らす照明装置17とからなる。カメラ10は、カラー画像撮影用で、立体視(ステレオビジョン)によって果実の位置を検出するために、2台を平行配設する。2台のカメラ10の周辺には、図3に示すように、電位差計12、DCモータ11と、その駆動によって作動するタイミングベルト13及びスライドレール14とで構成される移動機構20が設けられている。2台のカメラ10は、これらの構成によって、平行状態を保って同時に同方向へ3方向(水平、垂直、奥行)で位置決めすることができるようになっている。なお、2台のカメラは、必ずしも平行に設置する必要はなく、適度な間隔をあけてステレオビジョンを撮影することができればよい。例えば、2台のカメラを後方より前方の間隔が狭くなるように内向きに設置したりすることができる。
【0019】
照明装置17は、図示例では、2台のカメラ10のうちの一方のみに、そのレンズ18周囲に複数個取り付けられたLED照明装置である。照明装置17は、LEDに限定されるものではなく、蛍光灯等、果実を照らすことができるものであればよいが、LEDのように照明範囲が限定されるものが好ましい。また、レンズ周囲に1個取り付けられたもの、2台のカメラの両方のレンズ周囲に1又は複数個取り付けられたもの、カメラのレンズ周囲以外の場所に取り付けられたものも除外するものではない。
【0020】
摘み取り装置5は、図3に示すように2台のカメラの近傍に、カメラの移動に追従して移動可能に取り付けられ、かつカメラの移動とは別に、水平方向において所定角度回転及び前後にスライド可能に取り付けられ、水平面において移動可能である。これらの移動は、DCモータ16によって駆動するラック駆動機構15によって実現される。また、図5に示すように、果菜を果柄で切断して果実を摘み取る剪定ハサミ31と、剪定ハサミ31の開閉を実現する並列連結機構32と、並列連結機構32を駆動するDCモータ33とで構成される。
【0021】
移動装置4は、当該収穫ロボット1を前後左右に移動するための図示しない駆動手段と、複数の車輪とで構成されている。
【0022】
以上のように構成される収穫ロボット1は、農作業従事者と同様に、果実を認識し、それを摘み取り、摘み取った果実をコンテナ6に入れて、果実を収穫することができる。
この果実の収穫は、画像処理システムと、カメラ位置決めシステムとによって実現することができる。画像処理システムによって果実を認識し、その果柄を切断するため、カメラ位置決めシステムによって、認識した果実に対してカメラを位置決めする。
【0023】
図6は、画像処理システムを機能構成によって示す構成図である。図7は、画像処理システムにおけるアルゴリズムを説明するフロー図である。
画像処理システムは、カメラ10によって撮影された茎や葉とともにある果菜の画像を、画像処理アルゴリズムによって処理し、茎や葉から識別して果実を認識する。
【0024】
この画像処理アルゴリズムにおいては、まず、画像入力ボード21が左右のカメラ10からの各デジタルカラー画像を取込み(ステップ1:S1)、赤(Red),緑(Green),青(Blue)からなるRGB値で表される画像を、輝度、彩度、色相からなるHSI空間表色系のHSI値に変換する(ステップ2:S2)。
そして、変換された画像データ24(輝度、彩度、色相の各値)は、画像処理アプリケーション22によって収穫しようとする果実ごとに予め設定した閾値に基づいて、その果実の色の領域に絞り込まれる(二値化)。二値化では、まず光度画像で選別し(ステップ3:S3)、彩度の二値化で葉等の大部分が果実と区別され(ステップ4:S4)、最後に色相でノイズを取り除く(ステップ5:S5)。
【0025】
このようにして絞り込んだ色の領域を、連続した固まりごとに一つのものとして認識させる(標識づけ)(ステップ6:S6)。
標識づけされた各領域について、特徴量(形状、大きさ等)を算出し(ステップ7:S7)、収穫しようとする果実ごとに予め設定された特徴量に合致する領域を果実として認識する(ステップ8:S8)。このとき、大きさで選別することによって、収穫適期の果実を認識することが可能である。
【0026】
なお、この果実の認識は、左右のカメラ10において撮影された各画像について別個に処理され、別個に認識される。従って、左右の認識が異なる場合、認識できなかったものとして処理する。このように処理するのは、認識結果の整合性をとるためだけであれば、例えば、照明装置17が取り付けられたカメラによる認識を優先するようにすることも可能であるが、後述するカメラ位置決めシステムにおけるステレオビジョンによる処理において、左右のカメラ10によって同時に夫々撮影されて夫々認識された1つの果実の画像が必要とされるからである。
【0027】
従って、後述するステレオビジョンによる処理のためにも、左右のカメラ10による果実の認識が異なることなく、1つの果実を認識することが必要である。このような認識を、本発明に係る収穫ロボットにおいては、果実に照明を当てることによって実現している。
ピーマン等のように果実の色が葉等と同じ緑色の果実については、普通に撮影された画像データについて二値化しただけでは、葉等から識別することが困難である。そこで、果実に照明装置17のライトを当てることによって、彩度のグレー値は、果実と葉等とで明確に区別することができ、葉等とともにある画像の中から果実だけを認識することができる。
【0028】
また、果実が複数隣接したり重なったりした状態において、1つの果実を他の果実と識別するには、果実に当てる照明範囲を限定することによって、左右のカメラで夫々撮影された画像から認識される果実を確実に一致させて1つの果実を認識することができる。
例えば、果実が2つ隣接した状態では、左カメラにLEDが取り付けられていると左カメラ正面に照明範囲が限定され、そこに位置する果実に照明が集中して隣接する果実よりも明るく照らされ、光度や彩度が異なる。従って、明るく照らされた果実を認識するように、光度及び彩度の閾値を設定すれば、左右のカメラで夫々撮影された画像から、左カメラ正面に位置する1つの果実のみを確実に一致して認識することができる。
【0029】
また、例えば、前後方向に2つの果実が一部重なっている状態では、左カメラ正面の重なった果実に照明が当てられる場合、前方の果実が明るく照らされ、後方の果実は影になって前方の果実とは光度や彩度が異なり、左右のカメラで夫々撮影された画像から確実に一致して前方の1つの果実のみを認識することができる。
なお、画像処理領域を小さく限定することによって、左右のカメラで夫々撮影された画像から認識される果実を一致させることも考えられるが、その場合、果実を見つけ出すまでに時間がかかりすぎるという問題がある。これに対し、照明範囲を限定することによって時間をかけずに1つの果実を認識することが可能である。
【0030】
以上のように、本発明に係る収穫ロボットは、撮影手段2及び画像処理手段3によって実現される画像処理システムを備えることによって、撮影手段2における照明装置17によって照明された果菜が2台のカメラ10で夫々撮影され、その撮影された各画像が画像処理手段3においてHSI値に変換されて二値化されることによって、ピーマン等の葉等と色や形の区別がつきにくい果実であっても、葉等から区別して認識することができ、その二値化で絞り込んだ領域から特徴量(大きさ等)を判別して収穫適期の果実を選別することが可能である。
【0031】
また、照明装置17で照明範囲を限定することによって、果実同士が隣接したり重なったりした状態であっても、1つの果実に照明が集中するので、他の果実との光度及び彩度が異なり、2台のカメラで夫々撮影された画像から、その1つの果実を確実に一致して認識することが可能となる。
さらに、照明装置17をLEDとし、2台のカメラのうち、一方のレンズ周囲に複数個取り付けることによって、照明範囲が限定されるとともに、照明を均一に当てることができ、2台のカメラで夫々撮影された画像から、その1つの果実をより確実に一致して認識することが可能となる。
【0032】
次に、カメラ位置決めシステムについて説明する。
カメラ位置決めシステムは、上述のように、画像処理システムによって認識された果実の果柄を切断するために、その果実に対してカメラの位置決めを行うシステムであり、画像処理を利用したビジュアルフィードバック制御を利用する。このように、カメラ位置決めシステムは、上述の画像処理システムを包含するシステムである。
図8は、ビジュアルフィードバック制御を利用したカメラ位置決めシステムを説明するための概念図である。図9は、図8のカメラ位置決めシステムを機能構成によって示す構成図である。図10は、ステレオビジョンによって奥行を算出する原理を示す概念図である。図11は、認識された果実の中央位置を画像の基準位置に合わせる様子を示す模式図である。図12は、カメラ位置決めシステムによって果実を摘み取る動作を説明するフローチャート図である。
【0033】
カメラ位置決めシステムでは、まず、カメラ位置を移動して果菜の影像を撮影する(ステップ11:S11)。このときカメラ位置は、移動装置4と撮影手段2の移動機構20によって移動させられる。
次いで、撮影された画像が、上述の画像処理システムによって処理される(ステップ12:S12)。この処理によって、左右のカメラによって同時に撮影された画像について夫々果実が認識され、左右のカメラで認識された果実がなければ(ステップ13:S13)、再びカメラ位置を移動するところから始める(ステップ11:S11)。なお、S13までは、上述の画像処理システムにおける処理である。
【0034】
一方、左右のカメラで果実を認識すると(ステップ13:S13)、認識した果実の中心位置が算出され、図11に示すように、一方のカメラ10(例えば、左カメラ)による画像における果実の中心位置41が、カメラ画像の基準位置(x,y)42に揃うように、カメラ位置を移動機構20によって移動する(ステップ14:S14)。このとき、果実の位置は、2台のカメラ10によって検知されており、その位置データによって各モータが制御手段23によって制御され、カメラが移動する。
【0035】
具体的には、図9のように、画像処理アプリケーション22によって把握された果実の中心位置情報を、制御手段23が取得する。制御手段23は、取得した中心位置情報から、該中心位置41をカメラ画像の基準位置42に揃えるために、移動機構20を制御する。即ち、制御手段23は、垂直方向及び水平方向に動かすモータの増幅器に対し、DSP回路24を介して指示信号を送信する。これらの信号によって図3に示した移動機構20におけるDCモータ11が駆動され、タイミングベルト13、スライドレール14が作動して、垂直方向及び水平方向にカメラ10が移動する。なお、2台のカメラ10は平行に固定されているので、同時に移動することになる。
【0036】
基準位置(x,y)42は、果実の中心位置41がこの基準位置42に揃うことによって、果実に対してカメラが一定の位置に配置されると同時に、摘み取り装置5が果実を摘み取り可能な範囲に配置されるように設定された位置である。
次いで、画像処理アプリケーション22によって、ステレオビジョンによる画像処理が行われる。即ち、2台のカメラ10によるステレオビジョンによって、カメラ10と認識された果実との距離が測定される。例えば図10に示すように、各カメラ10で撮影された画像における果実の中央位置のX座標は異なるので、その差(xl−xr)によって、奥行dがd=bf/(xl−xr)から算出される。なお、fは焦点長さ、bは2台のカメラの距離である。この画像処理によって、カメラから果実の奥行方向への位置を把握することができる。
【0037】
そして、算出された奥行dに基づいて奥行方向の基準位置(z)にカメラ位置を移動する(ステップ15:S15)。基準位置(x,y)42に加え、この奥行方向の基準位置(z)にカメラ位置を移動することによって、摘み取り装置5の剪定ハサミ31は果実に届く範囲に配置される。また、摘み取り装置5は、ラック駆動機構15を備えているので、カメラの移動とは別に、水平面において所定角度回転又は前後にスライドして果実に接近することができる。
【0038】
次いで、剪定ハサミ31は、図5に示したDCモータ18が駆動して並列連結機構32を開くことによって、当該剪定ハサミ31を開く(ステップ16)。そして、剪定ハサミ31が果柄を挟む位置まで、摘み取り装置5をスライドさせ(ステップ17)、並列連結機構32を閉じることによって剪定ハサミ31を閉じ、果柄を切断する(ステップ18)。切断された果実は、コンテナ6内に落下して収容される。
さらに、別の果実の摘み取りを続行する場合には(ステップ19)、ステップ11に戻り、摘み取り作業を続行しない場合には終了する。
【0039】
なお、ステレオビジョンによる奥行の算出は、基準位置(x,y)へ移動するS14の前に行うようにしてもよく、上述のようにS14の後に行った場合と同様に基準位置(x,y,z)へ移動することができる。
また、本実施形態においては、ピーマンやオクラ等の軽量な果実を摘み取る場合を想定し、摘み取り装置5には、果実を把持してコンテナ6に収容する機構を設けていないが、従来既知の把持機構を備えるようにすれば、重量のある果実に対応することが可能である。
【0040】
このようにカメラ位置決めシステムにおいてビジュアルフィードバック制御を利用することによって、画像処理によって得た果実の中心位置をフィードバックして、認識した果実に対してカメラを一定位置に位置決めすることができる。これによって、果柄と剪定ハサミとの相対位置を制御でき、摘み取り動作のための位置決めが可能となる。
【0041】
以上のように、本発明に係る収穫ロボットは、画像処理システムにおいて1つの果実が認識されていることを前提に、撮影手段2が2台のカメラの位置を同時に移動する移動機構を備え、認識した果実の中央位置がカメラ画像の基準位置(x,y)に揃うように、かつ、2台のカメラによるステレオビジョンによって算出された果実とカメラとの距離(奥行)を、所定距離(基準位置(z))となるようにカメラ位置を移動することによって、摘み取り装置5が果実に届く範囲に配置される。これによって、摘み取り装置5は、果柄を切断して果実を収穫することができる。
また、摘み取り装置5は、ラック駆動機構15を備えることによって、カメラの移動とは別に、水平面において所定角度回転及び前後にスライドして果実に接近することができ、より確実に果柄を切断することが可能である。
【試験例】
【0042】
(試験例1)
本発明に係る収穫ロボットにおける撮影手段及び画像処理手段の構成部分を作製し、実際に栽培されているハウス内の果菜(ピーマン)の画像データを収集し、画像処理アルゴリズムの検証試験を行った。なお、撮影手段に、移動機構は設けず、2台のカメラと照明装置で構成した。
有効画素数640×480のカラーCCDカメラ(Logcool製QcamPro4000)2台を、110mmの間隔で照明装置(蛍光灯27W)に取り付け、画像入力ボード(Leutron Vision製Pic−Port)、画像処理アプリケーション(MVTec製HALCON)及び制御手段(DSPコントローラ)で構成される画像処理手段(ノート型パーソナルコンピュータ)に接続し、本試験例1における収穫ロボットとした。周囲の明るさの影響を確認するため、昼間と夜間の画像データを夫々収集し、これらの画像データにおいて認識できたピーマンの認識数を、人の目で確認したピーマンの個数と比較した。
【0043】
図13は、試験例1における試験結果を示す一覧表である。
認識率は、昼間47.6%、夜間75.5%で、画像処理アルゴリズムは有効であった。夜間に認識率が高いのは、周囲の明るさの影響を受けにくく、安定して認識できたためと考えられる。なお、ピーマンが葉に一部隠れている状態では、大きさの判定や果柄部の認識は困難であったが、ピーマン自体の存在の認識は可能であった。
【0044】
(試験例2)
本発明に係る収穫ロボットを試作し、撮影手段及び画像処理手段の構成によって果実を認識してカメラを位置決めし、その果実を摘み取り装置によって摘み取った。
有効画素数640×480のカラーCCDカメラ(Logcool製QcamPro4000)2台を、120mmの間隔で配設し、画像処理手段を、画像入力ボード(Leutron Vision製Pic−Port)、画像処理アプリケーション(MVTec製HALCON)及び制御手段(DSPコントローラ)で構成した。照明装置として、蛍光灯(27W)は2台のカメラの下方に取り付けた。撮影手段における移動機構は、図3に示すように2台のカメラが平行状態を保って同時に同方向へ3方向(水平、垂直、奥行)で位置決めすることができるように設定した。また、摘み取り装置は、図3のように、右カメラの右側上方にカメラの移動に追従し、かつカメラの移動とは別に水平方向に移動可能なように取り付けた。
【0045】
図14は、認識及び摘み取り目標となる果実の4種類の配置状態を示す画像である。
認識及び摘み取り目標の果実(ピーマン)は、カメラからのリアルタイムの影像を画像処理して認識した。なお、画像処理領域は小さく限定し、左右カメラで夫々撮影された画像において認識する果実を一致させるようにした。
【0046】
図15は、摘み取り装置による果柄の切断成功率を示す一覧表である。
図14(a)のように果実が葉とともにあっても単体で存在する場合は、葉と区別して高い確率で果実の認識から摘み取りまでの動作ができることが確認できた。複数の果実が存在する場合、左右カメラで夫々撮影された画像において認識する摘み取りの目標となる果実が一致しないことがあり、認識が不安定となって摘み取り成功率が低くなった。図14(c),(d)のように果実同士が接触したり、重なり合った状態では、切断成功率は低かったが、果実が2つ以上存在する場合でも図14(b)のように果実同士が隣接せずに離れている場合は、93%と高い切断成功率であった。
【0047】
(試験例3)
試験例2と同じ収穫ロボットを試作し、さらに照明装置として、白色のLED(光度:5500mcd/20mA,指向特性:18度)16個を左カメラの周囲に取り付けた。左カメラ1台による認識状況を、LEDを用いた場合と蛍光灯を用いた場合とで比較した。
認識対象の果実としてピーマンを2個用い、隣接させて設置した場合と、1個を後方に置いて前方から重なって見える場合の2つのケースで実施した。大きさによる果実の絞込みや画像領域の制限は行わず、認識したピーマンをすべてマーキングさせた。
【0048】
図16は、蛍光灯及びLEDによって夫々認識された果実のマーキング結果を示す画像である。
隣接して果実を設置した場合、図16(a),(b)のように蛍光灯の照明では2つの果実を認識したが、図16(c),(d)のようにLEDの照明では、正面にあたる果実のみを認識した。また、重なりがあるように設置した場合、図16(e),(f)のように蛍光灯の照明では2つの果実を1つと認識したが、図16(g),(h)のようにLEDの照明では、前方の果実のみを認識した。これらの結果から、蛍光灯を用いた照明では、広範囲の果実を認識するため、誤認や左右のカメラで認識する果実の不一致が生じる可能性が高いことが分かった。一方、LEDの場合、照明範囲が限定されるため、誤認が少なく、左右のカメラで夫々撮影された画像において認識する果実が一致する可能性が高いと考えられる。
【0049】
(試験例4)
試験例3と同じ収穫ロボットによって、左右2台のカメラによるステレオビジョンでの認識状況を、LEDを用いた場合と蛍光灯を用いた場合とで比較した。
認識対象の果実としてピーマンを2個用い、図14(b)の状態で、カメラ位置を移動させて、認識状況を確認した。カメラは、2個のピーマンに対して正面右側方、略真正面及び正面左側方に順次移動させた。画像処理領域は制限せず、ピーマンと認識されたものの中で最も大きいものを選択してマーキングさせた。また、同じカメラ位置で、複数回、認識状況を確認した。
蛍光灯照明の場合、左右カメラで夫々撮影された画像において認識するピーマンの不一致や、同じカメラ位置で撮影された画像でも認識するピーマンの変動が見られた。一方、LED照明の場合、カメラ位置によって認識するピーマンを限定できることが分かった。
【産業上の利用可能性】
【0050】
本発明は、果菜類の温度管理や水やりなどの自動化を進めているハウス園芸において好適に利用されるものである。
【図面の簡単な説明】
【0051】
【図1】本発明に係る収穫ロボットの実施形態の一例を示す概略構成図である。
【図2】収穫ロボットにおける機能構成を示す構成図である。
【図3】収穫ロボットにおける撮影手段及び摘み取り装置の一例を示す斜視図である。
【図4】照明装置の一例を示す概略構成図である。
【図5】摘み取り装置の機能構成を示す構成図である。
【図6】画像処理システムを機能構成によって示す構成図である。
【図7】画像処理システムにおけるアルゴリズムを説明するフロー図である。
【図8】ビジュアルフィードバック制御を利用したカメラ位置決めシステムを説明するための概念図である。
【図9】図8のカメラ位置決めシステムを機能構成によって示す構成図である。
【図10】ステレオビジョンによって奥行を算出する原理を示す概念図である。
【図11】認識された果実の中央位置を画像の基準位置に合わせる様子を示す模式図である。
【図12】カメラ位置決めシステムによって果実を摘み取る動作を説明するフローチャート図である。
【図13】試験例1における試験結果を示す一覧表である。
【図14】認識及び摘み取り目標となる果実の4種類の配置状態を示す画像である。
【図15】摘み取り装置による果柄の切断成功率を示す一覧表である。
【図16】蛍光灯及びLEDによって夫々認識された果実のマーキング結果を示す画像である。
【符号の説明】
【0052】
1 収穫ロボット
2 撮影手段
3 画像処理手段
4 移動装置
5 摘み取り装置
6 コンテナ
【特許請求の範囲】
【請求項1】
撮影手段、画像処理手段、果柄を切断して果実を取り込む摘み取り装置及び移動装置からなる果菜類の収穫ロボットであって、
前記撮影手段は、果菜を照明する照明装置と、2台のカメラとを備えてなり、
前記画像処理手段は、2台のカメラによって夫々撮影されたアナログの画像情報を取得してデジタル変換する画像入力ボードと、該画像入力ボードがデジタル変換した画像情報を処理する画像処理アプリケーションと、該画像処理アプリケーションにて処理された画像情報に基づいて前記撮影手段、摘み取り装置及び移動装置を制御する制御手段とを備え、
前記画像処理アプリケーションは、デジタル変換されたカラー画像データをHSI値に変換して二値化し、その二値化によって絞り込んだ果実の領域から特徴量を判別することを特徴とする収穫ロボット。
【請求項2】
前記照明装置は、その照明範囲が限定されていることを特徴とする請求項1記載の収穫ロボット。
【請求項3】
前記照明装置は、LEDであって、前記2台のカメラのうち、一方のレンズ周囲に複数個取り付けられていることを特徴とする請求項2記載の収穫ロボット。
【請求項4】
前記撮影手段は、2台のカメラ位置を同時に移動する移動機構を備え、
前記画像処理アプリケーションは、画像情報から認識された果実の中央位置、及び、前記2台のカメラによるステレオビジョンによって果実とカメラとの距離を算出し、
前記制御手段は、前記果実の中央位置が画像における基準位置(x,y)に揃い、かつ、前記距離が所定距離となる基準位置(z)にカメラが配置されるように、前記移動機構及び移動装置を制御することを特徴とする請求項1乃至3いずれか記載の収穫ロボット。
【請求項5】
前記摘み取り装置は、ラック駆動機構を備え、水平面において所定角度回転及び前後にスライド可能に取り付けられていることを特徴とする請求項1乃至4いずれか記載の収穫ロボット。
【請求項1】
撮影手段、画像処理手段、果柄を切断して果実を取り込む摘み取り装置及び移動装置からなる果菜類の収穫ロボットであって、
前記撮影手段は、果菜を照明する照明装置と、2台のカメラとを備えてなり、
前記画像処理手段は、2台のカメラによって夫々撮影されたアナログの画像情報を取得してデジタル変換する画像入力ボードと、該画像入力ボードがデジタル変換した画像情報を処理する画像処理アプリケーションと、該画像処理アプリケーションにて処理された画像情報に基づいて前記撮影手段、摘み取り装置及び移動装置を制御する制御手段とを備え、
前記画像処理アプリケーションは、デジタル変換されたカラー画像データをHSI値に変換して二値化し、その二値化によって絞り込んだ果実の領域から特徴量を判別することを特徴とする収穫ロボット。
【請求項2】
前記照明装置は、その照明範囲が限定されていることを特徴とする請求項1記載の収穫ロボット。
【請求項3】
前記照明装置は、LEDであって、前記2台のカメラのうち、一方のレンズ周囲に複数個取り付けられていることを特徴とする請求項2記載の収穫ロボット。
【請求項4】
前記撮影手段は、2台のカメラ位置を同時に移動する移動機構を備え、
前記画像処理アプリケーションは、画像情報から認識された果実の中央位置、及び、前記2台のカメラによるステレオビジョンによって果実とカメラとの距離を算出し、
前記制御手段は、前記果実の中央位置が画像における基準位置(x,y)に揃い、かつ、前記距離が所定距離となる基準位置(z)にカメラが配置されるように、前記移動機構及び移動装置を制御することを特徴とする請求項1乃至3いずれか記載の収穫ロボット。
【請求項5】
前記摘み取り装置は、ラック駆動機構を備え、水平面において所定角度回転及び前後にスライド可能に取り付けられていることを特徴とする請求項1乃至4いずれか記載の収穫ロボット。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2008−22737(P2008−22737A)
【公開日】平成20年2月7日(2008.2.7)
【国際特許分類】
【出願番号】特願2006−197012(P2006−197012)
【出願日】平成18年7月19日(2006.7.19)
【出願人】(597154966)学校法人高知工科大学 (141)
【Fターム(参考)】
【公開日】平成20年2月7日(2008.2.7)
【国際特許分類】
【出願日】平成18年7月19日(2006.7.19)
【出願人】(597154966)学校法人高知工科大学 (141)
【Fターム(参考)】
[ Back to top ]