説明

果実収穫ロボット

【課題】画像処理技術を利用して、傷つけることなく高設栽培設備における目標の果実(例えばイチゴ)を収穫できる果実収穫ロボットを提供することである。
【解決手段】下方からイチゴの画像をカメラ13で撮影し、正面からイチゴをカメラ14で撮影し、両方の画像からイチゴの三次元画像の座標位置を特定し、その際にカメラ13、14で撮影したイチゴの赤色と白色画像から着色率を判別して収穫の是非の判断をする。イチゴが収穫可能と判断されると、画像位置に合わせてマニピュレータRを作動させてイチゴを収穫するロボットである。マニピュレータRは単一でも良いし、左右一対のマニピュレータR、Rから構成して、各々独立して移動自在にしても良い。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、高設栽培用果実収穫ロボットに関し、作業者の作業容易な高さ位置に栽培ベッドを配置した高設栽培施設において、果実類の管理及び収穫作業を行う果実収穫ロボットの分野に属する。
【背景技術】
【0002】
従来では、果実類を作業者の作業容易な高さ位置の土耕又は水耕栽培による栽培ベッドにより栽培を行い、これらの果実類の管理及び収穫作業は全て人手により処理を行っているものが一般的であった。
しかし、これら工場生産的な手法により栽培を行うものにおいては、近年、農村における人手不足や人件費の高騰等のため管理及び収穫作業の自動化が要望されるようになってきた。
【0003】
そこで、特許文献1記載の発明のように果実類の管理と収穫作業を行うロボットの研究開発が行われている。
【特許文献1】特開2001−145412号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
上記特許文献1記載の発明は高設栽培施設における栽培ベッドに備えたロボットであり、栽培ベッド架台の下方の内部空間に設けられたレールに沿って作業ロボットを移動させる構成であり、栽培ベッドの移動の自由度が小さく、しかも高設栽培設備の縦方向に設けられた支柱があるので、該支柱を避けて栽培ベッドの間を移動させる必要がある。
【0005】
本発明の課題は画像処理技術を利用して、傷つけることなく高設栽培施設においても目標の果実を収穫できる果実収穫ロボットを提供することである。
【課題を解決するための手段】
【0006】
請求項1記載の発明は、果実を収穫するマニピュレータ(R)と、果実群の下方から果実の画像を撮影する第一撮像装置(13)と、果実の正面から果実の画像を撮影する第二撮像装置(14)と、第一撮像装置(13)が得た果実の第一画像と第二撮像装置(14)が得た果実の第二画像から合成画像を作成し、得られた合成画像から果実の三次元座標を割り出して果実の三次元位置を特定し、得られた前記果実の三次元位置に合わせてマニピュレータ(R)を作動させる制御装置(30)とを備えた果実収穫ロボットである。
【0007】
請求項2記載の発明は、制御装置(30)は、第一撮像装置(13)で得た第一画像から果実の下面の着色状態を判別する第一判別装置と、第二撮像装置(14)で得た第二画像から果実の正面の着色状態を判別する第二判別装置と、前記第一、第二判別装置が得た着色状態から果実全体の着色率を推定し、得られた果実の着色率に基づき収穫する果実か否かを判断する果実収穫判断装置と、果実収穫判断装置で収穫すべき果実であると判断された果実の三次元座標位置を算出する収穫果実の三次元座標位置算出装置と、収穫果実の三次元座標位置算出装置により算出した三次元座標位置近傍にマニピュレータ(R)を作動させるマニピュレータ作動制御装置とを備えた請求項1記載の果実収穫ロボット
である(図5参照)。
【0008】
請求項3記載の発明は、果実を収穫するマニピュレータ(R)は、果実群に向かって左右に並列配置された一対のマニピュレータ(R、R)からなり、制御装置(30)は、第一撮像装置(13)が得た果実の第一画像と第二撮像装置(14)が得た果実の第二画像から画像を合成する画像合成装置と、該画像合成装置で作成された合成画像を中央の分割位置で左右二分割する合成画像二分割装置と、該合成画像二分割装置で得られた左右の各分割画像内の収穫する果実の数を、それぞれ対応する左右一対のマニピュレータ(R、R)の各々の収穫数とし、合成画像内の全体の果実の数が偶数で、かつ左右一対のマニピュレータ(R、R)にそれぞれ割り当てた各々の収穫数が異なる場合には、左右一対のマニピュレータ(R、R)の収穫数の差が0になるよう合成画像の分割位置を修正し、合成画像内の全体の果実の数が奇数の場合には、左右一対のマニピュレータ(R、R)の収穫数の差が1になるよう合成画像の分割位置を修正する二分割位置修正装置と、該二分割位置修正装置の修正結果に従ってマニピュレータ(R)を作動させるマニピュレータ作動制御装置とを備えた請求項1記載の果実収穫ロボットである(図6参照)。
請求項4記載の発明は、果実を収穫する左右一対のマニピュレータ(R、R)は、各々独立して移動自在な構成からなる請求項3記載の果実収穫ロボットである。
【発明の効果】
【0009】
請求項1記載の発明によれば、果実群の下方からの画像と果実群の正面からの画像を合成して果実の三次元位置を割り出すことによって、複数の果実が正面視で重なっている場合でも奥側の果実の位置を認識することができるので、目標の果実を収穫する際にマニピュレータ(R)がロボットから見て奥側の果実にぶつかったり、奥側の果実を切断する等して傷つけてしまうことが防止され、適切な果実の収穫を行うことができる。また、奥側の果実の位置を認識しているので、ロボットから見て手前側の果実を収穫した後、再検出を行うことなく奥側の果実の収穫作業を行うことができ、収穫作業能率が向上する。
【0010】
請求項2記載の発明によれば、請求項1の発明の効果に加えて、果実の着色率を検出し、収穫に適した果実か否かを判断することによって、未熟な果実を収穫してしまうことが防止されるので、適切な果実の収穫を行うことができる。
【0011】
請求項3記載の発明によれば、請求項1の発明の効果に加えて、左右の各分割画像内の収穫する果実の数の差を0もしくは1とすることによって、左右マニピュレータ(R、R)が略同一の能率で作業を行うことができるので、果実の収穫作業能率が向上する。
【0012】
請求項4記載の発明によれば、請求項1の発明の効果に加えて、果実群に向かって左右マニピュレータ(R、R)を各々独立して移動自在に設けることによって、収穫する果実の高さや左右位置等が異なる場合でも左右独立して収穫作業を行うことができるので、収穫作業能率が向上する。
【発明を実施するための最良の形態】
【0013】
以下に、本発明の実施例の果実類の収穫を行う果実収穫ロボットとしてイチゴ収穫ロボットについて図面と共に説明する。
本実施例の収穫ロボットは図1の斜視図に示す構成からなり、該収穫ロボットは、土耕栽培又は水耕栽培によるイチゴ等果実類の結実時にその両端側から垂れ下がるよう栽培する一定の厚みと幅を有するイチゴ栽培設備の、横長の栽培ベッド1の下部空間に進出と後退が自在な台車2を含む構成である。
【0014】
本収穫ロボットは、台車2の上に設けた一対の支柱3、3の頂部にそれぞれ平行リンク5、5を回動自在に設け、各平行リンク5の先端部に作業アーム6を回動自在に連結し、さらに該作業アーム6の先端部に作業ハンド7を回動自在に連結している。鉛直方向を向いた支柱3の基部は台車2に設けられた第1電動モータM1により支柱全体を鉛直軸回りに水平方向に回動可能し、また平行リンク5の基部側は支柱3の頂部に設けられた第2電動モータM2により鉛直方向に揺動可能であり、さらに作業アーム6の基部は平行リンク5の先端に設けられた第3電動モータM3により水平方向に回動可能である。
【0015】
本実施例の収穫ロボットは上記支柱3、平行リンク5、作業アーム6、作業ハンド7及び第1電動モータM1〜第3電動モータM3からなる作業マニピュレータR、Rを左右一対に設けた構成であり、同時に2つのイチゴ果実を収穫できる構成である。
なお、本発明の収穫ロボットは、支柱3、平行リンク5、作業アーム6、作業ハンド7及び第1電動モータM1〜第3電動モータM3の各一組だけからなる単一の作業マニピュレータRを用いる構成でも良い。
【0016】
また、本実施例の収穫ロボットには前記作業マニピュレータRで摘み取ったイチゴを載せる収納棚9を、栽培ベッド1の下方に移動可能な一対の収納棚移送ハンド10が台車2に設けられている。該収納棚移送ハンド10は台車2に支持された鉛直方向を向いた支持部12の先端に基部が連結され、該支持部12の頂部に設けられた第4電動モータM4により鉛直方向に揺動可能な第1ハンド10aと該第1ハンド10aの先端に基部が連結され、該第1ハンド10aに設けられた第5電動モータM5により鉛直方向に揺動可能な第2ハンド10bからなる。収納棚9は一対の第2ハンド10bの先端で挟持されており、収納棚9のイチゴ載置面は常時水平方向を向くように第2ハンド10bで支持されている(図14参照)。
さらに、上記収穫ロボットの台車2上には下方からイチゴの果実を撮影できる第1カメラ13と側方(イチゴ栽培設備正面)からイチゴの果実を撮影できる第2カメラ14を備えている。
【0017】
なお、図2(a)のロボットの一部側面図と図2(b)、図2(c)のロボットの一部平面図に示すように、作業ハンド7は果柄切断用の一対のカッター7aと果柄把持用の一対のフィンガー7bが上下段に配置され、電磁弁7c(7c1、7c2)で作動される構成からなる。図2(b)は果柄把持時のカッター7aとフィンガー7bの作動状態を示すカッター7aとフィンガー7bの各平面図であり、図2(c)は果柄切断時のカッター7aとフィンガー7bの作動状態を示すカッター7aとフィンガー7bの各平面図である。
【0018】
作業ハンド7の一対のカッター7aと一対のフィンガー7bはそれぞれ共通する支持ピン7dで支持された回動支点を中心に開閉され、また支持ピン7dは作業アーム6の先端部に取り付けられている。カッター7aとフィンガー7bにはそれぞれフック7e、7fが取り付けられており、それらのフック7e、7fは作業アーム6に設けられたフック6a、6bとの間で引っ張りスプリング7g、7hにより各一対のカッター7aとフィンガー7bの先端部が開く方向に付勢されている。また一対のカッター7aと一対のフィンガー7bの基部にはそれぞれ電磁弁7c1、7c2が設けられおり、前記電磁弁7c1、7c2が作動すると一対のカッター7a又は一対のフィンガー7bがそれぞれ閉じる方向に作動する。
【0019】
また、図3の概念図に示すように、本実施例のロボットの作業マニピュレータRの作業ハンド7を除く支柱3、リンク5、アーム6及びハンド10a、10bの基部に設けた電動モータM1〜M5にはポテンショメータ16がそれぞれ取り付けられ、電動モータM1〜M5の回転軸17には減速ギア18と軸受19を介して前記支柱3、リンク5、アーム6又はハンド10a、10bが取り付けられている。
【0020】
次に、本実施例のロボットの作業手順についてフローチャートなどを用いながら説明する。
(単一の作業マニピュレータRを使用する場合)
図7(a)には単一の作業マニピュレータRを用いてイチゴの収穫をする場合のフローチャートを示す。図7(a)のフローで、先ずイチゴ栽培ベッド1の作業棚の終端にロボットがいないことを近接センサ又は接触センサ15等で確認すると、単一の作業マニピュレータRを用いて収穫対象であるイチゴの収穫対象認識ルーチンの各行程での動作を行い、次いで認識したイチゴに作業マニピュレータRを移動する収穫マニピュレータ移動ルーチン及び収穫ルーチンの各行程の作業を行って、果実の収穫を行う。
【0021】
前記「イチゴ作業棚の終端」はイチゴ栽培ベッド1の作業棚の始端から終端までの距離(L)を図4(a)に示す制御装置(CPU)30に入力しておき、ロボットの台車2の機体前側及び後側の左右両端部に設ける近接センサ又は接触センサ15で、マニピュレータRがイチゴ作業棚の終端に達したことを検知したら(CPU30に入力された距離(L)から検知することもできる)、作業マニピュレータRの収穫対象認識作業を停止する。
【0022】
まず、収穫対象認識ルーチンについて図8に示す連結処理(第1カメラ13と第2カメラ14で撮影した画像を合成し、収穫対象のイチゴの走査を行いやすくするための処理)の画像説明図と図9、図10に示すフローチャートにより説明する。
図8(a)に示すイチゴの下方から第1カメラ13で撮影したXZ平面のカラー画像を得るために、3つのイチゴからなる各収穫対象のXZ座標面の位置データ(x1,z1)〜(x3,z3)を得る。
【0023】
また、前記イチゴを下方から第1カメラ13で撮影したカラー画像をXZ平面上で18180°反転して、図8(b)に示すイチゴの下方から第1カメラ13で撮影したカラー画像のXZ座標面の位置データ(x1,z1)〜(x3,z3)を得て、次いで図8(c)に示すイチゴの側方から撮影する第2カメラ14から前記3つのイチゴのXY座標面の位置データ(x1,y1)〜(x3,y3)を得る。
これらのデータを基に図8(d)に示す、上記3つのイチゴの三次元座標位置データ(x1,y1,z1)〜(x3,y3,z3)を得る。
【0024】
前記した180°反転した画像を使用する理由は、イチゴ果実前方からのみのカラー画像では果実同士が部分的にでも重なっている場合があり、1個のイチゴの境界がわからないからである。そこで、イチゴの下方からのXZ平面の画像を180°反転したXZ平面の画像と前方からのXY平面の画像を組み合わせ、果実が前方視で重なった場合でも果実の三次元位置(色・形)を知ることができ、その情報に従ってマニピュレータの位置制御を行うことができる。
【0025】
上記カメラ13,14で得られたイチゴの画像のXZ平面上又はXY平面上の投影面積からイチゴの体積と重量などのデータも得ることができる。
上記連結処理の次ぎに収穫対象のイチゴの番号付け(ナンバリング、ラベリングとも言う)を行う。その後、「同一画像内の全収穫対象」を走査する。
【0026】
次いで収穫対象I(I:ラベリング処理された収穫対象の番号)の色分析を行い、収穫対象Iの色がR(赤)とW(白)部分の画素数を表1に示すXZテーブルにそれぞれ記録し、次いで果実の外側端の検出のために前記収穫対象の周囲を余分に走査する。収穫対象Iの周囲にR(赤)とW(白)部分があれば、再度その領域のR(赤)とW(白)部分の画素数をXZテーブルにそれぞれ記録する。また前記収穫対象の周囲を走査して、そこにR(赤)とW(白)部分がなければ、収穫対象のXZ座標の平均値から収穫対象のX中心座標、Z中心座標を算出し、得られた中心座標をXZテーブルに記録して、収穫対象Iの記録付けを終了する。
なお、表1及びそれに続く各表はイメージであり、実際の値は載せていない。
【0027】
【表1】

【0028】
次いで収穫対象I+1の走査を前記収穫対象Iと同様に行う。こうしてXZテーブルに記録された収穫対象の総数Nに達するまで色分析を繰り返す。以上の各行程を図9に示すフローチャートに示す。
次いで、XY平面についても図10のフローチャートに示すように、図9に示すフローチャートと同様に第1カメラ13と第2カメラ14で収穫対象Iのイチゴの画像を撮影して画像処理を行う。ただし図10のフローチャートで図9のフローチャートとの相違点は収穫対象Iのイチゴについて水平面(XZ座標面)方向にある中心座標はX軸の中心座標のみでよく、以下に説明する果柄(果実の付いた枝)の位置を特定するために画像のY軸方向のY値の最高値Ymaxを記憶して、収穫対象のR(赤)とW(白)部分の画素数と収穫対象のX軸座標の平均値から収穫対象のX軸上の中心座標を算出し、該X中心座標と前記Y値の最高値Ymaxを表2に示すXYテーブルに記録する。
【0029】
【表2】

【0030】
次いで図8(d)に示すように撮影した収穫対象の各イチゴのXZテーブルとXYテーブルを合成してデータ(x1,y1,z1)〜(x3,y3,z3)などを得て表3に示すXYZテーブルを作成し、次のように各イチゴの三次元位置(色・形)を知り、マニピュレータの位置制御用データとする。
【0031】
【表3】

【0032】
その後、収穫対象Iについて鉛直方向にあるY軸座標軸上の最高値Ymaxより鉛直上方に所定値kmmだけ加算した高さ(Y=Ymax+k)を果柄切断位置とする。なお、定数kはイチゴの場合は約2〜3mmの値である。これを収穫対象の総数N個分繰り返して行う。
【0033】
次に各収穫対象Iの着色率を計算する。XYZテーブルに記録された各収穫対象Iの赤(R)画素数と白(W)画素数から次式により着色率を算出する。
着色率(Rv)=(赤(R)/白(W))×100
【0034】
表4に示すように着色率(Rv)が80%以上であればとXYZテーブルに「収穫(○)」と記録し、着色率(Rv)が80%未満であればXYZテーブルに「収穫(×)」と記録する。なお、着色率計算行程に、果実のサイズ分け行程(図20)を加えてもよい。この行程を収穫対象の総数Nについて行う。
なお、上記例では着色率を赤色と白色の対比で検討したが、その他蜜柑、枇杷、桃、葡萄などの果実に応じて、橙色と緑色の対比、黄色と緑色の対比、桃色と緑色などの対比で着色率をみてもよい。
【0035】
【表4】

図10のフローチャートに示す行程は図9に示すフローチャートに示す行程と同時並列処理で行うこともできる。
【0036】
以上の単一のマニピュレータRを用いてのイチゴの認識ルーチンが終了すると、次の収穫ルーチンの作業をマニピュレータRの作業アーム6とその先端に設けられた作業ハンド7を用いて収穫を実行する。
まず、単一のマニピュレータRを用いての移動では、まず水平方向(XZ軸座標平面)の回転角度調整を次のように行う。図11に示す同一のXZ軸座標平面上にある第1モータM1と第3モータM3(図1参照)を作動させるために、平行リンク5をXZ軸座標平面上で回転させるための第1モータM1と、作業アーム6をXZ軸座標平面上で回転させるための第3モータM3を用いて、作業ハンド7を有する作業アーム6の操作及び、図12に示す同一XY軸座標平面上にある第2モータM2を基部に備えた平行リンク5の操作を図13に示すフローチャートの制御フローにより実行する。なお、ここで計算処理の簡略化のために作業アーム6は常にX座標軸に平行な向きに長手方向があるとしてX座標位置はゼロとして扱う。
【0037】
図11に示す同一のXZ軸座標平面上にある第1モータM1によりXZ軸座標平面上で回転させる平行リンク5のX軸となす回転角度θ1が目標回転角度θ1dより大きければモータM1を矢印A方向に回転(右回転)させて平行リンク5を矢印A方向に回動させる。また、前記回転角度θ1が目標回転角度θ1dより小さければモータM1を矢印A方向の反対方向に回転(左回転)させて平行リンク5を矢印A方向の反対方向に回動させる。こうして平行リンク5のX軸となす回転角度θ1を目標回転角度θ1dと一致させて第1モータM1の作動を停止させる。なお、前記目標回転角度θ1dは平行リンク5の基部と収穫対象IのX座標の予め決められた設定回転角度(基準となる回転角度が無いと図13のフローでの計算処理が行えないため)から算出する。
【0038】
平行リンク5に対する作業アーム6の回転角度θ2はその目標回転角度θ2dよりも大きければ、第3モータM3を矢印B方向に回転させて作業アーム6を矢印B方向(図の右方向)に回動させる。また、前記回転角度θ2が目標回転角度θ2dより小さければモータM3を矢印B方向の反対方向に回転させて作業アーム6を矢印B方向の反対方向(図の左方向)に回動させる。こうして平行リンク5に対する作業アーム6の回転角度θ2を目標回転角度θ2dと一致させて第3モータM3の作動を停止させる。
【0039】
なお、前記目標回転角度θ2dは作業アーム6と収穫対象IとのX軸に対する予め決められた設定回転角度から算出する。
なお、前記目標回転角度θ2は、作業終了後の回転角度+δ(例えばδ=30°)として、その初期値は次式の通りの数値を用いる。これは基準となる数値が無いと図13のフローでの計算処理が行えないためである。
【0040】
θ2=0°+δ(例えばδ=30°)
ここで、図11から作業アーム6の先端部(作業ハンド7:作業ハンド7の長さを無視する)のXZ座標上の位置(X1,Z1)と回転角度θ1と回転角度θ2は次の通りである。
【0041】
X1=L1cosθ1+L3cosδ
Z1=L1sinθ1+L3sinδ
θ1=cos-1{(X1−L3cosδ)/L1}
θ2=180°−(θ1+δ)
ここで、
Lx=L1sinθ1
であり、L1は平行リンク5の長さ、L3は作業アーム6の長さである。
【0042】
なお、図7(b)のフローチャートに従って作動する左右一対のマニピュレータR、Rを用いる場合には、上記第1モータM1と第3モータM3の動作は左マニピュレータRのものであり、右マニピュレータRの第1モータM1、第3モータM3は左マニピュレータRとは逆方向に回転する。また、作業終了後の右マニピュレータRの回転角度θ2’と初期位置での回転角度θ2”はそれぞれ次の通りとする。
【0043】
θ2’=作業終了後の回転角度+δ’(例えばδ’=330°)
θ2”=0°+δ’(例えばδ’=330°)
また、左右一対のマニピュレータR、Rを用いる場合には、上記第3モータM3の動作は左右2つのマニピュレータR、R共に同一方向に回転する。
【0044】
次に鉛直方向の平面(XY座標軸平面)内での平行リンク5の鉛直方向の回転用の第2モータM2の鉛直方向の平面内での単一のマニピュレータRを用いての移動では、まず鉛直方向の回転角度調整を次のように行う。
図12に示す同一のXY軸座標平面上にある第2モータM2を基部に備えた長さL1の平行リンク5のY軸となす回転角度θ3が目標回転角度θ3dより大きければモータM2を矢印A方向(図の右方向)に回転させて平行リンク5を下方向に回動させる。また、前記回転角度θ3が目標回転角度θ3dより小さければモータM2を矢印A方向の反対方向(図の左方向)に回転させて平行リンク5を上方向に回動させる。こうして平行リンク5のY軸となす回転角度θ3を目標回転角度θ3dと一致させて第2モータM2の作動を停止させる。
【0045】
ここで、図12から作業アーム6の先端部(作業ハンド7:作業ハンド7の長さを無視する)のXY座標上の位置(X1,Y1)と回転角度θ3は次の通りである。
X1=L1cos(90°−θ3)+L3
Y1=−L1cosθ3
θ3=cos-1(−L1)
【0046】
次に、作業ハンド7で果柄を把持した後にロボットは、図14に示す構成のリンク機構10を備えた収納棚9を、退避していた位置から果柄の把持と切断をする作業ハンド7の直下まで迎えに行くように図15に示すフローチャートに従って移動させて、イチゴを収納棚9に落とすときにイチゴを傷めないよう落下させる。
【0047】
このとき、切断した果実をそのまま収納棚9にある多数のパックの内の一つに詰めることができるように、収納棚9の工夫をしても良い。果実を持ち帰る後でパック詰めをすると、何度も果実に触れるので痛みやすいが、果実を収納棚9に落とすときにパック詰めすることで、果実の痛みを無くし、また二度手間の作業が無くなる。
【0048】
図14に示すように、収納棚9のリンク機構は、ロボット台車2の上に設けられた基台12に取り付けた一対の第4モータM4と該第4モータM4により鉛直方向(Y軸方向)に回動する基台アーム10a(回動長さL4)と該基台アーム10aの先端部にそれぞれ設けられ、収納棚9の対向する側壁に回動自在に設けた一対のリンク(又は一対の平行リンク)10b(リンク10bの回動長さL5)と、該リンク10bを鉛直方向に回動させるために基台アーム10aの先端部にそれぞれ設けられた第5モータM5から構成されている。
【0049】
まず、収納棚9の複数のパックへのイチゴの詰め位置の算出を次のような手順で行う。 作業ハンド7が果柄を把持した後に図16に示す収納棚9の互いに直交するs方向とt方向に配列される複数のパックにイチゴを詰め込む空きがあるかどうかを見る。
【0050】
作業を開始した直後とパックの交換時には、s=0、t=0に設定されるためs=0であればという理由でパックが空であると判断できるので、s=1、t=1としてイチゴを収容できる第1番目のパック空間とする。このs=1、t=1の第1番目のパック空間の三次元座標位置を次のようにして算出する。
【0051】
X=X+(s−1)P+α
Y=Y+β
Z=Z+(t−1)P+γ
ただし、ここでX、Y、Zはイチゴの中心位置、Pは各パックのピッチ、α、β、γは基台アーム10aの基準位置(機台アーム10aの支持部12)からパックの基準位置(s=0、t=0)までのずれを表す。
【0052】
次に基台アーム10aのイチゴに向けてのアプローチの手順を図17のサブルーチンのフローで説明する。
図14に示す同一のXY軸座標平面上にある第4モータM4を基部に備えた長さL4の基台アーム10aのX軸に沿った方向となす回転角度θ4が目標回転角度θ4dより大きければモータM4を左方向に回転させて基台アーム10aを下方向(矢印C方向)へ回動させる。また、前記回転角度θ4が目標回転角度θ4dより小さければモータM4を右方向に回転させて基台アーム10aを上方向(矢印C方向の反対方向)に回動させる。こうして基台アーム10aのX軸となす回転角度θ4を目標回転角度θ4dと一致させて第4モータM4の作動を停止させる。
【0053】
次いで同一のXY軸座標平面上にある長さL5のリンク10bを回動させるために該リンク10bの基部に取り付けた第5モータM5をリンク10bのX軸に沿った方向となす回転角度θ5が目標回転角度θ5dより大きければモータM5を左方向(矢印D方向)へ回転させてリンク10bを下方向に回動させる。また、前記回転角度θ5が目標回転角度θ5dより小さければモータM5を右方向(矢印D方向の反対方向)へ回転させてリンク10bを上方向に回動させる。こうしてリンク10bのX軸となす回転角度θ5を目標回転角度θ5dと一致させて第5モータM5の作動を停止させる。
【0054】
このときY軸座標上の作業ハンド7(作業ハンド7の長さを無視する)の位置は次の通りである。
Y1=L4sinθ4+L5sinθ5
なお、計算処理が可能となるようにするためにリンク10bのX軸となす回転角度θ5は次のように設定しておく。
【0055】
回転角度θ5=作業終了後の回転角度+γ(例えばγ=210°)、
初期位置はθ5=0°+γ(例えばγ=210°)
上記図17のサブルーチンのフローが終了すると収納棚9がカットされる果実の真下に移動しているので、該果実の約3mm上の果柄の把持とカッティングを行い、収納棚9の所定のパック領域にイチゴを詰めた後、基台アーム10aを退避させて所定の初期位置に戻す。
【0056】
次いで図15のフローに戻り、次の収納棚9のs方向(図16参照)に移動させて(s=s+1)させ、(s+1)列の空きパック領域内に順次イチゴを詰めて、収納場所のs方向の列の端部まで到達しているかどうかを判定(s>N)する。収納棚9のs方向端部まで到達していたら(s>Nである場合)、(s=1)に戻し、一列上のt方向に移動させて(t=t+1)、さらに収納棚9のt方向端部まで到達しているかどうかを判定(t>M)する。t>Mになると収納棚9の全パック領域がイチゴで満杯になっているためロボットを停止させ、人手により収納棚9を交換して、再び初期空き領域(s=0、t=0)からイチゴを詰める作業を繰り返す。
なお、前記Nは収納棚s方向のパック領域総数であり、Mは収納棚t方向のパック領域総数である。
【0057】
上述のように本実施例のロボットは収納棚9で収穫する果実を迎えに行く方式のロボットであるので、収穫すると判断した果実の高さが低い順から収穫していく。このように果実の高さが低い順から収穫するので、収納棚9は果実の下方から果実に近接するため、収納棚9が果実を傷つけることが防止されるので、果実の品質が向上する。
【0058】
このためには、XYZテーブルに記録された各果実のYmax座標のうち、Ymax座標値が小さいものから収穫するように順番を並べ替えて(ソーティング)収納棚9を果実にアプローチさせる。このフローを図18に示す。
【0059】
次にイチゴの画像入力の際にイチゴの面積情報よりサイズの大きさ別(L、M、Sサイズ)を判別しておき、L、M、Sのサイズ別にパック詰めする方法を採用する場合のフローチャートを説明する。
図19に示すイチゴのサイズ別に収納可能な収納棚9を備えたロボットを使用し、その収納手順は図9、図10、図13、図15、図17及び図18とほぼ同一の手順で行うが、着色率の計算のステップにおいて、図10の着色率フローに図20に示すようなサイズ分け行程のフローチャートを加えて着色率と共にイチゴのサイズを順次決め、さらに図15の果柄のカッティング行程(Stepα)以降のフローに修正を加えて図21、図22に示すフローチャートに従って、イチゴの果柄のカッティングのステップにおいて時に果柄を把持したまま、図16に示す収納棚9にサイズ別に詰める。
【0060】
図20に示すフローチャートにおける着色率の決め方は図10のフローチャートと表4で既に説明したと同じ手順で行い、サイズはL,M,Sの3種類に分けて、Mサイズの最大値(M2)とMサイズの最小値(M1)とを基準として、XYZテーブルにイチゴのサイズAがM2より大きい(A>M2)とLサイズとして記録し、M1より小さい(A<M1)とSサイズとして記録し、M2とM1の間にある(M2≧A≧M1)と、Mサイズとして表5に記録する。
【0061】
【表5】

【0062】
また、図21のフローチャートに示すように、サイズの分かった着色率とサイズの分かったイチゴの果柄を作業ハンド7のフィンガー7bで把持したまま、L,M,Sサイズ毎に収納棚9に区分けして収納するための準備をする。
イチゴがSサイズであると収納棚9のパックがサイズSである座標位置(X,Z)を算出し、パックが空(S=0)であると、サイズSのs=1、t=1に収納するように指示し、順次sがNになるまでと、tがMになるまでの座標位置を計算する。
【0063】
X=X+(s−1)P+α、
Z=Z+(t−1)P+2MP+γ
X,Z:イチゴの中心位置、
MP:収穫棚のパックの前後方向のピッチ
α、γ:基台アーム10aの基準位置(機台アーム10aの支持部12の位置)からパックの基準位置(s=0、t=0)までのずれ
【0064】
イチゴがMサイズ及びLサイズである場合の、前記Sサイズの場合と同様に収納棚9のパックがサイズM及びLサイズである座標位置(X,Z)を算出し、パックが空(s=0)であると、サイズSのs=1、t=1に収納するように指示し、順次sがNになるまでと、tがMになるまでの座標位置を計算する。
【0065】
また前記図21に示すフローチャートでS、M及びLサイズ毎のイチゴの収納棚9のパックの座標位置(X,Y,Z)が得られた後には、図22に示すフローチャートに示す手順で各イチゴの果柄の把持を解除して、図23に示すL,M及びSサイズに区分けされた収納棚9に収納する。
【0066】
すなわち、まず、最初のイチゴの収納場所の番号(s)にイチゴの果柄の把持を解除して収納させた後、パックアームを初期設定位置に退避させ、次の収納場所の番号(s=s+1)に移動し、収納場所が左右方向の端部まで到達してるかどうかを判定(s>Nか、Nはsの総数)、端でなければ前進し、端に到達すれば(s>N)、次の列(s=1、t=t+1)に移動し、収納場所が前後方向の端部まで到達してるかどうかを判定(t>Mか、Mはtの総数)、端でなければ前進し、端に到達すれば(t>M)、収納棚9のパックが満杯になるためロボットを停止させて、人手により収納棚9を交換し、新しい収納棚9の端(s=0,t=0)から再度収納を行う。
【0067】
(左右一対の作業マニピュレータR、Rを使用する場合)
また、図7(b)のフローチャートに示すように、左右一対の作業マニピュレータR、Rを使用する場合は、収穫対象認識ルーチンの各行程での動作を行い、次いで左右の各作業マニピュレータR、Rの分担に応じて左作業マニピュレータRの移動ルーチンと右作業マニピュレータRの移動ルーチンのそれぞれでの各行程の作業を行って、収納棚9のパック詰めルーチンにより果実(イチゴ)の収穫を行う。
【0068】
収穫対象認識ルーチンの各行程での動作は図9、図10のフローチャートに従って行われ、次いで図24及び図25に示すフローチャートに従って果実(イチゴ)群を左右から挟むような形で左右一対のマニピュレータR、Rで次のように作業分担をさせる。
【0069】
図24に示すフローチャートおいて:XYZテーブルの各X座標からX座標平均(Xm)を算出する。次に収穫対象IのX軸上の値がX中心座標の平均値(Xm)より小さければ左マニピュレータRの作動制御用に収穫対象Iの情報を収穫対象Kとして順次左ハンドのXYZテーブルに記録する。
収穫対象IのX軸上のX中心座標がX中心座標の平均値より大きければ、右マニピュレータRの作動制御用に収穫対象Iの情報を収穫対象Mとして順次右ハンドのXYZテーブルに記録する。
【0070】
こうして左右のマニピュレータR、Rで収穫対象Iから順次総数N分のイチゴの情報を半分毎のXYZテーブルにそれぞれ分担して記録して、イチゴの収穫時に左右のマニピュレータR、Rでそれぞれ収穫作業を分担するためのデータとする。
【0071】
上記収穫対象IのX軸上のX中心座標(X)がその平均値(Xm)によりXYZテーブルを分けて記録する理由は次の通りである。
果実(イチゴ)群を左右から挟むような形で2つの作業ハンド7,7を設けた左右マニピュレータR、Rを用いる場合には、一方のハンド7が収穫すべきイチゴが多いのに、もう一方のハンド7は収穫するイチゴがない場合は、無駄な時間が生じるので2ハンド方式であっても能率は2倍になることはない。例えば図27(a)に示すように、右ハンド7での分担数が左ハンド7の分担数より2個以上少ない場合は、図27(b)に示すように、右ハンド領域に近い左ハンド領域の果実を右ハンド分担数として加える。
【0072】
左右ハンド7、7の各分担領域の果実数差が2個以上の場合は、分担数が少ない作業ハンド7の方に分担数を増やす。この際左右の境界線に近い方のイチゴを分担変更対象とする。また前記図27に示す全体の領域のイチゴの全数が偶数の場合はその差がゼロになるように、また全数が奇数の場合はその差が1になるように分担数の変更を行うので、一方のハンド7が1個も収穫しないということがなくなり、結果的に果実収穫時間が短縮される。
【0073】
また、XYZテーブルに記録された各果実のY座標のうち、Y座標値が小さいものから順に収穫されるように順番を並べ替え(ソーティング)ることによって、収納棚9は果実の下方から果実に近接するため、収納棚9が果実を傷つけることが防止されるので、果実の品質が向上する。このフローを図26に示す。
【0074】
こうして、果実をパック詰めするために収納棚9を果実へとアプローチさせる作業は、果実の三次元座標位置と収納棚9の各パックの三次元座標位置又はパックのサイズ別の三次元座標位置に基づき容易に行うことができる。
上記全作業が終了した場合には、収納棚9の終端に達したがどうかを判断し、終端であればロボットによる果実の収穫作業を終了する。また、収納棚9の終端に達していない場合は、再び果実の収穫作業を行う。
【0075】
上記果実収穫ロボットを用いてイチゴを収穫する際には、次のようなイチゴ栽培施設を設けることが望ましい。
イチゴ栽培施設は図28(a)の斜視図に示すように格子状棚1aを備えた栽培ベッド1を設けた。該格子状棚1aを使用しない場合は図28(b)に示すように折り畳んでおき、葉かき、摘花の作業時に格子状棚1aが邪魔にならないようにし、イチゴ収穫時に展開して図28(c)の格子棚1aの部分拡大図に示すように、イチゴ果実を格子棚1aに並列状に設けた紐の間から下方に垂れ下がり、葉、茎は格子棚1aに載ったままとなるので、収穫ロボット台車2でのイチゴ収穫時に葉や茎が邪魔にならず果実部分のみを収穫し易く、また、ロボット台車2側に葉や茎の除去機能を設ける必要がなくなる。
【0076】
また、図29にイチゴ栽培施設の部分斜視図を示すように、前記格子状棚1aに連結部材1bを介して電動モータ1cと連結することで電動モータ1cを微振動させる構成にしてもよい。
収穫ロボットによるイチゴの収穫直前に格子状棚1aを展開状態にするためのスイッチを「オン」にすると収穫棚1aに微振動が与えられ、果実のみが容易に棚下に垂れる。
【0077】
図30に示すように、上記イチゴの高設栽培設備の下部にレール1dを設けて、該レール1dを走行するイチゴ収穫台車20を配置し、該台車20の上にオペレータ座る座席20aを設け、座席20aに隣接した位置の台車20上に収穫ロボット21と協調して作業を行う構成とすると作業性が良くなる。また、作業ハンド7で掴んだイチゴを納める水槽22を台車20上に配置しておくと、作業ハンド7で掴んだでちぎり取ったイチゴを下方に落としても水槽22内に落ちるので、イチゴに傷がつかない。
【0078】
また、図31に示す構成例はスイッチ20bの操作により収穫ロボット21を載せたイチゴ収穫台車20の脚部の長さをモータシリンダ20cで変更して台車20の全高が栽培ベッド1の底面より低くなるようにしているものである。これは、イチゴ栽培施設では一つの列の収穫が終わって隣の列に収穫ロボットが移動する際に回行できるほどのスペースがないのが普通である。そこでスイッチ操作により収穫ロボット21を載せたイチゴ収穫台車20の全高が栽培施設の栽培ベッド1の底面より低くなり、該栽培ベッド1の下をくぐり抜けることができるような構成にすることで、イチゴ収穫ロボット21のために特別のスペース(枕地)を設ける必要がなくなる。
【産業上の利用可能性】
【0079】
本発明はイチゴに限らず、傷付き易い果実の収穫を自動化できるので将来性の高い収穫ロボットとなる。
【図面の簡単な説明】
【0080】
【図1】本発明の一実施例の果実収穫ロボットの斜視図である。
【図2】図1の果実収穫ロボットの作業ハンドの側面図(図2(a))と平面図(図2(b)、図2(c))である。
【図3】図1の果実収穫ロボットの作業マニピュレータの作業ハンドを除くアーム又はハンドの概念図である。
【図4】図1の果実収穫ロボットの制御ブロック図である。
【図5】図1の果実収穫ロボットの制御装置のブロック図である。
【図6】図1の果実収穫ロボットの制御装置のブロック図である。
【図7】図1の果実収穫ロボットの単一の作業マニピュレータを用いてイチゴの収穫をする場合のフローチャート(図7(a))と、左右一対の作業マニピュレータを用いてイチゴの収穫をする場合のフローチャート(図7(b))である。
【図8】図1の果実収穫ロボットの連結処理(収穫対象と空間部の認識)の画像説明図である。
【図9】図1の果実収穫ロボットの果実認識ルーチンのフローチャートである。
【図10】図1の果実収穫ロボットの果実認識ルーチンのフローチャートである。
【図11】図1の果実収穫ロボットの平行リンクと作業ハンドのXZ平面上の動きの説明図である。
【図12】図1の果実収穫ロボットの平行リンクと作業アームのXY平面上の動きの説明図である。
【図13】図1の果実収穫ロボットの果実収穫ルーチンのフローチャートである。
【図14】図1の果実収穫ロボットの収納棚とそのリンク機構の斜視図である。
【図15】図1の果実収穫ロボットの果実パック詰めルーチンのフローチャートである。
【図16】図1の果実収穫ロボットで用いる収納棚のパック配置図である。
【図17】図1の果実収穫ロボットの果実パック詰めルーチンの収納棚の果実に向けてのアプローチのサブルーチンのフローチャートである。
【図18】図1の果実収穫ロボットの果実の高さが低い順から収穫していくためのフローチャートである。
【図19】図1の果実収穫ロボットの果実のサイズ別に収納棚に収納するためのフローチャートである。
【図20】図1の果実収穫ロボットの果実のサイズ別に収納棚に収納するためのフローチャートである。
【図21】図1の果実収穫ロボットの果実のサイズ別に収納棚に収納するためのフローチャートである。
【図22】図1の果実収穫ロボットの果実のサイズ別に収納棚に収納するためのフローチャートである。
【図23】図1の果実収穫ロボットで用いる果実のサイズ別に区分けされた収納棚のパック配置図である。
【図24】図1の果実収穫ロボットの左右一対のマニピュレータを用いた場合の果実データを分割するためのフローチャートである。
【図25】図1の果実収穫ロボットの左右一対のマニピュレータを用いた場合のフローチャートである。
【図26】図1の果実収穫ロボットの果実の高さが低い順から収穫していくためのフローチャートである。
【図27】図1の果実収穫ロボットの左右一対のマニピュレータで収穫する果実の分担の決め方を説明する図である。
【図28】イチゴ栽培施設の一例の斜視図(図28(a))、その施設の格子状棚を使用しない場合の斜視図(図28(b))と格子棚を展開して使用する場合(図28(c))の斜視図である。
【図29】図28のイチゴ栽培施設の一例の部分斜視図である。
【図30】図1の変形例の果実収穫ロボットを用いてイチゴを収穫する場合の構成図である。
【図31】図1の変形例の果実収穫ロボットを用いてイチゴを収穫する場合の構成図である。
【符号の説明】
【0081】
1 栽培ベッド 1a 格子状棚
1b 連結部材 1c 電動モータ
1d レール 2 台車
3 支柱 5 平行リンク
6 作業アーム 6a、6b フック
7 作業ハンド 7a カッター
7b フィンガー 7c 電磁弁
7d 支持ピン 7e、7f フック
7g、7h 引っ張りスプリング 9 収納棚
10 収納棚移送ハンド 10a 第1ハンド
10b 第2ハンド 12 支持部
13 第1カメラ 14 第2カメラ
15 近接センサ又は接触センサ 16 ポテンショメータ
17 電動モータM1〜M5の回転軸 18 減速ギア
19 軸受 20 イチゴ収穫台車
20a 座席 20b スイッチ
20c モータシリンダ 21 収穫ロボット
22 水槽 30 制御装置(CPU)
M1 第1電動モータ M2 第2電動モータ
M3 第3電動モータ M4 第4電動モータ
M5 第5電動モータ R 作業マニピュレータ

【特許請求の範囲】
【請求項1】
果実を収穫するマニピュレータ(R)と、
果実群の下方から果実の画像を撮影する第一撮像装置(13)と、
果実の正面から果実の画像を撮影する第二撮像装置(14)と、
第一撮像装置(13)が得た果実の第一画像と第二撮像装置(14)が得た果実の第二画像から合成画像を作成し、得られた合成画像から果実の三次元座標を割り出して果実の三次元位置を特定し、得られた前記果実の三次元位置に合わせてマニピュレータ(R)を作動させる制御装置(30)と
を備えたことを特徴とする果実収穫ロボット。
【請求項2】
制御装置(30)は、第一撮像装置(13)で得た第一画像から果実の下面の着色状態を判別する第一判別装置と、
第二撮像装置(14)で得た第二画像から果実の正面の着色状態を判別する第二判別装置と、
前記第一、第二判別装置が得た着色状態から果実全体の着色率を推定し、得られた果実の着色率に基づき収穫する果実か否かを判断する果実収穫判断装置と、
果実収穫判断装置で収穫すべき果実であると判断された果実の三次元座標位置を算出する収穫果実の三次元座標位置算出装置と、
収穫果実の三次元座標位置算出装置により算出した三次元座標位置近傍にマニピュレータ(R)を作動させるマニピュレータ作動制御装置と
を備えたことを特徴とする請求項1記載の果実収穫ロボット。
【請求項3】
果実を収穫するマニピュレータ(R)は、果実群に向かって左右に並列配置された一対のマニピュレータ(R、R)からなり、
制御装置(30)は、第一撮像装置(13)が得た果実の第一画像と第二撮像装置(14)が得た果実の第二画像から画像を合成する画像合成装置と、
該画像合成装置で作成された合成画像を中央の分割位置で左右二分割する合成画像二分割装置と、
該合成画像二分割装置で得られた左右の各分割画像内の収穫する果実の数を、それぞれ対応する左右一対のマニピュレータ(R、R)の各々の収穫数とし、合成画像内の全体の果実の数が偶数で、かつ左右一対のマニピュレータ(R、R)にそれぞれ割り当てた各々の収穫数が異なる場合には、左右一対のマニピュレータ(R、R)の収穫数の差が0になるよう合成画像の分割位置を修正し、合成画像内の全体の果実の数が奇数の場合には、左右一対のマニピュレータ(R、R)の収穫数の差が1になるよう合成画像の分割位置を修正する二分割位置修正装置と、
該二分割位置修正装置の修正結果に従ってマニピュレータ(R)を作動させるマニピュレータ作動制御装置と
を備えたことを特徴とする請求項1記載の果実収穫ロボット。
【請求項4】
果実を収穫する左右一対のマニピュレータ(R、R)は、各々独立して移動自在な構成からなることを特徴とする請求項3記載の果実収穫ロボット。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate


【公開番号】特開2008−206438(P2008−206438A)
【公開日】平成20年9月11日(2008.9.11)
【国際特許分類】
【出願番号】特願2007−45730(P2007−45730)
【出願日】平成19年2月26日(2007.2.26)
【出願人】(000000125)井関農機株式会社 (3,813)
【出願人】(504147254)国立大学法人愛媛大学 (214)
【Fターム(参考)】