果柄切断装置
【課題】収穫対象以外のイチゴの損傷の可能性を低減する。
【解決手段】Ｚ軸方向からステレオカメラ６０により撮影された撮影画像から、画像認識部８６が、収穫対象のイチゴと、それ以外のイチゴとの、ＸＹ面内方向に関する位置関係を取得し、最適接近方向決定部８８が、当該位置関係に基づいて、ハンド機構が収穫対象のイチゴに接近する方向を決定する。そして、ハンド機構は、最適接近方向決定部８８により決定された方向から収穫対象のイチゴに接近して果柄を切断する。これにより、収穫対象以外のイチゴにハンド機構が接触する可能性を低減することができる。
【解決手段】Ｚ軸方向からステレオカメラ６０により撮影された撮影画像から、画像認識部８６が、収穫対象のイチゴと、それ以外のイチゴとの、ＸＹ面内方向に関する位置関係を取得し、最適接近方向決定部８８が、当該位置関係に基づいて、ハンド機構が収穫対象のイチゴに接近する方向を決定する。そして、ハンド機構は、最適接近方向決定部８８により決定された方向から収穫対象のイチゴに接近して果柄を切断する。これにより、収穫対象以外のイチゴにハンド機構が接触する可能性を低減することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、果柄切断装置に関する。
【背景技術】
【０００２】
従来、イチゴなどの果実（作物）は、機械で扱うと傷みやすいため、人手で収穫していた。しかしながら、最近においては、養液栽培などの進歩に伴い、機械による収穫の可能性がひらけてきていることから、労働時間の大幅な削減や、労力の低減を図るための収穫装置（収穫ロボット）の開発が進められている（例えば、特許文献１〜５参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−９５３４８号公報
【特許文献２】特開２００９−５５８７号公報
【特許文献３】特開２００８−２０６４３８号公報
【特許文献４】特開２００８−２２７３７号公報
【特許文献５】特開２００１−１４５４１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような収穫装置では、果実の収穫を行う際に、収穫対象の果実以外の果実に収穫装置の一部が接触し、当該果実が損傷してしまうおそれがある。
【０００５】
そこで、本発明は、上記事情に鑑みてなされたもので、収穫対象果実以外の果実の損傷を抑制することが可能な果柄切断装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の果柄切断装置は、収穫対象果実に対して所定面に沿った方向から接近して、前記収穫対象果実の果柄を切断する切断部と、前記収穫対象果実を、前記所定面に交差する方向から撮影する撮影部と、前記撮影部による撮影画像から、前記収穫対象果実と、当該収穫対象果実以外の果実との、前記所定面内方向に関する位置関係を取得する取得部と、前記取得部により取得された前記位置関係に基づいて、前記切断部が前記収穫対象果実に接近する方向を決定する接近方向決定部と、前記切断部を、前記接近方向決定部により決定された方向から前記収穫対象果実に接近させる駆動部と、を備える果柄切断装置である。
【０００７】
これによれば、所定面に交差する方向から撮影部により撮影された撮影画像から、取得部が、収穫対象果実と、収穫対象果実以外の果実との、所定面内方向に関する位置関係を取得し、接近方向決定部が、当該位置関係に基づいて、切断部が収穫対象果実に接近する方向を決定するので、切断部が、接近方向決定部により決定された方向から収穫対象果実に接近して果柄を切断することで、収穫対象果実以外の果実に切断部が接触する可能性を低減し、当該果実の損傷の可能性を低減することができる。
【０００８】
この場合において、前記接近方向決定部は、前記収穫対象果実を中心とした角度範囲のうち、前記収穫対象果実以外の果実が存在していない角度範囲を特定し、当該特定された角度範囲内の方向を、前記接近する方向として決定することができる。かかる場合には、切断部は、収穫対象果実以外の果実が存在していない角度範囲内の方向から収穫対象果実に接近するので、収穫対象果実以外の果実に対する接触を効果的に抑制することが可能となる。
【０００９】
この場合、前記接近方向決定部は、前記特定された角度範囲の二等分線方向を、前記接近する方向として決定することとしてもよい。かかる場合には、特定された角度範囲を移動する切断部と、収穫対象果実以外の果実との距離が最も離れた状態を維持しつつ、切断部を収穫穫対象果実に接近させることができるので、切断部と収穫対象果実以外の果実との接触を効果的に抑制することができる。
【００１０】
また、前記接近方向決定部は、前記特定された角度範囲のうちで最も大きい角度範囲内の方向を、前記接近する方向として決定することができる。かかる場合には、切断部と収穫対象果実以外の果実との接触を効果的に抑制することができる。
【００１１】
本発明の果柄切断装置では、前記撮影部は、ステレオカメラであり、前記駆動部は、前記ステレオカメラによる撮影結果から、前記収穫対象果実の前記所定面に交差する方向の位置を検出し、当該検出結果に基づいて、前記切断部の前記所定面に交差する方向の位置を調整することとすることができる。かかる場合には、距離センサ等を別途設けずに、切断部の所定面に交差する方向の位置を調整することができるので、部品点数の削減及びコスト低減を図ることができる。
【発明の効果】
【００１２】
本発明の果柄切断装置は、収穫対象果実以外の果実の損傷を抑制することができるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】一実施形態のイチゴ収穫装置及び当該イチゴ収穫装置が設置された高設栽培農場の一部を示す図である。
【図２】図２（ａ）〜図２（ｃ）は、図１のハンド機構を取り出して拡大して示す図である。
【図３】イチゴ収穫装置の制御系を示すブロック図である。
【図４】イチゴ収穫装置の一連の処理を示すフローチャートである。
【図５】図４のステップＳ１２の処理を示すフローチャートである。
【図６】図６（ａ）〜図６（ｃ）は、図５の処理を説明するための図（イチゴを下方から見た状態を示す模式図）である。
【図７】図４のステップＳ１６の処理を示すフローチャートである。
【図８】図８（ａ）、図８（ｂ）は、図７の処理を説明するための図（その１）である。
【図９】図９（ａ）〜図９（ｄ）は、図７の処理を説明するための図（その２）である。
【図１０】図１０（ａ）〜図１０（ｄ）は、図７の処理を説明するための図（その３）である。
【図１１】図４のステップＳ１８の処理を説明するための図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態を図１〜図１１に基づいて詳細に説明する。
【００１５】
図１には、本実施形態の果柄切断装置としてのイチゴ収穫装置１００及び当該イチゴ収穫装置１００が設置された高設栽培農場の一部が示されている。この高設栽培農場には、土耕栽培又は養液栽培によるイチゴの結実時に、イチゴが垂れ下がるように栽培するための栽培ベッド４０と、この栽培ベッド４０を所定高さ（例えば、１ｍ）で支持する複数の脚４３とが設けられている。この栽培ベッド４０の高さは、作業者の作業性（例えば、作業者が腰をかがめたりせずに作業ができるか否か等）を考慮して設定されている。本実施形態では、栽培ベッド４０の長手方向をＹ軸方向、短手方向をＸ軸方向、これらＸ軸及びＹ軸に垂直な重力方向をＺ軸方向として、説明する。
【００１６】
イチゴ収穫装置１００は、地面上にＹ軸方向に沿って敷設されたレール３２Ａ，３２Ｂと、このレール３２Ａ，３２Ｂに沿ってＹ軸方向に移動する台車３０と、台車３０上に設けられたロボットアーム２０と、ロボットアーム２０の先端部に設けられた切断部としてのハンド機構１０と、台車３０上に設けられた、収穫したイチゴを収集するためのトレー５０と、撮影部としてのステレオカメラ６０と、を備えている。レール３２Ａ，３２Ｂは、栽培ベッド４０の長手方向（Ｙ軸方向）の長さとほぼ同一の長さを有している。
【００１７】
台車３０は、２段の階段状の形状を有しており、その下側の段部３０ａにロボットアーム２０が設けられ、上側の段部３０ｂにトレー５０が設けられている。この台車３０は、駆動部１０６（図１では不図示、図３参照）の駆動力により、制御装置９０の駆動制御部９５（図１では不図示、図３参照）の指示の下、レール３２Ａ，３２Ｂに沿って、Ｙ軸方向に移動する。トレー５０は、ウレタンなどの柔軟性を有する材料から成り、イチゴを収容可能な凹部が複数設けられている。
【００１８】
ロボットアーム２０は、モータドライバにより制御される電動モータによって作動する。このロボットアーム２０は、それぞれ２軸回りの回転が可能な関節部を２つ有し、１軸回りの回転が可能な機構を２つ有しているため、先端部（ハンド機構１０が設けられている部分）は、台車３０に対し、６自由度方向に移動可能となっている。すなわち、ハンド機構１０は、Ｘ軸及びＹ軸により規定される面（所定面）に沿って移動して、収穫対象のイチゴに接近することができるとともに、Ｚ軸方向への移動や、Ｘ軸、Ｙ軸、Ｚ軸回りの姿勢を変化させることもできる。なお、ロボットアーム２０の動作は、図３の制御装置９０の駆動制御部９５により制御される。
【００１９】
ハンド機構１０は、収穫対象であるイチゴの果柄を切断して、イチゴを収穫する機構である。以下、このハンド機構１０について図２に基づいて詳細に説明する。図２（ａ）は、図１のハンド機構１０の平面図であり、図２（ｂ）は、ハンド機構１０の側面図である。なお、図２（ａ），図２（ｂ）では、紙面上下方向をＺ’軸方向、これに垂直な方向をＸ’軸方向、Ｚ’軸及びＸ’軸に垂直な方向をＹ’軸方向として説明する。
【００２０】
これら図２（ａ）、図２（ｂ）に示すように、ハンド機構１０は、一対のフィンガ５２ａ，５２ｂと、果柄検出用カメラ５４と、フィンガ５２ａ，５２ｂをＸ’方向に沿って駆動するエアチャック５６と、エアチャック５６及び果柄検出用カメラ５４を支持する支持台５５と、を備える。
【００２１】
一方のフィンガ５２ａの＋Ｙ’端部近傍には、切断刃６４と、略Ｌ字状のストッパ６６と、緩衝材６２と、が設けられている。切断刃６４は、他方のフィンガ５２ｂとともに、イチゴの果柄にせん断力を作用させることで果柄を切断する。ストッパ６６は、イチゴの果柄を切断刃６４による切断が可能な位置にとどめておく部材である。図２（ｃ）には、フィンガ５２ａ，５２ｂを＋Ｙ’方向から見た状態が示されている。この図２（ｃ）に示すように、緩衝材６２は、フィンガ５２ａの−Ｘ’面に設けられており、フィンガ５２ｂの＋Ｘ’面と対向した状態となっている。この緩衝材６２は、例えば、ゴムなどから成り、フィンガ５２ｂの＋Ｘ’面との間において切断後の果柄を挟んだ状態で、イチゴを保持するためのものである。
【００２２】
エアチャック５６は、駆動制御部９５（図３）の指示の下、一対のフィンガ５２ａ，５２ｂをＸ’軸方向に沿って駆動し、各フィンガ５２ａ，５２ｂ間を接近させたり離間させたりして開閉動作を行う。具体的には、フィンガ５２ａの＋Ｘ’方向への移動とフィンガ５２ｂの−Ｘ’方向への移動とを同時に行うことで、フィンガ５２ａ，５２ｂを開いた状態とすることができる。また、フィンガ５２ａの−Ｘ’方向への移動とフィンガ５２ｂの＋Ｘ’方向への移動とを同時に行うことで、フィンガ５２ａ，５２ｂを閉じた状態とすることができる。
【００２３】
果柄検出用カメラ５４は、収穫対象のイチゴ及び当該イチゴの果柄を撮影して、当該撮影画像を、制御装置９０の第２画像取得部８４（図３参照）に対して出力する。なお、果柄検出用カメラ５４にて撮影された画像は、果柄の角度や果柄の切断位置を特定するために用いられるが、これらの処理の詳細については、後述する。
【００２４】
図１に戻り、ステレオカメラ６０は、２つの光学系及び２つの撮像素子を用いて、ＸＹ面（所定面）に交差する方向（ここでは、Ｚ方向）から２つの画像を同時に取得する。ステレオカメラ６０は取得した画像を、制御装置９０の第１画像取得部８２（図３参照）に対して出力する。なお、ステレオカメラ６０で撮影された画像は、収穫対象のイチゴの特定、当該イチゴの３次元位置（Ｘ，Ｙ，Ｚ方向の位置）の特定、及び、収穫対象のイチゴに対する最適接近方向の決定に用いられるが、これらの処理の詳細については、後述する。
【００２５】
図３には、本実施形態のイチゴ収穫装置１００の制御系がブロック図にて示されている。この図３に示すように、本実施形態の制御系は、上述した各部のほか、各部を統括的に制御する制御装置９０及び当該制御装置９０に接続された入力装置９９を含んでいる。制御装置９０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する情報処理装置であり、当該ＣＰＵにおいて制御プログラムが実行されることにより、図３の各機能を実現する。具体的には、制御装置９０は、第１画像取得部８２、第２画像取得部８４、取得部としての画像認識部８６、接近方向決定部としての最適接近方向決定部８８、及び果柄状態算出部８９として機能する。
【００２６】
第１画像取得部８２は、ステレオカメラ６０において撮影された画像を取得する。第２画像取得部８４は、果柄検出用カメラ５４において撮影された画像を取得する。画像認識部８６は、ステレオカメラ６０において撮影された画像の画像認識を行い、当該画像認識結果（収穫対象のイチゴとその他のイチゴとの、ＸＹ面内方向に関する位置関係）を最適接近方向決定部８８に対して出力する。最適接近方向決定部８８は、画像認識部８６による画像認識結果を用いて、ハンド機構１０が収穫対象のイチゴに接近する最適な方向を算出する。果柄状態算出部８９は、第２画像取得部８４で取得された画像に基づいて、収穫対象のイチゴの果柄の状態を算出する。
【００２７】
最適接近方向決定部８８の算出結果と、果柄状態算出部８９の算出結果は、駆動制御部９５に送信される。駆動制御部９５は、これら算出結果及び第１画像取得部８２から取得した画像に基づいて、駆動部１０６、ロボットアーム２０、エアチャック５６の駆動を制御する。
【００２８】
次に、上記のように構成されるイチゴ収穫装置１００による処理について、図４〜図１１に基づいて詳細に説明する。
【００２９】
図４は、イチゴ収穫装置１００による処理の一連の流れを示すフローチャートである。この図４の処理は、制御装置９０の各部により実行されるものである。
【００３０】
まず、図４のステップＳ１０では、駆動制御部９５が、収穫開始指示が出されたか否かを判断する。収穫開始指示は、作業者が、制御装置９０に接続された入力装置９９から入力するものである。駆動制御部９５は、ステップＳ１０の判断が肯定されるまで待機し、ステップＳ１０の判断が肯定された段階で、ステップＳ１２に移行する。
【００３１】
ステップＳ１２に移行すると、制御装置９０では、最適接近方向決定処理を実行する。具体的には、制御装置９０は、図５のフローチャートに沿った処理を実行する。
【００３２】
まず、図５のステップＳ３０では、第１画像取得部８２が、ステレオカメラ６０から画像を取得する。なお、第１画像取得部８２は、取得した画像を画像認識部８６に送信する。
【００３３】
次いで、ステップＳ３２では、画像認識部８６が、赤色果実を認識し、ラベリングを行う。この場合、取得した画像の色を解析して、赤色果実の色である可能性が高い部分を抽出し、その部分を赤色果実として認識し、ラベリングする。なお、画像認識部８６は、ラベリングした結果を最適接近方向決定部８８に送信する。
【００３４】
次いで、ステップＳ３４では、画像認識部８６が、未熟果実を認識し、ラベリングを行う。この場合、取得した画像の色を解析して、未熟果実の色（緑白色）である可能性が高い部分を抽出し、その部分を未熟果実として認識し、ラベリングする。なお、画像認識部８６は、ラベリングした結果を最適接近方向決定部８８に送信する。
【００３５】
次いで、ステップＳ３６では、最適接近方向決定部８８が、障害角度（β1、β2…βn）を計算する。ここで、最適接近方向決定部８８に対し画像認識部８６から送信されてきたラベリング結果のデータは、図６（ａ）のようなイチゴのＸＹ面内方向に関する位置関係に関するデータである。最適接近方向決定部８８は、図６（ａ）のデータから、図６（ｂ）に示す障害角度β1、β2を計算する。具体的には、最適接近方向決定部８８は、赤色果実のうちの１つを収穫対象のイチゴとして特定し、当該収穫対象のイチゴを中心とした角度範囲のうち、未熟果実が含まれている角度範囲を、障害角度β1、β2とする。なお、図６（ｂ）では、収穫対象のイチゴの中心を基準として−Ｘ側の領域から、障害角度を抽出している。これは、ハンド機構１０と栽培ベッド４０との位置関係からすると、ハンド機構１０は、収穫対象のイチゴに対して、−Ｘ側から接近するのみであり、＋Ｘ側の領域については考慮する必要が無いからである。
【００３６】
また、本実施形態では、収穫対象のイチゴの中心を通過するＹ軸から、所定角度（図６（ｂ）では、１５°）の範囲は、未熟果実の存在に関係なく、障害角度としている。これは、当該所定角度から収穫対象のイチゴに接近しようとすると、近接する赤色果実に対してハンド機構１０が接触する可能性があるからである。なお、所定角度としては、１５°に限らず、栽培ベッド４０におけるイチゴの配列や、ハンド機構１０の大きさなどに基づいて、種々の角度を採用することができる。
【００３７】
図５に戻り、次のステップＳ３８では、最適接近方向決定部８８が、収穫対象のイチゴに対する接近可能角度（α1、α2、…αm）を計算する。この場合、ステップＳ３６で計算された障害角度を除く角度範囲が、接近可能角度となる。図６（ｃ）には、接近可能角度α1、α2が示されている。なお、接近可能角度としては、所定角度（例えば５°）未満の角度範囲は除外するものとする。これは、所定角度（５°など）未満という小さな角度範囲を接近可能角度とし、その方向からハンド機構１０を収穫対象のイチゴに接近させることとすると、ハンド機構１０が未熟果実に接触してしまう可能性があるからである。なお、所定角度としては、５°に限らず、ハンド機構１０の大きさ等を考慮して、種々の角度を採用することができる。
【００３８】
次いで、ステップＳ４０では、最適接近方向決定部８８が、最大接近可能角度を算出する。図６（ｃ）の場合であれば、α1＞α2であるので、最大接近可能角度として、α1が算出される。
【００３９】
次いで、ステップＳ４２では、最適接近方向決定部８８が、最大接近可能角度に基づいて、最適接近方向を決定する。具体的には、最適接近方向決定部８８は、最大接近可能角度α1の二等分線方向（図６（ｃ）の矢印の方向）を、最適接近方向として決定する。その後は、図４のステップＳ１４に移行する。なお、最大接近可能角度が無く、最適接近方向を決定できない場合もある。このような場合には、現在の収穫対象のイチゴの収穫を断念して、次の収穫対象のイチゴの収穫を行うようにしてもよいし、制御装置９０が、不図示の出力装置を介して、作業者に対し警告を発するようにしても良い。
【００４０】
ステップＳ１４では、駆動制御部９５が、第１画像取得部８２において取得された画像と、最適接近方向決定部８８において決定された最適接近方向に基づいて、ロボットアーム２０を駆動する。より具体的には、駆動制御部９５は、画像（ステレオカメラ６０の画像）から収穫対象のイチゴの、Ｚ方向の位置を算出し、当該算出結果に基づいて、ハンド機構１０の目標高さを決定する。そして、画像（ステレオカメラ６０の画像）から算出される収穫対象のイチゴのＸＹ面内位置と、最適接近方向とから、ハンド機構１０の目標位置・姿勢を決定する。ここで、ハンド機構１０の目標位置は、ＸＹ面内方向に関し、収穫対象のイチゴから最適接近方向に関して所定距離離れた位置を意味する。また、ハンド機構１０の目標姿勢は、収穫対象のイチゴの方向をハンド機構１０のフィンガ５２ａ，５２ｂの長手方向（Ｙ’方向）が向いた姿勢を意味する。そして、駆動制御部９５は、ハンド機構１０が目標位置・姿勢となるように、ロボットアーム２０を駆動する。
【００４１】
次いで、ステップＳ１６では、制御装置９０が、果柄状態取得処理を実行する。具体的には、制御装置９０は、図７のフローチャートに沿った処理を実行する。
【００４２】
図７の処理では、まず、ステップＳ５０において、第２画像取得部８４が、果柄検出用カメラ５４から画像を取得する。なお、ここで取得される画像は、前述したハンド機構１０の移動（ステップＳ１４）の後に、果柄検出用カメラ５４により撮影される画像である。このステップＳ５０において取得される画像は、図８（ａ）のような収穫対象のイチゴや果柄などが含まれる画像である。第２画像取得部８４は、取得した画像を、果柄状態算出部８９に送信する。
【００４３】
次いで、ステップＳ５２では、果柄状態算出部８９が、注目領域の設定を行う。この場合、ハンド機構１０を位置決めした後に撮影した画像を用いていることから、果柄状態算出部８９は、収穫対象のイチゴが画像内のどの辺りに存在し、果柄がどの辺りに存在するのかを凡そ特定することができる。したがって、果柄状態算出部８９は、果柄と、果柄とイチゴとの境界部分が含まれている可能性が高い領域を注目領域として設定する。このように、注目領域を設定するのは、別のイチゴの果柄や蔕、葉などの影響を受けて、収穫対象のイチゴの果柄を誤認識してしまうのを抑制するためである。なお、ステップＳ５２では、図８（ｂ）に示すような領域が注目領域として設定されたものとする。
【００４４】
次いで、ステップＳ５４では、果柄状態算出部８９が、Ｇ（Green）画像の２値化処理を行う。この場合、図８（ｂ）の注目領域のうち、緑の部分（果柄、蔕、葉など）が黒く表され、緑以外の部分が白く表された画像（図９（ａ）参照）を取得することができる。
【００４５】
次いで、ステップＳ５６では、果柄状態算出部８９が、黒画像のうち縦長の部位のみを抽出する。具体的には、果柄状態算出部８９は、図９（ａ）の２値画像を横方向に所定の圧縮率で圧縮して、縦長の部分を消去し、当該圧縮した画像を横方向に所定の膨張率（上記所定の圧縮率の逆数）で膨張して、比較画像を作成する。そして、果柄状態算出部８９は、図９（ａ）の２値画像と、比較画像との差をとることで、図９（ｂ）のような縦長の部位のみを抽出した画像を得る。
【００４６】
次いで、ステップＳ５８では、果柄状態算出部８９が、図９（ｂ）の画像の黒画像部分それぞれをラベリングする（図９（ｃ）参照）。そして、ステップＳ６０では、果柄状態算出部８９が、図９（ｃ）の画像のうち、面積が所定の面積よりも小さい黒画像部分をノイズと推定して、当該ノイズを除去した画像を取得する(図９（ｄ）参照)。
【００４７】
次いで、ステップＳ６２では、果柄状態算出部８９が、図９（ｄ）の画像に対して、スケルトン処理を行う。スケルトン処理では、ラベリングされた各黒画像部分に対して中心線を引き、当該中心線のみの画像を取得する（図１０（ａ）参照）。次いで、ステップＳ６４では、果柄状態算出部８９が、スケルトン（中心線）を接合点で分断する。具体的には、図１０（ａ）のうち、２本以上のスケルトン（中心線）が接合している部分を、図１０（ｂ）に示すように分断する。
【００４８】
次いで、ステップＳ６６では、果柄状態算出部８９が、最長のスケルトン（中心線）を抽出する。ここでは、図１０（ｂ）の複数のスケルトンのうち、画像のほぼ中央に位置する、最長のスケルトンが抽出される（図１０（ｃ）参照）。
【００４９】
次いで、ステップＳ６８では、果柄状態算出部８９が、最長のスケルトンの傾きを最小二乗法により算出し、これを果柄の傾きとする（図１０（ｄ）参照）。なお、果柄状態算出部８９は、ステップＳ６８で算出した果柄の傾きを、駆動制御部９５に対して出力する。
【００５０】
そして、ステップＳ７０では、果柄状態算出部８９が、最長のスケルトンの最下端の位置を求め、当該位置を、果柄切断位置として決定する（図１０（ｄ）参照）。なお、果柄状態算出部８９は、ステップＳ７０で決定した果柄切断位置を、駆動制御部９５に対して出力する。以上のような処理を行った後は、図４のステップＳ１８に移行する。
【００５１】
ステップＳ１８では、駆動制御部９５は、ロボットアーム２０を駆動して、ハンド機構１０に設けられた切断刃６４の切断面が、図１１に示すように、果柄の傾きと垂直になるようにする。また、駆動制御部９５は、ロボットアーム２０を駆動して、切断刃６４の切断面の高さが、果柄切断位置と略一致するようにする。ハンド機構１０を移動する。
【００５２】
次いで、ステップＳ２０では、駆動制御部９５は、ロボットアーム２０を駆動して、ハンド機構１０を果柄切断位置まで移動する。具体的には、駆動制御部９５は、収穫対象のイチゴの果柄が、フィンガ５２ａ（切断刃６４）とフィンガ５２ｂとの間に位置するように、ハンド機構１０を直進させる。
【００５３】
次いで、ステップＳ２２では、駆動制御部９５は、エアチャック５６を制御して、一対のフィンガ５２ａ，５２ｂを互いに近づく方向に移動する（閉じた状態とする）ことで、果柄を果柄切断位置にて切断する。なお、この場合には、切断後の果柄（下側）及び当該果柄に接続されている収穫対象のイチゴは、フィンガ５２ｂとフィンガ５２ａの緩衝材６２により保持されている。
【００５４】
次いで、ステップＳ２４では、駆動制御部９５が、ロボットアーム２０を駆動して、ハンド機構１０をトレー５０の上方に位置決めする。そして、駆動制御部９５は、エアチャック５６を制御して、フィンガ５２ａ，５２ｂを互いに離間する方向に移動する（開いた状態とする）ことで、ハンド機構１０の保持するイチゴをトレー５０上に載置する。すなわち、ステップＳ２４の処理により、イチゴの収穫が行われる。なお、トレー５０は、前述のようにウレタンなどの柔軟性を有する部材から成るため、トレー５０の上方からイチゴを落下させても、イチゴは損傷しないようになっている。
【００５５】
次いで、ステップＳ２６では、駆動制御部９５が、収穫終了指示が出されたか否かを判断する。ここでの判断が否定された場合には、ステップＳ１２に戻り、次のイチゴの収穫を、前述したのと同様の方法により行う。一方、ステップＳ２６の判断が肯定された場合、すなわち、入力装置９９を介して、作業者からの収穫終了指示が入力された場合には、図４の全処理を終了する。
【００５６】
なお、上記説明から分かるように、本実施形態では、ロボットアーム２０と、駆動制御部９５とにより、駆動部が実現されている。
【００５７】
以上、詳細に説明したように、本実施形態によると、Ｚ軸方向からステレオカメラ６０により撮影された撮影画像から、画像認識部８６が、収穫対象のイチゴと、それ以外のイチゴとの、ＸＹ面内方向に関する位置関係を取得し、最適接近方向決定部８８が、当該位置関係に基づいて、ハンド機構１０が収穫対象のイチゴに接近する方向を決定する。そして、ハンド機構１０は、最適接近方向決定部８８により決定された方向から収穫対象のイチゴに接近して果柄を切断する。これにより、イチゴの収穫の際に、収穫対象のイチゴ以外のイチゴにハンド機構１０が接触する可能性を低減し、イチゴの損傷の可能性を低減することができる。
【００５８】
また、本実施形態では、最適接近方向決定部８８は、収穫対象のイチゴを中心とした角度範囲のうち、収穫対象のイチゴ以外のイチゴが存在していない角度範囲（α1、α2…αm）を特定し、当該特定された角度範囲内の方向を、接近する方向として決定する。これにより、ハンド機構１０は、収穫対象以外のイチゴに対する接触を効果的に抑制することができる。
【００５９】
また、本実施形態では、最適接近方向決定部８８が、特定された角度範囲の二等分線方向を、接近する方向として決定するので、特定された角度範囲を移動するハンド機構１０と、収穫対象以外のイチゴとの距離が最も離れた状態を維持しつつ、ハンド機構１０を収穫穫対象のイチゴに接近させることができる。これにより、ハンド機構１０と収穫対象以外のイチゴとの接触を効果的に抑制することができる。
【００６０】
また、本実施形態では、最適接近方向決定部８８は、特定された角度範囲のうちで最も大きい角度範囲内の方向を、接近する方向として決定するので、この点からも、ハンド機構１０と収穫対象以外のイチゴとの接触を効果的に抑制することができる。
【００６１】
また、本実施形態では、駆動制御部９５は、ステレオカメラ６０による撮影結果から、収穫対象のイチゴのＺ方向位置を検出し、当該検出結果に基づいて、ハンド機構１０のＺ位置を調整する。したがって、距離センサ等を別途設けることなく、ハンド機構１０のＺ位置を調整することができるので、部品点数の削減及びコスト低減を図ることができる。
【００６２】
なお、上記実施形態では、収穫対象以外のイチゴが存在していない角度範囲のうち、最大の角度範囲を特定し、当該角度範囲の２等分線方向を、最適接近方向とする場合について説明した。しかしながら、これに限られるものではない。例えば、収穫対象以外のイチゴが存在していない角度範囲のうち、現在のハンド機構１０の位置に最も近い角度範囲の方向を最適接近方向として決定することとしてもよい。この場合、所定の角度以上の角度範囲のうち、ハンド機構１０に最も近い角度範囲の方向を最適接近方向として決定してもよい。また、上記では、角度範囲の２等分線方向を最適接近方向とする場合について説明したが、これに限られるものではない。すなわち、角度範囲のうち、ハンド機構１０と収穫対象以外のイチゴとが確実に接触しない方向であれば、いずれの方向であっても良い。
【００６３】
なお、上記実施形態では、ステレオカメラ６０を用いて、収穫対象のイチゴのＺ位置を検出する場合について説明したが、これに限られるものではない。例えば、距離センサなどを用いて、収穫対象のイチゴのＺ位置を検出することとしてもよい。このように距離センサ等を用いる場合には、ステレオカメラ６０に代えて、通常のカメラ（１つの光学系及び１つの撮像素子）を用いることとしてもよい。また、ハンド機構１０に設けたステレオカメラ６０により、収穫対象のイチゴのＺ位置を検出するとともに、下方に設けた通常のカメラにより、収穫対象のイチゴのＸ，Ｙ位置を検出するようにしてもよい。更に、ハンド機構１０に設けたステレオカメラ６０により、収穫対象のイチゴのＸ，Ｙ，Ｚ位置を検出するようにしてもよい。
【００６４】
また、上記実施形態では特に言及していないが、ステレオカメラ６０の近傍に撮影時の光量を確保するための光源を設けることとしてもよい。また、果柄検出用カメラ５４の近傍にも、光源を設けることとしてもよい。この場合、果柄検出用カメラ５４の近傍には、緑色の光を照射する光源を設けることとしてもよい。緑色の光を照射する光源を設けることで、果柄や蔕など、緑色の部分の検出を高精度に行うことが可能となる。
【００６５】
なお、上記実施形態では、接近方向を決定する処理（ステップＳ１２）に加えて、果柄状態を取得する処理（ステップＳ１６）を行う場合について説明したが、これに限られるものではない。果柄状態を取得する処理及びハンド機構１０を果柄の傾きに合わせ、果柄切断位置に合わせる処理（ステップＳ１８）は省略してもよい。
【００６６】
なお、上記実施形態のイチゴ収穫装置１００は、ロボットアーム２０が搭載された台車３０が、地面上に敷設されたレール３２Ａ，３２Ｂに沿ってＹ軸方向に移動することで、ロボットアーム２０と、固定された栽培ベッド４０とのＹ軸方向に関する相対移動を実現する場合について説明した。しかしながら、これに限られるものではなく、例えば、特開２０１０−５７４４８号公報に開示されているように、栽培ベッド４０をＹ軸方向に移動可能に構成し、ロボットアーム２０を固定とすることで、ロボットアーム２０と栽培ベッド４０との相対移動を実現することとしてもよい。また、栽培ベッド４０とロボットアーム２０の両方が、Ｙ軸方向に移動可能であってもよい。
【００６７】
なお、上記実施形態では、本発明の果柄切断装置が、イチゴ収穫装置である場合について説明したが、これに限られるものではない。すなわち、果柄切断装置は、果柄を切断する機能のみを有する装置であってもよい。
【００６８】
なお、上記実施形態では、本発明の果柄切断装置を、イチゴの果柄切断に用いる場合について説明したが、これに限らず、ブドウやモモ、ナシ、リンゴなどのその他の果物や、トマト（房取り）やナス、キュウリ、ゴーヤなどの野菜の果柄切断に用いることとしてもよい。
【００６９】
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
【符号の説明】
【００７０】
１０ ハンド機構（切断部）
２０ ロボットアーム（駆動部の一部）
６０ ステレオカメラ（撮影部）
８６ 画像認識部（取得部）
８８ 最適接近方向決定部（接近方向決定部）
９５ 駆動制御部（駆動部の一部）
１００ イチゴ収穫装置（果実切断装置）
【技術分野】
【０００１】
本発明は、果柄切断装置に関する。
【背景技術】
【０００２】
従来、イチゴなどの果実（作物）は、機械で扱うと傷みやすいため、人手で収穫していた。しかしながら、最近においては、養液栽培などの進歩に伴い、機械による収穫の可能性がひらけてきていることから、労働時間の大幅な削減や、労力の低減を図るための収穫装置（収穫ロボット）の開発が進められている（例えば、特許文献１〜５参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−９５３４８号公報
【特許文献２】特開２００９−５５８７号公報
【特許文献３】特開２００８−２０６４３８号公報
【特許文献４】特開２００８−２２７３７号公報
【特許文献５】特開２００１−１４５４１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような収穫装置では、果実の収穫を行う際に、収穫対象の果実以外の果実に収穫装置の一部が接触し、当該果実が損傷してしまうおそれがある。
【０００５】
そこで、本発明は、上記事情に鑑みてなされたもので、収穫対象果実以外の果実の損傷を抑制することが可能な果柄切断装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の果柄切断装置は、収穫対象果実に対して所定面に沿った方向から接近して、前記収穫対象果実の果柄を切断する切断部と、前記収穫対象果実を、前記所定面に交差する方向から撮影する撮影部と、前記撮影部による撮影画像から、前記収穫対象果実と、当該収穫対象果実以外の果実との、前記所定面内方向に関する位置関係を取得する取得部と、前記取得部により取得された前記位置関係に基づいて、前記切断部が前記収穫対象果実に接近する方向を決定する接近方向決定部と、前記切断部を、前記接近方向決定部により決定された方向から前記収穫対象果実に接近させる駆動部と、を備える果柄切断装置である。
【０００７】
これによれば、所定面に交差する方向から撮影部により撮影された撮影画像から、取得部が、収穫対象果実と、収穫対象果実以外の果実との、所定面内方向に関する位置関係を取得し、接近方向決定部が、当該位置関係に基づいて、切断部が収穫対象果実に接近する方向を決定するので、切断部が、接近方向決定部により決定された方向から収穫対象果実に接近して果柄を切断することで、収穫対象果実以外の果実に切断部が接触する可能性を低減し、当該果実の損傷の可能性を低減することができる。
【０００８】
この場合において、前記接近方向決定部は、前記収穫対象果実を中心とした角度範囲のうち、前記収穫対象果実以外の果実が存在していない角度範囲を特定し、当該特定された角度範囲内の方向を、前記接近する方向として決定することができる。かかる場合には、切断部は、収穫対象果実以外の果実が存在していない角度範囲内の方向から収穫対象果実に接近するので、収穫対象果実以外の果実に対する接触を効果的に抑制することが可能となる。
【０００９】
この場合、前記接近方向決定部は、前記特定された角度範囲の二等分線方向を、前記接近する方向として決定することとしてもよい。かかる場合には、特定された角度範囲を移動する切断部と、収穫対象果実以外の果実との距離が最も離れた状態を維持しつつ、切断部を収穫穫対象果実に接近させることができるので、切断部と収穫対象果実以外の果実との接触を効果的に抑制することができる。
【００１０】
また、前記接近方向決定部は、前記特定された角度範囲のうちで最も大きい角度範囲内の方向を、前記接近する方向として決定することができる。かかる場合には、切断部と収穫対象果実以外の果実との接触を効果的に抑制することができる。
【００１１】
本発明の果柄切断装置では、前記撮影部は、ステレオカメラであり、前記駆動部は、前記ステレオカメラによる撮影結果から、前記収穫対象果実の前記所定面に交差する方向の位置を検出し、当該検出結果に基づいて、前記切断部の前記所定面に交差する方向の位置を調整することとすることができる。かかる場合には、距離センサ等を別途設けずに、切断部の所定面に交差する方向の位置を調整することができるので、部品点数の削減及びコスト低減を図ることができる。
【発明の効果】
【００１２】
本発明の果柄切断装置は、収穫対象果実以外の果実の損傷を抑制することができるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】一実施形態のイチゴ収穫装置及び当該イチゴ収穫装置が設置された高設栽培農場の一部を示す図である。
【図２】図２（ａ）〜図２（ｃ）は、図１のハンド機構を取り出して拡大して示す図である。
【図３】イチゴ収穫装置の制御系を示すブロック図である。
【図４】イチゴ収穫装置の一連の処理を示すフローチャートである。
【図５】図４のステップＳ１２の処理を示すフローチャートである。
【図６】図６（ａ）〜図６（ｃ）は、図５の処理を説明するための図（イチゴを下方から見た状態を示す模式図）である。
【図７】図４のステップＳ１６の処理を示すフローチャートである。
【図８】図８（ａ）、図８（ｂ）は、図７の処理を説明するための図（その１）である。
【図９】図９（ａ）〜図９（ｄ）は、図７の処理を説明するための図（その２）である。
【図１０】図１０（ａ）〜図１０（ｄ）は、図７の処理を説明するための図（その３）である。
【図１１】図４のステップＳ１８の処理を説明するための図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態を図１〜図１１に基づいて詳細に説明する。
【００１５】
図１には、本実施形態の果柄切断装置としてのイチゴ収穫装置１００及び当該イチゴ収穫装置１００が設置された高設栽培農場の一部が示されている。この高設栽培農場には、土耕栽培又は養液栽培によるイチゴの結実時に、イチゴが垂れ下がるように栽培するための栽培ベッド４０と、この栽培ベッド４０を所定高さ（例えば、１ｍ）で支持する複数の脚４３とが設けられている。この栽培ベッド４０の高さは、作業者の作業性（例えば、作業者が腰をかがめたりせずに作業ができるか否か等）を考慮して設定されている。本実施形態では、栽培ベッド４０の長手方向をＹ軸方向、短手方向をＸ軸方向、これらＸ軸及びＹ軸に垂直な重力方向をＺ軸方向として、説明する。
【００１６】
イチゴ収穫装置１００は、地面上にＹ軸方向に沿って敷設されたレール３２Ａ，３２Ｂと、このレール３２Ａ，３２Ｂに沿ってＹ軸方向に移動する台車３０と、台車３０上に設けられたロボットアーム２０と、ロボットアーム２０の先端部に設けられた切断部としてのハンド機構１０と、台車３０上に設けられた、収穫したイチゴを収集するためのトレー５０と、撮影部としてのステレオカメラ６０と、を備えている。レール３２Ａ，３２Ｂは、栽培ベッド４０の長手方向（Ｙ軸方向）の長さとほぼ同一の長さを有している。
【００１７】
台車３０は、２段の階段状の形状を有しており、その下側の段部３０ａにロボットアーム２０が設けられ、上側の段部３０ｂにトレー５０が設けられている。この台車３０は、駆動部１０６（図１では不図示、図３参照）の駆動力により、制御装置９０の駆動制御部９５（図１では不図示、図３参照）の指示の下、レール３２Ａ，３２Ｂに沿って、Ｙ軸方向に移動する。トレー５０は、ウレタンなどの柔軟性を有する材料から成り、イチゴを収容可能な凹部が複数設けられている。
【００１８】
ロボットアーム２０は、モータドライバにより制御される電動モータによって作動する。このロボットアーム２０は、それぞれ２軸回りの回転が可能な関節部を２つ有し、１軸回りの回転が可能な機構を２つ有しているため、先端部（ハンド機構１０が設けられている部分）は、台車３０に対し、６自由度方向に移動可能となっている。すなわち、ハンド機構１０は、Ｘ軸及びＹ軸により規定される面（所定面）に沿って移動して、収穫対象のイチゴに接近することができるとともに、Ｚ軸方向への移動や、Ｘ軸、Ｙ軸、Ｚ軸回りの姿勢を変化させることもできる。なお、ロボットアーム２０の動作は、図３の制御装置９０の駆動制御部９５により制御される。
【００１９】
ハンド機構１０は、収穫対象であるイチゴの果柄を切断して、イチゴを収穫する機構である。以下、このハンド機構１０について図２に基づいて詳細に説明する。図２（ａ）は、図１のハンド機構１０の平面図であり、図２（ｂ）は、ハンド機構１０の側面図である。なお、図２（ａ），図２（ｂ）では、紙面上下方向をＺ’軸方向、これに垂直な方向をＸ’軸方向、Ｚ’軸及びＸ’軸に垂直な方向をＹ’軸方向として説明する。
【００２０】
これら図２（ａ）、図２（ｂ）に示すように、ハンド機構１０は、一対のフィンガ５２ａ，５２ｂと、果柄検出用カメラ５４と、フィンガ５２ａ，５２ｂをＸ’方向に沿って駆動するエアチャック５６と、エアチャック５６及び果柄検出用カメラ５４を支持する支持台５５と、を備える。
【００２１】
一方のフィンガ５２ａの＋Ｙ’端部近傍には、切断刃６４と、略Ｌ字状のストッパ６６と、緩衝材６２と、が設けられている。切断刃６４は、他方のフィンガ５２ｂとともに、イチゴの果柄にせん断力を作用させることで果柄を切断する。ストッパ６６は、イチゴの果柄を切断刃６４による切断が可能な位置にとどめておく部材である。図２（ｃ）には、フィンガ５２ａ，５２ｂを＋Ｙ’方向から見た状態が示されている。この図２（ｃ）に示すように、緩衝材６２は、フィンガ５２ａの−Ｘ’面に設けられており、フィンガ５２ｂの＋Ｘ’面と対向した状態となっている。この緩衝材６２は、例えば、ゴムなどから成り、フィンガ５２ｂの＋Ｘ’面との間において切断後の果柄を挟んだ状態で、イチゴを保持するためのものである。
【００２２】
エアチャック５６は、駆動制御部９５（図３）の指示の下、一対のフィンガ５２ａ，５２ｂをＸ’軸方向に沿って駆動し、各フィンガ５２ａ，５２ｂ間を接近させたり離間させたりして開閉動作を行う。具体的には、フィンガ５２ａの＋Ｘ’方向への移動とフィンガ５２ｂの−Ｘ’方向への移動とを同時に行うことで、フィンガ５２ａ，５２ｂを開いた状態とすることができる。また、フィンガ５２ａの−Ｘ’方向への移動とフィンガ５２ｂの＋Ｘ’方向への移動とを同時に行うことで、フィンガ５２ａ，５２ｂを閉じた状態とすることができる。
【００２３】
果柄検出用カメラ５４は、収穫対象のイチゴ及び当該イチゴの果柄を撮影して、当該撮影画像を、制御装置９０の第２画像取得部８４（図３参照）に対して出力する。なお、果柄検出用カメラ５４にて撮影された画像は、果柄の角度や果柄の切断位置を特定するために用いられるが、これらの処理の詳細については、後述する。
【００２４】
図１に戻り、ステレオカメラ６０は、２つの光学系及び２つの撮像素子を用いて、ＸＹ面（所定面）に交差する方向（ここでは、Ｚ方向）から２つの画像を同時に取得する。ステレオカメラ６０は取得した画像を、制御装置９０の第１画像取得部８２（図３参照）に対して出力する。なお、ステレオカメラ６０で撮影された画像は、収穫対象のイチゴの特定、当該イチゴの３次元位置（Ｘ，Ｙ，Ｚ方向の位置）の特定、及び、収穫対象のイチゴに対する最適接近方向の決定に用いられるが、これらの処理の詳細については、後述する。
【００２５】
図３には、本実施形態のイチゴ収穫装置１００の制御系がブロック図にて示されている。この図３に示すように、本実施形態の制御系は、上述した各部のほか、各部を統括的に制御する制御装置９０及び当該制御装置９０に接続された入力装置９９を含んでいる。制御装置９０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する情報処理装置であり、当該ＣＰＵにおいて制御プログラムが実行されることにより、図３の各機能を実現する。具体的には、制御装置９０は、第１画像取得部８２、第２画像取得部８４、取得部としての画像認識部８６、接近方向決定部としての最適接近方向決定部８８、及び果柄状態算出部８９として機能する。
【００２６】
第１画像取得部８２は、ステレオカメラ６０において撮影された画像を取得する。第２画像取得部８４は、果柄検出用カメラ５４において撮影された画像を取得する。画像認識部８６は、ステレオカメラ６０において撮影された画像の画像認識を行い、当該画像認識結果（収穫対象のイチゴとその他のイチゴとの、ＸＹ面内方向に関する位置関係）を最適接近方向決定部８８に対して出力する。最適接近方向決定部８８は、画像認識部８６による画像認識結果を用いて、ハンド機構１０が収穫対象のイチゴに接近する最適な方向を算出する。果柄状態算出部８９は、第２画像取得部８４で取得された画像に基づいて、収穫対象のイチゴの果柄の状態を算出する。
【００２７】
最適接近方向決定部８８の算出結果と、果柄状態算出部８９の算出結果は、駆動制御部９５に送信される。駆動制御部９５は、これら算出結果及び第１画像取得部８２から取得した画像に基づいて、駆動部１０６、ロボットアーム２０、エアチャック５６の駆動を制御する。
【００２８】
次に、上記のように構成されるイチゴ収穫装置１００による処理について、図４〜図１１に基づいて詳細に説明する。
【００２９】
図４は、イチゴ収穫装置１００による処理の一連の流れを示すフローチャートである。この図４の処理は、制御装置９０の各部により実行されるものである。
【００３０】
まず、図４のステップＳ１０では、駆動制御部９５が、収穫開始指示が出されたか否かを判断する。収穫開始指示は、作業者が、制御装置９０に接続された入力装置９９から入力するものである。駆動制御部９５は、ステップＳ１０の判断が肯定されるまで待機し、ステップＳ１０の判断が肯定された段階で、ステップＳ１２に移行する。
【００３１】
ステップＳ１２に移行すると、制御装置９０では、最適接近方向決定処理を実行する。具体的には、制御装置９０は、図５のフローチャートに沿った処理を実行する。
【００３２】
まず、図５のステップＳ３０では、第１画像取得部８２が、ステレオカメラ６０から画像を取得する。なお、第１画像取得部８２は、取得した画像を画像認識部８６に送信する。
【００３３】
次いで、ステップＳ３２では、画像認識部８６が、赤色果実を認識し、ラベリングを行う。この場合、取得した画像の色を解析して、赤色果実の色である可能性が高い部分を抽出し、その部分を赤色果実として認識し、ラベリングする。なお、画像認識部８６は、ラベリングした結果を最適接近方向決定部８８に送信する。
【００３４】
次いで、ステップＳ３４では、画像認識部８６が、未熟果実を認識し、ラベリングを行う。この場合、取得した画像の色を解析して、未熟果実の色（緑白色）である可能性が高い部分を抽出し、その部分を未熟果実として認識し、ラベリングする。なお、画像認識部８６は、ラベリングした結果を最適接近方向決定部８８に送信する。
【００３５】
次いで、ステップＳ３６では、最適接近方向決定部８８が、障害角度（β1、β2…βn）を計算する。ここで、最適接近方向決定部８８に対し画像認識部８６から送信されてきたラベリング結果のデータは、図６（ａ）のようなイチゴのＸＹ面内方向に関する位置関係に関するデータである。最適接近方向決定部８８は、図６（ａ）のデータから、図６（ｂ）に示す障害角度β1、β2を計算する。具体的には、最適接近方向決定部８８は、赤色果実のうちの１つを収穫対象のイチゴとして特定し、当該収穫対象のイチゴを中心とした角度範囲のうち、未熟果実が含まれている角度範囲を、障害角度β1、β2とする。なお、図６（ｂ）では、収穫対象のイチゴの中心を基準として−Ｘ側の領域から、障害角度を抽出している。これは、ハンド機構１０と栽培ベッド４０との位置関係からすると、ハンド機構１０は、収穫対象のイチゴに対して、−Ｘ側から接近するのみであり、＋Ｘ側の領域については考慮する必要が無いからである。
【００３６】
また、本実施形態では、収穫対象のイチゴの中心を通過するＹ軸から、所定角度（図６（ｂ）では、１５°）の範囲は、未熟果実の存在に関係なく、障害角度としている。これは、当該所定角度から収穫対象のイチゴに接近しようとすると、近接する赤色果実に対してハンド機構１０が接触する可能性があるからである。なお、所定角度としては、１５°に限らず、栽培ベッド４０におけるイチゴの配列や、ハンド機構１０の大きさなどに基づいて、種々の角度を採用することができる。
【００３７】
図５に戻り、次のステップＳ３８では、最適接近方向決定部８８が、収穫対象のイチゴに対する接近可能角度（α1、α2、…αm）を計算する。この場合、ステップＳ３６で計算された障害角度を除く角度範囲が、接近可能角度となる。図６（ｃ）には、接近可能角度α1、α2が示されている。なお、接近可能角度としては、所定角度（例えば５°）未満の角度範囲は除外するものとする。これは、所定角度（５°など）未満という小さな角度範囲を接近可能角度とし、その方向からハンド機構１０を収穫対象のイチゴに接近させることとすると、ハンド機構１０が未熟果実に接触してしまう可能性があるからである。なお、所定角度としては、５°に限らず、ハンド機構１０の大きさ等を考慮して、種々の角度を採用することができる。
【００３８】
次いで、ステップＳ４０では、最適接近方向決定部８８が、最大接近可能角度を算出する。図６（ｃ）の場合であれば、α1＞α2であるので、最大接近可能角度として、α1が算出される。
【００３９】
次いで、ステップＳ４２では、最適接近方向決定部８８が、最大接近可能角度に基づいて、最適接近方向を決定する。具体的には、最適接近方向決定部８８は、最大接近可能角度α1の二等分線方向（図６（ｃ）の矢印の方向）を、最適接近方向として決定する。その後は、図４のステップＳ１４に移行する。なお、最大接近可能角度が無く、最適接近方向を決定できない場合もある。このような場合には、現在の収穫対象のイチゴの収穫を断念して、次の収穫対象のイチゴの収穫を行うようにしてもよいし、制御装置９０が、不図示の出力装置を介して、作業者に対し警告を発するようにしても良い。
【００４０】
ステップＳ１４では、駆動制御部９５が、第１画像取得部８２において取得された画像と、最適接近方向決定部８８において決定された最適接近方向に基づいて、ロボットアーム２０を駆動する。より具体的には、駆動制御部９５は、画像（ステレオカメラ６０の画像）から収穫対象のイチゴの、Ｚ方向の位置を算出し、当該算出結果に基づいて、ハンド機構１０の目標高さを決定する。そして、画像（ステレオカメラ６０の画像）から算出される収穫対象のイチゴのＸＹ面内位置と、最適接近方向とから、ハンド機構１０の目標位置・姿勢を決定する。ここで、ハンド機構１０の目標位置は、ＸＹ面内方向に関し、収穫対象のイチゴから最適接近方向に関して所定距離離れた位置を意味する。また、ハンド機構１０の目標姿勢は、収穫対象のイチゴの方向をハンド機構１０のフィンガ５２ａ，５２ｂの長手方向（Ｙ’方向）が向いた姿勢を意味する。そして、駆動制御部９５は、ハンド機構１０が目標位置・姿勢となるように、ロボットアーム２０を駆動する。
【００４１】
次いで、ステップＳ１６では、制御装置９０が、果柄状態取得処理を実行する。具体的には、制御装置９０は、図７のフローチャートに沿った処理を実行する。
【００４２】
図７の処理では、まず、ステップＳ５０において、第２画像取得部８４が、果柄検出用カメラ５４から画像を取得する。なお、ここで取得される画像は、前述したハンド機構１０の移動（ステップＳ１４）の後に、果柄検出用カメラ５４により撮影される画像である。このステップＳ５０において取得される画像は、図８（ａ）のような収穫対象のイチゴや果柄などが含まれる画像である。第２画像取得部８４は、取得した画像を、果柄状態算出部８９に送信する。
【００４３】
次いで、ステップＳ５２では、果柄状態算出部８９が、注目領域の設定を行う。この場合、ハンド機構１０を位置決めした後に撮影した画像を用いていることから、果柄状態算出部８９は、収穫対象のイチゴが画像内のどの辺りに存在し、果柄がどの辺りに存在するのかを凡そ特定することができる。したがって、果柄状態算出部８９は、果柄と、果柄とイチゴとの境界部分が含まれている可能性が高い領域を注目領域として設定する。このように、注目領域を設定するのは、別のイチゴの果柄や蔕、葉などの影響を受けて、収穫対象のイチゴの果柄を誤認識してしまうのを抑制するためである。なお、ステップＳ５２では、図８（ｂ）に示すような領域が注目領域として設定されたものとする。
【００４４】
次いで、ステップＳ５４では、果柄状態算出部８９が、Ｇ（Green）画像の２値化処理を行う。この場合、図８（ｂ）の注目領域のうち、緑の部分（果柄、蔕、葉など）が黒く表され、緑以外の部分が白く表された画像（図９（ａ）参照）を取得することができる。
【００４５】
次いで、ステップＳ５６では、果柄状態算出部８９が、黒画像のうち縦長の部位のみを抽出する。具体的には、果柄状態算出部８９は、図９（ａ）の２値画像を横方向に所定の圧縮率で圧縮して、縦長の部分を消去し、当該圧縮した画像を横方向に所定の膨張率（上記所定の圧縮率の逆数）で膨張して、比較画像を作成する。そして、果柄状態算出部８９は、図９（ａ）の２値画像と、比較画像との差をとることで、図９（ｂ）のような縦長の部位のみを抽出した画像を得る。
【００４６】
次いで、ステップＳ５８では、果柄状態算出部８９が、図９（ｂ）の画像の黒画像部分それぞれをラベリングする（図９（ｃ）参照）。そして、ステップＳ６０では、果柄状態算出部８９が、図９（ｃ）の画像のうち、面積が所定の面積よりも小さい黒画像部分をノイズと推定して、当該ノイズを除去した画像を取得する(図９（ｄ）参照)。
【００４７】
次いで、ステップＳ６２では、果柄状態算出部８９が、図９（ｄ）の画像に対して、スケルトン処理を行う。スケルトン処理では、ラベリングされた各黒画像部分に対して中心線を引き、当該中心線のみの画像を取得する（図１０（ａ）参照）。次いで、ステップＳ６４では、果柄状態算出部８９が、スケルトン（中心線）を接合点で分断する。具体的には、図１０（ａ）のうち、２本以上のスケルトン（中心線）が接合している部分を、図１０（ｂ）に示すように分断する。
【００４８】
次いで、ステップＳ６６では、果柄状態算出部８９が、最長のスケルトン（中心線）を抽出する。ここでは、図１０（ｂ）の複数のスケルトンのうち、画像のほぼ中央に位置する、最長のスケルトンが抽出される（図１０（ｃ）参照）。
【００４９】
次いで、ステップＳ６８では、果柄状態算出部８９が、最長のスケルトンの傾きを最小二乗法により算出し、これを果柄の傾きとする（図１０（ｄ）参照）。なお、果柄状態算出部８９は、ステップＳ６８で算出した果柄の傾きを、駆動制御部９５に対して出力する。
【００５０】
そして、ステップＳ７０では、果柄状態算出部８９が、最長のスケルトンの最下端の位置を求め、当該位置を、果柄切断位置として決定する（図１０（ｄ）参照）。なお、果柄状態算出部８９は、ステップＳ７０で決定した果柄切断位置を、駆動制御部９５に対して出力する。以上のような処理を行った後は、図４のステップＳ１８に移行する。
【００５１】
ステップＳ１８では、駆動制御部９５は、ロボットアーム２０を駆動して、ハンド機構１０に設けられた切断刃６４の切断面が、図１１に示すように、果柄の傾きと垂直になるようにする。また、駆動制御部９５は、ロボットアーム２０を駆動して、切断刃６４の切断面の高さが、果柄切断位置と略一致するようにする。ハンド機構１０を移動する。
【００５２】
次いで、ステップＳ２０では、駆動制御部９５は、ロボットアーム２０を駆動して、ハンド機構１０を果柄切断位置まで移動する。具体的には、駆動制御部９５は、収穫対象のイチゴの果柄が、フィンガ５２ａ（切断刃６４）とフィンガ５２ｂとの間に位置するように、ハンド機構１０を直進させる。
【００５３】
次いで、ステップＳ２２では、駆動制御部９５は、エアチャック５６を制御して、一対のフィンガ５２ａ，５２ｂを互いに近づく方向に移動する（閉じた状態とする）ことで、果柄を果柄切断位置にて切断する。なお、この場合には、切断後の果柄（下側）及び当該果柄に接続されている収穫対象のイチゴは、フィンガ５２ｂとフィンガ５２ａの緩衝材６２により保持されている。
【００５４】
次いで、ステップＳ２４では、駆動制御部９５が、ロボットアーム２０を駆動して、ハンド機構１０をトレー５０の上方に位置決めする。そして、駆動制御部９５は、エアチャック５６を制御して、フィンガ５２ａ，５２ｂを互いに離間する方向に移動する（開いた状態とする）ことで、ハンド機構１０の保持するイチゴをトレー５０上に載置する。すなわち、ステップＳ２４の処理により、イチゴの収穫が行われる。なお、トレー５０は、前述のようにウレタンなどの柔軟性を有する部材から成るため、トレー５０の上方からイチゴを落下させても、イチゴは損傷しないようになっている。
【００５５】
次いで、ステップＳ２６では、駆動制御部９５が、収穫終了指示が出されたか否かを判断する。ここでの判断が否定された場合には、ステップＳ１２に戻り、次のイチゴの収穫を、前述したのと同様の方法により行う。一方、ステップＳ２６の判断が肯定された場合、すなわち、入力装置９９を介して、作業者からの収穫終了指示が入力された場合には、図４の全処理を終了する。
【００５６】
なお、上記説明から分かるように、本実施形態では、ロボットアーム２０と、駆動制御部９５とにより、駆動部が実現されている。
【００５７】
以上、詳細に説明したように、本実施形態によると、Ｚ軸方向からステレオカメラ６０により撮影された撮影画像から、画像認識部８６が、収穫対象のイチゴと、それ以外のイチゴとの、ＸＹ面内方向に関する位置関係を取得し、最適接近方向決定部８８が、当該位置関係に基づいて、ハンド機構１０が収穫対象のイチゴに接近する方向を決定する。そして、ハンド機構１０は、最適接近方向決定部８８により決定された方向から収穫対象のイチゴに接近して果柄を切断する。これにより、イチゴの収穫の際に、収穫対象のイチゴ以外のイチゴにハンド機構１０が接触する可能性を低減し、イチゴの損傷の可能性を低減することができる。
【００５８】
また、本実施形態では、最適接近方向決定部８８は、収穫対象のイチゴを中心とした角度範囲のうち、収穫対象のイチゴ以外のイチゴが存在していない角度範囲（α1、α2…αm）を特定し、当該特定された角度範囲内の方向を、接近する方向として決定する。これにより、ハンド機構１０は、収穫対象以外のイチゴに対する接触を効果的に抑制することができる。
【００５９】
また、本実施形態では、最適接近方向決定部８８が、特定された角度範囲の二等分線方向を、接近する方向として決定するので、特定された角度範囲を移動するハンド機構１０と、収穫対象以外のイチゴとの距離が最も離れた状態を維持しつつ、ハンド機構１０を収穫穫対象のイチゴに接近させることができる。これにより、ハンド機構１０と収穫対象以外のイチゴとの接触を効果的に抑制することができる。
【００６０】
また、本実施形態では、最適接近方向決定部８８は、特定された角度範囲のうちで最も大きい角度範囲内の方向を、接近する方向として決定するので、この点からも、ハンド機構１０と収穫対象以外のイチゴとの接触を効果的に抑制することができる。
【００６１】
また、本実施形態では、駆動制御部９５は、ステレオカメラ６０による撮影結果から、収穫対象のイチゴのＺ方向位置を検出し、当該検出結果に基づいて、ハンド機構１０のＺ位置を調整する。したがって、距離センサ等を別途設けることなく、ハンド機構１０のＺ位置を調整することができるので、部品点数の削減及びコスト低減を図ることができる。
【００６２】
なお、上記実施形態では、収穫対象以外のイチゴが存在していない角度範囲のうち、最大の角度範囲を特定し、当該角度範囲の２等分線方向を、最適接近方向とする場合について説明した。しかしながら、これに限られるものではない。例えば、収穫対象以外のイチゴが存在していない角度範囲のうち、現在のハンド機構１０の位置に最も近い角度範囲の方向を最適接近方向として決定することとしてもよい。この場合、所定の角度以上の角度範囲のうち、ハンド機構１０に最も近い角度範囲の方向を最適接近方向として決定してもよい。また、上記では、角度範囲の２等分線方向を最適接近方向とする場合について説明したが、これに限られるものではない。すなわち、角度範囲のうち、ハンド機構１０と収穫対象以外のイチゴとが確実に接触しない方向であれば、いずれの方向であっても良い。
【００６３】
なお、上記実施形態では、ステレオカメラ６０を用いて、収穫対象のイチゴのＺ位置を検出する場合について説明したが、これに限られるものではない。例えば、距離センサなどを用いて、収穫対象のイチゴのＺ位置を検出することとしてもよい。このように距離センサ等を用いる場合には、ステレオカメラ６０に代えて、通常のカメラ（１つの光学系及び１つの撮像素子）を用いることとしてもよい。また、ハンド機構１０に設けたステレオカメラ６０により、収穫対象のイチゴのＺ位置を検出するとともに、下方に設けた通常のカメラにより、収穫対象のイチゴのＸ，Ｙ位置を検出するようにしてもよい。更に、ハンド機構１０に設けたステレオカメラ６０により、収穫対象のイチゴのＸ，Ｙ，Ｚ位置を検出するようにしてもよい。
【００６４】
また、上記実施形態では特に言及していないが、ステレオカメラ６０の近傍に撮影時の光量を確保するための光源を設けることとしてもよい。また、果柄検出用カメラ５４の近傍にも、光源を設けることとしてもよい。この場合、果柄検出用カメラ５４の近傍には、緑色の光を照射する光源を設けることとしてもよい。緑色の光を照射する光源を設けることで、果柄や蔕など、緑色の部分の検出を高精度に行うことが可能となる。
【００６５】
なお、上記実施形態では、接近方向を決定する処理（ステップＳ１２）に加えて、果柄状態を取得する処理（ステップＳ１６）を行う場合について説明したが、これに限られるものではない。果柄状態を取得する処理及びハンド機構１０を果柄の傾きに合わせ、果柄切断位置に合わせる処理（ステップＳ１８）は省略してもよい。
【００６６】
なお、上記実施形態のイチゴ収穫装置１００は、ロボットアーム２０が搭載された台車３０が、地面上に敷設されたレール３２Ａ，３２Ｂに沿ってＹ軸方向に移動することで、ロボットアーム２０と、固定された栽培ベッド４０とのＹ軸方向に関する相対移動を実現する場合について説明した。しかしながら、これに限られるものではなく、例えば、特開２０１０−５７４４８号公報に開示されているように、栽培ベッド４０をＹ軸方向に移動可能に構成し、ロボットアーム２０を固定とすることで、ロボットアーム２０と栽培ベッド４０との相対移動を実現することとしてもよい。また、栽培ベッド４０とロボットアーム２０の両方が、Ｙ軸方向に移動可能であってもよい。
【００６７】
なお、上記実施形態では、本発明の果柄切断装置が、イチゴ収穫装置である場合について説明したが、これに限られるものではない。すなわち、果柄切断装置は、果柄を切断する機能のみを有する装置であってもよい。
【００６８】
なお、上記実施形態では、本発明の果柄切断装置を、イチゴの果柄切断に用いる場合について説明したが、これに限らず、ブドウやモモ、ナシ、リンゴなどのその他の果物や、トマト（房取り）やナス、キュウリ、ゴーヤなどの野菜の果柄切断に用いることとしてもよい。
【００６９】
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
【符号の説明】
【００７０】
１０ ハンド機構（切断部）
２０ ロボットアーム（駆動部の一部）
６０ ステレオカメラ（撮影部）
８６ 画像認識部（取得部）
８８ 最適接近方向決定部（接近方向決定部）
９５ 駆動制御部（駆動部の一部）
１００ イチゴ収穫装置（果実切断装置）
【特許請求の範囲】
【請求項１】
収穫対象果実に対して所定面に沿った方向から接近して、前記収穫対象果実の果柄を切断する切断部と、
前記収穫対象果実を、前記所定面に交差する方向から撮影する撮影部と、
前記撮影部による撮影画像から、前記収穫対象果実と、当該収穫対象果実以外の果実との、前記所定面内方向に関する位置関係を取得する取得部と、
前記取得部により取得された前記位置関係に基づいて、前記切断部が前記収穫対象果実に接近する方向を決定する接近方向決定部と、
前記切断部を、前記接近方向決定部により決定された方向から前記収穫対象果実に接近させる駆動部と、を備える果柄切断装置。
【請求項２】
前記接近方向決定部は、前記収穫対象果実を中心とした角度範囲のうち、前記収穫対象果実以外の果実が存在していない角度範囲を特定し、当該特定された角度範囲内の方向を、前記接近する方向として決定することを特徴とする請求項１に記載の果柄切断装置。
【請求項３】
前記接近方向決定部は、前記特定された角度範囲の二等分線方向を、前記接近する方向として決定することを特徴とする請求項２に記載の果柄切断装置。
【請求項４】
前記接近方向決定部は、前記特定された角度範囲のうちで最も大きい角度範囲内の方向を、前記接近する方向として決定することを特徴とする請求項２又は３に記載の果柄切断装置。
【請求項５】
前記撮影部は、ステレオカメラであり、
前記駆動部は、前記ステレオカメラによる撮影結果から、前記収穫対象果実の前記所定面に交差する方向の位置を検出し、当該検出結果に基づいて、前記切断部の前記所定面に交差する方向の位置を調整することを特徴とする請求項１〜４のいずれか一項に記載の果柄切断装置。
【請求項１】
収穫対象果実に対して所定面に沿った方向から接近して、前記収穫対象果実の果柄を切断する切断部と、
前記収穫対象果実を、前記所定面に交差する方向から撮影する撮影部と、
前記撮影部による撮影画像から、前記収穫対象果実と、当該収穫対象果実以外の果実との、前記所定面内方向に関する位置関係を取得する取得部と、
前記取得部により取得された前記位置関係に基づいて、前記切断部が前記収穫対象果実に接近する方向を決定する接近方向決定部と、
前記切断部を、前記接近方向決定部により決定された方向から前記収穫対象果実に接近させる駆動部と、を備える果柄切断装置。
【請求項２】
前記接近方向決定部は、前記収穫対象果実を中心とした角度範囲のうち、前記収穫対象果実以外の果実が存在していない角度範囲を特定し、当該特定された角度範囲内の方向を、前記接近する方向として決定することを特徴とする請求項１に記載の果柄切断装置。
【請求項３】
前記接近方向決定部は、前記特定された角度範囲の二等分線方向を、前記接近する方向として決定することを特徴とする請求項２に記載の果柄切断装置。
【請求項４】
前記接近方向決定部は、前記特定された角度範囲のうちで最も大きい角度範囲内の方向を、前記接近する方向として決定することを特徴とする請求項２又は３に記載の果柄切断装置。
【請求項５】
前記撮影部は、ステレオカメラであり、
前記駆動部は、前記ステレオカメラによる撮影結果から、前記収穫対象果実の前記所定面に交差する方向の位置を検出し、当該検出結果に基づいて、前記切断部の前記所定面に交差する方向の位置を調整することを特徴とする請求項１〜４のいずれか一項に記載の果柄切断装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１１０２５５（Ｐ２０１２−１１０２５５Ａ）
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願番号】特願２０１０−２６０５４７（Ｐ２０１０−２６０５４７）
【出願日】平成２２年１１月２２日（２０１０．１１．２２）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 発行者名 農業機械学会 刊行物名 第６９回農業機械学会年次大会講演要旨 発行年月日 平成２２年９月５日 研究集会名 第６９回農業機械学会年次大会 主催者名 農業機械学会 開催日 平成２２年９月１４日
【出願人】（５０１２０３３４４）独立行政法人農業・食品産業技術総合研究機構 (827)
【出願人】（５０８１３４３３７）シブヤ精機株式会社 (20)
【Ｆターム（参考）】
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願日】平成２２年１１月２２日（２０１０．１１．２２）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 発行者名 農業機械学会 刊行物名 第６９回農業機械学会年次大会講演要旨 発行年月日 平成２２年９月５日 研究集会名 第６９回農業機械学会年次大会 主催者名 農業機械学会 開催日 平成２２年９月１４日
【出願人】（５０１２０３３４４）独立行政法人農業・食品産業技術総合研究機構 (827)
【出願人】（５０８１３４３３７）シブヤ精機株式会社 (20)
【Ｆターム（参考）】
[ Back to top ]