果柄切断装置
【課題】収穫対象のイチゴの果柄をハンド機構を用いて適切に切断することが可能となる。
【解決手段】果柄状態算出部８９が、果柄検出用カメラ５４により撮影された収穫対象のイチゴの果柄を含む画像から、収穫対象のイチゴを除く部位の中心線のみの画像を取得するとともに、得られた複数の中心線のうち最長の中心線を抽出し、当該最長の中心線の傾きを果柄の傾き、当該最長の中心線における所定の位置を果柄の下端部の位置、として検出する。そして、これらの検出結果に基づいて、駆動制御部９５の指示の下、ロボットアーム２０が、ハンド機構の果柄に対する姿勢及び位置を変更することで、ハンド機構の姿勢を、果柄切断に適切な姿勢にしたり、ハンド機構の位置を果柄切断に適切な位置にしたりする。
【解決手段】果柄状態算出部８９が、果柄検出用カメラ５４により撮影された収穫対象のイチゴの果柄を含む画像から、収穫対象のイチゴを除く部位の中心線のみの画像を取得するとともに、得られた複数の中心線のうち最長の中心線を抽出し、当該最長の中心線の傾きを果柄の傾き、当該最長の中心線における所定の位置を果柄の下端部の位置、として検出する。そして、これらの検出結果に基づいて、駆動制御部９５の指示の下、ロボットアーム２０が、ハンド機構の果柄に対する姿勢及び位置を変更することで、ハンド機構の姿勢を、果柄切断に適切な姿勢にしたり、ハンド機構の位置を果柄切断に適切な位置にしたりする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、果柄切断装置に関する。
【背景技術】
【０００２】
従来、イチゴなどの果実（作物）は、機械で扱うと傷みやすいため、人手で収穫していた。しかしながら、最近においては、養液栽培などの進歩に伴い、機械による収穫の可能性がひらけてきていることから、労働時間の大幅な削減や、労力の低減を図るための収穫装置（収穫ロボット）の開発が進められている（例えば、特許文献１〜５参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−９５３４８号公報
【特許文献２】特開２００９−５５８７号公報
【特許文献３】特開２００８−２０６４３８号公報
【特許文献４】特開２００８−２２７３７号公報
【特許文献５】特開２００１−１４５４１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような収穫装置では、果実の収穫を行う際に果柄を切断するが、果柄が収穫装置の適切な位置に位置決めされないと、果柄の切断を適切に行えず、果柄や果実などが損傷してしまうおそれがある。
【０００５】
そこで、本発明は、上記事情に鑑みてなされたもので、収穫対象果実の果柄を適切に切断することが可能な果柄切断装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の果柄切断装置は、収穫対象果実の果柄を切断する切断部と、前記収穫対象果実の果柄を含む画像を撮影する撮影部と、前記撮影部で撮影された画像から前記果柄の傾き及び前記果柄の下端部の位置の少なくとも一方を検出する検出部と、前記検出部により検出された果柄の傾き及び下端部の位置の少なくとも一方に基づいて、前記切断部の前記果柄に対する姿勢及び位置の少なくとも一方を変更する変更部と、を備え、前記検出部は、前記収穫対象果実の果柄を含む画像から、前記収穫対象の果実を除く部位の中心線のみの画像を取得するとともに、得られた複数の中心線のうち最長の中心線を抽出し、前記果柄の傾きの検出を行う場合には、前記最長の中心線の傾きを前記果柄の傾きとして検出し、前記果柄の下端部の位置の検出を行う場合には、前記最長の中心線における所定の位置を前記果柄の下端部の位置として検出する果柄切断装置である。
【０００７】
これによれば、検出部は、撮影部により撮影された収穫対象果実の果柄を含む画像から果実を除く部位の中心線のみの画像（スケルトン画像）を取得するとともに、そのうちの最長の中心線を抽出するので、画像内から、果柄である可能性が最も高い部分を抽出することができる。このため、当該最長の中心線の傾きを果柄の傾き、最長の中心線の所定の位置を果柄の下端部として検出することで、高精度に果柄の傾きや下端部を検出することができる。したがって、本発明によれば、高精度に検出された果柄の傾きや下端部に基づいて、変更部が、切断部の果柄に対する姿勢及び位置の少なくとも一方を変更することで、切断部の姿勢を果柄切断に適切な姿勢にしたり、切断部の位置を果柄切断に適切な位置にしたりすることができる。これにより、収穫対象果実の果柄を切断部を用いて適切に切断することが可能となる。
【０００８】
この場合において、前記変更部は、前記果柄の傾きに基づいて前記切断部を駆動する場合には、前記果柄の傾きに合わせるように前記切断部の姿勢を変更し、前記果柄の下端部の位置に基づいて前記切断部を駆動する場合には、前記果柄の下端部が前記切断部により切断されるように、前記切断部の位置を変更することとしてもよい。検出部が果柄の傾きを検出する場合には、変更部が、切断部の姿勢を当該傾きに合わせて変更することで、果柄を精度良く切断することができる。また、検出部が果柄の下端部の位置を検出する場合には、変更部が、切断部の位置を当該下端部を切断できる位置に変更することで、果柄を適切な位置で切断することができる。
【０００９】
本発明の果柄切断装置では、前記切断部と前記撮影部は、位置関係が固定されていることとすることができる。かかる場合には、撮影部は、切断部の位置や姿勢に応じた果柄の画像を撮影することができるので、切断部の位置・姿勢の変更を簡易かつ精度良く行うことができる。
【発明の効果】
【００１０】
本発明の果柄切断装置は、収穫対象果実の果柄を適切に切断することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】一実施形態のイチゴ収穫装置及び当該イチゴ収穫装置が設置された高設栽培農場の一部を示す図である。
【図２】図２（ａ）〜図２（ｃ）は、図１のハンド機構を取り出して拡大して示す図である。
【図３】イチゴ収穫装置の制御系を示すブロック図である。
【図４】イチゴ収穫装置の一連の処理を示すフローチャートである。
【図５】図４のステップＳ１２の処理を示すフローチャートである。
【図６】図６（ａ）〜図６（ｃ）は、図５の処理を説明するための図（イチゴを下方から見た状態を示す模式図）である。
【図７】図４のステップＳ１６の処理を示すフローチャートである。
【図８】図８（ａ）、図８（ｂ）は、図７の処理を説明するための図（その１）である。
【図９】図９（ａ）〜図９（ｄ）は、図７の処理を説明するための図（その２）である。
【図１０】図１０（ａ）〜図１０（ｄ）は、図７の処理を説明するための図（その３）である。
【図１１】図４のステップＳ１８の処理を説明するための図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態を図１〜図１１に基づいて詳細に説明する。
【００１３】
図１には、本実施形態の果柄切断装置としてのイチゴ収穫装置１００及び当該イチゴ収穫装置１００が設置された高設栽培農場の一部が示されている。この高設栽培農場には、土耕栽培又は養液栽培によるイチゴの結実時に、イチゴが垂れ下がるように栽培するための栽培ベッド４０と、この栽培ベッド４０を所定高さ（例えば、１ｍ）で支持する複数の脚４３とが設けられている。この栽培ベッド４０の高さは、作業者の作業性（例えば、作業者が腰をかがめたりせずに作業ができるか否か等）を考慮して設定されている。本実施形態では、栽培ベッド４０の長手方向をＹ軸方向、短手方向をＸ軸方向、これらＸ軸及びＹ軸に垂直な重力方向をＺ軸方向として、説明する。
【００１４】
イチゴ収穫装置１００は、地面上にＹ軸方向に沿って敷設されたレール３２Ａ，３２Ｂと、このレール３２Ａ，３２Ｂに沿ってＹ軸方向に移動する台車３０と、台車３０上に設けられたロボットアーム２０と、ロボットアーム２０の先端部に設けられた切断部としてのハンド機構１０と、台車３０上に設けられた、収穫したイチゴを収集するためのトレー５０と、ステレオカメラ６０と、を備えている。レール３２Ａ，３２Ｂは、栽培ベッド４０の長手方向（Ｙ軸方向）の長さとほぼ同一の長さを有している。
【００１５】
台車３０は、２段の階段状の形状を有しており、その下側の段部３０ａにロボットアーム２０が設けられ、上側の段部３０ｂにトレー５０が設けられている。この台車３０は、駆動部１０６（図１では不図示、図３参照）の駆動力により、制御装置９０の駆動制御部９５（図１では不図示、図３参照）の指示の下、レール３２Ａ，３２Ｂに沿って、Ｙ軸方向に移動する。トレー５０は、ウレタンなどの柔軟性を有する材料から成り、イチゴを収容可能な凹部が複数設けられている。
【００１６】
ロボットアーム２０は、モータドライバにより制御される電動モータによって作動する。このロボットアーム２０は、それぞれ２軸回りの回転が可能な関節部を２つ有し、１軸回りの回転が可能な機構を２つ有しているため、先端部（ハンド機構１０が設けられている部分）は、台車３０に対し、６自由度方向に移動可能となっている。すなわち、ハンド機構１０は、Ｘ軸及びＹ軸により規定される面（所定面）に沿って移動して、収穫対象のイチゴに接近することができるとともに、Ｚ軸方向への移動や、Ｘ軸、Ｙ軸、Ｚ軸回りの姿勢を変化させることもできる。なお、ロボットアーム２０の動作は、図３の制御装置９０の駆動制御部９５により制御される。
【００１７】
ハンド機構１０は、収穫対象であるイチゴの果柄を切断して、イチゴを収穫する機構である。以下、このハンド機構１０について図２に基づいて詳細に説明する。図２（ａ）は、図１のハンド機構１０の平面図であり、図２（ｂ）は、ハンド機構１０の側面図である。なお、図２（ａ），図２（ｂ）では、紙面上下方向をＺ’軸方向、これに垂直な方向をＸ’軸方向、Ｚ’軸及びＸ’軸に垂直な方向をＹ’軸方向として説明する。
【００１８】
これら図２（ａ）、図２（ｂ）に示すように、ハンド機構１０は、一対のフィンガ５２ａ，５２ｂと、撮影部としての果柄検出用カメラ５４と、フィンガ５２ａ，５２ｂをＸ’方向に沿って駆動するエアチャック５６と、エアチャック５６及び果柄検出用カメラ５４を支持する支持台５５と、を備える。
【００１９】
一方のフィンガ５２ａの＋Ｙ’端部近傍には、切断刃６４と、略Ｌ字状のストッパ６６と、緩衝材６２と、が設けられている。切断刃６４は、他方のフィンガ５２ｂとともに、イチゴの果柄にせん断力を作用させることで果柄を切断する。ストッパ６６は、イチゴの果柄を切断刃６４による切断が可能な位置にとどめておく部材である。図２（ｃ）には、フィンガ５２ａ，５２ｂを＋Ｙ’方向から見た状態が示されている。この図２（ｃ）に示すように、緩衝材６２は、フィンガ５２ａの−Ｘ’面に設けられており、フィンガ５２ｂの＋Ｘ’面と対向した状態となっている。この緩衝材６２は、例えば、ゴムなどから成り、フィンガ５２ｂの＋Ｘ’面との間において切断後の果柄を挟んだ状態で、イチゴを保持するためのものである。
【００２０】
エアチャック５６は、駆動制御部９５（図３）の指示の下、一対のフィンガ５２ａ，５２ｂをＸ’軸方向に沿って駆動し、各フィンガ５２ａ，５２ｂ間を接近させたり離間させたりして、開閉動作を行う。具体的には、フィンガ５２ａの＋Ｘ’方向への移動とフィンガ５２ｂの−Ｘ’方向への移動とを同時に行うことで、フィンガ５２ａ，５２ｂを開いた状態とすることができる。また、フィンガ５２ａの−Ｘ’方向への移動とフィンガ５２ｂの＋Ｘ’方向への移動とを同時に行うことで、フィンガ５２ａ，５２ｂを閉じた状態とすることができる。
【００２１】
果柄検出用カメラ５４は、収穫対象のイチゴ及び当該イチゴの果柄を撮影して、当該撮影画像を、制御装置９０の第２画像取得部８４（図３参照）に対して出力する。なお、果柄検出用カメラ５４にて撮影された画像は、果柄の角度や果柄の切断位置を特定するために用いられるが、これらの処理の詳細については、後述する。
【００２２】
図１に戻り、ステレオカメラ６０は、２つの光学系及び２つの撮像素子を用いて、ＸＹ面（所定面）に交差する方向（ここでは、Ｚ方向）から２つの画像を同時に取得する。ステレオカメラ６０は取得した画像を、制御装置９０の第１画像取得部８２（図３参照）に対して出力する。なお、ステレオカメラ６０で撮影された画像は、収穫対象のイチゴの特定、当該イチゴの３次元位置（Ｘ，Ｙ，Ｚ方向の位置）の特定、及び、収穫対象のイチゴに対する最適接近方向の決定に用いられるが、これらの処理の詳細については、後述する。
【００２３】
図３には、本実施形態のイチゴ収穫装置１００の制御系がブロック図にて示されている。この図３に示すように、本実施形態の制御系は、上述した各部のほか、各部を統括的に制御する制御装置９０及び当該制御装置９０に接続された入力装置９９を含んでいる。制御装置９０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する情報処理装置であり、当該ＣＰＵにおいて制御プログラムが実行されることにより、図３の各機能を実現する。具体的には、制御装置９０は、第１画像取得部８２、第２画像取得部８４、画像認識部８６、最適接近方向決定部８８、及び検出部としての果柄状態算出部８９、として機能する。
【００２４】
第１画像取得部８２は、ステレオカメラ６０において撮影された画像を取得する。第２画像取得部８４は、果柄検出用カメラ５４において撮影された画像を取得する。画像認識部８６は、ステレオカメラ６０において撮影された画像の画像認識を行い、当該画像認識結果（収穫対象のイチゴとその他のイチゴとの、ＸＹ面内方向に関する位置関係）を最適接近方向決定部８８に対して出力する。最適接近方向決定部８８は、画像認識部８６による画像認識結果を用いて、ハンド機構１０が収穫対象のイチゴに接近する最適な方向を算出する。果柄状態算出部８９は、第２画像取得部８４で取得された画像に基づいて、収穫対象のイチゴの果柄の状態を算出する。
【００２５】
最適接近方向決定部８８の算出結果と、果柄状態算出部８９の算出結果は、駆動制御部９５に送信される。駆動制御部９５は、これら算出結果及び第１画像取得部８２から取得した画像に基づいて、駆動部１０６、ロボットアーム２０、エアチャック５６の駆動を制御する。
【００２６】
次に、上記のように構成されるイチゴ収穫装置１００による処理について、図４〜図１１に基づいて詳細に説明する。
【００２７】
図４は、イチゴ収穫装置１００による処理の一連の流れを示すフローチャートである。この図４の処理は、制御装置９０の各部により実行されるものである。
【００２８】
まず、図４のステップＳ１０では、駆動制御部９５が、収穫開始指示が出されたか否かを判断する。収穫開始指示は、作業者が、制御装置９０に接続された入力装置９９から入力するものである。駆動制御部９５は、ステップＳ１０の判断が肯定されるまで待機し、ステップＳ１０の判断が肯定された段階で、ステップＳ１２に移行する。
【００２９】
ステップＳ１２に移行すると、制御装置９０では、最適接近方向決定処理を実行する。具体的には、制御装置９０は、図５のフローチャートに沿った処理を実行する。
【００３０】
まず、図５のステップＳ３０では、第１画像取得部８２が、ステレオカメラ６０から画像を取得する。なお、第１画像取得部８２は、取得した画像を画像認識部８６に送信する。
【００３１】
次いで、ステップＳ３２では、画像認識部８６が、赤色果実を認識し、ラベリングを行う。この場合、取得した画像の色を解析して、赤色果実の色である可能性が高い部分を抽出し、その部分を赤色果実として認識し、ラベリングする。なお、画像認識部８６は、ラベリングした結果を最適接近方向決定部８８に送信する。
【００３２】
次いで、ステップＳ３４では、画像認識部８６が、未熟果実を認識し、ラベリングを行う。この場合、取得した画像の色を解析して、未熟果実の色（緑白色）である可能性が高い部分を抽出し、その部分を未熟果実として認識し、ラベリングする。なお、画像認識部８６は、ラベリングした結果を最適接近方向決定部８８に送信する。
【００３３】
次いで、ステップＳ３６では、最適接近方向決定部８８が、障害角度（β1、β2…βn）を計算する。ここで、最適接近方向決定部８８に対し画像認識部８６から送信されてきたラベリング結果のデータは、図６（ａ）のようなイチゴのＸＹ面内方向に関する位置関係に関するデータである。最適接近方向決定部８８は、図６（ａ）のデータから、図６（ｂ）に示す障害角度β1、β2を計算する。具体的には、最適接近方向決定部８８は、赤色果実のうちの１つを収穫対象のイチゴとして特定し、当該収穫対象のイチゴを中心とした角度範囲のうち、未熟果実が含まれている角度範囲を、障害角度β1、β2とする。なお、図６（ｂ）では、収穫対象のイチゴの中心を基準として−Ｘ側の領域から、障害角度を抽出している。これは、ハンド機構１０と栽培ベッド４０との位置関係からすると、ハンド機構１０は、収穫対象のイチゴに対して、−Ｘ側から接近するのみであり、＋Ｘ側の領域については考慮する必要が無いからである。
【００３４】
また、本実施形態では、収穫対象のイチゴの中心を通過するＹ軸から、所定角度（図６（ｂ）では、１５°）の範囲は、未熟果実の存在に関係なく、障害角度としている。これは、当該所定角度から収穫対象のイチゴに接近しようとすると、近接する赤色果実に対してハンド機構１０が接触する可能性があるからである。なお、所定角度としては、１５°に限らず、栽培ベッド４０におけるイチゴの配列や、ハンド機構１０の大きさなどに基づいて、種々の角度を採用することができる。
【００３５】
図５に戻り、次のステップＳ３８では、最適接近方向決定部８８が、収穫対象のイチゴに対する接近可能角度（α1、α2、…αm）を計算する。この場合、ステップＳ３６で計算された障害角度を除く角度範囲が、接近可能角度となる。図６（ｃ）には、接近可能角度α1、α2が示されている。なお、接近可能角度としては、所定角度（例えば５°）未満の角度範囲は除外するものとする。これは、所定角度（５°など）未満という小さな角度範囲を接近可能角度とし、その方向からハンド機構１０を収穫対象のイチゴに接近させることとすると、ハンド機構１０が未熟果実に接触してしまう可能性があるからである。なお、所定角度としては、５°に限らず、ハンド機構１０の大きさ等を考慮して、種々の角度を採用することができる。
【００３６】
次いで、ステップＳ４０では、最適接近方向決定部８８が、最大接近可能角度を算出する。図６（ｃ）の場合であれば、α1＞α2であるので、最大接近可能角度として、α1が算出される。
【００３７】
次いで、ステップＳ４２では、最適接近方向決定部８８が、最大接近可能角度に基づいて、最適接近方向を決定する。具体的には、最適接近方向決定部８８は、最大接近可能角度α1の二等分線方向（図６（ｃ）の矢印の方向）を、最適接近方向として決定する。その後は、図４のステップＳ１４に移行する。なお、最大接近可能角度が無く、最適接近方向を決定できない場合もある。このような場合には、現在の収穫対象のイチゴの収穫を断念して、次の収穫対象のイチゴの収穫を行うようにしてもよいし、制御装置９０が、不図示の出力装置を介して、作業者に対し警告を発するようにしても良い。
【００３８】
ステップＳ１４では、駆動制御部９５が、第１画像取得部８２において取得された画像と、最適接近方向決定部８８において決定された最適接近方向に基づいて、ロボットアーム２０を駆動する。より具体的には、駆動制御部９５は、画像（ステレオカメラ６０の画像）から収穫対象のイチゴの、Ｚ方向の位置を算出し、当該算出結果に基づいて、ハンド機構１０の目標高さを決定する。そして、画像（ステレオカメラ６０の画像）から算出される収穫対象のイチゴのＸＹ面内位置と、最適接近方向とから、ハンド機構１０の目標位置・姿勢を決定する。ここで、ハンド機構１０の目標位置は、ＸＹ面内方向に関し、収穫対象のイチゴから最適接近方向に関して所定距離離れた位置を意味する。また、ハンド機構１０の目標姿勢は、収穫対象のイチゴの方向をハンド機構１０のフィンガ５２ａ，５２ｂの長手方向（Ｙ’方向）が向いた姿勢を意味する。そして、駆動制御部９５は、ハンド機構１０が目標位置・姿勢となるように、ロボットアーム２０を駆動する。
【００３９】
次いで、ステップＳ１６では、制御装置９０が、果柄状態取得処理を実行する。具体的には、制御装置９０は、図７のフローチャートに沿った処理を実行する。
【００４０】
図７の処理では、まず、ステップＳ５０において、第２画像取得部８４が、果柄検出用カメラ５４から画像を取得する。なお、ここで取得される画像は、前述したハンド機構１０の移動（ステップＳ１４）の後に、果柄検出用カメラ５４により撮影される画像である。このステップＳ５０において取得される画像は、図８（ａ）のような収穫対象のイチゴや果柄などが含まれる画像である。第２画像取得部８４は、取得した画像を、果柄状態算出部８９に送信する。
【００４１】
次いで、ステップＳ５２では、果柄状態算出部８９が、注目領域の設定を行う。この場合、ハンド機構１０を位置決めした後に撮影した画像を用いていることから、果柄状態算出部８９は、収穫対象のイチゴが画像内のどの辺りに存在し、果柄がどの辺りに存在するのかを凡そ特定することができる。したがって、果柄状態算出部８９は、果柄と、果柄とイチゴとの境界部分が含まれている可能性が高い領域を注目領域として設定する。このように、注目領域を設定するのは、別のイチゴの果柄や蔕、葉などの影響を受けて、収穫対象のイチゴの果柄を誤認識してしまうのを抑制するためである。なお、ステップＳ５２では、図８（ｂ）に示すような領域が注目領域として設定されたものとする。
【００４２】
次いで、ステップＳ５４では、果柄状態算出部８９が、Ｇ（Green）画像の２値化処理を行う。この場合、図８（ｂ）の注目領域のうち、緑の部分（果柄、蔕、葉など）が黒く表され、緑以外の部分が白く表された画像（図９（ａ）参照）を取得することができる。
【００４３】
次いで、ステップＳ５６では、果柄状態算出部８９が、黒画像のうち縦長の部位のみを抽出する。具体的には、果柄状態算出部８９は、図９（ａ）の２値画像を横方向に所定の圧縮率で圧縮して、縦長の部分を消去し、当該圧縮した画像を横方向に所定の膨張率（上記所定の圧縮率の逆数）で膨張して、比較画像を作成する。そして、果柄状態算出部８９は、図９（ａ）の２値画像と、比較画像との差をとることで、図９（ｂ）のような縦長の部位のみを抽出した画像を得る。
【００４４】
次いで、ステップＳ５８では、果柄状態算出部８９が、図９（ｂ）の画像の黒画像部分それぞれをラベリングする（図９（ｃ）参照）。そして、ステップＳ６０では、果柄状態算出部８９が、図９（ｃ）の画像のうち、面積が所定の面積よりも小さい黒画像部分をノイズと推定して、当該ノイズを除去した画像を取得する(図９（ｄ）参照)。
【００４５】
次いで、ステップＳ６２では、果柄状態算出部８９が、図９（ｄ）の画像に対して、スケルトン処理を行う。スケルトン処理では、ラベリングされた各黒画像部分に対して中心線を引き、当該中心線のみの画像を取得する（図１０（ａ）参照）。次いで、ステップＳ６４では、果柄状態算出部８９が、スケルトン（中心線）を接合点で分断する。具体的には、図１０（ａ）のうち、２本以上のスケルトン（中心線）が接合している部分を、図１０（ｂ）に示すように分断する。
【００４６】
次いで、ステップＳ６６では、果柄状態算出部８９が、最長のスケルトン（中心線）の画像を抽出する。ここでは、図１０（ｂ）の複数のスケルトンのうち、画像のほぼ中央に位置する、最長のスケルトンが抽出される（図１０（ｃ）参照）。
【００４７】
次いで、ステップＳ６８では、果柄状態算出部８９が、最長のスケルトンの傾きを最小二乗法により算出し、これを果柄の傾きとする（図１０（ｄ）参照）。なお、果柄状態算出部８９は、ステップＳ６８で算出した果柄の傾きを、駆動制御部９５に対して出力する。
【００４８】
そして、ステップＳ７０では、果柄状態算出部８９が、最長のスケルトンの最下端の位置を求め、当該位置を、果柄切断位置として決定する（図１０（ｄ）参照）。なお、果柄状態算出部８９は、ステップＳ７０で決定した果柄切断位置を、駆動制御部９５に対して出力する。以上のような処理を行った後は、図４のステップＳ１８に移行する。
【００４９】
ステップＳ１８では、駆動制御部９５は、ロボットアーム２０を駆動して、ハンド機構１０に設けられた切断刃６４の切断面が、図１１に示すように、果柄の傾きと垂直になるようにする。また、駆動制御部９５は、ロボットアーム２０を駆動して、切断刃６４の切断面の高さが、果柄切断位置と略一致するようにする。ハンド機構１０を移動する。
【００５０】
次いで、ステップＳ２０では、駆動制御部９５は、ロボットアーム２０を駆動して、ハンド機構１０を果柄切断位置まで移動する。具体的には、駆動制御部９５は、収穫対象のイチゴの果柄が、フィンガ５２ａ（切断刃６４）とフィンガ５２ｂとの間に位置するように、ハンド機構１０を直進させる。
【００５１】
次いで、ステップＳ２２では、駆動制御部９５は、エアチャック５６を制御して、一対のフィンガ５２ａ，５２ｂを互いに近づく方向に移動する（閉じた状態とする）ことで、果柄を果柄切断位置にて切断する。なお、この場合には、切断後の果柄（下側）及び当該果柄に接続されている収穫対象のイチゴは、フィンガ５２ｂとフィンガ５２ａの緩衝材６２により保持されている。
【００５２】
次いで、ステップＳ２４では、駆動制御部９５が、ロボットアーム２０を駆動して、ハンド機構１０をトレー５０の上方に位置決めする。そして、駆動制御部９５は、エアチャック５６を制御して、フィンガ５２ａ，５２ｂを互いに離間する方向に移動する（開いた状態とする）ことで、ハンド機構１０の保持するイチゴをトレー５０上に載置する。すなわち、ステップＳ２４の処理により、イチゴの収穫が行われる。なお、トレー５０は、前述のようにウレタンなどの柔軟性を有する部材から成るため、トレー５０の上方からイチゴを落下させても、イチゴは損傷しないようになっている。
【００５３】
次いで、ステップＳ２６では、駆動制御部９５が、収穫終了指示が出されたか否かを判断する。ここでの判断が否定された場合には、ステップＳ１２に戻り、次のイチゴの収穫を、前述したのと同様の方法により行う。一方、ステップＳ２６の判断が肯定された場合、すなわち、入力装置９９を介して、作業者からの収穫終了指示が入力された場合には、図４の全処理を終了する。
【００５４】
なお、上記説明から分かるように、本実施形態では、ロボットアーム２０と、駆動制御部９５とにより、変更部が実現されている。
【００５５】
以上、詳細に説明したように、本実施形態によると、果柄状態算出部８９は、果柄検出用カメラ５４により撮影された収穫対象のイチゴの果柄を含む画像からイチゴを除く部位の中心線のみの画像（スケルトン画像）を取得するとともに、そのうちの最長の中心線を抽出するので、画像内から、果柄である可能性が最も高い部分を抽出することができる。このため、当該最長の中心線の傾きを果柄の傾き、最長の中心線の所定の位置を果柄の下端部として検出することで、高精度に果柄の傾きや下端部を検出することができる。したがって、本実施形態によれば、高精度に検出された果柄の傾きや下端部に基づいて、ロボットアーム２０が、ハンド機構１０の果柄に対する姿勢及び位置の少なくとも一方を変更することで、ハンド機構１０の姿勢を果柄切断に適切な姿勢にしたり、ハンド機構１０の位置を果柄切断に適切な位置にしたりすることができる。これにより、収穫対象のイチゴの果柄をハンド機構１０を用いて適切に切断することが可能となる。
【００５６】
また、本実施形態によると、果柄状態算出部８９は、果柄の傾き及び前記果柄の下端部の位置を検出し、駆動制御部９５は、果柄の傾きに合わせるようにハンド機構１０の姿勢を変更し、果柄の下端部が、ハンド機構１０により切断されるように、ハンド機構１０の位置を変更する。すなわち、ハンド機構１０の姿勢を果柄の傾きに合わせて変更することで、果柄を精度良く切断することができ、また、ハンド機構１０の位置を当該下端部を切断できる位置に変更することで、果柄を適切な位置で切断することができる。
【００５７】
また、本実施形態によると、ハンド機構１０と果柄検出用カメラ５４とは、位置関係が固定されているので、果柄検出用カメラ５４は、ハンド機構１０の位置や姿勢に応じた果柄の画像を撮影することができる。これにより、ハンド機構１０の果柄の状態に合わせた位置・姿勢制御を簡易かつ精度良く行うことができる。
【００５８】
なお、上記実施形態では、果柄切断位置を、果柄の最下端の位置とする場合について説明したが、これに限らず、最下端から所定距離離れた位置を果柄切断位置としてもよい。
【００５９】
なお、上記実施形態では、果柄状態算出部８９は、果柄の状態として、果柄の傾きを算出するとともに、果柄切断位置を検出する場合について説明したが、これに限られるものではない。果柄状態算出部８９は、果柄の傾き及び果柄切断位置のいずれか一方のみを求めることとしても良い。また、果柄の状態として、その他の状態（例えば、果柄の太さなど）を検出することとしても良い。
【００６０】
また、上記実施形態では特に言及していないが、ステレオカメラ６０の近傍に撮影時の光量を確保するための光源を設けることとしてもよい。また、果柄検出用カメラ５４の近傍にも、光源を設けることとしてもよい。この場合、果柄検出用カメラ５４の近傍には、緑色の光を照射する光源を設けることとしてもよい。緑色の光を照射する光源を設けることで、果柄や蔕など、緑色の部分の検出を高精度に行うことが可能となる。
【００６１】
なお、上記実施形態では、果柄状態を取得する処理（ステップＳ１６）に加えて、接近方向を決定する処理（ステップＳ１２）を行う場合について説明したが、これに限られるものではない。接近方向を決定する処理及びハンド機構１０を最適接近方向に移動する処理（ステップＳ１４）は省略してもよい。
【００６２】
なお、上記実施形態のイチゴ収穫装置１００は、ロボットアーム２０が搭載された台車３０が、地面上に敷設されたレール３２Ａ，３２Ｂに沿ってＹ軸方向に移動することで、ロボットアーム２０と、固定された栽培ベッド４０とのＹ軸方向に関する相対移動を実現する場合について説明した。しかしながら、これに限られるものではなく、例えば、特開２０１０−５７４４８号公報に開示されているように、栽培ベッド４０をＹ軸方向に移動可能に構成し、ロボットアーム２０を固定とすることで、ロボットアーム２０と栽培ベッド４０との相対移動を実現することとしてもよい。また、栽培ベッド４０とロボットアーム２０の両方が、Ｙ軸方向に移動可能であってもよい。
【００６３】
なお、上記実施形態では、本発明の果柄切断装置が、イチゴ収穫装置である場合について説明したが、これに限られるものではない。すなわち、果柄切断装置は、果柄を切断する機能のみを有する装置であってもよい。
【００６４】
なお、上記実施形態では、本発明の果柄切断装置を、イチゴの果柄切断に用いる場合について説明したが、これに限らず、ブドウやモモ、ナシ、リンゴなどのその他の果物や、トマト（房取り）やナス、キュウリ、ゴーヤなどの野菜の果柄切断に用いることとしてもよい。
【００６５】
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
【符号の説明】
【００６６】
１０ ハンド機構（切断部）
２０ ロボットアーム（変更部の一部）
５４ 果柄検出用カメラ（撮影部）
８９ 果柄状態算出部（検出部）
９５ 駆動制御部（変更部の一部）
１００ イチゴ収穫装置（果実切断装置）
【技術分野】
【０００１】
本発明は、果柄切断装置に関する。
【背景技術】
【０００２】
従来、イチゴなどの果実（作物）は、機械で扱うと傷みやすいため、人手で収穫していた。しかしながら、最近においては、養液栽培などの進歩に伴い、機械による収穫の可能性がひらけてきていることから、労働時間の大幅な削減や、労力の低減を図るための収穫装置（収穫ロボット）の開発が進められている（例えば、特許文献１〜５参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−９５３４８号公報
【特許文献２】特開２００９−５５８７号公報
【特許文献３】特開２００８−２０６４３８号公報
【特許文献４】特開２００８−２２７３７号公報
【特許文献５】特開２００１−１４５４１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような収穫装置では、果実の収穫を行う際に果柄を切断するが、果柄が収穫装置の適切な位置に位置決めされないと、果柄の切断を適切に行えず、果柄や果実などが損傷してしまうおそれがある。
【０００５】
そこで、本発明は、上記事情に鑑みてなされたもので、収穫対象果実の果柄を適切に切断することが可能な果柄切断装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の果柄切断装置は、収穫対象果実の果柄を切断する切断部と、前記収穫対象果実の果柄を含む画像を撮影する撮影部と、前記撮影部で撮影された画像から前記果柄の傾き及び前記果柄の下端部の位置の少なくとも一方を検出する検出部と、前記検出部により検出された果柄の傾き及び下端部の位置の少なくとも一方に基づいて、前記切断部の前記果柄に対する姿勢及び位置の少なくとも一方を変更する変更部と、を備え、前記検出部は、前記収穫対象果実の果柄を含む画像から、前記収穫対象の果実を除く部位の中心線のみの画像を取得するとともに、得られた複数の中心線のうち最長の中心線を抽出し、前記果柄の傾きの検出を行う場合には、前記最長の中心線の傾きを前記果柄の傾きとして検出し、前記果柄の下端部の位置の検出を行う場合には、前記最長の中心線における所定の位置を前記果柄の下端部の位置として検出する果柄切断装置である。
【０００７】
これによれば、検出部は、撮影部により撮影された収穫対象果実の果柄を含む画像から果実を除く部位の中心線のみの画像（スケルトン画像）を取得するとともに、そのうちの最長の中心線を抽出するので、画像内から、果柄である可能性が最も高い部分を抽出することができる。このため、当該最長の中心線の傾きを果柄の傾き、最長の中心線の所定の位置を果柄の下端部として検出することで、高精度に果柄の傾きや下端部を検出することができる。したがって、本発明によれば、高精度に検出された果柄の傾きや下端部に基づいて、変更部が、切断部の果柄に対する姿勢及び位置の少なくとも一方を変更することで、切断部の姿勢を果柄切断に適切な姿勢にしたり、切断部の位置を果柄切断に適切な位置にしたりすることができる。これにより、収穫対象果実の果柄を切断部を用いて適切に切断することが可能となる。
【０００８】
この場合において、前記変更部は、前記果柄の傾きに基づいて前記切断部を駆動する場合には、前記果柄の傾きに合わせるように前記切断部の姿勢を変更し、前記果柄の下端部の位置に基づいて前記切断部を駆動する場合には、前記果柄の下端部が前記切断部により切断されるように、前記切断部の位置を変更することとしてもよい。検出部が果柄の傾きを検出する場合には、変更部が、切断部の姿勢を当該傾きに合わせて変更することで、果柄を精度良く切断することができる。また、検出部が果柄の下端部の位置を検出する場合には、変更部が、切断部の位置を当該下端部を切断できる位置に変更することで、果柄を適切な位置で切断することができる。
【０００９】
本発明の果柄切断装置では、前記切断部と前記撮影部は、位置関係が固定されていることとすることができる。かかる場合には、撮影部は、切断部の位置や姿勢に応じた果柄の画像を撮影することができるので、切断部の位置・姿勢の変更を簡易かつ精度良く行うことができる。
【発明の効果】
【００１０】
本発明の果柄切断装置は、収穫対象果実の果柄を適切に切断することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】一実施形態のイチゴ収穫装置及び当該イチゴ収穫装置が設置された高設栽培農場の一部を示す図である。
【図２】図２（ａ）〜図２（ｃ）は、図１のハンド機構を取り出して拡大して示す図である。
【図３】イチゴ収穫装置の制御系を示すブロック図である。
【図４】イチゴ収穫装置の一連の処理を示すフローチャートである。
【図５】図４のステップＳ１２の処理を示すフローチャートである。
【図６】図６（ａ）〜図６（ｃ）は、図５の処理を説明するための図（イチゴを下方から見た状態を示す模式図）である。
【図７】図４のステップＳ１６の処理を示すフローチャートである。
【図８】図８（ａ）、図８（ｂ）は、図７の処理を説明するための図（その１）である。
【図９】図９（ａ）〜図９（ｄ）は、図７の処理を説明するための図（その２）である。
【図１０】図１０（ａ）〜図１０（ｄ）は、図７の処理を説明するための図（その３）である。
【図１１】図４のステップＳ１８の処理を説明するための図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態を図１〜図１１に基づいて詳細に説明する。
【００１３】
図１には、本実施形態の果柄切断装置としてのイチゴ収穫装置１００及び当該イチゴ収穫装置１００が設置された高設栽培農場の一部が示されている。この高設栽培農場には、土耕栽培又は養液栽培によるイチゴの結実時に、イチゴが垂れ下がるように栽培するための栽培ベッド４０と、この栽培ベッド４０を所定高さ（例えば、１ｍ）で支持する複数の脚４３とが設けられている。この栽培ベッド４０の高さは、作業者の作業性（例えば、作業者が腰をかがめたりせずに作業ができるか否か等）を考慮して設定されている。本実施形態では、栽培ベッド４０の長手方向をＹ軸方向、短手方向をＸ軸方向、これらＸ軸及びＹ軸に垂直な重力方向をＺ軸方向として、説明する。
【００１４】
イチゴ収穫装置１００は、地面上にＹ軸方向に沿って敷設されたレール３２Ａ，３２Ｂと、このレール３２Ａ，３２Ｂに沿ってＹ軸方向に移動する台車３０と、台車３０上に設けられたロボットアーム２０と、ロボットアーム２０の先端部に設けられた切断部としてのハンド機構１０と、台車３０上に設けられた、収穫したイチゴを収集するためのトレー５０と、ステレオカメラ６０と、を備えている。レール３２Ａ，３２Ｂは、栽培ベッド４０の長手方向（Ｙ軸方向）の長さとほぼ同一の長さを有している。
【００１５】
台車３０は、２段の階段状の形状を有しており、その下側の段部３０ａにロボットアーム２０が設けられ、上側の段部３０ｂにトレー５０が設けられている。この台車３０は、駆動部１０６（図１では不図示、図３参照）の駆動力により、制御装置９０の駆動制御部９５（図１では不図示、図３参照）の指示の下、レール３２Ａ，３２Ｂに沿って、Ｙ軸方向に移動する。トレー５０は、ウレタンなどの柔軟性を有する材料から成り、イチゴを収容可能な凹部が複数設けられている。
【００１６】
ロボットアーム２０は、モータドライバにより制御される電動モータによって作動する。このロボットアーム２０は、それぞれ２軸回りの回転が可能な関節部を２つ有し、１軸回りの回転が可能な機構を２つ有しているため、先端部（ハンド機構１０が設けられている部分）は、台車３０に対し、６自由度方向に移動可能となっている。すなわち、ハンド機構１０は、Ｘ軸及びＹ軸により規定される面（所定面）に沿って移動して、収穫対象のイチゴに接近することができるとともに、Ｚ軸方向への移動や、Ｘ軸、Ｙ軸、Ｚ軸回りの姿勢を変化させることもできる。なお、ロボットアーム２０の動作は、図３の制御装置９０の駆動制御部９５により制御される。
【００１７】
ハンド機構１０は、収穫対象であるイチゴの果柄を切断して、イチゴを収穫する機構である。以下、このハンド機構１０について図２に基づいて詳細に説明する。図２（ａ）は、図１のハンド機構１０の平面図であり、図２（ｂ）は、ハンド機構１０の側面図である。なお、図２（ａ），図２（ｂ）では、紙面上下方向をＺ’軸方向、これに垂直な方向をＸ’軸方向、Ｚ’軸及びＸ’軸に垂直な方向をＹ’軸方向として説明する。
【００１８】
これら図２（ａ）、図２（ｂ）に示すように、ハンド機構１０は、一対のフィンガ５２ａ，５２ｂと、撮影部としての果柄検出用カメラ５４と、フィンガ５２ａ，５２ｂをＸ’方向に沿って駆動するエアチャック５６と、エアチャック５６及び果柄検出用カメラ５４を支持する支持台５５と、を備える。
【００１９】
一方のフィンガ５２ａの＋Ｙ’端部近傍には、切断刃６４と、略Ｌ字状のストッパ６６と、緩衝材６２と、が設けられている。切断刃６４は、他方のフィンガ５２ｂとともに、イチゴの果柄にせん断力を作用させることで果柄を切断する。ストッパ６６は、イチゴの果柄を切断刃６４による切断が可能な位置にとどめておく部材である。図２（ｃ）には、フィンガ５２ａ，５２ｂを＋Ｙ’方向から見た状態が示されている。この図２（ｃ）に示すように、緩衝材６２は、フィンガ５２ａの−Ｘ’面に設けられており、フィンガ５２ｂの＋Ｘ’面と対向した状態となっている。この緩衝材６２は、例えば、ゴムなどから成り、フィンガ５２ｂの＋Ｘ’面との間において切断後の果柄を挟んだ状態で、イチゴを保持するためのものである。
【００２０】
エアチャック５６は、駆動制御部９５（図３）の指示の下、一対のフィンガ５２ａ，５２ｂをＸ’軸方向に沿って駆動し、各フィンガ５２ａ，５２ｂ間を接近させたり離間させたりして、開閉動作を行う。具体的には、フィンガ５２ａの＋Ｘ’方向への移動とフィンガ５２ｂの−Ｘ’方向への移動とを同時に行うことで、フィンガ５２ａ，５２ｂを開いた状態とすることができる。また、フィンガ５２ａの−Ｘ’方向への移動とフィンガ５２ｂの＋Ｘ’方向への移動とを同時に行うことで、フィンガ５２ａ，５２ｂを閉じた状態とすることができる。
【００２１】
果柄検出用カメラ５４は、収穫対象のイチゴ及び当該イチゴの果柄を撮影して、当該撮影画像を、制御装置９０の第２画像取得部８４（図３参照）に対して出力する。なお、果柄検出用カメラ５４にて撮影された画像は、果柄の角度や果柄の切断位置を特定するために用いられるが、これらの処理の詳細については、後述する。
【００２２】
図１に戻り、ステレオカメラ６０は、２つの光学系及び２つの撮像素子を用いて、ＸＹ面（所定面）に交差する方向（ここでは、Ｚ方向）から２つの画像を同時に取得する。ステレオカメラ６０は取得した画像を、制御装置９０の第１画像取得部８２（図３参照）に対して出力する。なお、ステレオカメラ６０で撮影された画像は、収穫対象のイチゴの特定、当該イチゴの３次元位置（Ｘ，Ｙ，Ｚ方向の位置）の特定、及び、収穫対象のイチゴに対する最適接近方向の決定に用いられるが、これらの処理の詳細については、後述する。
【００２３】
図３には、本実施形態のイチゴ収穫装置１００の制御系がブロック図にて示されている。この図３に示すように、本実施形態の制御系は、上述した各部のほか、各部を統括的に制御する制御装置９０及び当該制御装置９０に接続された入力装置９９を含んでいる。制御装置９０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する情報処理装置であり、当該ＣＰＵにおいて制御プログラムが実行されることにより、図３の各機能を実現する。具体的には、制御装置９０は、第１画像取得部８２、第２画像取得部８４、画像認識部８６、最適接近方向決定部８８、及び検出部としての果柄状態算出部８９、として機能する。
【００２４】
第１画像取得部８２は、ステレオカメラ６０において撮影された画像を取得する。第２画像取得部８４は、果柄検出用カメラ５４において撮影された画像を取得する。画像認識部８６は、ステレオカメラ６０において撮影された画像の画像認識を行い、当該画像認識結果（収穫対象のイチゴとその他のイチゴとの、ＸＹ面内方向に関する位置関係）を最適接近方向決定部８８に対して出力する。最適接近方向決定部８８は、画像認識部８６による画像認識結果を用いて、ハンド機構１０が収穫対象のイチゴに接近する最適な方向を算出する。果柄状態算出部８９は、第２画像取得部８４で取得された画像に基づいて、収穫対象のイチゴの果柄の状態を算出する。
【００２５】
最適接近方向決定部８８の算出結果と、果柄状態算出部８９の算出結果は、駆動制御部９５に送信される。駆動制御部９５は、これら算出結果及び第１画像取得部８２から取得した画像に基づいて、駆動部１０６、ロボットアーム２０、エアチャック５６の駆動を制御する。
【００２６】
次に、上記のように構成されるイチゴ収穫装置１００による処理について、図４〜図１１に基づいて詳細に説明する。
【００２７】
図４は、イチゴ収穫装置１００による処理の一連の流れを示すフローチャートである。この図４の処理は、制御装置９０の各部により実行されるものである。
【００２８】
まず、図４のステップＳ１０では、駆動制御部９５が、収穫開始指示が出されたか否かを判断する。収穫開始指示は、作業者が、制御装置９０に接続された入力装置９９から入力するものである。駆動制御部９５は、ステップＳ１０の判断が肯定されるまで待機し、ステップＳ１０の判断が肯定された段階で、ステップＳ１２に移行する。
【００２９】
ステップＳ１２に移行すると、制御装置９０では、最適接近方向決定処理を実行する。具体的には、制御装置９０は、図５のフローチャートに沿った処理を実行する。
【００３０】
まず、図５のステップＳ３０では、第１画像取得部８２が、ステレオカメラ６０から画像を取得する。なお、第１画像取得部８２は、取得した画像を画像認識部８６に送信する。
【００３１】
次いで、ステップＳ３２では、画像認識部８６が、赤色果実を認識し、ラベリングを行う。この場合、取得した画像の色を解析して、赤色果実の色である可能性が高い部分を抽出し、その部分を赤色果実として認識し、ラベリングする。なお、画像認識部８６は、ラベリングした結果を最適接近方向決定部８８に送信する。
【００３２】
次いで、ステップＳ３４では、画像認識部８６が、未熟果実を認識し、ラベリングを行う。この場合、取得した画像の色を解析して、未熟果実の色（緑白色）である可能性が高い部分を抽出し、その部分を未熟果実として認識し、ラベリングする。なお、画像認識部８６は、ラベリングした結果を最適接近方向決定部８８に送信する。
【００３３】
次いで、ステップＳ３６では、最適接近方向決定部８８が、障害角度（β1、β2…βn）を計算する。ここで、最適接近方向決定部８８に対し画像認識部８６から送信されてきたラベリング結果のデータは、図６（ａ）のようなイチゴのＸＹ面内方向に関する位置関係に関するデータである。最適接近方向決定部８８は、図６（ａ）のデータから、図６（ｂ）に示す障害角度β1、β2を計算する。具体的には、最適接近方向決定部８８は、赤色果実のうちの１つを収穫対象のイチゴとして特定し、当該収穫対象のイチゴを中心とした角度範囲のうち、未熟果実が含まれている角度範囲を、障害角度β1、β2とする。なお、図６（ｂ）では、収穫対象のイチゴの中心を基準として−Ｘ側の領域から、障害角度を抽出している。これは、ハンド機構１０と栽培ベッド４０との位置関係からすると、ハンド機構１０は、収穫対象のイチゴに対して、−Ｘ側から接近するのみであり、＋Ｘ側の領域については考慮する必要が無いからである。
【００３４】
また、本実施形態では、収穫対象のイチゴの中心を通過するＹ軸から、所定角度（図６（ｂ）では、１５°）の範囲は、未熟果実の存在に関係なく、障害角度としている。これは、当該所定角度から収穫対象のイチゴに接近しようとすると、近接する赤色果実に対してハンド機構１０が接触する可能性があるからである。なお、所定角度としては、１５°に限らず、栽培ベッド４０におけるイチゴの配列や、ハンド機構１０の大きさなどに基づいて、種々の角度を採用することができる。
【００３５】
図５に戻り、次のステップＳ３８では、最適接近方向決定部８８が、収穫対象のイチゴに対する接近可能角度（α1、α2、…αm）を計算する。この場合、ステップＳ３６で計算された障害角度を除く角度範囲が、接近可能角度となる。図６（ｃ）には、接近可能角度α1、α2が示されている。なお、接近可能角度としては、所定角度（例えば５°）未満の角度範囲は除外するものとする。これは、所定角度（５°など）未満という小さな角度範囲を接近可能角度とし、その方向からハンド機構１０を収穫対象のイチゴに接近させることとすると、ハンド機構１０が未熟果実に接触してしまう可能性があるからである。なお、所定角度としては、５°に限らず、ハンド機構１０の大きさ等を考慮して、種々の角度を採用することができる。
【００３６】
次いで、ステップＳ４０では、最適接近方向決定部８８が、最大接近可能角度を算出する。図６（ｃ）の場合であれば、α1＞α2であるので、最大接近可能角度として、α1が算出される。
【００３７】
次いで、ステップＳ４２では、最適接近方向決定部８８が、最大接近可能角度に基づいて、最適接近方向を決定する。具体的には、最適接近方向決定部８８は、最大接近可能角度α1の二等分線方向（図６（ｃ）の矢印の方向）を、最適接近方向として決定する。その後は、図４のステップＳ１４に移行する。なお、最大接近可能角度が無く、最適接近方向を決定できない場合もある。このような場合には、現在の収穫対象のイチゴの収穫を断念して、次の収穫対象のイチゴの収穫を行うようにしてもよいし、制御装置９０が、不図示の出力装置を介して、作業者に対し警告を発するようにしても良い。
【００３８】
ステップＳ１４では、駆動制御部９５が、第１画像取得部８２において取得された画像と、最適接近方向決定部８８において決定された最適接近方向に基づいて、ロボットアーム２０を駆動する。より具体的には、駆動制御部９５は、画像（ステレオカメラ６０の画像）から収穫対象のイチゴの、Ｚ方向の位置を算出し、当該算出結果に基づいて、ハンド機構１０の目標高さを決定する。そして、画像（ステレオカメラ６０の画像）から算出される収穫対象のイチゴのＸＹ面内位置と、最適接近方向とから、ハンド機構１０の目標位置・姿勢を決定する。ここで、ハンド機構１０の目標位置は、ＸＹ面内方向に関し、収穫対象のイチゴから最適接近方向に関して所定距離離れた位置を意味する。また、ハンド機構１０の目標姿勢は、収穫対象のイチゴの方向をハンド機構１０のフィンガ５２ａ，５２ｂの長手方向（Ｙ’方向）が向いた姿勢を意味する。そして、駆動制御部９５は、ハンド機構１０が目標位置・姿勢となるように、ロボットアーム２０を駆動する。
【００３９】
次いで、ステップＳ１６では、制御装置９０が、果柄状態取得処理を実行する。具体的には、制御装置９０は、図７のフローチャートに沿った処理を実行する。
【００４０】
図７の処理では、まず、ステップＳ５０において、第２画像取得部８４が、果柄検出用カメラ５４から画像を取得する。なお、ここで取得される画像は、前述したハンド機構１０の移動（ステップＳ１４）の後に、果柄検出用カメラ５４により撮影される画像である。このステップＳ５０において取得される画像は、図８（ａ）のような収穫対象のイチゴや果柄などが含まれる画像である。第２画像取得部８４は、取得した画像を、果柄状態算出部８９に送信する。
【００４１】
次いで、ステップＳ５２では、果柄状態算出部８９が、注目領域の設定を行う。この場合、ハンド機構１０を位置決めした後に撮影した画像を用いていることから、果柄状態算出部８９は、収穫対象のイチゴが画像内のどの辺りに存在し、果柄がどの辺りに存在するのかを凡そ特定することができる。したがって、果柄状態算出部８９は、果柄と、果柄とイチゴとの境界部分が含まれている可能性が高い領域を注目領域として設定する。このように、注目領域を設定するのは、別のイチゴの果柄や蔕、葉などの影響を受けて、収穫対象のイチゴの果柄を誤認識してしまうのを抑制するためである。なお、ステップＳ５２では、図８（ｂ）に示すような領域が注目領域として設定されたものとする。
【００４２】
次いで、ステップＳ５４では、果柄状態算出部８９が、Ｇ（Green）画像の２値化処理を行う。この場合、図８（ｂ）の注目領域のうち、緑の部分（果柄、蔕、葉など）が黒く表され、緑以外の部分が白く表された画像（図９（ａ）参照）を取得することができる。
【００４３】
次いで、ステップＳ５６では、果柄状態算出部８９が、黒画像のうち縦長の部位のみを抽出する。具体的には、果柄状態算出部８９は、図９（ａ）の２値画像を横方向に所定の圧縮率で圧縮して、縦長の部分を消去し、当該圧縮した画像を横方向に所定の膨張率（上記所定の圧縮率の逆数）で膨張して、比較画像を作成する。そして、果柄状態算出部８９は、図９（ａ）の２値画像と、比較画像との差をとることで、図９（ｂ）のような縦長の部位のみを抽出した画像を得る。
【００４４】
次いで、ステップＳ５８では、果柄状態算出部８９が、図９（ｂ）の画像の黒画像部分それぞれをラベリングする（図９（ｃ）参照）。そして、ステップＳ６０では、果柄状態算出部８９が、図９（ｃ）の画像のうち、面積が所定の面積よりも小さい黒画像部分をノイズと推定して、当該ノイズを除去した画像を取得する(図９（ｄ）参照)。
【００４５】
次いで、ステップＳ６２では、果柄状態算出部８９が、図９（ｄ）の画像に対して、スケルトン処理を行う。スケルトン処理では、ラベリングされた各黒画像部分に対して中心線を引き、当該中心線のみの画像を取得する（図１０（ａ）参照）。次いで、ステップＳ６４では、果柄状態算出部８９が、スケルトン（中心線）を接合点で分断する。具体的には、図１０（ａ）のうち、２本以上のスケルトン（中心線）が接合している部分を、図１０（ｂ）に示すように分断する。
【００４６】
次いで、ステップＳ６６では、果柄状態算出部８９が、最長のスケルトン（中心線）の画像を抽出する。ここでは、図１０（ｂ）の複数のスケルトンのうち、画像のほぼ中央に位置する、最長のスケルトンが抽出される（図１０（ｃ）参照）。
【００４７】
次いで、ステップＳ６８では、果柄状態算出部８９が、最長のスケルトンの傾きを最小二乗法により算出し、これを果柄の傾きとする（図１０（ｄ）参照）。なお、果柄状態算出部８９は、ステップＳ６８で算出した果柄の傾きを、駆動制御部９５に対して出力する。
【００４８】
そして、ステップＳ７０では、果柄状態算出部８９が、最長のスケルトンの最下端の位置を求め、当該位置を、果柄切断位置として決定する（図１０（ｄ）参照）。なお、果柄状態算出部８９は、ステップＳ７０で決定した果柄切断位置を、駆動制御部９５に対して出力する。以上のような処理を行った後は、図４のステップＳ１８に移行する。
【００４９】
ステップＳ１８では、駆動制御部９５は、ロボットアーム２０を駆動して、ハンド機構１０に設けられた切断刃６４の切断面が、図１１に示すように、果柄の傾きと垂直になるようにする。また、駆動制御部９５は、ロボットアーム２０を駆動して、切断刃６４の切断面の高さが、果柄切断位置と略一致するようにする。ハンド機構１０を移動する。
【００５０】
次いで、ステップＳ２０では、駆動制御部９５は、ロボットアーム２０を駆動して、ハンド機構１０を果柄切断位置まで移動する。具体的には、駆動制御部９５は、収穫対象のイチゴの果柄が、フィンガ５２ａ（切断刃６４）とフィンガ５２ｂとの間に位置するように、ハンド機構１０を直進させる。
【００５１】
次いで、ステップＳ２２では、駆動制御部９５は、エアチャック５６を制御して、一対のフィンガ５２ａ，５２ｂを互いに近づく方向に移動する（閉じた状態とする）ことで、果柄を果柄切断位置にて切断する。なお、この場合には、切断後の果柄（下側）及び当該果柄に接続されている収穫対象のイチゴは、フィンガ５２ｂとフィンガ５２ａの緩衝材６２により保持されている。
【００５２】
次いで、ステップＳ２４では、駆動制御部９５が、ロボットアーム２０を駆動して、ハンド機構１０をトレー５０の上方に位置決めする。そして、駆動制御部９５は、エアチャック５６を制御して、フィンガ５２ａ，５２ｂを互いに離間する方向に移動する（開いた状態とする）ことで、ハンド機構１０の保持するイチゴをトレー５０上に載置する。すなわち、ステップＳ２４の処理により、イチゴの収穫が行われる。なお、トレー５０は、前述のようにウレタンなどの柔軟性を有する部材から成るため、トレー５０の上方からイチゴを落下させても、イチゴは損傷しないようになっている。
【００５３】
次いで、ステップＳ２６では、駆動制御部９５が、収穫終了指示が出されたか否かを判断する。ここでの判断が否定された場合には、ステップＳ１２に戻り、次のイチゴの収穫を、前述したのと同様の方法により行う。一方、ステップＳ２６の判断が肯定された場合、すなわち、入力装置９９を介して、作業者からの収穫終了指示が入力された場合には、図４の全処理を終了する。
【００５４】
なお、上記説明から分かるように、本実施形態では、ロボットアーム２０と、駆動制御部９５とにより、変更部が実現されている。
【００５５】
以上、詳細に説明したように、本実施形態によると、果柄状態算出部８９は、果柄検出用カメラ５４により撮影された収穫対象のイチゴの果柄を含む画像からイチゴを除く部位の中心線のみの画像（スケルトン画像）を取得するとともに、そのうちの最長の中心線を抽出するので、画像内から、果柄である可能性が最も高い部分を抽出することができる。このため、当該最長の中心線の傾きを果柄の傾き、最長の中心線の所定の位置を果柄の下端部として検出することで、高精度に果柄の傾きや下端部を検出することができる。したがって、本実施形態によれば、高精度に検出された果柄の傾きや下端部に基づいて、ロボットアーム２０が、ハンド機構１０の果柄に対する姿勢及び位置の少なくとも一方を変更することで、ハンド機構１０の姿勢を果柄切断に適切な姿勢にしたり、ハンド機構１０の位置を果柄切断に適切な位置にしたりすることができる。これにより、収穫対象のイチゴの果柄をハンド機構１０を用いて適切に切断することが可能となる。
【００５６】
また、本実施形態によると、果柄状態算出部８９は、果柄の傾き及び前記果柄の下端部の位置を検出し、駆動制御部９５は、果柄の傾きに合わせるようにハンド機構１０の姿勢を変更し、果柄の下端部が、ハンド機構１０により切断されるように、ハンド機構１０の位置を変更する。すなわち、ハンド機構１０の姿勢を果柄の傾きに合わせて変更することで、果柄を精度良く切断することができ、また、ハンド機構１０の位置を当該下端部を切断できる位置に変更することで、果柄を適切な位置で切断することができる。
【００５７】
また、本実施形態によると、ハンド機構１０と果柄検出用カメラ５４とは、位置関係が固定されているので、果柄検出用カメラ５４は、ハンド機構１０の位置や姿勢に応じた果柄の画像を撮影することができる。これにより、ハンド機構１０の果柄の状態に合わせた位置・姿勢制御を簡易かつ精度良く行うことができる。
【００５８】
なお、上記実施形態では、果柄切断位置を、果柄の最下端の位置とする場合について説明したが、これに限らず、最下端から所定距離離れた位置を果柄切断位置としてもよい。
【００５９】
なお、上記実施形態では、果柄状態算出部８９は、果柄の状態として、果柄の傾きを算出するとともに、果柄切断位置を検出する場合について説明したが、これに限られるものではない。果柄状態算出部８９は、果柄の傾き及び果柄切断位置のいずれか一方のみを求めることとしても良い。また、果柄の状態として、その他の状態（例えば、果柄の太さなど）を検出することとしても良い。
【００６０】
また、上記実施形態では特に言及していないが、ステレオカメラ６０の近傍に撮影時の光量を確保するための光源を設けることとしてもよい。また、果柄検出用カメラ５４の近傍にも、光源を設けることとしてもよい。この場合、果柄検出用カメラ５４の近傍には、緑色の光を照射する光源を設けることとしてもよい。緑色の光を照射する光源を設けることで、果柄や蔕など、緑色の部分の検出を高精度に行うことが可能となる。
【００６１】
なお、上記実施形態では、果柄状態を取得する処理（ステップＳ１６）に加えて、接近方向を決定する処理（ステップＳ１２）を行う場合について説明したが、これに限られるものではない。接近方向を決定する処理及びハンド機構１０を最適接近方向に移動する処理（ステップＳ１４）は省略してもよい。
【００６２】
なお、上記実施形態のイチゴ収穫装置１００は、ロボットアーム２０が搭載された台車３０が、地面上に敷設されたレール３２Ａ，３２Ｂに沿ってＹ軸方向に移動することで、ロボットアーム２０と、固定された栽培ベッド４０とのＹ軸方向に関する相対移動を実現する場合について説明した。しかしながら、これに限られるものではなく、例えば、特開２０１０−５７４４８号公報に開示されているように、栽培ベッド４０をＹ軸方向に移動可能に構成し、ロボットアーム２０を固定とすることで、ロボットアーム２０と栽培ベッド４０との相対移動を実現することとしてもよい。また、栽培ベッド４０とロボットアーム２０の両方が、Ｙ軸方向に移動可能であってもよい。
【００６３】
なお、上記実施形態では、本発明の果柄切断装置が、イチゴ収穫装置である場合について説明したが、これに限られるものではない。すなわち、果柄切断装置は、果柄を切断する機能のみを有する装置であってもよい。
【００６４】
なお、上記実施形態では、本発明の果柄切断装置を、イチゴの果柄切断に用いる場合について説明したが、これに限らず、ブドウやモモ、ナシ、リンゴなどのその他の果物や、トマト（房取り）やナス、キュウリ、ゴーヤなどの野菜の果柄切断に用いることとしてもよい。
【００６５】
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
【符号の説明】
【００６６】
１０ ハンド機構（切断部）
２０ ロボットアーム（変更部の一部）
５４ 果柄検出用カメラ（撮影部）
８９ 果柄状態算出部（検出部）
９５ 駆動制御部（変更部の一部）
１００ イチゴ収穫装置（果実切断装置）
【特許請求の範囲】
【請求項１】
収穫対象果実の果柄を切断する切断部と、
前記収穫対象果実の果柄を含む画像を撮影する撮影部と、
前記撮影部で撮影された画像から前記果柄の傾き及び前記果柄の下端部の位置の少なくとも一方を検出する検出部と、
前記検出部により検出された果柄の傾き及び下端部の位置の少なくとも一方に基づいて、前記切断部の前記果柄に対する姿勢及び位置の少なくとも一方を変更する変更部と、を備え、
前記検出部は、
前記収穫対象果実の果柄を含む画像から、前記収穫対象の果実を除く部位の中心線のみの画像を取得するとともに、得られた複数の中心線のうち最長の中心線を抽出し、
前記果柄の傾きの検出を行う場合には、前記最長の中心線の傾きを前記果柄の傾きとして検出し、前記果柄の下端部の位置の検出を行う場合には、前記最長の中心線における所定の位置を前記果柄の下端部の位置として検出することを特徴とする果柄切断装置。
【請求項２】
前記変更部は、
前記果柄の傾きに基づいて前記切断部を駆動する場合には、前記果柄の傾きに合わせるように前記切断部の姿勢を変更し、
前記果柄の下端部の位置に基づいて前記切断部を駆動する場合には、前記果柄の下端部が前記切断部により切断されるように、前記切断部の位置を変更することを特徴とする請求項１に記載の果柄切断装置。
【請求項３】
前記切断部と前記撮影部は、位置関係が固定されていることを特徴とする請求項１又は２に記載の果柄切断装置。
【請求項１】
収穫対象果実の果柄を切断する切断部と、
前記収穫対象果実の果柄を含む画像を撮影する撮影部と、
前記撮影部で撮影された画像から前記果柄の傾き及び前記果柄の下端部の位置の少なくとも一方を検出する検出部と、
前記検出部により検出された果柄の傾き及び下端部の位置の少なくとも一方に基づいて、前記切断部の前記果柄に対する姿勢及び位置の少なくとも一方を変更する変更部と、を備え、
前記検出部は、
前記収穫対象果実の果柄を含む画像から、前記収穫対象の果実を除く部位の中心線のみの画像を取得するとともに、得られた複数の中心線のうち最長の中心線を抽出し、
前記果柄の傾きの検出を行う場合には、前記最長の中心線の傾きを前記果柄の傾きとして検出し、前記果柄の下端部の位置の検出を行う場合には、前記最長の中心線における所定の位置を前記果柄の下端部の位置として検出することを特徴とする果柄切断装置。
【請求項２】
前記変更部は、
前記果柄の傾きに基づいて前記切断部を駆動する場合には、前記果柄の傾きに合わせるように前記切断部の姿勢を変更し、
前記果柄の下端部の位置に基づいて前記切断部を駆動する場合には、前記果柄の下端部が前記切断部により切断されるように、前記切断部の位置を変更することを特徴とする請求項１に記載の果柄切断装置。
【請求項３】
前記切断部と前記撮影部は、位置関係が固定されていることを特徴とする請求項１又は２に記載の果柄切断装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１１０２５６（Ｐ２０１２−１１０２５６Ａ）
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願番号】特願２０１０−２６０５４８（Ｐ２０１０−２６０５４８）
【出願日】平成２２年１１月２２日（２０１０．１１．２２）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 発行者名 農業機械学会 刊行物名 第６９回農業機械学会年次大会講演要旨 発行年月日 平成２２年９月５日 研究集会名 第６９回農業機械学会年次大会 主催者名 農業機械学会 開催日 平成２２年９月１４日
【出願人】（５０１２０３３４４）独立行政法人農業・食品産業技術総合研究機構 (827)
【出願人】（５０８１３４３３７）シブヤ精機株式会社 (20)
【Ｆターム（参考）】
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願日】平成２２年１１月２２日（２０１０．１１．２２）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 発行者名 農業機械学会 刊行物名 第６９回農業機械学会年次大会講演要旨 発行年月日 平成２２年９月５日 研究集会名 第６９回農業機械学会年次大会 主催者名 農業機械学会 開催日 平成２２年９月１４日
【出願人】（５０１２０３３４４）独立行政法人農業・食品産業技術総合研究機構 (827)
【出願人】（５０８１３４３３７）シブヤ精機株式会社 (20)
【Ｆターム（参考）】
[ Back to top ]