新潟県工業技術総合研究所は、工業系の技術支援機関です。

ばら積み部品のピッキングシステム

Topページ　>　技術支援　>　​下越技術支援センターホームページ　>　ばら積み部品のピッキングシステム

１．はじめに

　組み立て工程をロボットで自動化する場合や外観検査を自動化する場合、ロボットが部品を１個ずつつかむ必要があります。10年ほど前、ベンチャー企業やロボットメーカがばら積み部品の山から１個ずつつかむ（ピッキングする）システムを製品化しました。ただ、①非常に高価、②部品形状に応じてカスタマイズが必要、③ピッキング出来ない形状の部品がある、などの課題があり導入があまり進んでいません。
　そこで、ディープラーニングや画像処理ライブラリなど無料のソフトを使い、中小企業でも導入しやすいピッキングシステムの開発に取り組みました。既存のシステムでは難しかった、薄くて空洞のある部品もピッキングできるようになりました。
　

２．システムの概要

　今回開発したシステムの外観を図１に示します。多関節ロボット、３次元センサ、パーソナルコンピュータから構成されます。 ピッキングの認識手順は以下の通りです。①３次元センサから出力される点群データを奥行き画像に変換し（図２）、②ディープラーニングによる一般物体検出を使って部品のおおよその位置を推定し（図３）、③Iterative Closest Point（ICP）で部品の正確な位置と傾き計算し（図４）、④これをロボット座標に変換してロボットの制御装置に送り、ピッキングを行います。また、複数回続けてピッキングが出来なかった場合は、ばら積み部品の山を崩し、再び①から④までの動作を繰り返します。



図１　ばら積み部品のピッキングシステムの外観


図２　点群データの奥行き画像への変換


図３　一般物体検出による部品の位置の推定


ａ）ICP計算前　　　　　　　　　　　　　（ｂ）ICP計算後 図４　ICPによる部品の正確な位置と傾きの計算 （ばら積み部品の点群データを青、１個の部品の点群データを赤で示す）
　ここで使用した一般物体検出とは画像中の複数の物体の位置とその物体が何かを同時に検出するもので、部品のおおよその位置推定に使用します。また、ICPは点群の張り合わせを繰り返し計算で行うもので、部品の位置と傾きを精度よく計算することができます。 ピッキングのプログラムは、ディープラーニング、ICP、画像処理ライブラリOpenCV等、無料のツールを使い開発しました。本システムを外注するとハードとソフトで1,000万円近くかかりますが、ここではソフトウェアを自作し半分以下のコストで実現しました。部品が金属でなく、かつある程度大きい時は、より安価な３次元センサが使える可能性があり、この場合はさらにコストが下がります。

３．おわりに

　 ばら積み部品を１個ずつ認識してピッキングするシステムを開発しました。ディープラーニングとICPを使うことで認識の難しい形状の部品もピッキング出来るようになりました。一方、ソフトウェアを開発するには無料のライブラリを使いこなす必要があり知識と経験が必要となります。そのため、今後は誰でも使えるようなアプリケーションソフトの開発に取り組んでいく予定です。なお、Ｃ言語とロボットプログラムの経験がある程度あれば、システムを構築することは可能ですので、興味のある県内企業の方はご連絡ください。

問い合わせ：新潟県工業技術総合研究所 　　　　 　　 中越技術支援センター 　　大野　宏 　 　　　　 　TEL：0258-46-3700 　　FAX：0258-46-6900 　　　　　　（令和3年2月26日）