パナソニック コネクトと中央大学、つかんだものを落とさずに回し続けられるロボットハンド制御技術を開発

　パナソニック コネクト株式会社（本社：東京都中央区、代表取締役 執行役員 プレジデント・CEO：樋口 泰行）と中央大学理工学部の梅田和昇教授が率いる研究チームは、10月1日から5日に米国ミシガン州で開催された電気・情報工学分野で世界最大規模の学術研究団体IEEE^注1における「IROS 2023／IEEE/RSJ International Conference on Intelligent Robots and Systems」にて”Vision-Based In-Hand Manipulation of Variously Shaped Objects via Contact Point Prediction”のタイトルで、ロボットハンド制御技術についての共同研究の成果を発表しました。また、2023年9月11日から14日に仙台で開催された「第41回ロボット学会学術講演会」においても、”接触点の予測に基づく画像を用いたIn-Hand Manipulation”^注2を発表しました。この成果は、国立研究開発法人新エネルギー・産業技術総合開発機構（ＮＥＤＯ）の助成事業の結果得られたものです。

ロボットハンドによるインハンドマニピュレーションの課題
　近年、ロボットによる作業自動化が加速する中で、ロボットに求められる動作も高度化しています。ロボットハンドによる高度な動作の一つとして注目されているのが、インハンドマニピュレーションです。インハンドマニピュレーションとは、ロボットハンドで把持した対象物の位置や姿勢をハンド内で変更する動作を指します。インハンドマニピュレーションをスムーズに行うために、表面にコンベアベルトを巻いた複数のフィンガで構成されるロボットハンドが多く研究されています。フィンガ同士で対象物を把持し、その状態でベルトを動かすことで、対象物の並進と回転が可能となります。この機構を使用することで、対象物の位置姿勢変更が可能な範囲の拡大を図ることができます。しかし、特に姿勢変更のために対象物をハンド内で回転させる際、対象物の形状や姿勢によっては、掴み続けることができずにハンドから落下させてしまうという課題がありました。

インハンドマニピュレーション技術
　この課題に対して、パナソニック コネクトでは、ロボットビジョン技術^注3を活かし、対象物の形状や姿勢に応じてフィンガとベルトを制御するシステムを開発しました。対象物を落とさずに把持するためには、対象物の表面とロボットハンドとが接触しつづける必要があります。接触を維持するためには、対象物の形状や回転中の姿勢に合わせてフィンガ同士の幅を調節する必要があります。しかし、フィンガが必要な幅の分だけ開閉しない状況もあり、その場合に対象物を掴み続けられなくなります。そこで、この状況を引き起こす2つの原因に対してアプローチする手法を開発しました。
まず、対象物の形状や姿勢によっては、回転中に、対象物とハンドとが接触している部位が変化することがあります。これを接触点の切り替わりと呼びます。そして、接触点が切り替わる前後において、必要なフィンガ幅は急激に変わりやすくなります。急な幅変化が起こると、フィンガの制御が追い付かずに対象物を落下させてしまうことがあります。一方で、対象物の回転速度が遅い場合には、接触点が切り替わる前後であっても、この変化が小さいこともわかっています。そこで、カメラ画像を基に、接触点がいつ切り替わるのかを予測し、その前後において対象物の回転速度が最も遅くなるようにベルトを制御することで、幅変化を抑えるのが1つ目のアプローチです。
　2つ目の原因として、フィードバック制御による遅延に着目しました。電子機器を制御する際には、センサにより現在の状態を観測し、観測値に基づいて次の時刻における制御値を決定するフィードバック制御が広く採用されています。フィードバック制御においては、次の時刻までの制御値は現在の観測値に基づきます。インハンドマニピュレーションによりハンド内で対象物を動かし続ける場合、現在観測している対象物の位置や姿勢と次の時刻での状態は異なります。従って、現在に観測している幅の分だけフィンガを開閉させても、次に必要な幅とは差が生じ、対象物を落下させることが予想されます。そこで、次の時刻における対象物の位置や姿勢を予測し、次の時刻で必要となる幅の分だけフィンガを制御することで遅延の影響を低減するのが2つ目のアプローチです。

動画掲載ページ
https://connect.panasonic.com/jp-ja/about/who-we-are/research/robot-ihm

開発した制御システムにおいては、各フィンガ表面を無限循環するベルトを備えた2指ハンドと、ハンドに正対する位置に設置したステレオカメラを用います。

制御方法の詳細
　1つ目のアプローチに対しては、まずステレオカメラから取得した画像中から対象物の領域を抽出し、その領域を囲う輪郭を取得します。この輪郭に対して多角形近似および凸包算出を行います。凸包の頂点のうち、最も左および右に位置する点を対象物とハンドとの現在の接触点とします。さらに、残りの頂点の中から、対象物が回転し続ける場合に次にハンドと接触する点を予想し、次の接触点と定義します。そして、現在の接触点と次の接触点を結んだ線分が鉛直軸となす角を算出します。これは、算出した角度の分だけ対象物が回転すると、接触点が切り替わることを示します。この角度が小さい場合は、接触点の切り替わりが近いことを表し、その際には必要なフィンガ幅の変化が大きくなると考えられます。このとき、対象物の回転量が小さければ、落下を防ぐことができます。そこで、算出した角度に正比例するように対象物の目標回転量を定め、それに合わせてベルトを制御します。この制御手法により、接触点の切り替わりが近いときには、ベルトが遅く動き、対象物の回転量も小さくなります。これにより、フィンガ幅の変化を小さく抑えることができます。

2つ目のアプローチにおいても、1つ目の処理の中で取得した輪郭と対象物の目標回転量を用います。1つ目のアプローチにより理想的に操作できた場合、次の時刻において、対象物の輪郭は目標回転量の分だけ姿勢変更した状態になると考えられます。そこで、現在の輪郭に対して、目標分だけ回転した輪郭を算出し、次の時刻での輪郭を推定します。推定した輪郭のうち、最も左および右に位置する点を検出します。この点を次の時刻での接触点推定位置とし、この点に合わせてフィンガを制御します。この制御により、現在の観測値ではなく、次の時刻の推定値に合わせてフィンガが動くため、遅延の影響を減らすことができます。

本技術を用いて、22点の対象物（形状11種・サイズ2種）に対して実施した実験においては、10点を1回転させることに成功しました。また、提案手法を使用しない条件に対して、大きい対象物を落下させる割合が14.5%改善し、小さい対象物を1回転させる割合が6.4%向上しました。本技術により、インハンドマニピュレーションを実行できる対象物の種類および位置や姿勢の変更範囲の拡大に繋がると期待されます。

インハンドマニピュレーション技術の応用先
　本技術は、パナソニック コネクトが目指す製造・物流・流通といったサプライチェーンの現場への貢献が見込まれます。中でも、これらの現場で扱われるモノのピックアンドプレース作業への活用が想定されます。置かれたモノをロボットハンドでピックし、インハンドマニピュレーションを行うことで、姿勢を変えた状態でプレースすることが可能となります。
　モノの姿勢を変える動作が必要な現場は、例えば、製造においては部品組立作業が該当します。部品をピックし、組立可能な姿勢に変更した後に、相手側の部品にプレースする作業を実現できます。また、物流現場においては、倉庫や青果場での箱詰めやパック詰めに応用可能です。様々な形状のモノを整列させて箱内に配置することで高密度な箱詰めが可能となります。また、形状に個体差がある青果等についても、カメラ画像から個体毎の形状をリアルタイムで検出し、各個体に合わせた制御を行うことができます。現状は人手でパック詰めされているそれらのモノも、ロボットにより整列配置することができ、集荷場等での自動化に貢献することが期待されます。さらに、小売店舗等の流通現場においても、商品陳列等のモノを決まった姿勢で並べる作業への応用が見込まれます。
 

　パナソニック コネクトと中央大学は今後も技術の性能向上を目指すとともに、他の技術やサービスとつながることで、お客様の現場のお困りごとに対応できるように、研究開発を推進してまいります。

注1: Institute of Electrical and Electronics Engineers
　　世界最大規模の電気・電子・情報工学分野の国際学会　URL：https://www.ieee.org/
注2:ハンドの中で物体の位置や姿勢を変化させる操作のこと。
注3: ロボットを制御するための視覚機能。

　中央大学は、「實地應用ノ素ヲ養フ（じっちおうようのそをやしなう）」という建学の精神のもとに、創立から130周年を超える歴史と伝統を築き、社会を支え未来を拓く人材を輩出してきました。2019年4月には「国際経営学部」と「国際情報学部」の2学部を開設し、8学部26学科を有する総合大学として、更なる魅力向上を目指します。（http://www.chuo-u.ac.jp/）

　パナソニック コネクト株式会社は 2022 年4 月1日、パナソニックグループの事業会社制への移行に伴い発足した、B2Bソリューションの中核を担う事業会社です。グローバルで約29,500名の従業員を擁し、売上高は１兆1,257億円^注4を計上しています。「現場から 社会を動か し 未来へつなぐ」をパーパス（企業としての存在意義）として掲げ、製造業100年の知見とソフトウェアを組み合わせたソリューションや高度に差別化されたハードウェアの提供を通じて、サプライチェーン、公共サービス、生活インフラ、エンターテインメント分野のお客様をつなぎ、「現場」をイノベートすることに取り組んでいます。また、人と自然が共存できる豊かな社会・地球の「サステナビリティ」と、一人ひとりが生きがいを感じ、安心安全で幸せに暮らすことができる「ウェルビーイング」の実現を目指しています。

注4: 2022年度売上高

　パナソニック コネクトは、「人権の尊重」と「企業価値の向上」を目的に、DEI（Diversity, Equity & Inclusion）推進を経営戦略の柱のひとつと位置づけ、多様な価値観を持つ一人ひとりがイキイキと力を発揮できる柔軟性の高いカルチャーを目指しています。
「少数であること」やその他の理由で権利が守られていない状況に対しては、妥協できない「人権」の問題として取り組みます。
　例えば、2016年、国内の人事制度運用上の配偶者に「（同性婚も含む）事実婚を結婚したものと同様に取り扱う」ことを発信するなど、家族の在り方の多様化に対応しています。

▼その他の取り組みについてはこちら
https://connect.panasonic.com/jp-ja/about/sustainability/dei/lgbtq

▼パナソニック コネクト株式会社 ウェブサイト
　https://connect.panasonic.com
▼パナソニック コネクト株式会社　技術研究開発本部　ウェブサイト
　https://connect.panasonic.com/jp-ja/about/who-we-are/research
▼パナソニック コネクトNewsroom
　https://connect.panasonic.com/jp-ja/newsroom