板金部品のピッキング・搬送・整列を実現！豆蔵「フィジカルAI」研究開発成果

豆蔵が、AWSとNVIDIAの技術を活用したフィジカルAIおよびヒューマノイドロボットの研究開発成果を発表しました。

豆蔵「フィジカルAI」研究開発成果

• 参画プログラム：AWSジャパン「フィジカルAI 開発支援プログラム by AWS ジャパン」

豆蔵は、AWSの計算資源とNVIDIAのロボティクスAI技術を活用し、ヒューマノイドロボットによる板金部品のピッキング・搬送・整列作業を実現しました。

VLA（Vision-Language-Action）モデルと従来のロボット制御技術を組み合わせた「ハイブリッド制御アーキテクチャ」も検証し、産業適用に向けた知見を獲得しています。

上半身制御のVLAモデルによる知能化

• VLAモデル：NVIDIA Isaac GR00T 1.7
• 学習データ・環境：板金整列作業359エピソード、Amazon EC2「g6e.2xlarge」インスタンスで約8時間
• 豆蔵の検証環境での成功率：上下整列85％、左右整列80％

VLAモデルとルールベース制御を相互に補完させ、豆蔵の検証環境で上下整列85％、左右整列80％の成功率を確認しました。

VLAモデルのみの制御で生じた衝突や、ばら積みピッキングの成功率が低い問題には、力制御やルールベースピッキングとのハイブリッド構成で対応しました。

検証を通じ、従来のロボット制御技術を適切に組み合わせる「ハイブリッド制御アーキテクチャ」が、産業適用に向けた有効なアプローチとなり得るとの知見を得ています。

下半身制御の独自ポリシー構築

• 学習基盤・環境：NVIDIA Isaac LabベースのオープンソースワークフローAGILE、Amazon EC2「g7e.2xlarge」インスタンスで約32時間

深層強化学習により、ヒューマノイドロボットがしゃがみ動作や前傾動作を行う独自の運動ポリシーを構築しました。

報酬関数の設計に加え、摩擦や傾きなどを変化させる「ドメインランダマイゼーション」を実施し、Sim2Realギャップによる動作への影響を抑えて運動ポリシーを実機へ適用するノウハウを獲得しました。

VLAモデルによる全身制御

• ファインチューニング用作業データ：43エピソード

上半身制御のVLAモデルと下半身制御の独自運動ポリシーを組み合わせ、ヒューマノイドロボットの全身制御に取り組みました。

下半身の複数の関節動作を「腰の高さ」や「前進」といった高レベルな制御単位にまとめ、VLAモデルが直接扱う制御自由度を削減しました。

遠隔操作による作業データでVLAモデルをファインチューニングし、床に落ちた板金部品をしゃがんでピッキングしてから搬送、整列する一連の作業を実現しました。

下半身の複雑な関節動作を運動ポリシーで抽象化し、VLAモデルが扱う制御自由度を削減することが、学習データ収集の負担を抑える上で有効だと確認しました。