Simulation-based Pipeline Tailors Training Data for Dexterous Robots
PhysicsGen:客製化機器人訓練數據
現今靈巧機器人的訓練普遍面臨資料不足與泛化困難的挑戰。由於真實示範 (Demonstration) 成本高且不同機器人在平台間的型態差異大,使既有方法難以生成可廣泛應用的高品質訓練資料。為解決此問題,MIT CSAIL 與 Robotics and AI Institute (RAI) 團隊開發一套名為 PhysicsGen 的模擬資料生成流程:由研究人員使用虛擬實境頭戴裝置追蹤人類手部動作, 蒐集少量操作示範;再映射到 3D 物理模擬器,藉由運動學重定向 (Kinematic Retargeting) ,將人類動作轉譯至特定機器人的關節系統。最終,透過軌跡優化 (Trajectory Optimization),系統模擬生成一系列動態可行且高效率 Contact-Rich 軌跡資料,大幅擴充訓練集。
此系統能根據不同機器人平台自動調整訓練內容,顯著提升策略的泛化能力與實體部署表現。在模擬實驗中,成功率由 21% 提升至 81%。此外,在 KUKA iiwa 機器手臂上進行 Zero-Shot 實測時,無需任何實體微調,成功率即可達 74% 。PhysicsGen 展現跨平台適用、低成本及高效率等優勢,未來可應用於智慧製造、自動裝配、醫療照護與家庭服務等多元場域。此研究若進一步結合視覺感知與增強學習技術,將有助於推動通用型機器人策略模型的實現與普及。
撰寫:劉芸辰 (2025 經理人 – 國立臺灣大學心理學系)
指導:莊于萱 (2017 Epoch School 校友)