蘋果研究突破，用 Vision Pro 教機器人

在最新的研究中，蘋果公司與麻省理工學院、卡內基美隆大學、華盛頓大學及加州大學聖地牙哥分校合作，提出了一種創新的方法來訓練人形機器人，這項研究名為《Humanoid Policy ∼ Human Policy》。研究團隊利用蘋果的 Vision Pro 設備，透過捕捉人類的第一人視角影片來訓練機器人。

研究人員收集了超過25,000個人類操作示範和1,500個機器人示範，形成一個名為PH2D的資料集，並將其輸入到一個統一的AI決策模型中，該系統能夠控制實際的人形機器人。研究指出，利用多樣化的數據來訓練人形機器人的操作策略，可以增強其在不同任務和平台上的穩定性和泛用性。

為了收集訓練資料，團隊開發了一款蘋果Vision Pro應用程式，利用設備的底左側相機錄影，並使用蘋果的ARKit來追蹤3D頭部和手部運動。此外，為了探索更具經濟效益的解決方案，他們還3D列印了一個支架，將ZED Mini立體相機安裝到其他頭戴設備上，如Meta Quest 3，提供類似的3D動作追蹤功能。

這種系統使他們能夠在在幾秒內錄製高品質示範，這比傳統的機器人遠端操作方法更快、更便宜且更易於擴展。由於人類的動作速度遠快於機器人，研究人員在訓練過程中將人類示範的速度降速為原本的四分之一，以便機器人能夠跟上，而無需進一步調整。

研究的關鍵在於HAT模型，該模型在共通格式下同時訓練人類和機器人的示範。HAT不再將數據按來源（人類與機器人）分開，而是學習一個能夠跨越兩種身體類型的單一策略，這使得系統更靈活且資料效率更高。在某些測試中，這種共享式訓練方法幫助機器人處理更具挑戰性的任務，包括它之前未見過的任務，與傳統方法相比，表現更佳。

（首圖來源：科技新報）