Nvidia демонстрира как използва очилата за смесена реалност (mixed reality) Apple Vision Pro, за да ускори разработването на хуманоидни роботи. Инициативата, която е част от т.нар. „Project GR00T“, се фокусира върху един от главните проблеми при разработката на роботи, а именно липсата на висококачествени данни за обучение.
Обучението на хуманоидни роботи е голямо предизвикателство, тъй като, за да оперират ефективно в човешка среда, те трябва да разбират законите на физиката, а това изисква примери от реалния свят. Проектът GR00T, който беше представен по време на конференцията GTC 2024, има за цел да реши именно тези проблеми, позволявайки на роботите да „интерпретират мултимодални инструкции (език, видео и демонстрации), за да се ориентират, адаптират и взаимодействат с реалния свят“.
Джим Фан, старши мениджър на изследванията и ръководител на отдела „Embodied AI“ в Nvidia, разкри ключовата роля на Apple Vision Pro в този процес. „Използваме Vision Pro, за да предоставим на операторите контрол върху хуманоидните роботи от първо лице“, обясни той. Така те могат да ги управляват от разстояние и да изпълняват ежедневни задачи, като например приготвяне на препечени филийки или изваждане на предмети от шкафове. „Vision Pro проследява движенията на човешката ръка и ги предава на робота в реално време“, поясни Фан, като добави, че операторът се чувства сякаш „потопен в чуждо тяло, подобно на Аватар“.
Exciting updates on Project GR00T! We discover a systematic way to scale up robot data, tackling the most painful pain point in robotics. The idea is simple: human collects demonstration on a real robot, and we multiply that data 1000x or more in simulation. Let’s break it down:… pic.twitter.com/8mUqCW8YDX
— Jim Fan (@DrJimFan) July 30, 2024
Събраните от Apple Vision Pro примери след това се умножават по „1000 или повече“ с помощта на генеративна симулация, наречена RoboCasa. Това се постига чрез промени във визуалния вид и оформлението на средата. Накрая тези данни се мултиплицират допълнително чрез техника, наречена MimicGen, която генерира огромен брой нови траектории на действие въз основа на оригиналните човешки данни, обяснява Фан.
Чрез комбиниране на данни, генерирани от хора, със синтетични такива, компанията има за цел да създаде хуманоидни роботи, които разбират законите на физиката и могат да взаимодействат естествено с човешката среда. Или както наскоро заяви главният изпълнителен директор на Nvidia, Дженсън Хуанг:
Следващата вълна на изкуствения интелект ще бъде физическа, ще се интегрира в човешката среда и ще разбира законите на физиката.
Във връзка с това, само преди дни Nvidia стартира нова програма, в рамките на която ще предостави достъп до услуги, модели и платформи на водещи производители на роботи. Това, според технологичния гигант, ще позволи „разработването, обучението и създаването на следващото поколение хуманоидни роботи“.
Програмата, която се нарича “Humanoid Robot Developer Program”, ще предостави ранен достъп до платформи и услуги като Nvidia Isaac Sim, Nvidia Isaac Lab, Jetson Thor и Project GR00T, а сред първите участници са 1x, Boston Dynamics, ByteDance Research, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra и Skild AI.
Последвайте ни в социалните мрежи – Facebook, Instagram, X и LinkedIn!