🤖 Робота доучивают без робота: человек показывает модели её промахи

Человек складывает полотенце ручным захватом UMI. Манипулятора рядом нет: камеры записывают то же, что видит модель, а та предсказывает по картинке будущие действия. Где предсказание расходится с движениями человека, система просит ещё одну демонстрацию.

HIL-UMI разработала команда Хао Дуна из Пекинского университета вместе с Qiyuan Robot — производителем персональных роботов. Дун — главный научный сотрудник компании. Данные собирают без робота. Прежнему HG-DAgger нужен был работающий робот: оператор вручную сбрасывал сцену, и время уходило на это, а не на полезные кадры.

Energy Score показывает это расхождение.

Задач четыре: сложить полотенце, убрать со стола, собрать башню из кубиков, поставить штамп. При том же числе кадров обучение с учителем подняло средний балл прогресса с 44,3 до 58,0, а HIL-UMI — до 94,8. На двух точных задачах она получила максимум. На длинной уборке HIL-UMI тратила на полезный кадр 73,40 мс, HG-DAgger — 412,99 мс, в 5,63 раза дольше. Это оценки авторов без независимой проверки.

Авторы считают, что данные можно собирать отдельно от запуска робота: это смогут делать больше операторов в разных местах, а лаборатории не понадобится парк манипуляторов.