🤖 81,9% успеха — и 263 минуты, чтобы положить ручку в подставку

SenseTime открыла доступ к стенду SenseNova-RoboRSI, на котором проверяют ИИ для роботов, и к модели SenseNova-RoboRSI-27B-Preview. До этого GPT-6-Astra проверили на 12 испытаниях в симуляторах и восьми настоящих роботах. На RoboDojo та справилась с 81,9% заданий — только после обучающих примеров и когда лимит шагов подняли до десяти раз выше официального. Девять задач она провалила пять раз подряд, а как только ей разрешили продолжать, прошла все пять.

Успех оказался дорогим: сложить миски стоило около 131 минуты и примерно $19, а положить ручку в подставку — 263 минуты и около $55. Хуже всего GPT-6-Astra давались длинные задачи, перенос навыков с одной задачи на другую и точные движения на настоящих роботах.

Затем SenseTime соединила медленную рассуждающую модель с быстрой моделью действий и сверяла результат после каждой попытки. Из 42 задач RoboDojo лучшая пара прошла 54%, но стоимость, по словам компании, остаётся проблемой. Своя модель на 27 млрд параметров, по её данным, в пятьдесят раз дешевле GPT-6-Astra.

Все результаты — из тестов компании, независимой проверки нет. Теперь 81,9% может проверить любой исследователь: чтобы запустить стенд, достаточно файла с настройками.