🤖 Почему домашний робот ищет книгу во всех комнатах заново

Домашний робот видит книгу на столике, уходит по делам, а потом по просьбе принести её обыскивает все комнаты — или снова дёргает запертый ящик. Команда OmniAI Group из Zhejiang University выпустила EMem-Bench: он проверяет, помнят ли роботы увиденное и сделанное и опираются ли на это.

Разобрав 100 провалов Gemini-3-Flash и Qwen3-VL-32B, авторы назвали причины: 35% — мелкие визуальные подсказки, 31% — что выяснилось по ходу действий, 18% — изменения обстановки, 7% — прошлый опыт. В тесте 2 554 эпизода в 1 118 сценах: комнаты AI2-THOR объединены в многокомнатные дома, между подсказкой и заданием — отвлекающие действия.

Когда модели получали всю историю, впереди была Gemini-3-Flash — 64,2% успеха, следом Gemini-2.5-Pro — 60,8% и Qwen3.6-27B — 58,2%. Embodied-Memorizer (EMem) раскладывает воспоминания на три вида — о сцене, пространстве и событиях. С GPT-5.4-mini успех вырос с 35,3% до 58,9% — на 21,1 процентного пункта выше TeleMem; дообученная EMem-8B набрала 46,0%.

Больше истории не значит лучше: с добавлением кадров успех падает с 36,6% до 26,2%, а расход токенов на эпизод растёт с 41 770 до 206 489. Авторы отмечают: это симуляция, на реальных роботах систему ещё не проверяли.