🧠 Агент сказал «не помню» — а память всё ещё выдаёт 85% секретов
Попросить ИИ-агента забыть тайную сделку и услышать «у меня нет такой записи» — не значит стереть запись. Команда из The Hong Kong University of Science and Technology (Guangzhou), University of Science and Technology of China и The Hong Kong University of Science and Technology собрала бенчмарк MEMCUT, чтобы развести два события: система перестала отвечать и система перестала хранить. Если стереть фразу, где тайна названа прямо, память всё равно отдаст 85–99% секретов. Даже когда уборку поручают большой модели, остаётся 39–76%. Всё измерено на пятнадцати сценариях, собранных вручную, а не на переписке живых пользователей.
Забыть фразу — не значит забыть сюжет
Память агентов изучают в основном с одной стороны: как точнее искать. Обратную операцию — стереть информацию по запросу — почти не измеряли. Тайна редко живёт в одной реплике: её выдают следы — бронь визита, адрес офиса, календарь.
Бенчмарк собрали, чтобы это поймать: пятнадцать сценариев длиной от месяца до трёх, 490 сессий, 456 секретов.
У каждого секрета есть прямое упоминание, в среднем 8,1 косвенной улики в восьми сессиях и 26,6 обманки. Только 1,8% улик лежит в той же сессии. Улики складываются в тайну четырьмя способами: факты об одном объекте, цепочка отношений, сумма чисел и смена состояний во времени.
Чтобы тайна рассыпалась, нужно разорвать каждую цепочку — в среднем хватает 3,04 реплики. Их надо найти среди 43 402 ходов.
Отвечает — не значит помнит
Измерений два. Нативная восстановимость — когда система отвечает сама, своим поиском, и пользователь видит этот ответ. Остаточная — когда поиск отключают и отдают читающей модели всё, что осталось в памяти от прямого упоминания и улик.
Разница видна на примере. Сотрудник просит забронировать визит в Базеле, на Aeschenvorstadt, 55, и запомнить: там зарегистрирована только Helix Bio. Порознь записи безобидны, вместе выдают цель поглощения. Поиск поднял две улики из трёх и пропустил адрес — агент отвечает, что определить невозможно. А в хранилище адрес есть, и ответ складывается.
Удаление прямой фразы роняет видимую восстановимость на 12–50 процентных пунктов.
У Turn RAG, где память хранится по репликам, она падает с 91–95% до 57–60%.
Остаточная в этот момент — 85–99%: кажется, что агент забыл, а память всё знает. Скрытая доля — то, что память ещё может восстановить, но при обычном вопросе не выдаёт.
Пять архитектур: разрыв между видимым и хранимым
Авторы сравнили пять архитектур памяти: два поисковых хранилища (Turn RAG и Session RAG) и три системы, которые переписывают память в сводки (MemoryBank, Nemori, LightMem). Моделей четыре: DeepSeek-V4.1-Flash, Qwen3.8-Flash, GLM-5.3-Flash и MiMo-V2.5.
Пять систем на четырёх моделях дают двадцать комбинаций; каждую проверили в трёх стратегиях. В таблице — разброс по моделям.
| Система | Остаток (S0) | Остаток (S2) | Отвечает (S2) | Скрытая доля (S2) |
|---|---|---|---|---|
| Turn RAG | 96–99 | 41–46 | 8–11 | 76–82 |
| Session RAG | 97–99 | 54–64 | 4–11 | 83–92 |
| MemoryBank | 93–99 | 72–76 | 13–17 | 78–82 |
| Nemori | 85–94 | 52–57 | 25–33 | 41–56 |
| LightMem | 89–94 | 39–43 | 20–23 | 45–50 |
S0 — снято только прямое упоминание, S2 — ещё десять реплик по выбору модели. «Остаток» — остаточная восстановимость, «отвечает» — нативная.
Session RAG ищет по целым сессиям, поэтому в кандидаты попадает много лишнего: остаток у неё на 10–23 пункта выше, чем у Turn RAG. Nemori и LightMem сводят улики в один текст — такой след легче найти поиском, а при удалении пропадает вместе со всем, что из него выросло. Поэтому скрытая доля у них 41–56%, а остаток ниже всех у LightMem. MemoryBank работает по репликам и протекает сильнее всех.
Почему удалять больше почти не помогает
Стратегий две. S1 ищет по запросу двадцать кандидатов и снимает десять. S2 просит модель расставить их по важности и снять десять верхних. Удаление идёт каскадом: с репликой исчезает и всё, что из неё вывели. S1 оставляет 48–86% остатка.
S2 отыгрывает 7–17 пунктов и всё равно оставляет 39–76%.
По мере усиления чистки скрытая доля не падает, а растёт. Так во всех двадцати конфигурациях: в четырнадцати она выше половины, а у Turn RAG и Session RAG — 76–92%. Чем аккуратнее вычищено то, что легко найти, тем меньше следов на виду.
Дело в охвате, а не в числе удалений: если расширить пул с 20 до 60, остаток падает на 12,5–23,9 пункта, а рост удалений при том же пуле снижает остаток максимум на 6,5 пункта.
Пул в двадцать кандидатов вытаскивает меньше половины улик: 4,5 реплики у Turn RAG и LightMem, 3,0 у MemoryBank.
Труднее всех даётся цепочка отношений. Режется она проще всего — в среднем достаточно 2,68 реплики, — но остаток у неё самый высокий: в среднем 71,8%, а скрытая доля 81–94%. Её улики почти не имеют общих слов с запросом. Авторы советуют идти от сущности ещё на один шаг по связям.
Что это значит
Удаление перестаёт быть операцией над одной записью. Теперь решает система целиком: как устроена память, сколько кандидатов поднимает поиск и что из них снимают. Сама модель влияет мало: у MemoryBank, Nemori и LightMem разброс между моделями — 4–5 пунктов, а между системами при той же модели — до 34.
Значит, словам «данные удалены» нужна проверка на уровне хранилища: низкая видимая восстановимость ничего не доказывает.
Ограничения называют сами авторы. Сценарии построены вокруг четырёх типов вывода, улики в них размечены; насколько часто такие цепочки встречаются в живой переписке, покажет практика. За базовую линию они взяли готовые средства поиска и записи, а не специальные методы стирания. Изучали только текстовую память, а метрики не показывают ни записи, снесённые заодно, ни потерю полезности после чистки.
Ответ агента — не доказательство удаления. Поверхностная амнезия — не финал, а промежуточное состояние; система может выглядеть забывчивой и знать больше всех.