⚙️ Почему ИИ считает запрос и ответ на разных чипах

SenseTime 16 октября на саммите CSDI в Шэньчжэне рассказала, как в Lingang AIDC на 10 тыс. GPU разводят Prefill и Decode по чипам. Агентам и долгим автономным задачам нужно куда больше токенов, чем чат-ботам, говорит вице-президент SenseCore Сюань Шаньмин. Дело не в картах, а в стабильной выдаче: Prefill упирается в вычисления, Decode — в память.

Prefill считает входные токены и упирается в вычисления. Decode выдаёт ответ, перечитывая кэш, и упирается в пропускную способность памяти. Prefill выполняют китайские ускорители, Decode — карты с быстрой памятью; стадии обмениваются состоянием через KV-кэш по каналам 800G/400G/200G.

На узел Decode может приходиться 30–50 узлов Prefill: его сбой оставит пул без работы. SenseCore держит резерв топовых карт, узлы меняют роли под нагрузкой. Тест шёл на том же числе флагманских карт, что и в базовом варианте, а пропускная способность выросла примерно впятеро: стадии развели по разным чипам — рост дало планирование, а не закупки.

По её данным, платформа выдаёт около 6 трлн токенов в день, к IV кварталу 2026 цель — 10 трлн, за год объём должен вырасти примерно в 25 раз. Рост впятеро на тех же картах даёт запас для этой цели. Это её заявления.