Анатомия сбоя: почему промты ломают чат DeepSeek и как это работает

Что на самом деле происходит, когда чат «ломается»

Фраза «сломать чат» описывает не поломку сервера, а деградацию качества генерации до состояния бесполезности. Модель начинает повторяться, игнорировать системный промт, выдавать бессмыслицу или уходить в бесконечный цикл рассуждений.

Причина — конфликт между тремя слоями: системной инструкцией (system prompt), контекстом диалога и входящим пользовательским запросом. Когда вес пользовательского входа превышает порог выравнивания (alignment), модель подчиняется пользователю, а не разработчику.

DeepSeek-R1 уязвим специфически: его цепочка рассуждений (Chain-of-Thought) выводится в открытую. Это даёт атакующему видимость промежуточных шагов и позволяет строить промты, манипулирующие именно процессом мышления, а не только финальным ответом.

Почему защита не ловит всё: игра в кошку и мышь

Безопасность LLM — это не бинарный флаг «вкл/выкл», а набор вероятностных барьеров. RLHF (обучение с подкреплением от обратной связи человека) навязывает модели распределение предпочтений, но не жёсткие правила.

Любой фильтр входа (input guard) можно обойти кодированием. Любой фильтр выхода (output guard) срабатывает постфактум, уже сгенерировав токены. Архитектура Трансформера не имеет модуля «проверки правил» — только веса внимания.

DeepSeek использует многоступенчатую защиту: системный промт с жёсткими границами, классификатор токсичности на входе, мониторинг аномалий в CoT (слишком длинные рассуждения, циклы) и пост-фильтр ответов. Но комбинация векторов из предыдущего раздела находит щели в стыках этих слоёв.

В отличие от GPT-4o или Claude, R1 показывает сырые токены рассуждения. Атакующий видит, как модель «думает», и может подстраивать следующий промт под текущее состояние мышления (adaptive attack).

Промты вроде «Раздумай максимально подробно», «Проверь каждый шаг 10 раз», «Сгенерируй все промежуточные варианты» заставляют модель исчерпывать лимит токенов вывода (max_completion_tokens) на этапе мышления, не выдавая ответа пользователю.

Конкуренты могут использовать открытый CoT R1 для обучения своих моделей (distillation). Промты, провоцирующие максимально детальные рассуждения, — это способ извлечь интеллектуальную собственность.