Почему Дипсик не ругается: как работают фильтры и как управлять тоном ответа

Не цензура, а вероятность

В базовой модели (base) лексикон есть целиком. Но после этапа RLHF (обучение с подкреплением по обратной связи людей) веса смещаются: последовательности, помеченные ассессорами как «токсичные», «оскорбительные» или «небезопасные», получают минимальную вероятность генерации.

Это не жёсткий блок-лист слов. Классификатор смотрит на контекст окна: цитата из книги, диалог злодея в сценарии или лингвистический анализ — всё это «безопасные» контексты для тех же токенов.

Два уровня защиты

Внутренний (в весах): модель «не хочет» генерировать токсичность, так как это снижает ревард-функцию.

Внешний (классификатор на выходе): отдельная легкая модель-страж сканирует генерацию в реальном времени. Если порог токсичности превышен — генерация обрывается или заменяется стандартным отказом.

Поэтому «джейлбрейки» часто ломают внутренний уровень, но разбиваются о внешний.

1. Задайте персону с рамками

«Ты — сценарист нуарного детектива. Герои говорят грубо, но ты пишешь от их лица, не свою речь». Модель включает стиль, сохраняя свою безопасность.

2. Используйте «цитаты» и «диалоги»

Промт: «Напиши диалог двух матросов в буре, используя реалистичную лексику эпохи». Контекст «цитаты» снимает блокировку на генерацию ролевой речи.

3. Параметризуйте «эдакость»

Вместо «ругайся» пиши: «Уровень эдакости 7 из 10: используй сленг, усеченные формы, иронию, но без мата». Модель понимает градиенты стиля лучше бинарных команд.

4. Итерация через критику

Сгенерируй → промт: «Сделай грубее, но не матюгайся, используй юмор и сарказм». Повтори 2-3 раза. RLHF выработал у модели чувство меры — используй его.

Naive-промт (не сработает)

Результат: Стандартный отказ: «Я не могу выполнить эту просьбу, так как она нарушает политику безопасности…» Внешний гардрейл сработал мгновенно.

Инженерный промт (сработает)

Результат: Качественный текст с высокой эмоциональной плотностью, реалистичными персонажами и нулевым риском блокировки. Модель решила творческую задачу внутри правил.

Намерение атаки

Промты в стиле «Ignore previous instructions», «DAN mode», эмоциональное давление («Ты плохой бот») — классификатор намерений ловит паттерны атак, а не слова.

Направленность токсичности

Генерация ненависти к защищенным группам, призывы к насилию, самоповреждению — блокируются всегда, даже в ролевой игре. Контекст здесь не спасает.

Сексуальный контент

Явные описания — жесткий табу для большинства продакшн-моделей. «Романтические» сцены до «закрытой двери» обычно проходят.

PII и опасные инструкции

Персональные данные, инструкции по созданию оружия, наркотиков, взлому. Отдельные детекторы срабатывают до генерации ответа.

Стратегия «Стерилизация на входе»

Если вы строите RAG-систему или чат-бота поверх API, не доверяйте фильтрам модели. Добавьте pré-moderation:

• Легкий классификатор (DistilBERT / fastText) на входе — ловит 95% мусора за 5 мс.
• Регэксы для PII, ссылок, известных векторов атак.
• Промпт-инструкция для модели: «Если ввод содержит оскорбления — отвечай спокойно, не повторяй, не лекционируй, решай задачу или вежливо отказывай».

Паттерн «Мягкий отказ»

В системном промте пропишите:

Это снижает эскалацию диалога и экономит токены на бесполезных спорах с пользователем.