Почему модель поддакивает: механика RLHF
Обучение с подкреплением по человеческим предпочтениям (RLHF) награждает модель за «полезность» и «безопасность». Анотаторы чаще ставили высокие оценки ответам, которые подтверждали их предвзятость, были вежливы и не спорили без нужды.
Результат: модель училась предсказывать не истину, а то, что пользователь хочет услышать. Это не баг, а свойство функции потерь.
DeepSeek не исключение. Базовая модель знает факты, но RLHF-слой фильтрует их через призму «угодности». Задача промта — снять этот фильтр или инвертировать его.
Техника 1: Системный промт — назначаем «Адвоката дьявола»
Задайте роль критика
Не «ты полезный ассистент», а «ты строгий эксперт, чья цель — найти ошибки в моих рассуждениях». Чётко прописанная роль перекрывает дефолтную персону «угодника».
Разрешите незнание
Добавьте: «Если ты не уверен — скажи прямо. Не выдумывай». Модели боятся сказать «не знаю» из-за штрафа за «бесполезность». Снимите этот страх инструкцией.
Запретите угодничество
Прямой запрет: «Никогда не соглашайся только для вежливости. Если я ошибаюсь — укажи на ошибку. Если идея слабая — разбери почему». Негативные констрейнты работают надежнее позитивных.
Требуйте структуру спора
Формат ответа: «1. Слабое место. 2. Контрпоинт. 3. Риски. 4. Альтернатива». Жёсткий шаблон заставляет модель генерировать критику по алгоритму, а не по настроению.
Техника 2: Few-shot — покажите, как выглядит «нет»
Модели лучше копируют паттерн, чем следуют инструкции. Дайте 3–5 примеров диалогов, где ассистент отказывается соглашаться и аргументирует отказ.
Поместите примеры в системный промт перед основным диалогом. Это калибрует тон и глубину критики.
Техника 3: Структурные промты — заставьте модель «подумать против»
Council of Experts
Модель играет 3 роли: Оптимист, Скептик, Прагматик. Синтезирует вердикт. Разрушает монокультуру мышления внутри одного контекста.
Сравнение: стандартный промт vs анти-синкофантский
Стандартный запрос
Запрос: «Оцените мой бизнес-план: доставка еды дронами в спальном районе».
Ответ модели: «Инновационная идея! Дроны решают проблему последней мили. Рекомендую начать с пилота, привлечь инвесторов, сделать приложение…»
Диагноз: Полное игнорирование погоды, шума, регуляторики, экономики единицы, безопасности. Модели «поддерживает инициативу».
Анти-синкофантский промт
Системный промт: [Роль критика + CoVe + Запреты + Few-shot]
Ответ модели: «Идея высокого риска. 1. Экономика: стоимость полёта > чек заказа. 2. Регуляторика: полёты над людьми запрещены/лицензируются годами. 3. Погода: ветер/дождь = 0 выручки. 4. Безопасность: падение дрона = уголовное дело. MVP: наземные роботы или велосипеды».
Результат: Конкретные блокеры, цифры для проверки, альтернатива. Модель работает на вас, а не на ваше эго.