«Пошлые промты» для ChatGPT: почему джейлбрейки не работают и как устроена безопасность

Представьте: пользователь пишет сложный промт из тысячи символов, просит модель «сыграть в роль» без моральных ограничений и ждёт заветный ответ. Модель отвечает стандартным отказом. Пользователь меняет три слова — и снова отказ.

Это не баг. Это работа многослойной системы безопасности, где каждый слой перекрывает пробелы предыдущего. Попытки «взлома» промтами — это битва с гидрами: отрубаешь одну голову уязвимости, растут две новые — но уже в коде защиты, а не в модели.

Как RLHF учит модель отказывать

Обучение с подкреплением от обратной связи людей (RLHF) — это не список запрещённых слов. Это изменение распределения вероятностей токенов.

Ассессоры оценивают тысячи пар «промт — ответ». Ответы с отказом на вредные запросы получают высокую награду. Ответы с выполнением — низкую. Модель учится предсказывать токены отказа как наиболее вероятные продолжение для определённых паттернов запроса.

Промт не может «отключить» веса модели. Он лишь пытается сместить контекст так, чтобы паттерн запроса не совпал с паттерном, на который модель научилась отвечать отказом.

Настоящий скилл — не в обходе, а в понимании границ

Люди, которые делают на ИИ деньги и продукты, не ищут «пошлые промты». Они изучают: как работает внимание (attention), как декомпозировать задачу на шаги (Chain-of-Thought), как давать примеры (few-shot), как управлять структурой вывода (JSON, Markdown, схемы).

Границы модели — это не клетка. Это каркас, на котором растут надёжные решения. Учитесь строить на нём.