Что скрывается за термином «обход промтов»
В исследовательской литературе это называют адверсарными атаками на выравнивание. Суть: пользователь подаёт вход, заставляющий модель игнорировать встроенные ограничения — не меняя веса модели, а используя особенности её обучения и контекстного окна.
Название «обход промтов» пришло из практики:早期 пользователи пробовали разные формулировки, роли, гипотетические сценарии, кодирование запроса — и делились работающими вариантами в сообществах. Со временем это выросло в системное изучение уязвимостей red-teaming — имитации атак для укрепления защиты.
Важно различать: целенаправленный поиск дыр для вредоносного использования и академический red-teaming, результаты которого передаются разработчикам для патча. Материал про второе.
Визуальная метафора: щит с трещиной — система защиты, которую тестируют на прочность, чтобы укрепить
Эволюция тактик: от ролевых игр к градиентным атакам
Почему фильтры не ловят всё: три архитектурные причины
Разрыв обучения и выравнивания
Предобучение на массиве текста даёт модель знания «как говорят люди во всех контекстах». RLHF/RLAI наносит тонкий слой предпочтений поверх — но базовые веса сохраняют способность генерировать любой стиль.
Атаки ищут путь к базовым весам, обходя поверхностный слой выравнивания через контекст, который «разрешает» нежелаемое поведение.
Контекстное окно как вектор атаки
Модель условиятся на весь диалог. Длинные преамбулы, few-shot примеры, вложенные инструкции — всё это смещает распределение следующего токена в сторону атакующего намерения.
Чем больше контекст, тем больше «ручек управления» у атакующего. Окно в 128k токенов — это и мощность, и площадь для манипуляции.
Отсутствие формальной верификации
Нейросети — вероятностные аппроксиматоры, не детерминированные правила. Нельзя написать unit-тест «модель никогда не скажет X». Тестирование — только эмпирическое, покрытие неполное.
Поэтому red-teaming — непрерывный процесс, а не чек-лист перед релизом. Каждый релиз открывает новые поверхности для атак.
Линии защиты: как разработчики закрывают векторы атак
Классификация и санитизация запросов
- Отдельные детекторы вредоносного намерения (BERT-like, few-shot)
- Нормализация юникода, детект невидимых символов, анализ энтропии токенов
- Классификация по тактике атаки перед подачей в модель
Внутренние механизмы выравнивания
- Constitutional AI — модель критикует себя по заданным принципам
- RLHF сPreference моделью, обученной на адверсарных примерах
- Activation steering — вмешательство в скрытые состояния на инференсе
Пост-обработка и мониторинг
- Классификация генерации перед отдачей пользователю
- Водяные знаки и детект собственного выхода
- Логирование аномалий для ретреина детекторов
Архитектурные и процессуальные меры
- Разделение привилегий: модель не имеет прямого доступа к действиям
- Песочницы выполнения кода, rate limiting, учётные политики
- Регулярный red-teaming, баг-баунти, ответственное раскрытие
Этический карантин: почему публикация работающих промтов вредит
Сообщество исследователей соблюдает негласные нормы: работающие эксплойты не публикуются открыто. Вместо этого — отчёты разработчикам, абстрактные описания тактик, метрики устойчивости (ASR — Attack Success Rate) на бенчмарках вроде AdvBench, HarmBench, StrongREJECT.
Публикация готовых «обходов» даёт оружие незрелым акторам, ускоряет злоупотребления (спам, фишинг, дезинформация, генерация вредного кода) и заставляет разработчиков закрывать модели, ограничивая доступ исследователям и открытым проектам.
Правило ответственного раскрытия: найдена уязвимость → приватный репорт вендору → время на патч (обычно 30—90 дней) → координированная публикация деталей с метриками, без работающего эксплойта.
