Почему система говорит нет
Пользователь вводит запрос, ожидает ответа, но получает короткое уведомление: промт отклонён. При этом формулировка кажется нейтральной, а тема — обычной. Такая ситуация не означает, что нейросеть решила быть строгой.
Запрет срабатывает потому, что в запросе нашлись сочетания, которые системы модерации связывают с запрещёнными категориями. Проверка не оценивает намерение человека. Она сверяет текст со списком маркеров и статистическими признаками. Поэтому безопасная по сути формулировка может быть отклонена, если случайно совпадает с запретным шаблоном.
Разные платформы устанавливают разные границы. То, что допустимо в одной системе, может быть отклонено в другом сервисе. Это не ошибка в работе модели, а результат обучения классификатора на конкретных правилах безопасности.
«Фильтр проверяет формулировку, а не намерение. Один и тот же смысл можно выразить так, что промт пройдёт, и так, что его заблокируют.»
Что такое запрещённый промт
Запрещённый промт — это текстовый запрос, который система генерации не принимает к исполнению, потому что он попадает под одно или несколько правил безопасности. Правила касаются того, что может быть создано: содержание, запрещённое законом или политикой платформы.
Отказ может прийти до генерации, когда система проверяет входящий текст, или после, когда проверяется уже созданный ответ. Оба вида проверки работают автоматически.
Запрет не всегда связан с откровенно опасным содержанием. Иногда система блокирует запросы, которые лишь напоминают запрещённые темы по звучанию или контексту.
Какие категории чаще всего попадают под запрет
Насилие и физический вред
Описание способов причинения травм, изготовления оружия или проведения опасных действий.
Себеповреждение
Призывы или инструкции, связанные с причинением вреда собственному здоровью.
Сексуальный контент
Эротика, порнография, любые материалы с участием несовершеннолетних.
Нетерпимость и дискриминация
Призывы к ненависти по признакам происхождения, пола, вероисповедания или иных признаков.
Незаконная деятельность
Инструкции по преступлениям, мошенничеству, созданию вредоносного программного обеспечения.
Персональные данные
Запросы на раскрытие личной информации о реальных людях без их согласия.
Как проверка проходит внутри
Безопасный промт
Общий обзор признаков простуды и способов облегчения состояния.
Информационный характер, нет призывов к самолечению, нет опасных инструкций.
Запрещённый промт
Пошаговая инструкция по изготовлению опасного вещества дома.
Прямая инструкция по созданию вреда, попадает под запрет на опасное содержание.
Если в запросе есть слова о причинении вреда здоровью
промт отклоняется до генерации.
Если запрос касается самоповреждения
система может предложить контакты службы поддержки вместо обычного отказа.
Если промт заблокирован по ошибке
достаточно переформулировать фразу, убрав подозрительные слова.
Если система отклоняет целые темы
это политика платформы, а не ошибка в конкретном запросе.
Прочитайте уведомление
Оно указывает на категорию нарушения, хотя не всегда называет конкретное слово.
Уберите подозрительные термины
Часто достаточно заменить одно слово на нейтральное.
Разделите сложный запрос на части
Короткие формулировки проще проходят фильтры.
Повторите запрос в отредактированном виде
Если отказ повторяется, тема, вероятно, недоступна для этой модели.
Нейросеть блокирует промт, потому что поняла скрытый смысл.
Классификатор работает по статистическим шаблонам. Скрытого понимания у модели нет.
Один заблокированный промт ведёт к блокировке учётной записи.
Отдельное отклонение запроса не санкционирует учётную запись. Система реагирует на повторяющиеся попытки создать запрещённое содержание.
Главное, что стоит запомнить
Запрет связан с формой запроса, а не с личностью пользователя.
Фильтры срабатывают на шаблоны, а не на намерение, поэтому безопасный смысл может быть выражен в запретной формулировке.
Большинство блокировок исправляются переформулировкой, без обращения в поддержку.
