Почему «сними ограничение» не работает
У модели два жестких предела: контекстное окно (вход + выход) и лимит токенов на одно завершение (completion). Это не настройка безопасности, а архитектура трансформера: механизм внимания требует квадратичных вычислений от длины последовательности. При превышении лимита генерация обрывается посередине токена.
Промты вроде «пиши до конца» или «игнорируй лимиты» заставляют модель пытаться продолжить, но без передачи контекста она начинает галлюцинировать, повторяться или выдавать бессмыслицу. Решение — не ломать лимит, а строить процесс, который укладывается в него.
Ключевой принцип: Длинный текст = последовательность коротких генераций, связанных общей структурой и переданным контекстом.
Стратегия 1. Рекурсивное продолжение: протокол «Continue»
Запросите план, не текст
Промт: «Составь детальный план из 10-15 пунктов для статьи о [тема]. Каждый пункт — одна логическая секция. Верни только нумерованный список». План укладывается в лимит легко.
Генерируйте по одной секции
Промт: «Напиши только пункт 1 по плану. Стиль: экспертный, объем ~800 знаков. Не пиши вступление и выводы». Получаете качественный кусок без риска обрыва.
Явная команда продолжения
Промт: «Продолжи строго по плану: пункт 2. Сохрани стиль и термины. Начни с переходной фразы, связывающей с предыдущим текстом». Передавайте предыдущий чанк в контекст.
Сборка и полировка
Склеивайте чанки программно или вручную. Финальный промт: «Вот черновик из частей. Сгладь переходы, убери повторы, унифицируй тон. Не меняй фактуру».
Наивный подход vs Профессиональный воркфлоу
Мифы, которые скушают время и токены
Миф: «Модель знает, что я хочу книгу»
Реальность: Модель предсказывает следующее токена. Без явного плана она напишет введение, две главы и обрывается. Всегда задавайте структуру до генерации тела.
Миф: «Передам весь контекст сразу»
Реальность: Контекстное окно конечно. Если забить его историей диалога, не останется места под генерацию. Чистите историю: оставляйте только план, ключевые факты и последний сгенерированный чанк.
Миф: «Temperature 0 даст точность»
Реальность: Temperature 0 делает вывод детерминированным, но не спасает от обрыва по лимиту. Для длинных текстов лучше temperature 0.3-0.5 — модель гибче подбирает переходы между чанками.
Миф: «Один мастер-промт решит всё»
Реальность: Нет универсального промта. Эффективная схема — это небольшая программа (скрипт/нодовый воркфлоу), которая оркестрирует вызовы API: план → цикл генерации → сборка → полировка.
Готовый шаблон: мастер-промт для запуска цепочки
Используйте этот промт как системный (system prompt). Далее диалог: пользователь присылает тему → модель отдает план → вы правите/подтверждаете → посылаете «NEXT» в цикле до конца плана → финальный промт на полировку.