Обработка и генерация фото через нейросеть Runway

Ещё каких-то пять лет назад сама идея создания реалистичного изображения по текстовому описанию казалась обывателю чем-то из области фантастики, а профессиональная ретушь фотографий требовала многочасового кропотливого труда в графических редакторах. Сейчас же нейросети творят чудеса буквально за секунды, и львиная доля внимания в этой сфере приковывается к платформам, способным не просто подкрутить яркость или контраст, а полностью переосмыслить визуальный контент. Runway – один из тех инструментов, который ворвался в мир генеративного искусства довольно стремительно и продолжает набирать обороты, постепенно превращаясь из нишевого сервиса для энтузиастов в серьёзный рабочий инструмент для дизайнеров, маркетологов и контент-мейкеров. Но чтобы извлечь из этой нейросети максимум пользы, стоит разобраться в её возможностях без прикрас и маркетинговой шелухи.

Что такое Runway и откуда взялся этот сервис?

История Runway начинается в 2018 году, когда группа исследователей из Нью-Йоркского университета решила создать платформу, объединяющую сразу несколько моделей машинного обучения под одной крышей. Идея была довольно амбициозная – дать творческим людям доступ к сложнейшим алгоритмам без необходимости писать код или разбираться в архитектуре нейронных сетей. К 2023 году сервис вырос до внушительных масштабов, привлёк инвестиции на сотни миллионов долларов и выпустил несколько поколений собственных моделей генерации. Особый интерес вызывает модель Gen-2, а позже и Gen-3 Alpha, которые умеют работать и с видео, и с фотографиями. К слову, именно видеогенерация принесла Runway наибольшую известность, однако фотообработка и создание статичных изображений в этом сервисе заслуживают отдельного скрупулёзного разбора.

Интерфейс платформы тяготеет к минимализму. Никаких перегруженных панелей с десятками кнопок – всё сосредоточено вокруг нескольких основных инструментов, доступных прямо из браузера. Это удобно. Ведь не нужно скачивать громоздкое программное обеспечение или мучиться с совместимостью драйверов видеокарты. Достаточно учётной записи и стабильного интернет-соединения, чтобы начать экспериментировать.

Генерация изображений по текстовому запросу

Сердце любого генеративного сервиса – текстовый промт. И здесь у Runway есть свои нюансы, с которыми стоит разобраться заранее. Многие считают, что достаточно написать пару слов вроде «красивый закат над морем», и нейросеть выдаст шедевр. На самом деле всё несколько сложнее. Качество результата напрямую зависит от того, насколько детально и грамотно сформулирован запрос. Модель лучше всего реагирует на конкретные описания стиля, освещения, ракурса и цветовой палитры. Вместо абстрактного «красивый пейзаж» куда эффективнее сработает что-то вроде «закатный пейзаж в стиле импрессионизма, тёплые оранжевые и пурпурные тона, мягкий рассеянный свет, вид с невысокого холма на береговую линию». Разница в выдаче при таком подходе – колоссальная.

Отдельно стоит упомянуть возможность использования референсных изображений вместе с текстом. Загружаешь фотографию, описываешь словами, что именно хочешь изменить или сохранить, и нейросеть пытается совместить визуальную информацию с текстовой. Процесс не сложный, но кропотливый – с первого раза идеальный результат получается далеко не всегда. Да и сами разработчики честно признают, что модель иногда «галлюцинирует», добавляя лишние детали или искажая пропорции. Впрочем, с каждым обновлением таких огрехов становится заметно меньше.

Стоит ли полагаться на автоматическую обработку?

Задача не из лёгких – объяснить нейросети, что именно нужно подправить на уже существующей фотографии. Runway предлагает несколько подходов к обработке готовых снимков. Один из самых востребованных – инструмент Inpainting, позволяющий выделить конкретную область на фото и заменить её чем-то другим. Допустим, на портретном снимке мешает случайный прохожий на заднем плане. Достаточно выделить силуэт кистью, задать текстовое описание того, что должно появиться на его месте (например, «размытый городской фон, летний день»), и нейросеть дорисует недостающий фрагмент с учётом освещения и перспективы. Выглядит впечатляюще, хотя и не безупречно – опытный ретушёр при внимательном рассмотрении всё-таки заметит артефакты.

Следующий важный инструмент – Outpainting, работающий по обратному принципу. Он расширяет границы существующего изображения, «додумывая» то, что находилось за кадром. Фотография, обрезанная слишком тесно, получает дополнительное пространство вокруг основного объекта. Тем более что алгоритм старается сохранять общую стилистику и цветовую гамму исходника. Однако чем больше площадь расширения, тем выше шанс получить неестественный результат. Золотая середина – расширение на 20-30 процентов от оригинала.

Удаление фона и работа с масками

Многие пользователи приходят в Runway ради одной конкретной функции – автоматического удаления фона. И здесь сервис действительно на высоте. Алгоритм сегментации отделяет объект от фона буквально за пару секунд, причём справляется даже с такими щепетильными деталями, как развевающиеся волосы или полупрозрачные ткани. Буквально пару лет назад подобная точность требовала ручной работы с пером в Photoshop (минимум минут двадцать на один снимок), а сейчас нейросеть делает это почти мгновенно.

Но есть и подводные камни. Когда фон и объект близки по цвету или имеют сложные переплетения, модель может «проглотить» часть предмета или, наоборот, оставить лишние куски фона. Не стоит забывать и о том, что результат вырезки напрямую зависит от разрешения исходного файла – с фотографиями ниже 1000 пикселей по длинной стороне алгоритм работает заметно хуже. К тому же в бесплатной версии качество экспорта ограничено, а за полноразмерный файл без водяных знаков кошелёк станет легче.

Что насчёт стилизации?

Пожалуй, самая захватывающая грань Runway – перенос стиля. Вся суть в том, что нейросеть анализирует художественные особенности одного изображения и применяет их к другому, сохраняя при этом основную композицию оригинала. Фотография обычного городского двора, пропущенная через стилизатор с референсом картины Ван Гога, превращается в нечто по-настоящему колоритное – с характерными завихрениями мазков и насыщенной палитрой. А если в качестве референса использовать кинокадр из «Бегущего по лезвию», результат приобретает неоновый мрачный антураж.

Нужно отметить, что стилизация – это не просто наложение фильтра, как в Instagram. Механика куда глубже. Нейросеть пересчитывает текстуры, свет, тени, а иногда и геометрию объектов, чтобы добиться визуальной целостности. Конечно, не всегда получается идеально. Некоторые стили конфликтуют с определёнными типами фотографий – скажем, акварельная стилизация портретов нередко «размывает» черты лица до неузнаваемости. Но для ландшафтных и архитектурных снимков этот инструмент – настоящий кладезь возможностей.

Бесплатный тариф против подписки

Ложка дёгтя в бочке мёда. Runway – сервис коммерческий, и разработчики об этом не стесняются напоминать. Бесплатный план предоставляет ограниченное количество «кредитов» – внутренней валюты, которая расходуется при каждой генерации или обработке. Одно изображение в высоком разрешении может «съесть» от 5 до 20 кредитов в зависимости от сложности задачи и используемой модели. При стартовых 125 бесплатных кредитах хватает, мягко говоря, ненадолго.

Платные тарифы начинаются от 12 долларов в месяц (Standard), но для серьёзной работы довольно часто приходится брать Pro за 28 или даже Unlimited за 76 долларов. Серьёзное вложение? Зависит от контекста. Для фрилансера, который зарабатывает на визуальном контенте, такая сумма окупается за пару заказов. А вот для обывателя, решившего просто поэкспериментировать в выходной день, подписка может ударить по кошельку неоправданно сильно. Спасательный круг – использовать бесплатные кредиты исключительно для тестирования промтов в низком разрешении, а уже окончательную генерацию запускать в полном качестве.

Сравнение с конкурентами: где Runway солирует?

В представлении многих все нейросети для генерации картинок работают примерно одинаково. Это заблуждение. У Runway есть довольно чёткая ниша – это мультимедийный инструмент, заточенный под работу с видео и фото одновременно. Если Midjourney тяготеет к художественности и генерации «с нуля», а Stable Diffusion – к гибкости через открытый код и локальный запуск, то Runway пытается усидеть на двух стульях, предлагая и генерацию, и редактирование, и видеопроизводство в одном окне.

И всё же в чистой генерации статичных изображений Runway пока уступает тому же Midjourney по детализации и «вау-эффекту». Это честное наблюдение, которое подтверждают многочисленные сравнительные тесты в профильных сообществах. Зато в обработке существующих фотографий – удалении объектов, расширении кадра, замене фона – сервис держится на ногах очень уверенно. Да и скорость работы приковывает внимание: большинство операций выполняется за 5-15 секунд, тогда как у некоторых конкурентов ожидание растягивается на минуту и больше.

Практические советы для новичков

С чего начать? С определения задачи. Звучит банально, однако именно размытость цели – главная причина разочарования. Один пользователь приходит за аватаркой для социальных сетей, другой – за иллюстрацией для статьи, третий – за концептом для рекламного баннера. И подход к промту в каждом случае будет разным. Не стоит перебарщивать с длиной текстового описания – оптимальный промт укладывается в 30-75 слов. Слишком короткий запрос даёт нейросети слишком много свободы, а чересчур длинный – сбивает с толку, и модель начинает игнорировать часть инструкций.

Кстати, один неочевидный нюанс: порядок слов в промте тоже имеет значение. То, что стоит в начале описания, обычно получает больший «вес» при генерации. Поэтому самые важные характеристики – стиль, объект, настроение – лучше размещать в первых двух-трёх фразах, а технические параметры вроде освещения и ракурса оставлять на конец. Ну и, конечно же, не стоит забывать про негативные промты (если функция доступна в выбранном режиме) – через них удаётся отсечь нежелательные элементы вроде размытости, артефактов или лишних конечностей у людей.

Этические подводные камни

Неоднозначная тема. С одной стороны, генеративные нейросети открывают грандиозные возможности для людей без художественного образования – создать иллюстрацию, обработать фото, визуализировать идею. С другой стороны, всплывают вопросы авторского права. Модели Runway обучены на миллионах изображений, собранных из открытых источников, и далеко не все авторы давали согласие на использование своих работ для тренировки алгоритмов. Эта дискуссия ведётся уже не первый год, а судебные иски к подобным платформам множатся как снежный ком.

Кроме того, контент, сгенерированный нейросетью, всё чаще натыкается на ограничения со стороны стоковых площадок и рекламных платформ. Shutterstock, например, принимает ИИ-контент только через собственный генератор, а некоторые рекламные сети требуют маркировки. Не стоит забывать об этом, если изображения создаются для коммерческого использования. Впрочем, для личных проектов, мудбордов, концептов и внутренних презентаций никаких ограничений по-прежнему нет.

Что ждёт Runway в ближайшем будущем?

Буквально каждые два-три месяца команда Runway выкатывает обновления, и темпы развития впечатляют. Модель Gen-3 Alpha уже умеет работать с видео длительностью до 10 секунд при довольно высокой детализации, а фотообработка становится всё более «умной» – алгоритм лучше понимает контекст, точнее дорисовывает тени и отражения, реже добавляет артефакты. По всей видимости, следующим шагом станет ещё более тесная интеграция текста, изображения и видео в единый генеративный поток, где переход между форматами будет практически бесшовным.

Нейросети для работы с визуалом – это уже не модное увлечение, а вполне рабочий инструмент, который экономит часы рутинного труда. Runway среди этих инструментов занимает своё добротное место, особенно когда речь идёт об обработке фотографий и быстром прототипировании визуальных идей. Не стоит ожидать от него абсолютного совершенства – ведь даже самый продвинутый алгоритм пока не заменит человеческий глаз и вкус. Но как надёжный помощник, способный ускорить рабочий процесс в разы, этот сервис определённо заслуживает внимания. Удачи в экспериментах – результаты наверняка порадуют.