Модель Canva Craft стала четвёртой на DesignArena

Canva 22 октября показала Craft. Это первая модель генерации изображений, которую лаборатория компании Canva Research обучила с нуля, и работает она не как большинство генераторов: сначала одна модель пишет план композиции, потом другая рисует по нему картинку.

Модель уже открыта всем пользователям Canva по всему миру, а разработчикам доступна через публичный API, говорится в анонсе Canva. Изображения выходят в разрешении до 2K. Можно выбрать одно из более чем 30 соотношений сторон или задать своё. Промпт пишется на любом языке, а текст внутри картинки Craft умеет набирать на 55 языках.

Сначала план, потом пиксели

По описанию Canva, обычные генераторы строят пиксели прямо из промпта. Craft делит работу между двумя моделями. Первая, модель планирования, разбирает запрос и пишет подробный план композиции: какие элементы будут в кадре, как они расположены относительно друг друга, какого они относительного размера, что в иерархии главное, а что второстепенное, и какой текст должен появиться на изображении. Вторая модель, рендерер, переводит этот план в готовую картинку.

Canva объясняет, что раз композиция и типографика заданы явно ещё до рендера, Craft точнее собирает сложные макеты: текст читается, объекты стоят там, где их просили поставить, а соотношения между элементами не плывут. Пример из анонса: попросите фиолетовое небо, длинные тени и одинокое дерево, и получите все три детали, причём акцент окажется там, где вы его хотели.

Та же структура нужна для правок. Canva обещает точечные изменения отдельных элементов без перерисовки всего остального. Для перевода картинки в слои модель размечает элементы рамками в JSON, и по ним инструмент Magic Layers превращает сгенерированное изображение в набор редактируемых элементов дизайна. В Canva говорят, что с Craft это работает точнее и быстрее. Более продвинутое редактирование и генерацию по референсным изображениям компания обещает в следующих релизах, без дат.

Разбор генерации на слои сейчас пробуют и другие: Ideogram Vector 1.0 кладёт каждый элемент SVG отдельным слоем. Но Ideogram работает с векторной графикой, а Craft выдаёт растровые изображения до 2K, в том числе фотореалистичные.

Учили на шаблонах

Большинство моделей изображений, замечает Canva, обучено в основном на фотографиях. В данных Craft заметно больше дизайна: миллионы шаблонов, сделанных людьми, из библиотеки Canva. Это постеры, посты для соцсетей, презентации, инфографика, меню и макеты, где много типографики. Логика компании такая: плоская картинка показывает только результат, а шаблон показывает, как в нём устроены вёрстка, иерархия и шрифты.

После предобучения модель дообучали с учителем и с подкреплением, на отзывах профессиональных дизайнеров Canva. Цели названы такие: лучше следовать инструкциям, точнее набирать текст и поднять общее визуальное качество. Во внутренней оценке дизайнеры вместе с несколькими десятками исследователей сравнили больше 25 000 пар изображений, где Craft шла против ведущих моделей.

Когда автоматические оценки и суждения людей расходились, мы вставали на сторону дизайнера.

Четвёртая модель, вторая лаборатория

Внешний ориентир Canva - DesignArena, которую компания называет крупнейшей краудсорсинговой площадкой для оценки ИИ-дизайна. В общем рейтинге моделей Craft дебютировала четвёртой. А в рейтинге лабораторий Canva Research заняла второе место, хотя сама модель в общем зачёте пока только четвёртая.

По подкатегориям картина пестрее. Craft первая в People & Portraits среди 87 моделей и в Landscapes & Nature среди 85. В Abstract & Patterns она вторая, в Products четвёртая. Дальше Canva обещает поднимать качество, детализацию и контроль, в том числе в мелком тексте и технических чертежах.

Откуда скорость

Canva говорит, что ей пользуется больше четверти миллиарда человек, и каждую секунду они создают больше 400 дизайнов. Чтобы выдержать такую нагрузку, модель пришлось ускорять. С помощью дистилляции, дообучения, после которого модели хватает меньшего числа шагов, число шагов инференса сократили до доли от исходного. Для стадии планирования Canva написала собственный движок инференса, и, по словам компании, он сделал Craft на порядок быстрее первой внутренней версии.

На этих же наработках стоят два будущих варианта, Craft-fast и Craft-ultrafast. Canva обещает от них качественную генерацию за долю стоимости ведущих моделей, сроков и цен для них пока нет.

Как попробовать

Внутри Canva модель открывается через Dream Lab: панель в левом нижнем углу редактора. Craft там уже доступна всем пользователям.

Следующий канал - Canva MCP Server, он помечен как «скоро». Через него Craft подключится к ИИ-ассистентам и автоматизированным процессам, и агент сможет сделать графику к запуску, снимок товара или пост для соцсетей как один шаг большой задачи, причём сразу в виде, пригодном для дизайна. Canva называет API и MCP частью курса на то, чтобы её модели работали и за пределами основного продукта.

Модерацию на входе и выходе, настройки приватности и безопасности, а также инструменты для жалоб на вредный или вводящий в заблуждение контент Craft получает из Canva Shield, общей системы безопасности для всех ИИ-продуктов Canva. Перед релизом модели, по словам компании, проверяют на безопасность для брендов, культурный контекст и риск вредного контента.

Публичный API уже работает. Canva видит его в маркетинговых платформах, интернет-магазинах, конструкторах рекламы и сервисах печати, цену запросов к Craft компания не назвала. Для первого знакомства Canva советует именно API: по её словам, так быстрее всего прогнать Craft на своих промптах и сравнить с другими моделями.