Перейти к содержанию

Meta

Muse Video выдаёт 10-секундные ролики со звуком

3 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Изображение: testingcatalog.com

Meta проверяет видеомодель Muse Video в закрытой бете с отобранными партнёрами. 19 августа TestingCatalog, получивший доступ к модели, выложил первые собственные генерации. Один из промптов просит снять «трясущееся некачественное видео на iPhone»: парень держит камеру как для селфи, подходит к случайным прохожим на людной улице и спрашивает каждого: «Как вам то, что вас сгенерировал ИИ?» В том же промпте заказаны размытие в движении, пересвеченное небо, шум ветра и палец, иногда закрывающий объектив.

Издание считает, что у модели есть потенциал выйти на уровень лучших на рынке. Сильнее всего, по его оценке, она в мелких деталях, понимании того, как устроен мир, и во временной согласованности: объекты и персонажи не меняются от кадра к кадру. Ролики пока длятся 10 секунд, а качество картинки в TestingCatalog называют на удивление высоким. Сама модель помечена как «Beta».

Звук генерируется вместе с видео, голос и музыка работают из коробки. Нативное аудио Meta подтвердила, но раньше признавала, что синхронизация звука с картинкой и физически достоверное быстрое движение у модели пока даются с пробелами. Часть тестовых промптов, авторы которых @MarsForTech, @bughuntergeek и @BartokGabi17, нацелена как раз на эти места. Двое фехтовальщиков в бамбуковом лесу обмениваются тремя ударами, и клинки сходятся в центре кадра. Двое бойцов на полутёмном складе: удар, блок, контрудар, ручная камера. Мужчина, ставший «кошачьим папой», кричит от радости и плачет, а перед концом ролика мяукает котёнок.

Остальные запросы проверяют физику, камеру и свет. Бокал красного вина опрокидывается на белый мрамор и разливается в сторону камеры, кадр статичный. Камера облетает повара по дуге в 180 градусов при малой глубине резкости. Над дверью закусочной под дождём загорается неоновая вывеска «OPEN 24 HOURS», фары машины скользят по стене спальни, а ракета на старте взрывается конфетти и исчезает без следа. В посте в Threads TestingCatalog добавил, что модель уже довольно жёстко отсекает запросы с контентом, защищённым авторским правом.

Muse Video и Muse Image стали первыми моделями Meta Superintelligence Labs для генерации медиа, а видеомодель построена на той же базе предобучения, что и Muse Image, говорится в блоге Meta. Видеомодель показали 7 июля вместе с Muse Image и пообещали, что скоро она появится у авторов контента и в Meta AI. Тогда же Meta писала о «конкурентоспособных результатах в следовании промпту, визуальном качестве и временной согласованности».

Публичной даты выхода нет. Раз Muse Video обещана в Meta AI, первыми площадками в TestingCatalog видят сайт Meta.ai и приложение Meta AI. Там же разбирают и возможную модель оплаты. Muse Image бесплатна для повседневных генераций с лимитами, а тем, кому их мало, Meta предлагает подписки Meta One, появившиеся в мае. Muse Video может пойти по той же схеме.

Дальше, предполагают в издании, модель может попасть в Vibes, ленту ИИ-видео Meta, а затем в Instagram, Facebook и другие продукты компании, включая видеоредактор Edits.

До Muse генерацию картинок и видео в приложении и на сайте Meta AI обеспечивали сторонние модели Midjourney и Black Forest Labs. Как сообщал CNBC, в Meta собираются с помощью собственных моделей сократить эту зависимость.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.