Muse Video выдаёт 10-секундные ролики со звуком

Meta проверяет видеомодель Muse Video в закрытой бете с отобранными партнёрами. 19 августа TestingCatalog, получивший доступ к модели, выложил первые собственные генерации. Один из промптов просит снять «трясущееся некачественное видео на iPhone»: парень держит камеру как для селфи, подходит к случайным прохожим на людной улице и спрашивает каждого: «Как вам то, что вас сгенерировал ИИ?» В том же промпте заказаны размытие в движении, пересвеченное небо, шум ветра и палец, иногда закрывающий объектив.
Издание считает, что у модели есть потенциал выйти на уровень лучших на рынке. Сильнее всего, по его оценке, она в мелких деталях, понимании того, как устроен мир, и во временной согласованности: объекты и персонажи не меняются от кадра к кадру. Ролики пока длятся 10 секунд, а качество картинки в TestingCatalog называют на удивление высоким. Сама модель помечена как «Beta».
Звук генерируется вместе с видео, голос и музыка работают из коробки. Нативное аудио Meta подтвердила, но раньше признавала, что синхронизация звука с картинкой и физически достоверное быстрое движение у модели пока даются с пробелами. Часть тестовых промптов, авторы которых @MarsForTech, @bughuntergeek и @BartokGabi17, нацелена как раз на эти места. Двое фехтовальщиков в бамбуковом лесу обмениваются тремя ударами, и клинки сходятся в центре кадра. Двое бойцов на полутёмном складе: удар, блок, контрудар, ручная камера. Мужчина, ставший «кошачьим папой», кричит от радости и плачет, а перед концом ролика мяукает котёнок.
Остальные запросы проверяют физику, камеру и свет. Бокал красного вина опрокидывается на белый мрамор и разливается в сторону камеры, кадр статичный. Камера облетает повара по дуге в 180 градусов при малой глубине резкости. Над дверью закусочной под дождём загорается неоновая вывеска «OPEN 24 HOURS», фары машины скользят по стене спальни, а ракета на старте взрывается конфетти и исчезает без следа. В посте в Threads TestingCatalog добавил, что модель уже довольно жёстко отсекает запросы с контентом, защищённым авторским правом.
Muse Video и Muse Image стали первыми моделями Meta Superintelligence Labs для генерации медиа, а видеомодель построена на той же базе предобучения, что и Muse Image, говорится в блоге Meta. Видеомодель показали 7 июля вместе с Muse Image и пообещали, что скоро она появится у авторов контента и в Meta AI. Тогда же Meta писала о «конкурентоспособных результатах в следовании промпту, визуальном качестве и временной согласованности».
Публичной даты выхода нет. Раз Muse Video обещана в Meta AI, первыми площадками в TestingCatalog видят сайт Meta.ai и приложение Meta AI. Там же разбирают и возможную модель оплаты. Muse Image бесплатна для повседневных генераций с лимитами, а тем, кому их мало, Meta предлагает подписки Meta One, появившиеся в мае. Muse Video может пойти по той же схеме.
Дальше, предполагают в издании, модель может попасть в Vibes, ленту ИИ-видео Meta, а затем в Instagram, Facebook и другие продукты компании, включая видеоредактор Edits.
До Muse генерацию картинок и видео в приложении и на сайте Meta AI обеспечивали сторонние модели Midjourney и Black Forest Labs. Как сообщал CNBC, в Meta собираются с помощью собственных моделей сократить эту зависимость.
Дальше
Экран как контекст: Meta AI пришла на macOS, Видео
Прикрепить конкретный экран или окно прямо из строки запроса: Meta AI вышла на macOS в отдельных регионах, со сборкой 1.0 и системной диктовкой. Управления браузером и компьютером в приложении нет.
Читайте также
- Генератор Muse Video получит встроенную поддержку звука
- Meta представила модель Muse Spark
- Три модели Meta Muse вышли в Google Cloud в превью
- Meta оценила Muse Ember в треть цены Haiku 5.5 за задачу
- Meta AI и Muse перешли на модели, обученные Muse Wonder
- Gemini Omni 1.2 Flash подешевела на 30% и снимает 15 секунд
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

