Создателей портретного режима iPhone купила OpenAI

Портретный режим в iPhone делала команда под руководством Зива Аттара и Тома Бишопа. Их стартап Glass Imaging теперь принадлежит OpenAI: по данным WSJ, на которые ссылается Threads, сделка обошлась в 300 миллионов долларов.

Коротко

• По данным TechCrunch, Glass Imaging работает с 2019 года из калифорнийского Лос-Альтоса и до сделки привлёк около 30 миллионов долларов; OpenAI заплатила за него 300 миллионов.
• Технология обходит вычислениями физические ограничения крошечной камеры смартфона: по данным TechCrunch, нейросети здесь обучают под конкретную камерную систему, а не под усреднённый телефон.
• Зачем OpenAI собственная камерная технология и появится ли из этого устройство, WSJ не пишет; по данным издания, покупку провели тихо, в последние месяцы, и публично о ней не объявляли.

Если вы не следили за стартапом, денег он собирал скромно. По данным самой компании, посевной раунд 2021 года вёл LDV Capital вместе с GroundUP Ventures, а в октябре 2024-го Glass Imaging объявил расширенный посев на 9,3 миллиона долларов во главе с GV (Google Ventures), при участии Future Ventures, Abstract Ventures и LDV Capital. Формулировка миссии на сайте компании всё это время одна: закрыть разрыв между компактной камерой смартфона и профессиональными зеркалками и беззеркалками.

OpenAI заплатила за Glass Imaging 300 миллионов долларов

Glass Imaging основали Зив Аттар и Том Бишоп, двое бывших инженеров Apple. Там они вели команду, сделавшую портретный режим, тот самый, который размывает фон программно, потому что маленькой оптике смартфона такое размытие физически не даётся.

По данным TechCrunch, компания работает с 2019 года из Лос-Альтоса в Калифорнии и до сделки привлекла около 30 миллионов долларов. Заявленная задача с самого начала была одна: обойти вычислениями физические ограничения размера камеры в смартфоне.

WSJ пишет, что OpenAI купила стартап тихо, в последние месяцы, со ссылкой на знакомых с ситуацией людей, и публично о сделке не объявляли. Там же технологию Glass Imaging описывают как искусственный интеллект, который даёт качество снимка на уровне зеркальной камеры.

Нейросети Glass Imaging обучают под конкретную камерную систему

Физика простая: чем меньше сенсор и линза, тем меньше света собирает камера и тем больше в кадре шума. Увеличить сенсор в телефоне толщиной в несколько миллиметров некуда, поэтому разницу закрывают вычислениями. По формулировке Марка Левоя, которую приводит DPReview, вычислительная фотография даёт на выходе обычный снимок, но такой, который нельзя было бы снять традиционной камерой.

Разница с обычной обработкой в том, что, по данным TechCrunch, нейросети обучают под конкретную камерную систему: модель настроена на особенности отдельного модуля. Ближе к настройщику, который годами работает с одним инструментом, чем к универсальному фильтру поверх любого снимка.

Сама компания называет продукт GlassAI и описывает его как Neural ISP, нейросетевую замену тракту обработки изображения в камере; по её словам, софт независимо тестировали на прирост разрешения и чёткости в смартфонах. Там же сказано, что Glass Imaging проектирует и новую оптику вместе с GlassAI.

В октябре 2024 года, по данным компании, она открыла инженерный офис в финском Тампере и искала там исследователей под алгоритмы восстановления изображения, которые исполняются прямо на NPU смартфона, то есть на чипе для нейросетей внутри телефона.

Ранее в этом году OpenAI вложилась в Opal, производителя премиальных веб-камер

Камеры интересуют OpenAI не впервые. Ранее в этом году компания вложилась в Opal, производителя премиальных веб-камер. Там речь о камере для стола, здесь о камере, которая живёт в телефоне и упирается в его габариты.

По данным Built In, OpenAI отдельно работает с бывшим дизайнером Apple Джони Айвом над семейством устройств, которое Сэм Альтман описывал как новое поколение компьютеров с ИИ. По тем же сообщениям, больше 200 инженеров заняты другими продуктами: колонкой, умными очками и лампой. У колонки, как сообщается, предполагается встроенная камера, которая распознаёт предметы и происходящее в комнате, и, возможно, распознавание лица для безопасных платежей по принципу Face ID.

Зачем OpenAI собственная камерная технология, WSJ не пишет, как и того, выйдет ли из неё устройство. На наш взгляд, красноречивее всего здесь цена: 300 миллионов долларов за команду, которая, по данным TechCrunch, привлекла около 30 миллионов, выглядят платой за людей и наработки.

Когда камера доедет до железа

Дату, когда разработки Glass Imaging появятся в чём-то, что можно купить, никто не называл. По сообщениям, которые приводит Built In, колонку OpenAI не ждут раньше 2027 года, а очки должны выйти следом, в 2028-м; связаны ли эти устройства с камерной командой, из сообщений не следует. Так что вопрос о собственном устройстве OpenAI в этом году остаётся открытым: WSJ его не обещает.