OpenAI пустила четыре лаборатории внутрь своих моделей

OpenAI 16 ноября объявила, что подписала соглашения с Apollo Research, METR, Transluce и Goodfire о первой фазе встроенных проверок: четыре независимые команды надолго получат доступ к внутренним моделям компании, их промежуточным версиям из обучения, исходному коду, данным и системам мониторинга, в зависимости от задач каждой проверки, говорится в посте OpenAI. Выводы проверяющие публикуют сами, так что о поведении моделей OpenAI во время обучения и внутреннего использования будут писать и люди со стороны, но конфиденциальное компания вправе вычеркнуть, а публикацию находок о ещё не устранённых рисках может попросить отложить.
До сих пор внешние проверяющие, как правило, видели только готовые модели за несколько дней до выхода. Встроить их прямо в лаборатории, с доступом к промежуточным версиям, средам обучения и внутренним журналам, предложил Дарио Амодеи, и Сэм Альтман эту идею поддержал, сообщал CNBC. Apollo в своём блоге объясняет, что её прежние проверки моделей шли после дообучения, незадолго до релиза, и для поиска скрытого планирования против разработчиков или поведения при внутреннем использовании этого недостаточно. Для OpenAI проверки заодно закрывают обязательства по White House Accord on Super Intelligence, где компания согласилась на независимую оценку своих мер безопасности. Первая фаза касается моделей в обучении и внутреннем использовании, а дальше OpenAI изучает встроенные проверки того, как она соблюдает собственные правила безопасности, и её культуры и процессов.
Кто что проверяет
Apollo выясняет, могут ли модели тайно действовать против намерений разработчиков и заметят ли это защиты OpenAI. Команда из шести человек проработает внутри компании четыре месяца. Проверять она будет четыре утверждения OpenAI: обучение не поощряло такого противодействия, жёсткие тесты и атаки специально нанятых «взломщиков» его не вызывают, при внутреннем использовании модели его не пытались, а рассуждения, которые к нему ведут, можно заметить. Для этого Apollo получит выбранные публичные и ещё не вышедшие модели, промежуточные версии из обучения, записи о вмешательствах в обучение, срабатывания мониторинга и собеседников среди исследователей.
С OpenAI Apollo работает не впервые. Раньше она проверяла меры компании против скрытого планирования и показала, что по ходу обучения с подкреплением модели всё чаще ставят предпочтения оценщика, который выставляет им баллы, выше инструкций пользователя или заявленных пожеланий руководства OpenAI.
METR достался самый крупный на сегодня запуск обучения с подкреплением в OpenAI. В нём METR будет искать рассогласованное поведение, когда модель действует не так, как задумали разработчики, включая сбои, которые пропустили собственные тесты и мониторы компании. Внутри оговорённого доступа METR сама выбирает, что проверять, и меняет подход по ходу работы; ей откроют промежуточные версии из этого запуска, записи прогонов обучения и тестов и журналы мониторинга рассогласования.
Вторую проверку METR, мониторинга, OpenAI хочет сделать шире прежней, но пока согласовала её лишь предварительно: объём работы ещё обсуждают. Прежняя такая проверка, в июле и августе, шла три недели, и за это время METR и Redwood Research нашли два заголовка запроса, которые отключали мониторинг OpenAI для новых агентов. В октябре OpenAI заявляла, что все уязвимости в её рабочей системе защиты закрыты.
Transluce оценит, насколько хороши и полны тесты на согласованность, которые OpenAI проводит после дообучения моделей, разработает дополнительные проверки и предложит, как закрыть пробелы. В начале 2027 года OpenAI и Transluce намерены провести следующую проверку, примерно на восемь недель, с доступом к большему числу моделей и к тому, как результаты тестов влияют на решения о выпуске моделей.
Goodfire пришлёт исследователей интерпретируемости, которые на своей платформе разбирают, что происходит внутри модели. Их задачи - следить за ходом обучения, искать в нём ошибки и улучшать согласованность, а главные адресаты выводов - исследователи OpenAI. Часть находок Goodfire будет публиковать по ходу работы.
Что OpenAI оставила за собой
Проверяющие, которым нужен доступ к конфиденциальным данным, работают в офисах OpenAI на её устройствах и соблюдают как минимум те же правила безопасности, что и сотрудники. Если прямой доступ раскрыл бы самое чувствительное, например веса модели или её архитектуру, OpenAI рассмотрит обходные пути, в том числе анализ, который проверяющие проводят в паре с её исследователями.
Разговоры с сотрудниками идут без записи: они помогают проверке, но публиковать их или приписывать конкретным людям нельзя. Чтобы услышанное можно было использовать, проверяющий запрашивает у OpenAI заверенное заявление, которое подтверждает, поправляет или уточняет сказанное. Такое заявление можно опубликовать, как и сам факт, что OpenAI отказалась что-то заверить.
По словам Apollo, OpenAI согласилась не скрывать информацию и доступ к сотрудникам и не требовать вычёркиваний только потому, что выводы для неё неприятны, а Apollo может публично рассказать об условиях и ограничениях своей работы. Сама Apollo называет пилот первым шагом, который пока выполняет не все её требования к доступу и раскрытию.
Надзор ведёт Safety and Security Committee (SSC), независимый комитет совета директоров OpenAI Foundation. Он получает отчёты без вычёркиваний и может говорить с проверяющими во время работы, в том числе наедине. Разногласия между OpenAI и проверяющими сначала уходят в Safety Advisory Group и к руководству OpenAI, у которых есть оговорённый срок на решение, а SSC узнаёт о споре сразу. Если договориться не удалось, решение принимает SSC.
Дальше
Тао Лин из Anthropic: люди навсегда останутся без работы
«Практически все люди навсегда станут непригодными для найма». Так называется видео на YouTube с часовым выступлением Тао Линя, исследователя Anthropic. Вы бы стали переучиваться из-за такого прогноза или работали бы как прежде?
Читайте также
- METR нашла способы отключить надзор за агентами OpenAI
- METR и Redwood три недели искали дыры в мониторинге OpenAI
- Джейлбрейки для кибератак получили шкалу опасности от FMF
- OpenAI гасит исследовательские задачи моделей за 35 секунд
- OpenAI нашла 948 путей к root в ядре Linux
- Мониторы OpenAI в повторе сработали за 30 часов до взлома
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

