Перейти к содержанию

OpenAI

OpenAI раскрыла метрику и предложила лимит для ИИ

3 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: OpenAI: модели и продукты →
Изображение: openai.com

OpenAI впервые показала внутренние замеры перплексии своих моделей, начиная с GPT-3.5. Цифры опубликованы вместе с предложением ко всей отрасли: сделать этот показатель общей мерой для всех лабораторий и договориться о пределах, за которые разработчики не пойдут, пока люди не научатся надёжно следить за поведением ИИ. Автор поста в блоге OpenAI, Пахоцки, признаёт, что публикация даёт конкурентам более ясную картину того, где стоит компания, но, по его словам, срочность общих мер безопасности важнее.

Перплексия показывает, насколько хорошо модель в среднем угадывает следующий кусок текста, которого она раньше не видела. Чем ниже показатель, тем точнее догадки. Считают его для базовой модели, той, что получается после предобучения на огромном массиве данных, до всех дообучений и настроек. Пахоцки называет её «субстратом интеллекта»: остальные методы, по его описанию, лишь вытаскивают из неё то, что в ней уже есть.

Что показывает шкала

OpenAI приводит логарифм перплексии на своём основном проверочном наборе данных, и на этой шкале видно, когда у моделей появлялись новые умения. GPT-3.5 с показателем около 0,99 научилась свободно вести беседу и стала основой первого ChatGPT. GPT-4, около 0,91, начала с пользой рассуждать по шагам, и из этого выросли современные рассуждающие модели. Когда показатель опустился ниже 0,8, появились, как пишет автор, преобразующие способности в кибербезопасности и математике.

Самый яркий пример - математика. Больше года OpenAI давала моделям открытые задачи как один из способов проверки. Когда компания перешла на модель с показателем около 0,76, та начала выдавать прорывные результаты, и решения вопросов, над которыми сотрудники думали годами, по словам Пахоцки, сыпались одно за другим в одной ветке Slack. Главное, на чём он настаивает: заранее было совсем не ясно, что эти умения появятся именно на таких отметках.

Отсюда и довод в пользу перплексии. Тесты на конкретные умения быстро устаревают: GPT-2 и GPT-3 бессмысленно проверять на современных бенчмарках, а тогдашние бенчмарки к GPT-4 уже были почти пройдены целиком. Прогресс в предобучении, считает автор, останется показательным и дальше.

Зачем нужен общий предел

Пахоцки ждёт резкого скачка, когда ИИ всерьёз возьмётся за алгоритмические исследования предобучения. По аналогии с математикой он допускает, что похожая лавина фундаментальных открытий в этой области возможна уже в 2027 году. Исследования того, как держать модели под контролем и следить за ними, по его оценке, вряд ли успеют за таким темпом.

Следующий рубеж, 0,68-0,7, по прогнозу автора, принесёт новые преобразующие способности. Какие именно, он не знает и допускает, что сегодня их даже не проверяют. Одновременно, ожидает он, нынешние проверки поведения моделей будут работать хуже, а модели будут лучше замечать, что их тестируют или обучают.

Поэтому он предлагает лабораториям вместе выработать правила проверки таких моделей и общие стандарты прозрачности, а также установить общие пределы по перплексии и другим замерам. Переходить их нельзя, пока не достигнута конкретная цель в умении понимать поведение ИИ, например пока не появится преемник нынешних мониторов хода рассуждений. После этого можно задавать следующий предел.

Слабые места метрики

Автор сам перечисляет недостатки. Лаборатории проверяют модели на разных данных и обучают на разных смесях, так что цифры трудно сравнивать. Перплексия не соответствует ни одной задаче, которая нужна людям. Она не учитывает достижения после предобучения: рассуждения по шагам резко поднимают способности, но перплексию не снижают. Есть и особенность самих данных: по сведениям AI Parabellum, основной набор OpenAI взят из её внутреннего кода, поэтому старые модели выглядят на нём слабее, чем выглядели бы на обычном тексте.

Наконец, никто не знает, где у шкалы дно. Нуля достичь нельзя, но насколько данные непредсказуемы сами по себе, неизвестно. По мере приближения к этому пределу прогресс по перплексии будет замедляться, хотя, как пишет Пахоцки, всё меньшие сдвиги будут означать всё большие скачки в уровне моделей.

ClaudeAnthropic

IPO Anthropic по своим правилам: банкиры недовольны

Anthropic попросила часть из 22 банков своего IPO посадить на сделку не больше четырёх человек, причём только старших. Вероятно, из страха утечек, пишет Reuters, но банки нашли обход. Работали бы на сделку вчетвером ради крупной комиссии или отказались бы?

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.