OpenAI тренирует агентов на договорной рутине Ironclad

OpenAI 6 октября рассказала, что GPT-6 Astra стала её первой фронтирной моделью, которую обучали на задачах из Ironclad, платформы для работы с договорами. В собственной исследовательской оценке OpenAI на 11 таких задачах средний балл Astra составил 55,0%, у GPT-5.6 Sol было 41,6%.
Ironclad стала первым партнёром программы, в которой OpenAI вместе с небольшим числом софтверных компаний превращает сложные рабочие задачи в исследовательские, о чём компания написала в блоге OpenAI. Выбрать задачи исследователям помогли сотрудники Ironclad и те, кто пользуется Ironclad в самой OpenAI. Набор охватывает юридическую, коммерческую и закупочную работу: настройку соглашений о неразглашении, процессов согласования закупок, правку типового юридического пункта, чтобы тот подстраивался под юрисдикцию, выбранную заявителем. Опытному пользователю, по оценке OpenAI, на одну такую задачу нужно в среднем 30-40 минут.
Как выглядит такая работа, OpenAI показывает на примере закупки софта. Финансы согласуют покупки выше определённой суммы, безопасность смотрит часть заявок, юристы проверяют нестандартные условия. Из этого короткого списка человек, настраивающий процесс, должен собрать форму приёма заявок, шаблоны документов, правила согласования и запись итогового договора. Агенту в той же роли надо держать все требования в голове, пока он ходит по интерфейсу: например, включить согласование финансами выше порога и проверить, что заявки выше и ниже порога уходят по правильным маршрутам. «Правильно сделать отдельные шаги недостаточно: готовый процесс должен работать во всех ситуациях, под которые он задуман», - пишут авторы.
Каждую задачу оценивали по набору от 8 до 50 критериев, в зависимости от сложности. Поэтому балл получается частичным и видно, какие части модель сделала, а где споткнулась. Ironclad предоставила размещённые копии своего продукта, где модели могли тренироваться. Исследователи OpenAI собрали вокруг типовых процессов синтетические обучающие задачи и дообучали модели с подкреплением: модель пробует, получает обратную связь и пробует снова.
Astra в сравнении работала с уровнем рассуждений Max, GPT-5.6 Sol с уровнем High: на этих настройках каждая модель набрала свой лучший результат. Среднее расчётное время попытки сократилось с 37,0 минуты у Sol до 19,2 минуты у Astra, сама OpenAI говорит о «смоделированном времени» на попытку. В относительных цифрах компания подаёт это как средний балл на 32% выше и время на 48% ниже. Набор при этом всего из 11 задач. Ещё выше прошла внутренняя модель, которую использовали при разработке Astra: 63,7% на тех же задачах. Эти улучшения OpenAI собирается перенести в будущие модели.
Для наглядности OpenAI выложила два ролика с одной и той же задачей. Astra выполнила около 94% её критериев примерно за 20 минут, GPT-5.6 Sol около 85% примерно за 32 минуты.
Роль Ironclad в посте описана через проблему, знакомую её клиентам: договорный процесс должен обрабатывать исключения и при этом сохранять правила, на которых держится бизнес. Если агент на полпути теряет одно из таких правил, это ограничивает то, что софтверная компания может уверенно ему поручить. Отсюда, по словам авторов, и вывод, что человеческий контроль по-прежнему нужен, а полноценная договорная платформа остаётся необходимой. С ростом возможностей моделей Ironclad сможет встраивать их в большее число своих продуктов.
Следующих партнёров OpenAI ищет среди компаний, у которых есть профессиональная задача, с которой нынешние агенты надёжно не справляются. От них ждут конкретный пример: что агенту поручают, свидетельства того, где он ошибается, и как оценивать успешный результат. Кроме того, партнёр должен привести людей, глубоко знающих эту работу, дать защищённую среду для тестов и данные, которые можно безопасно использовать в исследованиях.
Дальше
Claude Code 2.1.292 ставит плагин вместе с маркетплейсом
Если вы гоняете субагентов в Claude Code, каждому из них можно задать свой уровень усилия. В версии 2.1.292 у инструмента Agent появился параметр effort, и Claude запускает субагента на том уровне, который вы попросили.
Читайте также
- Astra заявлена лучшей в тестах работы за компьютером
- SPACEXSI: Cursor научился управлять другими приложениями
- Агенты GPT-Rosalind сделали за 32 минуты работу на месяцы
- GPT-6.2 Astra чаще умалчивает о проблемах
- Учёные считают, что ChatGPT ускоряет их работу в 1,9 раза
- OpenAI раздаст учёным бесплатный ChatGPT Plus
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

