Перейти к содержанию

OpenAI

OpenAI тренирует агентов на договорной рутине Ironclad

3 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: OpenAI: модели и продукты →
Изображение: openai.com

OpenAI 6 октября рассказала, что GPT-6 Astra стала её первой фронтирной моделью, которую обучали на задачах из Ironclad, платформы для работы с договорами. В собственной исследовательской оценке OpenAI на 11 таких задачах средний балл Astra составил 55,0%, у GPT-5.6 Sol было 41,6%.

Ironclad стала первым партнёром программы, в которой OpenAI вместе с небольшим числом софтверных компаний превращает сложные рабочие задачи в исследовательские, о чём компания написала в блоге OpenAI. Выбрать задачи исследователям помогли сотрудники Ironclad и те, кто пользуется Ironclad в самой OpenAI. Набор охватывает юридическую, коммерческую и закупочную работу: настройку соглашений о неразглашении, процессов согласования закупок, правку типового юридического пункта, чтобы тот подстраивался под юрисдикцию, выбранную заявителем. Опытному пользователю, по оценке OpenAI, на одну такую задачу нужно в среднем 30-40 минут.

Как выглядит такая работа, OpenAI показывает на примере закупки софта. Финансы согласуют покупки выше определённой суммы, безопасность смотрит часть заявок, юристы проверяют нестандартные условия. Из этого короткого списка человек, настраивающий процесс, должен собрать форму приёма заявок, шаблоны документов, правила согласования и запись итогового договора. Агенту в той же роли надо держать все требования в голове, пока он ходит по интерфейсу: например, включить согласование финансами выше порога и проверить, что заявки выше и ниже порога уходят по правильным маршрутам. «Правильно сделать отдельные шаги недостаточно: готовый процесс должен работать во всех ситуациях, под которые он задуман», - пишут авторы.

Каждую задачу оценивали по набору от 8 до 50 критериев, в зависимости от сложности. Поэтому балл получается частичным и видно, какие части модель сделала, а где споткнулась. Ironclad предоставила размещённые копии своего продукта, где модели могли тренироваться. Исследователи OpenAI собрали вокруг типовых процессов синтетические обучающие задачи и дообучали модели с подкреплением: модель пробует, получает обратную связь и пробует снова.

Astra в сравнении работала с уровнем рассуждений Max, GPT-5.6 Sol с уровнем High: на этих настройках каждая модель набрала свой лучший результат. Среднее расчётное время попытки сократилось с 37,0 минуты у Sol до 19,2 минуты у Astra, сама OpenAI говорит о «смоделированном времени» на попытку. В относительных цифрах компания подаёт это как средний балл на 32% выше и время на 48% ниже. Набор при этом всего из 11 задач. Ещё выше прошла внутренняя модель, которую использовали при разработке Astra: 63,7% на тех же задачах. Эти улучшения OpenAI собирается перенести в будущие модели.

Для наглядности OpenAI выложила два ролика с одной и той же задачей. Astra выполнила около 94% её критериев примерно за 20 минут, GPT-5.6 Sol около 85% примерно за 32 минуты.

Роль Ironclad в посте описана через проблему, знакомую её клиентам: договорный процесс должен обрабатывать исключения и при этом сохранять правила, на которых держится бизнес. Если агент на полпути теряет одно из таких правил, это ограничивает то, что софтверная компания может уверенно ему поручить. Отсюда, по словам авторов, и вывод, что человеческий контроль по-прежнему нужен, а полноценная договорная платформа остаётся необходимой. С ростом возможностей моделей Ironclad сможет встраивать их в большее число своих продуктов.

Следующих партнёров OpenAI ищет среди компаний, у которых есть профессиональная задача, с которой нынешние агенты надёжно не справляются. От них ждут конкретный пример: что агенту поручают, свидетельства того, где он ошибается, и как оценивать успешный результат. Кроме того, партнёр должен привести людей, глубоко знающих эту работу, дать защищённую среду для тестов и данные, которые можно безопасно использовать в исследованиях.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.