Контекст агента переезжает на сторону OpenAI

В Chat Completions историю ведёт клиент: каждый следующий запрос повторяет прошлые сообщения, вызовы инструментов и их результаты. Responses устроен вокруг одного ответа-задачи, который может содержать текст, рассуждения, вызовы функций и структурированные данные, а новый ход ссылается на предыдущий через previous_response_id и передаёт только свежий результат инструмента. Стоимость от этого не падает. Токены прошлых ходов цепочки продолжают тарифицироваться как входные.
Chat Completions остаётся уместным для обычных чатов. Для шлюза, который сводит OpenAI, Claude, Gemini и DeepSeek, автор разбора советует оставить снаружи привычные протоколы и приводить их входящими конвертерами к единой модели запроса перед маршрутизацией, лимитами и повторами. По такой схеме построен OwlVigil.
Дальше
Точность моделей падает уже на 32 тысячах токенов
Упали ниже половины собственного результата на 32 тысячах токенов 11 из 13 моделей, каждая из которых заявляет окно от 128 тысяч. У GPT-4o в тесте NoLiMa точность на этой отметке съехала с 99,3% до 69,7%.
Читайте также
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

