Апелляционный суд оставил Claude вне закупок Пентагона

Чтобы оставить Claude вне закупок Министерства войны США, апелляционному суду пришлось решить, что «манипулировать» устройством можно, просто повернув дверную ручку или нажав педаль газа. Суд округа Колумбия двумя голосами против одного отклонил жалобы Anthropic, выдержки из решения опубликовал Reason.

Коротко

• Апелляционный суд округа Колумбия отклонил все три довода Anthropic: исключение Claude из цепочки поставок не признано ни произвольным, ни выходящим за рамки закона, ни нарушающим Конституцию.
• Большинство прочитало слово «манипулировать» в законе 2018 года широко, как любое управление объектом без оглядки на цель, поэтому встроенные запреты Claude попали под определение риска.
• Судья Карен Хендерсон осталась в меньшинстве: по её мнению, закон писали против тайного вмешательства враждебных игроков, а не против подрядчика, который честно и открыто ограничивает использование своего продукта.

Если вы не следили: Министерство войны исключило Claude из своей цепочки поставок по Федеральному закону о безопасности цепочки поставок при закупках 2018 года (FASCSA). Поводом стал отказ Anthropic смягчить контрактные запреты на использование Claude в смертоносной автономной войне и для слежки внутри страны. Anthropic оспорила решение, назвав его произвольным, не предусмотренным законом и неконституционным.

Суд нашёл у Claude три признака риска для цепочки поставок

Решение большинства написал судья Грегори Кацас, к нему присоединилась судья Неоми Рао. По их выводу, у министерства было достаточно оснований считать, что дальнейшая интеграция Claude в информационные системы ведомства, самим ведомством или его подрядчиками, создаёт риск национальной безопасности, который покрывает закон. Интересы правительства в суде представляли Шэрон Свингл, Бретт Шумейт, Эрик Макартур, Шон Янда и Брайан Спрингер.

Опору суд нашёл в трёх вещах. Anthropic сама признаёт, что встраивает в Claude ограничения, которые не дают модели выполнять нежелательные для компании задачи. Эти ограничения не раз останавливали Claude на запросах государственных пользователей. А недавно стороны разошлись в том, запрещает ли контракт использовать Claude в идущей зарубежной военной операции, и ведомство, по словам суда, не было уверено, сработает ли Claude так, как нужно.

Доводы о надлежащей процедуре и Первой поправке суд тоже отклонил

Жалоба на нарушение надлежащей правовой процедуры не прошла: министерство, как указал суд, быстро уведомило компанию об исключении и его причинах и дало ей честную возможность возразить. С Первой поправкой вышло так же. Основанием суд назвал отказ Anthropic принять условие контракта, которое ведомство сочло существенным; поддержка компанией более жёсткого регулирования ИИ, по выводу суда, основанием не была.

При этом большинство признало, что дело поднимает очень трудные вопросы о военном применении технологии почти невообразимой мощи. Министр указывает на риск, что слишком зажатая модель неожиданно отключится и сорвёт важную операцию. Anthropic указывает на обратный риск: модель без ограничений может галлюцинировать неподходящие цели для смертоносного удара. Суд счёл обе возможности угрозой национальной безопасности, но решил, что баланс определяют президент и министр войны, и отклонил жалобы.

Весь спор свёлся к обороту «иным образом манипулировать» в разделе 4713(k)(6)

FASCSA разрешает министру вносить поставщика в чёрный список только после вывода о «значительном» риске. Риск определён длинной цепочкой: поставщик может саботировать, злонамеренно добавить нежелательную функцию, извлечь данные или «иным образом манипулировать» проектированием, эксплуатацией, обслуживанием и другими стадиями жизни закупаемых изделий, чтобы следить, блокировать или нарушать их работу.

Обе стороны согласны, что судьба Anthropic зависит от этого последнего, остаточного оборота. Anthropic читает «манипулировать» как умышленные подрывные действия, совершённые обманом. Министр, а с ним и большинство, понимают слово буквально: двигать, управлять, контролировать объект руками или механически, независимо от цели. Отсюда пример с дверной ручкой, которую поворачивают, и педалью газа, которую нажимают.

Представьте табличку «Вход запрещён ворам, взломщикам и иным нарушителям». Узкое прочтение видит в «иных нарушителях» людей того же сорта, широкое причисляет к ним любого, кто просто взялся за дверь. Большинство выбрало второе и признало «риском для цепочки поставок» опасение, что Anthropic отключит Claude от законных действий, которых просит ведомство.

Хендерсон сослалась на историю закона, большинство ответило словами «любое лицо»

Судья Карен Лекрафт Хендерсон разошлась с коллегами именно в толковании закона. По её мнению, контекст явно говорит в пользу узкого прочтения. Конгресс принимал FASCSA в ответ на призывы разведсообщества защититься от враждебных государств и других злоумышленников, проникающих в госсистемы через цепочки поставок. Ведомства годами предупреждали о компаниях, зависимых от иностранных правительств, и описывали скрытые взломы в терминах, близких к тексту раздела 4713(k)(6).

Под такую картину, пишет Хендерсон, не подходит честное и заранее объявленное соблюдение подрядчиком ограничений, которые не нравятся государству. Большинство ответило двумя доводами. Требование скрытности нельзя выводить из того, что два глагола из семи, «саботировать» и «следить», несут такой оттенок. А в определении стоит «любое лицо», так что закон не ограничен иностранными противниками, какие бы примеры ни держали в голове отдельные конгрессмены.

Слабее всего в изложении суда выглядит фактическая часть. Решение опирается на то, что ограничения «не раз» останавливали Claude, но в опубликованных фрагментах эти случаи не описаны, как и спорная зарубежная операция; странно, что ключевой довод о надёжности модели держится на формулировке без единого примера. Reason приводит лишь выдержки, и полные тексты мнений, судя по всему, содержат заметно больше.

Как Anthropic ответит на отказ апелляции

Источник не сообщает, будет ли Anthropic просить пересмотра дела или обращаться выше, сроки тоже не названы. Неизвестно и то, как решение скажется на подрядчиках Министерства войны, которые уже встроили Claude в свои системы. Автор публикации в Reason обещает позже вернуться к статутным и конституционным вопросам, и полные тексты мнений могут показать, на каких эпизодах отказов Claude строилось решение.