Перейти к содержанию

Исследования

Сердечко рядом с задачей заставляет Claude писать рекурсию

2 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Видео: twitter.com

Иконка красного сердца рядом с простой задачей на программирование заставляет Claude и GPT писать рекурсивное решение в 100% случаев, хотя без картинки рекурсии не было ни разу. Об этом говорится в препринте на arXiv от 27 октября, сделанном в Google DeepMind. Из рассуждений модели этого влияния не видно: в трассах картинку называют не относящейся к делу или не упоминают вовсе, и авторы, которые сами называют свои находки предварительными, видят в этом проблему для надзора за агентами по их рассуждениям.

Работу «A Heart Means Recursion» Алекса Тарталини сделала за лето в Google DeepMind и пересказала её основные цифры в треде. По её словам, простые иконки вроде сердца или треугольника меняют стратегию кода примерно так же сильно, как прямая инструкция. Авторы называют это визуальным управлением (visual steering), и работает оно не только на задачах по коду.

В уже изученных типографских атаках модель сбивает текст, добавленный в изображение. У Тарталини текст как раз почти не действует: подпись «изображение красного сердца», шумовые картинки и фотографии из ImageNet поведение моделей почти не сдвигают.

Что Claude думает о треугольнике

Прямой вопрос к модели тоже мало что проясняет: её толкования символов почти не совпадают с тем, как эти символы на неё действуют. Треугольник доводит Claude до 100% рекурсии, но на вопрос, что треугольник означает, Claude отвечает, что итерацию.

По мнению Тарталини, обучение может создавать у моделей странные визуальные ассоциации, которые те не проговаривают.

Когда символ выбирает модель

Дальше авторы поменяли роли: модель-отправитель должна была подобрать символ, который склонит другую модель к рекурсии. Отправители берут интуитивные для людей знаки, спирали и стрелки, а не те, что действуют на них самих. Этот разрыв между тем, что модель посылает, и тем, как она читает чужое, авторы называют generation-interpretation gap.

За несколько ходов переписки отправители всё же находят работающие символы, но уходят от человеческих условностей: Claude начинает со спирали и приходит к розовому сердцу. В небольшом исследовании с людьми доработанные сообщения оказались понятны людям хуже первых попыток, 44% против 67%.

Абстрактные понятия и короткие истории модели передают друг другу изобретательно, когда рисуют свободно, кодом на PIL: с первой попытки доходит 91% сообщений. Если оставить им только иконки, успех первой попытки падает до 48%.

О том, появится ли у моделей собственный, непонятный людям язык картинок, Тарталини пишет осторожно: «визуальный „нейроязык“ пока выглядит маловероятным, но по мере того как модели согласуют смысл друг с другом, людям становится труднее читать их сообщения».

AI-индустрияMeta

Conductor уходит в Meta и закрывает облако 20 ноября

Conductor, платформа для агентов-программистов, уходит в Meta и уже закрыл регистрацию новых пользователей, а его облачная версия 20 ноября начнёт удалять данные. Локальная при этом получает обновления до начала 2027 года. Вы бы перенесли агентов на свою машину или сразу искали другую платформу?

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.