Сердечко рядом с задачей заставляет Claude писать рекурсию

Иконка красного сердца рядом с простой задачей на программирование заставляет Claude и GPT писать рекурсивное решение в 100% случаев, хотя без картинки рекурсии не было ни разу. Об этом говорится в препринте на arXiv от 27 октября, сделанном в Google DeepMind. Из рассуждений модели этого влияния не видно: в трассах картинку называют не относящейся к делу или не упоминают вовсе, и авторы, которые сами называют свои находки предварительными, видят в этом проблему для надзора за агентами по их рассуждениям.

Работу «A Heart Means Recursion» Алекса Тарталини сделала за лето в Google DeepMind и пересказала её основные цифры в треде. По её словам, простые иконки вроде сердца или треугольника меняют стратегию кода примерно так же сильно, как прямая инструкция. Авторы называют это визуальным управлением (visual steering), и работает оно не только на задачах по коду.

В уже изученных типографских атаках модель сбивает текст, добавленный в изображение. У Тарталини текст как раз почти не действует: подпись «изображение красного сердца», шумовые картинки и фотографии из ImageNet поведение моделей почти не сдвигают.

Что Claude думает о треугольнике

Прямой вопрос к модели тоже мало что проясняет: её толкования символов почти не совпадают с тем, как эти символы на неё действуют. Треугольник доводит Claude до 100% рекурсии, но на вопрос, что треугольник означает, Claude отвечает, что итерацию.

По мнению Тарталини, обучение может создавать у моделей странные визуальные ассоциации, которые те не проговаривают.

Когда символ выбирает модель

Дальше авторы поменяли роли: модель-отправитель должна была подобрать символ, который склонит другую модель к рекурсии. Отправители берут интуитивные для людей знаки, спирали и стрелки, а не те, что действуют на них самих. Этот разрыв между тем, что модель посылает, и тем, как она читает чужое, авторы называют generation-interpretation gap.

За несколько ходов переписки отправители всё же находят работающие символы, но уходят от человеческих условностей: Claude начинает со спирали и приходит к розовому сердцу. В небольшом исследовании с людьми доработанные сообщения оказались понятны людям хуже первых попыток, 44% против 67%.

Абстрактные понятия и короткие истории модели передают друг другу изобретательно, когда рисуют свободно, кодом на PIL: с первой попытки доходит 91% сообщений. Если оставить им только иконки, успех первой попытки падает до 48%.

О том, появится ли у моделей собственный, непонятный людям язык картинок, Тарталини пишет осторожно: «визуальный „нейроязык“ пока выглядит маловероятным, но по мере того как модели согласуют смысл друг с другом, людям становится труднее читать их сообщения».