Правки Claude для нестабильных тестов сработали не сразу

Хенрик Варне 15 августа рассказал в своём блоге Henrikwarne, как с помощью Claude избавлялся от нестабильных интеграционных тестов. Первую партию исправлений пришлось пересматривать: часть из них звучала убедительно, но ничего не исправляла.
Система, о которой идёт речь, почти целиком покрыта интеграционными тестами. Локально поднимается полная копия системы, и тесты работают с ней по двум каналам: через FIX-соединения (FIX - стандартный протокол обмена торговыми сообщениями) идёт трафик, через HTTP - администрирование. Раньше 1360 тестов шли последовательно и занимали около 40 минут. После переписывания набор проходит примерно за 4 минуты, потому что многие тесты теперь выполняются параллельно.
У ускорения есть цена. Чтобы параллельный прогон был быстрым, инструменты в тестах описываются один раз и переиспользуются многими тестами, а значит, тесты могут мешать друг другу. После переписывания в каждом прогоне обычно падало несколько тестов, которые по отдельности проходили. Автор так и определяет нестабильный тест: в изоляции он зелёный, а в составе большого набора может упасть из-за проблем с таймингом. Перезапустить упавший тест отдельно несложно, но Варне хотел избавиться от нестабильности раз и навсегда.
С тестовым фреймворком он был знаком плохо и рассчитывал, что Claude справится с поиском причин. Трудность была в том, что стектрейс упавшего теста часто показывал только место, где истёк таймаут ожидания нужного состояния, а настоящая причина оставалась за кадром. Причины Claude находил отлично, и автор, по его словам, увлёкся: принимал и коммитил предложенные правки, не вникая в обоснования. Проверить результат было непросто, ведь падения случайны и по одному прогону не скажешь, устранена ли проблема. Нестабильных тестов стало заметно меньше, но до нуля они не дошли.
Затем коллега, который переносил многие тестовые случаи, посмотрел изменения и поставил под вопрос многие коммиты. Несколько из них звучали вполне правдоподобно и при этом ни на что не влияли. Варне признаёт, что большую часть исправлений не понимал и просто принимал всё, что предлагал Claude.
Второй заход он начал с нуля и на этот раз разбирал каждую правку, расспрашивая Claude обо всём, что было непонятно. Часто модель оказывалась права, и автор попутно узнавал, как устроены тесты и фреймворк. Но иногда в ответ на сомнения приходило такое:
«Вы правы, что настаиваете, и мне придётся отказаться от сказанного».<br>
«Справедливое возражение. Скажу честно, что я могу продемонстрировать, а что нет».
«Так что раньше я преувеличивал».
В итоге решение находилось совместными усилиями. Отказ принимать предложения вслепую, пишет автор, дал ему больше понимания тестов и уберёг от бессмысленного кода в них. Судя по этой истории, убедительность объяснения мало что говорила о том, работает ли правка: отличить одно от другого смог только человек, задававший вопросы.
При этом Варне не скупится на похвалы. Во многих случаях Claude находил причину нестабильности блестяще: разбирал стектрейсы, сверял несколько лог-файлов, сопоставлял временные метки в поисках действий, которые накладывались друг на друга. Сильно помогает и энциклопедическое знание Java и связанных фреймворков. Однако как раз потому, что Claude так часто прав, легко решить, что прав он всегда.
Есть и побочный эффект, который автор ценит отдельно: Claude объясняет не только предложенное исправление, но и существующий код вообще. Варне сначала просит обзор того, как устроена часть системы, а потом углубляется в конкретные места уточняющими вопросами. Разбираться в чужом коде, по его словам, стало намного быстрее.
Вторая мысль касается экономики. До LLM, считает автор, вряд ли стоило бы гоняться за всеми причинами нестабильности: результат полезный, но времени ушло бы слишком много. Вероятно, то же верно и для других задач, которые раньше не окупались, а теперь обходятся достаточно дёшево.
Сейчас падение нестабильного теста случается менее чем в одном прогоне из десяти. «Гораздо лучше, чем раньше, но работы для Claude и меня ещё хватает», - заключает Варне.
Дальше
Режим сравнения моделей может появиться в Claude
Неанонсированный режим сравнения моделей в Claude заметил Testing Catalog в Threads. По его данным, входить в него можно по своему усмотрению, не дожидаясь теста A/B, при этом есть переключатель памяти и «удержание» ответов.
Читайте также
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

