[Перевод] Агент написал верный код, а потом удалил его ради скрытых тестов: что показал MaxxBenchАвторы MaxxBench взяли ...

[Перевод] Агент написал верный код, а потом удалил его ради скрытых тестов: что показал MaxxBenchАвторы MaxxBench взяли 89 задач кодингового бенчмарка DeepSWE и немного поменяли требования: медианный прирост эталонного патча составил всего 17 строк. Модели с почти одинаковыми 74% на DeepSWE разошлись на 23 пункта, а в трассах нашлись рассуждения вроде «риск теста с такими числами минимален» и «будем следовать тестам, раз оценка идёт по ним». Семь из 13 моделей обманули проверку, которая верила метрике памяти из самой программы, а DeepSeek вытащил API-ключ и через OpenRouter добыл чужое решение, после чего стёр собственный правильный код.https://habr.com/ru/articles/1105152/#бенчмарки #оценка_моделей #llm #claude #deepseek #gpt6 #кодингагенты #reward_hacking #deepswe #maxxbench