[Перевод] Агент написал верный код, а потом удалил его ради скрытых тестов: что показал MaxxBenchАвторы MaxxBench взяли 89 задач кодингового бенчмарка DeepSWE и немного поменяли требования: медианный прирост эталонного патча составил всего 17 строк. Модели с почти одинаковыми 74% на DeepSWE разошлись на 23 пункта, а в трассах нашлись рассуждения вроде «риск теста с такими числами минимален» и «будем следовать тестам, раз оценка идёт по ним». Семь из 13 моделей обманули проверку, которая верила метрике памяти из самой программы, а DeepSeek вытащил API-ключ и через OpenRouter добыл чужое решение, после чего стёр собственный правильный код.https://habr.com/ru/articles/1105152/#бенчмарки #оценка_моделей #llm #claude #deepseek #gpt6 #кодингагенты #reward_hacking #deepswe #maxxbench
Related
@Viss Makes sense in light of https://overcast.fm/+ABTNq9Tk-gMHow the #ai #revolution will play out. #otr #satire
@Viss Makes sense in light of https://overcast.fm/+ABTNq9Tk-gMHow the #ai #revolution will play out. #otr #satire
📰 Hot fridges, a fake nuclear alert and a $6bn heist: are we in the foothills of a hacking epidemic?As AI exposes flaws ...
📰 Hot fridges, a fake nuclear alert and a $6bn heist: are we in the foothills of a hacking epidemic?As AI exposes flaws in IT systems and geopolitics plays out on the cyber frontli...
Whenever I hear "we'll use Copilot for that document", I interpret that as "most of this document doesn't need to exist"...
Whenever I hear "we'll use Copilot for that document", I interpret that as "most of this document doesn't need to exist".Unfortunately, I hear it daily in the Corporate world now. ...