Из какой LLM получится хороший виртуальный сотрудник, или Почему валятся бенчмарки моделей для генерации кодаВ феврале 2...

Из какой LLM получится хороший виртуальный сотрудник, или Почему валятся бенчмарки моделей для генерации кодаВ феврале 2026 года OpenAI рекомендовала оценивать ИИ-агентов для программирования по бенчмарку SWE-Bench Pro. Но уже 8 июля отозвала собственную рекомендацию, признав, что примерно 30% задач SWE-Bench Pro составлены с ошибками. До этого компания отказалась от SWE-bench Verified, когда выяснилось, что модели видели часть его задач и ответов еще при обучении. После этого возник вопрос: каким тестам вообще можно доверять? И пока индустрия это выясняет, исследователи NVIDIA занялись другим вопросом, который особенно важен для разработчиков моделей для генерации кода и тех, кто собирает на их основе ИИ-агентов.https://habr.com/ru/companies/ru_mts/articles/1097332/#nvidia #кодогенерация #бенчмарки #машинное_обучение #openai #llm #ииагенты #swebench #виртуальные_сотрудники #дообучение_моделей