Какую LLM выбрать: собираем свой бенчмаркОбычно, когда выбирают LLM, сначала смотрят рейтинги. Проблема рейтингов в том, что по ним не узнать, как модель справится с вашими задачами и сколько это будет стоить. В нашей лаборатории мы пользуемся электронным лабораторным — базой, куда записываются данные всех эксперименотов и измерений, а ИИ ассистент отвечает на вопросы по ней. Разумеется, возник вопрос, какая модель должна этим ассистентом рулить. Публичные рейтинги ответа не давали, так что мы собрали свой бенчмарк: двадцать четыре вопроса по нашей работе, которые гоняются по живому журналу через mcp на моделях DeepSeek, ChatGPT и Claude. Дальше я покажу, как мы собирали эти двадцать четыре вопроса, что на них показали девятнадцать сочетаний модели и уровня усилий при рассуждении (reasoning effort) примерно в 450 прогонах — и как сделать такой же тест под свою задачу.https://habr.com/ru/articles/1089876/#LLM #бенчмарк #оценка_качества_LLM #ИИагенты #MCP #reasoning_effort #Claude #GPT #...
Related
🧶 6/6 #rockforcoffee V průběhu dalších desetiletí se kapela několikrát znovu spojila. Její příběh však poznamenala smrt ...
🧶 6/6 #rockforcoffee V průběhu dalších desetiletí se kapela několikrát znovu spojila. Její příběh však poznamenala smrt Keitha Emersona🩶 v roce 2016 a Grega Lakea🩶 v témže roce. Ca...
Anthropic's major backers—Google (14%), Amazon (15%), Microsoft, Nvidia, and AMD—bought $26 billion in non-voting shares...
Anthropic's major backers—Google (14%), Amazon (15%), Microsoft, Nvidia, and AMD—bought $26 billion in non-voting shares alongside the IPO. The arrangement highlights how deeply en...
Build vs Buy AI Solutions: Which Is Right for Your Business?Should you build a custom AI solution or buy an existing pla...
Build vs Buy AI Solutions: Which Is Right for Your Business?Should you build a custom AI solution or buy an existing platform? Explore the differences in cost, scalability, flexibi...