Как мы перестали мерить качество ответов RAG-поиска «на глаз» и начали нормально сравниватьЕсли вы делаете RAG-поиск по ...

Как мы перестали мерить качество ответов RAG-поиска «на глаз» и начали нормально сравниватьЕсли вы делаете RAG-поиск по документации или базе знаний, то рано или поздно упираетесь в проблему: хорошо найти — это еще не хорошо ответить. База знаний, RAG, найденные чанки, LLM строит ответ. Но пользователь не знает ни про DCG, ни про Recall@10, ни про чанки вообще. Он видит только то, что написано в итоговом ответе. А проблемы начинаются именно здесь: модель может что-то проигнорировать, ответить на другом языке, добавить что-то от себя или выдать уверенный текст с иероглифами посередине. В прошлой статье мы разбирали, как улучшали сам retrieval: чанкование, метаданные, гибридный поиск, реранкинг. Но после того как с поиском более-менее разобрались, встал другой вопрос — как вообще понять, хороший ли ответ получает пользователь? Привет, меня зовут Дима, я делаю ИИ-функции вhttps://habr.com/ru/companies/gram_ax/articles/1020248/#RAG #AI #LLM #Qwen35 #Gemma_4 #gemma_3 #бенчмарк