Как устроен RAG для юридических документов и почему одной LLM оказалось недостаточноПервый вариант системы выглядел впол...

Как устроен RAG для юридических документов и почему одной LLM оказалось недостаточноПервый вариант системы выглядел вполне стандартно: документы разбиваются на фрагменты, для них считаются embeddings, пользователь задаёт вопрос, несколько наиболее подходящих фрагментов отправляются в LLM вместе с запросом. Модель формулирует ответ — на первых тестах этого было достаточно. Проблемы начались на вопросах, которые на первый взгляд мало чем отличаются друг от друга: Какая пеня установлена в договоре № 14/24? Кто из арендаторов не заплатил за май? А у него предусмотрена индексация? Контрагент предлагает заменить пеню 0,05% на 0,01%. Насколько это существенно? Формально всё это вопросы об аренде. Для системы это четыре разные задачи.https://habr.com/ru/articles/1082572/#RAG #юридические_документы #LLM #гибридный_поиск #BM25 #BGEM3 #RRF #контроль_галлюцинаций #legaltech