[Перевод] Пять документов ломают ваш RAG: где реальная уязвимость и что с ней делатьRAG часто воспринимают как аккуратны...

[Перевод] Пять документов ломают ваш RAG: где реальная уязвимость и что с ней делатьRAG часто воспринимают как аккуратный способ «заземлить» LLM на документах и снизить риск галлюцинаций. Но у этой архитектуры есть менее очевидная проблема: контекст из базы знаний обычно считается доверенным, хотя именно через него в модель могут попасть вредоносные инструкции. В статье разбираем, как несколько отравленных документов могут повлиять на ответы системы, почему эмбеддинги нельзя считать безопасной абстракцией и какие уровни защиты нужны, если RAG используется не в демо, а в реальном продакшене. К рискам RAGhttps://habr.com/ru/companies/otus/articles/1029742/#RAG #LLM #промптинъекции #безопасность_llm #отравление_данных #векторные_базы_данных #эмбеддинги #OWASP_LLM_Top_10