Где заканчивается вызов LLM и начинается backend система: локальный RAG на FastAPI и OllamaХотел разобраться где заканчивается простой вызов локальной LLM и начинается backend система. Сначала всё выглядело просто: frontend отправляет вопрос, FastAPI принимает POST /ask, backend вызывает локальную модель через Ollama и возвращает ответ. Но стало понятно: для помощника по документации этого мало. Модель отвечает, но непонятно на какие документы она опирается, какие фрагменты попали в prompt, сколько времени занял каждый этап и что делать, если индекс устарел. В статье показываю не "как вообще устроен RAG", а путь от простого вызова локальной LLM к небольшому backend/RAG-проекту с API контрактом, request_id, логированием, sources, timings, rebuild index, negative tests и честными ограничениями. От LLM вызова к RAG системеhttps://habr.com/ru/articles/1048252/#rag #llm #fastapi #ollama #python #backend #embeddings #vector_store #request_id #локальная_llm
Related
RE: https://helvede.net/@jwcph/117053511458535906Yeah, about that "AI watermarking" thing (that is actually more like fi...
RE: https://helvede.net/@jwcph/117053511458535906Yeah, about that "AI watermarking" thing (that is actually more like fingerprinting but words amirite...) #AI
For the past year, BayernKI – the Bavarian AI infrastructure for science – has been available for use in research at the...
For the past year, BayernKI – the Bavarian AI infrastructure for science – has been available for use in research at the LRZ and NHR@FAU.We asked computer scientist Gerhard Wellein...
#FamilyRegister Ep 8 offers us a bad translation for gender, given that the woman in the picture doesn't have a daughter...
#FamilyRegister Ep 8 offers us a bad translation for gender, given that the woman in the picture doesn't have a daughter, just 2 sons, and an unfortunate lexical choice for "confon...