agentic RAG 비용 절감을 위해 Gemini context caching을 적용해봤다agentic RAG 챗봇 LLM 비용을 줄이려고 Gemini explicit context caching을 적용한 기록. ...

agentic RAG 비용 절감을 위해 Gemini context caching을 적용해봤다agentic RAG 챗봇 LLM 비용을 줄이려고 Gemini explicit context caching을 적용한 기록. 캐시 hit 시 90% 할인은 진짜인데 storage 비용이 따라붙어서 손익분기를 먼저 따져봤다.https://zerry.co.kr/blog/gemini-context-caching-agentic-rag#Gemini #contextcaching #LLM #agenticrag #비용최적화 #Redis

Read Original

Related