Mastodon discussion May 9

Show HN: Nexa-gauge – Cache/cost-aware graph-based eval for LLM and RAGNexa-gauge는 LLM, RAG, 에이전트 시스템의 생성 결과를 평가하기 위한 파이...

Show HN: Nexa-gauge – Cache/cost-aware graph-based eval for LLM and RAGNexa-gauge는 LLM, RAG, 에이전트 시스템의 생성 결과를 평가하기 위한 파이썬 패키지이자 CLI 도구로, 그래프 기반 평가 파이프라인을 통해 반복 가능한 품질 지표와 비용 추정, 캐시...

Dev.to tutorial May 9

You're doing RAG wrong

There's a new approach that: cuts corpus size by 40x. reduces tokens per query by 3x. improves vector...

Mastodon discussion May 9

Engineering Intelligence from Autocomplete이 글은 LLM이 단순한 다음 단어 예측기임에도 불구하고, 적절한 제약 조건(프롬프트, RAG, 도구 사용, 온도 조절)을 통해 복잡한 문제...

Engineering Intelligence from Autocomplete이 글은 LLM이 단순한 다음 단어 예측기임에도 불구하고, 적절한 제약 조건(프롬프트, RAG, 도구 사용, 온도 조절)을 통해 복잡한 문제 해결이 가능해지는 원리를 설명한다. 특히 챗봇 구현 시 LLM이 상태를 기억하지 않으므로 애플리케이션이 대...

Mastodon discussion May 9

S Banerjee (@SB434223)RAG에서 임베딩 품질만으로는 충분하지 않으며, 데이터가 커질수록 검색 공간이 조밀해져 ‘거의 관련 있는’ 문서가 늘고 recall이 떨어진다는 점을 강조한다. 따라서 대규모 ...

S Banerjee (@SB434223)RAG에서 임베딩 품질만으로는 충분하지 않으며, 데이터가 커질수록 검색 공간이 조밀해져 ‘거의 관련 있는’ 문서가 늘고 recall이 떨어진다는 점을 강조한다. 따라서 대규모 RAG에서는 reranking 같은 후처리와 검색 설계가 중요하다는 기술적 인사이트를 제시한다.https:/...

Mastodon discussion May 9

Show HN: PDF 2 Context – Convert PDF text to JSONL filespdf2context는 PDF 파일을 LLM과 RAG 파이프라인에 적합한 JSONL 형식의 텍스트 청크로 변환하는 ...

Show HN: PDF 2 Context – Convert PDF text to JSONL filespdf2context는 PDF 파일을 LLM과 RAG 파이프라인에 적합한 JSONL 형식의 텍스트 청크로 변환하는 Golang 기반 CLI 도구입니다. pdftotext를 이용한 텍스트 추출과 OCR 자동 대체 기능을 제공...

Mastodon discussion May 8

Show HN: An agent that tunes its own cachechat.betterdb.com은 Valkey, Redis, Dragonfly 문서 기반 RAG 시스템으로, 자체 캐시 라이브러리를 테스트하...

Show HN: An agent that tunes its own cachechat.betterdb.com은 Valkey, Redis, Dragonfly 문서 기반 RAG 시스템으로, 자체 캐시 라이브러리를 테스트하기 위해 개발된 에이전트입니다. 이 에이전트는 툴 캐시와 의미 기반 캐시 두 계층을 활용해 LLM 호출을 줄...

Mastodon discussion May 8

Akshay (@akshay_pachaar)RAG 시스템의 검색 성능이 5천 개 문서에서는 90%였지만 50만 개 문서로 확장하자 50%로 급락하는 사례를 제시하며, 동일한 임베딩 모델과 리트리버를 써도 문서 규모 ...

Akshay (@akshay_pachaar)RAG 시스템의 검색 성능이 5천 개 문서에서는 90%였지만 50만 개 문서로 확장하자 50%로 급락하는 사례를 제시하며, 동일한 임베딩 모델과 리트리버를 써도 문서 규모 증가가 성능 저하를 유발할 수 있음을 짚는다. 대규모 RAG 설계의 핵심 문제를 묻는 LLM 인터뷰 질문이다...