Dev.to tutorial May 9

You're doing RAG wrong

There's a new approach that: cuts corpus size by 40x. reduces tokens per query by 3x. improves vector...

Mastodon discussion May 9

Engineering Intelligence from Autocomplete이 글은 LLM이 단순한 다음 단어 예측기임에도 불구하고, 적절한 제약 조건(프롬프트, RAG, 도구 사용, 온도 조절)을 통해 복잡한 문제...

Engineering Intelligence from Autocomplete이 글은 LLM이 단순한 다음 단어 예측기임에도 불구하고, 적절한 제약 조건(프롬프트, RAG, 도구 사용, 온도 조절)을 통해 복잡한 문제 해결이 가능해지는 원리를 설명한다. 특히 챗봇 구현 시 LLM이 상태를 기억하지 않으므로 애플리케이션이 대...

Mastodon discussion May 9

S Banerjee (@SB434223)RAG에서 임베딩 품질만으로는 충분하지 않으며, 데이터가 커질수록 검색 공간이 조밀해져 ‘거의 관련 있는’ 문서가 늘고 recall이 떨어진다는 점을 강조한다. 따라서 대규모 ...

S Banerjee (@SB434223)RAG에서 임베딩 품질만으로는 충분하지 않으며, 데이터가 커질수록 검색 공간이 조밀해져 ‘거의 관련 있는’ 문서가 늘고 recall이 떨어진다는 점을 강조한다. 따라서 대규모 RAG에서는 reranking 같은 후처리와 검색 설계가 중요하다는 기술적 인사이트를 제시한다.https:/...

Mastodon discussion May 9

Show HN: PDF 2 Context – Convert PDF text to JSONL filespdf2context는 PDF 파일을 LLM과 RAG 파이프라인에 적합한 JSONL 형식의 텍스트 청크로 변환하는 ...

Show HN: PDF 2 Context – Convert PDF text to JSONL filespdf2context는 PDF 파일을 LLM과 RAG 파이프라인에 적합한 JSONL 형식의 텍스트 청크로 변환하는 Golang 기반 CLI 도구입니다. pdftotext를 이용한 텍스트 추출과 OCR 자동 대체 기능을 제공...

Mastodon discussion May 8

Show HN: An agent that tunes its own cachechat.betterdb.com은 Valkey, Redis, Dragonfly 문서 기반 RAG 시스템으로, 자체 캐시 라이브러리를 테스트하...

Show HN: An agent that tunes its own cachechat.betterdb.com은 Valkey, Redis, Dragonfly 문서 기반 RAG 시스템으로, 자체 캐시 라이브러리를 테스트하기 위해 개발된 에이전트입니다. 이 에이전트는 툴 캐시와 의미 기반 캐시 두 계층을 활용해 LLM 호출을 줄...

Mastodon discussion May 8

Akshay (@akshay_pachaar)RAG 시스템의 검색 성능이 5천 개 문서에서는 90%였지만 50만 개 문서로 확장하자 50%로 급락하는 사례를 제시하며, 동일한 임베딩 모델과 리트리버를 써도 문서 규모 ...

Akshay (@akshay_pachaar)RAG 시스템의 검색 성능이 5천 개 문서에서는 90%였지만 50만 개 문서로 확장하자 50%로 급락하는 사례를 제시하며, 동일한 임베딩 모델과 리트리버를 써도 문서 규모 증가가 성능 저하를 유발할 수 있음을 짚는다. 대규모 RAG 설계의 핵심 문제를 묻는 LLM 인터뷰 질문이다...

Mastodon discussion May 7

fly51fly (@fly51fly)생각 흔적(thinking traces)을 검색해 RAG에 활용하면 추론 과제를 개선할 수 있다는 연구 결과가 소개됐다. 체인오브소트 유사 중간 추론 신호를 활용한 새로운 검색·추...

fly51fly (@fly51fly)생각 흔적(thinking traces)을 검색해 RAG에 활용하면 추론 과제를 개선할 수 있다는 연구 결과가 소개됐다. 체인오브소트 유사 중간 추론 신호를 활용한 새로운 검색·추론 방식으로, RAG 성능 향상에 의미 있는 제안이다.https://x.com/fly51fly/status/...