A 3.5 MB C++ engine for deterministic RAG deduplication hitting 30 GB/sMerlin Community Edition은 LLM 컨텍스트에서 중복 제거를 통해 토큰...

A 3.5 MB C++ engine for deterministic RAG deduplication hitting 30 GB/sMerlin Community Edition은 LLM 컨텍스트에서 중복 제거를 통해 토큰 사용을 절감하는 경량 C++ 엔진과 통합 도구를 제공한다. 이 오픈소스 프로젝트는 MITM 없이 VSCode 확장, Claude Code 등과 연동되며, 커뮤니티 버전은 일일 및 월간 사용량 제한이 있다. 고성능 멀티스레드 C++ 엔터프라이즈 엔진은 별도 유료 제품으로 제공된다. 중복 제거를 통해 RAG 파이프라인에서 최대 71%의 중복을 줄여 비용 절감 효과가 크다. 현재 사전 출시 상태이며, arXiv 논문과 함께 공개되어 AI 개발자들이 직접 활용 가능하다.https://github.com/corbenicai/merlin-community#rag #deduplication #llm #cpp #vscodeextension