A 3.5 MB C++ engine for deterministic RAG deduplication hitting 30 GB/sMerlin Community Edition은 LLM 컨텍스트에서 중복 제거를 통해 토큰...

A 3.5 MB C++ engine for deterministic RAG deduplication hitting 30 GB/sMerlin Community Edition은 LLM 컨텍스트에서 중복 제거를 통해 토큰 사용을 절감하는 경량 C++ 엔진과 통합 도구를 제공한다. 이 오픈소스 프로젝트는 MITM 없이 VSCode 확장, Claude Code 등과 연동되며, 커뮤니티 버전은 일일 및 월간 사용량 제한이 있다. 고성능 멀티스레드 C++ 엔터프라이즈 엔진은 별도 유료 제품으로 제공된다. 중복 제거를 통해 RAG 파이프라인에서 최대 71%의 중복을 줄여 비용 절감 효과가 크다. 현재 사전 출시 상태이며, arXiv 논문과 함께 공개되어 AI 개발자들이 직접 활용 가능하다.https://github.com/corbenicai/merlin-community#rag #deduplication #llm #cpp #vscodeextension

Read Original

Related

Mastodon discussion 34m ago

Classic – Hacker NewsHacker News의 인기 게시물 목록에서는 Rust로 작성된 Unix 영감을 받은 코딩 에이전트 Zerostack, 오픈소스 2.6B 파라미터 월드 모델 SANA-WM, 그리...

Classic – Hacker NewsHacker News의 인기 게시물 목록에서는 Rust로 작성된 Unix 영감을 받은 코딩 에이전트 Zerostack, 오픈소스 2.6B 파라미터 월드 모델 SANA-WM, 그리고 LLM 메모리 최적화 연구 δ-mem 등 AI 개발자에게 유용한 최신 도구와 연구가 다수 포함되어 있습니...