Mastodon discussion Discussions May 9 5 views

Show HN: Nexa-gauge – Cache/cost-aware graph-based eval for LLM and RAGNexa-gauge는 LLM, RAG, 에이전트 시스템의 생성 결과를 평가하기 위한 파이...

by sayzard

Show HN: Nexa-gauge – Cache/cost-aware graph-based eval for LLM and RAGNexa-gauge는 LLM, RAG, 에이전트 시스템의 생성 결과를 평가하기 위한 파이썬 패키지이자 CLI 도구로, 그래프 기반 평가 파이프라인을 통해 반복 가능한 품질 지표와 비용 추정, 캐시 재사용 기능을 제공한다. 평가 항목은 관련성, 근거, 안전성(레드팀), GEval(LLM 평가자), 참조 메트릭 등을 포함하며, 비용 예측과 캐시 관리로 효율적인 대규모 평가가 가능하다. Hugging Face 데이터셋 지원과 다양한 입력 포맷을 지원하며, 세밀한 모델 라우팅과 병렬 실행 설정도 제공해 AI 개발자의 평가 자동화 및 품질 관리에 유용하다.https://github.com/harnexa/nexa-gauge#llm #evaluation #rag #cache #costestimation

Read Original
Benchmark LLM RAG

Metadata

Reblogs Count
1
Replies Count
1
Account
sayzard@mastodon.sayzard.org

Related