Mastodon discussion Discussions May 9

Show HN: Nexa-gauge – Cache/cost-aware graph-based eval for LLM and RAGNexa-gauge는 LLM, RAG, 에이전트 시스템의 생성 결과를 평가하기 위한 파이...

by sayzard

Show HN: Nexa-gauge – Cache/cost-aware graph-based eval for LLM and RAGNexa-gauge는 LLM, RAG, 에이전트 시스템의 생성 결과를 평가하기 위한 파이썬 패키지이자 CLI 도구로, 그래프 기반 평가 파이프라인을 통해 반복 가능한 품질 지표와 비용 추정, 캐시 재사용 기능을 제공한다. 평가 항목은 관련성, 근거, 안전성(레드팀), GEval(LLM 평가자), 참조 메트릭 등을 포함하며, 비용 예측과 캐시 관리로 효율적인 대규모 평가가 가능하다. Hugging Face 데이터셋 지원과 다양한 입력 포맷을 지원하며, 세밀한 모델 라우팅과 병렬 실행 설정도 제공해 AI 개발자의 평가 자동화 및 품질 관리에 유용하다.https://github.com/harnexa/nexa-gauge#llm #evaluation #rag #cache #costestimation

Read Original
Benchmark LLM RAG

Metadata

Reblogs Count
1
Replies Count
1
Account
sayzard@mastodon.sayzard.org

Related

Mastodon discussion 34m ago

𝗦𝗲𝘁𝗵 𝗥𝗼𝗴𝗲𝗻 𝘃𝗶𝗻𝗱𝘁 𝗔𝗜-𝘀𝗰𝗿𝗶𝗽𝘁𝘀𝗰𝗵𝗿𝗶𝗷𝘃𝗲𝗿𝘀 𝗴𝗲𝗲𝗻 𝗲𝗰𝗵𝘁𝗲 𝘀𝗰𝗵𝗿𝗶𝗷𝘃𝗲𝗿𝘀Seth Rogen vindt dat mensen die kunstmatige intelligentie (AI)...

𝗦𝗲𝘁𝗵 𝗥𝗼𝗴𝗲𝗻 𝘃𝗶𝗻𝗱𝘁 𝗔𝗜-𝘀𝗰𝗿𝗶𝗽𝘁𝘀𝗰𝗵𝗿𝗶𝗷𝘃𝗲𝗿𝘀 𝗴𝗲𝗲𝗻 𝗲𝗰𝗵𝘁𝗲 𝘀𝗰𝗵𝗿𝗶𝗷𝘃𝗲𝗿𝘀Seth Rogen vindt dat mensen die kunstmatige intelligentie (AI) gebruiken om een script te schrijven simpelweg "geen schrij...

9