Ctx-opt: TypeScript middleware to trim LLM chats to a token budgetctx-opt은 TypeScript로 작성된 LLM 채팅 메시지 토큰 예산 내 최적화 미들웨어로,...

Ctx-opt: TypeScript middleware to trim LLM chats to a token budgetctx-opt은 TypeScript로 작성된 LLM 채팅 메시지 토큰 예산 내 최적화 미들웨어로, 메시지 배열을 토큰 제한에 맞게 자르거나 압축하여 반환합니다. OpenAI, Anthropic 등 다양한 SDK와 호환되며, 슬라이딩 윈도우, 요약, 관련도 평가, 하이브리드 등 여러 전략을 지원해 비용과 품질을 조절할 수 있습니다. 내장된 BM25 및 임베딩 기반 스코어러를 제공하며, 토큰 절감에 따른 비용 절감 메타데이터도 제공합니다. 브라우저와 Node.js 환경 모두에서 사용 가능하며, LLM 호출을 직접 플러그인하는 구조로 설계되어 유연성을 높였습니다.https://github.com/EvanPaules/ctx-opt#typescript #llm #middleware #tokenoptimization #openai