RT @JafarNajafov: TRANSLASATION: So beschleunigst du deine LLM um das 3- bis 10-fache! (100% Open-Source) Es heißt LMCac...

RT @JafarNajafov: TRANSLASATION: So beschleunigst du deine LLM um das 3- bis 10-fache! (100% Open-Source) Es heißt LMCache. Eine KV-Cache-Schicht, die wiederverwendbare Texte über GPU, CPU, Festplatte und sogar S3 speichert und sie dann in jeder vLLM- oder SGLang-Instanz wiederverwendet. Nicht nur Prefix-Caching. Jeder wiederverwendbare Text, überall im Prompt, auf jedem Knoten. In Kombination mit vLLM erzielen Teams eine 3- bis 10-fach niedrigere TTFT und massive Einsparungen bei GPU-Zyklen bei Multi-Round-QA- und RAG-Workloads. Bereits von Google Cloud, CoreWeave, GMI Cloud, Redis, Weka und NVIDIA Dynamo übernommen. Unter der Apache 2.0-Lizenz. Installation in einer Zeile: pip install lmcache Die Inferenz wird bald viel günstiger. https://github.com/LMCache/LMCache mehr auf Arint.info #AI #GPU #Inference #LLM #LMCache #OpenSource #arint_info https://x.com/JafarNajafov/status/2078065111584186865#m