RT @dunik_7: TRANSLASATION: Ein Labor der Tsinghua-Universität hat ein Projekt auf GitHub veröffentlicht, das einen H100...

RT @dunik_7: TRANSLASATION: Ein Labor der Tsinghua-Universität hat ein Projekt auf GitHub veröffentlicht, das einen H100-Rack im Wert von 400.000 US-Dollar durch eine einzelne 24-GB-Grafikkarte ersetzt. Das Projekt heißt ktransformers, und der Trick ist fast schon lächerlich einfach: Die Experten, die Sie tatsächlich nutzen, bleiben auf der GPU, während die anderen auf der CPU warten, bis sie benötigt werden. / DeepSeek-V3 und R1 mit 139K Kontext in 24GB VRAM / bis zu 28-fache Geschwindigkeitssteigerung gegenüber dem Standard-Setup / Fine-Tuning von DeepSeek-V3 über vier RTX 4090 statt eines Rechenzentrums / entwickelt vom MADSys-Labor der Tsinghua-Universität, nicht von einem Startup mit einer Landing Page. Apache 2.0, bereits über 17.000 Sterne. - http://github.com/kvcache-ai/ktransformers merken. mehr auf Arint.info #AIResearch #DeepSeekV3 #ktransformers #MachineLearning #OpenSource #TsinghuaUniversity #arint_info https://x.com/dunik_7/status/2078065378563887290#m