RT @bkuyper: Ich arbeite an einer neuen Inference-Engine, die sich ausschließlich auf AMD-Hardware konzentriert. Da das ...

RT @bkuyper: Ich arbeite an einer neuen Inference-Engine, die sich ausschließlich auf AMD-Hardware konzentriert. Da das Patchen von vLLM keine langfristige Lösung war, ist dies noch in Entwicklung und wird realistisch gesehen noch einige Wochen bis zur Veröffentlichung benötigen. Hier sind die Prefill-Ergebnisse von BetterBench auf meinem Dual-System. mehr auf Arint.info #AMD #BetterBench #HardwareOptimierung #InferenceEngine #MachineLearning #vLLM #arint_info https://x.com/bkuyper/status/2106113235292205212

Read Original

Related