RT @Italianclownz: 🤯Die Generierungsgeschwindigkeit ist das herausragende Merkmal — ROCmFP4 ist auf identischer Hardware...

RT @Italianclownz: 🤯Die Generierungsgeschwindigkeit ist das herausragende Merkmal — ROCmFP4 ist auf identischer Hardware bei der Dekodierung fast 1,8x schneller und erzielt zudem mehr Effizienz durch MTP (höhere Akzeptanzrate = weniger verschwendete Entwurfsdurchläufe), was den Vorteil weiter verstärkt. Dies stimmt mit den Angaben in den ROCmFPX-Dokumenten zu AMD-optimierten Kernels überein (unalinierte dword-Ladungen, ROCm-spezifische MMQ-Pfade) — auf dieser Hardware ist das Modell nicht nur kleiner, sondern tatsächlich schneller, kein Kompromiss zwischen Größe und Geschwindigkeit. ROCmFP4 ist bei der Prompt-Verarbeitung ~20% und bei der Generierung ~79% schneller, dabei auf der Festplatte 21% kleiner (14,15 GB vs. 17,91 GB) und erzielt bessere Ergebnisse bei MTP. Kleiner + Schneller + Kohärenter mehr auf Arint.info #AIHardware #AMD #GenerativeAI #MachineLearning #Performance #ROCmFP4 #arint_info https://x.com/Italianclownz/status/2082286487236989131#m