RT @svpino: Ich führe Gemma 4 26b und 31b nebeneinander auf meinem Mac Studio aus. Hardware: Mac Studio M4 Max mit 128 G...

RT @svpino: Ich führe Gemma 4 26b und 31b nebeneinander auf meinem Mac Studio aus. Hardware: Mac Studio M4 Max mit 128 GB RAM. Beide Modelle laufen lokal mit Ollama. Beigefügt ist ein Vergleich beider Modelle bei der Erledigung einer einfachen Aufgabe (das erste Bild zeigt 26b, das zweite 31b). Wie erwartet ist 26b wesentlich schneller: • 37,0 % schneller bei der Prompt-Verarbeitung (66,16 vs. 48,29 Tokens/s) • 283,7 % schneller bei der Evaluierungsrate (85,57 vs. 22,30 Tokens/s). Das 26b-Modell ist ein Mixture-of-Experts-Modell mit nur 4B aktiven Parametern. Das 31b-Modell ist ein Dense-Modell (jeder Parameter ist zu jeder Zeit aktiv). Ich vergleiche diese beiden Modelle erst seit wenigen Stunden und konnte bisher keinen signifikanten Unterschied in der Qualität der Ausgaben zwischen ihnen feststellen. Mein Anwendungsfall besteht darin, ihnen PDF-Dokumente vorzulegen und Fragen dazu zu stellen. Beide Modelle haben bisher gleichwertige Ergebnisse geliefert. Ich habe auch die 8b-Version...