Mastodon discussion Discussions Nov 4

Revolut hat ~2.000 Entwickler von bezahlten APIs auf selbst gehostetes GLM umgezogen.Setup: 56 Nvidia B200Kosten: ~30 Ce...

by Marco Hoffmann

Revolut hat ~2.000 Entwickler von bezahlten APIs auf selbst gehostetes GLM umgezogen.Setup: 56 Nvidia B200Kosten: ~30 Cent pro Mio. Tokens, ~90 % weniger als vorherEffekt: Coding-Zeit −60 %, Lead Time −70 % (Eigenangaben)Regulierung: Sandbox, jeder Agent-Lauf mit Mensch im LoopDer Haken: 56 B200 sind grob 2 Mio. $ Hardware plus Dauer-Tuning. Für Banken ein Rechenbeispiel, für den Mittelstand eher nicht.#AI #OpenSource #FinTech #LLM

Read Original
NVIDIA

Metadata

Reblogs Count
1
Favourites Count
1
Replies Count
1
Account
marcohoffmann

Related