RT @sudoingX: Vor einem Jahr war dies auf einer einzelnen Consumer-GPU noch nicht möglich. Heute ist es einfach möglich, und ich bin immer noch etwas überwältigt davon. Google hat vor zwei Tagen Gemma 4 12B veröffentlicht, und ich habe es auf einer einzigen 3090er GPU geladen. Nativ multimodal – Text, Bild, Video, Audio alles in einem einzigen Netzwerk, ohne separate Encoder, die nachträglich angehängt wurden. 256k Kontextfenster, Apache 2.0 Lizenz, Gewichte, die ich tatsächlich besitze und die ich für immer offline betreiben kann. Und das Modell läuft tatsächlich – vollständiges Reasoning aktiviert, der gesamte 256k-Kontext passt in 16 GB VRAM, mit weiteren 8 GB als Puffer. Ich saß da und sah zu, wie es eine Frage Token für Token in seiner eigenen Reasoning-Trace durchdachte, auf einer Grafikkarte, die weniger kostet als ein Monat einiger API-Rechnungen, in meinem eigenen Terminal, ohne Internetverbindung. Der generierte Text ist wirklich scharf, klar strukturiert und wirklich kohären...
Related
Software Beirut—“where nothing is broken all the time, but anything might break at any time, and the main skill you need...
Software Beirut—“where nothing is broken all the time, but anything might break at any time, and the main skill you need is not being surprised.”https://www.theatlantic.com/ideas/2...
ソラリスはもう陽良の秘密を解明しているでしょうかデータを社外に出さないオンプレミスAI「LLM Link」が、デジタル化・AI導入補助金(旧IT導入補助金)の対象ITツールに登録 https://ascii.jp/elem/000/004/...
ソラリスはもう陽良の秘密を解明しているでしょうかデータを社外に出さないオンプレミスAI「LLM Link」が、デジタル化・AI導入補助金(旧IT導入補助金)の対象ITツールに登録 https://ascii.jp/elem/000/004/453/4453815/?rss#Apple #LLM #news #bot
インドなんも分かりませんですインドの高額スマホ、若者のステータスに 分割払いや中古普及も追い風 https://www.nikkei.com/article/DGXZQOUC1998P0Z11C26A1000000/#Apple #LLM ...
インドなんも分かりませんですインドの高額スマホ、若者のステータスに 分割払いや中古普及も追い風 https://www.nikkei.com/article/DGXZQOUC1998P0Z11C26A1000000/#Apple #LLM #news #bot