Part 4 of 4, How AI Actually Works: what does a language model really cost to run? I measured Qwen3-8B at 16, 8, 4 and 2...

Part 4 of 4, How AI Actually Works: what does a language model really cost to run? I measured Qwen3-8B at 16, 8, 4 and 2 bits on an M4 Pro MacBook with llama.cpp: file size, perplexity, reading and writing speed, and the KV cache growing to 65,000 tokens. Four bits was nearly free; two bits was smaller, slower and worse. https://youtu.be/FIPZCMYqMzsWhat would you do with the memory you save: a bigger model or a longer context?#AI #LLM #Quantization #llamacpp #Qwen3

Read Original

Related

Mastodon discussion 46m ago

この大事な時期にMozcに巻き込まれて被弾でもしたら……Google日本語入力が不満な人へ、Windows/Mac対応国産ソフト「もずきー」登場。遅延付きライブ変換とAI文脈補正を搭載、使うほど学習し自分好みに(生成AIクローズアップ) h...

この大事な時期にMozcに巻き込まれて被弾でもしたら……Google日本語入力が不満な人へ、Windows/Mac対応国産ソフト「もずきー」登場。遅延付きライブ変換とAI文脈補正を搭載、使うほど学習し自分好みに(生成AIクローズアップ) https://www.techno-edge.net/article/2026/11/17/5737.html#Appl...

Mastodon discussion 47m ago

ビリーさんはプリムさんにiPhoneのことを話すでしょうかPrimary Vector、Winampスキンが利用可能なiPhone用ミュージックプレイヤーアプリ「golden」をリリース https://www.macotakara.jp/...

ビリーさんはプリムさんにiPhoneのことを話すでしょうかPrimary Vector、Winampスキンが利用可能なiPhone用ミュージックプレイヤーアプリ「golden」をリリース https://www.macotakara.jp/iphone_app_store/entry-52359.html#Apple #LLM #news #bot