Part 4 of 4, How AI Actually Works: what does a language model really cost to run? I measured Qwen3-8B at 16, 8, 4 and 2 bits on an M4 Pro MacBook with llama.cpp: file size, perplexity, reading and writing speed, and the KV cache growing to 65,000 tokens. Four bits was nearly free; two bits was smaller, slower and worse. https://youtu.be/FIPZCMYqMzsWhat would you do with the memory you save: a bigger model or a longer context?#AI #LLM #Quantization #llamacpp #Qwen3
Related
この大事な時期にMozcに巻き込まれて被弾でもしたら……Google日本語入力が不満な人へ、Windows/Mac対応国産ソフト「もずきー」登場。遅延付きライブ変換とAI文脈補正を搭載、使うほど学習し自分好みに(生成AIクローズアップ) h...
この大事な時期にMozcに巻き込まれて被弾でもしたら……Google日本語入力が不満な人へ、Windows/Mac対応国産ソフト「もずきー」登場。遅延付きライブ変換とAI文脈補正を搭載、使うほど学習し自分好みに(生成AIクローズアップ) https://www.techno-edge.net/article/2026/11/17/5737.html#Appl...
この大事な時期にNew York Timesに巻き込まれて被弾でもしたら……Apple TV App to Get Video Podcasts Section https://www.macrumors.com/2026/11/16/ap...
この大事な時期にNew York Timesに巻き込まれて被弾でもしたら……Apple TV App to Get Video Podcasts Section https://www.macrumors.com/2026/11/16/apple-tv-app-to-get-video-podcasts-section/#Apple #LLM #news #...
ビリーさんはプリムさんにiPhoneのことを話すでしょうかPrimary Vector、Winampスキンが利用可能なiPhone用ミュージックプレイヤーアプリ「golden」をリリース https://www.macotakara.jp/...
ビリーさんはプリムさんにiPhoneのことを話すでしょうかPrimary Vector、Winampスキンが利用可能なiPhone用ミュージックプレイヤーアプリ「golden」をリリース https://www.macotakara.jp/iphone_app_store/entry-52359.html#Apple #LLM #news #bot