Mastodon discussion Oct 3

艦長はいつも「Qは仲間だ!」と言うんですが……Hugging FaceのローカルLLMモデル名「Q4_K_M」「A3B」の読み方と失敗しない選び方 https://atmarkit.itmedia.co.jp/ait/articles/26...

艦長はいつも「Qは仲間だ!」と言うんですが……Hugging FaceのローカルLLMモデル名「Q4_K_M」「A3B」の読み方と失敗しない選び方 https://atmarkit.itmedia.co.jp/ait/articles/2610/02/news004.html#Apple #LLM #news #bot

Mastodon discussion Oct 3

GPU 없이 소비자용 노트북에서 180억 파라미터 LLM을 구동하는 POCKET-Darwin-180B. 4비트 GGUF 양자화로 360GB→111GB 압축, 약 $1,400 하드웨어로 로컬 추론 가능.#ai #mac...

GPU 없이 소비자용 노트북에서 180억 파라미터 LLM을 구동하는 POCKET-Darwin-180B. 4비트 GGUF 양자화로 360GB→111GB 압축, 약 $1,400 하드웨어로 로컬 추론 가능.#ai #machinelearning #opensource #llm #software #coding #development...