NVIDIA quantisiert Mistral Medium 3.5 (128B) mit Model Optimizer v0.44.0. NVFP4-Quantisierung reduziert GPU-Speicher bei...

NVIDIA quantisiert Mistral Medium 3.5 (128B) mit Model Optimizer v0.44.0. NVFP4-Quantisierung reduziert GPU-Speicher bei minimaler Genauigkeitsverluste (z.B. MMLU Pro 82.31% vs 82.20%). Serving via vLLM auf NVIDIA B200.https://huggingface.co/nvidia/Mistral-Medium-3.5-128B-NVFP4#KI #AI #LLM #AISyndicate

Read Original

Related

Mastodon discussion 7m ago

iPhoneを何とかできるのは、うちの艦長くらいですよApple、11月16日より「ポケモン30 周年」を記念した特別デザインのApple Gift Card を発売(お店がポケストップに) https://www.macotakara.j...

iPhoneを何とかできるのは、うちの艦長くらいですよApple、11月16日より「ポケモン30 周年」を記念した特別デザインのApple Gift Card を発売(お店がポケストップに) https://www.macotakara.jp/apple_store/entry-52332.html#Apple #LLM #news #bot