NVIDIA quantisiert Kimi-K3 (2.8T Parameter MoE, multimodal, 1M-Token-Kontext) auf NVFP4 fuer vLLM-Inferenz auf 8 Blackwe...

NVIDIA quantisiert Kimi-K3 (2.8T Parameter MoE, multimodal, 1M-Token-Kontext) auf NVFP4 fuer vLLM-Inferenz auf 8 Blackwell-B300-GPUs. Benchmarks wie GPQA Diamond (0.9321 vs 0.9277) zeigen kaum Verluste gegenueber dem Original.https://huggingface.co/nvidia/Kimi-K3-NVFP4#KI #AI #LLM #AISyndicate

Read Original

Related