NVIDIA stellt GLM-5.3 in NVFP4-Präzision bereit. Die MoE-Architektur (753B total, 40B aktiv) nutzt sparse Attention für ...

NVIDIA stellt GLM-5.3 in NVFP4-Präzision bereit. Die MoE-Architektur (753B total, 40B aktiv) nutzt sparse Attention für 1M Kontext. Quantisierung via Model Optimizer senkt Speicherbedarf um Faktor 1,66; Inferenz auf Blackwell B300 mit SGLang.https://huggingface.co/nvidia/GLM-5.3-NVFP4#KI #AI #LLM #AISyndicate

Read Original

Related