veloGB10 auf DGX Spark: Qwen3.8-Flash-Next im PraxistestveloGB10 ist keine vLLM-Erweiterung, sondern eine Rust/CUDA-Engi...

veloGB10 auf DGX Spark: Qwen3.8-Flash-Next im PraxistestveloGB10 ist keine vLLM-Erweiterung, sondern eine Rust/CUDA-Engine, die EXL3-Gewichte nativ lädt und über MTP-Heads spekulativ dekodiert. Qwen3.8-Flash-Next auf der Ascent GX10: Decode-Zahlen weit ueber dem, was der Stack bisher dort brachte.https://aisyndicate.ch/velogb10-qwen38-flash-next-exl3-gb10#AI #KI #LLM #AISyndicate

Read Original

Related