🌘 Slotstream：讓 Mac 透過 SSD 串流專家權重 運行 125B MoE 模型 Qwen3.8-Flash-Next➤ 基於 MLX 與 Swift 開發，突破記憶體限制並提供相容 Ollama 與 OpenAI 的 API...

🌘 Slotstream：讓 Mac 透過 SSD 串流專家權重 運行 125B MoE 模型 Qwen3.8-Flash-Next➤ 基於 MLX 與 Swift 開發，突破記憶體限制並提供相容 Ollama 與 OpenAI 的 API 介面✤ https://github.com/carloslfu/slotstream開源專案 slotstream 能讓記憶體不足的 Mac 透過從 SSD 串流專家權重（Experts），運行 4-bit 量化後達 104 GB 的 Qwen3.8-Flash-Next（125B MoE）模型。該工具採用 MLX 與 Swift 開發，提供相容 Ollama 與 OpenAI 的 API 介面，大幅降低大模型在個人 Mac 上的運行門檻。+ 運行百億乃至千億參數的 MoE 混合專家模型通常需要龐大的統一記憶體，對一般記憶體容量的 Mac 來說難以實踐。Slotstream 善用 MoE 模型的架構特性，僅在需要時從 SSD 動態串流當前層#slotstream #MoE #Qwen #Apple_Silicon #MLX #LLM