Пять способов ускорить локальный инференс MoE-модели: один я написал самВ предыдущей статье я разбирался, какие эксперты...

Пять способов ускорить локальный инференс MoE-модели: один я написал самВ предыдущей статье я разбирался, какие эксперты реально живут в VRAM у Strata, пока она крутит Qwen3.8-Flash-Next на GTX 1070. На этот раз - короче и практичнее: несколько конкретных приёмов ускорения, которые стоит проверить, если вы гоняете большую MoE-модель на домашнем железе. Один из них - патч, который я написал и прогнал сам, с цифрами “было/стало” на реальном движке. Остальные - то, что уже работает в Strata “из коробки”, просто не всегда включено и не всегда замечено.https://habr.com/ru/articles/1106854/#оптимизация #strata #инференс #llm #moe #prefix_caching