Квантизация LLM: как запихнуть 70B модель в свою видюхуНу что, думаете что для запуска LLaMA 3 70B вам нужна серверная с...

Квантизация LLM: как запихнуть 70B модель в свою видюхуНу что, думаете что для запуска LLaMA 3 70B вам нужна серверная стойка за лярд рублей? Поздравляю, вас обманули маркетологи GPU-вендоров. Модели с сотнями миллиардов параметров — LLaMA 3 70B, DeepSeek-V3 с его 671 лярдом параметров — жрут vRAM как не в себя, но есть способ запихнуть это все в обычную потребительскую видюху. Сегодня в статье разберем, как работает чудо квантизации под капотом, чем отличаются PTQ и QAT, почему MoE-модели (DeepSeek-V3, Mixtral, LLaMA 4 Scout) квантизовать сложнее и как выбрать между GPTQ, GGUF и AWQ. Материал будет полезен как мимо проходящим ИИ-любопытствующим, так и ML-инженерам и специалистам по инференсу LLM, которые хотят запускать большие модели на ограниченном железе. Покажу, как все это гонять на практике и с кодом.https://habr.com/ru/companies/cloud_ru/articles/1069004/#квантизация #LLM #оптимизация #веса_моделей #moe_архитектура #трансформеры