Запускаем LLM локально на майнинг ферме из 4 GPUВ последнее время становится все более популярным локальный запуск LLM. ...

Запускаем LLM локально на майнинг ферме из 4 GPUВ последнее время становится все более популярным локальный запуск LLM. У каждогг свои причины, но основные это: проблемы с западными сервисами, нестабильный интернет и утечка данных в открытый доступ (преценденты уже были). В этой статье я расскажу как запускал LLM локально на майнинговом железе, какие тонкости есть при запуске. Расскажу архитектуру моей сборки и примерную стоимость железа. Также протестирую скорость работы с некоторыми наиболее популярными MoE LLM, включая модели от гугла и ChatGPT. По поводу целесообразности подобных сборок решение каждый примет сам исходя из своих задач и финансовых ресурсов.https://habr.com/ru/articles/1055222/#llm #gpu #gemma #qwen #майнинг #chatgpt