Запускаем LLM локально на майнинг ферме из 4 GPUВ последнее время становится все более популярным локальный запуск LLM. У каждогг свои причины, но основные это: проблемы с западными сервисами, нестабильный интернет и утечка данных в открытый доступ (преценденты уже были). В этой статье я расскажу как запускал LLM локально на майнинговом железе, какие тонкости есть при запуске. Расскажу архитектуру моей сборки и примерную стоимость железа. Также протестирую скорость работы с некоторыми наиболее популярными MoE LLM, включая модели от гугла и ChatGPT. По поводу целесообразности подобных сборок решение каждый примет сам исходя из своих задач и финансовых ресурсов.https://habr.com/ru/articles/1055222/#llm #gpu #gemma #qwen #майнинг #chatgpt
Related
sandbox-mcp: Give AI agents a real, disposable Windows 11 PC for testing. Boot, deploy, test & throw away in 40-50 secon...
sandbox-mcp: Give AI agents a real, disposable Windows 11 PC for testing. Boot, deploy, test & throw away in 40-50 seconds. Network-off security testing. Native UI automation. Perf...
The blog "This Needs Fixin'" looks at systemic problems in our society and suggests ways to address them.Here's a random...
The blog "This Needs Fixin'" looks at systemic problems in our society and suggests ways to address them.Here's a randomly-selected link to a vintage post from the archive, dated 2...
n8n as Agent Orchestration Backbone: Scheduled Intelligence Without Custom Cronn8n as the visual backbone for agent orch...
n8n as Agent Orchestration Backbone: Scheduled Intelligence Without Custom Cronn8n as the visual backbone for agent orchestration: schedules, retries, credentials, cron hygiene, an...