125 токенов в секунду на RTX 4070 Ti SUPER: как я заставил локальную LLM работать полноценным кодинг-агентомПо статистике, среди рядовых пользователей настольных компов самая распространенная видеокарта имеет 16 ГБ видеопамяти. По опросам GaugeDB, такие карты занимают 27,21% рынка. У меня как раз видеокарта NVIDIA GeForce RTX 4070 Ti SUPER с 16 ГБ видеопамяти GDDR6X, которая на текущий момент стоит 900$. До сего момента главной проблемой было то, что на видеокарте такого класса невозможно было запустить LLM-агента, который будет достаточно умным и достаточно быстрым. Если запускаешь умную модель типа Qwen 3.8 27B (Dense архитектура), то на выходе получаешь 10-20 токенов в секунду. А для комфортной работы кодинг-агента надо 100-150 токенов в секунду.https://habr.com/ru/articles/1099962/#gpu #pi #llm
Related
💻 the-incredible-pytorch: 12.6 k ⭐I needed a single bookmark for the PyTorch ecosystem.The Incredible PyTorch is a curat...
💻 the-incredible-pytorch: 12.6 k ⭐I needed a single bookmark for the PyTorch ecosystem.The Incredible PyTorch is a curated list covering everything from LLMs and object detection t...
Google announced the rollout of Gemini 4 Carbon on Tuesday, expanding access to developers and enterprises through paid ...
Google announced the rollout of Gemini 4 Carbon on Tuesday, expanding access to developers and enterprises through paid plans.Source: Gadgets 360https://www.gadgets360.com/ai/news/...
I asked an AI to speak from inside the Chinese room, with my coffee-nose hybrid in view.It said tokens come in and go ou...
I asked an AI to speak from inside the Chinese room, with my coffee-nose hybrid in view.It said tokens come in and go out, and there is no second channel where a smell arrives for ...