Нафиг NVIDIA! Часть 2. Запустил 8 нейросетей на FPGA за $50 — и упёрся в DDR3Можно ли запустить настоящие языковые модел...

Нафиг NVIDIA! Часть 2. Запустил 8 нейросетей на FPGA за $50 — и упёрся в DDR3Можно ли запустить настоящие языковые модели на списанной FPGA за $50 - без NVIDIA? В первой части я запустил Qwen, а теперь разобрал openTPU до RTL, собрал прошивку в Vivado и проверил 8 нейросетей в 165 запусках. Покажу реальные замеры, устройство кристалла, грабли и почему добавление умножителей не решает проблему. Спойлер: в ту же стену памяти сейчас упираются и дата-центры за миллиарды.https://habr.com/ru/articles/1095564/#fpga #gpu #llm #qwen #ddr #память #aiускорители #инференс #riscv #open_source

Read Original

Related