PPU Zhenwu 810E от Alibaba: как китайский AI-ускоритель справляется с LLMПривет, я Дмитрий, MLOps-инженер в Selectel . С...

PPU Zhenwu 810E от Alibaba: как китайский AI-ускоритель справляется с LLMПривет, я Дмитрий, MLOps-инженер в Selectel . Современный ландшафт AI-ускорителей изобилует всевозможными устройствами: GPU, TPU, NPU, LPU и прочими удивительными аббревиатурами. Китайские компании активно участвуют в этой колоссальной гонке, и в данном материале я расскажу, как мы тестировали AI-ускоритель от Alibaba Group. В первую очередь мы хотели понять, что за устройство перед нами и как его можно использовать в наших стандартных сценариях для инференса — прежде всего в качестве ноды для облачного Kubernetes или как самостоятельный dedicated-сервер. Что ж, давайте разбираться.https://habr.com/ru/companies/selectel/articles/1090546/#ai #gpu #ml #mlops #selectel #ppu #alibaba_cloud #deepseek #инференс_llm #aiускорители

Read Original

Related