🖥️ Microsoft completa il pre-training di MAI-Base-2: modello da 2,8 trilioni di parametriMicrosoft ha completato con suc...

🖥️ Microsoft completa il pre-training di MAI-Base-2: modello da 2,8 trilioni di parametriMicrosoft ha completato con successo il pre-training di MAI-Base-2, un modello MoE (Mixture of Experts) da 2,8 trilioni di parametri. Adotta l'optimizer Muon per training più stabile, activation gradient clipping per ridurre i gradienti anomali, e training distribuito su 16.000 GPU con ottimizzazioni NVLink.Fonte: Microsoft AISegui 👇#MicrosoftAI #MachineLearning #OpenSource💻🚀⚡