Mastodon discussion Discussions Sep 23 2 views

WebLLM : moteur d'inférence pour LLM directement dans le navigateur, accéléré par WebGPU. Zéro serveur, compatible API O...

by Camille Roux

WebLLM : moteur d'inférence pour LLM directement dans le navigateur, accéléré par WebGPU. Zéro serveur, compatible API OpenAI (streaming, JSON-mode). Tourne avec Llama 3, Phi 3, Gemma, Mistral, Qwen2. Open source. ⬇️https://github.com/mlc-ai/web-llm#MachineLearning #AI📬 Ma veille dev, chaque vendredi par email → https://l.camilleroux.com/sig-9z2

Read Original
API Google LLM OpenAI

Metadata

Favourites Count
2
Account
camilleroux

Related