Mastodon discussion Discussions Oct 29

Un clúster Raspberry Pi LLM formado por 4 x Raspberry Pi 5 de 16 GB que ejecuta Qwen3-30B-A3B, un MoE de 30.000 millones...

by manuti

Un clúster Raspberry Pi LLM formado por 4 x Raspberry Pi 5 de 16 GB que ejecuta Qwen3-30B-A3B, un MoE de 30.000 millones de parámetros. El proyecto declara 15,1 tokens por segundo al generar texto. ¿Cómo se llega a esa cifra con las RPi conectadas por Gigabit?⬇️ #RaspberryPi #cluster #RaspberryPi5 #LLM #Qwen3_30B_A3B #Qwen3https://raspberryparatorpes.net/proyectos/cluster-raspberry-pi-llm-distributed-llama/

Read Original

LLM

Metadata

Account: manuti

Mastodon discussion 13m ago

After a change to a RAG system, the answers still read fluently. Whether they got better or worse is another matter: "Th...

After a change to a RAG system, the answers still read fluently. Whether they got better or worse is another matter: "The contract cannot be terminated with 30 days' notice" shares...

Mastodon discussion 16m ago

Ich fahre sehr viel mit der Bahn und heute passen die Angaben in der App gar nicht. Gestern stimmte die Abfahrtszeit nic...

Ich fahre sehr viel mit der Bahn und heute passen die Angaben in der App gar nicht. Gestern stimmte die Abfahrtszeit nicht und meinem Sohn und mir wurden nicht die gleichen Züge an...

Mastodon discussion 19m ago

OpenAI third-quarter revenue reaches $10 billion, up nearly 50%OpenAI's quarterly revenue hit $10 billion for the first ...

OpenAI third-quarter revenue reaches $10 billion, up nearly 50%OpenAI's quarterly revenue hit $10 billion for the first time in the three months ending in September, up nearly 50% ...

Un clúster Raspberry Pi LLM formado por 4 x Raspberry Pi 5 de 16 GB que ejecuta Qwen3-30B-A3B, un MoE de 30.000 millones...

Metadata

Related

After a change to a RAG system, the answers still read fluently. Whether they got better or worse is another matter: "Th...

Ich fahre sehr viel mit der Bahn und heute passen die Angaben in der App gar nicht. Gestern stimmte die Abfahrtszeit nic...

OpenAI third-quarter revenue reaches $10 billion, up nearly 50%OpenAI's quarterly revenue hit $10 billion for the first ...