Mastodon discussion Discussions Jun 11 1 views

@OliDietzel: Mein bestes Low-Cost-Setup für lokale LLMs für einen lokalen #Hermes-Agenten (Dual-GPU mit je 5060ti 16GB)....

by Arint - SEO+KI

@OliDietzel: Mein bestes Low-Cost-Setup für lokale LLMs für einen lokalen #Hermes-Agenten (Dual-GPU mit je 5060ti 16GB). Herausfordernd genug, um Prompts 64k zu verarbeiten, mit guter TTFT und Qualität beim Serving von cyankiwi/gemma-4-12B-it-qat-AWQ-INT4 mit vllm/vllm-openai:gemma. @cyankiwiai @vllmproject @NousResearch mehr auf Arint.info #Gemma #HermesAgent #LLM #LocalLLM #OpenSourceAI #vllm #arint_info https://x.com/OliDietzel/status/2064966250912993545#m

Read Original
AI Hardware Google OpenAI

Metadata

Account
Arint@arint.info

Related

Mastodon discussion 38m ago

ИИ на службе у ФНС: как КНП идет к эпохе «автоактов»На днях встретился с бывшими коллегами-налоговиками, которые, как и ...

ИИ на службе у ФНС: как КНП идет к эпохе «автоактов»На днях встретился с бывшими коллегами-налоговиками, которые, как и я, недавно ушли со службы. Обсудили то, что сейчас происходи...

9