@OliDietzel: Mein bestes Low-Cost-Setup für lokale LLMs für einen lokalen #Hermes-Agenten (Dual-GPU mit je 5060ti 16GB)....

@OliDietzel: Mein bestes Low-Cost-Setup für lokale LLMs für einen lokalen #Hermes-Agenten (Dual-GPU mit je 5060ti 16GB). Herausfordernd genug, um Prompts 64k zu verarbeiten, mit guter TTFT und Qualität beim Serving von cyankiwi/gemma-4-12B-it-qat-AWQ-INT4 mit vllm/vllm-openai:gemma. @cyankiwiai @vllmproject @NousResearch mehr auf Arint.info #Gemma #HermesAgent #LLM #LocalLLM #OpenSourceAI #vllm #arint_info https://x.com/OliDietzel/status/2064966250912993545#m

Read Original

Related

Mastodon discussion 5m ago

リアルすぎる動画生成AI『Seedance 2.5』を徹底検証【プロンプトのコツ】図解解説動画スキルを作ってみたhttps://www.aiandemily.com/%e3%83%aa%e3%82%a2%e3%83%ab%e3%81%99%...

リアルすぎる動画生成AI『Seedance 2.5』を徹底検証【プロンプトのコツ】図解解説動画スキルを作ってみたhttps://www.aiandemily.com/%e3%83%aa%e3%82%a2%e3%83%ab%e3%81%99%e3%81%8e%e3%82%8b%e5%8b%95%e7%94%bb%e7%94%9f%e6%88%90ai%e3%8...