Mastodon discussion Apr 18

Sudo su (@sudoingX)로컬 AI가 아직 부족하다는 담론은 과장됐으며, 24GB VRAM과 짧은 프롬프트만으로도 Google의 모델이 놀라운 결과를 냈다는 주장이다. 3090, 4090 같은 소비자 GPU...

Sudo su (@sudoingX)로컬 AI가 아직 부족하다는 담론은 과장됐으며, 24GB VRAM과 짧은 프롬프트만으로도 Google의 모델이 놀라운 결과를 냈다는 주장이다. 3090, 4090 같은 소비자 GPU에서도 로컬 추론의 가능성이 크다는 점을 강조한다.https://x.com/sudoingX/status/20...

Mastodon discussion Apr 18

Sudo su (@sudoingX)Gemma 4 31B dense q4_k_m를 RTX 5090 모바일 24GB가 탑재된 ROG Scar 18에서 구동한 성능 후기다. VRAM 거의 전체를 사용하면서 GPU가 99%...

Sudo su (@sudoingX)Gemma 4 31B dense q4_k_m를 RTX 5090 모바일 24GB가 탑재된 ROG Scar 18에서 구동한 성능 후기다. VRAM 거의 전체를 사용하면서 GPU가 99%로 고정됐고, 초당 15토큰을 지속적으로 처리해 모바일 GPU에서도 고성능 로컬 LLM 실행 가능성을 보여준...

Mastodon discussion Apr 18

OpenAIが最新のStargateプロジェクトから撤退するなか、マイクロソフトがノルウェーのデータセンターでNscaleから3万台のGPUを調達 | Data Center Café https://www.yayafa.com/2783...

OpenAIが最新のStargateプロジェクトから撤退するなか、マイクロソフトがノルウェーのデータセンターでNscaleから3万台のGPUを調達 | Data Center Café https://www.yayafa.com/2783838/ #AgenticAi #AI #aker #ArtificialGeneralIntelligence #Ar...

Mastodon discussion Apr 18

stevibe (@stevibe)새로 나온 Qwen3.6 35B-A3B를 여러 GPU(RTX 3090/4090/5090, DGX Spark)에서 돌려 성능을 비교한 벤치마크다. Ollama를 백엔드로 사용했으며, 지...

stevibe (@stevibe)새로 나온 Qwen3.6 35B-A3B를 여러 GPU(RTX 3090/4090/5090, DGX Spark)에서 돌려 성능을 비교한 벤치마크다. Ollama를 백엔드로 사용했으며, 지연시간(TTFT)과 토큰 처리 속도를 공개해 실사용 관점의 성능을 보여준다.https://x.com/stev...