Mastodon discussion Apr 29

keysersoze (@Surajdotdot7)Meta의 LLaMA 같은 오픈 웨이트 모델이 있어도, 실제로 최첨단 모델을 돌릴 수 있는 GPU/H100 접근은 소수 기업에 집중돼 있어 분산된 컴퓨팅 통제가 핵심 과...

keysersoze (@Surajdotdot7)Meta의 LLaMA 같은 오픈 웨이트 모델이 있어도, 실제로 최첨단 모델을 돌릴 수 있는 GPU/H100 접근은 소수 기업에 집중돼 있어 분산된 컴퓨팅 통제가 핵심 과제라는 지적이다. 오픈소스만으로는 부족하며 계산 자원의 탈중앙화가 필요하다는 논점이 강조된다.https://...

GitHub Trending repo Apr 29

hwdsl2/docker-ollama: Docker image to run an Ollama local LLM server. Secure by default, all API requests require a Bearer token (auto-generated on first start). OpenAI-compatible API. Supports first-start model pre-pull, NVIDIA GPU (CUDA) acceleration, and persistent model storage. Multi-arch: amd64, arm64.

Docker image to run an Ollama local LLM server. Secure by default, all API requests require a Bearer token (auto-generated on first start). OpenAI-compatible API. Supports first-st...