🌗 Janus：基於 Go 與 Vulkan 的輕量級本地 LLM 伺服器➤ 無需 Python 與 Docker，提供相容於 OpenAI 的本地模型 API 服務✤ https://github.com/Vibra-Ingenn/Jan...

🌗 Janus：基於 Go 與 Vulkan 的輕量級本地 LLM 伺服器➤ 無需 Python 與 Docker，提供相容於 OpenAI 的本地模型 API 服務✤ https://github.com/Vibra-Ingenn/JanusJanus 是一個以 Go 語言編譯的單一執行檔，可在本機 GPU（透過 Vulkan）或 CPU 上執行 .gguf 格式的 AI 模型，並提供相容於 OpenAI 的 API 介面。它無需安裝 Python、Docker 或 Ollama，支援模型熱插拔、思考模型推理內容拆分以及 GGUF 對話模板自動檢測，方便開發者直接整合至 Cursor、Cline 或各種指令列工具中。+ 免去 Python 複雜環境與 Docker 容器開銷，用 Go 與 Vulkan 跑本機 LLM 變得相當簡潔方便！+ 支援相容 OpenAI API 規範，可以直接無縫介接到 Cursor 或 Cline 等現有 AI 輔助開發工具中。#Janus #Go語言 #Vulkan #LLM #OpenAI_API #GGUF