GPU 없이 소비자용 노트북에서 180억 파라미터 LLM을 구동하는 POCKET-Darwin-180B. 4비트 GGUF 양자화로 360GB→111GB 압축, 약 $1,400 하드웨어로 로컬 추론 가능.#ai #mac...

GPU 없이 소비자용 노트북에서 180억 파라미터 LLM을 구동하는 POCKET-Darwin-180B. 4비트 GGUF 양자화로 360GB→111GB 압축, 약 $1,400 하드웨어로 로컬 추론 가능.#ai #machinelearning #opensource #llm #software #coding #development #engineering #inclusive #communityRunning a 180B-Parameter LLM on a Laptop Without a GPU: VIDRAFT's POCKET-Darwin-180B

Read Original

Related