Spadav (@Spadav_)Qwen3.6-27B-UD-Q4_K_XL 모델을 RTX 4090에서 구동한 기록으로, 22.4GB 메모리를 사용한 것으로 보인다. 대형 양자화 모델의 실제 GPU 메모리 요구량과 실행 ...

Spadav (@Spadav_)Qwen3.6-27B-UD-Q4_K_XL 모델을 RTX 4090에서 구동한 기록으로, 22.4GB 메모리를 사용한 것으로 보인다. 대형 양자화 모델의 실제 GPU 메모리 요구량과 실행 사례를 보여주는 기술 트윗이다.https://x.com/Spadav_/status/2047299010952634585#qwen #llm #quantization #gpu #model

Read Original

Related