Carlo (@Italianclownz)UnslothAI와 Alibaba Qwen의 Qwen 3.6 35B A3B MTP MXFP4_MoE를 Hugging Face에서 테스트한 결과가 공유됐다. MTP, TriAtt...

Carlo (@Italianclownz)UnslothAI와 Alibaba Qwen의 Qwen 3.6 35B A3B MTP MXFP4_MoE를 Hugging Face에서 테스트한 결과가 공유됐다. MTP, TriAttention, TurboQuant를 비교했으며, 저사양 하드웨어(RTX 3060 12GB) 환경에서 TurboQuant가 가장 좋은 성능을 보여 MTP를 앞섰고, TriAttention은 긴 컨텍스트에서만 이점이 있었다.https://x.com/Italianclownz/status/2054301170605113438#unsloth #qwen #huggingface #quantization #llm

Read Original

Related