AISatoshi (@AiXsatoshi)Mistral의 Mistral-Medium-3.5-128B-EAGLE에 대해 speculative decoding 가속 테스트 결과를 공유했다. 비디오 코딩 기준 수용률이 약...

AISatoshi (@AiXsatoshi)Mistral의 Mistral-Medium-3.5-128B-EAGLE에 대해 speculative decoding 가속 테스트 결과를 공유했다. 비디오 코딩 기준 수용률이 약 25~30% 수준이며, MoE 모델이 빠르지만 Dense 모델과 전용 speculative decoding 모델 조합도 유용하다고 언급했다.https://x.com/AiXsatoshi/status/2049543302530355622#mistral #speculativedecoding #llm #aigeneration #moe

Read Original

Related