Mastodon discussion Apr 23

Spadav (@Spadav_)Qwen3.6-27B-UD-Q4_K_XL 모델을 RTX 4090에서 구동한 기록으로, 22.4GB 메모리를 사용한 것으로 보인다. 대형 양자화 모델의 실제 GPU 메모리 요구량과 실행 ...

Spadav (@Spadav_)Qwen3.6-27B-UD-Q4_K_XL 모델을 RTX 4090에서 구동한 기록으로, 22.4GB 메모리를 사용한 것으로 보인다. 대형 양자화 모델의 실제 GPU 메모리 요구량과 실행 사례를 보여주는 기술 트윗이다.https://x.com/Spadav_/status/20472990109526...

Mastodon discussion Apr 23

vLLM, LoRA и GPU-кластеры: техническая анатомия обогащения поисковой выдачи Авито мультимодальными моделямиПривет, Хабр!...

vLLM, LoRA и GPU-кластеры: техническая анатомия обогащения поисковой выдачи Авито мультимодальными моделямиПривет, Хабр! Меня зовут Кирилл Нетреба , я Backend-ML-инженер в Авито . ...

Mastodon discussion Apr 23

Ars Technica (@arstechnica)Google이 'agentic era'를 위한 새로운 TPU 2종을 공개했습니다. 에이전트형 AI와 대규모 모델 학습·추론을 겨냥한 하드웨어 업데이트로, AI 인프라 ...

Ars Technica (@arstechnica)Google이 'agentic era'를 위한 새로운 TPU 2종을 공개했습니다. 에이전트형 AI와 대규모 모델 학습·추론을 겨냥한 하드웨어 업데이트로, AI 인프라 측면에서 매우 중요한 발표입니다.https://x.com/arstechnica/status/204700068...