Mastodon discussion 1d ago

left curve dev (@leftcurvedev_)멀티 GPU 사용 시 vLLM으로 전환하라는 언급이 있습니다. vLLM의 멀티 GPU 지원 상태를 확인하며, 대규모 추론 최적화나 서빙 도구로서의 활용 가능성을...

left curve dev (@leftcurvedev_)멀티 GPU 사용 시 vLLM으로 전환하라는 언급이 있습니다. vLLM의 멀티 GPU 지원 상태를 확인하며, 대규모 추론 최적화나 서빙 도구로서의 활용 가능성을 시사하는 내용입니다.https://x.com/leftcurvedev_/status/2054872597511...

Mastodon discussion 2d ago

VUI – open-source Jarvis stack with a 300M TTS ModelVUI는 단일 GPU에서 실행 가능한 오픈소스 음성 비서 스택으로, 3억 파라미터의 TTS 모델인 vui nano를 포함합...

VUI – open-source Jarvis stack with a 300M TTS ModelVUI는 단일 GPU에서 실행 가능한 오픈소스 음성 비서 스택으로, 3억 파라미터의 TTS 모델인 vui nano를 포함합니다. 이 모델은 실시간 대화형 음성 합성을 지원하며, 6GB VRAM만으로도 구동 가능합니다. 음성 클로닝...