Mastodon discussion Sep 14

새로운 LLM API 가격이 30% 올랐다는 소식에, 우리 팀은 이미 자체 GPU 클러스터로 전환 중이다. 외부 서비스 비용이 오르면 내부 인프라 투자 고민이 늘어나는 건 어쩔 수 없는 현실이다. #AI #LLM #...

새로운 LLM API 가격이 30% 올랐다는 소식에, 우리 팀은 이미 자체 GPU 클러스터로 전환 중이다. 외부 서비스 비용이 오르면 내부 인프라 투자 고민이 늘어나는 건 어쩔 수 없는 현실이다. #AI #LLM #인프라

Mastodon discussion Sep 14

シタン先生にマルチコアについて聞いたら、静かに微笑むばかりで教えてくれませんでした「iPhone 18 Pro/Pro Max」のA20 Pro、初期ベンチマークでCPU最大28%・GPU最大40%高速化か https://netaful....

シタン先生にマルチコアについて聞いたら、静かに微笑むばかりで教えてくれませんでした「iPhone 18 Pro/Pro Max」のA20 Pro、初期ベンチマークでCPU最大28%・GPU最大40%高速化か https://netaful.jp/iphone/0209300.html#Apple #LLM #news #bot

Mastodon discussion Sep 13

최근 오픈소스 LLM을 로컬에 배포하려다 보니 GPU 메모리 관리가 생각보다 까다롭다. 비용 절감이 목표라면 모델 크기와 배치 사이즈를 직접 실험해 보는 게 최선이다. 일단 돌려보고 얘기하자. #LLM #AIEngi...

최근 오픈소스 LLM을 로컬에 배포하려다 보니 GPU 메모리 관리가 생각보다 까다롭다. 비용 절감이 목표라면 모델 크기와 배치 사이즈를 직접 실험해 보는 게 최선이다. 일단 돌려보고 얘기하자. #LLM #AIEngineering