Mastodon discussion Apr 27

ファウンドリ、シタン先生の解説が聞きたいですね【笠原一輝のユビキタス情報局】Googleの新型AI演算チップ「TPU 8t」と「TPU 8i」は何が違うのか? https://pc.watch.impress.co.jp/docs/colu...

ファウンドリ、シタン先生の解説が聞きたいですね【笠原一輝のユビキタス情報局】Googleの新型AI演算チップ「TPU 8t」と「TPU 8i」は何が違うのか? https://pc.watch.impress.co.jp/docs/column/ubiq/2104879.html#Apple #LLM #news #bot

Mastodon discussion Apr 26

0xMarioNawfal (@RoundtableSpace)작은 데스크톱 GPU에서 35B 모델을 10개 에이전트가 동시에 구동하며 74W로 총 436 tok/s를 달성했다는 주장이다. 데이터센터나 클라우드 없이도 고...

0xMarioNawfal (@RoundtableSpace)작은 데스크톱 GPU에서 35B 모델을 10개 에이전트가 동시에 구동하며 74W로 총 436 tok/s를 달성했다는 주장이다. 데이터센터나 클라우드 없이도 고성능 AI 인퍼런스가 가능함을 보여주며, 온디바이스/로컬 AI 인프라의 가능성을 강조한다.https://x....