Mastodon discussion Oct 6

Механизмы внимания в современных LLMПочему современные LLM больше не используют один «обычный» Attention? Разбираем эвол...

Механизмы внимания в современных LLMПочему современные LLM больше не используют один «обычный» Attention? Разбираем эволюцию механизмов внимания: MHA, GQA, MLA, local и sparse atte...