Mastodon discussion 1d ago

Пространственное внимание на RTX 3050: эксперимент с контекстом 16KМожно ли ускорить обучение небольшой языковой модели ...

Пространственное внимание на RTX 3050: эксперимент с контекстом 16KМожно ли ускорить обучение небольшой языковой модели на длинных последовательностях, если заменить полное внимани...