Новый метод Concertina позволил уменьшить нейросеть Qwen3-4B в два раза для запуска на слабом железеИсследователи предложили способ сжать большую языковую модель почти вдвое и сохранить около 85% ее качества, не тратя ресурсы на обучение с полного нуля. Полученная модель на 2,27 млрд параметров прошла дистилляцию всего на 22 млрд токенов, но в среднем уже обходит Qwen3-1.7B, которую учили на 36 трлн токенов (то есть на объеме данных в 1 600 раз больше). Метод назвали Concertina, от англ. «концертина» — вид небольшой гармошки, а не чего-то «конкретного». Способ подробно описали в статье «Folding Language Models into Themselves». Готовые веса уже выложены на Hugging Face под свободной лицензией Apache 2.0.https://habr.com/ru/companies/selectel/articles/1108608/#ai #aiагенты #ai_agent #aiagent #ии #ииагенты #иимодель #ииагент
Related
I'm having a really hard time convincing the #TikTok algorithm that I don't want #AI generated romance movies of Harry x...
I'm having a really hard time convincing the #TikTok algorithm that I don't want #AI generated romance movies of Harry x Draco.Yeah, my #insomnia is back, how did you know?
Новый метод Concertina позволил уменьшить нейросеть Qwen3-4B в два раза для запуска на слабом железеИсследователи предло...
Новый метод Concertina позволил уменьшить нейросеть Qwen3-4B в два раза для запуска на слабом железеИсследователи предложили способ сжать большую языковую модель почти вдвое и сохр...
Nvidia reportedly to buy $10B of Anthropic sharesA news account says Nvidia will buy $10 billion of Anthropic shares. Th...
Nvidia reportedly to buy $10B of Anthropic sharesA news account says Nvidia will buy $10 billion of Anthropic shares. The claim is unconfirmed and no terms were given, ahead of Ant...