GPT-6 Astra поправила 131 072 веса в Qwen руками. Я сравнил чекпойнты и нашёл множитель −5. Часть 1MIT CSAIL показали, к...

GPT-6 Astra поправила 131 072 веса в Qwen руками. Я сравнил чекпойнты и нашёл множитель −5. Часть 1MIT CSAIL показали, как фронтирная LLM читает сырые веса чужой нейросети и правит их без градиентов: у Qwen3.5-0.8B доля зацикленных ответов упала с 93 % до 33 %. Я скачал базовый и отредактированный чекпойнты и сравнил их. Правка оказалась одной осью на двух слоях, и это не «вычитание», а разворот с множителем −5. Разбираю, почему такая правка вообще работает и почему она минимальна.https://habr.com/ru/articles/1103796/#mit #трансформеры #интерпретируемость #llm #qwen #веса_нейросети #редактирование_моделей

Read Original

Related