Проверка теории улучшения результата LoRA файн‑тюнинга на «умных» слояхПри LoRA‑дообучении адаптеры обычно применяются к...

Проверка теории улучшения результата LoRA файн‑тюнинга на «умных» слояхПри LoRA‑дообучении адаптеры обычно применяются ко всем слоям модели, хотя активность разных слоев во время обработки промпта заметно различается. Возникает вопрос: можно ли выбрать более «умные», активные слои для конкретной темы и получить прирост качества? Проверил гипотезу на Qwen3-1.7B: воспроизвёл метод из статьи Act‑LoRA, добавил свою метрику по градиентам, статистически проверил устойчивость сигнала и получил результат, который многое объясняет о том, как на самом деле работает LoRA‑дообучение.https://habr.com/ru/articles/1074796/#машинное_обучение #дообучение_llm #lora #finetuning #transformers #pytorch #huggingface #nlp #llm #research