Как мы строили и улучшали LLM‑слой для общения с покупателямиМы начали с бота, который должен был снять с поддержки рути...

Как мы строили и улучшали LLM‑слой для общения с покупателямиМы начали с бота, который должен был снять с поддержки рутинные напоминания. Затем добавили языковую модель, научились учитывать смысл ответов покупателей и собрали каскад из двух судей и арбитра. По обновлённой сводке экспериментов совпадение действий с разметкой выросло с 74% до 84%, а общее число ошибок сократилось на 38% при примерно прежней средней стоимости решения. Расскажем, как получили этот результат: меняли промпты, проверяли правила, увеличивали контекст и сравнивали модели. Покажем, где показатели улучшались, где мы теряли полезные продолжения вместе с ошибками и почему дополнительный признак процесса оказался важнее части экспериментов с моделями. Результат относится к экспериментальной оценке: выбранный каскад ещё предстоит проверить на новых диалогах и включить в прод.https://habr.com/ru/articles/1104900/#разработка #python #ai #llm #промптинжиниринг #nlp #автоматизация_поддержки #оценка_качества_llm #классифи...