LLM-судья для нейроразбора резюме на hhСоздать LLM-судью легко. Гораздо сложнее сделать так, чтобы его оценкам можно был...

LLM-судья для нейроразбора резюме на hhСоздать LLM-судью легко. Гораздо сложнее сделать так, чтобы его оценкам можно было доверять. Мы убедились в этом на практике при разработке нейроразбора резюме для ИИ-помощника hh.ru . Быстро выяснилось, что хороший LLM-судья — это отдельный продукт со своими рубриками, датасетами, метриками качества и стоимостью эксплуатации. Меня зовут Женя Орлов, я LLM Eval Lead. В этой статье расскажу, как мы проектировали систему оценки для нейроразбора резюме, почему отказались от наивных подходов и какие выводы сделали по ходу разработки.https://habr.com/ru/companies/hh/articles/1050174/#llm #llmархитектура #llmasajudge #llmasjudge #ai #ai_quality #quality_assurance