Модель размечает, код считает: как устроена ИИ-проверка ЕГЭ по обществознаниюОколо двух лет я делаю Telegram-бота, котор...

Модель размечает, код считает: как устроена ИИ-проверка ЕГЭ по обществознаниюОколо двух лет я делаю Telegram-бота, который проверяет развёрнутые ответы ЕГЭ по обществознанию: примеры, планы, обоснования. Я учитель и эксперт ЕГЭ, и главный вывод проекта звучит неожиданно для тех, кто строит продукты на LLM: модели нельзя поручать ставить балл. В моём боте модель только размечает ответ по JSON-схеме: какие примеры конкретны, какие суждения верны, какие пункты плана ключевые. Балл считает обычный код, а перепроверки могут его только понизить. В задании с планом модель на балл вообще не влияет: там работают лемматизация и сверка с эталонами. В статье расскажу, как устроен путь одного ответа, кто что считает в каждом из девяти заданий, почему одного «негативного сигнала» модели недостаточно, чтобы снять балл, что делать, когда ИИ недоступен, и сколько стоит одна проверка.https://habr.com/ru/articles/1104376/#егэ #pymorphy2 #edtech #telegramбот #llm #claude #prompt_engineering #tool_use #авт...