Какие ответы LLM стоит перепроверять? Как мы искали ошибки в ответах модели по logprobsПривет, Хабр! Меня зовут Лёша, я ...

Какие ответы LLM стоит перепроверять? Как мы искали ошибки в ответах модели по logprobsПривет, Хабр! Меня зовут Лёша, я разработчик из команды перспективных технологий Центра развития искусственного интеллекта СПАО «Ингосстрах». Мы занимаемся интеллектуальной обработкой документов (Intelligent Document Processing, IDP) и для извлечения структурированных данных из входящих документов используем мультимодальные LLM, минуя отдельный этап распознавания текста (OCR). Часто для заказчиков важно не только получить результат распознавания, но и понять, какие документы стоит отправить на ручную проверку. Поэтому к нам неоднократно обращались с запросом на confidence score – оценку уверенности в правильности извлечённых данных. Ведь даже с ошибкой в номере паспорта или фамилии ответ модели остаётся синтаксически корректным JSON, и следующая система может принять неверные данные за достоверные. В привычном OCR-пайплайне (например, модели CRNN, Surya, Easy-OCR, Tesseract OCR) вместе с распознанным...

Read Original

Related