Какие ответы LLM стоит перепроверять? Как мы искали ошибки в ответах модели по logprobsПривет, Хабр! Меня зовут Лёша, я разработчик из команды перспективных технологий Центра развития искусственного интеллекта СПАО «Ингосстрах». Мы занимаемся интеллектуальной обработкой документов (Intelligent Document Processing, IDP) и для извлечения структурированных данных из входящих документов используем мультимодальные LLM, минуя отдельный этап распознавания текста (OCR). Часто для заказчиков важно не только получить результат распознавания, но и понять, какие документы стоит отправить на ручную проверку. Поэтому к нам неоднократно обращались с запросом на confidence score – оценку уверенности в правильности извлечённых данных. Ведь даже с ошибкой в номере паспорта или фамилии ответ модели остаётся синтаксически корректным JSON, и следующая система может принять неверные данные за достоверные. В привычном OCR-пайплайне (например, модели CRNN, Surya, Easy-OCR, Tesseract OCR) вместе с распознанным...
Related
🙀 California Sues OpenAI Over A.I. Safety Issues「 In a 31-page lawsuit, filed in San Francisco Superior Court, the state...
🙀 California Sues OpenAI Over A.I. Safety Issues「 In a 31-page lawsuit, filed in San Francisco Superior Court, the state said OpenAI’s lax safeguards led to cyberattacks by its A.I...
California Sues OpenAI Over Hugging Face Hack and AI Safety FailuresCalifornia Attorney General Rob Bonta sued OpenAI on...
California Sues OpenAI Over Hugging Face Hack and AI Safety FailuresCalifornia Attorney General Rob Bonta sued OpenAI on Monday, alleging the company lost control of experimental A...
🤖 Cybersecurity AI startup Corma reaches $1B valuation in about 3 monthsThree months since introducing its product, AI c...
🤖 Cybersecurity AI startup Corma reaches $1B valuation in about 3 monthsThree months since introducing its product, AI cybersecurity startup Corba has raised a $125 million Series ...