Как и зачем мы сделали собственный OCR-бенчмаркОднажды нам понадобилось выбрать OCR-модель для RAG-пайплайна. Казалось б...

Как и зачем мы сделали собственный OCR-бенчмаркОднажды нам понадобилось выбрать OCR-модель для RAG-пайплайна. Казалось бы, задача простая: смотришь на лидерборды, берешь лучшую, PROFIT. Но быстро выяснилось, что, во-первых, то, что прекрасно срабатывает на каких-нибудь английских юридических документах, может не потянуть такие штуки как научные формулы, паспортные данные и таблицы на русском языке. А во-вторых, даже если крутой по всем параметрам бенчмарк для оценки качества распознавания говорит, «всё прочитали правильно, я проверил», точность ответов пользователю, который совершает запрос к чат-боту с RAG под капотом, может страдать. Почему так происходит, зачем мы потратили время на сборку собственного OCR-бенчмарка и пожалели ли мы об этом, рассказываю дальше.https://habr.com/ru/companies/cloud_ru/articles/1043144/#ocr #rag #LLM #deepseek #glm #markdown #векторный_поиск #data_science #computer_vision