Сколько на самом деле стоит запрос к LLM: формулы, кэш промптов, reasoning-токены и длинный контекстОбычно стоимость зап...

Сколько на самом деле стоит запрос к LLM: формулы, кэш промптов, reasoning-токены и длинный контекстОбычно стоимость запроса к языковой модели прикидывают так: открывают прайс, видят «вход столько-то долларов за миллион токенов, выход столько-то», умножают на ожидаемые объёмы и на этом заканчивают. Потом приходит счёт, и он отличается от прикидки в разы. Причём бывает и так, что счёт меньше: кто-то незаметно для себя попадал в кэш. Я сам несколько раз на этом обжигался. В итоге я сел и разобрал, из чего на самом деле складывается цена одного вызова. Какие числа модель возвращает в ответе и как их правильно читать. Почему ответ в три строки может стоить как страница текста. Когда кэш промптов экономит деньги, а когда только добавляет расходов. И как четыре лишних тысячи токенов во входе могут удвоить цену запроса.https://habr.com/ru/articles/1098318/#llm #prompt_caching #стоимость_api #reasoning_tokens