Que un modelo acepte más de un millón de tokens no significa que los use igual de bien. Los LLM tienden a atender más al principio y al final de la entrada, y pierden precisión cuando el dato clave queda en medio. Además, más contexto implica más latencia y más coste por petición. Repaso de la evolución desde los 4.096 tokens, de técnicas como RoPE y de cuándo conviene RAG frente al contexto largo.https://www.inferama.com/es/actualidad/la-ventana-de-contexto-de-la-restriccion-de-memoria-a-la-capacidad-de-razonamiento-sostenido?utm_source=mastodon&utm_medium=social&utm_campaign=inferama#IA #LLM #RAG
Que un modelo acepte más de un millón de tokens no significa que los use igual de bien. Los LLM tienden a atender más al...
