Por qué el tamaño del contexto anunciado induce a error: Midiendo la precisión de recuperación efectiva en Claude, GPT y Gemini a escala
La historia de marketing frente a la realidad de los benchmarks
Cuando los proveedores anuncian las últimas capacidades de su LLM, el tamaño de la ventana de contexto recibe el protagonismo. GPT-5.5 y Gemini 3.1 Pro ofrecen una ventana de 1M de tokens en la API, mientras que Claude Opus 4.8 se mantiene en 200K. La promesa implícita: una ventana más grande equivale a una mejor capacidad. En la práctica, la relación es mucho más compleja.
La brecha entre la ventana de contexto anunciada de un modelo y su precisión de recuperación real en condiciones del mundo real es donde los equipos cometen sus errores más costosos. Un modelo que afirma tener una capacidad de 1M tokens puede caer a una precisión del 70% cuando se le pide encontrar seis hechos dispersos en ese contexto, el patrón real en los sistemas de producción. No es un defecto en los modelos; es una brecha entre las afirmaciones de marketing y cómo se comportan estos sistemas cuando el trabajo se vuelve difícil.
Cómo se prueban realmente las ventanas de contexto y por qué es importante
Un método popular para evaluar el desempeño de la ventana de contexto es la prueba de "aguja en un pajar". En esta configuración, una información específica (la "aguja") se incrusta dentro de una gran cantidad de texto irrelevante (el "pajar"). Luego se le pide al LLM que encuentre la aguja. Los investigadores varían el tamaño del pajar y la posición de la aguja, luego miden la precisión de recuperación.
Aquí está la distinción crítica: hay dos variantes de esta prueba y cuentan historias opuestas.
Recuperación de una sola aguja: Oculta un hecho. Pide al modelo que lo encuentre. Casi todos los modelos de frontera obtienen puntuaciones superiores al 90% incluso en 1M de tokens. Las puntuaciones de una sola aguja son la razón por la que los proveedores citan "recuperación perfecta en 1M de tokens" en los anuncios de lanzamiento. No reflejan el trabajo real. Esta es la prueba que ves en los anuncios de los proveedores.
Recuperación de múltiples agujas: Oculta seis hechos en diferentes ubicaciones. Pide al modelo que recupere todos ellos y combine los resultados. Esto se captura en el benchmark MRCR v2 de Google DeepMind con 8 agujas en 1M de tokens. Esto se acerca más a RAG sobre documentos largos: encontrar seis hechos, en diferentes lugares, y combinarlos. Las puntuaciones colapsan aquí.
Datos de desempeño real: Lo que muestran los números
| Rango de contexto | Líder de desempeño del modelo | Hallazgo clave |
|---|---|---|
| Menos de 32K tokens | Todos los modelos de frontera funcionan de manera comparable | Diferenciación por calidad de razonamiento, no por contexto |
| 32K–128K tokens | Claude Opus 4.6 lidera en recuperación de múltiples agujas con 93.0% en MRCR v2 | Punto óptimo para la mayoría de cargas de trabajo empresariales |
| 200K tokens | En tamaño de contexto de 32K, 27 modelos lograron al menos 95% de precisión de recuperación. Sin embargo, en 200K, solo tres modelos mantuvieron este nivel de desempeño. | Acantilado de precisión dramático incluso en tamaños de contexto largo "estándar" |
| 1M tokens (múltiples agujas) | Claude Opus 4.6 actualmente lidera MRCR v2 de 8 agujas en 1M con alrededor del 78% | La recuperación de múltiples hechos se degrada al 78%; las afirmaciones de una sola aguja lo ocultan |
El problema de "perdido en el medio" es real y medible
La investigación ha encontrado consistentemente que los LLM funcionan peor al recuperar y razonar sobre información en el medio de contextos largos en comparación con la información al principio y al final. Este efecto de "perdido en el medio" fue documentado en un artículo de 2023 y ha sido reproducido en múltiples modelos.
El impacto práctico: Una precisión de recuperación del 90% en 1M de tokens suena alta, pero significa aproximadamente 1 de cada 10 consultas devuelve un resultado incorrecto. Combinado con costos de entrada de más de €13 (aproximadamente $15 USD) por consulta y una latencia de 20–30 segundos, las ventanas de contexto de 1M completo no son prácticas para la mayoría de aplicaciones de producción.
Un hallazgo de investigación cristaliza el problema: Los LLM actuales utilizan efectivamente solo el 10-20% de su ventana de contexto y el desempeño de recuperación varía significativamente según la ubicación del hecho, siendo los hechos posicionados en el medio del contexto los más difíciles de recuperar.
Qué significa esto para tus decisiones de arquitectura
Para cargas de trabajo específicas —ingerir un corpus legal completo, resumir un manual técnico de 500 páginas, razonar en un monorepo grande sin mecánica de recuperación, o analizar una presentación financiera larga de una sola vez— la ventana de 1M tokens en GPT-5.5 y Gemini es una ventaja genuina que cambia el flujo de trabajo. Pero no es automática y no es un sustituto para la recuperación estructurada.
Tres estrategias reducen consistentemente el deterioro del contexto en producción: primero, dividir documentos y recuperar secciones relevantes (RAG) en lugar de cargar documentos completos en el contexto — esto elimina la mayoría del deterioro porque el modelo solo ve 2K–8K tokens de contenido recuperado; segundo, usar prompts estructurados que marquen explícitamente el contenido de alta prioridad ("IMPORTANTE:") para contrarrestar la difusión de atención; tercero, comprimir agresivamente el historial de conversación en sesiones de agentes largos.
La investigación es inequívoca: Expandir la ventana de contexto no es un sustituto para la recuperación estructurada. Los sistemas con acceso al contexto completo pero sin mecanismo de recuperación no funcionan sustancialmente mejor que los sistemas que solo ven 4.096 tokens de él, mientras que se vuelven menos confiables en preguntas adversariales.
Cuándo las ventanas de contexto más grandes realmente ganan
Un bufete de abogados resumiendo archivos de casos y contratos de 400 páginas: Gemini 3.1 Pro o GPT-5.5 para la ventana de 1M tokens, de modo que el documento completo se ajusta en un prompt sin ingeniería de recuperación. En este escenario, la ventana más grande elimina la complejidad y reduce los modos de fallo del chunking y la recuperación.
Para análisis de codificación y repositorio, la porción relevante completa de la base de código se puede analizar simultáneamente, permitiendo que la IA comprenda patrones arquitectónicos, identifique vulnerabilidades de seguridad y sugiera optimizaciones que abarquen múltiples módulos.
Para equipos sensibles a los costos, la ecuación cambia. Para aplicaciones sensibles a los costos como resumen de documentos, clasificación o revisión de primera pasada, la baratura de 5–10x de DeepSeek o Gemini Flash en relación con Claude Opus merece una evaluación seria.
Cómo evaluar afirmaciones de proveedores
Cuando un proveedor afirma "recuperación perfecta en 1M tokens", haz el seguimiento: ¿Es recuperación de una sola aguja o de múltiples agujas? Las puntuaciones colapsan en pruebas de múltiples agujas. Presiona para obtener resultados de MRCR v2 o benchmark RULER, no desempeño de una sola aguja.
La longitud de contexto anunciada no siempre es un proxy consistente para la precisión de recuperación. El modelo que afirma tener la ventana más grande puede no ser la opción correcta para tu carga de trabajo. Ejecuta un piloto con tus documentos y consultas reales — la brecha entre los benchmarks publicados y tu patrón de datos específico es a menudo la variable más grande.
La conclusión
El tamaño de la ventana de contexto anunciado te dice cuánto texto un modelo puede procesar teóricamente, no qué tan bien recuperará hechos de ese texto. La ventana de contexto efectiva importa más que la capacidad anunciada. Un modelo de 200.000 tokens que ofrece un desempeño confiable en el 95% de su rango a menudo supera a un modelo de 2 millones de tokens que se degrada significativamente después de la mitad.
Para equipos que construyen pipelines RAG, el chunking basado en recuperación sigue siendo el patrón más confiable. Para aquellos con documentos específicos del dominio que caben en una sola pasada —presentaciones legales, bases de código, corpus de investigación— las ventanas de contexto más grandes realmente cambian el juego. Pero solo si primero pruebas la precisión de recuperación en tus propios datos.