Por qué tu ventana de contexto de 128K no es realmente 128K: El problema del "perdido en el medio" y cómo medir lo que realmente tienes

La brecha entre el contexto anunciado y el utilizable es más amplia de lo que la mayoría de los equipos realizan

Tu proveedor de modelos de lenguaje afirma 128.000 tokens. Pero lo que realmente obtienes—la información que el modelo utiliza de manera confiable—es a menudo una fracción de ese número. La diferencia no es un error de redondeo. Es la diferencia entre un sistema que funciona y uno que produce respuestas incorrectas con confianza mientras insiste en que tiene todos los hechos.

Este no es un problema nuevo, pero es uno que las organizaciones aún no saben cómo contabilizar al elaborar presupuestos, evaluar modelos o construir sistemas de generación aumentada por recuperación (RAG). La arquitectura funciona en tu contra, no porque los modelos estén rotos, sino por cómo se comportan los mecanismos de atención bajo carga.

El fenómeno del "perdido en el medio": lo que la investigación realmente muestra

Los LLM exhiben una tendencia a utilizar la información al principio y al final de una ventana de contexto de manera más confiable que la información colocada en el medio. Esto no es una degradación sutil. Es medible, reproducible y está presente en los modelos de frontera que probablemente estés evaluando en este momento.

El efecto refleja un patrón de la investigación sobre la memoria humana: las personas recuerdan preferentemente elementos del principio (primacía) y del final (recencia) de una lista de estudio con mayor precisión, produciendo una curva característica en forma de U. El paralelismo no es metafórico—la evidencia apunta al papel de los sesgos de atención intrínsecos de los LLM y los sesgos arquitectónicos como el mecanismo que impulsa el comportamiento.

¿Qué significa esto en la práctica? Las ventanas de contexto más grandes no garantizan una recuperación perfecta—dan espacio para más contexto, pero no dan igual atención a cada parte de ese contexto. Un modelo con 128K tokens aún puede perder un hecho crítico posicionado en el token 64.000 mientras procesa correctamente el mismo hecho si apareciera en el token 500 o en el token 127.500.

Dónde aparece realmente el acantilado de rendimiento

La degradación del contexto es el deterioro de rendimiento medible que experimentan los LLM a medida que aumenta la longitud de entrada, con Chroma probando 18 modelos de frontera y descubriendo que todos se degradan. Pero el deterioro no es uniforme en todas las tareas o todos los modelos.

Experimentos sistemáticos recientes en 5 LLM de código abierto y cerrado en tareas de matemáticas, respuesta a preguntas y codificación revelan que, incluso cuando los modelos pueden recuperar perfectamente toda la información relevante, su rendimiento aún se degrada sustancialmente (13,9%–85%) a medida que aumenta la longitud de entrada pero permanece bien dentro de las longitudes reclamadas de los modelos.

Esta es la distinción crítica: el modelo no se ha quedado sin tokens. No ha truncado tu entrada. Aún está procesando todo lo que enviaste. Y sin embargo, su calidad de razonamiento se deteriora mediblemente a medida que el contexto se hace más largo. Los equipos habitualmente asumen que su ventana de contexto es "lo suficientemente grande". Eligen un modelo con 128K o 1M tokens, lo cargan y se preguntan por qué la calidad de salida se degrada. La degradación del contexto explica por qué: la capacidad es la métrica equivocada.

El mecanismo: por qué sucede esto

Los modelos a menudo se basan más en el principio y el final de una ventana de contexto larga para entender la tarea y dar forma a la respuesta. El culpable arquitectónico es los sesgos posicionales como el decaimiento RoPE—la codificación matemática que le dice al modelo dónde se sitúa la información en la secuencia. A medida que crece la longitud de la secuencia, los patrones de atención del modelo se concentran cada vez más en los límites.

La información en el medio de la ventana de contexto compite con texto irrelevante, frases repetidas y distractores. Incluso en escenarios cuidadosamente construidos con ruido mínimo, el simple peso de procesar una secuencia larga aleja el enfoque del modelo de la sección del medio.

Hay una capa secundaria: la degradación del contexto es el deterioro de rendimiento que sucede gradualmente a medida que el contexto de entrada se hace más largo—más tokens dentro, peor salida, incluso cuando la ventana de contexto del modelo no está cerca de estar llena. Esto no se trata de alcanzar un límite duro. Se trata de la relación señal-ruido que se degrada a medida que añades tokens, independientemente de si son relevantes o no.

Cómo medir el contexto realmente utilizable: un marco

Deja de tratar la ventana de contexto anunciada de tu modelo como una garantía. Comienza a medir. Así es como se ve una evaluación práctica:

1. Prueba en diferentes posiciones, no solo en capacidad

Inserta un hecho único en documentos de longitudes variables, de 750 palabras a 96 mil palabras, y coloca ese hecho en diferentes posiciones para medir cómo la colocación afectó la precisión de la recuperación. Esto replica el problema del mundo real: no te importa si el modelo puede manejar 128K tokens en teoría. Te importa si puede extraer de manera confiable información de la posición 40K cuando el contexto completo es 100K.

2. Mide la recuperación por separado del razonamiento

Extender la longitud de entrada por sí solo degrada sustancialmente la capacidad de razonamiento del LLM, incluso si el modelo aún puede recuperar la evidencia relevante—insertar espacios en blanco con distracción mínima no impide que el modelo extraiga correctamente todas las condiciones, pero sin embargo lo lleva a llegar a la respuesta equivocada. Tu evaluación necesita distinguir entre "el modelo encontró la información correcta" y "el modelo la utilizó correctamente en el razonamiento". Estos no son lo mismo.

3. Prueba con ruido realista, no escenarios limpios

Las soluciones de producción incluyen recuperación en dos etapas (recuperación amplia + reranking de cross-encoder), búsqueda híbrida (semántica + BM25) y ordenamiento estratégico (evidencia superior al principio y al final). Pero antes de implementar esas soluciones, mide cómo se desempeña tu modelo con distractores típicos—fragmentos redundantes, información desactualizada, afirmaciones competidoras.

4. Compara estrategias de ordenamiento

El enfoque más efectivo posiciona los documentos de mayor rango al principio y al final de la ventana de contexto, con documentos de menor rango en el medio, aprovechando los sesgos de atención inherentes del modelo en lugar de luchar contra ellos. Esto no es complejo. Es un simple reordenamiento de tus resultados de recuperación. Pero funciona.

Implicaciones prácticas para decisiones arquitectónicas

El problema del "perdido en el medio" empeora cuando los equipos envían demasiado contexto sin filtrar al modelo y esperan que el LLM lo clasifique. La solución mejor comienza antes del ensamblaje de instrucciones: decide qué contexto es confiable, actual, relevante y lo suficientemente específico para entrar en la ventana de contexto, eliminando fragmentos duplicados, definiciones obsoletas, evidencia débil y políticas vagamente relacionadas.

Esto reencuadra la decisión. No estás eligiendo entre un modelo de 32K y uno de 128K. Estás eligiendo entre diferentes compensaciones en la sobrecarga de gestión del contexto. Un modelo de 32K con ingeniería de contexto disciplinada y reordenamiento estratégico puede superar a un modelo de 128K cargado con contexto ruidoso.

La diferencia de costo operacional es significativa. Sobrecargar el contexto aumenta los costos. Los LLM no tienen estado, lo que significa que no tienen memoria de conversaciones pasadas—por cada mensaje que envías, todo el historial de conversación debe ser enviado de vuelta al modelo. Cada token adicional que metes en la ventana de contexto, sea relevante o no, es un token por el que estás pagando y la latencia que estás incurriendo.

Qué significa esto para tu equipo

La capacidad es la métrica equivocada. La relación señal-ruido es lo que determina la calidad de salida. Al evaluar un modelo o construir un sistema RAG, trata la ventana de contexto anunciada como un techo, no como un objetivo. Mide el contexto efectivo—la porción de tokens donde la precisión se mantiene aceptable para tu caso de uso—y diseña tu sistema alrededor de ese número.

Prueba la sensibilidad de posición. Ordena tus resultados de recuperación estratégicamente. Filtra sin piedad. Y lo más importante: no asumas que un modelo con una ventana de contexto más grande resuelve el problema. A menudo solo lo hace más grande.

Métrica	Qué mide	Por qué importa
Ventana de contexto anunciada	Capacidad máxima de tokens (p. ej., 128K)	Solo límite superior; no te dice nada sobre el rendimiento utilizable
Longitud de contexto efectiva	Tokens donde la precisión se mantiene por encima del umbral (p. ej., 85%)	Ventana de operación real para tu caso de uso
Sensibilidad de posición	Varianza de precisión basada en la colocación de información	Revela degradación en forma de U; informa la estrategia de ordenamiento de recuperación
Precisión de recuperación con exceso de contexto	Si el modelo extrae información correcta en medio del ruido	Aísla recuperación de razonamiento; muestra si el problema es arquitectura o preprocesamiento
Relación señal-ruido	Proporción de tokens relevantes a irrelevantes en contexto	Más predictiva de calidad de salida que el tamaño de contexto bruto