Context Window (en castellano, ventana de contexto) es la cantidad máxima de información que un modelo de Inteligencia Artificial puede recordar o considerar al mismo tiempo dentro de una conversación o texto.
Se trata de una memoria de carácter temporal que se usa para una acción concreta.
¿Qué información incluye la Context Window?
En los modelos de lenguaje estándar, la Context Window o Ventana de Contexto incluye:
-
Lo que el usuario acaba de escribir
-
Mensajes anteriores de la conversación
-
Documentos o textos que se le proporcionan
-
Instrucciones del sistema
Cómo se mide la Context Window
La Context Window se mide en tokens.
En general, 1.000 tokens equivalen a unas 750 palabras.
Para que te hagas una idea, modelos como GPT-4 están preparados para manejar hasta 32.000 tokens, Claude supera los 200.000 tokens y Gemini 1.5 Pro puede procesar hasta 2 millones de tokens.
Y el número sigue creciendo porque cuanto mayor es la ventana de contexto, más fácil es analizar documentos extensos, mantener conversaciones largas, entender relaciones complejas en el texto y contextualizar respuestas o crear agentes más especializados.
¿Y qué ocurre cuando una conversación supera el límite de la ventana de contexto?
Notarás pérdida de coherencia, ya que el modelo olvida instrucciones dadas al inicio; alucinaciones o incluso datos inventados para rellenar los huecos no recordados; y truncamiento, centrándose el modelo solo en las últimas instrucciones sin tener en cuenta todo lo anterior.
Por eso los grandes desarrolladores de plataformas de IA están trabajando continuamente en ampliar el número de tokens que pueden analizar sus modelos. Pero es un desafío técnico muy complejo ya que incrementa exponencialmente el costo computacional, aumenta la necesidad de memoria y, además, puede reducir la velocidad en las respuestas.
Context Window, memoria y entrenamiento
Context Window es, como decimos, la memoria temporal dentro de la conversación actual, así que no es lo mismo que la memoria de IA.
Memoria de IA es información que el sistema guarda sobre el usuario o la conversación para usarla en el futuro, si el usuario así lo pide. Puede incluir preferencias o datos relevantes de conversaciones pasadas.
Y, por otro lado, tenemos el entrenamiento, que es el proceso mediante el que el modelo aprende antes de ser usado. Para ello se usan ingentes cantidades de datos, modelos de aprendizaje y patrones de lenguaje.
