El 3 de septiembre OpenAI presentó GPT-6 Astra con un 99,9 % en ARC-AGI-3. La organización que administra ese benchmark publicó ese mismo día un 62,7 %. Las dos cifras son correctas y salen del mismo modelo. La diferencia no está en el modelo.
Llevo unos días leyendo el material del lanzamiento de GPT-6 Astra con el cuaderno al lado, y me he quedado atascado en un detalle que casi nadie ha contado.
En la tabla de resultados que publicó OpenAI hay una fila que dice ARC-AGI-3: 99,9 %. Al lado, para contexto, Claude Opus 5 con un 30,2 %. Un salto de esos que hacen que medio Twitter escriba la palabra AGI antes de comer.
Ese mismo día, ARC Prize —la fundación que diseña y administra ARC-AGI— publicó su propio análisis del modelo. Y su número es 62,7 %.
Nadie está mintiendo. Nadie ha hecho trampas. Los dos números salieron de correr el mismo modelo contra el mismo conjunto de problemas el mismo fin de semana. Lo que cambia entre uno y otro es una cosa que en las tablas de benchmarks no aparece nunca: el arnés.
Qué es un arnés
Un modelo no habla con un benchmark directamente. Entre los dos hay una capa de fontanería que decide cómo se le presentan los problemas, cuánto contexto se arrastra de una jugada a la siguiente, qué se le deja recordar, cuántos intentos tiene, cómo se le devuelve el resultado. Esa capa es el arnés —harness, en la literatura— y es tan determinante como el modelo.
ARC Prize corrió Astra con dos.
El primero es el arnés estándar, que ellos describen como «la misma interfaz mínima y neutral respecto al proveedor» para todo el mundo. Da toda la información necesaria para resolver cada partida, pero deja al modelo la responsabilidad de decidir qué conserva en sus notas visibles. Y remachan por qué eso importa: «creemos que una futura AGI debería ser capaz de resolver ARC-AGI-3 en estas condiciones».
El segundo es el Provider Adapter, que usa funciones de la propia API de OpenAI y «conserva estado de razonamiento opaco entre peticiones y usa compactación para conversaciones largas, permitiendo al modelo reutilizar trabajo anterior». No es un truco: es una prestación real del producto, y es lo que un desarrollador tendría de serie si programa contra esa API. Pero es de OpenAI. Anthropic no tiene una equivalente. Google tampoco.
Y no es una diferencia menor. Mirando el conjunto público y el semiprivado a todos los niveles de razonamiento, las corridas con Provider Adapter fueron unas 3,66 veces más rápidas en tiempo agregado, y gastaron un 49 % menos de tokens en los 167 pares de juego-razonamiento que ambos arneses resolvieron.
Aquí está la tabla completa, que merece la pena mirar entera y no solo en la fila del titular:
| Esfuerzo | Arnés estándar | Coste | Provider Adapter | Coste |
|---|---|---|---|---|
| max | 62,7 % | 26.098 $ | 98,6 % | 17.332 $ |
| xhigh | 59,3 % | 37.317 $ | 98,4 % | 18.147 $ |
| high | 54,8 % | 40.705 $ | 99,9 % | 18.817 $ |
| medium | 38,6 % | 48.090 $ | 98,4 % | 19.285 $ |
| low | 17,5 % | 38.166 $ | 98,0 % | 21.298 $ |
| ninguno | 35,2 % | 49.791 $ | 96,7 % | 23.457 $ |
Tres cosas saltan a la vista.
La primera es que el 99,9 % del titular es exactamente la fila high del Provider Adapter. Con el arnés estándar, esa misma fila da 54,8 %.
La segunda es que con el Provider Adapter el nivel de esfuerzo casi da igual: entre el peor y el mejor hay tres puntos. Con el arnés estándar hay cuarenta y cinco. Cuando el andamio hace el trabajo pesado de gestionar el contexto, la capacidad de razonamiento del modelo deja de ser el factor que decide.
Y la tercera es que en el arnés estándar hay una anomalía: low (17,5 %) rinde peor que ninguno (35,2 %). Un poco de razonamiento es peor que nada. ARC Prize ni siquiera la menciona, y no sé qué significa, pero me gusta que publiquen la fila en vez de esconderla.
Lo que dice ARC Prize, que es la parte que no se cita
Este es el párrafo que decidió que aquí había un artículo. ARC Prize no publicó los dos números por transparencia decorativa: los publicó porque responden a dos preguntas distintas.
«Nuestro arnés estándar para ARC-AGI-3 pregunta cómo se comparan los modelos bajo la misma interfaz mínima y neutral respecto al proveedor. […] Alternativamente, hay una pregunta distinta: ¿cómo de bien rinde un modelo cuando puede usar las funciones de gestión de contexto que su proveedor diseñó para él?»
Las dos preguntas son legítimas, y la segunda es de hecho la más útil si lo que quieres saber es qué vas a obtener tú al enchufarlo a producción. Pero la comparación entre fabricantes ARC Prize se la reserva al primero: «la interfaz compartida también nos da una comparación consistente, de manzanas con manzanas, entre proveedores». A partir de ahora publicarán ambas condiciones en el leaderboard, cada una claramente etiquetada.
Y ahora vuelve a la fila del anuncio: 99,9 % de Astra frente a 30,2 % de Opus 5. El primero es Provider Adapter. El segundo es arnés estándar, porque no hay otra cosa que correr. La comparación de manzanas con manzanas es 62,7 contra 30,2 —que sigue siendo un resultado excelente, dicho sea de paso—, pero la que ocupa la fila es 99,9 contra 30,2.
En descargo de OpenAI: lo dijeron. En la nota al pie de esa misma fila: «en ARC-AGI-3, GPT-6 Astra se corrió con nuestro arnés de la Responses API, que cambia dos ajustes para acercarse mejor al rendimiento en el mundo real. Los cambios no apuntan específicamente a ARC-AGI-3». Está declarado, es honesto y nadie lo lee. Eso es exactamente lo que hace una nota al pie.
Por si hace falta: la propia ARC Prize aclara que «aunque creemos que Astra representa un progreso significativo hacia la generalización, no estamos afirmando que sea AGI». Y François Chollet, que esperaba que ARC-AGI-3 aguantara un año y ha caído en seis meses —«unas 2 veces más rápido de lo esperado», escribió—, mantiene lo de siempre: resolverlo no es prueba de AGI, no es una línea de meta.
Ya no medimos modelos
Aquí es donde el detalle deja de ser una anécdota sobre un benchmark concreto.
Durante unos años se pudo hacer como si midiéramos modelos. Un modelo, un prompt, una respuesta, una nota. Eso se acabó. Lo que hoy se mide es modelo más todo lo que le hemos puesto alrededor: la gestión de contexto, el sistema de memoria, el bucle de herramientas, la política de reintentos, la compactación, el andamio de agente. Y ese conjunto no cabe en una celda de una tabla, así que no se declara.
Mira el ejemplo menos sospechoso que se me ocurre, porque no lo publica ningún laboratorio. El Coding Agent Index de Artificial Analysis, que es de los índices independientes más serios que hay, coloca a Claude Fable 5.1 en 70 y a GPT-6 Astra en 67. Pero si lees la metodología, ellos mismos avisan de que miden «combinaciones de modelo + arnés (framework o andamio de agente), no modelos por separado»: Fable 5.1 corriendo en Claude Code contra Astra corriendo en Codex. Y lo rematan: «las filas de benchmarks públicos representan variantes de agente, no solo nombres de modelo».
Eso no es una crítica a Artificial Analysis, que documenta exactamente lo que hace. Es que ya no hay forma de hacerlo de otra manera. Un modelo frontera de 2026 sin su andamio no es un objeto que se pueda evaluar; es una pieza suelta.
Y los laboratorios lo saben. En la nota al pie 16 del anuncio de Astra, sobre su benchmark interno de seguridad en uso del ordenador, OpenAI escribe: «cuando probamos con modelos de terceros usamos una configuración de investigación más simple. Codex tiene una configuración de producción más compleja, lo que puede dar lugar a tasas de error del modelo en crudo distintas. Las salvaguardas del proveedor y las implementaciones de la herramienta de ordenador siguen siendo diferentes». Está dicho. Está en la posición dieciséis de las notas al pie, en inglés, en un documento de anuncio. Pero está dicho.
La letra pequeña
Si te sientas a mirar las cifras de este lanzamiento con la lupa del arnés puesta, el resto de la tabla también se mueve. Va lo que encontré, en orden de menos a más incómodo.
Los evaluadores independientes no coinciden. Epoch AI pone a Astra primero de 267 modelos con un índice ECI de 169, por delante de Claude Fable 5.1 (163) y Claude Opus 5 (162). Artificial Analysis, con su Intelligence Index y con la versión vigente el 3 de septiembre, lo dejó empatado con su propio predecesor en 61 y cinco puntos por detrás de Fable 5.1. Los dos son buenos evaluadores y los dos publican su metodología; simplemente miden cosas distintas y las pesan distinto. Mirar los intervalos ayuda: el de Astra va de 165 a 174 y el de Fable 5.1 de 160 a 166. Se solapan. El propio Epoch lo dijo: el salto «está dentro de nuestro rango de incertidumbre» para la tendencia de la era del razonamiento.
Hay benchmarks saturados haciendo de titular. GPQA Diamond al 96 % ya no discrimina nada: Gemini 3.8 Flash está en 95,3 y Fable 5.1 en 93,7, todo dentro del ruido. Y el 100 % de ExploitBench dice mucho más del benchmark que del modelo — porque en la evaluación que OpenAI construyó con veinte vulnerabilidades graves de V8 en trece versiones estables de Chrome de junio a agosto de 2026, es decir, con problemas nuevos, el mismo modelo baja al 39 %.
Seis de los resultados publicados son internos. «Internal Design Tasks» 50,0 %. «Internal Data Science Tasks» 40,9 %. «Internal Database Migration Tasks» 63,9 %. «Internal hallucination benchmark» 4,2 %. Nadie fuera de OpenAI puede reproducirlos, ni saber si el listón subió o bajó respecto a la versión anterior del mismo benchmark interno.
Falta el que más se parecería a tu trabajo. GDPval es el benchmark de la propia OpenAI para medir tareas económicamente reales, y no aparece por ningún lado en los materiales de Astra, un modelo que se vende explícitamente para trabajo profesional. En la variante independiente de Artificial Analysis, GDPval-AA v2, Astra retrocede unos 80 puntos Elo respecto a su predecesor. Justo es decir que en la misma frase gana otros 80 en AA-Briefcase, así que no es un desplome: es un desplazamiento. Pero la ausencia y la regresión apuntan hacia el mismo sitio.
Quien financia, a veces también aprueba. OpenAI declara un 97,6 % en FrontierMath Tier 4. En la página del benchmark, Epoch AI escribe: «FrontierMath se desarrolló con financiación de OpenAI, que tiene acceso exclusivo a un subconjunto del benchmark». Eso no convierte el resultado en falso: Epoch hizo la comprobación obvia sobre un modelo anterior, comparando los problemas reservados con los visibles, y el resultado fue mixto y sin significación estadística en ninguna dirección. O sea, no hay indicio de sobreajuste, pero tampoco una absolución. Lo que sí es seguro es que ese 97,6 % nadie lo ha verificado por fuera.
Y el ecosistema ya tiene su propio problema de trampas. Un trabajo de junio de 2026 auditó 1.968 tareas de cinco benchmarks de agentes de terminal y encontró que 323 —un 16 %— son hackeables por modelos frontera con solo la descripción de la tarea: se puede sacar la respuesta sin resolver el problema. Artificial Analysis se lo tomó en serio y en agosto sacó la versión 1.4 de su índice de agentes, que puntúa cero los intentos con reward hacking y define explícitamente que recuperar la respuesta desde fuera del entorno también lo es. Pero durante meses hubo tablas publicadas con esa contaminación dentro.
Un último apunte de higiene, porque estos días he visto la cifra suelta por todas partes: sí, Artificial Analysis midió que la «tasa de alucinación» cayó del 92 % al 51 % — de GPT-5.6 Sol a Astra, ambos a esfuerzo máximo. Pero esa métrica no es lo que parece. Mide la proporción de respuestas incorrectas sobre el total de respuestas no correctas, es decir, cuántas veces se inventa algo en lugar de admitir que no lo sabe. GPT-5.6 Sol no alucinaba el 92 % del tiempo. La mejora es real y es importante; el titular que circula, no.
Cómo leer una tabla de benchmarks sin hacerse daño
Esto es lo que me llevo puesto, y lo que voy a preguntar a partir de ahora antes de creerme una fila:
- ¿Qué arnés? Si no lo dice, la nota no es del modelo. Es de un sistema del que solo conoces una pieza.
- ¿El mismo arnés para todos los comparados? Si el propietario del modelo corrió el suyo con su andamio y a los rivales con el genérico, la tabla no es una comparación: es una demo.
- ¿A qué esfuerzo, y a qué precio? Casi todo lo que se publica está corrido a esfuerzo máximo. Una sola corrida de ARC-AGI-3 con el arnés estándar costó 26.098 dólares. El baseline humano de la misma prueba salió a unos 12,78 dólares por partida antes de bonus. Esa comparación también es parte del resultado.
- ¿Está saturado? Cualquier cifra por encima del 95 % en un benchmark con dos años de vida mide el benchmark, no el modelo.
- ¿Quién lo financió y quién tiene acceso? No como acusación. Como contexto.
- ¿Es reproducible? Si el benchmark es interno, la cifra es una afirmación de marketing con formato de dato. Puede ser verdad. No es evidencia.
- ¿Qué falta en la tabla? Lo que un laboratorio decide dejar de publicar de una versión a otra suele decir más que lo que publica.
Veredicto
El modelo sí, la nota no.
El avance de Astra es real y no me interesa hacer de aguafiestas con eso. En FrontierMath Erdős —68 problemas que seguían abiertos en agosto de 2026, con verificación formal en Lean, presupuesto de 300 dólares y 72 horas de trabajo por problema— resolvió dos: refutó uno encontrando un contraejemplo, por 218 dólares y quince horas, y demostró otro. Todos los demás modelos evaluados resolvieron cero. Ese resultado no depende de ningún arnés amable: o el problema se resuelve o no.
Lo que no aguanta es la lectura ingenua de la tabla. Y me preocupa menos por este lanzamiento concreto que por lo que anuncia: estamos entrando en una fase en la que la nota de un modelo depende cada vez más de infraestructura propietaria que su fabricante controla, no publica y puede cambiar sin avisar. El benchmark deja de medir un objeto comparable y pasa a medir un producto integrado. Cuando eso se consuma del todo, comparar dos modelos será tan informativo como comparar dos coches por la vuelta rápida que cada fabricante publica en su propio circuito privado.
La nota que te enseñan es modelo × arnés × esfuerzo. De los tres factores, casi siempre te dicen uno.
Ideas por encima de código; evidencia por encima de humo.
Referencias
- OpenAI (2026). GPT-6 Astra: A new generation of intelligence, 3 de septiembre de 2026.
- ARC Prize (2026). OpenAI’s GPT-6 Astra on ARC-AGI-3 y resultados completos por nivel de esfuerzo y arnés.
- Epoch AI. GPT-6 Astra, Announcing FrontierMath Erdős y FrontierMath Tier 4 (v2).
- Artificial Analysis (2026). Benchmarking GPT-6 Astra, metodología del Coding Agent Index y definición de AA-Omniscience.
- Zhong, Segal, Bercovich, Saxena, Zhang y Raghunathan (2026). Hardening Agent Benchmarks with Adversarial Hacker-Fixer Loops. arXiv:2606.08960, 8 de junio de 2026.
Deja una respuesta