Ir al contenido principal

Android.developer

La ingeniería de software asistida por IA ha propiciado la aparición de varios puntos de referencia para medir las capacidades de los modelos de lenguaje natural (MLN). Los desarrolladores de Android se enfrentan a desafíos específicos que no están contemplados en los puntos de referencia existentes, por lo que creamos uno que se centra en un principio fundamental del desarrollo de Android de alta calidad.

Clasificación de Android LLM

ModeloPuntaje (%)
rango_de_flecha Rango de Cl (%)
Fecha
GPT 5.574.066,8 — 80,527/04/2026
GPT 5.472.465,4 — 79,316 de marzo de 2026
Vista previa de Gemini 3.1 Pro72.465,1 — 78,827/02/2026
Claude Opus 4.768.761.2 — 76.027/04/2026
Codex GPT 5.367,759,9 — 75,118/03/2026
Claude Opus 4.666.659,5 — 73,926-02-2026
Códice GPT 5.262.554,6 — 70,126-02-2026
Claude Opus 4.561.953.0 — 70.126-02-2026
Vista previa del Gemini 3 Pro60.452.3 — 68.227/02/2026
Soneto 4.6 de Claude58.450,4 — 66,527/02/2026
Soneto 4.5 de Claude53.845,5 — 62,226-02-2026
Vista previa de Gemini 3 Flash42.036,5 — 47,626-02-2026
Géminis 2.5 Flash16.711.5 — 22.126-02-2026
Resultados actualizados al 5 de mayo de 2026: Esta actualización incluye la incorporación de GPT-5.5 y Claude Opus 4.7.
¡Consulta periódicamente para ver las actualizaciones!

La puntuación representa el porcentaje promedio de 100 casos de prueba resueltos con éxito en 10 ejecuciones para cada modelo.
El intervalo de confianza (IC) representa el rango de rendimiento esperado, que refleja la fiabilidad estadística de los resultados (valor p < 0,05).

Obtén más información sobre Android Bench.

Obtén más información sobre cómo creamos un conjunto de tareas comunes para desarrolladores de Android.
Muchas de las tareas se basan en cómo definimos el desarrollo de Android de alta calidad, lo cual se detalla en nuestra documentación para desarrolladores.
Consulta el repositorio completo para que puedas replicar las pruebas tú mismo.

Comentarios

Entradas más populares de este blog

aistudio.Google.com

Cloud.a1

https://git.io.com