Code sourse
código abierto.google.com
Menú
Eventos
Proyectos
Programas y servicios
Documentación
Acerca de
Blog
Blog de código abierto de Google
Las últimas noticias de Google sobre lanzamientos de código abierto, proyectos importantes, eventos y programas de divulgación para desarrolladores principiantes.
El camino hacia JPEG XL: Cómo los experimentos de código abierto moldearon el futuro de la codificación de imágenes.
Miércoles, 3 de junio de 2026
porJyrki Alakuijala,Zoltán Szabadka&Luca VersariParadigmas de la inteligencia, Google Technology & Society
Construyendo el estándar de imagen de próxima generación
Internet se basa en imágenes. Desde los inicios de la web, ha existido una tensión constante entre la fidelidad visual y el ancho de banda. Durante décadas, la industria confió en el venerable estándar JPEG para la carga rápida de imágenes. Funcionó de maravilla, pero a medida que las pantallas evolucionaron hacia el Alto Rango Dinámico (HDR) y la Amplia Gama de Colores (WCG), el formato comenzó a mostrar sus limitaciones.
El camino hacia JPEG XL ( JXL ) no fue lineal. Fue una exploración que duró una década, dando lugar a una serie de proyectos clave que pusieron a prueba ideas innovadoras en modelado psicovisual, codificación entrópica y optimización. Hoy, mientras JPEG XL se adopta rápidamente en diversos sistemas operativos y estándares profesionales, repasamos los experimentos que lo hicieron posible.
La Fundación Early: 2011–2017
Nuestro estudio comenzó centrándonos en comprender los límites de la tecnología existente. No empezamos intentando crear un nuevo estándar, sino mejorando los actuales y aprendiendo de sus limitaciones. Esto nos permitió lograr que el nuevo formalismo fuera más flexible y eficiente en los aspectos clave.
WebP Lossless y Brotli: Si bien WebP Lossy se basó en la tecnología de video, WebP Lossless (2011) representó un cambio arquitectónico y de alcance. Presentamos el concepto de imagen de entropía , un método innovador que utiliza una imagen secundaria para orquestar la selección de códigos de entropía estáticos para los datos visuales primarios. Posteriormente, volvimos a aplicar este enfoque con el modelado de contexto basado en datos en el formato de compresión Brotli , lo que permite un modelado de contexto avanzado sin ralentizar la decodificación.
Butteraugli: Alrededor de 2014, nos dimos cuenta de que la compresión matemática pura (PSNR) no era suficiente, y que las aproximaciones psicovisuales simples (SSIM y similares) fallaban en entornos con gran riqueza de color. Creamos Butteraugli y el espacio de color XYB para imitar la detección de bordes y los procesos de color opuesto del sistema visual humano a diferentes escalas, lo que nos permitió comprimir imágenes de manera más eficaz.
Llevamos el estándar JPEG 1 (ISO/IEC 10918, introducido en 1992) a sus límites absolutos mediante dos proyectos clave: Guetzli y Brunsli . Estas iniciativas proporcionaron información invaluable sobre las fortalezas y limitaciones de los métodos de compresión JPEG tradicionales. Guetzli (2016) es un codificador perceptivo lento de alta densidad que utilizó Butteraugli para encontrar las tablas de cuantificación óptimas, logrando que los JPEG antiguos fueran entre un 20 % y un 30 % más pequeños. Brunsli (2015), por su parte, se centra en la recompresión sin pérdidas , lo que permite a los usuarios volver a empaquetar los JPEG existentes en un espacio más reducido sin perder ni un solo bit de datos originales. Después de finalizar la estandarización de JPEG XL, retomamos el alcance de Guetzli en 2024 e hicimos que la codificación fuera mucho más rápida y compatible con HDR en Jpegli .
Los comentarios recibidos tras estos lanzamientos, desde los detalles técnicos de WebP Lossless hasta las auditorías psicovisuales de Guetzli , resultaron indispensables. Si bien ya buscábamos la máxima fidelidad visual, la retroalimentación del comercio electrónico, donde la atención al detalle es fundamental, nos ayudó a perfeccionar los requisitos.
La convergencia: la era PIK 2017-2019 y la integración FUIF 2019
Para 2017, contábamos con potentes herramientas independientes y era el momento de fusionarlas. Al liberar PIK como código abierto , combinamos la eficiencia de Brunsli con las optimizaciones psicovisuales de Guetzli. Además, PIK introdujo un campo de cuantización adaptativa real y otras optimizaciones. PIK constituyó nuestra propuesta al organismo de estandarización ISO . La convocatoria final del comité impulsó una densidad extrema, requiriendo tasas de bits tan bajas como 0,06 BPP , equivalente a 35 veces la compresión de imágenes con calidad de internet y 80 veces la de la salida de la cámara. Esta ampliación del alcance requirió una complejización significativa del formato y del codificador, lo que dio lugar a la arquitectura de Transformada de Coseno Discreta de Tamaño de Bloque Variable ( VarDCT ), que sigue siendo fundamental para JPEG XL en la actualidad.
Propusimos fusionar nuestra propuesta PIK con la propuesta FUIF (Free Universal Image Format) de Cloudinary. PIK utilizaba la selección de distribución al estilo Brotli durante la codificación, mientras que FUIF refinaba los códigos de forma incremental durante la decodificación. El estándar final JPEG XL resultó ser una solución de compromiso que combinaba lo mejor de ambos mundos: la selección de distribución de PIK, más rápida en la decodificación, con los sofisticados árboles de contexto de FUIF. Esta fusión representó un cambio con respecto a la estandarización convencional basada en una única plataforma, y priorizó la sinergia técnica y la colaboración.
Un diagrama de flujo titulado «Elementos básicos del estándar JPEG XL» muestra una progresión de izquierda a derecha a través de tres períodos. El primer período, «Primeros componentes básicos (2011-2017)», contiene cuatro recuadros: WebP Lossless y Brotli, Butteraugli y XYB, Guetzli y Brunsli. Las flechas apuntan desde estas tecnologías iniciales hacia el segundo período, «La convergencia (2017-2019)», que consta de dos recuadros principales: PIK y FUIF. Finalmente, varias líneas fluyen desde PIK y FUIF, convergiendo en el tercer período, «Estándar final». Esta sección final presenta un gran recuadro naranja etiquetado como «JXL: Estándar JPEG XL», que se describe como la fusión de la selección de distribución de PIK con los árboles de contexto de FUIF.
JPEG XL Hoy: Un ecosistema echa raíces
La eficiencia, la calidad psicovisualmente optimizada, el tamaño de archivo y la velocidad de codificación de JPEG XL están llamando la atención. Estamos presenciando una adopción generalizada en diversas industrias, siendo los sectores más exigentes los que lideran el camino. Gracias a su capacidad para manejar datos de alta profundidad de bits, alta calidad e incluso datos sin pérdida de forma eficiente y robusta, JPEG XL se ha convertido en un estándar fundamental en varios campos.
Fotografía: Utilizada en Digital Negative (DNG 1.7), Apple ProRAW y otros.
Médico: Adoptado por DICOM , el estándar internacional para imágenes médicas.
Publicación: Integración en futuras versiones de los estándares PDF y EPUB.
El ecosistema ha madurado rápidamente. El software de fotografía de Adobe, iOS de Apple, macOS y visionOS cuentan con soporte nativo, al igual que distribuciones de Linux como Ubuntu y la extensión de imagen JPEG XL de Microsoft para Windows. Nuestra biblioteca libjxl-tiny inspiró a Shikino High-Tech, Inc. y a CAST a lanzar el primer núcleo IP de codificador JPEG XL comercial para diseños ASIC y FPGA, orientado a la captura de imágenes en tiempo real y de bajo consumo. Safari (2023) lideró la adopción entre los principales navegadores, mientras que Firefox y Chrome mantienen actualmente un soporte experimental.
Dos hombres en una oficina luminosa colaboran frente a una pizarra. La pizarra contiene un diagrama de flujo dibujado a mano titulado "Estrategia de unión de bloques VARDCT". El diagrama ilustra pequeños bloques cuadrados que se combinan para formar rectángulos con patrones más grandes, conectados por flechas. Las etiquetas de texto en el diagrama de flujo incluyen "Lógica de decisión: Costo de distorsión de tasa", "Criterios de fusión", "Eficiencia de codificación de entropía", "Bloques vecinos" y "Tamaños de bloque variables". El hombre de la izquierda señala la esquina inferior izquierda del diagrama, mientras que el hombre de la derecha, que tiene el pelo largo y barba, escribe una ecuación matemática en la pizarra con un rotulador.
El diseño de JPEG XL no solo implicó incontables horas de optimización, experimentación y análisis visual de los resultados, sino también debates creativos en una pizarra. En esta escena reconstruida por Gemini, Luca Versari y Jyrki Alakuijala (de izquierda a derecha) debaten sobre las heurísticas de selección de bloques VarDCT.
Pensando en el futuro
La historia de JPEG XL es un testimonio de la eficacia de la planificación a largo plazo, validada mediante hitos funcionales intermedios —con prototipos mínimos viables como Guetzli y herramientas prácticas como Brunsli y Brotli— que fomentan la retroalimentación de la comunidad de código abierto. Un pequeño equipo de investigación puede innovar cristalizando soluciones a través de iteraciones rápidas, con miles, si no decenas de miles, de experimentos en modelado psicovisual , entropía , velocidad y complejidad de codificación , y toda la industria puede, en última instancia, avanzar hacia un futuro más eficiente y estético.
Comenzamos intentando exprimir unos cuantos bytes más del estándar JPEG 1 de 1992; con JPEG XL esperamos haber establecido una base para la imagen digital que pueda perdurar durante las próximas tres décadas.
Anunciamos Apache Iceberg 1.11.0
Miércoles, 27 de mayo de 2026
porAlex Stephen&Talat Uyarer, Casa del lago
¡El proyecto Apache Iceberg acaba de lanzar la versión 1.11.0 ! Han ocurrido muchas cosas desde la última versión.
Iceberg 1.11.0 añade compatibilidad con Apache Spark 4.1 y Apache Flink 2.1 , las últimas versiones de ambos motores, y los convierte en objetivos de compilación predeterminados.
El resto son mejoras estructurales. El catálogo REST aprende a planificar escaneos en el servidor , liberando al motor de consultas del procesamiento de metadatos. Una nueva API de escaneo de estadísticas de partición ofrece a los optimizadores una forma clara y compatible de leer la estructura de una tabla. El cifrado de tablas integrado incluye cifrado de sobre y compatibilidad con Google KMS. Además, la integración con la biblioteca de Google Storage Analytics acelera las cargas de trabajo de Iceberg.
Veamos algunos de los cambios más importantes.
Actualizaciones de Spark y Flink
A medida que Spark y Flink avanzan, esta 1.11.0versión impulsa la compatibilidad con nuevas versiones en ambos.
Migración a Spark 4.1 y DSv2 : Spark 4.1 ofrece MERGE INTOevolución automática del esquema: MERGEla sintaxis más reciente de Spark acepta una WITH SCHEMA EVOLUTIONcláusula, por lo que una MERGEtabla cuyo origen contiene columnas que la tabla de destino no tiene puede agregar esas columnas a la tabla dentro de la misma instrucción, sin necesidad de ALTER TABLEuna comunicación adicional. Además del cambio de versión, el conector Spark 1.11 también se moderniza para adaptarse a las nuevas API DataSource V2 de Spark y agrega un planificador de micro-lotes asíncrono que acelera Structured Streaming.
Actualizaciones del ecosistema Flink : El trabajo inicial para la compatibilidad con Flink 2.1 ha llegado al repositorio principal, continuando la promesa de Iceberg de proporcionar capacidades de sumidero de transmisión de primera clase y baja latencia. La pieza central del trabajo de Flink es DynamicIcebergSink, un sumidero experimental que rompe el antiguo modelo de un sumidero por tabla: un único sumidero enruta cada registro a una tabla elegida en tiempo de ejecución, creando tablas bajo demanda y evolucionando sus esquemas y especificaciones de partición sobre la marcha a medida que cambia la entrada, incluyendo la eliminación de columnas una vez que se opta por con dropUnusedColumns. Además del trabajo de DynamicIcebergSInk, Flink comenzó a admitir nanosecondlos tipos varianty unknownde la especificación V3.
Planificación de escaneo del lado del servidor
En versiones anteriores de Iceberg, el cliente se encargaba de la mayor parte del procesamiento del escaneo. El controlador del motor recorría el árbol de metadatos de la tabla, recuperando listas de manifiestos y archivos del almacenamiento de objetos para filtrar los datos según los requisitos específicos de las particiones. Iceberg 1.11.0 traslada esta carga computacional al catálogo mediante la planificación del escaneo en el servidor .
En lugar de recorrer manualmente los manifiestos, el motor envía una única POST …/plansolicitud que detalla el escaneo, lo que permite que el catálogo REST devuelva FileScanTaskresultados optimizados.
La API está diseñada para manejar datos a cualquier escala: los escaneos más pequeños devuelven resultados inmediatos, las operaciones extensas devuelven un ID de plan para sondeo y los conjuntos de datos masivos se recuperan en paralelo a plan-taskstravés de POST …/tasks.
TEXTO ALTERNATIVO
La planificación se traslada del motor de consultas al catálogo; el controlador ya no accede a los metadatos en el almacenamiento de objetos.
Cifrado de tabla integrado
Dado que los lagos de datos se están convirtiendo cada vez más en el centro neurálgico de la información personal identificable (PII) y los datos financieros confidenciales, depender únicamente del cifrado de almacenamiento a nivel de bucket ya no es suficiente. Iceberg 1.11.0 introduce el cifrado de tablas integrado, lo que proporciona una seguridad granular basada en KMS directamente a nivel de tabla.
Esto proporciona a los equipos de plataformas de datos sólidas capacidades en materia de seguridad y cumplimiento normativo:
Seguridad de almacenamiento de confianza cero : incluso si un atacante malintencionado obtiene acceso directo a su depósito de almacenamiento de objetos subyacente, los datos permanecen completamente ilegibles.
Protección total del índice : No solo se protegen los datos sin procesar; Iceberg también cifra las listas de manifiestos, lo que impide que los atacantes deduzcan información confidencial a partir de las estadísticas de las tablas.
Datos a prueba de manipulaciones : Las etiquetas de autenticación integradas protegen contra modificaciones no autorizadas, garantizando la integridad de los datos.
Rotación de claves sin esfuerzo : Las claves se rotan automáticamente a medida que envejecen, cumpliendo con los estrictos requisitos de cumplimiento sin necesidad de reescribir conjuntos de datos masivos.
Iceberg logra esto mediante el cifrado de sobre con una jerarquía de claves de tres niveles. Una clave maestra de tabla reside de forma segura en su KMS y nunca se almacena en Iceberg. Esta clave maestra encapsula las claves de cifrado de claves (KEK), que se almacenan de forma segura dentro de los metadatos de la tabla. Finalmente, cada KEK encapsula una clave de cifrado de datos (DEK) única para cada archivo.
Cada archivo de datos y lista de manifiestos se cifra con AES-GCM bajo su propia clave de cifrado de dominio (DEK) única. Esta arquitectura desacoplada garantiza la máxima seguridad a la vez que mantiene el alto rendimiento que se espera de las cargas de trabajo de Iceberg.
API de formato de archivo
Históricamente, el código de Iceberg para el manejo de formatos estaba estrechamente integrado y se desarrolló orgánicamente en torno a Parquet, Avro y ORC. Agregar un nuevo formato o garantizar la compatibilidad con características consistentes (como los valores predeterminados de V3 o los nuevos tipos de columna) en todos los formatos implicaba duplicar complejas rutas de código switch/case específicas del motor.
Iceberg 1.11.0 introduce la API de formato de archivo finalizada , lo que proporciona una API coherente para leer y escribir todos estos formatos de archivo.
En lugar de utilizar motores codificados de forma fija para gestionar la extracción de binarios, la arquitectura introduce:
FormatModel : Una implementación estandarizada que define cómo un formato de archivo maneja la construcción de lectores/escritores y sus capacidades específicas.
FormatModelRegistry : Un directorio central donde los motores de consulta obtienen los constructores de lectura y escritura adecuados.
Esta API (que ya se está adoptando en otras implementaciones de Apache Iceberg) supone una importante mejora del código para el futuro del proyecto. Además, abre la puerta a la incorporación de más formatos de archivo con el tiempo.
Además, esta nueva interfaz facilita la implementación de familias de columnas , lo que permite la partición vertical del almacenamiento. Este avance permite a los equipos realizar actualizaciones o reescrituras específicas en columnas aisladas, como el recálculo de incrustaciones vectoriales, sin afectar el resto de los datos de la tabla.
Especificación de la función definida por el usuario (UDF) de SQL
La versión 1.11.0 incluye la especificación SQL UDF, que añade un nuevo formato de metadatos tanto para funciones escalares como para funciones de tabla:
Control de versiones y reversión inmutables : los metadatos de las UDF se escriben como archivos JSON autocontenidos y versionados, almacenados directamente en el almacén de objetos. Si un ingeniero de datos implementa una actualización de UDF con errores, los administradores pueden ejecutar una reversión atómica a un estado de registro de versión anterior.
Tipificaciones de esquema estandarizadas : Los parámetros y los tipos de retorno se asignan de forma precisa a las representaciones JSON de Iceberg Type, lo que permite la compatibilidad directa con mapas anidados complejos, estructuras y el próximo tipo variante Iceberg V3.
Ejecución específica del motor: Cada función definida por el usuario (UDF) de SQL tiene una implementación de función para cada motor, lo que permite a los usuarios aprovechar la funcionalidad específica del motor en sus UDF.
Integración de la biblioteca de Google Analytics
Para los clientes de Google Cloud, la versión 1.11.0 ofrece mejoras sustanciales en el rendimiento al integrar la biblioteca GCS Analytics Core en GCSFileIO ( Problema n.° 14326 , PR n.° 14333 ).
Esta integración introduce la función Footer Prefetching , que optimiza las comprobaciones de longitud de Parquet mediante el almacenamiento en caché de sufijos de objetos para eliminar la sobrecarga de red. Combinadas con VectoredIO multihilo para operaciones concurrentes de múltiples rangos y el almacenamiento en caché especializado de objetos pequeños para archivos de menos de 1 MB, estas mejoras eliminan los cuellos de botella de E/S persistentes. Las pruebas iniciales indican que estas mejoras arquitectónicas pueden reducir la latencia del análisis de metadatos de Parquet y aumentar la velocidad total de procesamiento de registros, lo que permite que las cargas de trabajo de Spark, Flink y Trino a gran escala se ejecuten con mayor eficiencia en Google Cloud Storage .
Primeros pasos con la versión 1.11.0
Estamos entusiasmados de formar parte de la comunidad Apache Iceberg e innovar juntos. Como catálogo REST Iceberg compatible, Lakehouse para Apache Iceberg (anteriormente BigLake) ya cuenta con soporte para la versión 1.11.0.
Para actualizar su entorno, actualice sus dependencias de compilación a la versión 1.11.0. Recuerde revisar sus entornos de ejecución de implementación para garantizar la compatibilidad con la nueva versión base de JDK 17 y pruebe sus cargas de trabajo si está migrando desde Spark 3.4.
Para obtener un desglose completo de cada corrección de errores, atribución de colaboradores y actualización de dependencias, consulte la página oficial de lanzamientos de Apache Iceberg.
TestParameterInjector introduce una API idiomática de Kotlin.
Lunes, 25 de mayo
Comentarios