Zarr (beta)

Zarr es un formato de almacenamiento de grandes arrays multidimensionales: los datos se cortan en chunks, y cada chunk se comprime y se guarda por separado. Por eso el array se lee a trozos, en paralelo y directamente desde la nube — S3, GCS o HTTP corriente. En el mundo de los datos científicos va desplazando poco a poco a NetCDF y HDF5 precisamente por ese acceso desde la nube.

Un mapa de OpenStreetMap son objetos vectoriales y Zarr va de arrays, así que la exportación rasteriza el área elegida en una malla regular. Se recurre a este formato cuando el mapa no se necesita como plano, sino como una capa de datos junto al clima, a series de satélite o a un modelo de cálculo en xarray y Dask.

El archivo descargado contiene un grupo Zarr de la versión 2 con dos arrays: feature_count — cuántos objetos de OSM han caído en la celda — y land_use — el código de la capa predominante en la celda. En los atributos del grupo se anotan el sistema de coordenadas, el marco del área, el paso de la malla y la lista de capas de origen; los datos van repartidos en chunks de 256 × 256 y comprimidos (por defecto, Blosc con Zstandard).

El paso de malla por defecto es de 0,001 grados, alrededor de un centenar de metros; en áreas pequeñas se afina automáticamente para que el resultado no se reduzca a unas pocas celdas. El tamaño de la malla está limitado a 10 000 × 10 000 celdas. El formato está en estado beta: se trata de densidad y categorías agregadas, no de geometría vectorial — para eso vaya a GeoParquet o FlatGeobuf.