Zarr (beta)

Zarr est un format de stockage de grands tableaux multidimensionnels : les données sont découpées en chunks, chaque chunk étant compressé et rangé séparément. Le tableau se lit donc par morceaux, en parallèle et directement depuis le cloud — S3, GCS ou un simple HTTP. Dans les données scientifiques, il supplante peu à peu NetCDF et HDF5, justement grâce à cet accès cloud.

Une carte OpenStreetMap, ce sont des objets vectoriels, tandis que Zarr parle de tableaux : l'export rastérise donc la zone choisie en une grille régulière. On prend ce format quand la carte est nécessaire non pas comme un plan, mais comme une couche de données aux côtés du climat, de séries satellitaires ou d'un modèle de calcul dans xarray et Dask.

L'archive contient un groupe Zarr version 2 avec deux tableaux : feature_count — combien d'objets OSM sont tombés dans la cellule, et land_use — le code de la couche dominante dans la cellule. Les attributs du groupe portent le système de coordonnées, l'emprise de la zone, le pas de la grille et la liste des couches d'origine ; les données sont découpées en chunks de 256 × 256 et compressées (par défaut Blosc avec Zstandard).

Le pas de grille par défaut est de 0,001 degré, soit une centaine de mètres ; sur les petites zones, il s'affine automatiquement pour que le résultat ne se réduise pas à quelques cellules. La taille de la grille est limitée à 10 000 × 10 000 cellules. Le format est en statut beta : il s'agit de densités agrégées et de catégories, non de géométrie vectorielle — pour celle-ci, tournez-vous vers GeoParquet ou FlatGeobuf.