Zarr (beta)

Zarr ist ein Speicherformat für große mehrdimensionale Arrays: Die Daten werden in Chunks geschnitten, jeder Chunk wird komprimiert und einzeln abgelegt. Deshalb lässt sich ein Array stückweise, parallel und direkt aus der Cloud lesen — von S3, GCS oder gewöhnlichem HTTP. Bei wissenschaftlichen Daten verdrängt es NetCDF und HDF5 nach und nach, gerade wegen des Cloud-Zugriffs.

Eine OpenStreetMap-Karte besteht aus Vektorobjekten, Zarr dagegen aus Arrays, deshalb rastert der Export das gewählte Gebiet in ein regelmäßiges Gitter. Zu diesem Format greift man, wenn die Karte nicht als Zeichnung gebraucht wird, sondern als Datenlayer neben Klimadaten, Satelliten-Zeitreihen oder einem Rechenmodell in xarray und Dask.

Im Archiv liegt eine Zarr-Gruppe der zweiten Version mit zwei Arrays: feature_count — wie viele OSM-Objekte in eine Zelle fallen — und land_use — der Code des in der Zelle vorherrschenden Layers. In den Attributen der Gruppe stehen Koordinatensystem, Gebietsrahmen, Maschenweite und die Liste der Ausgangslayer; die Daten sind in Chunks zu 256 × 256 unterteilt und komprimiert (standardmäßig Blosc mit Zstandard).

Die Maschenweite beträgt standardmäßig 0.001 Grad, also etwa hundert Meter; bei kleinen Gebieten wird sie automatisch verfeinert, damit das Ergebnis nicht auf wenige Zellen zusammenschrumpft. Die Gittergröße ist auf 10 000 × 10 000 Zellen begrenzt. Das Format hat den Status Beta: Es liefert aggregierte Dichte und Kategorien, keine Vektorgeometrie — dafür greifen Sie zu GeoParquet oder FlatGeobuf.