GeoArrow (Apache Arrow)

Apache Arrow ist der Standard für die Darstellung von Tabellen im Arbeitsspeicher: Die Spalten liegen zusammenhängend, das Schema ist explizit beschrieben, und verschiedene Programme lesen dieselben Bytes ohne Kopieren und Umkodieren. GeoArrow ist die Vereinbarung darüber, wie in dieser Struktur Geometrie abgelegt wird, damit GeoPandas, DuckDB, Polars, deck.gl und GDAL sie verstehen.

Das Format nimmt man, wenn Daten nicht gezeigt, sondern gerechnet werden: räumliche Verschneidungen über Millionen Objekte, Merkmalsaufbereitung für ein Modell, ein Dashboard auf einer spaltenorientierten Engine. In solchen Größenordnungen kostet allein das Parsen von textbasiertem GeoJSON mehr Zeit als die Analyse selbst.

Heraus kommt eine Datei .arrow (Apache Arrow IPC, auch bekannt als Feather v2). Alle Ebenen sind zu einer Tabelle zusammengeführt, jede Zeile trägt eine Spalte layer mit dem Namen der Ursprungsebene. Die Geometrie liegt als binäre Spalte im Format WKB, das Koordinatenbezugssystem WGS84 (EPSG:4326) ist in den Schema-Metadaten nach der Konvention GeoArrow 1.0.0 beschrieben.

Die Datei wird standardmäßig mit dem Codec zstd komprimiert, wahlweise auch mit lz4 oder ganz ohne Komprimierung. Als Sicherung gilt eine Obergrenze von 10 Millionen Objekten je Export, damit der Arbeitsspeicher des Servers nicht überläuft.