GeoArrow (Apache Arrow)
Open BetaGeoArrow est un format en colonnes fondé sur Apache Arrow pour les données géospatiales. Idéal pour l'analyse de données massives, les pipelines de machine learning et la visualisation. Compatible avec DuckDB, Pandas, Polars et les autres outils compatibles Arrow.
Caractéristiques principales
À propos du format GeoArrow
Apache Arrow est un standard de représentation des tables en mémoire : les colonnes sont contiguës, le schéma est décrit explicitement, et différents programmes lisent les mêmes octets sans copie ni réencodage. GeoArrow est la convention qui définit comment ranger la géométrie dans cette structure pour que GeoPandas, DuckDB, Polars, deck.gl et GDAL la comprennent.
On choisit ce format quand les données ne servent pas à être affichées mais à être calculées : jointures spatiales sur des millions d'objets, préparation de variables pour un modèle, tableau de bord au-dessus d'un moteur colonne. À ces volumes, l'analyse syntaxique d'un GeoJSON texte coûte plus de temps que le calcul lui-même.
En sortie, un seul fichier .arrow (Apache Arrow IPC, alias Feather v2). Toutes les couches sont réunies en une table unique, chaque ligne portant une colonne layer avec le nom de la couche d'origine. La géométrie est stockée dans une colonne binaire au format WKB, et le système de coordonnées WGS84 (EPSG:4326) est décrit dans les métadonnées du schéma selon la convention GeoArrow 1.0.0.
Le fichier est compressé par défaut avec le codec zstd ; vous pouvez choisir lz4 ou renoncer à la compression. Garde-fou : jusqu'à 10 millions d'objets par export, pour ne pas épuiser la mémoire du serveur.
Logiciels pour ouvrir les fichiers GeoArrow
Les programmes suivants peuvent ouvrir, modifier et traiter les fichiers GeoArrow (Apache Arrow) (.arrow) exportés depuis OSM2CDR :
Caractéristiques du format
- Standard ouvert
- Coordonnées 3D prises en charge
- Sans perte de qualité
- Stocke les attributs
- Sortie : 1 fichier
- GeoArrow .arrow (Apache Arrow extension). In-memory columnar geometry, zero-copy interop with pandas, R, Julia.
Qui utilise les cartes GeoArrow
Comment exporter en GeoArrow
Comment ouvrir après l’export
- Python — pyarrow.ipc.open_file("map.arrow").read_all() renvoie la table ; la géométrie se reconstruit depuis la colonne WKB avec shapely.from_wkb ou geopandas.
- DuckDB — INSTALL spatial; LOAD spatial; puis SELECT * FROM 'map.arrow' et ST_GeomFromWKB sur la colonne de géométrie.
- Polars et pandas — pl.read_ipc("map.arrow") ou lecture via pyarrow : la partie attributaire se manipule comme une table ordinaire, sans surcouche géo.
- R et Julia — les paquets arrow lisent le même fichier : le format est commun à tous les langages, aucune conversion n'est nécessaire.
- Visualisation et SIG — lonboard et deck.gl affichent les tables Arrow directement ; pour QGIS, le plus simple est de convertir en GeoPackage avec ogr2ogr (GDAL 3.8 et plus récent).
Cartes populaires en GeoArrow
Export de cartes en GeoArrow (Apache Arrow)
Téléchargez des cartes GeoArrow professionnelles depuis OpenStreetMap. Génération instantanée, n’importe quelle zone.
Questions fréquentes
Formats associés
Fréquemment exportés ensemble
Related Articles
GeoArrow format: zero-copy columnar geo — OSM export for Polars/DuckDB
GeoArrow from Apache Arrow geo-WG (Kyle Barron, 2022): IPC zero-copy, interleaved coords, GeoParquet 1.1 backend.
guideGeoParquet: The Format for Fast Geospatial Analytics
What is GeoParquet, why it outperforms Shapefile for analytics, and how to use it with DuckDB, Python, and QGIS. A compl