Apache Arrow

Apache Arrow

Apache Arrow
Apache Arrow
Description de l'image Apache Arrow Logo.png.

Informations
Développé par Wes McKinney, Antoine Pitrou (d), Sutou Kouhei (d), Matt Topol (d) et Dremio (d)Voir et modifier les données sur Wikidata
Dernière version 25.0.1 ()[1]Voir et modifier les données sur Wikidata
Dépôt github.com/apache/arrowVoir et modifier les données sur Wikidata
Licence Apache License 2.0
Site web arrow.apache.orgVoir et modifier les données sur Wikidata

modifier - modifier le code - voir Wikidata (aide)

Apache Arrow est un framework logiciel indépendant du langage, conçu pour le développement d'applications d'analyse de données traitant des données colonnaires. Il utilise un format de mémoire standardisé, orienté colonnes, capable de représenter des données plates et hiérarchiques pour des opérations analytiques efficaces sur les processeurs et cartes graphiques modernes[2],[3],[4],[5],[6]. Ceci réduit, voire élimine, les facteurs limitant la faisabilité du traitement de grands ensembles de données, tels que le coût, la volatilité ou les contraintes physiques de la mémoire vive dynamique.

Interopérabilité

Arrow est compatible avec Apache Parquet, Apache Iceberg Apache Spark, NumPy, PySpark, pandas et d'autres bibliothèques de traitement de données. Le projet inclut des bibliothèques logicielles natives écrites en C, C++, C#, Go, Java, JavaScript, Julia, MATLAB, Python (PyArrow[7] ), R, Ruby et Rust. Arrow permet des lectures sans copie et un accès et un échange rapides de données, sans surcharge de sérialisation, entre ces langages et systèmes[2].

Applications

Apache Arrow est utilisé dans divers domaines, notamment l'analyse de données[8], la génomique[9], et le cloud computing[10].

Comparaison avec Apache Parquet et ORC

Apache Parquet et Apache ORC sont des exemples courants de formats de données colonnaires sur disque. Apache Arrow vient en complément de ces formats de fichiers en étant destiné pour le traitement des données en mémoire[11]. Les optimisation dédiés aux le traitement en mémoire et le stockage sur disque diffèrent[12]. Les projets Arrow et Parquet incluent des bibliothèques permettant la lecture et l'écriture de données entre les deux formats[13].

Gouvernance

Apache Arrow a été annoncé par la Fondation Apache Software le 17 février 2016 [14] son développement étant mené par une coalition de développeurs issus d'autres projets d'analyse de données open source[15],[16],[6],[17],[18] Le code source initial et la bibliothèque Java ont été construits à partir du code d'Apache Drill[14].

Références

(en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Apache Arrow » (voir la liste des auteurs).
  1. ↑ « Release 25.0.1 », (consulté le )
  2. ↑ a et b « Apache Arrow and Distributed Compute with Kubernetes »,
  3. ↑ Baer, « Apache Arrow: Lining Up The Ducks In A Row... Or Column », Seeking Alpha,
  4. ↑ Baer, « Apache Arrow: The little data accelerator that could », ZDNet,
  5. ↑ Hall, « Apache Arrow's Columnar Layouts of Data Could Accelerate Hadoop, Spark », The New Stack,
  6. ↑ a et b Yegulalp, « Apache Arrow aims to speed access to big data », InfoWorld,
  7. ↑ « Python — Apache Arrow v20.0.0 »
  8. ↑ Dinsmore T.W., Disruptive Analytics, Apress, Berkeley, CA, , 97–116 p. (ISBN 978-1-4842-1312-4, DOI 10.1007/978-1-4842-1311-7_5), « In-Memory Analytics: Satisfying the Need for Speed »
  9. ↑ « Scalable genomics: from raw data to aligned reads on Apache YARN », IEEE International Conference on Big Data,‎ , p. 1232–1241 (lire en ligne)
  10. ↑ Proceedings of the 16th Workshop on Hot Topics in Operating Systems, , 138–143 p. (ISBN 978-1-4503-5068-6, DOI 10.1145/3102980.3103003), « Return of the Runtimes: Rethinking the Language Runtime System for the Cloud 3.0 Era »
  11. ↑ Le Dem, « Apache Arrow and Apache Parquet: Why We Needed Different Projects for Columnar Data, On Disk and In-Memory », KDnuggets
  12. ↑ « Apache Arrow vs. Parquet and ORC: Do we really need a third Apache project for columnar data representation? »,
  13. ↑ « PyArrow:Reading and Writing the Apache Parquet Format »
  14. ↑ a et b « The Apache® Software Foundation Announces Apache Arrow™ as a Top-Level Project » [archive du ], The Apache Software Foundation Blog,
  15. ↑ Martin, « Apache Foundation rushes out Apache Arrow as top-level project », The Register,
  16. ↑ « Big data gets a new open-source project, Apache Arrow: It offers performance improvements of more than 100x on analytical workloads, the foundation says. » [archive du ], (consulté le )
  17. ↑ Le Dem, « The first release of Apache Arrow », SD Times,
  18. ↑ « Julien Le Dem on the Future of Column-Oriented Data Processing with Apache Arrow. »

Liens externes

Voir aussi

v · m
Projets principaux
ASF logo
Incubateur Apache
en cours d'incubation
incubation finie
Autres projets
Apache attic / Projets en fin de vie
Personnalités
Divers
v · m
Écosystème des lakehouses ouverts
Concepts
Formats de stockage
Moteurs de calcul et requête
Streaming et ingestion
Orchestration

Content Disclaimer

Informasi ini disarikan dari Wikipedia dan disajikan kembali untuk tujuan edukasi. Konten tersedia di bawah lisensi CC BY-SA 3.0. Kami tidak bertanggung jawab atas ketidakakuratan data yang bersumber dari kontribusi publik tersebut.

  1. The information displayed on this website is sourced in part or in whole from Wikipedia and has been adapted for the purpose of restating it. We strive to provide accurate and relevant information, however:
  2. There is no guarantee of absolute accuracy. Wikipedia is an open, collaborative project that can be edited by anyone, so information is subject to change.
  3. It is not intended to constitute professional advice. The content displayed is for informational and educational purposes only. For important decisions (e.g., medical, legal, or financial), please consult a professional.
  4. Content copyright. Wikipedia is licensed under the Creative Commons Attribution-ShareAlike License (CC BY-SA). This means that content may be reused with appropriate attribution and shared under a similar license.
  5. Responsible use. Any risk arising from the use of information from this website is entirely the responsibility of the user.