Apache Airflow
Apache Airflow est une plateforme de gestion de workflow open source créée par des ingénieurs d'AirBnB en 2014. Les utilisateurs peuvent créer, planifier et surveiller des workflows complexes, tandis qu'une interface graphique fournit de puissants outils de visualisation.
Les flux de travail sont créés sous forme de graphe orienté acyclique (anglais « directed acyclic graph » ou DAG) dans des scripts Python, mettant en œuvre le principe de "configuration en tant que code". Cette approche permet l'itération rapide des pipelines de données et un haut degré d'évolutivité.
Airflow a été accepté en tant que projet Apache Incubator en mars 2016 et est devenu un projet de premier niveau Apache depuis janvier 2019. Il s'est imposé comme une norme de facto dans la gestion des workflows et est utilisé par des ingénieurs de données dans le monde entier.
- En savoir plus
- Site officiel
Articles associés
Automatisation d'un workflow Spark sur GCP avec GitLab
Catégories : Big Data, Cloud computing, Orchestration de conteneurs | Tags : Enseignement et tutorial, Airflow, Spark, CI/CD, GitLab, GitOps, GCP, Terraform
Un workflow consiste à automiatiser une succéssion de tâche qui dont être menée indépendemment d’une intervention humaine. C’est un concept important et populaire, s’appliquant particulièrement à un…
16 juin 2020
Premier pas avec Apache Airflow sur AWS
Catégories : Big Data, Cloud computing, Orchestration de conteneurs | Tags : PySpark, Enseignement et tutorial, Airflow, Oozie, Spark, AWS, Docker, Python
Apache Airflow offre une solution répondant au défi croissant d’un paysage de plus en plus complexe d’outils de gestion de données, de scripts et de traitements d’analyse à gérer et coordonner. C’est…
Par COINTEPAS Aargan
5 mai 2020
Maitrisez vos workflows avec Apache Airflow
Catégories : Big Data, Tech Radar | Tags : DevOps, Airflow, Cloud, Python
Ci-dessous une compilation de mes notes prises lors de la présentation d’Apache Airflow par Christian Trebing de chez BlueYonder. Introduction Use case : comment traiter des données arrivant…
Par BEREZOWSKI César
17 juil. 2016
