Apache Flink
[Apache Flink] (https://flink.apache.org/) est un framework de traitement de données open source et et un moteur de traitement distribué pour les flux de données par lots et en continu. À l'origine nommé Stratosphere, le projet est devenu Apache Flink en 2015 sous la fondation Apache.
Flink vous permet de gérer le traitement par lots et par flux grâce à ses deux principales API:
- the Dataset API
- the DataStream API.
Avec son mécanisme intégré de tolérance aux pannes, Flink garantit une disponibilité élevée, offrant un débit élevé avec une faible latence. Flink s'intègre à un large éventail de systèmes de stockage et dispose de connecteurs intégrés pour des sources de données et des puits de données courants comme [Kafka] (https://www.adaltas.com/en/tag/apache-kafka/) en tant que source et puit ou [Elasticsearch] (https://www.adaltas.com/en/tag/elk-elasticsearch/) en tant que puit.
De plus, Flink offre une flexibilité, fonctionnant soit comme un cluster autonome, soit en s'intégrant à des gestionnaires de ressources tels que Hadoop [YARN] (https://www.adaltas.com/en/tag/apache-yarn/) et [Kubernetes] (https://www.adaltas.com/en/tag/kubernetes/).
- En savoir plus
- Site officiel
Articles associés
Stage Data Science & Data Engineer - ML en production et ingestion streaming
Catégories : Data Engineering, Data Science | Tags : DevOps, Flink, Hadoop, HBase, Kafka, Spark, Internship, Kubernetes, Python
Contexte L’évolution exponentielle des données a bouleversé l’industrie en redéfinissant les méthodes de stockages, de traitement et d’acheminement des données. Maitriser ces méthodes facilite…
Par WORMS David
26 nov. 2019
Apache Flink : passé, présent et futur
Catégories : Data Engineering | Tags : Pipeline, Flink, Kubernetes, Machine Learning, SQL, Streaming
Apache Flink est une petite pépite méritant beaucoup plus d’attention. Plongeons nous dans son passé, son état actuel et le futur vers lequel il se dirige avec les keytones et présentations de la…
Par BEREZOWSKI César
5 nov. 2018
Une semaine à discuter techno isolés dans un riad Marocain
Catégories : Adaltas Summit 2018, Formation | Tags : CDSW, Gatsby, React.js, Flink, Hadoop, Knox, Data Science, Deep Learning, Kubernetes, Node.js
Adaltas organise sa première conférence entre les 22 et 26 Octobre. Au programme de ces 5 jours de conférence : discuter de technologie dans l’un des plus beau riad de Marrakech. Mélanger l’utile à l…
Par WORMS David
11 oct. 2018
Déploiement d'un cluster Flink sécurisé sur Kubernetes
Catégories : Big Data | Tags : Chiffrement, Flink, HDFS, Kafka, Elasticsearch, Kerberos, SSL/TLS
Le déploiement sécurisée d’une application Flink dans Kubernetes, entraine deux options. En supposant que votre Kubernetes est sécurisé, vous pouvez compter sur la plateforme sous-jacente ou utiliser…
Par WORMS David
8 oct. 2018
Apache Beam : un modèle de programmation unifié pour les pipelines de traitement de données
Catégories : Data Engineering, DataWorks Summit 2018 | Tags : Apex, Beam, Pipeline, Flink, Spark
Dans cet article, nous allons passer en revue les concepts, l’histoire et le futur d’Apache Beam, qui pourrait bien devenir le nouveau standard pour la définition des pipelines de traitement de…
Par LEONARD Gauthier
24 mai 2018
Apache Apex avec Apache SAMOA
Catégories : Data Science, Évènements, Tech Radar | Tags : Apex, Samoa, Storm, Tools, Flink, Hadoop, Machine Learning
Le Machine learning Orienté batch Supervisé - plus courant Training et Scoring Construction préliminaire du modèle Training : Construction du modèle Holdout : tuning du paramétrage Test : précision…
Par SAUVAGE Pierre
17 juil. 2016
Apache Apex : l'analytique Big Data nouvelle génération
Catégories : Data Science, Évènements, Tech Radar | Tags : Apex, Storm, Tools, Flink, Hadoop, Kafka, Data Science, Machine Learning
Ci-dessous une compilation de mes notes prises lors de la présentation d’Apache Apex par Thomas Weise de DataTorrent, l’entreprise derrière Apex. Introduction Apache Apex est un moteur de traitements…
Par BEREZOWSKI César
17 juil. 2016
