Apache Zookeeper
Apache ZooKeeper est un service de coordination conçu pour gérer des grands systèmes distribués. Il coordonne les activités des différents hébergeurs et l'utilisation de données communes avec des techniques de synchronisation robustes.
Tout en se présentant extérieurement comme un service unique, ZooKeeper forme un cluster de plusieurs noeuds et instances de serveur. Le Zookeeper Ensemble s'organise en choisissant un noeud maître qui prend l'initiative de synchroniser le cluster et de gérer la cohérence.
Dans un cluster, ZooKeeper fournit les services suivants :
- Service de nommage pour identifier et adresser les noeuds d'un cluster
- Gestion de cluster pour ajouter ou supprimer des noeuds individuels
- Service de synchronisation pour gérer la sauvegarde et la modification des données
- Service de redondance pour assurer une haute disponibilité des données et des services malgré les pannes de noeuds individuels
- Service d'information pour fournir des informations sur l'état des noeuds en temps réel
- Service de configuration pour fournir des données de configuration de noeuds en temps réel
- Procédure de désignation d'un noeud maître
Développé à l'origine par Yahoo, ZooKeeper est devenu un sous-projet de Hadoop chez Apache avant de devenir un projet autonome en 2008. Aujourd'hui, ZooKeeper est de fait devenu la norme pour l'organisation des services distribués et est utilisé par HBase, Hadoop et des frameworks similaires.
- En savoir plus
- Site officiel
Articles associés
Stage en infrastructure Big Data avec TDP
Catégories : Infrastructure, Formation | Tags : Cybersécurité, DevOps, Java, Ansible, Hadoop, Internship, TDP
Le Big Data et l’informatique distribuée sont au cœur d’Adaltas. Nous accompagnons nos partenaires dans le déploiement, la maintenance et l’optimisation de certains des plus grands clusters de France…
Par HARTY Daniel
25 oct. 2021
Orchestration de conteneurs chez Facebook avec Tupperware
Catégories : Orchestration de conteneurs, Open Source Summit Europe 2017, Infrastructure | Tags : Btrfs, LXD, Red Hat, Systemd, Zookeeper, Cloud, Consensus
Dans cet article, je présenterai la solution d’orchestration de conteneurs mise en place par Facebook, appelée Tupperware. Qu’est-ce que Tupperware ? Tupperware est un framework fait maison écrit et…
Par BAKALIAN Lucas
3 nov. 2017
Administration Hadoop multitenant avancée - protection de Zookeeper
Catégories : Big Data, Infrastructure | Tags : DoS, iptables, Exploitation, Passage à l'échelle, Zookeeper, Clustering, Consensus
Zookeeper est un composant critique au fonctionnement d’Hadoop en haute disponibilité. Ce dernier se protège en limitant le nombre de connexions max (maxConns=400). Cependant Zookeeper ne se protège…
Par SAUVAGE Pierre
5 juil. 2017