Trunk Data Platform (TDP)
Trunk Data Platform (TDP) est une distribution Big Data entièrement open source basée sur l'éco-système Apache. L'initiative est incubée par The Open Source I Trust (TOSIT), une association française dont la mission est la promotion de l’open source entre grands comptes et institutionnels.
La distribution TDP est basée sur les versions open source de composants Apache de l’écosystème big data. Dans le cadre du projet TDP, ces composants sont compilés, testés et déployés de manière automatique.
La distribution TDP définie et qualifie un ensemble de composants versionnés interagissant les uns avec les autres. En complément, elle met à disposition de la communauté des outils permettant le déploiement de plateformes. L’ensemble ainsi constitué est versionné et évolue selon les axes suivants :
- L’évolution des composants qui la compose par l'intégration de nouvelles versions et l'application de correctifs ;
- L’ajout de nouvelles fonctionnalités sur le code source du projet TDP.
Toute nouvelle évolution entraîne par effet de ricochet la compilation de l'ensemble des composants, la validation des tests et la mise à disposition d’une nouvelle version de la distribution en respectant les préconisations de Semantic Versioning (SemVer).
Par soucis de continuation de services, les première versions mise à disposition sont alignées sur celles des distributions HDP 2.6.5 et HDP 3.1.5. La liste des composants supportés inclue : Hadoop (HDFS, YARN, MapReduce), Hive & Tez, Spark, Ranger, HBase, Phoenix, Knox, Oozie, NiFi, Kafka, et ZooKeeper.
Articles associés
Guide d'installation à TDP, la plateforme big data 100% open source
Catégories : Big Data, Infrastructure | Tags : Infrastructure, VirtualBox, Hadoop, Vagrant, TDP
La Trunk Data Platforme (TDP) est une distribution big data 100% open source, basée sur Apache Hadoop et compatible avec HDP 3.1. Initiée en 2021 par EDF, la DGFiP et Adaltas, le projet est gouverné…
Par FARAULT Paul
18 oct. 2023
Lancement du site Internet de TDP
Catégories : Big Data | Tags : Programmation, Ansible, Hadoop, Python, TDP
Le nouveau site Internet de TDP (Trunk Data Platform) est en ligne. Nous vous invitons à le parcourir pour découvrir la platorme, rester informés, et cultiver le contact avec la communauté TDP. TDP…
Par WORMS David
3 oct. 2023
Plongée dans tdp-lib, le SDK en charge de la gestion de clusters TDP
Catégories : Big Data, Infrastructure | Tags : Programmation, Ansible, Hadoop, Python, TDP
Tous les déploiements TDP sont automatisés. Ansible y joue un rôle central. Avec la complexité grandissante de notre base logicielle, un nouveau système était nécessaire afin de s’affranchir des…
Par BOUTRY Guillaume
24 janv. 2023
Stage infrastructure big data
Catégories : Big Data, Data Engineering, DevOps & SRE, Infrastructure | Tags : Infrastructure, Hadoop, Big Data, Cluster, Internship, Kubernetes, TDP
Présentation de l’offre Le Big Data et l’informatique distribuée sont au cœur d’Adaltas. Nous accompagnons nos partenaires dans le déploiement, la maintenance, l’optimisation et nouvellement le…
Par BAUM Stephan
2 déc. 2022
Intégration de Spark et Hadoop dans Jupyter
Catégories : Adaltas Summit 2021, Infrastructure, Tech Radar | Tags : Infrastructure, Jupyter, Spark, YARN, CDP, HDP, Notebook, TDP
Depuis quelques années, Jupyter notebook s’impose comme la principale solution de notebook dans l’univers Python. Historiquement, Jupyter est l’outil de prédilection des data scientists développant…
Par COINTEPAS Aargan
1 sept. 2022
TDP Workshop : devenir un power-user de TDP depuis son terminal
Catégories : Évènements, Formation | Tags : DevOps, Ansible, Hadoop, Open source, TDP
La CLI de TDP est utilisée pour déployer et exploiter vos services TDP. Elle s’appuie sur tdp-lib pour vous offrir contrôle et flexibilité. Il y a quelques temps, nous annoncions la sortie publique de…
Par FARAULT Paul
17 juin 2022
Découvrez Trunk Data Platform : La Distribution Big Data Open-Source par TOSIT
Cat égories : Big Data, DevOps & SRE, Infrastructure | Tags : Ranger, DevOps, Hortonworks, Ansible, Hadoop, HBase, Knox, Spark, Cloudera, CDP, CDH, Open source, TDP
Depuis la fusion de Cloudera et Hortonworks, la sélection de distributions Hadoop commerciales on-prem se réduit à CDP Private Cloud. CDP est un mélange de CDH et de HDP conservant les meilleurs…
Par SCHOUKROUN Leo
14 avr. 2022
Installation fiable et reproductible de Linux avec NixOS
Catégories : Infrastructure, Formation | Tags : Linux, Packaging, VM, NixOS, TDP
Lors de l’utilisation d’un système d’exploitation, la mise à jour ou l’installation de packages sont des opérations courantes qui présentent un risque pour la stabilité du système. NixOS est une…
Par MOUAFFO Florent
8 févr. 2022
Introduction à Nix, concepts fondateurs et principales commandes
Catégories : Infrastructure, Formation | Tags : Arch Linux, CentOS, Linux, OS X, Packaging, Ubuntu, NixOS, TDP
Nix est un gestionnaire de packages fonctionnel pour Linux et d’autres systèmes Unix, rendant la gestion des packages plus fiable et reproductible. Avec un gestionnaire de packages traditionnel, lors…
Par MOUAFFO Florent
1 févr. 2022
Stage en infrastructure Big Data avec TDP
Catégories : Infrastructure, Formation | Tags : Cybersécurité, DevOps, Java, Ansible, Hadoop, Internship, TDP
Le Big Data et l’informatique distribuée sont au cœur d’Adaltas. Nous accompagnons nos partenaires dans le déploiement, la maintenance et l’optimisation de certains des plus grands clusters de France …
Par HARTY Daniel
25 oct. 2021
Construire votre distribution Big Data open source avec Hadoop, Hive, HBase, Spark et Zeppelin
Catégories : Big Data, Infrastructure | Tags : Maven, Hadoop, HBase, Hive, Spark, Git, Versions et évolutions, TDP, Tests unitaires
L’écosystème Hadoop a donné naissance à de nombreux projets populaires tels que HBase, Spark et Hive. Bien que des technologies plus récentes commme Kubernetes et les stockages objets compatibles S…
Par SCHOUKROUN Leo
18 déc. 2020
Reconstruction de Hive dans HDP : patch, test et build
Catégories : Big Data, Infrastructure | Tags : Maven, GitHub, Java, Hive, Git, Versions et évolutions, TDP, Tests unitaires
La distribution HDP d’Hortonworks va bientôt être dépreciée a profit de la distribution CDP proposée par Cloudera. Un client nous a demandé d’intégrer d’une nouvelle feature de Apache Hive sur son…
Par SCHOUKROUN Leo
6 oct. 2020
Installation d'Hadoop depuis le code source : build, patch et exécution
Catégories : Big Data, Infrastructure | Tags : Maven, Java, LXD, Hadoop, HDFS, Docker, TDP, Tests unitaires
Les distributions commerciales d’Apache Hadoop ont beaucoup évolué ces dernières années. Les deux concurrents Cloudera et Hortonworks ont fusionné : HDP ne sera plus maintenu et CDH devient CDP. HP a…
Par SCHOUKROUN Leo
4 août 2020