cta

Démarrer

cloud

Prêt à débuter ?

Télécharger Sandbox

Que pouvons-nous faire pour vous ?

fermerBouton Fermer
cta

Fast, Easy and Secure Big Data Ingestion

Une ingestion de données en quelques minutes au lieu de plusieurs mois

cloud Découvrez comment faire de l’ingestion de données un processus rapide, facile et sécurisé

Téléchargez le livre blanc

Qu’est-ce que l’ingestion de données ?

L’ingestion des big data consiste à déplacer des données, notamment les données non structurées, de là où elles ont été créées vers un système où elles peuvent être stockées et analysées, comme Hadoop.

L’ingestion de données peut être continue ou asynchrone, en temps réel, en batch ou les deux (architecture lambda), en fonction des caractéristiques de la source et de la cible. Dans certains cas, la source et la cible n’ont pas les mêmes protocoles, formats ou timings pour les données et une transformation ou une conversion est nécessaire pour que les données puissent être utilisées par le système cible.

Alors que le nombre d’appareils basés sur l’IoT ne cesse d’augmenter, le volume et la variété des sources de données augmentent eux aussi rapidement. Ces sources doivent à présent être adaptées et souvent en temps réel. Pourtant, extraire ces données pour qu’elles soient utilisées par le système cible est un défi considérable en termes de temps et de ressources. En rendant l’ingestion de données plus efficace, vous pouvez focaliser vos ressources sur l’analyse du big data, plutôt que sur des tâches sans valeur ajoutée comme la préparation et la transformation des données.

HDF simplifie l’ingestion des big data

Avant

Un processus compliqué, désordonné et qui demande des semaines, voire des mois pour déplacer les données appropriées dans Hadoop.

Après

Un processus rationalisé, efficace et simple.

Problèmes courants de l’ingestion de données

Complexe, lente et onéreuse

icon6.png

Les outils ultra-complexes et sur mesure rendent l’ingestion des big data complexe, coûteuse et chronophage.

icon6.png

Écrire des scripts personnalisés et combiner plusieurs produits pour acquérir et ingérer les données associées aux solutions actuelles d’ingestion des big data prend trop de temps et empêche les entreprises de pouvoir prendre des décisions en temps réel, une condition requise sur le marché aujourd’hui.

icon6.png

Les interfaces de lignes de commande des outils existants créent des dépendances pour les développeurs et limitent l’accès aux données et la prise de décision.

Sécurité et confiance dans les données

icon6.png

Le besoin de partager des ensembles distincts de données n’est pas compatible avec les capacités de sécurité dans le transport de données qui limitent l’accès au niveau du groupe ou du rôle.

icon6.png

La conformité aux réglementations sur la sécurité des données s'avère complexe et coûteuse.

icon6.png

La vérification de l’accès aux données et leur utilisation est difficile et prend du temps. Elle suppose souvent un processus manuel de rassemblement de différents systèmes et rapports pour vérifier d’où les données proviennent, comment elles sont utilisées, qui les a utilisées et à quelle fréquence.

Problèmes de l’ingestion de données pour l’IoT

icon6.png

Il est difficile d’équilibrer des ressources limitées (alimentation, calcul et bande passante) avec le volume de signaux de données généré par les sources de données.

icon6.png

Une connectivité qui n’est pas fiable crée des interruptions dans la communication et entraîne des pertes de données.

icon6.png

L’absence de sécurité sur la majorité des capteurs déployés dans le monde met les entreprises en danger et compromet la sécurité.

Optimiser l’ingestion de données avec Hortonworks DataFlow

Rapide, simple et sécurisé

icon6.png

Le moyen le plus rapide de résoudre de nombreux problèmes actuels d'ingestion des Big Data

icon6.png

Contrôle des flux de données interactif en temps réel, en un clic

icon6.png

Accélération de la collecte et du mouvement des données pour un meilleur retour sur investissement du big data

icon6.png

Visibilité des opérations, commentaires et contrôle en temps réel

icon6.png

Flexibilité et réactivité métier

icon6.png

Prise de décision en temps réel à partir de sources de données en streaming

icon6.png

Bénéficiez d'une efficacité opérationnelle hors pair en éliminant la dépendance et les retards inhérents à l'écriture de lignes de code et de scripts personnalisés

icon6.png

Programmation des flux prête à l'emploi pour les infrastructures Big Data

icon6.png

Recueil de données sécurisé, fiable et mis en priorité sur des bandes passantes géographiquement dispersées et variables.

icon6.png

Provenance des données assurée de bout en bout, qui crée une chaîne de contrôle pour la conformité des données et leur « évaluation », l'optimisation des flux de données et le dépannage

Système en temps réel unique, souple, évolutif et bidirectionnel

icon6.png

Intégration de la collecte de données indépendamment des sources, que celles-ci soient dynamiques, hétérogènes ou distribuées

icon6.png

S'adapte aux variations des conditions des sources de données à distance par l'intermédiaire de voies de communication géographiquement éloignées dans des environnements à bande passante et à temps de latence différents

icon6.png

Hiérarchisation automatique et en temps réel des données en périphérie permettant d'envoyer, d'importer et de stocker des données localement

icon6.png

Mouvement bidirectionnel des données, des commandes et des données contextuelles

icon6.png

Conception optimisée pour les sources de données à petite échelle qui composent l'Internet des Objets, ainsi que pour les clusters à grande échelle des datacentres professionnels d'aujourd'hui

icon6.png

Une chaîne de contrôle visuelle des données (provenance) fournit en temps réel l'historique des données d'événement afin d'assurer la vérification et la validation des données issues de l'Internet des Objets

 
Les flux de données en temps réel accélèrent le ROI du big data
Sécurisez les flux de données provenant de l’IoT
Traçabilité des données visuelle et en temps réel
Accès et contrôle des données sécurisés
Priorisation dynamique des données en transit

Exemples d’utilisation de l’ingestion de données avec Hortonworks DataFlow

EXEMPLE D’UTILISATION N°1

Transfert de données dans Hadopp

Accélérez le processus de transfert de données dans Hadoop, de quelques mois à quelques minutes grâce à une interface glisser-déposer en temps réel. Consultez une étude de cas concrète et découvrez comment transférer des données dans HDFS en 30 secondes.

 

Prescient Vidéo | Blog
Voir la démonstration en direct de 30 secondes

EXEMPLE D'UTILISATION 2
media img

Collecte de fichiers log / Optimisation Splunk

Il peut s'avérer difficile d'acquérir des données de fichiers log, car celles-ci sont généralement recueillies dans des volumes limités et difficiles à mettre en œuvre à grande échelle. HDF permet de collecter, de canaliser et d'accéder efficacement à des volumes de données provenant de fichiers log de plus en plus volumineux. Cette plateforme facilite l'intégration de systèmes d'analyse des fichiers log, notamment Splunk, SumoLogic, Graylog et LogStash, pour une assimilation simple, sécurisée et complète des données stockées dans ce type de fichier.

 

Livre blanc sur l'optimisation de l'analyse des fichiers log TÉLÉCHARGER MAINTENANT

EXEMPLE D'UTILISATION 3
media img

Ingestion de données IoT

Réussir à prendre des décisions en temps réel en se basant sur les données IoT en temps réel est un défi de par la nature distribuée et disparate des données IoT. HDF simplifie le recueil de données et aide à diffuser les informations en périphérie des réseaux fortement distribués.

 

A. Des données concrètes en périphérie pour l’IoT EN SAVOIR PLUS
B. La distribution et l’IoT EN SAVOIR PLUS
C. L’IoT d’Open Energi EN SAVOIR PLUS

EXEMPLE D’UTILISATION 4
media img

Distribution de données dans les moteurs de traitement de trains de données

Blog, diapositives et webinaire NiFi Kafka et Storm EN SAVOIR PLUS
Comcast NiFi dans Spark (Keynote de la conférence Hadoop Summit) VIDÉO