Get fresh updates from Hortonworks by email

Once a month, receive latest insights, trends, analytics, offering information and knowledge of the Big Data.

cta

Démarrer

cloud

Prêt à débuter ?

Télécharger Sandbox

Que pouvons-nous faire pour vous ?

fermerBouton Fermer
cta

Ingestion de données du big data rapide, simple et sécurisée

Une ingestion de données en quelques minutes au lieu de plusieurs mois

cloud Découvrez comment faire de l’ingestion de données un processus rapide, facile et sécurisé

Téléchargez le livre blanc

Qu’est-ce que l’ingestion de données ?

L’ingestion des big data consiste à déplacer des données, notamment les données non structurées, de là où elles ont été créées vers un système où elles peuvent être stockées et analysées, comme Hadoop.

L’ingestion de données peut être continue ou asynchrone, en temps réel, en batch ou les deux (architecture lambda), en fonction des caractéristiques de la source et de la cible. Dans certains cas, la source et la cible n’ont pas les mêmes protocoles, formats ou timings pour les données et une transformation ou une conversion est nécessaire pour que les données puissent être utilisées par le système cible.

Alors que le nombre d’appareils basés sur l’IoT ne cesse d’augmenter, le volume et la variété des sources de données augmentent eux aussi rapidement. Ces sources doivent à présent être adaptées et souvent en temps réel. Pourtant, extraire ces données pour qu’elles soient utilisées par le système cible est un défi considérable en termes de temps et de ressources. En rendant l’ingestion de données plus efficace, vous pouvez focaliser vos ressources sur l’analyse du big data, plutôt que sur des tâches sans valeur ajoutée comme la préparation et la transformation des données.

HDF simplifie l’ingestion des big data

Avant

Un processus compliqué, désordonné et qui demande des semaines, voire des mois pour déplacer les données appropriées dans Hadoop.

Après

Un processus rationalisé, efficace et simple.

Problèmes courants de l’ingestion de données

Complexe, lente et onéreuse

*

Les outils ultra-complexes et sur mesure rendent l’ingestion des big data complexe, coûteuse et chronophage.

*

Écrire des scripts personnalisés et combiner plusieurs produits pour acquérir et ingérer les données associées aux solutions actuelles d’ingestion des big data prend trop de temps et empêche les entreprises de pouvoir prendre des décisions en temps réel, une condition requise sur le marché aujourd’hui.

*

Les interfaces de lignes de commande des outils existants créent des dépendances pour les développeurs et limitent l’accès aux données et la prise de décision.

Sécurité et confiance dans les données

*

Le besoin de partager des ensembles distincts de données n’est pas compatible avec les capacités de sécurité dans le transport de données qui limitent l’accès au niveau du groupe ou du rôle.

*

La conformité aux réglementations sur la sécurité des données s'avère complexe et coûteuse.

*

La vérification de l’accès aux données et leur utilisation est difficile et prend du temps. Elle suppose souvent un processus manuel de rassemblement de différents systèmes et rapports pour vérifier d’où les données proviennent, comment elles sont utilisées, qui les a utilisées et à quelle fréquence.

Problèmes de l’ingestion de données pour l’IoT

*

Il est difficile d’équilibrer des ressources limitées (alimentation, calcul et bande passante) avec le volume de signaux de données généré par les sources de données.

*

Une connectivité qui n’est pas fiable crée des interruptions dans la communication et entraîne des pertes de données.

*

L’absence de sécurité sur la majorité des capteurs déployés dans le monde met les entreprises en danger et compromet la sécurité.

Optimiser l’ingestion de données avec Hortonworks DataFlow

Rapide, simple et sécurisé

*

Le moyen le plus rapide de résoudre de nombreux problèmes actuels d'ingestion des Big Data

*

Contrôle des flux de données interactif en temps réel, en un clic

*

Accélération de la collecte et du mouvement des données pour un meilleur retour sur investissement du big data

*

Visibilité des opérations, commentaires et contrôle en temps réel

*

Flexibilité et réactivité métier

*

Prise de décision en temps réel à partir de sources de données en streaming

*

Bénéficiez d'une efficacité opérationnelle hors pair en éliminant la dépendance et les retards inhérents à l'écriture de lignes de code et de scripts personnalisés

*

Programmation des flux prête à l'emploi pour les infrastructures Big Data

*

Recueil de données sécurisé, fiable et mis en priorité sur des bandes passantes géographiquement dispersées et variables.

*

Provenance des données assurée de bout en bout, qui crée une chaîne de contrôle pour la conformité des données et leur « évaluation », l'optimisation des flux de données et le dépannage

Single, Flexible, Adaptive Bi-Directional Real-Time System

*

Intégration de la collecte de données indépendamment des sources, que celles-ci soient dynamiques, hétérogènes ou distribuées

*

S'adapte aux variations des conditions des sources de données à distance par l'intermédiaire de voies de communication géographiquement éloignées dans des environnements à bande passante et à temps de latence différents

*

Hiérarchisation automatique et en temps réel des données en périphérie permettant d'envoyer, d'importer et de stocker des données localement

*

Mouvement bidirectionnel des données, des commandes et des données contextuelles

*

Conception optimisée pour les sources de données à petite échelle qui composent l'Internet des Objets, ainsi que pour les clusters à grande échelle des datacentres professionnels d'aujourd'hui

*

Une chaîne de contrôle visuelle des données (provenance) fournit en temps réel l'historique des données d'événement afin d'assurer la vérification et la validation des données issues de l'Internet des Objets

 
Les flux de données en temps réel accélèrent le ROI du big data
Sécurisez les flux de données provenant de l’IoT
Traçabilité des données visuelle et en temps réel
Accès et contrôle des données sécurisés
Priorisation dynamique des données en transit

Exemples d’utilisation de l’ingestion de données avec Hortonworks DataFlow

EXEMPLE D’UTILISATION N°1

Transfert de données dans Hadopp

Accélérez le processus de transfert de données dans Hadoop, de quelques mois à quelques minutes grâce à une interface glisser-déposer en temps réel. Consultez une étude de cas concrète et découvrez comment transférer des données dans HDFS en 30 secondes.

 

Prescient Vidéo | Blog
Voir la démonstration en direct de 30 secondes

EXEMPLE D'UTILISATION 2
media img

Collecte de fichiers log / Optimisation Splunk

Il peut s'avérer difficile d'acquérir des données de fichiers log, car celles-ci sont généralement recueillies dans des volumes limités et difficiles à mettre en œuvre à grande échelle. HDF permet de collecter, de canaliser et d'accéder efficacement à des volumes de données provenant de fichiers log de plus en plus volumineux. Cette plateforme facilite l'intégration de systèmes d'analyse des fichiers log, notamment Splunk, SumoLogic, Graylog et LogStash, pour une assimilation simple, sécurisée et complète des données stockées dans ce type de fichier.

 

Livre blanc sur l'optimisation de l'analyse des fichiers log TÉLÉCHARGER MAINTENANT

EXEMPLE D'UTILISATION 3
media img

Ingestion de données IoT

Réussir à prendre des décisions en temps réel en se basant sur les données IoT en temps réel est un défi de par la nature distribuée et disparate des données IoT. HDF simplifie le recueil de données et aide à diffuser les informations en périphérie des réseaux fortement distribués.

 

A. Des données concrètes en périphérie pour l’IoT EN SAVOIR PLUS
B. La distribution et l’IoT EN SAVOIR PLUS
C. L’IoT d’Open Energi EN SAVOIR PLUS

EXEMPLE D’UTILISATION 4
media img

Distribution de données dans les moteurs de traitement de trains de données

Blog, diapositives et webinaire NiFi Kafka et Storm EN SAVOIR PLUS
Comcast NiFi dans Spark (Keynote de la conférence Hadoop Summit) VIDÉO