newsletter

Obtenez par e-mail toute l'actualité Hortonworks

Une fois par mois, recevez les dernières idées, tendances, informations d’analyse et découvertes sur le Big Data.

AVAILABLE NEWSLETTERS:

Sign up for the Developers Newsletter

Une fois par mois, recevez les dernières idées, tendances, informations d’analyse et découvertes sur le Big Data.

cta

Démarrer

cloud

Prêt à débuter ?

Télécharger Sandbox

Que pouvons-nous faire pour vous ?

* Je comprends que je peux me désabonner à tout moment. J'ai également compris les informations supplémentaires fournies dans la Politique de confidentialité de Hortonworks.
fermerBouton Fermer
HDP > Administration Hadoop > Hortonworks Sandbox

Sandbox Deployment and Install Guide

Déployer Hortonworks Sandbox sur Docker

cloud Prêt à débuter ?

TÉLÉCHARGER SANDBOX

Introduction

Le didacticiel vous présente une approche générale pour l'installation de Hortonworks Sandbox (HDP ou HDF) dans Docker sur votre ordinateur.

Conditions préalables

  • Docker installé, version 17.09 ou plus récente
  • A computer with minimum 10 GB RAM dedicated to the virtual machine
  • Les utilisateurs Microsoft Windows doivent avoir installé le shell bash. Ces instructions ont été testées avec Git Bash.

En bref

Configuration de la mémoire

Mémoire pour Linux

Aucune configuration spéciale requise sous Linux

Mémoire pour Windows

Après avoir installé Docker pour Windows, ouvrez l'application et cliquez sur l'icône Docker dans la barre de menu. Sélectionnez Settings.

Paramètres Docker

Select the Advanced tab and adjust the dedicated memory to at least 10240GB of RAM.

Configurer la RAM de Docker

Mémoire pour Mac

Après avoir installé Docker pour Mac, ouvrez l'application et cliquez sur l'icône Docker dans la barre de menu. Sélectionnez Preferences.

docker-mac-preferences

Select the Advanced tab and adjust the dedicated memory to at least 12GB of RAM.

docker-mac-configure

Déploiement HDP

Déployer HDP Sandbox

Installer/Déployer/Démarrer HDP Sandbox

docker-download-hdp

Dans le dossier décompressé, vous trouverez le script shell docker-deploy-{version}.sh. Depuis la ligne de commande Linux/Mac/Windows (Git Bash), lancez le script :

cd /path/to/script
sh docker-deploy-{HDPversion}.sh

Remarque : Vous n'aurez besoin de lancer ce script qu'une seule fois. Il paramétrera et démarrera la sandbox à votre place et, si nécessaire, créera au passage le conteneur docker de la sandbox.

Remarque : le dossier décompressé comprend d'autres scripts et sous-dossiers. Ignorons-les pour le moment. Ils auront leur utilité plus tard, dans des didacticiels pour des usages plus avancés.

La sortie du script devrait ressembler à ceci :

docker-start-hdp-output

Vérifier HDP Sandbox

Vérifiez que HDP Sandbox a été déployé avec succès en lançant la commande suivante :

docker ps

Vous devriez voir apparaître quelque chose ressemblant à ceci :

docker-ps-hdp-output

Arrêter HDP Sandbox

Si vous souhaitez arrêter/éteindre votre sandbox HDP, lancez les commandes suivantes :

docker stop sandbox-hdp
docker stop sandbox-proxy

Redémarrer HDP Sandbox

Si vous souhaitez redémarrer votre sandbox, lancez les commandes suivantes :

docker start sandbox-hdp
docker start sandbox-proxy

Supprimer HDP Sandbox

Un conteneur est une instance d'une image de sandbox. Vous devez arrêter les dépendances du conteneur avant de la supprimer. Lancez les commandes suivantes :

docker stop sandbox-hdp
docker stop sandbox-proxy
docker rm sandbox-hdp
docker rm sandbox-proxy

Si vous souhaitez supprimer l'image HDP Sandbox, lancez la commande suivante après avoir arrêté et supprimé les conteneurs :

docker rmi hortonworks/sandbox-hdp:{release}

Déploiement HDF

Déployer HDF Sandbox

Installer/Déployer/Démarrer HDF Sandbox

docker-download-hdf

Dans le dossier décompressé, vous trouverez le script shell docker-deploy-{version}.sh. Depuis la ligne de commande Linux/Mac/Windows (Git Bash), lancez le script :

cd /path/to/script
sh docker-deploy-{HDFversion}.sh

Remarque : Vous n'aurez besoin de lancer ce script qu'une seule fois. Il paramétrera et démarrera la sandbox à votre place et, si nécessaire, créera au passage le conteneur docker de la sandbox.

Remarque : le dossier décompressé comprend d'autres scripts et sous-dossiers. Ignorons-les pour le moment. Ils auront leur utilité plus tard, dans des didacticiels pour des usages plus avancés.

La sortie du script devrait ressembler à ceci :

docker-start-hdf-output

Vérifier HDF Sandbox

Vérifiez que HDF Sandbox a été déployé avec succès en lançant la commande suivante :

docker ps

Vous devriez voir apparaître quelque chose ressemblant à ceci :

docker-ps-hdf-output

Arrêter HDF Sandbox

Si vous souhaitez arrêter/éteindre votre sandbox HDF, lancez les commandes suivantes :

docker stop sandbox-hdf
docker stop sandbox-proxy

Redémarrer HDF Sandbox

Si vous souhaitez redémarrer votre sandbox HDF, lancez les commandes suivantes :

docker start sandbox-hdf
docker start sandbox-proxy

Supprimer HDF Sandbox

A container is an instance of the Sandbox image. You must stop container dependencies before removing it. Issue the following commands:

docker stop sandbox-hdf
docker stop sandbox-proxy
docker rm sandbox-hdf
docker rm sandbox-proxy

Si vous souhaitez supprimer l'image HDF Sandbox, lancez la commande suivante après avoir arrêté et supprimé les conteneurs :

docker rmi hortonworks/sandbox-hdf:{release}

Activer Connected Data Architecture (CDA) – avancé

Conditions préalables :

  • A computer with minimum 22 GB of RAM dedicated to the virtual machine
  • Avoir déjà déployé la dernière sandbox HDP/HDF
  • Update Docker settings to use minimum 16 GB (16384 MB)

Hortonworks Connected Data Architecture (CDA) vous permet de faire fonctionner simultanément des sandbox de type data-in-motion (HDF) et data-at-rest (HDP).

HDF (Data-In-Motion)

Data-In-Motion est un concept selon lequel les données proviennent de toutes sortes de périphériques différents pour intégrer un flux. Bien que les données soient transportées par ce flux, les composants, ou « processeurs » comme les appelle NiFi, agissent sur ces données afin de les modifier, de les transformer, de les agréger et de les router. Data-In-Motion couvre une bonne partie de l'étape de prétraitement lors de la construction d'une application Big Data. Par exemple, le prétraitement des données correspond au moment où les ingénieurs data travaillent sur les données brutes pour les formater en un meilleur schéma, de sorte que les data scientists puissent se concentrer sur l'analyse et la visualisation des données.

HDP (Data-At-Rest)

Data-At-Rest est un concept selon lequel les données ne se déplacent pas mais sont stockées en base de données ou dans un magasin de données robuste sur un système de stockage distribué tel que Hadoop Distributed File System (HDFS). Au lieu d'envoyer les données lors des requêtes, ce sont les requêtes qui sont envoyées aux données afin de faire ressortir des informations exploitables. À ce stade, les données, le traitement et l'analyse des données ont lieu lors de la construction d'une application Big Data.

Modifier la mémoire de Docker

Sélectionnez Docker -> Preferences… -> Advanced et paramétrez la mémoire en fonction de vos besoins. Redémarrez Docker.

docker-memory-settings

Lancer le script pour activer CDA

Lorsque vous avez déployé la sandbox, une suite de scripts de déploiement ont été téléchargés – référez-vous à Déployer HDP Sandbox pour obtenir un exemple.

Dans le dossier décompressé, vous trouverez le script shell enable-native-cda.sh. Depuis la ligne de commande Linux/Mac/Windows (Git Bash), lancez le script :

cd /path/to/script
sh enable-native-cda.sh

La sortie du script devrait ressembler à ceci :

docker-enable-cda-output

Plus de lectures

Annexe A : Dépannage

Lecteur non partagé

docker-drive-not-shared

  • Docker a besoin d'un accès en écriture au lecteur dans lequel docker-deploy-{version}.sh est exécuté.

  • La solution la plus simple est d'exécuter le script depuis le dossier Téléchargements.

  • Sinon, rendez-vous dans Docker Preferences/Settings -> File Sharing/Shared Drives -> Add/Select chemin/lecteur où les scripts de déploiement se situent, puis réessayez.

Espace insuffisant sur l'appareil

Conflit de port

Pendant l'exécution du script de déploiement, vous pourrez rencontrer des problèmes de conflits de ports ressemblant à ceci :

docker-conflicting-port

Dans cette image, nous rencontrons un conflit sur le port 6001.

Rendez-vous à l'emplacement dans lequel vous avez enregistré vos scripts de déploiement Docker – cf : Déployer HDP Sandbox pour bénéficier d'un exemple. Vous remarquerez qu'un nouveau répertoire sandbox a été créé.

  • Modifiez le fichier sandbox/proxy/proxy-deploy.sh
  • Modifiez le port en conflit (le premier de la paire de clés). Par exemple, changer 6001:6001 en 16001:6001
  • Enregistrez/Fermez le fichier
  • Exécutez le script bash : bash sandbox/proxy/proxy-deploy.sh
  • Répétez ces étapes pour les différents conflits de ports rencontrés

Vérifiez que la sandbox a été déployée avec succès en lançant la commande suivante :

docker ps

Vous devriez voir apparaître quelque chose ressemblant à ceci :

docker-ps-hdf-output

Avis des utilisateurs

Note des utilisateurs
1 4 out of 5 stars
5 Star 0%
4 Star 100%
3 Star 0%
2 Star 0%
1 Star 0%
Nom du tutoriel
Sandbox Deployment and Install Guide

Pour poser une question, ou trouver une réponse, veuillez consulter la page Hortonworks Community Connection.

1 Review
Écrire un avis

Inscription

Veuillez vous inscrire pour écrire un avis

Partager votre expérience

Par exemple : Le meilleur tutoriel qui soit

Vous devez saisir au moins 50 caractères dans ce champ.

Succès

Merci d'avoir partagé votre avis !

Sandbox Deployment and Install Guide
by Patrick Hagan on August 9, 2018 at 3:13 am

The instructions were written well, except at the end where you have to put in the URL. It would have been better with a screen prints of the browser before and after initial URL is entered and the result. Right now it is not clear, which browser - outside VM or inside VM and which URL - the ones on the top screen or the ones on the bottom. My guess is the URL on the bottom on a browser outside the VM. Thank you.

The instructions were written well, except at the end where you have to put in the URL. It would have been better with a screen prints of the browser before and after initial URL is entered and the result. Right now it is not clear, which browser – outside VM or inside VM and which URL – the ones on the top screen or the ones on the bottom. My guess is the URL on the bottom on a browser outside the VM. Thank you.

Afficher moins
Cancel

Review updated successfully.