Outil de code Spark Apache
L'outil Apache Spark code est un éditeur de code qui crée un contexte Apache Spark et exécute les commandes Apache Spark directement à partir de designer. Cet outil utilise le langage de programmation R.
Pour plus d'informations, voir Apache Spark Direct, Apache Spark sur Databrickset Apache Spark sur Microsoft Azure HDInsight.
Connectez-vous à Apache Spark
Connectez-vous directement à votre cluster Spark Apache.
- Faites glisser un Outil Connecter en BDD ou Outil Entrée du flux de données sur la toile.
- Cliquez sur la flèche déroulante nom de connexion et sélectionnez gérer la connexion.
Vous pouvez également vous connecter directement à l'outil Apache Spark code.
- Faites glisser l'outil Apache Spark code sur le canevas.
- Sous connexion de données, cliquez sur la flèche déroulante nom de connexion et sélectionnez gérer la connexion.
Les deux méthodes Gérer les connexions en BDD Fenêtre.
Dans Gérer les connexions en BDD , sélectionnez une source de données. Voir Sources de données et formats de fichier pris en charge.
Éditeur de code
Avec une connexion d'étincelle directe d'Apache établie, l' éditeur de code s' active.
Utilisez le code Insert pour générer des fonctions de modèle dans l'éditeur de code.
Scala
Import Library crée une instruction import.
importer un packageRead Data crée une fonction readAlteryxData pour retourner les données entrantes en tant que DataFrame SparkSQL Apache.
val dataFrame = readAlteryxData(1)Write Data crée une fonction writeAlteryxData pour la sortie d'un Apache SparkSQL DataFrame.
writeAlteryxData(dataFrame, 1)Le message log crée une fonction logAlteryxMessage pour écrire une chaîne dans le journal en tant que message.
logAlteryxMessage(« Exemple de message »)Avertissement de journal crée une fonction logAlteryxWarning pour écrire une chaîne dans le journal en tant qu'avertissement.
logAlteryxWarning(« Exemple d’avertissement »)Erreur de journal crée une fonction logAlteryxError pour écrire une chaîne dans le journal en tant qu'erreur.
logAlteryxError(« Exemple d’erreur »)Import Library crée une instruction import.
depuis la bibliothèque d’importation du moduleRead Data crée une fonction readAlteryxData pour retourner les données entrantes en tant que DataFrame SparkSQL Apache.
dataFrame = readAlteryxData(1)Write Data crée une fonction writeAlteryxData pour la sortie d'un Apache SparkSQL DataFrame.
writeAlteryxData(dataFrame, 1)Le message log crée une fonction logAlteryxMessage pour écrire une chaîne dans le journal en tant que message.
logAlteryxMessage(« Exemple de message »)Avertissement de journal crée une fonction logAlteryxWarning pour écrire une chaîne dans le journal en tant qu'avertissement.
logAlteryxWarning(« Exemple d’avertissement »)Erreur de journal crée une fonction logAlteryxError pour écrire une chaîne dans le journal en tant qu'erreur.
logAlteryxError(« Exemple d’erreur »)Import Library crée une instruction import.
bibliothèque(jsonlite)Read Data crée une fonction readAlteryxData pour retourner les données entrantes en tant que DataFrame SparkSQL Apache.
dataFrame<- readAlteryxData(1)></- readAlteryxData(1)>Write Data crée une fonction writeAlteryxData pour la sortie d'un Apache SparkSQL DataFrame.
writeAlteryxData(dataFrame, 1)Le message log crée une fonction logAlteryxMessage pour écrire une chaîne dans le journal en tant que message.
logAlteryxMessage(« Exemple de message »)Avertissement de journal crée une fonction logAlteryxWarning pour écrire une chaîne dans le journal en tant qu'avertissement.
logAlteryxWarning(« Exemple d’avertissement »)Erreur de journal crée une fonction logAlteryxError pour écrire une chaîne dans le journal en tant qu'erreur.
logAlteryxError(« Exemple d’erreur »)Utilisez le code d'importation pour extraire le code créé de manière externe.
- À partir du fichier ouvre un Explorateur de fichiers pour naviguer vers votre fichier.
- De Jupyter Notebook ouvre un Explorateur de fichiers pour naviguer vers votre fichier.
- From URL fournit un champ pour taper ou coller un emplacement de fichier.
Cliquer sur l’icône de l’engrenage pour modifier l’aspect de l’éditeur de code.
- Utilisez les boutons de taille de texte pour augmenter ou diminuer la taille du texte dans l'éditeur.
- Utilisez le thème de couleur pour alterner entre un jeu de couleurs foncées et claires.
- Sélectionnez Wrap long Lines pour que les lignes longues restent visibles dans la fenêtre de l'éditeur de code au lieu d'exiger un défilement horizontal.
- Sélectionnez afficher les numéros de ligne pour afficher les numéros de ligne de l'éditeur.
Méta-infos de sortie
Sélectionnez les méta-informations du canal de sortie que vous souhaitez gérer.
Modifier manuellement le type de données Apache Spark des données existantes.
Cliquez sur l’icône plus pour ajouter une ligne de données.
- Saisissez le nom du champ.
- Sélectionnez le type de données Apache Spark.
- Tapez la taille en bits.