Outil De Code Spark Apache
L'outil Apache Spark code est un éditeur de code qui crée un contexte Apache Spark et exécute les commandes Apache Spark directement à partir de designer. Cet outil utilise le langage de programmation R.
Connectez-vous à Apache Spark
Option 1
Connectez-vous directement à votre cluster Spark Apache.
- Cliquez sur la flèche déroulante du nom de connexion et sélectionnez Gérer la connexion.
Option 2
Vous pouvez également vous connecter directement à l'outil Apache Spark code.
- Faites glisser l'outil Apache Spark code sur le canevas.
- Sous connexion de données, cliquez sur la flèche déroulante nom de connexion et sélectionnez gérer la connexion.
Éditeur de code
Avec une connexion d'étincelle directe d'Apache établie, l' éditeur de code s' active.
Utilisez le code Insert pour générer des fonctions de modèle dans l'éditeur de code.
Importer la bibliothèque crée une instruction d’importation.
importer un package
Read Data crée une fonction readAlteryxData pour renvoyer les données entrantes en tant qu’Apache SparkSQL DataFrame.
val dataFrame = readAlteryxData(1)
Write Data crée une fonction writeAlteryxData pour sortir un Cadre de données Apache SparkSQL.
writeAlteryxData(dataFrame, 1)
Log Message crée une fonction logAlteryxMessage pour écrire une chaîne dans le journal en tant que message.
logAlteryxMessage(« Exemple de message »)
Avertissement de journal crée une fonction logAlteryxWarning pour écrire une chaîne dans le journal comme avertissement.
logAlteryxWarning(« Exemple d’avertissement »)
L’erreur de journal crée une fonction logAlteryxError pour écrire une chaîne dans le journal comme erreur.
logAlteryxError(« Exemple d’erreur »)
Importer la bibliothèque crée une instruction d’importation.
depuis la bibliothèque d’importation du module
Read Data crée une fonction readAlteryxData pour renvoyer les données entrantes en tant qu’Apache SparkSQL DataFrame.
dataFrame = readAlteryxData(1)
Write Data crée une fonction writeAlteryxData pour sortir un Cadre de données Apache SparkSQL.
writeAlteryxData(dataFrame, 1)
Log Message crée une fonction logAlteryxMessage pour écrire une chaîne dans le journal en tant que message.
logAlteryxMessage(« Exemple de message »)
Avertissement de journal crée une fonction logAlteryxWarning pour écrire une chaîne dans le journal comme avertissement.
logAlteryxWarning(« Exemple d’avertissement »)
L’erreur de journal crée une fonction logAlteryxError pour écrire une chaîne dans le journal comme erreur.
logAlteryxError(« Exemple d’erreur »)
Importer la bibliothèque crée une instruction d’importation.
bibliothèque(jsonlite)
Read Data crée une fonction readAlteryxData pour renvoyer les données entrantes en tant qu’Apache SparkSQL DataFrame.
dataFrame
Write Data crée une fonction writeAlteryxData pour sortir un Cadre de données Apache SparkSQL.
writeAlteryxData(dataFrame, 1)
Log Message crée une fonction logAlteryxMessage pour écrire une chaîne dans le journal en tant que message.
logAlteryxMessage(« Exemple de message »)
Avertissement de journal crée une fonction logAlteryxWarning pour écrire une chaîne dans le journal comme avertissement.
logAlteryxWarning(« Exemple d’avertissement »)
L’erreur de journal crée une fonction logAlteryxError pour écrire une chaîne dans le journal comme erreur.
logAlteryxError(« Exemple d’erreur »)
Utilisez le code d'importation pour extraire le code créé à l'externe.
- À partir du fichier ouvre un Explorateur de fichiers pour naviguer vers votre fichier.
- De Jupyter Notebook ouvre un Explorateur de fichiers pour naviguer vers votre fichier.
- From URL fournit un champ pour taper ou coller un emplacement de fichier.
Cliquer sur l’icône de l’engrenage pour modifier l’aspect de l’éditeur de code.
- Utilisez les boutons de taille de texte pour augmenter ou diminuer la taille du texte dans l'éditeur.
- Utilisez le thème de couleur pour alterner entre un jeu de couleurs foncées et claires.
- Sélectionnez Wrap long Lines pour que les lignes longues restent visibles dans la fenêtre de l'éditeur de code au lieu d'exiger un défilement horizontal.
- Sélectionnez afficher les numéros de ligne pour afficher les numéros de ligne de l'éditeur.
Méta-infos de sortie
Sélectionnez les méta-informations du canal de sortie que vous souhaitez gérer.
Modifier manuellement le type de données Apache Spark des données existantes.
Cliquez sur l’icône plus pour ajouter une ligne de données.
- Saisissez le nom du champ.
- Sélectionnez le type de données Apache Spark.
- Tapez la taille en bits.