Apache Spark Code Tool Icon

Outil De Code Spark Apache

Version:
2023.1
Last modified: September 25, 2020

L'outil Apache Spark code est un éditeur de code qui crée un contexte Apache Spark et exécute les commandes Apache Spark directement à partir de designer. Cet outil utilise le langage de programmation R.

 

Connectez-vous à Apache Spark

Option 1

Connectez-vous directement à votre cluster Spark Apache.

  1.  
  2. Cliquez sur la flèche déroulante du nom de connexion et sélectionnez Gérer la connexion.

Option 2

Vous pouvez également vous connecter directement à l'outil Apache Spark code.

  1. Faites glisser l'outil Apache Spark code sur le canevas.
  2. Sous connexion de données, cliquez sur la flèche déroulante nom de connexion et sélectionnez gérer la connexion.

 

  

Éditeur de code

Avec une connexion d'étincelle directe d'Apache établie, l' éditeur de code s' active.

Utilisez le code Insert pour générer des fonctions de modèle dans l'éditeur de code.

Scala

Importer la bibliothèque crée une instruction d’importation.

importer un package

Read Data crée une fonction readAlteryxData pour renvoyer les données entrantes en tant qu’Apache SparkSQL DataFrame.

val dataFrame = readAlteryxData(1)

Write Data crée une fonction writeAlteryxData pour sortir un Cadre de données Apache SparkSQL.

writeAlteryxData(dataFrame, 1)

Log Message crée une fonction logAlteryxMessage pour écrire une chaîne dans le journal en tant que message.

logAlteryxMessage(« Exemple de message »)

Avertissement de journal crée une fonction logAlteryxWarning pour écrire une chaîne dans le journal comme avertissement.

logAlteryxWarning(« Exemple d’avertissement »)

L’erreur de journal crée une fonction logAlteryxError pour écrire une chaîne dans le journal comme erreur.

logAlteryxError(« Exemple d’erreur »)

Python

Importer la bibliothèque crée une instruction d’importation.

depuis la bibliothèque d’importation du module

Read Data crée une fonction readAlteryxData pour renvoyer les données entrantes en tant qu’Apache SparkSQL DataFrame.

dataFrame = readAlteryxData(1)

Write Data crée une fonction writeAlteryxData pour sortir un Cadre de données Apache SparkSQL.

writeAlteryxData(dataFrame, 1)

Log Message crée une fonction logAlteryxMessage pour écrire une chaîne dans le journal en tant que message.

logAlteryxMessage(« Exemple de message »)

Avertissement de journal crée une fonction logAlteryxWarning pour écrire une chaîne dans le journal comme avertissement.

logAlteryxWarning(« Exemple d’avertissement »)

L’erreur de journal crée une fonction logAlteryxError pour écrire une chaîne dans le journal comme erreur.

logAlteryxError(« Exemple d’erreur »)

R

Importer la bibliothèque crée une instruction d’importation.

bibliothèque(jsonlite)

Read Data crée une fonction readAlteryxData pour renvoyer les données entrantes en tant qu’Apache SparkSQL DataFrame.

dataFrame

Write Data crée une fonction writeAlteryxData pour sortir un Cadre de données Apache SparkSQL.

writeAlteryxData(dataFrame, 1)

Log Message crée une fonction logAlteryxMessage pour écrire une chaîne dans le journal en tant que message.

logAlteryxMessage(« Exemple de message »)

Avertissement de journal crée une fonction logAlteryxWarning pour écrire une chaîne dans le journal comme avertissement.

logAlteryxWarning(« Exemple d’avertissement »)

L’erreur de journal crée une fonction logAlteryxError pour écrire une chaîne dans le journal comme erreur.

logAlteryxError(« Exemple d’erreur »)

Utilisez le code d'importation pour extraire le code créé à l'externe.

  • À partir du fichier ouvre un Explorateur de fichiers pour naviguer vers votre fichier.
  • De Jupyter Notebook ouvre un Explorateur de fichiers pour naviguer vers votre fichier.
  • From URL fournit un champ pour taper ou coller un emplacement de fichier.

Cliquer sur l’icône de l’engrenage pour modifier l’aspect de l’éditeur de code.

  • Utilisez les boutons de taille de texte pour augmenter ou diminuer la taille du texte dans l'éditeur.
  • Utilisez le thème de couleur pour alterner entre un jeu de couleurs foncées et claires.
  • Sélectionnez Wrap long Lines pour que les lignes longues restent visibles dans la fenêtre de l'éditeur de code au lieu d'exiger un défilement horizontal.
  • Sélectionnez afficher les numéros de ligne pour afficher les numéros de ligne de l'éditeur.

Méta-infos de sortie

Sélectionnez les méta-informations du canal de sortie que vous souhaitez gérer.

Modifier manuellement le type de données Apache Spark des données existantes.

Cliquez sur l’icône plus pour ajouter une ligne de données.

  • Saisissez le nom du champ.
  • Sélectionnez le type de données Apache Spark.
  • Tapez la taille en bits.
Cette page vous a-t-elle été utile ?

Vous rencontrez des problèmes avec votre produit Alteryx ? Visitez la communauté Alteryx ou contactez le  support. Vous n'arrivez pas à soumettre ce formulaire ? Envoyez-nous un e-mail.