Strumento Codice Apache Spark
Lo strumento Apache Spark Code è un editor di codice che crea un contesto Apache Spark ed esegue i comandi Apache Spark direttamente dalla finestra di progettazione. Questo strumento utilizza il linguaggio di programmazione R.This tool uses the R programming language.
Per ulteriori informazioni, vedere -ERR:REF-NOT-FOUND-Apache Spark Direct, -ERR:REF-NOT-FOUND-Apache Spark on Databrickse -ERR:REF-NOT-FOUND-Apache Spark in Microsoft Azure HDInsight.
Collegamento ad Apache Spark
Opzione 1
Connettiti direttamente al tuo cluster Apache Spark.
- Trascinare uno -ERR:REF-NOT-FOUND-strumento Connetti in-DB o uno strumento Flusso di -ERR:REF-NOT-FOUND-dati -ERR:REF-NOT-FOUND- nell'area di disegno.
- Selezionare la freccia a discesa Nome connessione e selezionare Gestisci connessione.
Opzione 2
In alternativa, connettersi direttamente con lo strumento Codice Apache Spark.
- Trascinare lo strumento Codice Apache Spark nell'area di disegno.
- In Connessione datiselezionare la freccia a discesa Nome connessione e selezionare Gestisci connessione.
Entrambi i metodi attiva la finestra -ERR:REF-NOT-FOUND-Gestisci connessioni nel database. In -ERR:REF-NOT-FOUND-Gestisci connessioni nel databaseselezionare un'origine dati. -ERR:REF-NOT-FOUND-Vedi S -ERR:REF-NOT-FOUND-Origini dati e formati di file in alto.
Editor codice
Con una connessione Apache Spark Direct stabilita, viene attivato l'editor di codice. Utilizzare Inserisci codice per generare funzioni modello nell'editor di codice.
La libreria di importazione crea un'istruzione import.
pacchetto di importazione
Read Data crea una funzione readAlteryxData per restituire i dati in ingresso come frame di dati Apache SparkSQL.
val dataFrame - readAlteryxData(1)
Scrittura dati crea una funzione writeAlteryxData per generare un frame di dati Apache SparkSQL.
writeAlteryxData(frame di dati,1)
Log Message crea una funzione logAlteryxMessage per scrivere una stringa nel log come messaggio.
logAlteryxMessage("Messaggio di esempio")
Log Warning crea una funzione logAlteryxWarning per scrivere una stringa nel log come avviso.
logAlteryxWarning("Avviso di esempio")
Log Error crea un logAlteryxError funzioni per scrivere una stringa nel log come errore.
logAlteryxError("Errore di esempio")
La libreria di importazione crea un'istruzione import.
dalla libreria di importazione dei moduli
Read Data crea una funzione readAlteryxData per restituire i dati in ingresso come frame di dati Apache SparkSQL.
frame di dati - readAlteryxData(1)
Scrittura dati crea una funzione writeAlteryxData per generare un frame di dati Apache SparkSQL.
writeAlteryxData(frame di dati,1)
Log Message crea una funzione logAlteryxMessage per scrivere una stringa nel log come messaggio.
logAlteryxMessage("Messaggio di esempio")
Log Warning crea una funzione logAlteryxWarning per scrivere una stringa nel log come avviso.
logAlteryxWarning("Avviso di esempio")
Log Error crea un logAlteryxError funzioni per scrivere una stringa nel log come errore.
logAlteryxError("Errore di esempio")
La libreria di importazione crea un'istruzione import.
library(jsonlite)
Read Data crea una funzione readAlteryxData per restituire i dati in ingresso come frame di dati Apache SparkSQL.
dataFrame
Scrittura dati crea una funzione writeAlteryxData per generare un frame di dati Apache SparkSQL.
writeAlteryxData(frame di dati,1)
Log Message crea una funzione logAlteryxMessage per scrivere una stringa nel log come messaggio.
logAlteryxMessage("Messaggio di esempio")
Log Warning crea una funzione logAlteryxWarning per scrivere una stringa nel log come avviso.
logAlteryxWarning("Avviso di esempio")
Log Error crea un logAlteryxError funzioni per scrivere una stringa nel log come errore.
logAlteryxError("Errore di esempio")
Usare Importa codice per eseguire il pull del codice creato esternamente.
- Da file apre un File Explorer per individuare il file.
- Da Jupyter Notebook apre un File Explorer per individuare il file.
- Da URL fornisce un campo per digitare o incollare un percorso di file.
Fare clic sull'icona a forma di ingranaggio per modificare gli aspetti cosmetici dell'editor di codice.
- Utilizzare i pulsanti Dimensione testo per aumentare o ridurre le dimensioni del testo nell'editor.
- Usa Tema colore per passare da una combinazione di colori scuro a una chiara e viceversa.
- Selezionare Ritorno a capo lunghe righe fa sì che le righe lunghe rimangano visibili all'interno della finestra dell'editor di codice anziché richiedere uno scorrimento orizzontale.
- Selezionare Mostra numeri di riga per visualizzare i numeri di riga per l'editor.
MetaInfo output
Selezionare il metainfo del canale di output che si desidera gestire. Modificare manualmente il tipo di dati Apache Spark dei dati esistenti.
Selezionare l'icona più per aggiungere una riga di dati.
- Immettere il nome del campo.
- Selezionare il tipo di dati Apache Spark.
- Immettere la dimensione in bit.