Herramienta de código de chispa de Apache
La herramienta de código de chispas de Apache es un editor de código que crea un contexto de chispa de Apache y ejecuta comandos de chispa de Apache directamente del diseñador. Esta herramienta utiliza el lenguaje de programación R.
Para obtener más información, consulte Apache Spark Direct, Apache Spark en Databricksy Apache Spark en Microsoft Azure HDInsight.
Conectar a Apache Spark
Conéctese directamente a su clúster de chispas Apache.
- Arrastrar un Herramienta Conexión en BDD o Secuencia de datos en la herramienta sobre el lienzo.
- Haga clic en la flecha desplegable nombre de la conexión y seleccione administrar conexión.
Alternativamente, conéctese directamente con la herramienta de código de chispas de Apache.
- Arrastre la herramienta del código de chispa de Apache sobre el lienzo.
- En conexión de datos, haga clic en la flecha desplegable nombre de la conexión y seleccione administrar conexión.
Ambos métodos Administrar conexiones In-DB Ventana.
En Administrar conexiones In-DB , seleccione un origen de datos. Consulta Fuentes de datos y formatos de archivo admitidos.
Editor de códigos
Con una conexión directa de la chispa de Apache establecida, el redactor de código activa.
Utilice insertar código para generar funciones de plantilla en el editor de código.
Scala
La biblioteca de importación crea una instrucción Import.
importar paqueteLos datos de lectura crean una función readAlteryxData para devolver los datos entrantes como un fotograma Apache SparkSQL.
Val-Frame = readAlteryxData (1)Los datos de escritura crean una función writeAlteryxData para generar un fotograma Apache SparkSQL.
writeAlteryxData (Frame, 1)El mensaje de registro crea una función logAlteryxMessage para escribir una cadena en el registro como un mensaje.
logAlteryxMessage ("mensaje de ejemplo")La advertencia de registro crea una función logAlteryxWarning para escribir una cadena en el registro como una advertencia.
logAlteryxWarning ("ADVERTENCIA de ejemplo")Error de registro crea una función logAlteryxError para escribir una cadena en el registro como un error.
logAlteryxError ("error de ejemplo")La biblioteca de importación crea una instrucción Import.
desde la biblioteca de importación de módulosLos datos de lectura crean una función readAlteryxData para devolver los datos entrantes como un fotograma Apache SparkSQL.
Frame = readAlteryxData (1)Los datos de escritura crean una función writeAlteryxData para generar un fotograma Apache SparkSQL.
writeAlteryxData (Frame, 1)El mensaje de registro crea una función logAlteryxMessage para escribir una cadena en el registro como un mensaje.
logAlteryxMessage ("mensaje de ejemplo")La advertencia de registro crea una función logAlteryxWarning para escribir una cadena en el registro como una advertencia.
logAlteryxWarning ("ADVERTENCIA de ejemplo")Error de registro crea una función logAlteryxError para escribir una cadena en el registro como un error.
logAlteryxError ("error de ejemplo")La biblioteca de importación crea una instrucción Import.
Biblioteca (jsonlite)Los datos de lectura crean una función readAlteryxData para devolver los datos entrantes como un fotograma Apache SparkSQL.
marco de la estructura<- readAlteryxData(1)></- readAlteryxData(1)>Los datos de escritura crean una función writeAlteryxData para generar un fotograma Apache SparkSQL.
writeAlteryxData (Frame, 1)El mensaje de registro crea una función logAlteryxMessage para escribir una cadena en el registro como un mensaje.
logAlteryxMessage ("mensaje de ejemplo")La advertencia de registro crea una función logAlteryxWarning para escribir una cadena en el registro como una advertencia.
logAlteryxWarning ("ADVERTENCIA de ejemplo")Error de registro crea una función logAlteryxError para escribir una cadena en el registro como un error.
logAlteryxError ("error de ejemplo")Utilice el código de importación para extraer el código creado externamente.
- Desde el archivo abre un explorador de archivos para navegar por el archivo.
- Desde Jupyter Notebook abre un explorador de archivos para navegar por el archivo.
- Desde URL proporciona un campo para escribir o pegar una ubicación de archivo.
Haga clic en el icono de engranaje para cambiar los aspectos cosméticos del editor de código.
- Utilice los botones de tamaño de texto para aumentar o disminuir el tamaño del texto en el editor.
- Utilice el tema de color para alternar entre un esquema de color oscuro y claro.
- Seleccione envolver líneas largas hace que las líneas largas permanezcan visibles dentro de la ventana del editor de código en lugar de requerir un desplazamiento horizontal.
- Seleccione Mostrar números de línea para ver los números de línea del editor.
Metainformación de la salida
Seleccione el canal de salida metainfo que desea administrar.
Cambiar manualmente el tipo de datos de Apache Spark de los datos existentes.
Haga clic en el icono más para agregar una fila de datos.
- Escriba el nombre del campo.
- Seleccione el tipo de datos de Apache Spark.
- Escriba el tamaño en bits.