Ferramenta Do Código Da Faísca De Apache
A ferramenta de código Apache Spark é um editor de código que cria um contexto Apache Spark e executa comandos Apache Spark diretamente do designer. Esta ferramenta utiliza a linguagem de programação R.
Conecte-se ao Apache Spark
Opção 1
Conecte-se ao seu cluster apache Spark diretamente.
- Clique na seta suspensa nome da conexão e selecione gerenciar conexão.
Opção 2
Como alternativa, conecte-se diretamente com a ferramenta Apache Spark Code.
- Arraste a ferramenta de código Apache Spark para a tela.
- Em conexão de dados, clique na seta suspensa nome da conexão e selecione gerenciar conexão.
Editor de código
Com uma conexão direta Apache Spark estabelecida, o Editor de código é ativado.
Use Inserir código para gerar funções de modelo no editor de código.
A Biblioteca de Importação cria uma declaração de importação.
pacote de importação
Read Data cria uma função readAlteryxData para retornar os dados recebidos como um Apache SparkSQL DataFrame.
val dataFrame = readAlteryxData(1)
Write Data cria uma função writeAlteryxData para produzir um Apache SparkSQL DataFrame.
writeAlteryxData(dataFrame, 1)
Log Message cria uma função logAlteryxMessage para escrever uma sequência no log como uma mensagem.
logAlteryxMessage ("mensagem de exemplo")
Log Warning cria uma função logAlteryxWarning para escrever uma sequência no log como um aviso.
logAlteryxWarning ("exemplo de aviso")
O Log Error cria um logAlteryxError funções para escrever uma sequência no log como um erro.
logAlteryxError ("erro de exemplo")
A Biblioteca de Importação cria uma declaração de importação.
da biblioteca de importação de módulo
Read Data cria uma função readAlteryxData para retornar os dados recebidos como um Apache SparkSQL DataFrame.
dataFrame = readAlteryxData(1)
Write Data cria uma função writeAlteryxData para produzir um Apache SparkSQL DataFrame.
writeAlteryxData(dataFrame, 1)
Log Message cria uma função logAlteryxMessage para escrever uma sequência no log como uma mensagem.
logAlteryxMessage ("mensagem de exemplo")
Log Warning cria uma função logAlteryxWarning para escrever uma sequência no log como um aviso.
logAlteryxWarning ("exemplo de aviso")
O Log Error cria um logAlteryxError funções para escrever uma sequência no log como um erro.
logAlteryxError ("erro de exemplo")
A Biblioteca de Importação cria uma declaração de importação.
biblioteca(jsonlite))
Read Data cria uma função readAlteryxData para retornar os dados recebidos como um Apache SparkSQL DataFrame.
dataFrame
Write Data cria uma função writeAlteryxData para produzir um Apache SparkSQL DataFrame.
writeAlteryxData(dataFrame, 1)
Log Message cria uma função logAlteryxMessage para escrever uma sequência no log como uma mensagem.
logAlteryxMessage ("mensagem de exemplo")
Log Warning cria uma função logAlteryxWarning para escrever uma sequência no log como um aviso.
logAlteryxWarning ("exemplo de aviso")
O Log Error cria um logAlteryxError funções para escrever uma sequência no log como um erro.
logAlteryxError ("erro de exemplo")
Use o código de importação para puxar o código criado externamente.
- Do arquivo abre um explorador de arquivos para procurar o seu arquivo.
- De Jupyter Notebook abre um explorador de arquivos para navegar para o seu arquivo.
- De URL fornece um campo para digitar ou colar um local de arquivo.
Clique no ícone de engrenagem para alterar os aspectos cosméticos do editor de código.
- Use os botões de tamanho de texto para aumentar ou diminuir o tamanho do texto no editor.
- Use o tema cor para alternar entre um esquema de cores escuro e claro.
- Selecione Wrap linhas longas faz com que linhas longas permaneçam visíveis dentro da janela do editor de código em vez de exigir uma rolagem horizontal.
- Selecione Mostrar números de linha para ver os números de linha do editor.
Metainformações de saída
Selecione a metainfo do canal de saída que deseja gerenciar.
Altere manualmente o tipo de dados Apache Spark de dados existentes.
Clique no ícone mais para adicionar uma linha de dados.
- Digite o nome do campo.
- Selecione o tipo de dados Apache Spark.
- Digite o tamanho em bits.