Ferramenta do código da faísca de Apache
A ferramenta de código Apache Spark é um editor de código que cria um contexto Apache Spark e executa comandos Apache Spark diretamente do designer. Esta ferramenta utiliza a linguagem de programação R.
Para obter informações adicionais, consulte Apache Spark Direct, Apache Spark no Databricks, e Apache Spark no Microsoft Azure HDInsight.
Conecte-se ao Apache Spark
Conecte-se ao seu cluster apache Spark diretamente.
- Arraste um Ferramenta Conectar na BD ou Fluxo de trabalho na ferramenta para a lona.
- Clique na seta suspensa nome da conexão e selecione gerenciar conexão.
Como alternativa, conecte-se diretamente com a ferramenta Apache Spark Code.
- Arraste a ferramenta de código Apache Spark para a tela.
- Em conexão de dados, clique na seta suspensa nome da conexão e selecione gerenciar conexão.
Ambos os métodos trazem a Gerenciar conexões na BD Janela.
Em Gerenciar conexões na BD , selecione uma fonte de dados. Veja Fontes de dados e formatos de arquivo compatíveis.
Editor de código
Com uma conexão direta Apache Spark estabelecida, o Editor de código é ativado.
Use Inserir código para gerar funções de modelo no editor de código.
Scala
Biblioteca de importação cria uma instrução import.
pacote de importaçãoLer dados cria um readAlteryxData função para retornar os dados de entrada como um Apache SparkSQL dataframe.
Val dataframe = readAlteryxData (1)Gravar dados cria um writeAlteryxData função para saída um Apache SparkSQL dataframe.
writeAlteryxData (dataframe, 1)Mensagem de log cria uma função logAlteryxMessage para gravar uma seqüência de caracteres para o log como uma mensagem.
logAlteryxMessage ("mensagem de exemplo")O aviso de log cria uma função logAlteryxWarning para gravar uma cadeia de caracteres no log como um aviso.
logAlteryxWarning ("exemplo de aviso")Erro de log cria um logAlteryxError funções para gravar uma seqüência de caracteres para o log como um erro.
logAlteryxError ("erro de exemplo")Biblioteca de importação cria uma instrução import.
da biblioteca de importação de móduloLer dados cria um readAlteryxData função para retornar os dados de entrada como um Apache SparkSQL dataframe.
dataframe = readAlteryxData (1)Gravar dados cria um writeAlteryxData função para saída um Apache SparkSQL dataframe.
writeAlteryxData (dataframe, 1)Mensagem de log cria uma função logAlteryxMessage para gravar uma seqüência de caracteres para o log como uma mensagem.
logAlteryxMessage ("mensagem de exemplo")O aviso de log cria uma função logAlteryxWarning para gravar uma cadeia de caracteres no log como um aviso.
logAlteryxWarning ("exemplo de aviso")Erro de log cria um logAlteryxError funções para gravar uma seqüência de caracteres para o log como um erro.
logAlteryxError ("erro de exemplo")Biblioteca de importação cria uma instrução import.
biblioteca (jsonlite)Ler dados cria um readAlteryxData função para retornar os dados de entrada como um Apache SparkSQL dataframe.
dataframe<- readAlteryxData(1)></- readAlteryxData(1)>Gravar dados cria um writeAlteryxData função para saída um Apache SparkSQL dataframe.
writeAlteryxData (dataframe, 1)Mensagem de log cria uma função logAlteryxMessage para gravar uma seqüência de caracteres para o log como uma mensagem.
logAlteryxMessage ("mensagem de exemplo")O aviso de log cria uma função logAlteryxWarning para gravar uma cadeia de caracteres no log como um aviso.
logAlteryxWarning ("exemplo de aviso")Erro de log cria um logAlteryxError funções para gravar uma seqüência de caracteres para o log como um erro.
logAlteryxError ("erro de exemplo")Use o código de importação para puxar o código criado externamente.
- Do arquivo abre um explorador de arquivos para procurar o seu arquivo.
- De Jupyter Notebook abre um explorador de arquivos para navegar para o seu arquivo.
- De URL fornece um campo para digitar ou colar um local de arquivo.
Clique no ícone de engrenagem para alterar os aspectos cosméticos do editor de código.
- Use os botões de tamanho de texto para aumentar ou diminuir o tamanho do texto no editor.
- Use o tema cor para alternar entre um esquema de cores escuro e claro.
- Selecione Wrap linhas longas faz com que linhas longas permaneçam visíveis dentro da janela do editor de código em vez de exigir uma rolagem horizontal.
- Selecione Mostrar números de linha para ver os números de linha do editor.
Metainformações de saída
Selecione a metainfo do canal de saída que deseja gerenciar.
Altere manualmente o tipo de dados Apache Spark de dados existentes.
Clique no ícone mais para adicionar uma linha de dados.
- Digite o nome do campo.
- Selecione o tipo de dados Apache Spark.
- Digite o tamanho em bits.