Apache Spark No Databricks

Conecte-se ao Apache Spark arrastando uma ferramenta Connect in-DB ou a ferramenta de código Apache Spark para a tela. Crie uma nova conexão com databricks usando a faísca Apache no driver databricks. Use as instruções abaixo para configurar a conexão. Consulte a documentação do Databricks para obter mais informações.

Para conectar-se a databricks e criar uma cadeia de conexão Alteryx:

1. Insira seu ID de conta do databricks.
2. Cole o token do databricks gerado nas configurações do usuário do databricks. Tokens podem expirar e ser revogados.
3. Clique em conectar. Designer exibe uma lista de clusters de databricks para se conectar. Se a conexão não for bem-sucedida, tente digitar suas credenciais novamente.
4. Selecione um cluster do databricks para se conectar.
5. Selecione um tipode sessão. Selecione uma das seguintes opções, dependendo do código que você está escrevendo:
   • Scala
   • Python
   • R
6. Opcionalmente, digite um nome de execução descritivo para o trabalho para que você possa identificá-lo mais tarde. Os nomes de execução ajudam os usuários a distinguir um trabalho de outro no servidor. O nome padrão é Untitled se deixado em branco.
7. Defina o tempo limite em número de minutos. Este é o número de minutos de não-atividade antes que o trabalho pare. Se você digitar 15 minutos, o trabalho pode ficar ocioso sem qualquer atividade por 15 minutos antes que ele vezes para fora. Consulte a documentação do Databricks para obter mais informações.
8. Adicionar bibliotecas além do conjunto de bibliotecas que já é fornecido para escrever seu próprio código.

    

   Tipo de arquivo	Descrição
   Frasco	Arquivo Java
   Ovo	Formato de distribuição importável de arquivo único para projetos relacionados a Python
   PyPi	Python Package Index é um repositório de software para Python
   Maven	um repositório para arquivos e artefatos.
   Cran	Pacote de arquivos R

   Clique noícone "+" para adicionar uma linha. Clique em salvar para salvar as definições de configuração da biblioteca em um arquivo. Use o ícone de pasta de arquivo para localizar um arquivo de configuração salvo. Para excluir uma linha, passe o mouse sobre ela e selecione o ícone de lixo.

9. Na conexãodo databricks , clique em OK .
10. Em gerenciar conexões no banco de dados, clique em OK para criar uma cadeia de conexão do alteryx.