Apache Spark No Databricks
Driver Details
Ferramentas do Alteryx usadas para conectar
Processamento de fluxo de trabalho em base de dados
Conecte-se ao Apache Spark arrastando uma ferramenta Connect in-DB ou a ferramenta de código Apache Spark para a tela. Crie uma nova conexão com databricks usando a faísca Apache no driver databricks. Use as instruções abaixo para configurar a conexão. Consulte a documentação do Databricks para obter mais informações.
Configurar a janela de conexão databricks
Para conectar-se a databricks e criar uma cadeia de conexão Alteryx:
- Insira seu ID de conta do databricks.
- Cole o token do databricks gerado nas configurações do usuário do databricks. Tokens podem expirar e ser revogados.
- Clique em conectar. Designer exibe uma lista de clusters de databricks para se conectar. Se a conexão não for bem-sucedida, tente digitar suas credenciais novamente.
- Selecione um cluster do databricks para se conectar.
- Selecione um tipode sessão. Selecione uma das seguintes opções, dependendo do código que você está escrevendo:
- Scala
- Python
- R
- Opcionalmente, digite um nome de execução descritivo para o trabalho para que você possa identificá-lo mais tarde. Os nomes de execução ajudam os usuários a distinguir um trabalho de outro no servidor. O nome padrão é Untitled se deixado em branco.
- Defina o tempo limite em número de minutos. Este é o número de minutos de não-atividade antes que o trabalho pare. Se você digitar 15 minutos, o trabalho pode ficar ocioso sem qualquer atividade por 15 minutos antes que ele vezes para fora. Consulte a documentação do Databricks para obter mais informações.
- Adicionar bibliotecas além do conjunto de bibliotecas que já é fornecido para escrever seu próprio código.
Tipo de arquivo
Descrição
Frasco
Arquivo Java
Ovo
Formato de distribuição importável de arquivo único para projetos relacionados a Python
PyPi
Python Package Index é um repositório de software para Python
Maven
um repositório para arquivos e artefatos.
Cran Pacote de arquivos R
Clique noícone "+" para adicionar uma linha. Clique em salvar para salvar as definições de configuração da biblioteca em um arquivo. Use o ícone de pasta de arquivo para localizar um arquivo de configuração salvo. Para excluir uma linha, passe o mouse sobre ela e selecione o ícone de lixo.
- Na conexãodo databricks , clique em OK .
- Em gerenciar conexões no banco de dados, clique em OK para criar uma cadeia de conexão do alteryx.