Skip to main content

Unity Catalog do Databricks

Tipo de conexão

ODBC (64 bits)

Requisitos de configuração do driver

O host deve ser um hostname do Server JDBC/ODBC do cluster do Unity Catalog do Databricks.

Compatível com AWS e Azure.

Tipo de suporte

Leitura e gravação; no banco de dados

Validado em

Cluster do Databricks e SQL Warehouse, Driver do Simba Apache Spark 2.6.23

Detalhes do driver

O processamento in-DB requer drivers de banco de dados de 64 bits.

Ferramentas do Alteryx usadas para conexão

Processamento de fluxos de trabalho padrão

Input Data Tool Icon

Link

Processamento de fluxos de trabalho no banco de dados

Ferramenta Conectar In-DB

Blue icon with database being plugged in.

Link

Ferramenta Entrada do Fluxo de Dados

Blue icon with a stream-like object flowing into a database.

Link

Aviso

O suporte ao Unity Catalog do Databricks só é possível usando DCM.

O Unity Catalog do Databricks só tem suporte usando conexões sem DSN.

A gravação no Unity Catalog do Databricks só tem suporte usando as ferramentas in-DB .

Oferecemos suporte ao MergeInDB para o Unity Catalog do Databricks. Vá para ferramenta Gravar Dados In-DB .

Configurar a ferramenta de entrada

A ferramenta usa a tecnologia de conexão ODBC do Apache Spark sem DSN com Simba (Unity Catalog do Databricks) no DCM.

  1. Certifique-se de que o DCM está habilitado.

  2. Na ferramenta de entrada, selecione Configurar uma conexão .

  3. Selecione a guia Fonte de dados .

  4. Selecione a opção Conexão rápida em Unity Catalog do Databricks .

  5. O Gerenciador de Conexões do DCM é pré-filtrado para mostrar apenas conexões ODBC do Apache Spark sem DSN com Simba (Unity Catalog do Databricks) .

  6. Escolha uma conexão do DCM existente ou clique em + Novo para criar uma nova conexão. Veja abaixo como configurar uma nova conexão usando o DCM.

  7. A janela Escolher tabela ou especificar consulta é carregada e permite a seleção de tabelas.

Configurar conexão in-DB

  1. Abra o Gerenciador de Conexões in-DB .

  2. Selecione Unity Catalog do Databricks no menu suspenso "Fonte de dados".

  3. Clique em Nova para criar uma nova conexão.

  4. Insira um nome de conexão.

  5. Na guia Leitura , selecione Configurar conexão para abrir o Gerenciador de Conexões do DCM para o Unity Catalog do Databricks. O Gerenciador de Conexões do DCM é pré-filtrado para mostrar apenas conexões ODBC do Apache Spark sem DSN com Simba (Unity Catalog do Databricks) .

  6. Selecione uma conexão existente ou clique em + Novo para criar uma nova conexão. Veja abaixo como configurar uma nova conexão usando o DCM.

  7. Na guia "Gravar", selecione Configurar conexão para abrir o Gerenciador de Conexões do DCM para a conexão do Databricks. O Gerenciador de Conexões do DCM é pré-filtrado para mostrar apenas conexões ODBC do Apache Spark em massa sem DSN com Simba (Unity Catalog do Databricks) .

  8. Selecione uma conexão existente ou clique em + Novo para criar uma nova conexão. Veja abaixo como configurar uma nova conexão usando o DCM.

  9. Na guia "Gravar", selecione Configurar conexão para abrir o Gerenciador de Conexões do DCM para a conexão do Delta Lake. O Gerenciador de Conexões do DCM é pré-filtrado para mostrar apenas conexões do Delta Lake .

  10. Selecione uma conexão existente ou clique em + Novo para criar uma nova conexão. Veja abaixo como configurar uma nova conexão usando o DCM.

  11. Clique em Aplicar e OK para salvar a conexão e fechar a janela.

  12. Se o Gerenciador de Conexões in-DB foi acessado através da ferramenta Conectar In-DB, a janela Escolher tabela ou especificar consulta é carregada e permite a seleção de tabelas.

Configurar ODBC do Apache Spark sem DSN com Simba (Unity Catalog do Databricks) no DCM

Essa conexão é usada para ler dados do Unity Catalog do Databricks.

  1. Abra o Gerenciador de Conexões de Dados e navegue até ODBC do Apache Spark sem DSN com Simba (Unity Catalog do Databricks)

    • A partir de uma ferramenta de entrada ou do Gerenciador de Conexões in-DB, o DCM é pré-filtrado

    • No menu Arquivo , vá para Arquivo > Gerenciar conexões > + Novo > Apache Spark > ODBC do Apache Spark sem DSN com Simba (Unity Catalog do Databricks)

  2. Insira um Nome da fonte de dados .

  3. Insira o nome do host do Unity Catalog do Databricks .

  4. A porta está definida como 443 por padrão. Altere conforme necessário.

  5. Insira o caminho http. O caminho http é o URL de recursos de computação do Databricks.

  6. Selecione Salvar para salvar a fonte de dados.

  7. Clique em + Conectar credencial .

    • Selecione um Método de autenticação .

    • Para usar um token de acesso pessoal, selecione Nome de usuário e senha como método de autenticação e escolha "token" como o nome de usuário.

    • Para usar o Azure AD, consulte Autenticação OAuth para Azure Databricks .

    • Selecione uma Credencial existente ou clique em Criar nova credencial para criar uma nova credencial e insira o token de acesso pessoal ou as informações para o Azure AD.

  8. Clique em Vincular para vincular a credencial à fonte de dados e clique em Conectar .

Configurar ODBC do Apache Spark em massa sem DSN com Simba (Unity Catalog do Databricks) no DCM

Essa conexão é usada para gravar dados no Unity Catalog do Databricks.

  1. Abra o Gerenciador de Conexões de Dados e navegue até ODBC do Apache Spark em massa sem DSN com Simba (Unity Catalog do Databricks) .

    • A partir de uma ferramenta de entrada ou do Gerenciador de Conexões in-DB, o DCM é pré-filtrado.

    • No menu Arquivo , vá para Arquivo > Gerenciar conexões > + Novo > Apache Spark > ODBC do Apache Spark sem DSN com Simba (Unity Catalog do Databricks) .

  2. Insira um Nome da fonte de dados .

  3. Insira o nome do host do Unity Catalog do Databricks .

  4. A porta está definida como 443 por padrão. Altere conforme necessário.

  5. Insira o caminho http. O caminho http é o URL de recursos de computação do Databricks.

  6. Insira o Catálogo . Isso define o catálogo que é usado para gravar dados e criar tabelas.

  7. Insira o Esquema . Isso define o esquema que é usado para gravar dados e criar tabelas.

  8. Selecione Salvar para salvar a fonte de dados.

  9. Selecione + Conectar credencial para adicionar uma credencial.

    • Selecione um Método de autenticação .

    • Para usar um token de acesso pessoal, selecione Nome de usuário e senha como método de autenticação e escolha "token" como o nome de usuário.

    • Para usar o Azure AD, consulte Autenticação OAuth para Azure Databricks .

    • Selecione uma Credencial existente ou clique em Criar nova credencial para criar uma nova credencial e insira o token de acesso pessoal ou as informações para o Azure AD.

  10. Clique em Vincular para vincular a credencial à fonte de dados.

  11. Selecione Conectar para conectar.

Configurar a conexão do Delta Lake no DCM

Essa conexão é usada para preparação de dados no AWS S3 ou ADLS.

  1. Abra o Gerenciador de Conexões de Dados e navegue até Delta Lake na AWS ou Delta Lake no Azure

    1. A partir de uma ferramenta de entrada ou do Gerenciador de Conexões in-DB, o DCM é pré-filtrado.

    2. No menu Arquivo , vá para Arquivo > Gerenciar conexões > + Novo > Delta Lake > Delta Lake na AWS/Delta Lake no Azure .

  2. Para Delta Lake na AWS

    1. Insira um Nome da fonte de dados .

    2. Insira um ponto de extremidade ou deixe como "Padrão". Ao usar "Padrão", a Amazon determina o ponto de extremidade com base no bucket selecionado.

    3. Certifique-se de que a opção Usar Signature V4 para autenticação esteja selecionada, a menos que seja especificamente instruído o contrário. Caso contrário, o Signature V2 será usado. As regiões criadas após 30 de janeiro de 2014 são compatíveis apenas com o Signature versão 4. Estas regiões exigem autenticação do Signature versão 4:

      • Região do Leste dos EUA (Ohio),

      • Região do Canadá (Central),

      • Região da Ásia-Pacífico (Mumbai),

      • Região da Ásia-Pacífico (Seul),

      • Região da UE (Frankfurt),

      • Região da UE (Londres),

      • Região da China (Pequim).

    4. Selecione o nível de criptografia do lado do servidor necessário; "Nenhum" é o padrão.

      • Nenhum (padrão) : nenhum método de criptografia é usado.

      • SSE-KMS : usa criptografia do lado do servidor com as chaves gerenciadas pelo AWS KMS. Você também pode fornecer um ID de chave KMS . Quando você seleciona esse método, a opção  Usar Signature V4 para autenticação  deve estar selecionada.

    5. Insira o Nome do bucket a ser utilizado para a preparação. O usuário precisa ter permissões de leitura, gravação e exclusão para o bucket.

  3. Para o Delta Lake no Azure

    1. Insira o Nome da fonte de dados , Contêiner ADLS e Conta de armazenamento .

    2. O Diretório temporário de armazenamento é opcional. Ao inserir o diretório temporário, não repita o nome do contêiner. Se o diretório inserido aqui ainda não existir, o Alteryx criará um. O Alteryx cria uma subpasta com o nome da tabela para cada tabela que for preparada.

  4. Selecione Salvar para salvar a fonte de dados.

  5. Clique em + Conectar credencial .

    1. Selecione um Método de autenticação .

      • Para o Delta Lake na AWS, o único método de autenticação é a chave de acesso do AWS IAM .

      • Para o Delta Lake no Azure, você pode selecionar entre a Chave de acesso compartilhada ou a autenticação do Azure AD .

    2. Selecione uma Credencial existente ou Criar nova credencial para criar uma nova credencial.

      • Insira um nome de credencial e as chaves de acesso do AWS IAM ou a chave compartilhada do Azure.

  6. Clique em Vincular para vincular a credencial à fonte de dados.

  7. Clique em Conectar .

Nesta secção: