Skip to main content

Microsoft Azure Data Lake Store

Tipo de conexão

Ferramenta do Alteryx. A versão mais recente está disponível no Alteryx Marketplace .

Detalhes do driver

Dependendo do método de login escolhido, um administrador talvez precise configurar o acesso ao Azure Data Lake e ao Azure Active Directory antes que uma conexão possa ser feita usando as ferramentas do Alteryx Azure Data Lake.

Tipo de suporte

Leitura e gravação

Versão

Descrição

v2.5.0

  • É compatível com o Alteryx Designer e Server 2021.4.2 Patch 6, 2022.1 Patch 4 e versões posteriores.

  • Exige o AMP Engine.

  • O Alteryx Server exige credenciais armazenadas no DCM para executar fluxos de trabalho.

  • Adicionada uma opção para baixar arquivos localmente para processamento posterior.

  • Removido suporte para autenticação com Gen1.

  • Problemas corrigidos relacionados à autenticação com DCM. (TPM-2462, TPM-2176)

  • Problemas corrigidos em que a entrada ADLS não conseguiu ler corretamente valores nulos. (TPM-3098, TPM-2659, TPM-2229)

  • Problemas corrigidos em que o fluxo de trabalho não poderia ser executado se as ferramentas ADLS fossem definidas para iniciar o processamento de dados na linha diferente de 1. (TPM-2609, TPM-2277)

  • Problema corrigido em que a entrada ADLS ignorou outros dados após o processamento de um único loop de partes. (TPM-2781)

  • Problema corrigido em que a entrada ADLS devolveu um erro de arquivo CSV malformado. (TPM-2175)

  • Problema corrigido em que a saída ADLS alterou os valores de data. (TPM-1928)

v2.4.3

  • É compatível com o Alteryx Designer e Server 2021.4.2 Patch 4, 2022.1 Patch 2 e versões posteriores.

  • Compatível apenas com AMP Engine.

  • Suporte adicional para DCM .

    • O DCM é necessário para executar esse conector no Alteryx Server.

  • Capaz de operar com FIPS.

  • A validação SSL/TLS é agora executada em relação ao Repositório de Certificados do Windows.

  • Melhor desempenho de gravação e estabilidade.

  • Opção adicional para ajustar o consumo de memória e o desempenho, modificando o tamanho variável das partes do carregamento.

  • Corrigido o problema em que os dados XLSX eram truncados quando as células continham mais de 255 caracteres.

  • Corrigido o problema com caracteres não Unicode em certificados SSL.

  • Corrigido o problema com a ferramenta de saída do ADLS adicionando caracteres entre aspas duplas, apesar do campo "Caractere entre aspas" estar definido como Nenhum . (TPM-1964)

  • Melhorias de segurança.

v2.2.0

  • Permite que o usuário especifique um delimitador CSV personalizado na Saída.

  • Corrigida possível vulnerabilidade de XXE.

v2.1.0

  • Interface de usuário nova e aprimorada.

  • Erros secundários corrigidos.

  • É compatível com o Alteryx Designer e Server 2021.2 e versões posteriores.

v2.0

  • Atualização da IU e tratamento de erros aprimorado

  • Suporte adicional para armazenamentos Gen2

  • Suporte adicional para Azure Government, China Cloud e pontos de extremidade personalizados

  • Compatibilidade com autenticação de chave compartilhada

  • Compatibilidade com aplicativos públicos (próprios e Alteryx)

  • Compatibilidade com vários locatários

  • Compatibilidade com entrada e saída do Excel

  • Adicionada a capacidade de usar delimitadores personalizados para ler e gravar arquivos .CSV

  • É compatível com o Alteryx Designer e Server 2019.3 e versões posteriores.

v1.1.0

  • Corrigidos os erros de autenticação de usuário final

  • Permitido que usuários especifiquem o URI de redirecionamento para autenticação de usuário final

v1.0.2

  • Atualizar opções das Páginas de código.

  • Feita a distinção entre codificações com o mesmo idioma (por exemplo, 'Language' -> 'Language (specific code)') e codificações ordenadas alfabeticamente.

  • Permitido que o usuário especifique a codificação para arquivos CSV na ferramenta de saída.

  • Mensagem de erro aprimorada para indicar quando um nome de repositório inválido é fornecido.

  • Tratamento de conversão de dados aprimorado para não emitir um aviso em vez de um erro quando está faltando um valor em algum campo.

  • Corrigido o erro em que os arquivos/pastas exibidos não eram atualizados depois que o usuário mudava o nome de repositório.

  • Corrigido o problema em que as configurações de valor padrão ocasionalmente não foram respeitadas.

  • Registro em log de produção desativado para impedir problemas de permissões para diferentes instalações/configurações do Designer e oferecer suporte à funcionalidade de fluxo de trabalho agendado

v1.0.1

  • Corrigido o problema que impedia que os pacotes fossem instalados com sucesso

v1.0.0

  • Versão inicial da Entrada de Arquivo do Azure Data Lake e da Saída de Arquivo do Azure Data Lake

Ferramentas do Alteryx usadas para conexão

Gerenciador de Conexões de Dados

As ferramentas do Azure Data Lake Store 2.3.0 e versões posteriores são compatíveis com o Gerenciador de Conexões de Dados para um armazenamento mais fácil e seguro de suas credenciais. Crie uma conexão com o Azure Data Lake Store e reutilize facilmente as credenciais armazenadas em fluxos de trabalho que incluem as ferramentas do Azure Data Lake Store. O Alteryx Server exige credenciais armazenadas para executar com êxito os fluxos de trabalho publicados.

Habilitar o AMP Engine

Certifique-se de ter o AMP Engine habilitado para os fluxos de trabalho que contêm as ferramentas do Azure Data Lake Store 2.3.0 e versões posteriores.

Autenticação e autorização

Os pontos de extremidade do Azure Data Lake para armazenamentos Gen1 e Gen2 são diferentes. Durante a autenticação, você precisa especificar a qual tipo de armazenamento deseja se conectar. Se não tiver certeza do tipo de armazenamento que está usando, pergunte ao administrador do Azure ou verifique a informação no Portal do Microsoft Azure .

DICAS

  • Para publicar fluxos de trabalho no Server ou AAH, use os tipos de autenticação Serviço a Serviço ou Chave compartilhada para que não seja preciso fazer upload novamente do fluxo de trabalho depois que o token de atualização expirar.

  • Pode ser preciso muito tempo para carregar os metadados. Devido a isso, você pode desativar o carregamento de metadados selecionando "Desativar configuração automática nas configurações de usuário avançadas" (Opções > Configurações de usuário > Editar configurações de usuário > Avançado).

Você precisa ter recebido permissões para ler e gravar dados em uma conta do Azure Data Lake Store. Para mais informações sobre como essas permissões são atribuídas e aplicadas, consulte a documentação oficial da Microsoft.

Único Vs. Multilocatário

Os aplicativos de locatário único estão disponíveis somente no locatário em que foram registrados, também conhecido como locatário local. Você ou o administrador do Azure podem criar armazenamento e aplicativos de locatário único do Azure na conta que será usada durante a autenticação no Designer. Aplicativos multilocatários estão disponíveis para usuários tanto nos locatários locais quanto em outros locatários.

Usuário final (básico)

A autenticação básica do usuário final é a maneira mais conveniente de se acessar os dados do ADLS no Designer. Entre em contato com o administrador do Azure para permitir aplicativos públicos do Alteryx no locatário do Azure da sua organização. Consulte a documentação da Microsoft que inclui a descrição das etapas .

Locatário: comum

ID de cliente ADLS para o aplicativo Alteryx Gen2: 2584cace-63ff-47cb-96d2-d153704f4d75

Após essa configuração, você e seus colegas podem usar suas credenciais normais da Microsoft para acessar os dados do ADLS.

Usuário final (avançado)

A autenticação avançada do usuário final é compatível com a autenticação de um ou vários locatários e pode ser usada com aplicativos públicos e privados.

Para mais informações sobre a configuração de credenciais, acesse a documentação da Microsoft .

Configuração de autenticação

  • ID do locatário : você pode obter o ID do locatário no Azure Portal ou confiar no mecanismo de descoberta automática no Azure digitando "comum" no campo ID do locatário. Em caso de acesso a vários locatários, você pode especificar o ID do locatário. Para mais informações sobre multilocatários, consulte a seção "Único Vs. Multilocatário".

  • ID do cliente : o ID exclusivo identificado de um aplicativo Azure. O campo "ID do cliente" é obrigatório.

  • Segredo do cliente : se o seu aplicativo for privado, será obrigatório fornecer o segredo do cliente. Se você estiver usando um aplicativo público, deixe o campo em branco.

Serviço a serviço

A autenticação Serviço a Serviço é adequada para publicar fluxos de trabalho no Server e no Hub.

Para mais informações sobre a configuração de credenciais, acesse a documentação da Microsoft .

Chave compartilhada

Nota

  • A autenticação de chave compartilhada pode ser usada somente com armazenamentos Gen2.

  • A publicação no Server só funcionará para o Designer e o Server 2020.4 e versões mais recentes, pois esse método de autenticação foi introduzido a partir das versões 2020.4.

Com uma conta de armazenamento Azure, a Microsoft gera duas chaves de acesso que podem ser usadas para autorizar o acesso ao seu Azure Data Lake usando a autorização da chave compartilhada. Para mais informações sobre como usar chaves compartilhadas, acesse a Documentação da Microsoft .

Azure National Clouds e pontos de extremidade personalizados

A partir da versão v2.0, os conectores do ADLS são compatíveis com acesso a pontos de extremidade personalizados. Os URLs para as nuvens nacionais dos EUA e da China podem ser selecionados na tela de autenticação dos conectores no campo "Ponto de extremidade da Autoridade de Autenticação".

Configuração de aplicativo de API personalizado do Microsoft Azure

Para configurar um aplicativo de API personalizado para esta ferramenta, consulte o nosso guia.Configurar o aplicativo da API do Microsoft Azure

Seleção de Dados e Opções de Configuração

Na guia "Dados", você pode especificar os dados que quer usar:

  1. Especifique o Nome da conta de armazenamento . Esse armazenamento precisa ser do mesmo tipo (Gen1, respectivamente Gen2), conforme selecionado na página "Autenticação".

  2. Para armazenamentos Gen2 , especifique o Nome do sistema de arquivos .

  3. Depois que o armazenamento e o sistema de arquivos para o Gen2 tiverem sido selecionados, você pode configurar o caminho do arquivo que deseja ler ou gravar. Você pode especificar o caminho inserindo-o diretamente no campo "Caminho do arquivo" ou usando o explorador de arquivos. Para a ferramenta Saída de Arquivo do Azure Data Lake, você pode usar o mesmo mecanismo para criar um novo arquivo.

  4. Para arquivos do Excel, o nome da planilha pode ser informado no campo "Planilha" localizado no explorador de arquivos. Caso vazia, a primeira planilha será selecionada automaticamente. No caso de arquivos novos, a planilha já vem com o nome "Planilha" predefinido.

Formatos de arquivo e Configuração

As ferramentas do ADLS são compatíveis com os seguintes formatos de dados: .CSV, .avro, .json e .xlsx.

  • Arquivos CSV

    • Ler

    • Gravação : você pode substituir ou acrescentar a um arquivo CSV existente.

Dica

Para compatibilidade com as ferramentas de Dados de Entrada e Saída, a codificação deve ser UTF-8 SIG .

  • Arquivos JSON

    • Leitura: para ler arquivos JSON corretamente, eles devem estar usando a codificação UTF-8 sem BOM.

    • Gravação : a conversão de tipo de dados ao gravar em arquivos JSON tem as seguintes limitações: Decimal, Datetime e Células de tempo são geradas como strings .

  • Arquivos Avro

    • Ler

    • Gravar

  • Arquivos Excel

    • Leitura : todos os dados são lidos como V_Wstrings.

    • Gravar

Detalhes adicionais

  • Se estiver em um estado sem acesso (leitura/gravação) a uma determinada pasta criada por outra conta, isso se deve a permissões.

  • Se você encontrar um erro dizendo que o token pode ter sido revogado, será necessário fazer logout e, em seguida, voltar ao painel de configuração para autenticar novamente.

Nota

O administrador do sistema pode configurar as propriedades de vida útil do token.

O Azure Data Lake Explorer deve conceder permissões para ler e gravar dados em uma conta do Azure Data Lake Store. Para mais informações sobre como essas permissões são atribuídas e aplicadas, leia a documentação oficial da Microsoft.

Limitações

A partir da versão 2.5.0 das ferramentas do Azure Data Lake Store, a autenticação com Gen1 não é compatível.

JSON e Avro são somente UTF-8.

Para JSON, há um erro de conversão silenciosa se você tentar armazenar números que são muito grandes para seu tipo de dados.

A gravação em arquivos do Excel atualmente está limitada a uma substituição completa de arquivo.

Arquivos Avro com campos de bytes não são compatíveis, e ocorrerá uma falha na importação.

Os valores do campo float do fluxo de trabalho do Alteryx são convertidos em double no arquivo Avro de destino.

Os conectores do Microsoft Azure Data Lake, OneDrive e Dynamics CRM são compatíveis com autenticação por meio de credenciais de usuário da Microsoft, como e-mail e senha. Nos fluxos de trabalho interativos, não é possível fazer a autenticação com diferentes contas de usuário da Microsoft nesses conectores. Essa limitação não afeta os fluxos de trabalho programados. Caso você tenha feito a autenticação com uma conta de usuário da Microsoft em um desses conectores e tente fazer isso com outro conector em outra conta de usuário da Microsoft, você verá uma mensagem de erro. Para resolver esse problema, siga uma destas recomendações:

  • O Administrador do Azure Active Directory pode conceder as permissões necessárias a uma conta de usuário e garantir que o usuário que está criando o fluxo de trabalho tenha uma conta de usuário com acesso aos serviços necessários nesse fluxo de trabalho.

  • Faça logout de todos os conectores autenticados em uma conta de usuário diferente da Microsoft antes de tentar fazer login.

  • Evite usar a autenticação do usuário final quando possível. Use a autenticação serviço a serviço nos conectores do Azure Data Lake e a autenticação de login do aplicativo nos conectores do Dynamics CRM.

O Desktop Automation (Scheduler) não é compatível com esse conector.