Google BigQuery

Tipo de suporte: Leitura e gravação
Validado em: --
Tipo de conexão: Ferramenta Alteryx
Detalhes do driver: A ação do administrador na plataforma do Google Cloud pode ser necessária antes de configurar uma conexão no Alteryx Google BigQuery Ferramentas.

Ferramentas do Alteryx usadas para conectar

ClosedFerramenta Entrada do Google BigQuery

Uso do Ferramenta Entrada do Google BigQuery para consultar uma tabela de Google BigQuery e lê-lo em Designer. Veja Google BigQuery para obter informações sobre limitações conhecidas. Mais informações sobre Google BigQuery podem ser encontradas no Documentação do Google Big Query site.

Ferramenta Gallery

Esta ferramenta não é instalada automaticamente com Designer. Para usar esta ferramenta, baixe-a da Alteryx Analytics Gallery.

ClosedEfetue login Google BigQuery

Você pode efetuar login Google BigQuery com credenciais de serviço a serviço ou de usuário final.

Use Serviço a serviço autenticação sobre Usuário final autenticação sempre que possível. Gerenciar chaves distintas para vários aplicativos autenticando para a mesma conta de serviço permite a revogação do acesso para um aplicativo específico sem exigir que outros aplicativos atualizem suas credenciais de autenticação.
Entre em contato com seu administrador do Google Cloud para obter ajuda com as suas Google BigQuery credenciais.
ClosedAutenticação de serviço a serviço
A autenticação de serviço a serviço requer um arquivo de conta de serviço do Google, também conhecido como um arquivo de chave JSON de conta de serviço.

Você pode obter um arquivo de chave JSON de conta de serviço no console do Google Cloud ou criar uma nova chave para uma conta de serviço existente. Mais informações sobre Google BigQuery podem ser encontradas no Documentação do Google Big Query site em criação e gerenciamento de chaves de conta de serviço.

  1. No modo de autenticação, selecione Serviço a serviço.
  2. Clique em Selecionar um arquivo para selecionar o arquivo da conta do Google Service.
  3. Em Abrir arquivo, acesse e selecione o arquivo JSON que contém sua chave de conta de serviço do Google.
  • Ao selecionar o arquivo coloque o seu Google Cloud identificação da chave da conta de serviço e e-mail da conta de serviço, e, em seguida, mostra a configuração da entrada da tabela do BigQuery janela. Se seu arquivo principal for inválido, um erro é exibido.
    • ClosedAutenticação de usuário final
    1. No Modo de autenticação, selecione Usuário final.
    2. Insira o seu ID do cliente e Segredo do cliente.
    1. Clique em Login.
    2. Em Iniciar sessão com o Google, digite o seu e-mail do Google e senha e, em seguida, clique em Permitir para aprovar a permissão de acesso do conector Google BigQuery em seu nome.
    3. Clique em Avançar.
    ClosedConfigure a ferramenta
    1. Na Configuração de entrada da tabela BigQuery, clique em Selecionar tabela.
      Designer exibe as tabelas às quais você tem acesso.
    2. Selecione um projeto, expanda um conjunto de dados e selecione uma tabela BigQuery. Depois de selecionar uma tabela, Designerexibe o identificador totalmente qualificado da tabela.
      Para atualizar os metadados, clique no ícone de atualização.
      Clique em Alterar tabelapara selecionar uma tabela diferente

    3. Selecione opções.

      • Limite o número de resultados retornados: define o número de linhas no relatório para retornar.
      • Use uma consulta personalizada: Selecione um tipo SQL e Selecione um projeto a ser consultado. Insira a sua consulta personalizada, incluindo qualquer cláusula LIMITE.
      • Inferir limite máximo de registro repetido: não disponível com consulta personalizada. Selecione esta opção e, em seguida, indique um comprimento máximo do campo para definir o limite de registro repetido para o número máximo de registros repetidos nos resultados retornados da sua Google BigQuery tabela. Se você limitar o número de registros, Designersó irá inspecionar em seguida esse conjunto de registros para inferir o limite máximo de registro repetido.
    4. Execute o fluxo de trabalho.

     

    ClosedFerramenta de Saída do Google BigQuery

    Uso do Ferramenta de Saída do Google BigQuery para gravar dados de Designer nas tabelas em Google BigQuery. Veja Google BigQuery para obter informações sobre limitações conhecidas. Mais informações sobre Google BigQuery podem ser encontradas no Documentação do Google Big Query site.

    Ferramenta Gallery

    Esta ferramenta não é instalada automaticamente com Designer. Para usar esta ferramenta, baixe-a da Alteryx Analytics Gallery.

    ClosedEfetue login Google BigQuery

    Você pode efetuar login Google BigQuery com credenciais de serviço a serviço ou de usuário final.

    Use Serviço a serviço autenticação sobre Usuário final autenticação sempre que possível. Gerenciar chaves distintas para vários aplicativos autenticando para a mesma conta de serviço permite a revogação do acesso para um aplicativo específico sem exigir que outros aplicativos atualizem suas credenciais de autenticação.
    Entre em contato com seu administrador do Google Cloud para obter ajuda com as suas Google BigQuery credenciais.
    ClosedAutenticação de serviço a serviço
    A autenticação de serviço a serviço requer um arquivo de conta de serviço do Google, também conhecido como um arquivo de chave JSON de conta de serviço.

    Você pode obter um arquivo de chave JSON de conta de serviço no console do Google Cloud ou criar uma nova chave para uma conta de serviço existente. Mais informações sobre Google BigQuery podem ser encontradas no Documentação do Google Big Query site em criação e gerenciamento de chaves de conta de serviço.

    1. No modo de autenticação, selecione Serviço a serviço.
    2. Clique em Selecionar um arquivo para selecionar o arquivo da conta do Google Service.
    3. Em Abrir arquivo, acesse e selecione o arquivo JSON que contém sua chave de conta de serviço do Google.
  • Ao selecionar o arquivo coloque o seu Google Cloud identificação da chave da conta de serviço e e-mail da conta de serviço, e, em seguida, mostra a configuração da entrada da tabela do BigQuery janela. Se seu arquivo principal for inválido, um erro é exibido.
    • ClosedAutenticação de usuário final
    1. No Modo de autenticação, selecione Usuário final.
    2. Insira o seu ID do cliente e Segredo do cliente.
    1. Clique em Login.
    2. Em Iniciar sessão com o Google, digite o seu e-mail do Google e senha e, em seguida, clique em Permitir para aprovar a permissão de acesso do conector Google BigQuery em seu nome.
    3. Clique em Avançar.
    ClosedConfigure a ferramenta
    1. Na Configuração de entrada da tabela BigQuery, clique em Selecionar tabela.
    2. Selecione um projeto, expanda um conjunto de dados e selecione uma tabela BigQuery. Designer exibe as tabelas às quais você tem acesso.
      Para atualizar os metadados, clique no ícone de atualização.
      Depois de selecionar uma tabela, Designerexibe o identificador totalmente qualificado da tabela. Clique em Alterar tabelapara selecionar uma tabela diferente

    3. Em Inserir tamanho do lote, selecione um tamanho de lote. Esse número especifica o número de linhas que serão gravadas na Google BigQuery tabela em cada chamada para o Inserir API. O Google define limites no número de solicitações de API por segundo, o número de linhas que podem ser inseridas por segundo e por solicitação, o tamanho das linhas a serem inseridas e o tamanho das solicitações HTTP.

      Mais informações sobre limites e quotas podem ser encontradas no site da documentação de quotas e limites do Google BigQuery . Você também pode analisar os dados de streaming em documentação BigQuery para entender como seus dados serão inseridos na Google BigQuery tabela.

    4. Executar o fluxo de trabalho
    Saída de dados do seu fluxo de trabalho do designer para Google BigQuery fluxos de novas linhas para a tabela em BigQuery. Dados serão mantidos em um buffer de streaming temporário por até 90 minutos, enquanto processa a Google BigQuery conversão dos dados baseados em linha para armazenamento com base em coluna. Na maioria dos casos, os dados no buffer de streaming ainda estão disponíveis para consulta em segundos. No entanto, você não será capaz de ver os dados inseridos na guia de visualização do Google BigQuery console para a tabela até que os processos de extração estejam completos. Saiba mais sobre o buffer de streaming nesta postagem no blog do Google. Mais informações sobre a disponibilidade de dados transmitidos podem ser encontradas no site de documentação do Google BigQuery .

    Autenticação e permissões

    Entre em contato com seu administrador do Google Cloud para obter ajuda com as suas Google BigQuery credenciais.

    Configuração de autenticação de serviço para serviço

    Você pode obter um arquivo de chave JSON de conta de serviço no console do Google Cloud ou criar uma nova chave para uma conta de serviço existente. Mais informações sobre Google BigQuery podem ser encontradas no Documentação do Google Big Query site em criação e gerenciamento de chaves de conta de serviço.

    Configuração de autenticação do usuário final

    Obtenha um ID de cliente do OAuth e um segredo na página credenciais do console do Google Cloud. Verifique se o tipo de cliente está definido como Other.

    Use Serviço a serviço autenticação sobre Usuário final autenticação sempre que possível. Gerenciar chaves distintas para vários aplicativos autenticando para a mesma conta de serviço permite a revogação do acesso para um aplicativo específico sem exigir que outros aplicativos atualizem suas credenciais de autenticação.

    Permissões de acesso

    Permissões para ler e gravar dados dentro de um Google BigQuery a conta do serviço de projeto deve ser concedida através do console do Google Cloud. Mais informações sobre permissões podem ser encontradas no Documentação do Google Big Query Site.

    Limitações conhecidas

    Flutuar campos BigQuery

    os campos tipo float em uma tabela BigQuery são automaticamente promovidos para tipos duplos no mecanismo Alteryx. Portanto, você pode ver decimais extras em valores de entrada e, em seguida, saída de volta para Google BigQuery.

    Max aninhado, profundidade de registro repetido

    Registros aninhados e repetidos são suportados em uma profundidade de um nível. Avançaram registros repated que são aninhados mais de um nível de profundidade não são suportados. Mais informações sobre registros aninhados, repetidos, podem ser encontradas no site de documentação do Google BigQuery .

    Aninhado, repetido registro achatamento

    ClosedNa entrada

    Ao puxar registros aninhados ou repetidos de um Google BigQuery tabela, o fluxo de trabalho Alteryx irá achatar os registros próximos e/ou repetidos de acordo com o seguinte esquema de nomeação:

    Um registro aninhado nested_attr da coluna de nível superior top_attr irá criar uma nova coluna denominada nr_top_attr_nexted_attr.

    ClosedNa saída

    Ao empurrar registros do fluxo de trabalho Alteryx para um existente Google BigQuery tabela, a necessidade de dobrar campos de registro em registros aninhados e/ou repetidos é especificado por renomear campos de registro que fluem para o conector ouput para seguir essas convenções de nomenclatura.

    Um registro nested_attr que deve ser aninhado na coluna de nível superior top_attr deve ser renomeado para nr_top_attr_nested_attr.

    Um registro nested_attr que deve ser aninhado e repetido um número arbitrário de vezes a coluna de nível superior top_attr deve ser renomeado para nrr_top_attr_ {repetition_index} _nested_attr. Todas as repetições que contêm todos os valores nulos nos campos aninhados são descartadas antes da chamada da API para inserir novas linhas no Google BigQuery tabela isso implica que os registros em seu fluxo de trabalho designer podem ter um número arbitrário de repetições máximas, e nem todos os registros devem ter o mesmo número de repetições.

    Esquemas de conector de saída

    Nomes de campos e tipos passados para o Ferramenta de Saída do Google BigQuery devem corresponder àqueles no destino Google BigQuery tabela. Colunas que existem no Google BigQuery tabela, mas não existem na lista de campos de fluxo de trabalho irá produzir valores nulos para essas colunas nos registros inseridos. Isso irá causar um erro no caso em que a coluna de destino não está configurada como Anulável.

    Indicador de progresso de entrada

    No caso em que há linhas no buffer de streaming para a tabela selecionada de uma ferramenta de entrada sem uma consulta personalizada, a ferramenta de entrada usará o número estimado de linhas no buffer de streaming relatado pelo Google ao atualizar a porcentagem do indicador de progresso em um fluxo de trabalho em execução. Se a estimativa do Google estiver incorreta, o valor relatado no indicador de progresso também pode estar incorreto.

    No caso em que a tabela que está sendo consultada está vazia e o buffer de streaming para essa tabela não está vazio, então é possível para o Google estimar o número de linhas no buffer de streaming como zero. No entanto, o Google ainda pode retornar linhas do buffer de streaming. Quando isso acontecer, você não verá a atualização percentual do indicador de progresso e um aviso será exibido.

    Ajuda e documentação do Alteryx | Notas de versão do Alteryx

    Alteryx.com | Community | Suporte ao cliente | Feedback sobre a documentação

    Direitos autorais © 2019 | Alteryx, Inc. | Alteryx Designer | 2019.1