Google BigQuery

Prise en charge : Lecture et écriture
Validé le : --
Type de connexion : Outil Alteryx
Détails du pilote : L'action de l'administrateur dans la plate-forme Google Cloud peut être nécessaire avant de configurer une connexion dans le Alteryx Google BigQuery Outils.

Outils Alteryx utilisés pour la connexion

FerméOutil d'entrée Google BigQuery

Utilisez la Outil d'entrée Google BigQuery pour interroger une table à partir de Google BigQuery et le lire dans Designer. Voir Google BigQuery pour plus d'informations sur les limitations connues. Plus d'informations sur Google BigQuery se trouvent sur le Documentation Google Big Query site.

Outil Gallery

Cet outil n'est pas installé automatiquement avec Designer. Pour utiliser cet outil, téléchargez-le à partir de la Gallery Alteryx Analytics.

FerméConnectez-vous à Google BigQuery

Vous pouvez vous connecter à Google BigQuery avec des informations d'identification de service à service ou d'utilisateur final.

Utilisez l'authentification Service à service de préférence à l'authentification d'Utilisateur final chaque fois que possible. La gestion de clés distinctes pour diverses applications qui s'authentifient pour le même compte de service permet la révocation de l'accès pour une application spécifique sans exiger que les autres applications mettent à jour leurs informations d'identification d'authentification.
Contactez votre administrateur Google Cloud pour obtenir de l'aide sur vos Google BigQuery informations d'identification.
FerméAuthentification de service à service
L'authentification de service à service nécessite un fichier de compte de service Google, également appelé fichier de clé JSON de compte de service.

Vous pouvez obtenir un fichier de clé JSON de compte de service à partir de la console Google Cloud ou vous pouvez créer une nouvelle clé pour un compte de service existant. Plus d'informations sur Google BigQuery se trouvent sur le Documentation Google Big Query site sous Création et gestion de clés de compte de service.

  1. En Mode d'authentification, sélectionnez Service-à-service.
  2. Cliquez sur Sélectionner un fichier pour sélectionner votre fichier de compte de service Google.
  3. Dans Ouvrir le fichier, naviguez jusqu'à et sélectionnez le fichier JSON qui contient votre clé de compte de service Google.
  • La sélection du fichier entre votre numéro de clé de compte de service Google Cloud et adresse e-mail de compte de service, puis affiche la fenêtre de Configuration d'entrée de table BigQuery . Si votre fichier de clé n'est pas valide, une erreur s'affiche.
    • FerméAuthentification de l'utilisateur final
    1. En Mode authentification, sélectionnez Utilisateur final.
    2. Saisissez votre Identifiant client et votre Secret de client.
    1. Cliquez sur Connexion.
    2. Dans Connexion à Google, entrez votre e-mail et votre mot de passe Google, puis cliquez sur Autoriser pour approuver l'autorisation d'accès du connecteur Google BigQuery en votre nom.
    3. Cliquez sur Suivant.
    FerméConfigurer l’outil
    1. Dans Config d'entrée de table BigQuery, cliquez sur Sélectionner la table.
      Designer affiche les tables auxquelles vous avez accès.
    2. Sélectionnez un projet, développez un jeu de données, puis sélectionnez une table BigQuery. Une fois que vous avez sélectionné une table, Designeraffiche l'identificateur complet de la table.
      Pour actualiser les métadonnées, cliquez sur l'icône Actualiser.
      Cliquez sur Modifier la table pour sélectionner une autre table

    3. Sélectionnez Options.

      • Limiter le nombre de résultats retournés: définit le nombre de lignes dans le rapport à retourner.
      • Utiliser une requête personnalisée: sélectionnez un type SQL , puis sélectionnez un projet à interroger. Entrez votre requête personnalisée, y compris toute clause de LIMITE.
      • Déduire la limite max d'enregistrements répétés: non disponible avec la requête personnalisée. Sélectionnez cette option, puis indiquez une longueur de champ maximale pour définir la limite d'enregistrements répétés sur le nombre maximal d'enregistrements répétés dans les résultats renvoyés par votre Google BigQuery table. Si vous limitez le nombre d'enregistrements, vous Designern'inspecterez que cet ensemble d'enregistrements pour déduire la limite maximale d'enregistrements répétés.
    4. Exécutez le workflow.

     

    FerméOutil de sortie Google BigQuery

    Utilisez la Outil de sortie Google BigQuery pour écrire des données Designervers des tables dans Google BigQuery. Voir Google BigQuery pour plus d'informations sur les limitations connues. Plus d'informations sur Google BigQuery se trouvent sur le Documentation Google Big Query site.

    Outil Gallery

    Cet outil n'est pas installé automatiquement avec Designer. Pour utiliser cet outil, téléchargez-le à partir de la Gallery Alteryx Analytics.

    FerméConnectez-vous à Google BigQuery

    Vous pouvez vous connecter à Google BigQuery avec des informations d'identification de service à service ou d'utilisateur final.

    Utilisez l'authentification Service à service de préférence à l'authentification d'Utilisateur final chaque fois que possible. La gestion de clés distinctes pour diverses applications qui s'authentifient pour le même compte de service permet la révocation de l'accès pour une application spécifique sans exiger que les autres applications mettent à jour leurs informations d'identification d'authentification.
    Contactez votre administrateur Google Cloud pour obtenir de l'aide sur vos Google BigQuery informations d'identification.
    FerméAuthentification de service à service
    L'authentification de service à service nécessite un fichier de compte de service Google, également appelé fichier de clé JSON de compte de service.

    Vous pouvez obtenir un fichier de clé JSON de compte de service à partir de la console Google Cloud ou vous pouvez créer une nouvelle clé pour un compte de service existant. Plus d'informations sur Google BigQuery se trouvent sur le Documentation Google Big Query site sous Création et gestion de clés de compte de service.

    1. En Mode d'authentification, sélectionnez Service-à-service.
    2. Cliquez sur Sélectionner un fichier pour sélectionner votre fichier de compte de service Google.
    3. Dans Ouvrir le fichier, naviguez jusqu'à et sélectionnez le fichier JSON qui contient votre clé de compte de service Google.
  • La sélection du fichier entre votre numéro de clé de compte de service Google Cloud et adresse e-mail de compte de service, puis affiche la fenêtre de Configuration d'entrée de table BigQuery . Si votre fichier de clé n'est pas valide, une erreur s'affiche.
    • FerméAuthentification de l'utilisateur final
    1. En Mode authentification, sélectionnez Utilisateur final.
    2. Saisissez votre Identifiant client et votre Secret de client.
    1. Cliquez sur Connexion.
    2. Dans Connexion à Google, entrez votre e-mail et votre mot de passe Google, puis cliquez sur Autoriser pour approuver l'autorisation d'accès du connecteur Google BigQuery en votre nom.
    3. Cliquez sur Suivant.
    FerméConfigurer l’outil
    1. Dans Config d'entrée de table BigQuery, cliquez sur Sélectionner la table.
    2. Sélectionnez un projet, développez un jeu de données, puis sélectionnez une table BigQuery. Designer affiche les tables auxquelles vous avez accès.
      Pour actualiser les métadonnées, cliquez sur l'icône Actualiser.
      Une fois que vous avez sélectionné une table, Designeraffiche l'identificateur complet de la table. Cliquez sur Modifier la table pour sélectionner une autre table

    3. Dans Insérer la taille du lot, sélectionnez une taille de lot. Ce numéro spécifie le nombre de lignes qui seront écrites dans la Google BigQuery Table à chaque appel à l'API d'insertion. Google définit les limites du nombre de demandes d'API par seconde, le nombre de lignes pouvant être insérées par seconde et par demande, la taille des lignes à insérer et la taille des requêtes HTTP.

      Vous trouverez plus d'informations sur les limites et les quotas sur le site de Documentation des quotas et limites de Google BigQuery. Vous pouvez également consulter la Documentation de diffusion de données en continu de BigQuery pour comprendre comment vos données seront insérées dans la Google BigQuery table.

    4. Exécuter le workflow
    Sortie des données de votre workflow Designer vers Google BigQuery diffuse de nouvelles lignes vers la table dans BigQuery. Les données seront conservées dans un tampon de streaming temporaire jusqu'à 90 minutes, pendant les processus de Google BigQuery Convertir les données basées sur les lignes de stockage à base de colonnes. Dans la plupart des cas, les données dans la mémoire tampon de streaming sont toujours disponibles pour l'interrogation en quelques secondes. Toutefois, vous ne pourrez pas voir les données insérées dans l'onglet Aperçu de la Google BigQuery console pour la table jusqu'à ce que les processus d'extraction soient terminés. En savoir plus sur le tampon de streaming dans cette publication de blogs Google. Vous trouverez plus d'informations sur la disponibilité des données en streaming sur le site de documentation Google BigQuery .

    Authentification et autorisations

    Contactez votre administrateur Google Cloud pour obtenir de l'aide sur vos Google BigQuery informations d'identification.

    Configuration d'authentification de service à service

    Vous pouvez obtenir un fichier de clé JSON de compte de service à partir de la console Google Cloud ou vous pouvez créer une nouvelle clé pour un compte de service existant. Plus d'informations sur Google BigQuery se trouvent sur le Documentation Google Big Query site sous Création et gestion de clés de compte de service.

    Configuration de l'authentification de l'utilisateur final

    Obtenez un ID client OAuth et un secret à partir de la page d'informations d'identification de la console Google Cloud. Assurez-vous que le type de client est défini sur other.

    Utilisez l'authentification Service à service de préférence à l'authentification d'Utilisateur final chaque fois que possible. La gestion de clés distinctes pour diverses applications qui s'authentifient pour le même compte de service permet la révocation de l'accès pour une application spécifique sans exiger que les autres applications mettent à jour leurs informations d'identification d'authentification.

    Autorisations d'accès

    Autorisations pour lire et écrire des données dans un Google BigQuery le compte de service de projet doit être accordé via la console Google Cloud. Vous trouverez plus d'informations sur les autorisations sur le Documentation Google Big Query Site.

    Limitations connues

    Champs float BigQuery

    les champs de type float d'une table BigQuery sont automatiquement promus en deux types dans le moteur Alteryx. Par conséquent, vous pouvez voir des décimales supplémentaires dans les valeurs d'entrée de et puis de sortie de retour à Google BigQuery.

    Max imbriqué, profondeur d'enregistrement répétée

    Les enregistrements imbriqués et répétés sont pris en charge à une profondeur d'un niveau. Les enregistrements repated suivants imbriqués plus d'un niveau de profondeur ne sont pas pris en charge. Vous trouverez plus d'informations sur les enregistrements répétés imbriqués sur le site de documentation Google BigQuery .

    Aplatissement des enregistrements imbriqués et répétés

    FerméSur l'entrée

    Lorsque vous tirez des enregistrements imbriqués ou répétés Google BigQuery table, le workflow Alteryx aplatira les enregistrements suivants et/ou répétés selon le schéma de nommage suivant:

    Un enregistrement imbriqué nested_attr de la colonne de niveau supérieur top_attr va créer une nouvelle colonne nommée nr_top_attr_nexted_attr.

    FerméSur la sortie

    Lorsque vous poussez des enregistrements du workflow Alteryx vers un Google BigQuery table, la nécessité de plier les champs d'enregistrement en enregistrements imbriqués et/ou répétés est spécifiée en renommant les champs d'enregistrement qui s'écoulent dans le connecteur sortie pour suivre ces conventions d'affectation de noms.

    Un nested_attr d'enregistrement qui doit être imbriqué sur la colonne de niveau supérieur top_attr doit être renommé nr_top_attr_nested_attr.

    Un nested_attr d'enregistrement qui doit être imbriqué et répété un nombre arbitraire de fois sous la colonne de niveau supérieur top_attr doit être renommé nrr_top_attr_ {repetition_index} _nested_attr. Toutes les répétitions qui contiennent toutes les valeurs NULL sur les champs imbriqués sont supprimées avant l'appel de l'API pour insérer de nouvelles lignes dans le Google BigQuery Tableau cela implique que les enregistrements de votre workflow de concepteur peuvent avoir un nombre arbitraire de répétitions maximales, et que chaque enregistrement ne doit pas avoir le même nombre de répétitions.

    Schémas de connecteur de sortie

    Noms et types de champs transmis au Outil de sortie Google BigQuery doit correspondre à ceux de la destination Google BigQuery table. Colonnes qui existent dans le Google BigQuery table, mais n'existe pas dans la liste de champs de workflow produira des valeurs NULL pour ces colonnes dans les enregistrements insérés. Cela provoquera une erreur dans le cas où la colonne de destination n'est pas configurée comme Nullable.

    Indicateur de progression d'entrée

    Dans le cas où il existe des lignes dans la mémoire tampon de streaming pour la table sélectionnée d'un outil d'entrée sans une requête personnalisée, l'outil d'entrée utilisera le nombre estimé de lignes dans la mémoire tampon de streaming rapporté par Google tout en mettant à jour le pourcentage de l'indicateur de progression dans un workflow en cours d'exécution. Si l'estimation de Google est incorrecte, alors la valeur rapportée dans l'indicateur de progression pourrait être incorrecte aussi bien.

    Dans le cas où la table faisant l'objet d'une requête est vide et que la mémoire tampon de diffusion de cette table n'est pas vide, il est possible pour Google d'estimer le nombre de lignes dans la mémoire tampon de diffusion comme zéro. Toutefois, Google peut toujours retourner des lignes à partir de la mémoire tampon de streaming. Lorsque cela se produit, vous ne verrez pas la mise à jour du pourcentage de l'indicateur de progression et un avertissement s'affichera.

    Aide et documentation Alteryx | Notes de publication Alteryx

    Alteryx.com | Community | Support clientèle | Commentaires sur la documentation

    Copyright © 2019 | Alteryx, Inc. | Alteryx Designer | 2019.1