-
Fabric – Copy job
Il y a quelque temps, Microsoft a annoncé un type de job particulier, les « Copy job ». Dans de nombreux projets, pour des raisons d’impact sur les bases opérationnelles, nous faisons des copies des données sources pour travailler de façon autonome par la suite. Ce type de job est justement là pour traiter ce cas d’usage…
-
Zone Gold et Pipeline d’intégration synapse
Après avoir alimenté notre zone bronze : Paramétrer les Pipeline Azure Synapse Analytics sans ouvrir Synapse ! ; Après avoir alimenté notre zone sliver : Notre premier notebook Spark dans Synapse ; Nous allons maintenant alimenter notre zone gold et créer notre pipeline d’intégration complet de l’ingestion de nos données On-Prem jusqu’à l’écriture de notre…
-
Connexion du Lake à Synapse
Nous avons fait le choix de créer un compte de stockage (ou plusieurs) séparé de celui propre à Synapse pour notre datalake. Et donc, après avoir créé nos différentes ressources (workspace et stockage), il reste une étape importante qui est la « connexion » du stockage au workspace afin de pouvoir travailler. Dans synapse cela se fait…
-
Zones de Datalake selon les « bonnes pratiques » Microsoft
Comme tout bon éditeur qui se respecte, Microsoft présente de bonnes pratiques d’implémentation. La documentation proposée est disponible ici : Zones et conteneurs de lac de données – Cloud Adoption Framework | Microsoft Learn Nous allons dans cet article créer les différentes zones de notre Datalake en respectant ces bonnes pratiques Microsoft adaptées à notre…
-
Créer un dataset Power BI depuis notre Synapse DataLakeHouse
Notre DataLakeHouse contient physiquement des fichiers de données. Ceux-ci sont organisés, nettoyés, représentent un modèle de donnée défini sur la « dernière » couche et éventuellement de formats différents. Nous pouvons donc lire nos données depuis ces fichiers et travailler dessus pour faire ce que l’on en veut. Un des principaux cas d’usage est de connecter un…
