-
Zone Gold et Pipeline d’intégration synapse
Après avoir alimenté notre zone bronze : Paramétrer les Pipeline Azure Synapse Analytics sans ouvrir Synapse ! ; Après avoir alimenté notre zone sliver : Notre premier notebook Spark dans Synapse ; Nous allons maintenant alimenter notre zone gold et créer notre pipeline d’intégration complet de l’ingestion de nos données On-Prem jusqu’à l’écriture de notre…
-
Notre premier notebook Spark dans Synapse
Synapse nous permet d’utiliser Apache Spark en tant que Runtime de processing afin de travailler nos différents datasets. Dans cet article, nous allons créer notre premier notebook Spark (et le pool Spark nécessaire) pour transformer nos premières données de la zone bronze pour commencer à alimenter notre zone silver. Introduction et pool Spark Un Notebook…
-
Connexion du Lake à Synapse
Nous avons fait le choix de créer un compte de stockage (ou plusieurs) séparé de celui propre à Synapse pour notre datalake. Et donc, après avoir créé nos différentes ressources (workspace et stockage), il reste une étape importante qui est la « connexion » du stockage au workspace afin de pouvoir travailler. Dans synapse cela se fait…
-
Mise en cluster d’un runtime d’intégration auto-hébergé
Dans un précédent article, nous avons installé un runtime d’intégration auto-hébergé permettant le transfert de données locales vers Azure. Nous avions évoqué dans les options avancées, la possibilité de faire de la haute disponibilité pour notre runtime. Nous allons dans cet article configurer la haute disponibilité sur notre runtime d’intégration en installant un nouveau nœud…
-
Créer un dataset Power BI depuis notre Synapse DataLakeHouse
Notre DataLakeHouse contient physiquement des fichiers de données. Ceux-ci sont organisés, nettoyés, représentent un modèle de donnée défini sur la « dernière » couche et éventuellement de formats différents. Nous pouvons donc lire nos données depuis ces fichiers et travailler dessus pour faire ce que l’on en veut. Un des principaux cas d’usage est de connecter un…
