La fonctionnalité de « Mirroring » dans Microsoft Fabric transforme radicalement la gestion traditionnelle des données. Cette fonction permet une duplication automatique des données depuis une source primaire, telle qu’une base de données Azure SQL ou Snowflake, directement dans OneLake, sans nécessiter l’intervention manuelle habituelle des processus ETL.

Voici une explication détaillée de ce que le Mirroring dans Microsoft Fabric implique et comment il fonctionne, avec un exemple concret :

1. Réplication en quasi-temps réel : La mise en miroir dans Microsoft Fabric réplique vos données en continu. Par exemple, considérez une entreprise de e-commerce qui utilise Azure SQL pour stocker les transactions de vente. Avec le mirroring, ces données sont automatiquement et constamment répliquées dans OneLake, garantissant que les données sont toujours actuelles et prêtes pour l’analyse.
2. Utilisation avec d’autres services de Fabric : Une fois les données répliquées dans OneLake, elles sont disponibles pour être analysées ou traitées avec d’autres services Fabric, tels que Spark ou Power BI. Cela permet aux analystes de visualiser les tendances des ventes en temps réel sans délai.
3. Simplicité et intégration : Le mirroring est conçu pour une intégration transparente dans l’écosystème Microsoft, facilitant l’utilisation conjointe de divers services et outils. Cette intégration aide les entreprises à adopter de nouvelles méthodes de gestion des données sans friction notable.
4. Réduction des coûts et de la latence : En éliminant les processus ETL manuels, le mirroring réduit non seulement les coûts opérationnels mais aussi la latence, permettant ainsi des décisions plus rapides et plus économiques basées sur des données actualisées.
5. Avantages supplémentaires : En stockant les données dans un format prêt pour l’analytique, le mirroring facilite des scénarios en aval tels que l’ingénierie et la science des données, optimisant l’utilisation des ressources et maximisant les insights tirés des données.

Limitation actuelle : Pour l’instant, les sources de données compatibles avec le mirroring dans Microsoft Fabric sont limitées. Actuellement, seules quelques sources comme Azure SQL Database, Azure Cosmos DB et Snowflake sont supportées. Toutefois, nous espérons voir une extension de cette liste dans les prochaines mises à jour pour inclure une gamme plus large de sources de données.

En conclusion, la mise en miroir dans Microsoft Fabric offre une méthode efficace et moderne pour centraliser et simplifier la gestion des données. Cette solution aide les entreprises à réduire la complexité et à améliorer l’efficacité des analyses, en transformant la manière dont elles accèdent et utilisent les informations.

PS : en plus Microsoft offrent de l’espace de stockage gratuit pour la fonctionnalité mise en miroir ! 😉

Hello hello !

Après vous avoir parlé de Power BI Desktop, il est temps de mettre les projecteurs sur son cousin du cloud : Power BI Service. Imaginez Desktop comme votre atelier d’artiste pour les données, tandis que Service, c’est la galerie où tout le monde peut admirer vos œuvres.

On va essayer de démêler tout ça pour y voir plus clair !

Power BI Desktop vs Power BI Service : Le Match ! Power BI Desktop, c’est le couteau suisse pour créer des analyses et des rapports, directement sur votre PC. Vous bricolez vos visualisations dans votre coin. Mais une fois que c’est prêt à être montré au monde ?

Entrez dans Power BI Service ! C’est là que vos créations prennent une toute nouvelle dimension. Partage, collaboration, et même des insights en temps réel, tout cela sans quitter votre navigateur.

Desktop crée, Service diffuse !

Depuis les récentes mises à jour, on peut aussi créer des nouveaux rapports depuis le Service Power BI. La seule différence réside dans le fait que vous ne pouvez pas créer de nouveau modèle sémantique depuis le web. (Même s’il est possible de le faire à partir de source Excel depuis peu!).

Présentation Complète de Power BI Service :

1. Rapports : Les rapports dans Power BI Service sont des collections interactives de visualisations de données. Contrairement à Power BI Desktop, où les rapports sont créés, dans le Service, ils sont partagés et consultés. Les utilisateurs peuvent interagir avec les données, filtrer, trier et obtenir des détails en temps réel, rendant l’analyse plus dynamique et accessible à tous les niveaux de l’entreprise.
2. Applications : Les applications dans Power BI Service permettent de regrouper des rapports et des tableaux de bord en un seul package cohérent. C’est l’outil idéal pour distribuer des ensembles de rapports à des départements entiers ou à des équipes spécifiques, assurant que tous les utilisateurs concernés ont accès aux mêmes informations de manière structurée et sécurisée.
3. Tableaux de bord : Les tableaux de bord sont des visualisations à un niveau plus élevé, où les éléments clés des différents rapports sont résumés en vues simples et impactantes. Ils sont souvent configurés pour afficher les indicateurs de performance clés (KPIs) et les résumés essentiels, permettant aux décideurs d’obtenir une vue à 360 degrés des performances de l’entreprise à un coup d’œil.

On retrouve aussi dans ce service, des espaces de travail dans lesquels on va venir publier des rapports, modèles sémantiques etc.

Les espaces de travail sont des dossiers au même titre que des dossiers OneDrive ou SharePoint par exemple !

Power BI Service est bien plus qu’une simple extension de Power BI Desktop. C’est une plateforme puissante pour le partage, la collaboration et la prise de décision basée sur les données. Que vous soyez un utilisateur final souhaitant comprendre les tendances du marché ou un analyste recherchant des insights approfondis, Power BI Service est conçu pour transformer les données en actions concrètes.

Cet article avez pour vocation de poser les bases sur les « grandes » différences entre les deux notions. Nous reviendrons bien plus en détails sur ces dernières dans plusieurs article, car il y a beaucoup à dire ! 🙂

Enzo.

Encore moi ! Notre introduction à Microsoft Fabric touche bientôt à sa fin, car oui, nous avons presque fait le tour des expériences disponibles.

Alors pas d’inquiétude, ces premiers articles n’étaient qu’une introduction en surface de la capacité des expériences. Nos prochains articles rentreront beaucoup plus dans le détails.

Continuons avec nos analogies pour démystifier tout ça.

Imaginez une super autoroute où l’information circule à la vitesse de l’éclair (comme Buzz), permettant à votre entreprise de réagir instantanément à toute évolution.

C’est exactement ce que vous offre Azure Synapse Real-Time Analytics dans Microsoft Fabric. Aujourd’hui, on explore ensemble comment cette technologie peut transformer votre manière de travailler avec les données en temps réel. Car oui, bien souvent, dans les entreprises, le temps réel est une utopie. Surtout à cause des limitations techniques et infra.

1. Qu’est-ce que l’Analytique en Temps Réel ?

Azure Synapse Real-Time Analytics est comme un chef d’orchestre pour vos données, coordonnant et analysant les informations à la seconde où elles arrivent. Que vous surveilliez des flux de données financières, des capteurs industriels ou des interactions clients, cette plateforme vous permet de capter, traiter et analyser ces données en un clin d’œil.

2. Pourquoi « l’Analytique en Temps Réel » est unique ?

Ce qui distingue Azure Synapse Real-Time Analytics, c’est sa capacité à gérer des données de manière dynamique et instantanée. Vous pouvez importer des données de toutes formes et tailles, les indexer et les partitionner automatiquement, et immédiatement plonger dans l’analyse grâce à des requêtes performantes.

3. Scénarios d’utilisation :

• Cybersécurité : Imaginez détecter une menace potentielle en temps réel et y répondre avant qu’elle ne cause des dommages.
• Maintenance prédictive : Prévoyez les pannes d’équipement avant qu’elles ne surviennent, économisant temps et argent.
• Expérience client : Ajustez les interactions avec vos clients au fur et à mesure qu’elles se déroulent, améliorant leur satisfaction et fidélisation.

4. Comment ça marche ?

Azure Synapse Real-Time Analytics simplifie l’intégration des données : vous pouvez commencer avec quelques clics et voir les résultats presque instantanément. La plateforme supporte des requêtes complexes sans que vous ayez besoin de préparer ou transformer vos données avant l’analyse.

5. Quand utiliser l’Analytique en Temps Réel ?

Chaque fois que vous avez besoin d’une analyse rapide et précise pour prendre des décisions (rapidement), Azure Synapse Real-Time Analytics est votre allié.

Que ce soit pour réagir à des changements du marché, optimiser les opérations en direct, ou encore pour améliorer les services en continu, cette plateforme vous donne les outils pour agir à la vitesse de la lumière.

Conclusion:

Cette expérience sous Fabric vient grandement fluidifier mais surtout, faciliter l’accès des notions de temps réel. Une offre tout en un, qui permettra de piloter votre entreprise en un clin d’œil !

Hello tout le monde !

En cette veille de grand pooooont du mois de mai, je vous propose de continuer notre voyage dans la découverte de Microsoft Fabric.

Aujourd’hui, on décompresse un peu le jargon technique pour explorer ensemble le module Synapse Data Science de Microsoft Fabric. Imaginez avoir une boîte à outils « magique » qui transforme les données brutes en insights précieux, un peu comme transformer des grains de café en votre espresso matinal parfait.

C’est exactement ce que propose Synapse Data Science !

Oui, les Data Scientists sont réellement les magiciens du monde de la Data ! Et encore plus avec Fabric.

1. De l’Idée à l’Action:

Vous savez ce moment où vous avez une idée mais vous ne savez pas par où commencer ? Synapse Data Science aide à formuler et affiner cette idée, un peu comme quand vous commencez à planifier un voyage.

Vous choisissez une destination (le problème à résoudre), puis vous tracez votre itinéraire (les étapes de résolution).

La collaboration est facilitée dès le départ, permettant aux analystes de partager facilement des rapports et des données avec des scientifiques, comme passer le relais dans une course de relais.

2. Fouille et Préparation des Données:

Une fois que l’idée est claire, il faut creuser dans les données, un peu comme chercher des trésors cachés. Avec Synapse Data Science, vous pouvez explorer et préparer vos données dans OneLake via un Lakehouse attaché à un notebook. La puissance de Fabric réside précisément ici !

3. Expérimentation et Modélisation:

Maintenant, place à l’action ! Synapse Data Science offre des outils pour expérimenter et créer des modèles de machine learning. Imaginez que vous êtes un chef cuisinier essayant différentes recettes avant de trouver le plat parfait pour votre menu. Chaque test est une opportunité de peaufiner votre création.

4. Enrichissement et Opérationnalisation:

Une fois que votre modèle est prêt, il est temps de le mettre en œuvre, un peu comme servir un plat à vos clients. Les modèles peuvent être utilisés pour enrichir vos données et les transformer en informations prêtes à être dégustées sous forme de rapports ou de dashboards Power BI.

5. Obtenir des Insights:

Le moment tant attendu !

Toutes les prédictions et analyses deviennent accessibles et consommables, comme savourer le plat que vous avez minutieusement préparé.

Grâce à l’intégration avec Power BI, ces insights sont facilement partageables et digestibles pour tous, assurant que chaque partie prenante obtient le ‘plat’ qu’elle préfère.

Conclusion:

Synapse Data Science de Microsoft Fabric est un peu comme un couteau suisse pour les data scientists : complet, intégré et indispensable.

Que vous soyez au début de votre parcours de données ou un expert chevronné, cet outil promet de simplifier et d’améliorer la manière dont vous travaillez avec les données. Alors, prêts à transformer vos données en informations ?

Salut à tous ! Après avoir exploré Power BI dans un précédent article, il est temps de plonger un peu plus profondément et de différencier deux outils puissants mais souvent confondus (ou pas) : Power BI et Power Query. Si Power BI vous a déjà séduit, attendez de voir comment Power Query peut ajouter une corde supplémentaire à votre arc de data analyst !

Qu’est-ce que Power BI ?!

Rappelons le brièvement : Power BI est une solution de business intelligence développée par Microsoft. Cet outil permet de visualiser vos données, de créer des rapports interactifs et des tableaux de bord dynamiques. Il est adoré pour sa capacité à transformer des données brutes en insights visuels captivants et compréhensibles par tous.

Et Power Query, alors ?

Power Query, aussi développé par Microsoft OC, c’est un peu le magicien de la préparation des données. Intégré nativement à Power BI (mais aussi disponible dans Excel, tiens, tiens !), Power Query est le couteau suisse pour l’importation, la transformation, et la consolidation des données. Vous avez des données éparpillées sur plusieurs sources ? Power Query les rassemble, les nettoie et les prépare pour que Power BI puisse ensuite faire briller ces informations dans vos rapports.

Un travail d’équipe quoi !

Par contre, gros disclaimer… POWER QUERY N’EST PAS UN ETL !! Alors oui, les fonctionnalités sont similaires mais s’il vous plait, ne faites pas d’amalgames. Power Query embarqué dans Power BI ne sera jamais aussi efficace qu’un ETL dédié. On en parlera dans un autre blog dédié.

Les Principales Différences

• Usage Principal : Si Power BI est utilisé pour l’analyse et la visualisation de données, Power Query sert principalement à l’extraction et à la transformation des données avant qu’elles ne soient chargées dans Power BI.

• Intégration : Bien que Power Query soit une partie intégrante de Power BI, il peut également être utilisé de manière autonome dans Excel, ce qui montre sa flexibilité et son indépendance.

• Fonctionnalités : Power Query brille par ses fonctionnalités de manipulation de données, permettant de fusionner, de façonner, de filtrer et de consolider des données provenant de diverses sources. Power BI, en revanche, prend le relais pour transformer ces données en visualisations et rapports interactifs.

Pourquoi c’est important ?

Comprendre la distinction et la complémentarité entre Power Query et Power BI vous permet de mieux structurer votre workflow de traitement de données. Utilisez Power Query pour préparer vos données – un peu comme un sous-chef qui prépare les ingrédients. Ensuite, laissez Power BI être le chef qui cuisine et présente le plat final sous forme de visualisations, graphiques etc.

En conclusion

Power Query et Power BI, c’est un duo de choc pour quiconque cherche à maîtriser ses données de bout en bout. Power Query fait le gros du travail en coulisses, tandis que Power BI prend toute la lumière sur scène avec ses rapports éclatants.

Power Query = Back end

Power BI = Front End

En espérant que cette explication vous aide à naviguer avec aisance entre ces deux outils, n’hésitez pas à partager vos expériences ou questions ci-dessous. Restez à l’affût pour d’autres détails sur l’univers de la data dans mes prochains posts!

A très vite.

Enzo.

Salut les sudistes, nordistes, centristes… peu importe !

Nous poursuivons notre découverte de Microsoft Fabric avec l’introduction à « Synapse Data Warehousing ». Alors oui, le nom de la brique est, je le reconnais, un peu barbare et pourtant, pas très complexe à comprendre.

Qu’est-ce que Synapse Data Warehousing ?

Synapse Data Warehousing est une partie de Microsoft Fabric qui aide les organisations à stocker, traiter et analyser de grandes quantités de données. Il combine les fonctions d’un entrepôt de données (data warehouse) et d’un lac de données (data lake) pour offrir une solution complète et performante.

A savoir qu’on parle de Synapse ici, car ça vient du même moteur/principe que Azure Synpase Analytics ! Rien de plus.

Fonctionnalités principales :

1. Expérience simplifiée : Tout est conçu pour être facile d’accès et d’utilisation, que vous soyez débutant ou expert en données.
2. Performance de pointe : L’architecture distribuée permet de traiter rapidement de grandes quantités de données.
3. Intégration avec Power BI : Permet une analyse facile et la création de rapports directement à partir des données stockées. Le fameux direct lake.

Pourquoi utiliser Synapse Data Warehousing ?

• Unification des données : Il combine les lacs de données et les entrepôts de données, simplifiant la gestion de vos données.
• Accessibilité : Offre une plateforme accessible pour gérer les données sans nécessiter de compétences techniques approfondies.
• Flexibilité : Permet de travailler avec des données structurées et non structurées dans un seul système.

Utilisation typique :

Imaginez une entreprise qui collecte des données de ventes à partir de multiples sources. Synapse Data Warehousing peut aider à organiser ces données de manière à ce que les analystes de l’entreprise puissent facilement les examiner pour identifier des tendances de vente ou des opportunités de marché.

Conclusion :

Synapse Data Warehousing transforme la complexité de l’analyse de grandes bases de données en un processus gérable et accessible. Que vous cherchiez à améliorer votre prise de décisions basée sur les données ou à simplifier la gestion de vos données d’entreprise, Synapse Data Warehousing est une solution à considérer.

J’espère que cette introduction vous a éclairé sur les possibilités offertes par Synapse Data Warehousing. Pour plus d’informations, je vous invite à explorer plus en détail dans notre blog !

Restez connecté pour plus de discussions claires et directes sur des technologies de pointe et comment elles peuvent vous aider dans votre quotidien professionnel.

Hello mes sudistes préférés,

En ce dimanche nous allons parler de la deuxième « catégorie » de fonctionnalités disponibles sur la plate-forme Microsoft Fabric.

On parlera ici de « Synapse Data Engineering », qui est selon moi, une des boîte à outils, les plus complète pour un Data Engineer.

C’est quoi Synapse Data Engineering ?

Synapse Data Engineering offre un cadre robuste pour le traitement de grandes quantités de données au sein de Microsoft Fabric. Le fameux Big Data. Que ce soit pour collecter, stocker, traiter ou analyser, il met à votre disposition une panoplie d’outils pour rendre vos données non seulement accessibles mais aussi utiles.

Il faut savoir que cette catégorie, se décompose en plusieurs composants dédiés.

Les Composants Clés :

•   Lakehouse : Synapse Data Engineering utilise le concept de Lakehouse, un mélange entre un data lake et un data warehouse, qui permet de gérer à la fois des données structurées et non structurées dans un seul système intégré.
•   Apache Spark job definition : Cette fonctionnalité permet de définir et soumettre des tâches batch ou streaming à un cluster Spark, facilitant l’application de transformations complexes sur les données.
•   Notebook : Les notebooks offrent un environnement interactif où les utilisateurs peuvent écrire et exécuter du code pour l’ingestion, la préparation et l’analyse des données. Ils supportent plusieurs langages de programmation comme Python, R et Scala.
•   Data pipeline : Les pipelines de données sont essentiels pour automatiser la collecte, le traitement et la transformation des données depuis leur forme brute jusqu’à un format prêt pour l’analyse et la prise de décision.

Pourquoi c’est un outil puissant ?

Synapse Data Engineering dans Microsoft Fabric intègre des outils avancés comme Apache Spark, permettant de traiter des données à grande échelle efficacement. Cette plateforme est idéale pour les environnements qui exigent une haute concurrence et une scalabilité, comme c’est souvent le cas avec les gros volumes de données des grandes entreprises.

Pour rappel, Apache Spark c’est :

Ub système de traitement de données ultra-rapide, conçu pour gérer et analyser de grands volumes de données beaucoup plus rapidement que les méthodes traditionnelles basées sur le disque. C’est un outil open-source, ce qui signifie qu’il est accessible gratuitement et peut être modifié par quiconque.

Voici comment il fonctionne simplement : Spark permet de traiter les données en mémoire, plutôt que de les lire et écrire sur un disque à chaque opération. Cela le rend extrêmement rapide pour des calculs complexes sur de grands ensembles de données, par exemple, pour le machine learning ou les analyses en temps réel.

Il peut être utilisé seul ou en combinaison avec d’autres outils de gestion de données comme Hadoop, et il supporte plusieurs langages de programmation, ce qui le rend flexible et accessible à divers développeurs. Spark est particulièrement apprécié dans les domaines nécessitant une analyse rapide des données, comme la finance, le marketing, et la science des données.

Ce cadre offre aussi une intégration avec OneLake, facilitant ainsi la gestion des données sans mouvement significatif de celles-ci, et permet une sécurisation robuste via des politiques de sécurité intégrées.

En conclusion :

Avec Synapse Data Engineering, vous disposez d’une suite puissante pour transformer vos grandes quantités de données en informations précieuses, le tout dans un environnement sécurisé et facilement accessible. C’est l’outil idéal pour les entreprises qui cherchent à optimiser leur architecture de données et à accélérer leur capacité d’analyse.

Pour ceux intéressés par une exploration plus approfondie, je vous encourage à consulter la documentation officielle de Microsoft sur ce lien : Microsoft Fabric Data Engineering.

On se retrouve très vite pour introduire chaque catergorie.

Bienvenue dans le monde de Data Factory dans Microsoft Fabric !

Hello tout le monde !

Aujourd’hui, on plonge dans les profondeurs de Data Factory dans Microsoft Fabric pour démêler ce concept qui peut sembler aussi complexe qu’une bonne bouillabaisse mais qui est essentiel pour gérer nos données comme un chef ! Alors qu’en vrai, y’a rien de méchant, promis.

Qu’est-ce que Data Factory ?

Data Factory, c’est l’outil par excellence dans Microsoft Fabric pour manipuler et transformer les données à partir d’une multitude de sources. Que vous soyez un expert tech ou un passionné de données qui fait ses premiers pas, Data Factory rend l’intégration des données aussi simple que préparer une ratatouille : ingérer, préparer, transformer et déguster les données !

Les fonctionnalités clés : Les Dataflows et les Pipelines

• Les Dataflows : Imaginez que vous avez des ingrédients provenant de partout — une pincée de données d’un entrepôt, un soupçon de données en temps réel. Les dataflows vous permettent de les mixer avec plus de 300 transformations disponibles. C’est un peu comme avoir un robot de cuisine qui prépare tout à votre place, vous permettant de concentrer votre énergie sur la création de plats (rapports) délicieux et personnalisés. Bon il faut quand même choisir les BONS ingrédients sinon c’est pas top niveau goût, en data c’est pareil 🙂
• Les Pipelines : Les pipelines sont les chefs d’orchestre de vos données, orchestrant des flux de travail complexes à travers le cloud. Ils gèrent des volumes énormes de données et automatisent les processus d’extraction, transformation et chargement (ETL).

Cas d’usage qui change la donne

Prenons l’exemple d’une entreprise de vente en ligne. Avec Data Factory, cette entreprise pourrait automatiser le processus de collecte des données de vente à travers différents systèmes (site web, magasins physiques, applications mobiles), les transformer pour obtenir des insights sur les comportements d’achat des clients et enfin, optimiser les stratégies de vente et de marketing en temps réel. Tout cela grâce à des pipelines de données configurés pour rafraîchir les flux de données et pousser les transformations nécessaires à grande échelle.

Pourquoi c’est un game changer ?

Data Factory dans Microsoft Fabric n’est pas juste un outil, c’est une révolution dans la gestion de données. Il rend l’intégration de données rapide, sécurisée et adaptable à tout type de données et de sources. Il démocratise l’accès aux données en permettant à tous, du technicien au décideur, de jouer avec les données comme un enfant avec des Legos, construisant et reconstruisant selon les besoins du marché.

Voilà pour un petit tour d’horizon de Data Factory dans Microsoft Fabric. On a déballé les outils, expliqué leur utilité et même visualisé leur impact avec un exemple concret. Maintenant, c’est à vous de jouer, de mettre la main à la pâte (encore de la bouffe ?), et de transformer vos données en véritables insights stratégiques !

Alors, prêts à transformer vos données aussi facilement que vous tournez une bouillabaisse dans la marmite ? J’en fait peut être un peu trop avec les analogies !

Vous l’aurez compris, Data Factory sera notre ETL dédié dans Microsoft Fabric. Mais vous le verrez plus tard, nous avons d’autres solutions pour aussi de l’ETL. On en viendra aussi à comparer ces différentes solutions !

Rendez-vous pour la suite très rapidement !

Enzo.

Suite de nos articles dédiés à Fabric. Aujourd’hui, nous allons parler de OneLake, qui est selon moi, le vrai game changer de la solution SaaS Microsoft.

Introduction à OneLake

Imaginez un monde où toutes vos données d’entreprise sont stockées dans un unique lac de données, accessible facilement par tous les collaborateurs de votre organisation. Ce n’est plus un rêve, mais une réalité avec OneLake, le OneDrive des données ! (mais vraiment).

💡Qu’est-ce que OneLake ?

OneLake est un lac de données unifié, « offert » (c’est juste inclut par défaut surtout) avec chaque tenant Microsoft Fabric, qui simplifie radicalement la gestion des données pour les entreprises. Comme OneDrive centralise vos fichiers Word, Excel et PowerPoint, OneLake centralise toutes vos données dédiées à l’analyse ou autre.

📊Pourquoi OneLake ?

Avant OneLake, les entreprises avaient tendance à créer plusieurs lacs de données pour différents départements, ce qui compliquait la collaboration et la gestion des données. Ou alors, ils n’avaient pas du tout de solution de stockage.

OneLake élimine ce problème en rassemblant tout dans un seul et même endroit, facilitant ainsi la collaboration et l’accessibilité.

🔗Fonctionnement de OneLake

Chaque locataire de Microsoft Fabric se voit automatiquement attribuer un OneLake. Vous n’avez donc pas à vous soucier de la configuration ou de la gestion de ressources supplémentaires. OneLake est gouverné par défaut, ce qui signifie que tout est sous le contrôle d’un administrateur client, sans créer de goulot d’étranglement central. Et ça, j’ACHETE !!

✒️Collaboration et Gouvernance

À l’intérieur de OneLake, vous pouvez créer divers espaces de travail pour permettre à différentes parties de l’organisation de gérer leurs propres politiques de propriété et d’accès. Chaque espace de travail peut contenir des éléments de données distincts et est associé à une région spécifique, ce qui en fait une solution flexible et personnalisable.

🤖Accéder et utiliser VOS données !

OneLake prend en charge le stockage des données au format delta parquet, ce qui permet leur utilisation avec divers moteurs analytiques sans nécessiter de duplication. Que vous chargiez des données via Spark ou que vous interrogiez des données avec T-SQL, toutes contribuent au même ensemble de données dans OneLake.

🌅Outils et Intégrations

L’infrastructure de OneLake repose sur Azure Data Lake Storage Gen2, ce qui lui permet de supporter tous types de fichiers et de travailler avec les API et SDK ADLS Gen2 existants. Vous pouvez ainsi intégrer sans problème OneLake avec des outils tels qu’Azure Synapse Analytics, Azure Databricks et bien d’autres.

Exploration des données facilitée

Pour les utilisateurs professionnels non techniques, l’Explorateur de fichiers OneLake pour Windows offre une manière simple et intuitive de parcourir, charger, et modifier des données comme vous le feriez avec des fichiers dans OneDrive.

Avantages de OneLake

• Simplicité : Un seul lac de données pour toute l’organisation.
• Efficacité : Une seule copie de données utilisée par plusieurs moteurs analytiques, évitant la duplication.
• Flexibilité : Accès et gestion des données adaptés aux besoins spécifiques de chaque partie de l’organisation.
• Intégration : Compatibilité totale avec les outils existants grâce à l’utilisation d’ADLS Gen2.

Conclusion

OneLake transforme la façon dont les organisations gèrent et accèdent à leurs données. En offrant un point de stockage unique et en simplifiant le processus d’analyse des données, OneLake n’est pas juste un outil mais une révolution dans la gestion des données d’entreprise.

Préparez vous à explorer le monde des données avec une facilité et une efficacité sans précédent avec OneLake, le OneDrive pour vos données !

En somme, OneLake est (selon moi) l’avenir de la gestion des données d’entreprise, rendant les processus plus simples, plus collaboratifs, et incroyablement plus efficaces.

Pour notre premier tips du site, nous allons parler d’un sujet qui me tient à cœur :

La gestion des connexions à vos fichiers Excel (ou d’ailleurs à toutes sources de données).

Ce que je vais vous montrer aujourd’hui est valable pour n’importe quelle source de données et contexte, plus ou moins, je pense.

Pour expliquer tout ça le plus simplement possible, nous allons prendre un cas concret.

Le contexte !

Imaginez, le temps de cet article, que vous êtes le directeur logistique d’une grande entreprise dans le retail. Vous avez besoin de créer un rapport Power BI s’appuyant sur 5 fichiers Excel provenant de votre SharePoint personnel.

Naturellement, pour récupérer le fichier, vous allez chercher le lien de ce dernier depuis SharePoint.

Je vous rappelle la démarche :

• Vous vous rendez sur votre dossier en ligne.
• Sur le fichier > Plus de détails.
• Puis, il suffit de récupérer le chemin d’accès tout en bas.

Rien de plus simple pour le moment.

Vous arrivez sans aucun problème à récupérer vos différents fichiers.

Et vous répétez la même opération pour toutes vos requêtes.

Et là, c’est le drame…!

Votre collègue vous annonce : « Maurice, tes fichiers sur ton SharePoint ne sont pas les bons, tu dois les prendre dans le dossier LOG/DATA/EXPORT » !

La solution ? Vous devez passer sur vos 5 requêtes et modifier manuellement le chemin d’accès à vos fichiers.

C’est chiant, hein ? Oui, complètement.

Mais du coup ? Comment peut-on faire pour éviter ça ?!

La solution (magique)

Une des solutions (si ce n’est l’unique, hormis ne pas utiliser d’Excel ;)) est d’utiliser les paramètres dans Power Query.

MAIS ENZO, C’EST QUOI LES PARAMETRES :

Les paramètres, c’est un peu comme les réglages ajustables sur un jeu vidéo ou une application. Imagine que tu as une machine à voyager dans le temps (ta requête ou ton rapport dans Power BI, par exemple) et que les paramètres sont les coordonnées temporelles (date, lieu) que tu choisis pour chaque voyage. En changeant ces coordonnées, tu modifies ta destination sans avoir à reconstruire la machine. Dans Power BI, les paramètres permettent de personnaliser et de contrôler les données affichées sans modifier la structure de la requête ou du rapport lui-même. Cela rend les analyses plus flexibles et adaptatives à différentes questions ou besoins d’information.

Paramètres de requête M dynamiques dans Power BI Desktop – Power BI | Microsoft Learn

Maintenant que vous avez compris à quoi sert, on va voir comment on peut utiliser tout ça.

La première étape, consiste à créer un paramètre vierge, ça se passe dans Power Query :

Comme vous pouvez le voir, ici on a pas de paramètre existant et un paramètre est toujours constitué de la même manière :

• Un nom : qu’on viendra appeler dans nos requêtes
• Une description : pour les copains qui passeront après vous pour modifier vos travaux
• Un type : pour les données qui y seront stockées
• Valeurs suggérées : pour spécifier des valeurs, listes ou données spécifiques
• Valeur actuelle : ce qui est stocké à l’instant T dans votre paramètre (si vous marquez « ENZO » dans cette case, « ENZO » apparaîtra par défaut dans le paramètre).

Dans notre cas, on veut stocker le chemin d’accès SharePoint de nos fichiers Excel et rappeler ce paramètre dans nos connexions donc on configure le notre comme ça :

Et ça s’arrête là ! Oui oui !

Maintenant, on va devoir réutiliser ce paramètre dans nos connexions :

Quand vous venez créer une nouvelle connexion (Web), il faudra passer en mode avancé pour configurer la connexion de cette manière :

Le résultat dans votre requête, sera le suivant :

Dans votre code « M » pour retrouverez le nom de votre paramètre associé au nom de votre fichier Excel.

Mais du coup, ça sert à quoi au final ?

Si on en revient à notre problématique de base, demain, on vous demande de modifier le dossier à utiliser de vos 5 fichiers Excel (qui utilisent tous votre magnifique paramètre).

Vous devriez faire quoi ? Et bien UNE SEULE ACTION : Modifier votre paramètre pour appeler la bonne URL du dossier !

Au delà d’une astuce, c’est un réelle bonne pratique à appliquer dans votre quotidien ! 🙂

Enzo.