Par Bal Heroor, PDG et directeur chez Mactores.
Les technologies IoT continuent de transformer la façon dont les organisations surveillent, automatisent et contrôlent leurs opérations commerciales. Qui plus est, l'IdO est actuellement prêt à poursuivre sa croissance : Le nombre d'appareils IoT connectés devrait dépasser les 29 milliards d'ici 2030 et les dépenses mondiales liées à l'IoT devraient dépasser les 1,1 trillion de dollars d'ici 2024. Il est donc crucial que les organisations développent de nouveaux modèles commerciaux et des capacités innovantes pour profiter de ces tendances de croissance.
Cependant, à mesure que l'infrastructure IoT d'une organisation continue de s'étendre, les défis liés à la gestion de volumes toujours plus importants de données qui doivent être stockées et catégorisées augmentent également. Les architectes IoT doivent mener la charge pour surmonter ces défis liés aux données.
À cette fin, un lac de données pourrait résoudre les problèmes de stockage et de contrôle de la qualité des données.
L'évolution de la gestion des données
Dans le monde des affaires moderne d'aujourd'hui, des quantités toujours plus importantes de données sont capturées, stockées et analysées à un volume qui peut sembler presque infini. L'avantage de toutes ces données est qu'elles permettent aux organisations de déterminer des décisions commerciales cruciales qui peuvent améliorer leurs offres de produits, atteindre de nouveaux clients et étendre leur empreinte industrielle. Cependant, à mesure que le volume de données a augmenté, la quantité de données non structurées qui ne peuvent pas être facilement classées a également augmenté.
Pendant un certain temps, les entrepôts de données avaient pour principal objectif de collecter et de stocker les données. Cela fonctionnait assez bien lorsque les données étaient structurées, c'est-à-dire qu'elles étaient hautement organisées et formatées pour faciliter la recherche par requête dans une base de données. Mais avec la croissance du big data et de l'IoT, une grande partie des données qui sont maintenant collectées sont dans un format non structuré ou semi-structuré, comme les données des journaux, les flux audio et vidéo, et les mesures des capteurs. Ce type de données représente désormais 80 à 90 % des informations recueillies par une organisation et peut être d'une immense valeur pour obtenir des informations commerciales.
Cependant, en raison de leur mode de fonctionnement structuré et ordonné, les entrepôts de données sont mal adaptés à la tâche de stocker de grandes quantités de données non structurées et semi-structurées à l'échelle. C'est pourquoi l'architecture de lac de données a émergé, permettant de stocker facilement les données dans leur format brut. Mais si le lac de données est sans aucun doute un outil de stockage de données puissant, il présente aussi quelques problèmes qui lui sont propres. Par exemple, la collecte de grands volumes de données brutes peut devenir très désordonnée, ce qui entraîne des problèmes de gouvernance et de confidentialité des données, une complexité technique et une incapacité à effectuer une indexation ou à apporter une quelconque structure à ces données brutes.
Cela a conduit les équipes informatiques à commencer à utiliser une combinaison d'entrepôts de données et de lacs de données, ce qui a résolu bon nombre des problèmes individuels de ces plateformes. Malheureusement, ces efforts d'intégration ont également créé de nouveaux problèmes, tels que des vitesses lentes, une gouvernance des données complexe et des mesures de contrôle de la qualité inefficaces. Ces problèmes allaient persister jusqu'au développement d'un nouveau type de plateforme de données, le data lakehouse.
Qu'est-ce qu'un data lakehouse ?
Le data lakehouse est un développement relativement récent des plateformes de données. Conçu pour répondre aux limites des entrepôts de données et des systèmes de lacs de données, un data lakehouse est une architecture hybride qui combine la flexibilité de stockage du lac de données avec l'efficacité de la gestion et de la gouvernance des données d'un système d'entrepôt de données. En outre, une data lakehouse résout également les problèmes d'intégration liés à l'utilisation conjointe d'un entrepôt de données et d'un système de lac de données.
Pour réaliser tout cela, le data lakehouse présente quelques avancées technologiques. Par exemple, l'architecture est basée sur des couches de métadonnées, qui peuvent être considérées comme des intermédiaires entre les données non structurées et les données qui seront utilisées pour catégoriser ces données. Cela permet de classer et d'indexer les données brutes en données structurées ordonnées grâce à des processus d'ordonnancement tels que les transactions ACID. Parmi les autres caractéristiques d'un data lakehouse, il y a son architecture découplée, qui permet d'avoir des flux de données en temps réel auxquels les outils analytiques peuvent accéder directement pour un traitement des données et une extraction des insights plus efficaces.
Les avantages d'une architecture data lakehouse
Les capacités suivantes d'un data lakehouse peuvent aider les architectes IoT à réduire les complexités liées au traitement de grands volumes de données non structurées, tout en améliorant la vitesse de traitement et en maximisant le retour sur investissement des investissements IoT :
Architecture découplée
Le cœur de l'architecture d'un data lakehouse est sa nature découplée. Cela signifie que les modèles de stockage et de calcul sont séparés, ce qui permet aux utilisateurs d'augmenter ou de réduire facilement leurs ressources de calcul selon leurs besoins sans affecter leurs besoins de stockage. Le résultat est un système plus flexible et optimisé qui peut stocker divers formats de données, comme un lac de données, tout en offrant les capacités de gestion des données d'un entrepôt de données.
Gestion des données améliorée
Avec un entrepôt de données, les utilisateurs peuvent automatiser le processus d'intégration des données, ce qui peut être particulièrement utile lorsqu'il s'agit de données IoT non structurées Par exemple, lorsque les développeurs utilisent une plateforme de lac de données traditionnelle, il peut être difficile d'intégrer de nouvelles ressources de données lorsqu'un ensemble de données post-traitées n'est plus lié à la source de données d'origine. De même, une plateforme d'entrepôt de données peut maintenir un lien entre la source de données d'origine et un actif de données post-traité, mais uniquement lorsque les données sont dans un format structuré.
En utilisant un entrepôt de données, les architectes IoT peuvent surmonter ces limites en déployant des couches de métadonnées supplémentaires et une mise en cache des fichiers qui permet de capturer des informations supplémentaires sur les actifs de données. Cela représente un énorme bond en avant en termes de capacités, car cela permet essentiellement à un utilisateur d'indexer des données brutes non structurées, ce qui n'est pas possible avec un lac de données.
De plus, les data lakehouses permettent aux utilisateurs d'effectuer des flux de données qui ne sont généralement disponibles que par le biais d'un système d'entrepôt de données, comme le versionnement des données, l'audit, l'indexation et l'optimisation des requêtes.
Renforcer la sécurité et les contrôles d'accès
En tant qu'architecte IoT, tu es responsable de la conception d'une plateforme de données qui respecte suffisamment les politiques de sécurité et de gouvernance de ton organisation. Un lac de données te permet d'y parvenir en utilisant des méthodes avancées de contrôle d'accès basé sur des politiques, comme les contrôles d'accès basés sur les attributs (ABAC). Ces méthodes séparent essentiellement les actifs de données entre les consommateurs et les producteurs de données, ce qui permet un niveau élevé de sécurité du système.
L'idée est de restreindre l'accès aux informations sensibles tout en permettant l'accès aux informations en fonction du besoin de savoir grâce au principe du moindre privilège. Le modèle ABAC empêche les accès non autorisés et les fuites de confidentialité en suivant la façon dont les attributs de métadonnées spécifiques d'une charge de données s'appliquent à l'autorisation des permissions pour un utilisateur individuel. Mieux encore, le modèle de contrôle d'accès est suffisamment flexible pour répondre aux besoins de sécurité en constante évolution d'une entreprise en pleine croissance.
Dernières réflexions
Le data lakehouse va probablement devenir de plus en plus populaire car de plus en plus d'organisations reconnaissent la nécessité de surmonter les limites des systèmes de data lake et de data warehouse. Les organisations qui sont en train de mettre à niveau ou d'étendre leur infrastructure IoT vont certainement constater une augmentation du volume de données brutes non structurées qui doivent être stockées et traitées, ce qui n'est tout simplement pas possible avec les anciens systèmes de gestion des données.
En bref, un data lakehouse peut permettre à une organisation de suivre ses besoins en matière de données, et les architectes IoT seront en première ligne pour s'assurer que toute transition se fasse en douceur.
Biographie de l'auteur: Bal Heroor est PDG et directeur chez Mactores et a dirigé plus de 150 transformations d'entreprise pilotées par l'analytique et les technologies de pointe. Son équipe chez Mactores recherche et crée des solutions d'IA, d'AR/VR et d'informatique quantique pour que les entreprises obtiennent un avantage concurrentiel.
