Coupez les coûts de vos pipelines de traitements de données

L’ingénierie de données met en place des pipelines ETL qui automatisent les flux de transformation et de valorisation des données. La multiplication des sources de données, l’augmentation du volume dans le temps, la migration vers l’infonuagique, la demande croissante pour des données en temps quasi-réel et la transformation numérique des organisations sont quelques causes de l’augmentation majeure des coûts de l’ingénierie de données. L’objectif de cet article est d’identifier des éléments pour réduire les coûts, faciliter la maintenance et les opérations, mais aussi pour aligner les investissements en ingénierie de données afin de maximiser la valeur affaires pour les organisations.

• Archiver automatiquement les données anciennes (ne pas confondre avec la suppression des données).
• Structurer les données selon une approche éprouvée de modélisation pour optimiser le stockage et l’exploitation.
• Supprimer les données obsolètes ou sans valeur métier.
• Si un format texte est utilisé, privilégier des formats de colonnes compressées (Parquet, Delta, Iceberg) au lieu de CSV et JSON.
• Différencier stockage « chaud », « tiède » et « froid » de la plateforme, s’il y a lieu, car le coût peut varier.
• Éviter le dédoublement des données, en utilisant la virtualisation lorsque possible et en exploitant les fonctions « CLONE » si la plateforme le permet.

• Isoler les étapes clés du pipeline pour ne pas relancer l’ensemble du pipeline en cas d’échec.
• Automatiser le développement de pipelines de données avec une approche de modules communs pilotés par les métadonnées
• Découper les pipelines en étapes/activités modulaires. Ajouter des conditions afin que les activités s’exécutent seulement lorsque nécessaire.
• Privilégier des pipelines incrémentaux (Change Data Capture (CDC), Change Tracking (CT), watermarking). Le chargement complet d’une source devrait être l’exception.
• Certaines données à faible valeur, à usage unique ou peu volatile pourraient être exclues des traitements, ou traitées différemment. Par exemple, les données existantes qui datent de 10 ans peuvent être pertinentes à conserver, mais il est peut-être superflu de vérifier si elles ont changé.
• Adapter la latence aux besoins réels (toutes les données n’ont pas besoin d’être quasi-temps réel).
• Trouver le bon équilibre entre le parallélisme, la puissance de calcul et le temps de traitement. Il n’y a d’autres choix que les essais et erreurs. La clé est de se mesurer et adapter les paramètres en conséquence. Par exemple, dans certains contextes, d’augmenter la puissance de calcul n’amènera pas de changement significatif sur le temps de traitement.
• Ajuster dynamiquement la puissance de calcul en fonction de la charge de travail afin de réduire les coûts de traitement. Par exemple par augmentation/réduction des Azure SQL vCores utilisés par programmation spécifiquement pour certains traitements plus intenses.

• La dépense en ingénierie de données est variable, pas fixe, elle doit être mesurée.
• Activer les fonctions de surveillance de votre plateforme, du moins le temps que vous compreniez bien les coûts associés à l’usage.
• Mesurer les coûts par pipeline, domaine d’affaires, par cluster, workspace, environnement, etc.
• Identifier les pipelines rarement utilisés mais coûteux.
• Identifier les requêtes coûteuses et les optimiser si possible.
• Supprimer ou réduire la fréquence des pipelines à faible valeur ajoutée.
• Mettre en place un tableau de bord pour rendre visibles toutes les mesures permettant de surveiller les coûts.

• Toujours débuter avec le plus petit (moins couteux) clusters de calcul, et documenter les motifs pour augmenter la capacité
• Interdiction des clusters manuels persistants.
• Désactivation automatique obligatoire des clusters de calcul.
• Mettre en place des quotas et alertes de consommation.
• Identifier un responsable de cette surveillance.

Ces éléments sont des principes de bases qui permettent à l’équipe d’ingénierie d’initier la mise en place d’une vigilance dès le début des travaux. Pour implanter une pratique culturelle de gestion des coûts dans une entreprise, il peut être pertinent de s’informer sur les principes clés et le fonctionnement du FinOps via l’article FinOps: 10 tactiques clés pour optimiser vos investissements infonuagiques.

FinOps est un cadre opérationnel et une pratique culturelle qui vise à maximiser la valeur commerciale du cloud en créant une responsabilité financière partagée entre les équipes techniques, financières et d’affaires. Il permet une prise de décision rapide et basée sur les données grâce à une meilleure visibilité, une optimisation continue et une collaboration organisationnelle autour des coûts et de l’usage du cloud.