Ne pas dupliquer les données : le Zero Copy

La plupart des systèmes fonctionnent par téléchargement de données. Vous demandez des informations à un serveur, et le serveur renvoie une charge utile. Vous stockez ensuite ces données dans votre propre système.

Cela crée un problème. Vous vous retrouvez avec des données dupliquées. Vous pouvez résoudre cela en utilisant un principe appelé Zero Copy.

Qu'est-ce que le Zero Copy ?

Le Zero Copy signifie que vous accédez aux données sans les déplacer. Imaginez que vous ouvrez une fenêtre. Vous voyez les données à travers la fenêtre, mais elles restent dans leur lieu d'origine. Vous n'avez pas besoin d'apporter les données chez vous pour les consulter.

Comment ServiceNow utilise cela :

Operations Management nécessite des données provenant de nombreux endroits comme SAP, AWS ou Snowflake. Habituellement, on utilise des pipelines ETL pour déplacer ces données. Cela prend du temps et génère des erreurs.

ServiceNow utilise plutôt des Virtual Data Fabric Tables. Il interroge les données uniquement lorsque vous le demandez. Le système conserve les données en mémoire temporairement. Une fois votre tâche terminée, les données disparaissent.

Les avantages :

• Vous ne dupliquez pas les données. • Vous n'avez pas besoin de synchroniser les données entre les systèmes. • Vous réduisez les risques de sécurité car les données ne résident pas dans un second emplacement.

Les compromis :

• Vitesse : Vous dépendez de la vitesse du réseau. Si la source est lente, vous devez attendre. • Disponibilité : Si le système source tombe en panne, vous ne voyez rien. Vous n'avez pas de sauvegarde locale. • Charge : Chaque requête utilisateur envoie une requête en direct au système source. • Coûts : Les appels API fréquents peuvent devenir coûteux. • Reporting : Vous ne pouvez pas indexer ces données, ce qui rend l'exécution de rapports complexes plus difficile.

Quand utiliser le Zero Copy :

Utilisez-le lorsque le coût du déplacement des données est supérieur au bénéfice de leur stockage.

  1. Données sensibles : Conservez les données PII ou HIPAA à un seul endroit pour réduire les risques.
  2. Besoins en temps réel : Utilisez-le pour le dépannage informatique où les données obsolètes sont inutiles.
  3. Consultations occasionnelles : Utilisez-le pour vérifier un seul chiffre budgétaire au lieu de synchroniser une base de données entière.
  4. Jeux de données massifs : Utilisez-le pour visualiser des résumés de logs volumineux au lieu de déplacer des pétaoctets de données.

Source : https://dev.to/syncrofosatron/dont-repeat-data-zero-copy-1ff0

Communauté d'apprentissage optionnelle : https://t.me/GyaanSetuAi