Nie powielaj danych: Zero Copy

Większość systemów działa poprzez pobieranie danych. Prosisz serwer o informacje, a serwer przesyła payload. Następnie przechowujesz te dane we własnym systemie.

Prowadzi to do problemu – kończysz z duplikującymi się danymi. Możesz to rozwiązać, stosując zasadę zwaną Zero Copy.

Co to jest Zero Copy?

Zero Copy oznacza dostęp do danych bez ich przemieszczania. Wyobraź sobie to jako otwieranie okna. Widzisz dane przez okno, ale pozostają one w swoim oryginalnym miejscu. Nie musisz przenosić danych do swojego domu, aby je zobaczyć.

Jak ServiceNow wykorzystuje to rozwiązanie:

Operations Management wymaga danych z wielu miejsc, takich jak SAP, AWS czy Snowflake. Zazwyczaj używa się potoków ETL do przesyłania tych danych. Zajmuje to czas i generuje błędy.

ServiceNow wykorzystuje zamiast tego Virtual Data Fabric Tables. System odpytuje dane tylko wtedy, gdy o nie poprosisz. Dane są tymczasowo przechowywane w pamięci. Gdy skończysz zadanie, dane znikają.

Korzyści:

• Nie powielasz danych. • Nie musisz synchronizować danych między systemami. • Zmniejszasz ryzyko związane z bezpieczeństwem, ponieważ dane nie znajdują się w drugim miejscu.

Wady i ograniczenia:

• Szybkość: Zależysz od prędkości sieci. Jeśli źródło jest wolne, musisz czekać. • Dostępność (Uptime): Jeśli system źródłowy ulegnie awarii, nic nie zobaczysz. Nie masz lokalnej kopii zapasowej. • Obciążenie: Każde zapytanie użytkownika wysyła zapytanie na żywo do systemu źródłowego. • Koszty: Częste wywołania API mogą stać się kosztowne. • Raportowanie: Nie można indeksować tych danych, więc generowanie złożonych raportów jest trudniejsze.

Kiedy stosować Zero Copy:

Stosuj je wtedy, gdy przenoszenie danych kosztuje więcej niż korzyści z ich przechowywania.

  1. Dane wrażliwe: Przechowuj dane PII lub HIPAA w jednym miejscu, aby zmniejszyć ryzyko.
  2. Potrzeby czasu rzeczywistego: Używaj go do rozwiązywania problemów IT, gdzie nieaktualne dane są bezużyteczne.
  3. Okazjonalne sprawdzenia: Używaj go do sprawdzenia pojedynczej kwoty budżetu zamiast synchronizować całą bazę danych.
  4. Ogromne zbiory danych: Używaj go do przeglądania podsumowań ogromnych logów zamiast przesyłania petabajtów danych.

Źródło: https://dev.to/syncrofosatron/dont-repeat-data-zero-copy-1ff0

Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi