Lokalnie czy w chmurze: Obciążenie musi na to zasłużyć

Uczenie maszynowe bywa chaotyczne.

Uruchamiasz zadanie na swojej maszynie i kończy się błędem. Sprawdzasz kod. Sprawdzasz dane. Spędzasz godziny na debugowaniu prostego błędu w preprocessingu.

To mało efektowna część pracy. To etap, na którym nie wiesz nawet, czy Twój pomysł w ogóle działa.

Wielu ludzi spiera się o lokalny sprzęt kontra moc obliczeniową w chmurze. Analizują arkusze kalkulacyjne i porównują koszty. Porównują cenę stacji roboczej z godzinową stawką za GPU w chmurze.

To błędne podejście.

Prawdziwa debata dotyczy niepewności.

Wczesne prace nad ML są pełne niepewności. Zmagasz się z:

  • Uszkodzonymi zależnościami
  • Błędnymi kształtami tensorów
  • Potrzebą zmiany kształtu danych
  • Błędami środowiska

Jeśli korzystasz z chmury na tym etapie, płacisz za swoje zagubienie. Każdy błąd kosztuje pieniądze. Każda godzina spędzona na debugowaniu komunikatu o błędzie to godzina, za którą płacisz. Chmura nadaje Twojemu zagubieniu szybszy napęd.

Lokalny sprzęt służy innemu celowi. To miejsce, gdzie niepewność jest tania. Stacja robocza pozwala testować małe modele i weryfikować założenia bez tykającego licznika. Pozwala ponosić porażki po cichu i za darmo.

Chmura staje się użyteczna, gdy obciążenie dojrzewa.

Korzystaj z chmury, gdy:

  • Twój kontener jest stabilny
  • Twój zbiór danych jest gotowy
  • Profil zużycia pamięci jest przewidywalny
  • Potrzebujesz ogromnej skali

Moc obliczeniowa w chmurze służy do realizacji. Lokalna moc służy do odkryć.

Profesjonalizm nie polega na używaniu największej maszyny. Polega na wiedzy, kiedy Twoja praca jest gotowa, by opuścić Twoje biurko.

Jeśli wciąż odkrywasz, na czym polega zadanie, zostań lokalnie. Gdy już wiesz, co masz zrobić i potrzebujesz, aby stało się to szybciej, przenieś się do chmury.

Nie używaj chmury, aby owijać niejasne eksperymenty w drogą infrastrukturę. Poczekaj, aż praca zasłuży na swoje miejsce.

Źródło: https://dev.to/lareleem/local-or-not-the-workload-has-to-earn-the-cloud-2boe

Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi