272 ekspertów wskazało ryzyka. Nikt nie wskazał mechanizmów.
Badanie MIT objęło ankietą 272 globalnych ekspertów. Analizowali oni ryzyka związane z AI. Wyniki są jasne.
18 z 24 obszarów ryzyka AI ma co najmniej 10% szans na katastrofalne skutki w ciągu pięciu lat.
W tym kontekście katastrofa oznacza:
- Ponad milion ofiar śmiertelnych.
- Ponad 100 miliardów dolarów strat.
- Upadek norm demokratycznych.
Największe ryzyka to niebezpieczne możliwości, dynamika konkurencji, broń, centralizacja władzy oraz dezinformacja.
Badanie ujawnia lukę w odpowiedzialności. Ludźmi, którzy cierpią z powodu ryzyk AI, jest społeczeństwo. Ludźmi, którzy mogą te ryzyka naprawić, są programiści i regulatorzy. W innych branżach, takich jak lotnictwo czy energetyka jądrowa, stosujemy obowiązkowe standardy i zasady odpowiedzialności, aby wypełnić tę lukę. W przypadku AI takie mechanizmy jeszcze nie istnieją.
Istnieje głębsza przepaść. Znajduje się ona między badaczami, którzy przewidują awarie, a inżynierami, którzy budują systemy.
Badacze piszą prace naukowe. Inżynierowie czytają wpisy na blogach i benchmarki. Nie mówią tym samym językiem. Inżynier widzi wzrost wydajności. Badacz widzi katastrofalne ryzyko. Między nimi nie ma mostu.
Badanie wymienia ryzyka, ale nie wskazuje na błędy inżynieryjne, które je powodują.
Na przykład:
- Ryzyka wieloagentowe: Brak wspólnych protokołów prowadzi do kolizji systemowych.
- Dynamika konkurencji: Pośpiech w dostarczaniu produktów sprawia, że zespoły pomijają niezależną weryfikację. Zamiast tego stosują autoweryfikację, która jest szybsza, ale niebezpieczna.
- Luki w bezpieczeństwie: Zespoły używają LLM do skanowania kodu, ale pomijają ryzyka związane z konfiguracją i infrastrukturą.
Stabilny system potrzebuje pięciu elementów:
- Narzędzia (model).
- Silnika (deklarowany zamiar).
- Przekładni (kontrakty i CI/CD).
- Jednostki sterującej (niezależna wyrocznia).
- Obudowy (wymuszone granice).
W większości systemów AI brakuje jednostki sterującej i obudowy. Opierają się one na dobrowolnych zabezpieczeniach. Zabezpieczenia te często przestają działać, gdy modele stają się lepsze.
Branża traktuje 10% szansę na katastrofę jako akceptowalne ryzyko. Tak nie jest. Dobrowolne działania programistów nie wystarczą. Konkurencja tworzy bodźce do pomijania kroków związanych z bezpieczeństwem.
Potrzebujemy mechanicznego wymuszania, a nie tylko porad. Musimy zasypać przepaść między badaniami nad ryzykiem a praktyką inżynieryjną, zanim dojdzie do przewidywanych awarii.
Źródło: https://dev.to/bala_paranj_059d338e44e7e/272-experts-named-the-risks-nobody-named-the-mechanisms-4jb
Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi