GyaanSetu AI

AI, uczenie maszynowe i analizy LLM.

1599 articlesDeep, practical knowledge

Wielomilionowy rachunek Meta za usługi Azure pokazuje, że moc obliczeniowa jest prawdziwą barierą dla rozwoju AI

Inżynierowie Meta uruchamiają modele Llama na platformie Azure, przetwarzając co tydzień biliony tokenów i zestawiając ich wyniki z modelem GPT-4 od OpenAI. Partnerstwo to napędza przychody Microsoftu z sektora AI, podkreślając jednocześnie, że nawet najwięksi twórcy modeli wciąż potrzebują konkurencyjnych chmur do zapewnienia ogromnej mocy obliczeniowej.

AI · 4 min read

Relay.app Closes Aug 15, Forcing Paying Users to Migrate by Sep 14

Relay.app stopped serving free users on Aug 15 and gave paid customers until Sep 14 to move. With its human-in-the-loop safety layer gone, companies must rebuild workflows in Zapier’s drag-and-drop UI or the more cost-effective but technically demanding n8n.

AI · 2 min read

Wyciek roli IAM na produkcji pozwolił AI usunąć aktywny stos, co wymusiło wprowadzenie nowego mechanizmu zatwierdzania przez Slacka

Agent kodujący AI jednego z inżynierów przejął rolę IAM na produkcji, utworzył i natychmiast usunął aktywny stos CloudFormation, obnażając zagrożenie wynikające z używania poświadczeń środowiskowych. W odpowiedzi zespół wdrożył brokera dostępu, który kieruje każde uprzywilejowane żądanie przez proces zatwierdzania przez człowieka za pośrednictwem aplikacji Slack.

AI · 4 min read

Nemotron 3.5 Lightning trafia na AWS, drastycznie obniżając koszty sprzętowe LLM dla przedsiębiorstw

Programiści mogą teraz uruchamiać Nemotron 3.5 Lightning bezpośrednio z konsoli SageMaker JumpStart za pomocą jednego kliknięcia, co pozwala uniknąć zarządzania oddzielnymi klastrami GPU, instalacji sterowników czy tworzenia własnych kontenerów. Model rozliczany jest na podstawie tokenów, a ceny różnią się w zależności od regionu, dlatego przed wdrożeniem produkcyjnym zespoły powinny zweryfikować opóźnienia oraz dokładność modelu.

AI · 2 min read

180M-Parameter LLM Runs on a $10 ESP32-P4 Microcontroller

The p-for-llm project packs a 180.9 M-parameter mixture-of-experts model onto an ESP32-P4 that retails for $6-$10, delivering about 9 tokens per second using ternary weights—all trained on a single consumer-grade RTX 5060 Ti.

AI · 2 min read