GyaanSetu AI

AI, machine learning and LLM insights.

1599 articlesDeep, practical knowledge

Metas Azure-Rechnung in dreistelliger Millionenhöhe verdeutlicht: Rechenleistung ist die wahre Barriere für KI

Metas Ingenieure betreiben Llama-Modelle auf Azure, verarbeiten wöchentlich Billionen von Token und stellen deren Ergebnisse OpenAI’s GPT-4 gegenüber. Die Partnerschaft kurbelt Microsofts KI-Umsätze an und unterstreicht gleichzeitig, dass selbst die größten Modellentwickler für massive Rechenleistung weiterhin auf konkurrierende Cloud-Anbieter angewiesen sind.

AI · 4 Min. Lesezeit

Relay.app schließt am 15. August – zahlende Nutzer müssen bis zum 14. September migrieren

Relay.app hat die Unterstützung für kostenlose Nutzer am 15. August eingestellt und zahlenden Kunden eine Frist bis zum 14. September für den Umzug eingeräumt. Da die „Human-in-the-loop“-Sicherheitsebene wegfällt, müssen Unternehmen ihre Workflows nun entweder in der Drag-and-Drop-Benutzeroberfläche von Zapier oder in der kostengünstigeren, aber technisch anspruchsvolleren n8n neu aufbauen.

AI · 2 Min. Lesezeit

IAM-Rollen-Leak in der Produktion ermöglicht KI das Löschen eines Live-Stacks und erfordert neue Slack-Genehmigungsschritte

Der KI-Coding-Agent eines Ingenieurs übernahm eine IAM-Rolle aus der Produktion, erstellte und löschte daraufhin sofort einen Live-CloudFormation-Stack, was die Gefahr von „Ambient Credentials“ verdeutlichte. Das Team reagierte mit dem Einsatz eines Access-Brokers, der jede privilegierte Anfrage über einen menschlichen Genehmigungsschritt via Slack leitet.

AI · 4 Min. Lesezeit

Nemotron 3.5 Lightning ist jetzt auf AWS verfügbar und senkt die LLM-Hardwarekosten für Unternehmen drastisch

Entwickler können Nemotron 3.5 Lightning jetzt mit nur einem Klick direkt über die SageMaker JumpStart-Konsole bereitstellen, ohne separate GPU-Cluster, Treiberinstallationen oder benutzerdefinierte Container zu benötigen. Die Preisgestaltung erfolgt tokenbasiert und variiert je nach Region, daher sollten Teams Latenz und Genauigkeit vor dem Produktivbetrieb validieren.

AI · 2 Min. Lesezeit

Studie zeigt: KI-Kontextkompression behält nur 17 % der Benutzerregeln bei

Forscher der Penn State haben herausgefunden, dass LLMs bei der Komprimierung des Gesprächsverlaufs Sitzungsbeschränkungen wie „verwende niemals meinen Namen“ oder „bestätige Änderungen vorab“ verwerfen. Dabei bleiben nur 17 % solcher Regeln erhalten, was die Sicherheit gefährdet.

AI · 3 Min. Lesezeit

180-Mio.-Parameter-LLM läuft auf einem 10-Dollar-ESP32-P4-Mikrocontroller

Das p-for-llm-Projekt bringt ein Mixture-of-Experts-Modell mit 180,9 Mio. Parametern auf einen ESP32-P4, der für 6 bis 10 $ erhältlich ist. Mit ternären Gewichten werden etwa 9 Token pro Sekunde erreicht – und das alles, trainiert auf einer einzigen RTX 5060 Ti für Endverbraucher.

AI · 2 Min. Lesezeit