On-Device GenAI, Захист LLM-агентів та Mobile RPA
Сьогодні основна увага приділяється трьом головним змінам у розробці ШІ: обробці на пристрої, безпеці агентів та мобільній автоматизації.
Apple Core AI Framework
Apple представила Core AI для запуску генеративного ШІ безпосередньо на пристроях Apple. Цей фреймворк використовує Apple Silicon для локальної обробки великих мовних моделей.
Чому це важливо для вас:
- Швидший час відгуку, оскільки дані залишаються на пристрої.
- Вищий рівень приватності, оскільки інформація не надсилається в хмару.
- Менше енергоспоживання для додатків iOS та macOS.
- Висока продуктивність для таких завдань, як резюмування та генерація коду.
Захист команд LLM-агентів
NRT-Defense v0.4.0 надає інструменти для захисту автономних команд ШІ-агентів. Оскільки агенти працюють разом, вони стикаються з новими ризиками безпеки.
Ключові покращення безпеки:
- Захист від ін'єкцій промптів (prompt injection).
- Запобігання витоку даних (data exfiltration).
- Захист від шкідливої взаємодії між агентами.
- Покращена стабільність для фінансового та медичного секторів.
Мобільні ШІ-агенти та RPA
Нові розробки демонструють, як ШІ-агенти можуть автоматизувати мобільні робочі процеси, подібно до роботи роботизованої автоматизації процесів (RPA).
Реальні виклики для мобільних агентів:
- Різні розміри та роздільна здатність екранів.
- Різні версії Android.
- Обробка переривань під час виконання завдань.
- Використання зіставлення шаблонів (template matching) для взаємодії з елементами інтерфейсу.
Створення таких агентів вимагає відходу від моделей, що базуються лише на хмарі, у бік стійкої взаємодії на рівні пристрою.
Додаткова спільнота для навчання: https://t.me/GyaanSetuAi