ChatGPT Atlas запровадив режим агента, який дозволяє агенту браузера зі штучним інтелектом переглядати веб-сторінки та виконувати дії безпосередньо. Ця функція підтримує повсякденні робочі процеси, використовуючи той самий контекст, що й користувач-людина. Розширені можливості також підвищують рівень безпеки.
Швидке впровадження виявилося ключовою загрозою для браузерних агентів, спрямованою на поведінку штучного інтелекту, а не на недоліки програмного забезпечення. Шкідливі інструкції, вбудовані в контент, можуть перенаправити агента від запланованої дії користувача. Успішні атаки можуть спровокувати несанкціоновані дії.
Щоб усунути цей ризик, OpenAI розгорнула оновлення безпеки для Atlas. Оновлення включає модель, навчену для атак, та посилені заходи безпеки. Воно було допущено після внутрішнього автоматизованого червоного командного об’єднання.
Автоматизоване червоне командування використовує навчання з підкріпленням для навчання зловмисників на основі штучного інтелекту, які шукають складні експлойти. Симуляції перевіряють, як агенти реагують на введені підказки. Результати використовуються для посилення моделей та захисту на системному рівні.
Очікується, що швидке впровадження залишатиметься довгостроковою проблемою безпеки для агентів ШІ. Постійні інвестиції в тестування, навчання та швидке пом’якшення наслідків спрямовані на зниження реальних ризиків. Мета полягає в досягненні надійної та безпечної допомоги ШІ.
