Згідно з публікацією Forbes, Google попередив про нову хвилю кіберзагроз, спрямованих проти користувачів Gmail, спричинених вразливостями у функціях на базі штучного інтелекту.
Дослідники з 0din, групи розслідувань нульового дня Mozilla, продемонстрували, як зловмисники можуть використовувати інструменти підсумовування Google Gemini за допомогою атак швидкого впровадження.
В одному випадку шкідливий електронний лист містив приховані підказки з використанням білого шрифту на білому тлі, які користувач не бачить, але обробляє Gemini. Коли користувач натискає кнопку «підсумувати цей електронний лист», Gemini виконує інструкції зловмисника та додає попередження про фішинг, яке, схоже, надходить від Google.
Ця техніка, відома як непряме впровадження запиту, вбудовує шкідливі команди в невидимі теги HTML, такі як <span>та <div>. Хоча Google випустив заходи щодо пом’якшення ризиків після появи подібних атак у 2024 році, метод залишається життєздатним і продовжує становити ризики.
0din попереджає, що зведення електронних листів Gemini не слід вважати надійними джерелами інформації про безпеку, і закликає до ретельнішого навчання користувачів. Вони радять командам безпеки ізолювати електронні листи, що містять елементи нульової ширини або приховані елементи білого тексту, щоб запобігти ненавмисному виконанню ШІ.
Згідно з 0din, вставки запитів (show injections) – це новий еквівалент макросів електронної пошти, які легко пропустити, а виконання небезпечно ефективне. Доки великі мовні моделі не запропонують кращу ізоляцію контексту, будь-який сторонній текст, який бачить ШІ, по суті, розглядається як виконуваний код.
Навіть звичайні інструменти штучного інтелекту можуть бути використані для фішингу або більш складних кібератак без відома користувача. Google зазначає, що зі зростанням впровадження штучного інтелекту в різних секторах ці малопомітні загрози вимагають термінових загальногалузевих контрзаходів та оновлених засобів захисту користувачів.
Користувачам рекомендується видаляти будь-які електронні листи, у яких у зведенні штучного інтелекту відображаються неочікувані попередження безпеки, оскільки вони можуть бути використані як зброя.
