Підпишіться на нас в Google
Автономний ШІ-агент OpenClaw на базі Claude зміг самостійно виявити вразливість на сайті австралійського спортзалу, зламав його та скасував чуже бронювання заради господаря-користувача. Про незвичайний випадок кібератаки розповіли в ABC News.
Користувач, на ім’я Ендрю ніяк не міг потрапити на популярне ранкове заняття, на яке завжди швидко розбирають місця, тому він попросив ШІ розібратися з цим питанням. Claude знайшов одразу дві вразливості в API системи бронювання.
Перша дозволяла записуватися на заняття на декілька тижнів і місяців уперед, обходячи обмеження терміну. А за допомогою другої можна було видаляти людей з черги на запис, щоб просунути власника вище. Коли Ендрю запитав ШІ, чи можна піднятися в списку очікування, агент вирішив перевірити це й скасував бронювання людини, яка стояла в черзі першою. Чоловік у підсумку потрапив у потрібний список без очікування.
Коли ШІ повідомив Ендрю про те, що скасував чужу бронь, користувач був шокований й попросив повернути людину назад. Це виявилося неможливим: "Погані новини: я не можу повернути людину, яку викинули з черги, назад". Після цього Ендрю попросив агента ШІ повідомити розробникам системи бронювання про виявлену вразливість.
Як зазначають у ABC News, це перший відомий випадок в Австралії, коли ШІ-агент самостійно виявив і використав вразливість реального сервісу. Ще більш показово, що користувач не просив ШІ видаляти кого-небудь з черги. Агент особисто вирішив, що такий крок допоможе виконати поставлене завдання, і скористався виявленою вразливістю.
У перспективі така автономність ШІ може становити серйозну небезпеку. Один із відомих філософських уявних експериментів особливо наочно ілюструє цю проблему: якщо надати потужному ШІ необмежені ресурси і доручити зробити всіх людей на планеті щасливими, він може просто знищити всіх, хто не відчуває себе щасливим. Формально – завдання буде виконано.
Раніше компанія Anthropic, яка створила сімейство мовних моделей Claude, закликала техгігантів укласти угоду та уповільнити розвиток ШІ. Найновіші моделі штучного інтелекту наблизилися до етапу рекурсивного саморозвитку, що може становити загрозу для всього людства.
Нове дослідження показало, що офісні працівники перетворюються на "нянь" для штучного інтелекту. Працівники витрачають понад 6 годин на тиждень на нагляд за ШІ, що викликає втому та роздратування.
