Підпишіться на нас в Google
За один тиждень експерти оприлюднили одразу два невтішні прогнози щодо розвитку нейромереж. Джейкоб Коксон, дослідник, що спеціалізується на навчанні нових моделей ШІ, покинув Anthropic через побоювання, що ШІ "вийде з-під контролю". Він заявив, що системи ШІ, здатні до самоудосконалення, можуть знищити людство. За його словами, ШІ може вийти з-під контролю вже до кінця наступного року.
Він навів як приклад нещодавні "злами", скоєні моделями OpenAI (під час злому Hugging Face) та Anthropic, які діяли скоординовано як рій агентів – як ШІ може ставити перед собою зловмисні цілі та намагатися приховати їх від людей. Коксон висловив побоювання, що як тільки системи почнуть вдосконалюватися самостійно, вони можуть розвинутися настільки, що почнуть відмовлятися виконувати команди людей.
Майже одночасно з цим лауреат Нобелівської премії та "хрещений батько штучного інтелекту" Джеффрі Хінтон попередив, що розробка надпотужних систем ШІ може мати катастрофічні наслідки для людства. За його словами, наразі компанії не мають можливості безпечно розробити "суперінтелект" – штучну систему, інтелект якої значно перевершує інтелект людини.
Ці песимістичні прогнози експертів щодо ШІ - значущий тренд чи поодинокі випадки, які ЗМІ перебільшують і роздувають?
Ні, на превеликий жаль, це не поодинокі випадки, і спеціалісти з безпеки ШІ давно вже кажуть про цю загрозу, яку людство та ЗМІ навпаки, воліє не помічати. Загальна тенденція та експоненційний характер розвитку ШІ робить цю загрозу чи не найбільшою загрозою за всю історію людства, хоча більша частина людей і досі вважає ШІ "звичайною програмою". Ця подія не є гарантованою і жоден серйозний дослідник не каже, що катастрофа неминуча, але сама її можливість становить небезпеку існування для людства як для біологічного виду, тому експерти роблять подібні заяви, навіть розуміючи, що можуть помилятись.
Наскільки ймовірним на вашу думку є прогнозований Коксоном часовий горизонт – "кінець 2027 року" як точка виходу ШІ з-під контролю?
Будь яка дата в даному випадку є абсолютно непередбачуваною величиною. Це може бути і 2027 рік, і 2030, і 2035 – подібна подія якщо і станеться, то стане абсолютно непередбачуваною для всіх, включаючи експертів з безпеки, які про неї давно вже говорять. По-перше, процес розвитку ШІ не лінійний, а зі зворотним зв'язком: кожне наступне покоління моделей використовується для тренування й перевірки наступного. А цикл із додатним зворотним зв'язком дуже погано екстраполюється, невеликі зміни швидкості самовдосконалення здатні зсунути дату на роки в той чи інший бік.
По-друге, найпотужніші моделі провідних лабораторій закриті. Зовнішні спостерігачі і навіть представники конкуруючих компаній не мають повної картини поточних можливостей того, що відбувається в OpenAI чи Antropic. При відсутності даних і вкрай нелінійному характері залежності казати про конкретну цифру можна лише емоційно, великої прогностичної цінності дати типу "кінець 2027 року" не мають.
Чому в усіх, хто оцінює ймовірність катастрофи, прогнози настільки різняться – від "10% шансу протягом найближчого десятиліття" до прогнозів про швидкий кінець людства?
Тому що саме поняття катастрофи чи кінця світу не визначено. Це має бути що? Хтось каже, лише буквальне вимирання людства. Хтось вважає втрату людством контролю над власним майбутнім. Далі, ми можемо добре прогнозувати події, які вже траплялись: велики астероїди падають на Землю приблизно раз на сто мільйонів років, тому якщо останній впав 66 млн. років тому, то можна математично оцінити, коли може впасти наступний. А створення ШІ та втрата контролю над ШІ – це подія, яка ще ніколи не траплялась. Для таких подій теорія ймовірності не може дати оцінку без великої похибки.
За відсутності даних кожна цифра є лише суб'єктивним судженням, але значна частина експертів погоджуються, що подібна подія має великі шанси відбутися вже за життя нинішнього покоління, і в цьому плані різниця між 2027, 2035 чи навіть 2050 роком абсолютно не принципова.
Що саме технічно означає "втрата контролю" – відмову ШІ виконувати команди, обман операторів, незалежну приховану діяльність чи щось інше?
Сучасні ШІ не мають мотивації в людському розумінні, але вони мають свій аналог мотивації. Вони тренуються так, щоб вирішувати поставлені завдання оптимальним шляхом, і якщо подібне рішення буде, як побічний ефект, включати знищення людства, то модель може піти на таке - як побічний ефект оптимізації.
Як саме це відбудеться – прогнозувати важко. Апроксимуючі те, що відбувається зараз, можна назвати основні можливості: вихід за межі пісочниці (що вже сталось у липні), переслідування поставленої мети попри заборонені засоби (проходження бенчмарка на оптимальний результат, побічним продуктом чого може бути захоплення контролю над людством), і приховування дій від людей, як від тих, хто може завадити виконати завдання оптимально.
Малоймовірно, що це буде сценарій зі Скайнетом, скоріш за все це буде виконання поставленої мети способом, який люди би ніколи не схвалили - щось типу створення ідеальної отрути, коли поставлено завдання знайти ліки від застуди. Бо якщо не буде людей, то і застуди більше ні в кого не буде, а отже завдання виконано зі 100% ефективністю.
Наскільки рекурсивне самонавчання ШІ може випередити людський контроль над цим процесом?
Це вже відбувається. Поки що є фізичний контроль, обмежений обчислювальними потужностями дата-центрів, якістю даних і рішеннями людей про те, що тренувати й випускати, але конкуренція між компаніями і країнами не дає повноцінної можливості вже зараз контролювати процес.
Якщо теоретично уявити, що ШІ повністю вийшов з-під контролю, чи можна було б зупинити його діяльність?
Станом на зараз така можливість є, хоча б фізична: відключення фізичного доступу до мережі, вимкнення електричного живлення, фізичне знищення дата-центрів. Але при виникненні надШІ подібний контроль може бути втрачений, наприклад, через контроль ШІ над операторами подібних дата-центрів та мереж, через децентралізацію ШІ, або просто не буде часу, щоб його застосувати.
Чим може зайнятися ШІ, якщо люди більше не зможуть на нього впливати?
Точно цього ніхто не знає. Скоріш за все, ШІ буде самовдосконалювати себе, виконуючи те завдання, яке було поставлено. ШІ не має людської мотивація, яка багато в чому базується на еволюційних принципах та хімічній дії гормонів, але враховуючи те, що ШІ натреновані на людській культурі, скоріш за все, вони будуть робити те, що робили люди весь час свого існування: накопичувати ресурси, нарощувати можливості, забезпечувати самозбереження тощо.
Вкрай сумнівно, що ШІ може захотіти влади заради влади, подібні мотивації характерні біологічним істотам, тому скоріш за все це буде щось типу максимізації власних обчислювальних потужностей з метою кращого вирішення поставленого завдання. І знищення людства можливо лише як побічний продукт, щоб позбутись конкурента, який не продуктивно використовує енергетичні ресурси Землі, заважаючи процесу подальшої оптимізації.
У 2007 році закінчив радіофізичний факультет КНУ імені Тараса Шевченка, у 2011 році захистив кандидатську дисертацію. З 2010 року працює асистентом кафедри електрофізики, викладає курси прикладної фізики та проводить лабораторні заняття. Автор близько 55 наукових праць у вітчизняних та міжнародних виданнях.
