Реконструювання реальних об'єктів / фото Kamitani et al./bioRxiv.org

Японські дослідники створили нейромережу, яка може реконструювати зображення предметів на основі даних про мозкову активність людей, які на них дивляться.

Така нейромережа успішно реконструює букви, геометричні фігури і навіть зображення тварин і предметів, повідомляється в препринті, опублікованому на bioRxiv, передає N+1.

Можливість "читання" людських думок вабить вчених досить давно, а єдиний реальний спосіб її досягнення - розшифровка патернів активності головного мозку. Використання для цієї мети даних функціональної магнітно-резонансної томографії (фМРТ) є найбільш ефективним: такий метод дозволяє візуалізувати мозкову активність із найбільшою просторовою роздіьною здатністю, тобто локалізувати її з максимальною точністю.

Відео дня

Читайте такожПрограмісти створили нейромережу, яка створює 3D-моделі облич із однієї фотографії

Усі існуючі підходи, однак, мають низку обмежень: наприклад, відновлююча нейромережа може бути обмежена навчальною вибіркою, тобто відтворювати тільки окремий ряд зображень, про особливості яких їй відомо. Крім того, отримані зображення дуже часто нагадують вихідні тільки частково. Розробники з Кіотського університету під керівництвом Юкіасу Камітані представили новий алгоритм такої реконструкції - нейромережу, що працює завдяки методам глибокого навчання.

Така нейромережа працює з допомогою декодера патернів зображення мозкової активності. Вона була навчена на парах "зображення-активність", отриманих в ході експерименту, учасників якого просили розглянути 1200 зображень (кожне зображення було переглянуто кожним з трьох учасників по п'ять разів). Алгоритм реконструкції працює завдяки попіксельній зміні випадкового зображення таким чином, щоб елементи початкового зображення збігалися з його елементами, взятими з мозкової активності.

Крім цього, розробники ввели в систему додаткової нейромережі (DGN або deep generative network - глибока генеративна нейромережа), яка дозволяє зробити властивості отриманого з мозкової активності зображення максимально схожими на властивості початкового зображення (наприклад, колір предмета).

Алгоритм роботи нейромережі / фото Kamitani et al./bioRxiv.org

В результаті нейромережа змогла відтворити зображення геометричних фігур, букв і навіть цілих предметів. Незважаючи на те, що зображення предметів вийшли абстрактними, робота нейромережі, за оцінками системи попіксельної кореляції початкового і одержаного зображень, опинилася на 79,7 відсотків ефективною без додаткової DGN і на 76,1 - з її використанням. Людська оцінка виявилася ще вищою: люди правильно вгадували відтворені зображення (а точніше - визначали пари вихідного і отриманого зображення) в 99,1 відсотках випадків з DGN і в 96,5 - без неї (що означає, що застосування додаткової нейромережі має сенс для поліпшення сприйняття людьми).

Незважаючи на те, що ефективність нової нейромережі виявилася досить високою, робота над її поліпшенням повинна тривати надалі: візуально вона показала кращі результати при реконструюванні простих форм і цифр, але не реальних об'єктів.