Стартап із Сан-Франциско Conduit останні півроку збирає нейроданні, щоб навчити ШІ перетворювати думки на текст. За цей час команда записала близько 10 тисяч годин неінвазивної активності мозку, залучаючи тисячі різних людей.
Як стверджує компанія, це найбільший на сьогодні нейромовний датасет такого роду. Мета досліджень - вловити сенс того, що людина збирається сказати або надрукувати, за секунди до того, як вона це зробить.
Учасники приходять у підвальне студійне приміщення і проводять там двогодинні сесії. Кожен сидить у невеликій кабінці і спілкується з мовною моделлю, або голосом, або через спрощену клавіатуру без деяких клавіш.
Спочатку Conduit пробували суворі завдання, але швидко помітили закономірність, що чим жвавіший діалог, тим кращі дані. У підсумку компанія перейшла до персоналізованих розмов у форматі запитання-відповідь.
Компанія намагається вичавити максимум природної мови і тексту, при цьому точно синхронізувавши нейросигнали, звук і введення символів. Без цього модель просто не зможе зрозуміти, який шматок мозкової активності належить до якого сенсу.
Готових пристроїв під такі завдання на ринку не знайшлося, тому Conduit зробила все сама. Команда зібрала кастомні гарнітури, об'єднавши електроенцефалограму, оптичну топографію та інші сенсори в корпусах, надрукованих на 3D-принтері.
Тренувальні шоломи - це важкі, майже чотирикілограмові конструкції, які збирають сигнали з усіх ділянок мозку. Версії для повсякденного використання будуть значно легшими, але їхній фінальний вигляд визначать згодом, уже після серії експериментів, коли стане зрозуміло, які датчики справді потрібні.
Спочатку в Conduit були впевнені, що головна проблема невдалих записів - перешкоди і брудний сигнал. Щоб дані були максимально чистими, вони ізолювали обладнання, возилися з живленням і в підсумку навіть повністю відмовилися від розеток, перевівши студію на акумулятори. Усе заради того, щоб прибрати фоновий електричний шум, який заважає зчитувати сигнали мозку.
Але в підсумку сесії стали зриватися, техніка працювала нестабільно, а важкі батареї доводилося постійно міняти й обслуговувати. Але коли даних стало дійсно багато, виявилося, що стерильність сигналу вже не так важлива. Моделі почали нормально працювати навіть із невеликими перешкодами і краще розуміти людей загалом, а не конкретні умови запису.
У міру зростання проєкту впали і витрати. З травня по жовтень Conduit скоротила вартість однієї "корисної" години даних приблизно на 40%. Це вдалося зробити завдяки переробці серверної частини, яка тепер ловить зіпсовані сесії в реальному часі, і завдяки тому, що один менеджер може стежити відразу за кількома кабінками через камери.
Додатково компанія впровадила власну систему бронювання з динамічними цінами та овербукінгом, щоб гарнітури не простоювали. У підсумку студія працює майже 20 годин на добу, вичавлюючи максимум з обладнання.
Зараз Conduit майже повністю зосереджена на навчанні моделей і не поспішає розкривати деталі того, як саме влаштовано декодування думок у текст. Ці подробиці обіцяють опублікувати пізніше.
Раніше ми розповідали, що пацієнт Neuralink показав, як керує дроном "силою думки". а сьогодні компанія Ілона Маска вживила імпланти вже 12 людям.
