Мовна модель отримала назву CraftGPT.
Гравець у Minecraft під ніком Sammyuri, відомий створенням 1Hz процесора в грі, представив новий проєкт - CraftGPT. Це маленька мовна модель, що працює на гігантському комп'ютері, зібраному повністю з редстоуна.
Машина вражає не тільки розмірами, близько 439 мільйонів блоків у сумі, а й функціоналом - вона справді здатна генерувати відповіді на текстові запити, прямо як справжній ChatGPT.
Щоправда, на результат доведеться запастися терпінням - одна репліка моделі обробляється близько двох годин, навіть із прискоренням внутрішньоігрового годинника (тіків) у 40 тисяч разів.
За словами Sammyuri, CraftGPT побудований без командних блоків, виключно на редстоуні. У системі є токенізатори, матричні помножувачі та інші базові компоненти.
Сама мовна модель навчена в Python на датасеті TinyChat, має 5,087 мільйона параметрів, 6 шарів, словник із 1920 токенів і контекстне вікно на 64 токени.
Незважаючи на значні технічні характеристики, розробник визнає, що CraftGPT далекий від реальних LLM. Модель часто йде вбік, будує неграмотні фрази або видає маячню.
Раніше ми розповідали, що гравець у Minecraft побудував комп'ютер, який запускає гру про Маріо. На розробку проєкту в нього пішло близько 2 місяців.