Чат-бот в Minecraft на чистом редстоуне

Разработчик sammyuri воплотил безумную идею — построил работающую языковую модель внутри Minecraft без единого командного блока. Только редстоун, повторители и факелы. Постройка занимает объем 1020x260x1656 блоков — это примерно как небольшой город в игре. Модель CraftGPT содержит 5 миллионов параметров. Для сравнения — у настоящего ChatGPT их сотни миллиардов, но даже пять миллионов в Minecraft... это же тысячи редстоун-схем, соединенных в нейронную сеть! Архитектура включает 6 слоев с размерностью эмбеддингов 240 и словарем на 1920 токенов. Обучали модель на Python используя датасет TinyChat — простые английские диалоги. Вот тут начинается самое интересное. В обычном Minecraft ответ генерировался бы... 10 лет. Поэтому sammyuri использует MCHPRS — специальный сервер для высокопроизводительного редстоуна. При ускорении в 40 000 раз модель выдает ответ за 2 часа. Все равно долго, но уже реально дождаться. Технически веса квантизированы до 8 бит для экономии места. Хотя эмбеддинги хранятся в 18 битах, а параметры LayerNorm — в 24 битах для точности. Все веса разбиты на сотни файлов, соответствующих отдельным секциям ROM в постройке. Контекстное окно крошечное — всего 64 токена, хватает буквально на пару коротких предложений туда-обратно.