围观MC红石手搓语言模型

https://youtu.be/VaeI9YgE1o8?si=tGoNx-XGG5fprokt
我用《Minecraft》的红石系统构建了一个 ChatGPT！
简介：
我在《Minecraft》中构建了一个小型语言模型，完全没有使用命令方块或数据包！
这个模型拥有 5,087,280 个参数，使用 Python 在一个包含基础英文对话的 TinyChat 数据集上进行训练。它的嵌入维度为 240，词汇量为1920 个 token，由 6 层组成。上下文窗口大小为 64 个 token，足以处理非常简短的对话。大多数权重被量化为 8 位，但嵌入层和 LayerNorm 的权重分别以 18 位和 24 位存储。量化后的权重被拆分成数百个文件，对应构建中各个 ROM 区块。
整个构建占据了 1020×260×1656 方块的空间。由于体积巨大，使用了 Distant Horizons 模组来拍摄整个构建的画面，这导致远处的红石组件在渲染时会呈现较低的细节水平，看起来有些奇怪。
在使用 MCHPRS（Minecraft 高性能红石服务器）将 tick 速率提升至约 40,000 倍后，它可以在大约 2 小时内生成一个回复。