从数据到部署:在 Mac 上规划小模型全链路训练
从数据与分词器出发,以约 30M 模型规划预训练、SFT、DPO、评测与部署,逐步探索更大的模型。
- Apple M4 / 16 GB 统一内存
- 数据 → 分词 → 随机初始化预训练 → SFT → DPO → 评测 → 部署
- 约 30M 起步,约 100M 进阶;0.5B 在资源测量后决定
这里专门收录从零复现的工程代表作与实验案例(每个案例均包含问题定义、关键指标与开源代码实现)。若你想阅读体系化的长篇研究与理论综述,请前往「书稿与专著」或「智能路线」。
从本地 1B 语言模型全链路训练、AlphaZero 自我对弈五子棋,到不完全信息博弈 CFR 与因果效应推断。每个案例都始于一个可证伪的工程问题。
从数据与分词器出发,以约 30M 模型规划预训练、SFT、DPO、评测与部署,逐步探索更大的模型。
把策略价值网络、PUCT MCTS、自我对弈和训练回放连接成一个 AlphaZero 风格的学习循环。
用模拟优惠券数据比较处理效应估计方法,并延伸到 uplift modeling、因果图发现与敏感性分析。
从 Kuhn Poker 的递归 CFR 与后悔匹配出发,理解不完全信息博弈中的策略更新。
将散落的工程实现整编为三部体系化专著:《何谓智能:20 条路线专著》、《从零锻造语言模型七卷本》与《果蝇全脑连接组计算实证》。
进入专著书架 ↗INTERACTIVE LAB · ESSAYS & SANDBOXES在浏览器本地直接操作 Strandbeest 风吹动力兽连杆、Transformer 五幕前向传播、RoPE 复平面日晷、Kuhn Poker CFR 与 DPO 古德哈特前沿。
打开交互实验室 ↗CONCEPTUAL ATLAS · 20 PARADIGMS跨越行为主义、计算学习、自由能原理、具身动力学与自创生的全景思想地图,每条路线均配备专属 60fps 认知透镜。
探索 20 条智能路线 ↗