先固定数据与资源预算
在 Apple M4、16 GB 统一内存上，从来源清单、文档划分和分词器开始，固定模型配置与 token 预算。
01 / ORIGIN问题起点
研究目标与实验设计
从约 30M 模型开始，理解每一阶段的输入、产物和评价方法；再根据数据与资源测量，把同一条流程扩展到更大的规模。
这里整理这项研究的出发点、实现路径、当前观察，以及下一步准备回答的问题。
02 / APPROACH实现路径
↘
从随机权重走到后训练
主线依次研究预训练、assistant-only SFT 和带冻结参考模型的 DPO；现成 0.5B 基座的 LoRA 作为另一条应用对照。
让每次迭代可以比较
各阶段保留模型、配置和评测记录，用固定数据、提示与解码设置观察能力变化、退化和运行成本。
03 / OBSERVATIONS & NEXT STEP观察与下一步
→
当前进展与验证计划
已加入全链路互动导读，并在 M4 的 MPS 后端跑通 138,560 参数 tiny 基线：预训练 12 步、SFT 8 步、DPO 8 步，另验证恢复与 CLI 加载。这是自写样本上的工程短跑，不代表语言能力；约 30M 及以上仍需正式数据与资源测量。
04 / A LARGER QUESTION从这个实验继续追问
研究关联与后续问题
每轮迭代都从可检查的反馈出发：分析错误，调整数据或训练方法，再用一致的评测比较。这个过程把持续改进拆成可逐步研究的环节。
接下来要回答的问题
翻开智能手记：什么改变了，又怎样判断？ ↗- 约 30M 模型完成闭环需要多少数据与训练预算？
- 增加模型容量、改变数据和后训练方法，各自带来什么变化？
- 在本机测量结果下，约 100M 与 0.5B 分别适合怎样的实验？
继续阅读原始记录
打开文章 ↗从数据到部署：在 Mac 上规划小模型全链路训练
全链路互动导读
探索训练链路↗