从数据到部署:在 Mac 上规划小模型全链路训练
以约 30M 模型建立从数据、分词、随机初始化预训练到 SFT、DPO、评测和部署的完整闭环,再依据实测逐步扩展至约 100M 与 0.5B。
没有匹配的笔记,试试其他关键词或筛选条件。
以约 30M 模型建立从数据、分词、随机初始化预训练到 SFT、DPO、评测和部署的完整闭环,再依据实测逐步扩展至约 100M 与 0.5B。
两个独立求解器(MuJoCo 与 K2)、E0–E3 证据分级、起步风速随尺度的 30 格实验,以及一系列诚实的负面结果:销轴摩擦如何把起步风速改变 2.59 倍、为什么运动学粗筛不能用来排序、为什么稳健优化的胜负会翻面。
大模型训练研究笔记第七卷之六:把数据、运行、评测与结论连起来,区分失败和反证,用可比较的记录决定下一步实验。
大模型训练研究笔记第七卷之五:从同一条请求出发,检查输入编码、权重转换、生成设置和结果解析,用分层回归定位交付差异。
大模型训练研究笔记第七卷之四:区分逐位一致与结论复现,用动量更新检查权重恢复的局限,并梳理精度、并行与数据游标。
大模型训练研究笔记第七卷之三:分清有效输入与监督目标、近似 FLOPs 与实测耗时、模型权重与训练显存,并核算完整实验成本。
大模型训练研究笔记第七卷之二:区分任务正确与偏好评价,检查污染、评审顺序、平局口径和统计不确定性。
大模型训练研究笔记第七卷之一:用恢复样本训练设计对照,区分预算口径、交互作用与随机性,保留失败运行和结论边界。
大模型训练研究笔记第六卷之六:区分单次成功、至少一次成功和连续可靠完成,结合约束、超时、成本与独立环境报告工具模型表现。
大模型训练研究笔记第六卷之五:从错误库存调用出发,区分重试、上下文反思和参数训练,说明恢复样本的监督范围与成功筛选的偏差。
大模型训练研究笔记第六卷之四:用库存缓存残留说明跨任务污染,区分环境随机性、模型采样与日志重放,建立可复查的评测实例。
大模型训练研究笔记第六卷之三:用库存查询解释回报与信用分配,推导调用成本和过程奖励如何改变目标,并区分模型错误与环境故障。
大模型训练研究笔记第六卷之二:把库存交互拆成可监督的决策,检查聊天模板、损失范围和条件分支,区分离线预测与实际执行。
大模型训练研究笔记第六卷之一:用库存查询解释工具定义、调用参数、执行结果和最终回答,区分模型动作与环境观察,并用反例检查轨迹是否可信。
大模型训练研究笔记第五卷之六:用配对结果与 pass@k 算例拆开采样和训练收益,分析奖励、熵、成本与泛化边界,形成可复核的训练结论。
大模型训练研究笔记第五卷之五:手算组内归一化优势,分析全对全错、标准差约定、生成预算和长度归一化,区分原始 GRPO 与固定版本训练器选项。
大模型训练研究笔记第五卷之四:手算 PPO-Clip 的正负优势分支,区分旧策略与参考模型,解释 GAE、终止边界和裁剪不保证硬约束的原因。
大模型训练研究笔记第五卷之三:手算四候选 softmax 策略的梯度,推导奖励加权更新与 baseline,说明采样分布、停止梯度和长度归一化的边界。
大模型训练研究笔记第五卷之二:从一个最小整数任务写出可运行检查器,用反例说明格式奖励、最终答案、代码测试与过程评分各自的覆盖范围。
大模型训练研究笔记第五卷之一:用有唯一正确答案的整数任务,解释状态、动作、轨迹、终局奖励和期望收益,区分增加采样、筛选答案与更新模型。
真实连线没测出优势:回顾八条线,说明能说和不能说的结论、可信度、教训,以及项目留下了什么。
十二种在这个项目里真实出现过的“自己骗自己”的做法,以及它们怎样被审查、全局多重比较、重新实现和文献核对发现。
把 PAM/PPL1 簇划分和多巴胺时序规则放进学习器:时序现象复现,样本效率不优于原规则,持续学习有边缘优势但不能归因到隔间化,觅食里没有优势。
用 MaleCNS、FlyWire 和 hemibrain 三只果蝇的五个半球做教师和学生:另一只果蝇的连线比随机好一点,与只保留嗅小球输入总量的对照相当。
非循环的阳性对照能检出连线实例的作用,教师只共享统计类别时检不出;自然气味(DoOR)的类别分类和近邻保留上没有测出真实连线的表示优势。
旅行商三轮:学习器相对蚁群的收益都不超过 0.5 个百分点,其中两轮的设计测不出连线效应,所以结论是没有证据,不是没有用。
用进化调学习规则的 5 个参数:第一次进化被遗忘速率的编码卡在平坦处,修正起点后重跑,提升从 +4 到 +7 变成 +14 到 +21。
一篇发表的仿果蝇持续学习方法在公平比较下被免回放的 SLDA 超过,论文式稠密对照的大部分稀疏优势来自对照本身。
蘑菇体学习器在觅食场里会学习,但随机稀疏连线比真实连线更好;果蝇群里共享信息越多越好,聚集有拥挤成本。
预先登记、哈希冻结和无上下文的子 agent 审查怎样改掉了项目里的一部分结论,以及哪些做法可以直接拿走。
把真实的果蝇蘑菇体回路(65 个嗅小球、2045 个 Kenyon 细胞、49 个输出神经元)与几种对照学习器放进同一个比较框架,说明学习规则、设计理由与对照臂。
大模型训练研究笔记第四卷之六:用同一组偏好对构造长度与正确率背离的算例,说明奖励过度优化与评审偏差为何让偏好分与任务正确性分离,并给出分开报告偏好胜率与独立正确率的做法。
大模型训练研究笔记第四卷之五:比较固定偏好池上的 DPO 与在线按当前策略采样的更新,说明直接比较覆盖与概率变化的差别、分布漂移、采样预算与校验成本,并指出在线并不自动更好。
大模型训练研究笔记第四卷之四:从 KL 约束的奖励最大化推出偏好对上的闭式目标,手算二元词表上的损失与梯度,说明参考策略、序列概率与 beta 各自控制什么,并列出已知失效模式。
大模型训练研究笔记第四卷之三:手算 Bradley–Terry 偏好概率与排序损失,解释奖励分数的相对意义、平移不变性、校准和分布外评价。
大模型训练研究笔记第四卷之二:把 chosen/rejected 还原为有条件的比较,检查共同提示、候选来源、长度与位置偏差、平局、来源划分和截断后的标签有效性。
大模型训练研究笔记第四卷之一:从解释实验结果的任务区分示范、比较、评分和规则反馈,明确偏好标准、平局与分歧,避免把更受欢迎等同于事实正确。
大模型训练研究笔记第三卷之六:为结构化提取设计分层评价,检查缺失与补写、配对收益、来源独立和能力退化,区分验证损失、规则检查与模型评审。
大模型训练研究笔记第三卷之五:手算低秩更新与参数量,区分 LoRA、全参数和 QLoRA 的资源组成,说明初始化、目标层、合并与公平比较的边界。
大模型训练研究笔记第三卷之四:围绕结构化提取建立数据覆盖表,区分答案正确、格式通过与材料支持,设计合成数据审核、来源分组和可比较的数据实验。
大模型训练研究笔记第三卷之三:逐位置检查 assistant-only loss,解释首个回答 token、结束标记、多轮监督、变长加权与截断,并用小例子验证标签。
大模型训练研究笔记第三卷之二:把结构化提取任务写成可检查的消息,区分角色、模板和 token 序列,处理多轮历史、结束标记、截断与数据来源。
大模型训练研究笔记第三卷之一:用实验记录信息提取解释 SFT 怎样改变输出行为,区分训练目标、任务定义和评价,并设计提示基线与微调对照。
大模型训练研究笔记第二卷之六:把分词、目标、模型和 batch 串成可验证的实验,区分工程冒烟、小样本拟合、验证改善与任务能力,并检查训练恢复和成本口径。
大模型训练研究笔记第二卷之五:从一次参数更新理解学习率与 AdamW,区分梯度累积、梯度裁剪和混合精度的作用,并建立训练异常的排查顺序。
大模型训练研究笔记第二卷之四:用两篇短文检查 padding、packing、EOS、attention mask 和 loss mask,解释有效 token 计数与梯度累积的加权方式。
大模型训练研究笔记第二卷之三:沿着一条短序列追踪张量形状,手算注意力加权,解释因果遮罩、位置编码、残差与输出层各自的作用。
大模型训练研究笔记第二卷之二:逐位置检查下一个 token 的预测,用小词表手算交叉熵,解释因果约束、标签错位、有效位置平均与困惑度的边界。
大模型训练研究笔记第二卷之一:从一个可手算的 BPE 例子理解分词,再检查中文切分、特殊 token、词表兼容性与训练成本。
大模型训练研究笔记第一卷之六:从训练结果变化却查不出原因的问题出发,把来源、处理、划分和读取记录组织成可以检查与重建的数据版本。
大模型训练研究笔记第一卷之五:用中英文各抽一半的例子,解释文档比例、token 比例、重复次数和实际训练用量为什么不同。
大模型训练研究笔记第一卷之四:从同文转载讲到精确指纹、MinHash 和 LSH,再说明怎样分组、选代表,以及避免测试题混进训练。
大模型训练研究笔记第一卷之三:从教程、API 文档和论坛的取舍出发,讲清参考分类、教育评分、困惑度和重采样各自在判断什么。
大模型训练研究笔记第一卷之二:用一张技术网页解释正文抽取、格式处理、语言识别和规则过滤,看看清洗为什么会误删,以及怎样比较一次改动。
大模型训练研究笔记第一卷之一:从中文技术模型的选数问题出发,认识主要中英文语料的构建方法,区分文件规模与训练用量,做出可解释的选型。
把腿的几何、遗传算法、MuJoCo 仿真、3D 打印导出和测试台测量串成一个闭环,哪些已经能用,哪些还是假设,一并说清楚。
用带种子的遗传算法从随机连杆长度开始搜索,检验能否找回 Jansen 连杆的形状和数字;以及遗传算法怎样钻"适应度函数"的空子。
荷兰艺术家 Theo Jansen 从 1990 年起用 PVC 管造出靠风行走的"海滩兽"。本文对照他自己的网站,按十二个时期梳理它们怎么一步步演化,哪里失败,哪里转弯。
用两圆交点把 Jansen 连杆算出来,看脚的轨迹为什么是 D 形,以及多条腿如何错开相位。
先分析预填充与解码两个阶段的瓶颈,再从量化原理与方法对比讲到 KV-Cache 与 PagedAttention,以及 Attention 加速与部署考量。属工程优化综述,速度与显存数字为引用值,未在自己的硬件上复测。
以 CLIP 的对比学习与零样本分类为起点,接着讲 BLIP 的三种架构与图像描述生成,再说明 GPT-4V 的视觉 Token 化与多模态提示写法。属技术脉络梳理,模型能力描述引自公开资料,未做跨模型评测。
从大脑与手脚的类比说明 Agent 的构成与分类,再拆 ReAct 的推理行动交替与从零实现、OpenAI Function Calling 与工具库设计、记忆机制与规划。是开发指南式梳理,以示例代码为主,不含真实任务成功率评测。
先对比闭卷与开卷两种问答路径,交代 RAG 的检索生成流程,再依次讲文档清洗、分块、向量化与向量库选择,以及从 Top-K 到重排的检索策略。属工程流程整理,效果取决于语料与检索配置,文中不给统一指标。
按 Zero-shot、Few-shot、Chain-of-Thought 与 ReAct 的顺序介绍提示设计,串起 CoT、自一致性与工具调用,并附示例与代码。文章侧重模式归纳和写法示例,未提供系统的提示效果评测,案例表现随模型与任务变化。
从全参数微调的显存困境引出参数高效微调,解释 LoRA 的低秩分解与前向传播,给出从零实现的代码与训练技巧,再横向介绍 Adapter、Prefix 与 Prompt Tuning。属方法整理,显存与效果数字为引用值。
以 Kaggle 数据科学从业者调查为材料的 R 练习记录:用 data.table 读入 16716 行、228 列的数据,再用 tidyverse 做职位、工具偏好与学习计划的探索性统计。记录的是操作步骤与代码,不是对从业者群体的抽样推断。
按预训练、监督微调、人类反馈强化学习的三阶段范式组织,交代预训练目标与数据准备、Tokenization,再讲 SFT 数据构造与 RLHF 流程。属流程综述,具体配比与效果数字以所引资料为准,本文不另作复现。
先说明三人以上博弈与双人零和的差别,引入联盟、背叛与动态平衡,再介绍 Paranoid、MaxN、浅层剪枝与 Best Reply Search 等搜索算法,最后用 Shapley 值与核心解讨论联盟收益分配。属算法综述,案例为示意。
以《Attention is All You Need》为起点交代 Transformer 的动机,拆解自注意力、前馈网络、残差与位置编码,再给出完整模型拼装、Label Smoothing 与 Warmup 等训练技巧及应用场景。属架构讲解,以原论文与常见实现为参照,不含训练实验或下游效果对比。
从 MCTS 的四步骤讲到 UCT 的探索利用平衡,再说明 PUCT 与 AlphaGo、AlphaZero 风格搜索的差别,以及 RAVE 等优化技术。文章解释算法结构与实现思路,未附对弈强度或胜率实测,也不构成对具体棋类的强度结论。
从描述统计与推断统计的区分讲起,说明假设检验的逻辑框架,再依次展开单样本、独立样本与配对样本 t 检验,单因素方差分析与效应量,以及卡方检验。是教科书式整理,结论以检验假设成立为前提。
按学习率、折扣因子、批量大小、探索率、目标网络与回放缓冲区逐个拆解常见超参数的作用与典型取值,再补充 PPO、SAC、DQN 的算法专属项和梯度裁剪等稳定性技巧。属经验汇总,未附统一基准。
系统讲 MDP 五元组、马尔可夫性质与折扣回报,定义状态值与动作值函数,推导 Bellman 期望方程和最优方程,再落到策略评估与策略改进的动态规划。是教材式理论梳理,以公式推导为主,未附实测曲线。
按问题定义、变量识别与分类、因果关系挖掘、参数学习与模型验证的顺序走一遍 DUCG 建模流程,并给出软件缺陷诊断的变量与边示例。属方法论教程,案例是构造示例,不是现场部署记录。
从单智能体到多智能体说明非平稳性与信用分配等挑战,梳理独立学习、VDN 与 QMIX 的值函数分解、MADDPG 等路线,并给出 IQL 简化示例。文章是技术综述,示例只作机制说明,未报告完整训练结果。
承接策略梯度的方差问题,讲 Actor-Critic 框架与优势函数估计,比较 A3C 与 A2C 的同步异步取舍,再展开 PPO 的重要性采样与裁剪,以及 SAC 的熵正则思路。属方法综述,附实现代码,不含横向基准实验。
从策略梯度定理与 REINFORCE 推导出发,说明高方差问题,再介绍基线与方差降低技术,最后给出 CartPole 上的实现与策略测试代码。文章重在推导脉络,属方法讲解,未给出与其他算法的系统对比。
以五子棋为载体,交代策略价值网络、PUCT 搜索、自对弈数据收集与训练循环,最后给出参数建议与对弈可视化。文章给的是最小实现骨架与工程建议,未报告对弈强度或训练曲线,结果需自行运行确认。
从基本变量、结果变量、逻辑门与因果弧等元素出发,解释 DUCG 如何用虚拟独立事件表达不确定因果,再讲动态诊断推理的七个步骤与 Cubic-DUCG 扩展。属理论梳理,应用领域为文献中的已有工作。
以司法事实认定与因果归责为问题,讨论 DUCG 处理碎片化、矛盾证据的潜在用法,给出一个简化的法律应用模型构想,并指出知识获取与可解释性等挑战。是应用构想,不是已部署的司法系统。
从告警风暴与见木不见林的运维痛点出发,讨论用 DUCG 把孤立告警串成攻击因果链的设想,并指出攻击知识图谱构建的难点。属方案构想与问题分析,未给出检测率、误报率或实际部署结果。
以级联故障与根因定位耗时的问题为切入点,讨论 DUCG 在智能运维中构建软件系统因果诊断地图的思路,以及知识工程自动化的挑战。属应用构想,文中没有实际故障数据或诊断准确率。
从相关性模型在黑天鹅事件中失效的问题切入,讨论 DUCG 用因果结构刻画风险传导的可能路径,并说明从数据驱动转向知识与数据双驱动的挑战。属应用设想,不含回测收益或风控指标。
先说明 CFR 用反事实后悔值逼近不完全信息博弈纳什均衡的核心思想,再在 Kuhn Poker 上给出完整 Python 实现,最后讨论德州扑克所需的信息集抽象、行动抽象与抽样加速。属最小实现加工程路线,未附规模化对战胜率。
从 Shapley 值的博弈论来源与 SHAP 的数学定义讲起,说明其可加性与一致性优势,再介绍 TreeExplainer、KernelExplainer、LinearExplainer 与 DeepExplainer 的适用场景和用法。属原理与工具用法整理,示例不构成模型质量结论。
先补因果推断的核心概念与三大支柱,再介绍 YLearn 的设计与核心模块,并用营销优惠券的因果效应分析等案例演示估计与评估流程。属框架上手指南,文中结论限于所构造的案例数据,不外推到真实业务。
回顾 Q-Learning 与 DQN 的若干关键改进,介绍 CartPole 环境,再给出网络结构、经验回放缓冲与智能体实现的完整代码。属教学型代码示例,训练曲线与奖励数字随随机种子和设备变化,不宜当作基准。
从指标体系、常见错误与数据思维三层整理数据分析方法:指标要覆盖过程与结果并落到业务抓手上,分析流程按问题类型选择,数据思维拆成表示与推理能力。是经验框架整理,不含实测数据或业务结论。
从马尔可夫决策过程与核心要素讲到基于价值、基于策略、基于模型三类算法,再到 DQN 与策略梯度的深度强化学习,末尾汇总实践经验。是学习笔记式梳理,只整理概念与算法分类,未附统一实验对比。