VERIFICATION · ROUND 07
一条证据链,
先把版本对齐。
复核群体智能的测量需要同时看论文、更正、数据、代码以及它们各自的时间。
已锁定作者2021年代码快照,核对公开数据并运行三任务与八任务模型。三任务载荷平方均值四舍五入后与更正值一致;八任务不同且有求逆警告,尚不能称为完整复现。
能对上的与尚未解释的
公开数据的样本
22项研究,1,356个团队,团队人数合计5,279。与论文正文的对应数字一致。
说明文件的差异
作者仓库说明写1,357个团队,而锁定的CSV有1,356行和1,356个不同团队编号;目前没有证据解释差一的原因。
先看正式更正
作者2022年将论文报告的平均方差提取量从44%更正为19.6%。早于更正的代码不能自动视为修正版。
阅读正式更正 ↗三个共同任务:描述性对照
下表比较将所有团队直接合并的相关,与按研究分别计算、再按团队数简单加权的平均相关。两者回答的统计问题不同;差异不能独自归因为某一种机制,更不能替代原论文的随机效应元分析。
词语重组 × 物体用途发散
合并相关:0.269
研究内相关的简单加权平均:0.176
22项研究,1356个团队。
词语重组 × 文本输入
合并相关:0.285
研究内相关的简单加权平均:0.160
22项研究,1356个团队。
物体用途发散 × 文本输入
合并相关:0.372
研究内相关的简单加权平均:0.233
22项研究,1356个团队。
两阶段模型:哪些数字对上了?
三个任务
两阶段均返回状态0;载荷平方均值为 19.5759%,四舍五入后与更正中的19.6%一致。
目标模型自由度为0,不能将其拟合指数当作独立的拟合优度检验。
八个任务
载荷平方均值为 21.0466%;目标模型 χ² 为 101.559,更正报告为93.284。
两阶段状态均为0,但第一阶段出现 Hessian 求逆警告。软件版本、优化和修正版材料等仍需核对,差异原因尚不能确定。
为什么仍需继续核对?
作者的模型先汇总各研究的相关矩阵,再拟合单因素结构。本轮使用的统计包版本不同于尚未锁定的原环境,修正版补充表和团队排除流程也尚待核对;简单相关比较不能替代模型复算,三任务的数值一致也不等于全部结果均已复现。