VERIFICATION · ROUND 07

一条证据链,
先把版本对齐。

复核群体智能的测量需要同时看论文、更正、数据、代码以及它们各自的时间。

已锁定作者2021年代码快照,核对公开数据并运行三任务与八任务模型。三任务载荷平方均值四舍五入后与更正值一致;八任务不同且有求逆警告,尚不能称为完整复现。
作者仓库、公开数据、论文和更正的版本关系
打开大图查看材料之间的关系;虚线表示仍待进一步核验。下载可编辑图

能对上的与尚未解释的

公开数据的样本

22项研究,1,356个团队,团队人数合计5,279。与论文正文的对应数字一致。

说明文件的差异

作者仓库说明写1,357个团队,而锁定的CSV有1,356行和1,356个不同团队编号;目前没有证据解释差一的原因。

先看正式更正

作者2022年将论文报告的平均方差提取量从44%更正为19.6%。早于更正的代码不能自动视为修正版。

阅读正式更正 ↗

三个共同任务:描述性对照

下表比较将所有团队直接合并的相关,与按研究分别计算、再按团队数简单加权的平均相关。两者回答的统计问题不同;差异不能独自归因为某一种机制,更不能替代原论文的随机效应元分析。

词语重组 × 物体用途发散

合并相关:0.269

研究内相关的简单加权平均:0.176

22项研究,1356个团队。

词语重组 × 文本输入

合并相关:0.285

研究内相关的简单加权平均:0.160

22项研究,1356个团队。

物体用途发散 × 文本输入

合并相关:0.372

研究内相关的简单加权平均:0.233

22项研究,1356个团队。

两阶段模型:哪些数字对上了?

三个任务

两阶段均返回状态0;载荷平方均值为 19.5759%,四舍五入后与更正中的19.6%一致。

目标模型自由度为0,不能将其拟合指数当作独立的拟合优度检验。

八个任务

载荷平方均值为 21.0466%;目标模型 χ² 为 101.559,更正报告为93.284。

两阶段状态均为0,但第一阶段出现 Hessian 求逆警告。软件版本、优化和修正版材料等仍需核对,差异原因尚不能确定。

为什么仍需继续核对?

作者的模型先汇总各研究的相关矩阵,再拟合单因素结构。本轮使用的统计包版本不同于尚未锁定的原环境,修正版补充表和团队排除流程也尚待核对;简单相关比较不能替代模型复算,三任务的数值一致也不等于全部结果均已复现。

查看锁定的作者仓库 ↗ · 论文指向的数据存档 ↗ · 下载可编辑版本关系图

搜索

正在载入索引…