cadSet/designir-pipeline/benchmarks/generalization-ab/report.md

CAD 经验库 50 件 A/B 盲重建报告

运行状态：2026-07-23 因 Codex 账户用量上限中断；当前为 15/50 完整配对的阶段结果。系统提示可在 2026-07-29 10:24 后继续。

口径

• 测试集：固定分层抽取 50 件；这 50 件不进入经验库。
• 训练经验：其余 950 件生成的通用经验库。
• 两组输入完全相同：仅多视图图片和文字描述；生成过程禁止读取参考 STEP 和解析 JSON。
• Baseline：空经验库；Experience：950 件经验库。
• 参考 STEP 只在生成完成后用于评分。
• “相似度”是体积、面积、包围盒、表面距离、拓扑和语义特征的综合诊断分，不代表制造级 1:1 或可互换性。

当前完成度

• 有效 Baseline：16/50
• 有效 Experience：15/50
• 完整配对：15/50
• 经验方法返回/实际采用：106/28

汇总

指标	无经验	有经验	差值
综合相似度（0–100，越高越好）	69.11	66.64	-2.47
体积相对误差（越低越好）	44.519	37.136	-7.383
表面积相对误差	5.385	4.997	-0.388
包围盒尺寸 MAPE	0.766	0.760	-0.006
归一化表面 Chamfer	0.1537	0.1559	+0.0023
特征 F1	0.907	0.878	-0.029

经验组胜/平/负（±0.25 分视为平）：4/4/7。

阶段解释

• 经验组的体积、表面积和包围盒平均误差较低，说明通用构造经验对尺度/主体关系有一定帮助。
• 经验组的表面距离、特征 F1 和综合分暂时较差，说明部分经验会诱导多余或错误特征，当前不能宣称整体提升。
• 每组由独立的大模型运行生成；即使经验命中为 0，两次结果也可能因模型随机性不同。因此最终应完成 50 对，并对若干样本做重复运行，才能把经验效果与随机波动分开。