Jerry
40 lines
1.8 KiB
Markdown
40 lines
1.8 KiB
Markdown
# CAD 经验库 50 件 A/B 盲重建报告
|
||
|
||
> 运行状态：2026-07-23 因 Codex 账户用量上限中断；当前为 15/50
|
||
> 完整配对的阶段结果。系统提示可在 2026-07-29 10:24 后继续。
|
||
|
||
## 口径
|
||
|
||
- 测试集：固定分层抽取 50 件；这 50 件不进入经验库。
|
||
- 训练经验：其余 950 件生成的通用经验库。
|
||
- 两组输入完全相同：仅多视图图片和文字描述；生成过程禁止读取参考 STEP 和解析 JSON。
|
||
- Baseline：空经验库；Experience：950 件经验库。
|
||
- 参考 STEP 只在生成完成后用于评分。
|
||
- “相似度”是体积、面积、包围盒、表面距离、拓扑和语义特征的综合诊断分，不代表制造级 1:1 或可互换性。
|
||
|
||
## 当前完成度
|
||
|
||
- 有效 Baseline：16/50
|
||
- 有效 Experience：15/50
|
||
- 完整配对：15/50
|
||
- 经验方法返回/实际采用：106/28
|
||
|
||
## 汇总
|
||
|
||
| 指标 | 无经验 | 有经验 | 差值 |
|
||
|---|---:|---:|---:|
|
||
| 综合相似度（0–100，越高越好） | 69.11 | 66.64 | -2.47 |
|
||
| 体积相对误差（越低越好） | 44.519 | 37.136 | -7.383 |
|
||
| 表面积相对误差 | 5.385 | 4.997 | -0.388 |
|
||
| 包围盒尺寸 MAPE | 0.766 | 0.760 | -0.006 |
|
||
| 归一化表面 Chamfer | 0.1537 | 0.1559 | +0.0023 |
|
||
| 特征 F1 | 0.907 | 0.878 | -0.029 |
|
||
|
||
经验组胜/平/负（±0.25 分视为平）：**4/4/7**。
|
||
|
||
## 阶段解释
|
||
|
||
- 经验组的体积、表面积和包围盒平均误差较低，说明通用构造经验对尺度/主体关系有一定帮助。
|
||
- 经验组的表面距离、特征 F1 和综合分暂时较差，说明部分经验会诱导多余或错误特征，当前不能宣称整体提升。
|
||
- 每组由独立的大模型运行生成；即使经验命中为 0，两次结果也可能因模型随机性不同。因此最终应完成 50 对，并对若干样本做重复运行，才能把经验效果与随机波动分开。
|