Files
CADmind/backend/docs/quality-implementation.md
2026-09-24 10:40:57 +08:00

59 lines
6.2 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 质量流程实施记录
本轮在 `chatgpt` 分支实现第一条端到端质量流程,独立工作目录为 `CADmind-chatgpt`。原目录同时存在 `claude` 分支的工作,为避免相互切换和覆盖,使用 Git worktree 隔离。本轮未修改 SimpleCADAPI,也未将其成功模型或原始 STEP 加入生成上下文。
## 已实现
- 原图保持原始字节和真实 MIME;保存请求、哈希、配置、源码摘要、预算和 API usage。
- 读图输出带证据和确定性的需求,明确世界坐标和总包络。冻结需求与附加 claims 分离。
- 主体、主要特征、精修三个宿主控制的阶段;几何检查和独立模型核对通过后才推进。
- 独立核对只查看原始输入、带原像素坐标的图纸局部裁切、固定需求、候选七视图和测量事实;关键要求不能遗漏、重复或标记未验证后通过。
- 完整操作重建成功后原子替换;失败保留当前模型。候选报告保存独立操作快照。中断后可通过网页或 CLI 恢复候选,复用原图及冻结需求,创建新版本继续核对。
- 导出 STEP 后重新导入核对;未完成候选明确为 partial,没有候选则 failed,不生成占位方块。
- 显式局部平面、圆柱面半径与轴向、点材料检测;逐像素深度渲染,避免背面穿透。
- 修复缺参后异常、非有限数值、未知参数、重复 ID、空实体、孔验证误接受空旷区域、内凹圆角增材误拒绝、小切口阈值、二维布尔切除误用体积等问题。
- 网页显示核对状态和报告;质量模型修改创建新版本并继承原图与旧操作上下文。
## 可重复验证
`python -m unittest discover -s tests/quality -v` 覆盖确定性几何反例、阶段核对覆盖、失败重建保留、候选快照不可变、预算失败无占位、输入留档、接口状态,以及使用模拟 Responses 服务的完整八次调用流程。
38 个 `examples/*.json` 已执行。首次发现 `demo_sketch_offset.json` 的二维布尔切除问题;改为按面积检查后该例通过,其余 37 个在首轮通过。模拟 API 测试用于验证协议和状态机,不作为真实模型生成质量成绩。
目前 19 项自动化测试通过,网页 JavaScript 语法检查通过。历史 `mechanical_arm_link_3C` 报告的操作可重建到原体积 25159.670 mm³,但携带原 claims 的整体验证被拒绝:原点沿 Y 的直径 3 mm 通孔没有对应圆柱孔壁。这是对旧误验收的纠正,不能将去掉 claims 的几何重放算作质量通过。
真实 API 简单体测试:`gpt-6-astra`、low 推理、无参考图,生成 10×20×30 mm 单实体,体积 6000 mm³,三个阶段和 STEP 回读通过;9 次调用、94.14 秒,API 报告总 token 110686(含重复输入,不代表计费金额)。本地任务 `quality_20260907_090544_5901482b`。
3C 原图实验:首次非流式请求发生连接中断;改成流式后 high 读图请求未收到完整终态。已保存失败状态并补充不完整响应诊断,独立配置读图推理强度。后续已完成 medium 读图与建模实验,结果如下。模型视觉核对仍可能误判;复杂局部尺寸目前没有全部转成确定性几何约束。这一版本提供可观测的改进基础,尚不能宣称等同或超过 SimpleCADAPI + Codex。
## 3C 实测(单例,仍为部分完成)
建模输入仅为两张原图和中性请求,使用 `gpt-6-astra`、medium 推理。未向生成模型发送原始 STEP、SimpleCADAPI 成功模型或成功脚本。第一次完成主体和主要特征后,独立核对拒绝了缺失视图、槽间距偏差及未解读尺寸;根据实际反馈补全视图、孔壁范围和原图裁切能力,再恢复候选。
任务链:
| 本地任务 | API 调用 | 秒 | 结果 |
| --- | ---: | ---: | --- |
| `quality_20260907_091222_4c396d01` | 70 | 774.55 | 主体通过;主要特征部分完成 |
| `quality_20260907_092750_6980d8ab` | 20 | 380.49 | 恢复并修正上排槽名义净间距为 8.88 mm |
| `quality_20260907_093537_7ad1a124` | 14 | 205.02 | 继承候选,保存五个原图裁切,仍有局部解释未核实 |
三次累计 104 次调用、约 22.7 分钟;API 记录总 token 3,399,877,包含大量重复/缓存输入,不能据此直接推算费用。此前失败的读图诊断和简单体测试不包含在此任务链统计中。恢复并不是独立重复盲测,不能把三次当成三个独立成功样本。
离线比较使用原始参考 STEP,先平移包络中心,再遍历 24 种正交旋转中包络轴向最匹配的方向;无缩放、无镜像。比较器先提取包含实际位置的 BRep 实体,避免 STEP 装配显示树的子对象位置干扰布尔交集。包含非对称实体旋转和平移的回归测试。
| 样本 | 包络 X×Y×Z mm | 体积偏差 | 轴向匹配后的最大体积交并比 |
| --- | --- | ---: | ---: |
| 历史 CADmind `mechanical_arm_link_3C` | 59×58×55 | 60.85% | 0.0972 |
| SimpleCADAPI 本地成功样本 | 59×55×58 | 1.28% | 0.7410 |
| 本轮 CADmind 修复候选 | 59×55×58 | 2.75% | 0.8824 |
这是几何指标对照,不是“还原准确率”。历史 CADmind 输入和模型配置不同,不能将全部增益归因于本轮代码;SimpleCADAPI 完整交互预算也不相同。这组结果表明本轮结构已经明显改善,其中体积交并比优于所选对照样本,但不能证明全面超过 SimpleCADAPI。
最新候选保持单个有效实体,主体、平台、孔槽布局及同端缺口已能核对,8.88 mm 名义净间距已落实。仍未核准:主长孔外侧耳状开口的实体解释,以及 55.92 mm、56.1 mm、端视标题附近局部尺寸和顶视小尺寸的引出对象。原图裁切后仍无法可靠确认,因此没有修改冻结要求、没有标记 passed,也没有进入已通过的精修阶段。
当前产物保存在 `output/quality_20260907_093537_7ad1a124/`;模型、七视图、原图局部、需求及逐项核对报告齐全。测评结果见该目录 `comparison.json`。原图、STEP 和 API 原始响应均未纳入 Git。
下一步应完善需求解歧与截面核对,再做不同零件及同配置重复测试;不能继续对同一模糊尺寸反复盲调,也不能靠解除关键检查来制造成功率。