Files
CADmind/backend/docs/quality-implementation.md
2026-09-24 10:40:57 +08:00

6.2 KiB
Raw Permalink Blame History

质量流程实施记录

本轮在 chatgpt 分支实现第一条端到端质量流程,独立工作目录为 CADmind-chatgpt。原目录同时存在 claude 分支的工作,为避免相互切换和覆盖,使用 Git worktree 隔离。本轮未修改 SimpleCADAPI,也未将其成功模型或原始 STEP 加入生成上下文。

已实现

  • 原图保持原始字节和真实 MIME;保存请求、哈希、配置、源码摘要、预算和 API usage。
  • 读图输出带证据和确定性的需求,明确世界坐标和总包络。冻结需求与附加 claims 分离。
  • 主体、主要特征、精修三个宿主控制的阶段;几何检查和独立模型核对通过后才推进。
  • 独立核对只查看原始输入、带原像素坐标的图纸局部裁切、固定需求、候选七视图和测量事实;关键要求不能遗漏、重复或标记未验证后通过。
  • 完整操作重建成功后原子替换;失败保留当前模型。候选报告保存独立操作快照。中断后可通过网页或 CLI 恢复候选,复用原图及冻结需求,创建新版本继续核对。
  • 导出 STEP 后重新导入核对;未完成候选明确为 partial,没有候选则 failed,不生成占位方块。
  • 显式局部平面、圆柱面半径与轴向、点材料检测;逐像素深度渲染,避免背面穿透。
  • 修复缺参后异常、非有限数值、未知参数、重复 ID、空实体、孔验证误接受空旷区域、内凹圆角增材误拒绝、小切口阈值、二维布尔切除误用体积等问题。
  • 网页显示核对状态和报告;质量模型修改创建新版本并继承原图与旧操作上下文。

可重复验证

python -m unittest discover -s tests/quality -v 覆盖确定性几何反例、阶段核对覆盖、失败重建保留、候选快照不可变、预算失败无占位、输入留档、接口状态,以及使用模拟 Responses 服务的完整八次调用流程。

38 个 examples/*.json 已执行。首次发现 demo_sketch_offset.json 的二维布尔切除问题;改为按面积检查后该例通过,其余 37 个在首轮通过。模拟 API 测试用于验证协议和状态机,不作为真实模型生成质量成绩。

目前 19 项自动化测试通过,网页 JavaScript 语法检查通过。历史 mechanical_arm_link_3C 报告的操作可重建到原体积 25159.670 mm³,但携带原 claims 的整体验证被拒绝:原点沿 Y 的直径 3 mm 通孔没有对应圆柱孔壁。这是对旧误验收的纠正,不能将去掉 claims 的几何重放算作质量通过。

真实 API 简单体测试:gpt-6-astra、low 推理、无参考图,生成 10×20×30 mm 单实体,体积 6000 mm³,三个阶段和 STEP 回读通过;9 次调用、94.14 秒,API 报告总 token 110686(含重复输入,不代表计费金额)。本地任务 quality_20260907_090544_5901482b。

3C 原图实验:首次非流式请求发生连接中断;改成流式后 high 读图请求未收到完整终态。已保存失败状态并补充不完整响应诊断,独立配置读图推理强度。后续已完成 medium 读图与建模实验,结果如下。模型视觉核对仍可能误判;复杂局部尺寸目前没有全部转成确定性几何约束。这一版本提供可观测的改进基础,尚不能宣称等同或超过 SimpleCADAPI + Codex。

3C 实测(单例,仍为部分完成)

建模输入仅为两张原图和中性请求,使用 gpt-6-astra、medium 推理。未向生成模型发送原始 STEP、SimpleCADAPI 成功模型或成功脚本。第一次完成主体和主要特征后,独立核对拒绝了缺失视图、槽间距偏差及未解读尺寸;根据实际反馈补全视图、孔壁范围和原图裁切能力,再恢复候选。

任务链:

本地任务 API 调用 秒 结果
quality_20260907_091222_4c396d01 70 774.55 主体通过;主要特征部分完成
quality_20260907_092750_6980d8ab 20 380.49 恢复并修正上排槽名义净间距为 8.88 mm
quality_20260907_093537_7ad1a124 14 205.02 继承候选,保存五个原图裁切,仍有局部解释未核实

三次累计 104 次调用、约 22.7 分钟;API 记录总 token 3,399,877,包含大量重复/缓存输入,不能据此直接推算费用。此前失败的读图诊断和简单体测试不包含在此任务链统计中。恢复并不是独立重复盲测,不能把三次当成三个独立成功样本。

离线比较使用原始参考 STEP,先平移包络中心,再遍历 24 种正交旋转中包络轴向最匹配的方向;无缩放、无镜像。比较器先提取包含实际位置的 BRep 实体,避免 STEP 装配显示树的子对象位置干扰布尔交集。包含非对称实体旋转和平移的回归测试。

样本 包络 X×Y×Z mm 体积偏差 轴向匹配后的最大体积交并比
历史 CADmind mechanical_arm_link_3C 59×58×55 60.85% 0.0972
SimpleCADAPI 本地成功样本 59×55×58 1.28% 0.7410
本轮 CADmind 修复候选 59×55×58 2.75% 0.8824

这是几何指标对照,不是“还原准确率”。历史 CADmind 输入和模型配置不同,不能将全部增益归因于本轮代码;SimpleCADAPI 完整交互预算也不相同。这组结果表明本轮结构已经明显改善,其中体积交并比优于所选对照样本,但不能证明全面超过 SimpleCADAPI。

最新候选保持单个有效实体,主体、平台、孔槽布局及同端缺口已能核对,8.88 mm 名义净间距已落实。仍未核准:主长孔外侧耳状开口的实体解释,以及 55.92 mm、56.1 mm、端视标题附近局部尺寸和顶视小尺寸的引出对象。原图裁切后仍无法可靠确认,因此没有修改冻结要求、没有标记 passed,也没有进入已通过的精修阶段。

当前产物保存在 output/quality_20260907_093537_7ad1a124/;模型、七视图、原图局部、需求及逐项核对报告齐全。测评结果见该目录 comparison.json。原图、STEP 和 API 原始响应均未纳入 Git。

下一步应完善需求解歧与截面核对,再做不同零件及同配置重复测试;不能继续对同一模糊尺寸反复盲调,也不能靠解除关键检查来制造成功率。