Files
CADmind/backend/docs/codex-luna-comparison.md
2026-09-24 10:40:57 +08:00

9.8 KiB
Raw Permalink Blame History

Codex 操作程序与 Luna API:3B / 3C 实测

2026-09-08,chatgpt 分支。新报告:http://127.0.0.1:8081/static/codex-luna-comparison.html。

本轮严格按用户纠正后的分工执行:项目 API 只使用 gpt-5.6-luna;GPT-6 侧由当前 Codex 会话读图、编写操作程序、执行和检查,项目 GPT-6 API 请求为0。 前一组两边均走API的实验单独标记为旧实验,不能混为本轮结果。

实验边界

两组图和注册能力相同,最终几何均经过 CADmind 能力实现与 build123d。Luna 使用完整质量流水线,Codex 通过 AgentSession 调用同一能力库并人工检查渲染和测量;两边的编排和评审方式不同。Codex 有前期调试上下文,因此本轮是工作流开发对照,不是等推理预算的模型盲测,也不能凭此断言模型内部视觉模块的差异。

Luna 3B、3C并行运行,任务分别为 quality_20260908_035808_af9ddee6、quality_20260908_035809_9ac20815。均输入“生成这个零件”,图片顺序3B为3b1/3b2,3C为3c2/3c1;90次API尝试、1800秒、24000输出tokens;读图medium,建模/评审high。读图和复核也只使用Luna。实验脚本在发请求前拒绝任何其他模型。

当前会话的读图结论、手写Python及首版/修订后的操作JSON在 开发案例集。没有将其中目标参数或代码注入本轮Luna,也没有把它注册成某个零件专用能力。参考STEP只在Codex结果冻结后用于离线评估,未再按参考STEP调参。

最终结果与阶段统计

两条Luna任务都正常保留了可下载模型,均在90次调用预算用完后结束为partial;本轮未发生余额不足或原生CAD进程崩溃。不是全部图纸验收通过。所有180个API响应的实际模型字段均为gpt-5.6-luna。机器可读统计保留角色调用数、阶段计数与用量。

零件 / 路线 最终状态 主体 孔槽 细节 修复记录
3B / Codex 有效单实体,主要形状已核对,破边未完成 7个累计能力操作 11个累计能力操作 材料点与包络核验 1轮整体修订,首版保留
3B / Luna partial,90次API,1276.51秒 正式提交5次,2次失败后候选 提交3次,1次失败后候选 提交6次,5次失败后候选;未完成 合计8次失败后新候选;另有工具拒绝
3C / Codex 有效单实体,主要形状已核对,破边未完成 1个累计能力操作 5个累计能力操作 材料点与包络核验 首版后0轮修订
3C / Luna partial,90次API,1050.79秒 提交1次,0次失败后候选 提交4次,3次失败后候选 提交1次,核对未完成 合计3次失败后新候选;另有工具拒绝

“修复记录”不代表修复成功。Luna阶段统计的工具返回拒绝包含提交被拒;Codex没有经过同一个独立API评审器,而且未逐边实施破边,所以不能拿两边次数宣称等条件的效率提升。Codex工具日志的秒数只是Python执行时间,排除了读图、编写代码和交互时间。

离线指标 3B Codex 3B Luna 3C Codex 3C Luna
相对参考STEP的体积绝对差 4.39% 40.50% 4.99% 98.22%
正交配准体积IoU 不提供:求交一致性检查失败 不用于3B评分 0.855 0.252

3B实测包络52.93×50.34×146;3C实测59×55×58。体积相近不能证明孔形正确,IoU也不是还原准确率。3C两条路线的求交结果均通过2048个固定随机点的一致性抽查;这只是排查部分指标异常,不是证明测量无误。3B存在两输入都判定有材料、求交结果却判定无材料的点,因此不把3B的IoU作为可信成绩,也不借助该分数调参。

本轮Luna的主要差异仍明显:3B生成了过宽的板体、一条上斜槽和一处下异形孔,顶部环形平台及偏置也与图纸不同;3C体积接近参考的两倍,侧孔布局、端部凹口及壁厚有明显偏差。本轮没有证明Luna已追平Codex,也没有证明53项能力对未知零件的成功率提升了多少。

哪一步先出了差异

部位 Codex 的读图与操作 本轮 Luna 冻结的内容 后果
3B 板宽 板带40,整件最大宽52.93由顶部法兰参与决定 BASE-001:竖直主体板X向总包络52.93 主板从主体阶段就过宽;程序可能按错误目标验收通过
3B 上部开口 两个圆角三角窗,中间斜连接条 FEATURE-003:一条斜向封闭长槽 后续生成一条斜槽也会符合错误需求
3B 下部开口 两个异形窗与中部材料上的小孔 FEATURE-004:一条不规则封闭槽 孔数、连接关系与原图不同
3C 侧孔排列 每侧六孔,四层2-1-1-2 FEAT-05:每侧三排、每排2孔 总孔数相同,分层布局仍错
3C 端部缺口 同一轴向端的侧壁开放凹口 FEAT-07:波浪状侧视外轮廓,暂不解释为贯穿缺口 评审要求形状却限制了正确切除解释,导致反复重建
3C 重复投影 顶视侧缘槽与侧壁孔做对应 FEAT-03另列四个侧缘纵槽 存在重复建特征的风险,必须逐个几何核对

本轮的“读图后复核”仍然保留了这些错误,说明同一模型复核并不自动构成独立纠错。冻结后的严格质量门槛会把部分错误固化;建模器和评审器随后可能一起遵循错误目标。

Codex 也发生了什么错误

3B首版没有报几何错误,但总体宽54.36而非52.93,法兰四孔为盲孔。原因是我编写的顺时针轮廓面法向为-Z,正数拉伸得到142–144的板厚范围,而限定深度刀具从143切到147,只切了一部分。

v2把法兰起始面移到146,使其拉伸落在144–146,并按图纸总宽求外圆弧参数。导出后测得52.93×50.34×146,四个孔各在板厚内三个深度采样,12点均无材料。3C首版主要特征没有再修改。两件都只声明有效单实体与已核对的主要特征,尚未逐边完成0.2–0.5破边,不能宣称图纸全部通过。

这说明“同一个build123d”只保证相同操作和参数能重放,不保证不同模型产生相同的操作、坐标、方向和几何意图。视觉理解之外,还包括参数约束、程序编排、反馈是否送到以及修复是否针对正确问题。

已改进的通用能力与流程

能力数量 49 → 53,增加 sketch_arc_profile、cut_openings、tube_with_lands、annular_sector_plate。这8.2%只表示接口数量增长,不能当成生成质量增长率。8条方法指导、读图复核、参数台账和测试案例不混入数量。

实际运行暴露并已修正:

  1. 原生CAD崩溃可能结束整个网页进程:生成/恢复/修改进入独立子进程;异常退出只恢复之前已导出、记录为有效的候选,不假称通过。
  2. 建模器请求的材料点测量在提交时丢失:现在绑定候选ID重新测量,并将实测结果送入评审。
  3. 评审看不到后续阶段已有需求,可能把它们误判为“遗漏”:现在同时提供完整计划和本阶段到期条目。
  4. 一般提醒和阻断缺陷混在一起:新增非阻断observations;additional_issues只记录本阶段必须处理的缺陷。
  5. 重建参数把工具名op_xxx当成能力名导致拒绝:只对已注册能力规范化该前缀,未知名称继续拒绝。
  6. 针对斜线的经验过度泛化:明确先区分本面材料与对侧投影,不能看到斜线就添连接条。

这些修复解决执行稳定性和证据传递,尚未解决Luna对复杂图纸的误读及错误需求冻结。

下一轮应强化什么

优先级一是中间表示与需求纠错,不是继续盲目增加工具:把每个特征表示为所属面、面内轴、数量/分层、开闭拓扑、关联视图、尺寸引出对象和证据等级。冻结前检查条目间冲突;建模/评审遇到原图反证时允许有版本记录的需求纠错,保留旧值、证据和影响范围,不能悄悄降低目标。

其次把Codex案例提炼为通用方法及失败样本,再用未参与开发的零件验证迁移。先比较“固定完整几何规格→Luna”是否仍出错,再决定问题主要在读图还是规划/执行。普通长段文字仍可能含歧义;将错误视觉判断换成文字并不会自动消除错误。

最后强化可测的验收:显式检查草图法向、孔是否真贯穿、缺口是否连接外边界、连接条是否存在。针对重复失败记录失败类别与修复改变量,避免靠堆叠无关操作消耗上下文和预算。

验证说明

相关质量测试42项通过;原有IR案例38/38通过(本轮之前已完成,几何实现未在新对照期间改变)。新结果不是用测试通过替代图纸验收;每阶段图像、完整读图JSON、操作和反馈均可从报告页查看。参考体积、包络及IoU只能作为辅助,IoU不是还原准确率;薄壁几何、未标尺寸和布尔求交异常都会影响指标。

本轮消耗复核

充值后新实验:3B和3C各90次,全部180个请求及返回模型字段均为gpt-5.6-luna,没有项目GPT-6 API调用。累计输入10,614,966 tokens,其中10,075,910标记缓存命中;输出179,003 tokens,其中108,197为推理tokens。缓存与推理计数来自API响应的usage字段,不能据此直接推断实际扣费金额。

预算控制不足:两件同时进行长上下文、多轮high推理建模与评审;需求误读未纠正时仍继续消耗修复预算。并行使消耗集中,调用轮次与反复携带历史造成累计用量大。本轮已结束,不自动续跑。下一轮应先设置较小的试验总预算、无进展停止和阶段上下文裁剪,再验证质量,不能用不断加调用替代定位原因。