9.8 KiB
Codex 操作程序与 Luna API:3B / 3C 实测
2026-09-08,chatgpt 分支。新报告:http://127.0.0.1:8081/static/codex-luna-comparison.html。
本轮严格按用户纠正后的分工执行:项目 API 只使用 gpt-5.6-luna;GPT-6 侧由当前 Codex 会话读图、编写操作程序、执行和检查,项目 GPT-6 API 请求为0。 前一组两边均走API的实验单独标记为旧实验,不能混为本轮结果。
实验边界
两组图和注册能力相同,最终几何均经过 CADmind 能力实现与 build123d。Luna 使用完整质量流水线,Codex 通过 AgentSession 调用同一能力库并人工检查渲染和测量;两边的编排和评审方式不同。Codex 有前期调试上下文,因此本轮是工作流开发对照,不是等推理预算的模型盲测,也不能凭此断言模型内部视觉模块的差异。
Luna 3B、3C并行运行,任务分别为 quality_20260908_035808_af9ddee6、quality_20260908_035809_9ac20815。均输入“生成这个零件”,图片顺序3B为3b1/3b2,3C为3c2/3c1;90次API尝试、1800秒、24000输出tokens;读图medium,建模/评审high。读图和复核也只使用Luna。实验脚本在发请求前拒绝任何其他模型。
当前会话的读图结论、手写Python及首版/修订后的操作JSON在 开发案例集。没有将其中目标参数或代码注入本轮Luna,也没有把它注册成某个零件专用能力。参考STEP只在Codex结果冻结后用于离线评估,未再按参考STEP调参。
最终结果与阶段统计
两条Luna任务都正常保留了可下载模型,均在90次调用预算用完后结束为partial;本轮未发生余额不足或原生CAD进程崩溃。不是全部图纸验收通过。所有180个API响应的实际模型字段均为gpt-5.6-luna。机器可读统计保留角色调用数、阶段计数与用量。
| 零件 / 路线 | 最终状态 | 主体 | 孔槽 | 细节 | 修复记录 |
|---|---|---|---|---|---|
| 3B / Codex | 有效单实体,主要形状已核对,破边未完成 | 7个累计能力操作 | 11个累计能力操作 | 材料点与包络核验 | 1轮整体修订,首版保留 |
| 3B / Luna | partial,90次API,1276.51秒 | 正式提交5次,2次失败后候选 | 提交3次,1次失败后候选 | 提交6次,5次失败后候选;未完成 | 合计8次失败后新候选;另有工具拒绝 |
| 3C / Codex | 有效单实体,主要形状已核对,破边未完成 | 1个累计能力操作 | 5个累计能力操作 | 材料点与包络核验 | 首版后0轮修订 |
| 3C / Luna | partial,90次API,1050.79秒 | 提交1次,0次失败后候选 | 提交4次,3次失败后候选 | 提交1次,核对未完成 | 合计3次失败后新候选;另有工具拒绝 |
“修复记录”不代表修复成功。Luna阶段统计的工具返回拒绝包含提交被拒;Codex没有经过同一个独立API评审器,而且未逐边实施破边,所以不能拿两边次数宣称等条件的效率提升。Codex工具日志的秒数只是Python执行时间,排除了读图、编写代码和交互时间。
| 离线指标 | 3B Codex | 3B Luna | 3C Codex | 3C Luna |
|---|---|---|---|---|
| 相对参考STEP的体积绝对差 | 4.39% | 40.50% | 4.99% | 98.22% |
| 正交配准体积IoU | 不提供:求交一致性检查失败 | 不用于3B评分 | 0.855 | 0.252 |
3B实测包络52.93×50.34×146;3C实测59×55×58。体积相近不能证明孔形正确,IoU也不是还原准确率。3C两条路线的求交结果均通过2048个固定随机点的一致性抽查;这只是排查部分指标异常,不是证明测量无误。3B存在两输入都判定有材料、求交结果却判定无材料的点,因此不把3B的IoU作为可信成绩,也不借助该分数调参。
本轮Luna的主要差异仍明显:3B生成了过宽的板体、一条上斜槽和一处下异形孔,顶部环形平台及偏置也与图纸不同;3C体积接近参考的两倍,侧孔布局、端部凹口及壁厚有明显偏差。本轮没有证明Luna已追平Codex,也没有证明53项能力对未知零件的成功率提升了多少。
哪一步先出了差异
| 部位 | Codex 的读图与操作 | 本轮 Luna 冻结的内容 | 后果 |
|---|---|---|---|
| 3B 板宽 | 板带40,整件最大宽52.93由顶部法兰参与决定 | BASE-001:竖直主体板X向总包络52.93 | 主板从主体阶段就过宽;程序可能按错误目标验收通过 |
| 3B 上部开口 | 两个圆角三角窗,中间斜连接条 | FEATURE-003:一条斜向封闭长槽 | 后续生成一条斜槽也会符合错误需求 |
| 3B 下部开口 | 两个异形窗与中部材料上的小孔 | FEATURE-004:一条不规则封闭槽 | 孔数、连接关系与原图不同 |
| 3C 侧孔排列 | 每侧六孔,四层2-1-1-2 | FEAT-05:每侧三排、每排2孔 | 总孔数相同,分层布局仍错 |
| 3C 端部缺口 | 同一轴向端的侧壁开放凹口 | FEAT-07:波浪状侧视外轮廓,暂不解释为贯穿缺口 | 评审要求形状却限制了正确切除解释,导致反复重建 |
| 3C 重复投影 | 顶视侧缘槽与侧壁孔做对应 | FEAT-03另列四个侧缘纵槽 | 存在重复建特征的风险,必须逐个几何核对 |
本轮的“读图后复核”仍然保留了这些错误,说明同一模型复核并不自动构成独立纠错。冻结后的严格质量门槛会把部分错误固化;建模器和评审器随后可能一起遵循错误目标。
Codex 也发生了什么错误
3B首版没有报几何错误,但总体宽54.36而非52.93,法兰四孔为盲孔。原因是我编写的顺时针轮廓面法向为-Z,正数拉伸得到142–144的板厚范围,而限定深度刀具从143切到147,只切了一部分。
v2把法兰起始面移到146,使其拉伸落在144–146,并按图纸总宽求外圆弧参数。导出后测得52.93×50.34×146,四个孔各在板厚内三个深度采样,12点均无材料。3C首版主要特征没有再修改。两件都只声明有效单实体与已核对的主要特征,尚未逐边完成0.2–0.5破边,不能宣称图纸全部通过。
这说明“同一个build123d”只保证相同操作和参数能重放,不保证不同模型产生相同的操作、坐标、方向和几何意图。视觉理解之外,还包括参数约束、程序编排、反馈是否送到以及修复是否针对正确问题。
已改进的通用能力与流程
能力数量 49 → 53,增加 sketch_arc_profile、cut_openings、tube_with_lands、annular_sector_plate。这8.2%只表示接口数量增长,不能当成生成质量增长率。8条方法指导、读图复核、参数台账和测试案例不混入数量。
实际运行暴露并已修正:
- 原生CAD崩溃可能结束整个网页进程:生成/恢复/修改进入独立子进程;异常退出只恢复之前已导出、记录为有效的候选,不假称通过。
- 建模器请求的材料点测量在提交时丢失:现在绑定候选ID重新测量,并将实测结果送入评审。
- 评审看不到后续阶段已有需求,可能把它们误判为“遗漏”:现在同时提供完整计划和本阶段到期条目。
- 一般提醒和阻断缺陷混在一起:新增非阻断observations;additional_issues只记录本阶段必须处理的缺陷。
- 重建参数把工具名
op_xxx当成能力名导致拒绝:只对已注册能力规范化该前缀,未知名称继续拒绝。 - 针对斜线的经验过度泛化:明确先区分本面材料与对侧投影,不能看到斜线就添连接条。
这些修复解决执行稳定性和证据传递,尚未解决Luna对复杂图纸的误读及错误需求冻结。
下一轮应强化什么
优先级一是中间表示与需求纠错,不是继续盲目增加工具:把每个特征表示为所属面、面内轴、数量/分层、开闭拓扑、关联视图、尺寸引出对象和证据等级。冻结前检查条目间冲突;建模/评审遇到原图反证时允许有版本记录的需求纠错,保留旧值、证据和影响范围,不能悄悄降低目标。
其次把Codex案例提炼为通用方法及失败样本,再用未参与开发的零件验证迁移。先比较“固定完整几何规格→Luna”是否仍出错,再决定问题主要在读图还是规划/执行。普通长段文字仍可能含歧义;将错误视觉判断换成文字并不会自动消除错误。
最后强化可测的验收:显式检查草图法向、孔是否真贯穿、缺口是否连接外边界、连接条是否存在。针对重复失败记录失败类别与修复改变量,避免靠堆叠无关操作消耗上下文和预算。
验证说明
相关质量测试42项通过;原有IR案例38/38通过(本轮之前已完成,几何实现未在新对照期间改变)。新结果不是用测试通过替代图纸验收;每阶段图像、完整读图JSON、操作和反馈均可从报告页查看。参考体积、包络及IoU只能作为辅助,IoU不是还原准确率;薄壁几何、未标尺寸和布尔求交异常都会影响指标。
本轮消耗复核
充值后新实验:3B和3C各90次,全部180个请求及返回模型字段均为gpt-5.6-luna,没有项目GPT-6 API调用。累计输入10,614,966 tokens,其中10,075,910标记缓存命中;输出179,003 tokens,其中108,197为推理tokens。缓存与推理计数来自API响应的usage字段,不能据此直接推断实际扣费金额。
预算控制不足:两件同时进行长上下文、多轮high推理建模与评审;需求误读未纠正时仍继续消耗修复预算。并行使消耗集中,调用轮次与反复携带历史造成累计用量大。本轮已结束,不自动续跑。下一轮应先设置较小的试验总预算、无进展停止和阶段上下文裁剪,再验证质量,不能用不断加调用替代定位原因。