Files
CADmind/backend/docs/model-comparison-3c.md
2026-09-24 10:40:57 +08:00

13 KiB

3C 零件:GPT-6 与 GPT-5.6 Luna 的程序生成对照

记录日期:2026-09-07。目的:解释模型在同一程序中的行为差异,保存能指导迭代的证据。运行期间没有 Codex 参与建模决策,也没有把参考 STEP 或 SimpleCADAPI 的成功操作交给模型。

对照范围

GPT-6 样本是用户截图对应的 quality_20260907_110058_b75fc376。Luna 对照为 quality_20260907_115538_880183e8。后者直接读取前者保存的原话“生成这个零件”和两张原图,保持图序,重新走完整流程,不继承 GPT-6 的需求、操作或评审结果。

两次均使用 build123d 0.11.1、相同建模能力、读图/建模/核对提示词、阶段门槛、几何测量和七视图渲染。预算同为最多 90 次 API 尝试、1800 秒;单次输出上限 12000 tokens;读图推理 medium,建模及核对 high;瞬时故障最多尝试 3 次。仅将读图/建模/核对模型从 gpt-6-astra 改为 gpt-5.6-luna。程序使用已有 API 凭据,实际响应中的 model 字段用于确认模型。

这是一个零件、每种配置一次、非同时进行的运行对照。相同推理强度名称和调用上限不等于相同内部计算量或费用;模型服务状态、生成随机性仍可能影响结果。所有角色一起换模型,所以结果可解释整条流程的差异,不能单独量化视觉、规划或核对模块各自的因果贡献。旧程序 Luna 的既有结果不作为这个对照的分母。

已核验原话哈希、原图字节哈希及图序相同,配置只有 model 和 review_model 不同;核对了 8 个关键流程源文件与 GPT-6 运行时版本一致。核验记录保存在 output/model_comparison_3c/controls.json。默认模型选择代码的调整不会改变本次显式指定模型的运行流程。

完成记录与几何对照

指标 GPT-6 Astra GPT-5.6 Luna
状态 部分完成,特征阶段未通过 部分完成,特征阶段未通过
实际耗时 1801.14 秒,约 30 分钟 671.57 秒,约 11.2 分钟
API 尝试数 74 90
读图 / 建模 / 核对尝试 1 / 67 / 6 1 / 85 / 4
停止原因 1800 秒上限 90 次调用上限
保存的操作数 38 53
程序记录的总 tokens 2,991,467 3,383,395
STEP 回读体积(mm³) 15,919.91 40,713.23
相对参考 STEP 的体积误差 1.78% 160.28%
与参考 STEP 的体积交并比 0.8745 0.1773

几何比较使用同一个本机参考文件 机械臂连杆3C.STEP,仅在生成结束后读取。比较器将包络中心对齐,并在尺寸一致的正交旋转中寻找最大体积交并比,不缩放或镜像。体积交并比为交集体积除以并集体积,不能直接称为“准确率”;相近体积也不能证明孔的位置和形状正确。这两次导出的模型均有效且总体包络约为 59×55×58 mm,却仍有明显形状差异。

GPT-6 实际完成了 5 次独立核对,第 6 次因时间上限中断;Luna 完成 4 次核对。两次均没有网络重试,因此这次形状差距不能归因于上次连接中断。token 数据包括大量输入和缓存输入,不代表费用;中断请求可能缺少完整用量数据。

Luna 最后一次整体重建成功,最新工作模型已经正式提交,发布的部分结果包含该次修改,不是仅拿旧的无孔主体作为对照。最终侧壁仍是三层可见开口,上下各两个,中间两个切孔连成一个开口;缺少同端开放缺口,平台大槽为普通长圆槽。最后核对保留了 F-003、F-006 的中排孔合并问题,以及 F-008 的尺寸记录缺口。它用尽的是调用次数而非时间:说明当前“一次调用完成一个小操作”的使用方式会限制成品质量,不能据此断言延长调用预算或改进工具后仍然如此。

本机结果预览及证据(output/ 不提交到 Git):

GPT-6 为什么能用我们的程序做出较好的形状

图纸需求的覆盖较完整

本次 GPT-6 记录了 22 条需求。明确列出:59×55×58 mm 包络;沿 Y 贯通主腔;上下平平台和弧形侧壁;上下平台各两条异形长槽;上下各四个小圆孔;左右各六个侧孔、四层数量 2—1—1—2;同一个轴向端的两个开放缺口;缺口上下及平台中间必须保留的材料。

这些不是 build123d 自动从图片中识别的,而是 API 模型建立的要求。描述覆盖完整,后续工具调用才有明确目标。模型还区分顶底视中的侧孔投影与真正的平台孔,避免重复计孔,并把 55.92、56.1、8.88 mm 的引出对象列为待确认。

选择了能表达真实曲面的建模方法

主体操作记录从 R29.5 的圆截面开始,拉伸后与限制高度的实体相交,再融合平台包络,切出沿 Y 的直径 56 mm 主腔,并处理肩部圆角。这样保留了真实圆弧侧壁,同时满足总宽 59、总高 58 的区别。

这说明当前几何能力已经能表达这个主体,不必先换掉 build123d。内径 56、平台宽 40、肩部 R3 等仍是本次采用的推定参数,不能因为外观接近就视为原图已确认尺寸。

程序提供了执行、观察和修正手段

GPT-6 本次使用了 8 次原图裁切、8 次模型快照、3 次几何检查,以及一次整体重建。最终保存的操作序列含 38 步,涉及曲面主体、异形槽、孔阵列、镜像和布尔运算。

Luna 使用了 2 次原图裁切、5 次模型快照,没有调用 inspect_geometry,但调用过 describe_shape;整体重建尝试两次,一次参数错误、一次成功。观察次数和工具选择只说明本次行为路径,不能单独当作模型能力分数。

模型负责选择操作和解释反馈;程序负责检查参数、计算实体、测量包络、生成正交视图、保存候选及执行阶段核对。效果来自这种分工。仅把同一个模型放进一次性“图片转 JSON”调用,不能推定也会得到同样结果。

已观察到的 Luna 差异

环节 本次 GPT-6 本次 Luna 可能后果
初始读图需求 明确主腔贯通、上下平台各两条长槽、两侧六孔与同端双缺口 18 条需求;主腔写成“贯通或至少具有明显轴向深度”;没有明确列出同端开放缺口;下平台长槽没有单独明确数量 冻结需求从一开始就可能遗漏可见特征
侧孔层数 四层 2—1—1—2 描述成三排,上排两个、中排中央两个、下排两个 总数接近也可能把高度和分布做错
首次主体表示 圆弧侧壁与平平台组合 22 个顶点组成的折线外轮廓,corner_radius=0,再切圆形内腔 几何可执行,但外壁变成一组平面
首次主体核对 主体核对通过 Luna 自己的独立核对指出多平面外壁与参考弧壁不符,拒绝通过 Luna 并非完全看不出错误,反馈环节有纠错价值

以上来自 requirements.json、candidate_001/model.json 和该候选的 review.json,不是根据模型名称推测。初始失误不等于最终不能修正,最终表现另见完成记录。

Luna 后来修正了主体并通过主体阶段核对,随后提交带槽孔的候选。候选 003 采用普通长圆槽、三排左右配对的侧孔,仍没有原图的开放缺口;内腔半径沿用 24.5 mm,相对原图薄壁外观明显偏厚。GPT-6 的对应候选保留了异形槽的小侧向扩展、四层侧孔及开放缺口,内腔半径采用 28 mm。这些内径都是模型推定值;差异的依据是操作记录、渲染图和生成后的参考 STEP 对照,不能称为两种模型都正确读到了内径标注。

Luna 核对指出了中排孔布局错误,也遇到了 F-008 的尺寸记录缺口,但没有指出缺失的开放缺口和异形槽细节。它还把参考图中部孔解释为“更接近单个中央长圆槽”,与冻结文字形成矛盾。因此,本次误差既出现在初始读图,也出现在后续核对;独立上下文只能减少自我确认,不能保证同一模型不会重复相似的视觉误判。

后续整体重建有一次因为阵列 spacing=0 被程序拒绝,原模型保留;接收明确错误后,Luna 下一次重建成功。这与读图遗漏不同,属于能由参数验证和错误反馈纠正的工具使用失误,不应混为“模型不会生成”。

GPT-6 也暴露出的程序问题

本次 GPT-6 并未完整核对通过。它调用了 74 次 API(读图 1、建模 67、核对 6,其中最后一次核对因时间预算中止),在 1801 秒左右保存部分结果。没有发生网络重试。

主体在 452.70 秒通过;891.76 秒时主要特征已经提交,未通过项为 B06、F12,要求记录“暂定参数”和“尺寸引出对象”。之后的多次核对仍卡在这两项。候选 002、003、004、005 的几何体积相同,却继续消耗时间;中间还出现了试图用几何 claims 提交相关信息而被拒绝的情况。

这里存在明确的程序接口缺口:读图允许生成“必须记录待确认参数”的要求,submit_stage 却只有实体 ID、实体数量和几何 claims,没有独立的参数来源/待确认信息字段。核对上下文也只传需求、坐标、几何、原图裁切和渲染图,没有完整的参数追溯表。模型在建模对话里写说明,核对员也看不到。这造成了要求与可提交证据不匹配,不能靠更换模型解决。

阶段核对还存在一致性问题:B06 在主体阶段通过,后续对相近主体又因参数记录不足而拒绝。当前只有总预算,没有针对“相同错误、几何和证据均无变化”的停止或分流策略,导致最终以时间上限结束。

Luna 暴露了另一个接口问题:当读图阶段把孔层数冻结错了,核对虽然可以报告原图与需求矛盾,建模者却没有提交原图证据并申请重新核对需求的完整流程。直接要求遵循错误需求会保留错误,允许任意改需求又可能降低标准,需要专门的、保留修订证据的需求纠错流程。

应如何迭代

  1. 补齐参数来源的提交与传递。 允许建模者记录参数值、原图视图/区域、明确标注/推定/未确定状态,并作为候选证据传给核对。区分“记录已提供”和“该尺寸已证实”,不能用说明文字豁免真实几何错误,也不能为了通过而删除冻结需求。
  2. 在冻结需求前检查多视图对应。 以平台、主腔、侧壁、孔槽、缺口、连接材料建立逐面清单,检查数量、方向和可见性;给 Luna 一次针对遗漏或矛盾的原图复核机会。后续发现需求与原图冲突时,必须带原图证据重新核对并保存修订记录。不能只要求输出更长的 JSON。
  3. 给关键截面提供可检查的建模约束。 能从图中确认是圆弧的侧壁,应优先生成圆弧或圆柱面,并用曲面类型、轴线和包络验证;避免用密集折线“画得像”来代替可用曲面。以通用几何事实约束,不写死这个零件的答案。
  4. 管理工具调用与无进展循环。 给已确定的重复几何提供批量操作或组合特征工具,为候选提交和核对预留调用次数。对相同需求、几何摘要和证据版本重复失败,区分真实几何缺陷、证据未传递和原图无法辨读;相应地修几何、补证据或保留明确未完成项,避免耗到 30 分钟。
  5. 继续使用现有 Luna API 建立基准。 先固定模型评估程序改动,再做“Luna 读图+固定需求”“固定几何+Luna 核对”等模块对照。加入其他孔槽、曲壁和多视图样本,多次运行后再判断成功率,不能用一件零件声称普遍超过 SimpleCADAPI。

本次默认模型设置

质量流程已改为继承原程序的 CADMIND_MODEL,未设置时为 gpt-5.6-luna;核对默认跟随建模模型。原 API 凭据继续使用。GPT-6 只在显式指定的对照实验中使用,历史 GPT-6 产物不会改标为 Luna 结果。

2026-09-08 后续观察

用户再次以相同图序、相同原图字节生成任务 quality_20260908_021341_e6cd2fcd。Luna 将 Y 总长改判为 55.92 mm,并以该值冻结和执行;前次对照使用的是 55 mm。新任务仍耗尽 90 次调用,约 529 秒,保存 72 步操作。主体和特征阶段被核对放行,但这不能证明图纸解释正确。新的需求里侧孔数量含糊、中央孔方向及前后对称关系也存在问题。

这为下一阶段提供了更明确的目标:不仅提高平均形状质量,还要减少相同输入的解释波动。利用 GPT-6 的可验证建模片段、Luna 失败对照和参数化方法的方案见 建模经验的数据与迭代方案。不能把未完成的 GPT-6 整体输出直接当成标准答案。