9.5 KiB
9.5 KiB
CAD Agent v3 综合提示词测试目标
目的
本轮测试验证当前 cad_agent v3 -> CDSL-only engine -> STEP/GLB -> 独立复核 路径,重点覆盖平板、孔系、槽腔、支架、轴类和回转件。测试以本文件的提示词和验收合同为准;模型可以采用不同的特征顺序,但不得用近似或遗漏替代明确尺寸。
范围与判定
- 单位统一为 mm。所有用例应得到一个连通实体,除非提示词明确要求多个实体。
- 每次运行保存冻结需求合同、动作账本、候选 CDSL、STEP、GLB、渲染图、拓扑快照、确定性量测和最终复核结论。
通过:任务完成,构建健康,全部关键尺寸/拓扑声明可由确定性验证或独立复核支持。部分通过:可构建但存在未验证、遗漏或尺寸偏差;必须记录缺陷类别和证据。失败:协议拒绝、候选无法构建、超过预算/超时,或最终复核拒绝。- 形状本身正确但验收合同或验证器无法表达的,记为“验证能力缺口”;不应被误判为几何成功。
覆盖矩阵
| # | 用例 | 提示词 | 关键验收项 |
|---|---|---|---|
| 1 | 矩形安装板 | 生成一个CNC矩形安装板,长100毫米,宽60毫米,厚8毫米,四角圆角R6,四角各有一个直径8毫米的贯穿孔,孔中心距左右边10毫米、上下边10毫米,中心有一个直径30毫米的贯穿孔。 | 100 x 60 x 8;R6 外圆角;4 x Ø8 通孔位于 (10,10) 镜像位置;中心 Ø30 通孔。 |
| 2 | 圆形法兰盘 | 生成一个圆形法兰盘,外径120毫米,厚度12毫米,中心贯穿孔直径40毫米,在直径90毫米的分度圆上均布6个直径8毫米的贯穿孔。 | Ø120 x 12;中心 Ø40 通孔;PCD Ø90 的 6 x Ø8 均布通孔。 |
| 3 | 方形法兰 | 生成一个方形安装法兰,长100毫米,宽100毫米,厚度12毫米,四角圆角R8,中心贯穿孔直径45毫米,四角各有一个直径10毫米的安装孔,孔中心距相邻两边各15毫米。 | 100 x 100 x 12;R8;中心 Ø45;4 x Ø10 孔距相邻边 15。 |
| 4 | 带沉孔安装板 | 生成一个矩形安装板,长120毫米,宽80毫米,厚度15毫米,四角各有一个直径9毫米的贯穿孔,每个孔顶部带直径16毫米、深5毫米的圆柱沉孔,孔中心距相邻边各12毫米。 | 120 x 80 x 15;4 x Ø9 贯穿;顶面 4 x Ø16 x 5 沉孔;孔位距边 12。 |
| 5 | 带沉头孔盖板 | 生成一个盖板,长100毫米,宽70毫米,厚度8毫米,四角圆角R5,四角各有一个直径6.5毫米的贯穿孔,孔顶部带90度沉头,沉头最大直径12毫米。 | 100 x 70 x 8;R5;4 x Ø6.5 通孔;顶面 90°、大径 Ø12 沉头。 |
| 6 | 长圆槽连接板 | 生成一个连接板,长140毫米,宽50毫米,厚度10毫米,两端各有一个长圆形贯穿槽,槽总长30毫米、宽12毫米,槽中心距板端20毫米,槽的长轴沿板长度方向。 | 140 x 50 x 10;两端各一贯穿长圆槽;30 x 12;槽中心距对应端面 20;长轴沿长度。 |
| 7 | T形槽试块 | 生成一个T形槽试块,长100毫米,宽50毫米,高25毫米,在顶面中心沿长度方向加工一条T形槽,槽口宽10毫米、深8毫米,槽底宽20毫米、总深15毫米,槽贯穿试块两端。 | 100 x 50 x 25;贯穿两端 T 槽;槽口 10 x 8 深;槽底宽 20;总深 15。 |
| 8 | 矩形口袋底板 | 生成一个矩形底板,长120毫米,宽80毫米,厚20毫米,在顶面中心加工一个长80毫米、宽45毫米、深12毫米的矩形口袋,口袋四角圆角R6,底部保留8毫米厚度。 | 120 x 80 x 20;中心 80 x 45 x 12 口袋;内 R6;底厚 8。 |
| 9 | 多级口袋板 | 生成一个CNC加工板,长140毫米,宽100毫米,厚25毫米。顶面中心先加工一个长100毫米、宽70毫米、深8毫米的矩形口袋,再在第一级口袋中心加工一个长60毫米、宽35毫米、额外深7毫米的第二级口袋,所有内角圆角R5。 | 140 x 100 x 25;一级 100 x 70 x 8;二级 60 x 35,额外 7;所有内角 R5。 |
| 10 | 交叉孔块 | 生成一个阀块试件,长80毫米,宽60毫米,高50毫米。沿长度方向加工一个直径20毫米的贯穿孔,沿宽度方向加工一个直径12毫米的贯穿孔,两个孔的轴线在零件中心相交。 | 80 x 60 x 50;沿长 Ø20 和沿宽 Ø12 的贯穿孔;轴线在实体中心相交。 |
| 11 | 双孔机械臂连杆 | 生成一个机械臂双孔连杆,两个销孔中心距120毫米,连杆厚度12毫米,两端外圆直径40毫米,两个销孔直径16毫米,中间杆身最小宽度24毫米,轮廓平滑相切,中部设置三个直径14毫米的减重贯穿孔。 | 端孔中心距 120;厚 12;端部 Ø40;2 x Ø16;杆身最小宽 24;3 x Ø14 中部减重孔;平滑连接。 |
| 12 | 三孔连杆 | 生成一个三孔机械连杆,三个孔的中心位于同一直线上,相邻孔中心距分别为60毫米和80毫米,三个孔直径均为12毫米,连杆厚度10毫米,每个孔周围外圆直径32毫米,各段外轮廓平滑连接。 | 3 个共线 Ø12;相邻距 60、80;厚 10;各端部/中间圆台 Ø32;平滑连接。 |
| 13 | L形角码 | 生成一个整体式L形角码,水平底板长80毫米、宽50毫米、厚8毫米,竖直板高60毫米、宽50毫米、厚8毫米,两板成90度。水平板上有两个直径8毫米贯穿孔,竖直板上有两个直径8毫米贯穿孔,孔左右对称。 | 整体连通 L;底板 80 x 50 x 8;竖板高 60、宽 50、厚 8;90°;每面 2 x Ø8 对称孔。 |
| 14 | 带加强筋 L 形支架 | 生成一个整体式L形机械支架,底板长100毫米、宽60毫米、厚10毫米,竖板高80毫米、宽60毫米、厚10毫米,两板成90度。底板和竖板之间设置两个厚度8毫米的三角加强筋。底板有四个直径9毫米贯穿孔,竖板中心有一个直径30毫米贯穿孔。 | 整体 L;底板 100 x 60 x 10;竖板高 80、宽 60、厚 10;2 个 8 厚三角筋;底板 4 x Ø9;竖板中心 Ø30。 |
| 15 | U 形轴承座 | 生成一个U形轴承支座,底板长100毫米、宽60毫米、厚12毫米,两侧竖耳厚12毫米、高55毫米,两个竖耳内侧间距40毫米。两个竖耳上各有一个直径20毫米的同轴贯穿孔,孔轴线距底板上表面35毫米。底板四角各有一个直径8毫米安装孔。 | 整体 U;底板 100 x 60 x 12;2 个耳厚 12、高 55、内侧距 40;同轴 2 x Ø20,轴高 35;底板 4 x Ø8。 |
| 16 | 双耳连接座 | 生成一个双耳连接座,底座长90毫米、宽60毫米、厚12毫米,底座上有两个平行耳板,每个耳板厚10毫米、高50毫米,两耳板内侧间距30毫米。两个耳板上各有一个直径16毫米的同轴贯穿销孔,孔中心距底座上表面32毫米。 | 整体双耳;底座 90 x 60 x 12;耳厚 10、高 50、内距 30;同轴 2 x Ø16,轴高 32。 |
| 17 | 阶梯轴 | 生成一根阶梯轴,总长120毫米。第一段直径30毫米、长40毫米;第二段直径24毫米、长50毫米;第三段直径18毫米、长30毫米。所有轴肩过渡圆角R2,两端倒角1毫米乘45度。 | 同轴总长 120;三段 Ø30 x 40、Ø24 x 50、Ø18 x 30;肩 R2;两端 1 x 45° 倒角。 |
| 18 | 带键槽阶梯轴 | 生成一根阶梯传动轴,总长140毫米,中间轴段直径30毫米、长70毫米,两端轴段直径20毫米、各长35毫米。中间轴段沿轴向加工一条平键槽,键槽宽8毫米、深3.3毫米、长50毫米,所有轴肩圆角R2。 | 同轴总长 140;中段 Ø30 x 70;两端 Ø20 x 35;轴向键槽 8 x 3.3 x 50;肩 R2。 |
| 19 | 带中心孔套筒 | 生成一个机械套筒,外径50毫米,内孔直径30毫米,总长60毫米。套筒一端带外径70毫米、厚度10毫米的法兰,法兰上在直径56毫米分度圆上均布4个直径7毫米贯穿孔。 | 套筒 Ø50/Ø30 x 60;一端 Ø70 x 10 法兰;PCD Ø56 的 4 x Ø7 通孔。 |
| 20 | 轴套 | 生成一个圆柱轴套,外径40毫米,内孔直径25毫米,长度50毫米,两端外边缘倒角1.5毫米乘45度,两端内孔边缘倒角1毫米乘45度。 | Ø40/Ø25 x 50;两端外倒角 1.5 x 45°;两端内倒角 1 x 45°。 |
分层检查
- 运行 v3 单元和引擎契约回归,确保当前工作区在未接入模型前可用。
- 通过
cd backend && python -m app.cad_agent.evals.live --suite comprehensive --require-live对每个提示词运行真实 v3 工作流,并记录动作序列、拒绝码、耗时、调用/令牌用量、最终 phase 与产物路径。报告还必须列出冻结合同缺少的 claim 类型和validation_capability_gap;只要关键验收关系尚无确定性 verifier,用例不得记为通过。 - 对完成的 STEP 执行确定性几何量测:包围盒、体积、实体数、圆孔/圆柱面、槽腔深度,以及适用时的同轴性、阵列或旋转对称性。
- 复核冻结需求合同中的每项声明是否覆盖本表关键验收项,避免只生成“相似零件”即完成。
- 对失败项按以下层级归因:模型格式/决策、v3 合同或验证器、CDSL 表达、引擎执行、独立视觉复核、配置或网络。
修复准则
- 可局部修复:明确的 schema/合同遗漏、稳定可复现的特征编译或测量缺陷、错误的事件状态映射、缺少的回归测试。
- 需单独汇报:需要新增原子特征、放宽一特征一提交模型流程、改变选择器语义、引入跨特征几何推理,或将独立复核策略改为非失败关闭。
- 所有代码修复必须补充相应的回归测试,并至少复跑受影响提示词与全套相关单元测试。