54 lines
9.5 KiB
Markdown
54 lines
9.5 KiB
Markdown
# CAD Agent v3 综合提示词测试目标
|
||
|
||
## 目的
|
||
|
||
本轮测试验证当前 `cad_agent v3 -> CDSL-only engine -> STEP/GLB -> 独立复核` 路径，重点覆盖平板、孔系、槽腔、支架、轴类和回转件。测试以本文件的提示词和验收合同为准；模型可以采用不同的特征顺序，但不得用近似或遗漏替代明确尺寸。
|
||
|
||
## 范围与判定
|
||
|
||
- 单位统一为 mm。所有用例应得到一个连通实体，除非提示词明确要求多个实体。
|
||
- 每次运行保存冻结需求合同、动作账本、候选 CDSL、STEP、GLB、渲染图、拓扑快照、确定性量测和最终复核结论。
|
||
- `通过`：任务完成，构建健康，全部关键尺寸/拓扑声明可由确定性验证或独立复核支持。
|
||
- `部分通过`：可构建但存在未验证、遗漏或尺寸偏差；必须记录缺陷类别和证据。
|
||
- `失败`：协议拒绝、候选无法构建、超过预算/超时，或最终复核拒绝。
|
||
- 形状本身正确但验收合同或验证器无法表达的，记为“验证能力缺口”；不应被误判为几何成功。
|
||
|
||
## 覆盖矩阵
|
||
|
||
| # | 用例 | 提示词 | 关键验收项 |
|
||
| ---: | --- | --- | --- |
|
||
| 1 | 矩形安装板 | 生成一个CNC矩形安装板，长100毫米，宽60毫米，厚8毫米，四角圆角R6，四角各有一个直径8毫米的贯穿孔，孔中心距左右边10毫米、上下边10毫米，中心有一个直径30毫米的贯穿孔。 | 100 x 60 x 8；R6 外圆角；4 x Ø8 通孔位于 (10,10) 镜像位置；中心 Ø30 通孔。 |
|
||
| 2 | 圆形法兰盘 | 生成一个圆形法兰盘，外径120毫米，厚度12毫米，中心贯穿孔直径40毫米，在直径90毫米的分度圆上均布6个直径8毫米的贯穿孔。 | Ø120 x 12；中心 Ø40 通孔；PCD Ø90 的 6 x Ø8 均布通孔。 |
|
||
| 3 | 方形法兰 | 生成一个方形安装法兰，长100毫米，宽100毫米，厚度12毫米，四角圆角R8，中心贯穿孔直径45毫米，四角各有一个直径10毫米的安装孔，孔中心距相邻两边各15毫米。 | 100 x 100 x 12；R8；中心 Ø45；4 x Ø10 孔距相邻边 15。 |
|
||
| 4 | 带沉孔安装板 | 生成一个矩形安装板，长120毫米，宽80毫米，厚度15毫米，四角各有一个直径9毫米的贯穿孔，每个孔顶部带直径16毫米、深5毫米的圆柱沉孔，孔中心距相邻边各12毫米。 | 120 x 80 x 15；4 x Ø9 贯穿；顶面 4 x Ø16 x 5 沉孔；孔位距边 12。 |
|
||
| 5 | 带沉头孔盖板 | 生成一个盖板，长100毫米，宽70毫米，厚度8毫米，四角圆角R5，四角各有一个直径6.5毫米的贯穿孔，孔顶部带90度沉头，沉头最大直径12毫米。 | 100 x 70 x 8；R5；4 x Ø6.5 通孔；顶面 90°、大径 Ø12 沉头。 |
|
||
| 6 | 长圆槽连接板 | 生成一个连接板，长140毫米，宽50毫米，厚度10毫米，两端各有一个长圆形贯穿槽，槽总长30毫米、宽12毫米，槽中心距板端20毫米，槽的长轴沿板长度方向。 | 140 x 50 x 10；两端各一贯穿长圆槽；30 x 12；槽中心距对应端面 20；长轴沿长度。 |
|
||
| 7 | T形槽试块 | 生成一个T形槽试块，长100毫米，宽50毫米，高25毫米，在顶面中心沿长度方向加工一条T形槽，槽口宽10毫米、深8毫米，槽底宽20毫米、总深15毫米，槽贯穿试块两端。 | 100 x 50 x 25；贯穿两端 T 槽；槽口 10 x 8 深；槽底宽 20；总深 15。 |
|
||
| 8 | 矩形口袋底板 | 生成一个矩形底板，长120毫米，宽80毫米，厚20毫米，在顶面中心加工一个长80毫米、宽45毫米、深12毫米的矩形口袋，口袋四角圆角R6，底部保留8毫米厚度。 | 120 x 80 x 20；中心 80 x 45 x 12 口袋；内 R6；底厚 8。 |
|
||
| 9 | 多级口袋板 | 生成一个CNC加工板，长140毫米，宽100毫米，厚25毫米。顶面中心先加工一个长100毫米、宽70毫米、深8毫米的矩形口袋，再在第一级口袋中心加工一个长60毫米、宽35毫米、额外深7毫米的第二级口袋，所有内角圆角R5。 | 140 x 100 x 25；一级 100 x 70 x 8；二级 60 x 35，额外 7；所有内角 R5。 |
|
||
| 10 | 交叉孔块 | 生成一个阀块试件，长80毫米，宽60毫米，高50毫米。沿长度方向加工一个直径20毫米的贯穿孔，沿宽度方向加工一个直径12毫米的贯穿孔，两个孔的轴线在零件中心相交。 | 80 x 60 x 50；沿长 Ø20 和沿宽 Ø12 的贯穿孔；轴线在实体中心相交。 |
|
||
| 11 | 双孔机械臂连杆 | 生成一个机械臂双孔连杆，两个销孔中心距120毫米，连杆厚度12毫米，两端外圆直径40毫米，两个销孔直径16毫米，中间杆身最小宽度24毫米，轮廓平滑相切，中部设置三个直径14毫米的减重贯穿孔。 | 端孔中心距 120；厚 12；端部 Ø40；2 x Ø16；杆身最小宽 24；3 x Ø14 中部减重孔；平滑连接。 |
|
||
| 12 | 三孔连杆 | 生成一个三孔机械连杆，三个孔的中心位于同一直线上，相邻孔中心距分别为60毫米和80毫米，三个孔直径均为12毫米，连杆厚度10毫米，每个孔周围外圆直径32毫米，各段外轮廓平滑连接。 | 3 个共线 Ø12；相邻距 60、80；厚 10；各端部/中间圆台 Ø32；平滑连接。 |
|
||
| 13 | L形角码 | 生成一个整体式L形角码，水平底板长80毫米、宽50毫米、厚8毫米，竖直板高60毫米、宽50毫米、厚8毫米，两板成90度。水平板上有两个直径8毫米贯穿孔，竖直板上有两个直径8毫米贯穿孔，孔左右对称。 | 整体连通 L；底板 80 x 50 x 8；竖板高 60、宽 50、厚 8；90°；每面 2 x Ø8 对称孔。 |
|
||
| 14 | 带加强筋 L 形支架 | 生成一个整体式L形机械支架，底板长100毫米、宽60毫米、厚10毫米，竖板高80毫米、宽60毫米、厚10毫米，两板成90度。底板和竖板之间设置两个厚度8毫米的三角加强筋。底板有四个直径9毫米贯穿孔，竖板中心有一个直径30毫米贯穿孔。 | 整体 L；底板 100 x 60 x 10；竖板高 80、宽 60、厚 10；2 个 8 厚三角筋；底板 4 x Ø9；竖板中心 Ø30。 |
|
||
| 15 | U 形轴承座 | 生成一个U形轴承支座，底板长100毫米、宽60毫米、厚12毫米，两侧竖耳厚12毫米、高55毫米，两个竖耳内侧间距40毫米。两个竖耳上各有一个直径20毫米的同轴贯穿孔，孔轴线距底板上表面35毫米。底板四角各有一个直径8毫米安装孔。 | 整体 U；底板 100 x 60 x 12；2 个耳厚 12、高 55、内侧距 40；同轴 2 x Ø20，轴高 35；底板 4 x Ø8。 |
|
||
| 16 | 双耳连接座 | 生成一个双耳连接座，底座长90毫米、宽60毫米、厚12毫米，底座上有两个平行耳板，每个耳板厚10毫米、高50毫米，两耳板内侧间距30毫米。两个耳板上各有一个直径16毫米的同轴贯穿销孔，孔中心距底座上表面32毫米。 | 整体双耳；底座 90 x 60 x 12；耳厚 10、高 50、内距 30；同轴 2 x Ø16，轴高 32。 |
|
||
| 17 | 阶梯轴 | 生成一根阶梯轴，总长120毫米。第一段直径30毫米、长40毫米；第二段直径24毫米、长50毫米；第三段直径18毫米、长30毫米。所有轴肩过渡圆角R2，两端倒角1毫米乘45度。 | 同轴总长 120；三段 Ø30 x 40、Ø24 x 50、Ø18 x 30；肩 R2；两端 1 x 45° 倒角。 |
|
||
| 18 | 带键槽阶梯轴 | 生成一根阶梯传动轴，总长140毫米，中间轴段直径30毫米、长70毫米，两端轴段直径20毫米、各长35毫米。中间轴段沿轴向加工一条平键槽，键槽宽8毫米、深3.3毫米、长50毫米，所有轴肩圆角R2。 | 同轴总长 140；中段 Ø30 x 70；两端 Ø20 x 35；轴向键槽 8 x 3.3 x 50；肩 R2。 |
|
||
| 19 | 带中心孔套筒 | 生成一个机械套筒，外径50毫米，内孔直径30毫米，总长60毫米。套筒一端带外径70毫米、厚度10毫米的法兰，法兰上在直径56毫米分度圆上均布4个直径7毫米贯穿孔。 | 套筒 Ø50/Ø30 x 60；一端 Ø70 x 10 法兰；PCD Ø56 的 4 x Ø7 通孔。 |
|
||
| 20 | 轴套 | 生成一个圆柱轴套，外径40毫米，内孔直径25毫米，长度50毫米，两端外边缘倒角1.5毫米乘45度，两端内孔边缘倒角1毫米乘45度。 | Ø40/Ø25 x 50；两端外倒角 1.5 x 45°；两端内倒角 1 x 45°。 |
|
||
|
||
## 分层检查
|
||
|
||
1. 运行 v3 单元和引擎契约回归，确保当前工作区在未接入模型前可用。
|
||
2. 通过 `cd backend && python -m app.cad_agent.evals.live --suite comprehensive --require-live` 对每个提示词运行真实 v3 工作流，并记录动作序列、拒绝码、耗时、调用/令牌用量、最终 phase 与产物路径。报告还必须列出冻结合同缺少的 claim 类型和 `validation_capability_gap`；只要关键验收关系尚无确定性 verifier，用例不得记为通过。
|
||
3. 对完成的 STEP 执行确定性几何量测：包围盒、体积、实体数、圆孔/圆柱面、槽腔深度，以及适用时的同轴性、阵列或旋转对称性。
|
||
4. 复核冻结需求合同中的每项声明是否覆盖本表关键验收项，避免只生成“相似零件”即完成。
|
||
5. 对失败项按以下层级归因：模型格式/决策、v3 合同或验证器、CDSL 表达、引擎执行、独立视觉复核、配置或网络。
|
||
|
||
## 修复准则
|
||
|
||
- 可局部修复：明确的 schema/合同遗漏、稳定可复现的特征编译或测量缺陷、错误的事件状态映射、缺少的回归测试。
|
||
- 需单独汇报：需要新增原子特征、放宽一特征一提交模型流程、改变选择器语义、引入跨特征几何推理，或将独立复核策略改为非失败关闭。
|
||
- 所有代码修复必须补充相应的回归测试，并至少复跑受影响提示词与全套相关单元测试。
|