Files
2026-11-12 20:40:21 +08:00

71 lines
5.4 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 六族 A/B 实际生成测试
此程序保留为历史实验复现工具。其 B 组整包长文与自建工具循环不再作为正式生成的默认方案,也不等同于 community 网页助手。当前生成文本采用[单独准入](../generation/README.md),网页链路试验位于 `/Users/lk/Projects/cad-generation-benchmark/experiments/gear-recipe-20261111`。
`run.py` 从 Python **直接调用豆包 Chat Completions HTTP/SSE**,自行运行工具调用循环,并通过独立 `solidcraft-cli mcp --headless` 进程建模。生成链路不使用 Codex、ACP、makeCAD 内置聊天或任何其他模型。
每个零件的 A/B 条件使用独立模型会话与独立 CAD 进程。共同输入为相同需求、相同模型与思考设置、相同通用约定及该版本 CAD 的技术命令参考。B 额外读取对应族与共享特征,**不加载完整示例**。题目取自六个示例的“完整需求”;参数预期仅供运行后的评测使用。
## 配置
复制 `config.example.json` 为 `config.local.json`,填写本机 `solidcraft-cli` 路径。Key 可放在 `ARK_API_KEY` 环境变量中,也可通过 `env_file` 指向已有 `.env` 文件。读取文件不会执行其中的 shell 内容,Key 不写进模型提示、报告或命令行参数。
```json
{
"base_url": "https://ark.cn-beijing.volces.com/api/v3",
"model": "doubao-seed-2-1-lite-260915",
"api_key_env": "ARK_API_KEY",
"env_file": "/absolute/path/to/existing/.env",
"model_env": "CAD_AI_MODEL",
"cad_cli": "/absolute/path/to/solidcraft-cli",
"thinking": "disabled",
"reasoning_effort": null,
"max_tokens": 16000,
"max_model_turns": 48,
"workers": 2,
"views": ["iso", "top", "front"],
"image_width": 1200,
"image_height": 900
}
```
`model_env` 非空时从所选环境变量读取模型 ID;否则用 model。切换模型和思考设置后启动新一轮,不混用旧结果。thinking 可为 disabled、enabled、auto;reasoning_effort 仅在所选豆包版本支持时填写,拒绝时会原样记录错误,不静默换模型或降级思考程度。
模型请求、CAD 操作**均无超时截止时间**。max_tokens 是单次输出上限,max_model_turns 是两组相同的模型交互轮数预算,并非时间限制。达到预算会标记不完整并保留残留模型;服务端自身的超时也会记入错误。脚本不自动重发失败的生成请求。
## 运行
在知识库根目录执行。`python3 -m pip install -e '.[benchmark]'` 安装运行依赖;certifi 和 Pillow 用于证书与截图拼图。缺少 Pillow 时个别截图与 HTML 报告仍可用。
```bash
python3 benchmark/run.py --out runs/doubao-ab-001
python3 benchmark/run.py --out runs/doubao-ab-002 --repeat 3
python3 benchmark/run.py --out runs/plate-smoke --families mounting-plate --workers 1
python3 benchmark/run.py --out runs/doubao-ab-001 --report-only
python3 -m unittest discover -s benchmark -p 'test_*.py' -v
```
默认运行六族 × A/B × 1 次,共 12 个实际生成案例,最多两个案例并发。`--resume` 只跳过已经记录的案例,包括失败案例;不得用反复重跑覆盖失败来美化结果。配置或知识版本变化后应使用新输出目录。
## 产物
- `index.html`:A/B 截图并排页面,含结果、设计、测量与工具日志链接。
- `comparison.png`:来自实际渲染的六族 A/B 汇总图。
- `report.md`、`results.json`、`run-manifest.json`:状态、耗时、自动项结果、配置与知识文件哈希。
- `source-snapshot/`:该轮脚本与知识文档的源码快照;后续修改脚本不会覆盖原实验版本。新版程序还记录 CLI 的 SHA256,并拒绝在同一轮混用不同引擎文件。
- `r01/FAMILY_ID/A` 和 `B`:独立的案例记录。
每个案例保存原始需求、共同提示、B 组知识上下文及清单、逐轮请求与流式响应、完整对话、CAD 工具日志、原生 `.sc` 设计和可用时的 STEP。截图为实际模型渲染,包含 iso/top/front;轴承座和壳体另加剖视。三视图使用相同方向与分辨率,各模型自动适配画面,因此不能只凭屏幕大小判断尺寸。
失败也会尝试保存设计、测量和截图;截图可能显示不完整几何或空设计。模型说完成、工具无报错、成功保存和几何合格是不同结果,报告分别记录。
流式响应缺少结束标记时记录为传输不完整;输出长度截断或内容过滤时不执行该回复中的工具调用。原始流仍保留供诊断。
## 判断结果
自动检查包括可见实体数、闭合正体积、失败特征、已定义的包络尺寸、简单族解析体积,以及圆柱面的孔径/轴线/轴向范围。几何数据来自引擎,模型自述不作为测量证据。线性门限 0.05 mm、简单体积相对门限 0.2% 是测试检查门限,不是制造公差。
筋的全部连接、所有局部壁厚、真实渐开线误差、齿数和齿厚、六角头细项、壳盖精确面间距及参数修改行为尚未全面自动验证,均留在 manual_review_required 中。单次六族测试用于发现问题,不估计统计显著性或宣称完整建模成功率。
当前圆柱面检查比较轴线、半径和轴向跨度长度,**尚未自动比较该跨度的绝对起止位置或孔的开口方向**。因此,位于实体内部的封闭圆柱空腔也可能通过孔径/孔深检查,必须结合面拓扑、实际起止坐标或剖视复核。筋厚等未自动测量的尺寸也必须人工检查。