六族 A/B 实际生成测试
此程序保留为历史实验复现工具。其 B 组整包长文与自建工具循环不再作为正式生成的默认方案,也不等同于 community 网页助手。当前生成文本采用单独准入,网页链路试验位于 /Users/lk/Projects/cad-generation-benchmark/experiments/gear-recipe-20261111。
run.py 从 Python 直接调用豆包 Chat Completions HTTP/SSE,自行运行工具调用循环,并通过独立 solidcraft-cli mcp --headless 进程建模。生成链路不使用 Codex、ACP、makeCAD 内置聊天或任何其他模型。
每个零件的 A/B 条件使用独立模型会话与独立 CAD 进程。共同输入为相同需求、相同模型与思考设置、相同通用约定及该版本 CAD 的技术命令参考。B 额外读取对应族与共享特征,不加载完整示例。题目取自六个示例的“完整需求”;参数预期仅供运行后的评测使用。
配置
复制 config.example.json 为 config.local.json,填写本机 solidcraft-cli 路径。Key 可放在 ARK_API_KEY 环境变量中,也可通过 env_file 指向已有 .env 文件。读取文件不会执行其中的 shell 内容,Key 不写进模型提示、报告或命令行参数。
{
"base_url": "https://ark.cn-beijing.volces.com/api/v3",
"model": "doubao-seed-2-1-lite-260915",
"api_key_env": "ARK_API_KEY",
"env_file": "/absolute/path/to/existing/.env",
"model_env": "CAD_AI_MODEL",
"cad_cli": "/absolute/path/to/solidcraft-cli",
"thinking": "disabled",
"reasoning_effort": null,
"max_tokens": 16000,
"max_model_turns": 48,
"workers": 2,
"views": ["iso", "top", "front"],
"image_width": 1200,
"image_height": 900
}
model_env 非空时从所选环境变量读取模型 ID;否则用 model。切换模型和思考设置后启动新一轮,不混用旧结果。thinking 可为 disabled、enabled、auto;reasoning_effort 仅在所选豆包版本支持时填写,拒绝时会原样记录错误,不静默换模型或降级思考程度。
模型请求、CAD 操作均无超时截止时间。max_tokens 是单次输出上限,max_model_turns 是两组相同的模型交互轮数预算,并非时间限制。达到预算会标记不完整并保留残留模型;服务端自身的超时也会记入错误。脚本不自动重发失败的生成请求。
运行
在知识库根目录执行。python3 -m pip install -e '.[benchmark]' 安装运行依赖;certifi 和 Pillow 用于证书与截图拼图。缺少 Pillow 时个别截图与 HTML 报告仍可用。
python3 benchmark/run.py --out runs/doubao-ab-001
python3 benchmark/run.py --out runs/doubao-ab-002 --repeat 3
python3 benchmark/run.py --out runs/plate-smoke --families mounting-plate --workers 1
python3 benchmark/run.py --out runs/doubao-ab-001 --report-only
python3 -m unittest discover -s benchmark -p 'test_*.py' -v
默认运行六族 × A/B × 1 次,共 12 个实际生成案例,最多两个案例并发。--resume 只跳过已经记录的案例,包括失败案例;不得用反复重跑覆盖失败来美化结果。配置或知识版本变化后应使用新输出目录。
产物
index.html:A/B 截图并排页面,含结果、设计、测量与工具日志链接。comparison.png:来自实际渲染的六族 A/B 汇总图。report.md、results.json、run-manifest.json:状态、耗时、自动项结果、配置与知识文件哈希。source-snapshot/:该轮脚本与知识文档的源码快照;后续修改脚本不会覆盖原实验版本。新版程序还记录 CLI 的 SHA256,并拒绝在同一轮混用不同引擎文件。r01/FAMILY_ID/A和B:独立的案例记录。
每个案例保存原始需求、共同提示、B 组知识上下文及清单、逐轮请求与流式响应、完整对话、CAD 工具日志、原生 .sc 设计和可用时的 STEP。截图为实际模型渲染,包含 iso/top/front;轴承座和壳体另加剖视。三视图使用相同方向与分辨率,各模型自动适配画面,因此不能只凭屏幕大小判断尺寸。
失败也会尝试保存设计、测量和截图;截图可能显示不完整几何或空设计。模型说完成、工具无报错、成功保存和几何合格是不同结果,报告分别记录。
流式响应缺少结束标记时记录为传输不完整;输出长度截断或内容过滤时不执行该回复中的工具调用。原始流仍保留供诊断。
判断结果
自动检查包括可见实体数、闭合正体积、失败特征、已定义的包络尺寸、简单族解析体积,以及圆柱面的孔径/轴线/轴向范围。几何数据来自引擎,模型自述不作为测量证据。线性门限 0.05 mm、简单体积相对门限 0.2% 是测试检查门限,不是制造公差。
筋的全部连接、所有局部壁厚、真实渐开线误差、齿数和齿厚、六角头细项、壳盖精确面间距及参数修改行为尚未全面自动验证,均留在 manual_review_required 中。单次六族测试用于发现问题,不估计统计显著性或宣称完整建模成功率。
当前圆柱面检查比较轴线、半径和轴向跨度长度,尚未自动比较该跨度的绝对起止位置或孔的开口方向。因此,位于实体内部的封闭圆柱空腔也可能通过孔径/孔深检查,必须结合面拓扑、实际起止坐标或剖视复核。筋厚等未自动测量的尺寸也必须人工检查。