4.4 KiB
仿真内存与图片兼容(2026-11-06)
这次修复了什么
onnxruntime-web@1.27.0 的 WASM glue 在 numThreads = 1 时仍创建共享内存:初始 256 页(16 MiB),最大 65536 页(4 GiB)。最大值不是已经使用的物理内存;浏览器也可能在创建或保留内存地址空间时拒绝请求。仅修改错误文案、降低模型画质或增加重试次数不能解决这一类初始化失败。
两套仿真入口统一通过 sandbox/build/ort-memory.js 构建运行库,将最大值及对应的增长边界调整为 192 MiB,初始仍为 16 MiB,按需增长。该限制仅属于 ONNX 推理堆,不是整个网页的内存上限。MuJoCo、模型、纹理和渲染资源另外占用内存。
- 使用原始 SIMD WASM 二进制、原始 float32 策略、全部已声明动作;模型、材质、画质不变。
- 不修改全局
WebAssembly.Memory,不修改node_modules,不根据手机型号分支。 - 运行库内容带哈希,页面和代理 Worker 引用同一份构建产物。
- 固定 ORT 版本,同时校验上游 glue 的 SHA-256 和替换次数。依赖变化会阻止构建,必须重新检查分配器并回归后才能升级。
- 策略创建、资源下载限制并发;VFS 写入后不再保留完整下载副本。
- 仿真关闭/失败时先等待在途推理,再释放会话、物理对象、渲染资源,移除 iframe 及其专用 Worker。
- 仅在尚未加载成功时,首次内存错误会在释放旧运行环境后自动创建新环境重试一次。第二次失败停止;运行中的仿真不会自行重启;用户关闭后也不会重新弹出。整页不自动刷新。
未来更大的策略可能超过 192 MiB,应先测量实际峰值,再评估运行库构建和加载方案,不应直接把上限恢复为 4 GiB。按需加载可选动作可进一步减少多策略机器人的开销,但本次仍保留全部策略的启动加载;Microban 单策略启动也报错,按需加载不是该问题的独立解法。
相关上游记录:ONNX Runtime iOS WASM 初始化内存问题。上游记录与本项目现象一致,但不能代替具体手机的真机内存诊断。
回归记录
本机 Chromium 中,使用代理 Worker,对原始运行库和修改后的运行库分别运行所有实际 ONNX 文件。每款机器人同时保留它的全部策略会话,每个策略执行 3 组输入:
| 机器人 | 策略数 | 测得 WASM 推理堆 | 输出比较 |
|---|---|---|---|
| Microduck | 9 | 23.125 MiB | 完全一致 |
| Microban | 1 | 16 MiB | 完全一致 |
| RP1 | 3 | 16 MiB | 完全一致 |
| Booster T1 | 1 | 16 MiB | 完全一致 |
| Apptronik Apollo | 1 | 16 MiB | 完全一致 |
这些是本次测试输入下的推理堆测量,不是页面总内存,也不是所有运行状态的峰值保证。
Chromium 与 WebKit 使用 390 × 844、DPR 3 的触屏视口,验证 Microban → Microduck → Microban 的打开、播放、暂停、关闭,关闭后专用 Worker 为 0。Canvas 保持 1170 × 2532。另对启动内存错误进行故障注入,验证一次自动恢复、连续失败停止、手动重试、关闭时取消恢复。
这是桌面上的浏览器引擎测试,不等于已在所有 iPhone 和安卓真机上验证。发布后还应使用此前报错的真机回归首次打开及连续切换。
运行单元回归:
node --test sandbox/test/ort-memory.test.js sandbox/test/session-loading.test.js tests/walking-lifecycle.test.js tests/document-images.test.js tests/build-versions.test.js sandbox/test/render-budget.test.js
项目 README 图片
项目 x5ew2arrcqjh 的 双腿结构示意.svg 文件存在且返回 HTTP 200,但下载接口响应为 application/octet-stream、attachment,并带 nosniff。因此浏览器无法直接按 SVG 图片展示。
前端对仓库相对路径图片读取文件后补上正确的图片 MIME,以 Blob URL 交给 <img> 展示,SVG 不插入 HTML。外部图片保留原生加载,不强制要求外部站点提供 fetch CORS。关闭/切换文档时终止请求并释放 Blob URL。Chromium 和 WebKit 的桌面、触屏视口均已用线上实际文件验证 1100 × 620 图片成功展示。
不需要重新上传模型或图片;部署新前端即可。后端后续也可为图片预览返回正确的 Content-Type,保留下载接口用于附件下载。