Files
vibemake/docs/simulation-memory.md
T

4.4 KiB
Raw Blame History

仿真内存与图片兼容(2026-11-06)

这次修复了什么

onnxruntime-web@1.27.0 的 WASM glue 在 numThreads = 1 时仍创建共享内存:初始 256 页(16 MiB),最大 65536 页(4 GiB)。最大值不是已经使用的物理内存;浏览器也可能在创建或保留内存地址空间时拒绝请求。仅修改错误文案、降低模型画质或增加重试次数不能解决这一类初始化失败。

两套仿真入口统一通过 sandbox/build/ort-memory.js 构建运行库,将最大值及对应的增长边界调整为 192 MiB,初始仍为 16 MiB,按需增长。该限制仅属于 ONNX 推理堆,不是整个网页的内存上限。MuJoCo、模型、纹理和渲染资源另外占用内存。

  • 使用原始 SIMD WASM 二进制、原始 float32 策略、全部已声明动作;模型、材质、画质不变。
  • 不修改全局 WebAssembly.Memory,不修改 node_modules,不根据手机型号分支。
  • 运行库内容带哈希,页面和代理 Worker 引用同一份构建产物。
  • 固定 ORT 版本,同时校验上游 glue 的 SHA-256 和替换次数。依赖变化会阻止构建,必须重新检查分配器并回归后才能升级。
  • 策略创建、资源下载限制并发;VFS 写入后不再保留完整下载副本。
  • 仿真关闭/失败时先等待在途推理,再释放会话、物理对象、渲染资源,移除 iframe 及其专用 Worker。
  • 仅在尚未加载成功时,首次内存错误会在释放旧运行环境后自动创建新环境重试一次。第二次失败停止;运行中的仿真不会自行重启;用户关闭后也不会重新弹出。整页不自动刷新。

未来更大的策略可能超过 192 MiB,应先测量实际峰值,再评估运行库构建和加载方案,不应直接把上限恢复为 4 GiB。按需加载可选动作可进一步减少多策略机器人的开销,但本次仍保留全部策略的启动加载;Microban 单策略启动也报错,按需加载不是该问题的独立解法。

相关上游记录:ONNX Runtime iOS WASM 初始化内存问题。上游记录与本项目现象一致,但不能代替具体手机的真机内存诊断。

回归记录

本机 Chromium 中,使用代理 Worker,对原始运行库和修改后的运行库分别运行所有实际 ONNX 文件。每款机器人同时保留它的全部策略会话,每个策略执行 3 组输入:

机器人 策略数 测得 WASM 推理堆 输出比较
Microduck 9 23.125 MiB 完全一致
Microban 1 16 MiB 完全一致
RP1 3 16 MiB 完全一致
Booster T1 1 16 MiB 完全一致
Apptronik Apollo 1 16 MiB 完全一致

这些是本次测试输入下的推理堆测量,不是页面总内存,也不是所有运行状态的峰值保证。

Chromium 与 WebKit 使用 390 × 844、DPR 3 的触屏视口,验证 Microban → Microduck → Microban 的打开、播放、暂停、关闭,关闭后专用 Worker 为 0。Canvas 保持 1170 × 2532。另对启动内存错误进行故障注入,验证一次自动恢复、连续失败停止、手动重试、关闭时取消恢复。

这是桌面上的浏览器引擎测试,不等于已在所有 iPhone 和安卓真机上验证。发布后还应使用此前报错的真机回归首次打开及连续切换。

运行单元回归:

node --test sandbox/test/ort-memory.test.js sandbox/test/session-loading.test.js tests/walking-lifecycle.test.js tests/document-images.test.js tests/build-versions.test.js sandbox/test/render-budget.test.js

项目 README 图片

项目 x5ew2arrcqjh 的 双腿结构示意.svg 文件存在且返回 HTTP 200,但下载接口响应为 application/octet-stream、attachment,并带 nosniff。因此浏览器无法直接按 SVG 图片展示。

前端对仓库相对路径图片读取文件后补上正确的图片 MIME,以 Blob URL 交给 <img> 展示,SVG 不插入 HTML。外部图片保留原生加载,不强制要求外部站点提供 fetch CORS。关闭/切换文档时终止请求并释放 Blob URL。Chromium 和 WebKit 的桌面、触屏视口均已用线上实际文件验证 1100 × 620 图片成功展示。

不需要重新上传模型或图片;部署新前端即可。后端后续也可为图片预览返回正确的 Content-Type,保留下载接口用于附件下载。