cover_url、urdf_main_object_key、urdf_prefix只存相对路径,不包含域名+环境根目录

This commit is contained in:
lxp
2026-10-19 14:53:06 +08:00
parent 8a3ecabdc0
commit f8f2e95dbe
34 changed files with 1700 additions and 58 deletions
+187 -8
View File
@@ -25,10 +25,10 @@ CREATE TABLE project (
owner_user_id BIGINT NOT NULL COMMENT '所属平台用户',
name VARCHAR(100) NOT NULL COMMENT '项目名称',
description TEXT NOT NULL COMMENT '项目描述',
cover_url VARCHAR(2048) NULL COMMENT '封面图片 HTTPS 地址',
urdf_main_object_key VARCHAR(512) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL DEFAULT '' COMMENT 'URDF主文件OSS对象键,不保存完整URL',
cover_url VARCHAR(2048) NULL COMMENT '项目封面,平台资源存环境相对路径,外部图片存完整HTTPS地址',
urdf_main_object_key VARCHAR(512) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL DEFAULT '' COMMENT 'URDF主文件环境相对路径,以斜杠开头,不含域名和环境根目录',
urdf_files JSON NOT NULL DEFAULT (JSON_ARRAY()) COMMENT 'URDF文件清单数组,元素包含relativePath和sizeBytes,相对路径以urdf_prefix为基准',
urdf_prefix VARCHAR(512) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL DEFAULT '' COMMENT 'URDF资源OSS目录前缀,包含环境根目录和上传批次,以斜杠结尾',
urdf_prefix VARCHAR(512) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL DEFAULT '' COMMENT 'URDF资源环境相对目录,包含上传批次,以斜杠开头和结尾',
project_type VARCHAR(64) NOT NULL COMMENT '配置中的项目类型编码',
gitea_repo_id BIGINT NULL COMMENT 'Gitea 仓库标识',
gitea_owner VARCHAR(100) NOT NULL COMMENT 'Gitea 仓库所属组织',
@@ -91,10 +91,10 @@ CREATE TABLE project_like (
```sql
ALTER TABLE project
ADD COLUMN cover_url VARCHAR(2048) NULL COMMENT '封面图片 HTTPS 地址' AFTER description;
ADD COLUMN cover_url VARCHAR(2048) NULL COMMENT '项目封面,平台资源存环境相对路径,外部图片存完整HTTPS地址' AFTER description;
```
历史项目的封面为 NULL。字段保存固定公开地址,可以来自 OSS、CDN 或外部 HTTPS 图片;不存储临时签名下载地址。替换、清除封面和删除项目不会自动删除 OSS 对象,Fork 可能共用同一地址。
历史项目的封面为 NULL。平台封面保存 `/project-covers/...` 环境相对路径;外部 HTTPS 图片保留完整地址。历史完整平台 URL 仍可读取,不保存临时签名下载地址。替换、清除封面和删除项目不会自动删除 OSS 对象,Fork 可能共用同一资源。
## 已有数据库增加项目 URDF
@@ -104,14 +104,193 @@ ALTER TABLE project
ALTER TABLE project
ADD COLUMN urdf_main_object_key VARCHAR(512)
CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL DEFAULT ''
COMMENT 'URDF主文件OSS对象键,不保存完整URL',
COMMENT 'URDF主文件环境相对路径,以斜杠开头,不含域名和环境根目录',
ADD COLUMN urdf_files JSON NOT NULL DEFAULT (JSON_ARRAY())
COMMENT 'URDF文件清单数组,元素包含relativePath和sizeBytes,相对路径以urdf_prefix为基准',
ADD COLUMN urdf_prefix VARCHAR(512)
CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL DEFAULT ''
COMMENT 'URDF资源OSS目录前缀,包含环境根目录和上传批次,以斜杠结尾';
COMMENT 'URDF资源环境相对目录,包含上传批次,以斜杠开头和结尾';
```
未上传或已清除时,两个字符串均为 `''`,文件清单为 `[]`。每个项目只绑定一个当前资源包,包内必须恰好有一个 `.urdf`(忽略扩展名大小写)。清单包含全部文件,例如 `[{"relativePath":"urdf/robot.urdf","sizeBytes":1234},{"relativePath":"meshes/base.stl","sizeBytes":5678}]`。
前缀为 `{环境根目录}/urdf/{projectCode}/{batchCode}/`,主文件对象键为此前缀加主文件相对路径。数据库不保存完整 URL;接口根据 OSS/CDN 配置生成并编码 URL。替换、清除、删除项目不物理删除对象,公开旧链接仍可读取;Fork 复制到新项目的独立目录,不共用源前缀。URDF 不进入 Gitea、不生成 Commit,更新立即影响社区展示。
存储前缀为 `/urdf/{projectCode}/{batchCode}/`,主文件路径为此前缀加主文件相对路径,不含域名及环境根目录。实际 OSS key 为 `{环境根目录}{存储路径}`,接口根据 OSS/CDN 配置生成并编码 URL。历史带当前环境根目录的 key 兼容读取;其他环境的 key 不会被自动重定位。替换、清除、删除项目不物理删除对象,公开旧链接仍可读取;Fork 复制到新项目的独立目录,不共用源前缀。URDF 不进入 Gitea、不生成 Commit,更新立即影响社区展示。
## 资源路径历史数据迁移
先升级所有在线及导入写入进程,新版本兼容新旧格式,读取不修改记录。按环境分别执行以下操作;test 根目录为 `vibemake_dev`,prod 为 `vibemake`。OSS 对象不移动,`urdf_files`、`updated_at` 不变。不要在不同环境共用同一业务数据库。
迁移前备份数据库,并将候选记录的原值导出至备份目录。以下临时表仅属于当前数据库连接,不能代替持久备份。封面按每个受控公开基础地址分别执行一遍,包含 Bucket 标准域名、当前 CDN 基础地址和 `community.oss.legacy-public-base-urls` 中的历史地址;基础地址不含环境根目录。不使用全局 REPLACE,不转换外链、带参数/片段地址或其他环境路径。
### 预览与准备
以下命令在同一个 MySQL 8 连接内执行。仅自动转换上传流程生成的规范 ASCII 封面路径,编码形式、非标准目录和异常 URDF 记录列出后跳过,由维护人员核验。数据库比较使用二进制排序规则,避免默认不区分大小写导致误匹配。所有正则的输入和模式均显式指定 `utf8mb4_bin`,避免字段、会话变量和 CONCAT 结果的排序规则推导冲突(1267);仅设置 SET NAMES 不足以消除表达式冲突。这里是字符排序规则,不使用 BINARY 强制转换作为正则参数。
```sql
-- resource-path-migration-prepare
SET NAMES utf8mb4 COLLATE utf8mb4_bin;
SET @resource_root = 'vibemake_dev';
SET @resource_public_base = 'https://linkerbot.oss-cn-beijing.aliyuncs.com';
SET @cover_prefix = CONCAT(TRIM(TRAILING '/' FROM @resource_public_base), '/', @resource_root, '/project-covers/');
DROP TEMPORARY TABLE IF EXISTS resource_path_audit;
CREATE TEMPORARY TABLE resource_path_audit AS
SELECT project_code, cover_url AS old_cover_url,
urdf_main_object_key AS old_main, urdf_prefix AS old_prefix,
LEFT(cover_url, CHAR_LENGTH(@cover_prefix)) COLLATE utf8mb4_bin = @cover_prefix COLLATE utf8mb4_bin
AND REGEXP_LIKE(SUBSTRING(cover_url, CHAR_LENGTH(@cover_prefix) + 1) COLLATE utf8mb4_bin,
'^[a-z0-9]{12}([a-z0-9]{20})?/[0-9]{8}/[a-f0-9]{32}[.](jpg|png|webp)$' COLLATE utf8mb4_bin, 'c') AS cover_ok,
REGEXP_LIKE(urdf_prefix COLLATE utf8mb4_bin,
CONCAT('^', @resource_root, '/urdf/', TRIM(project_code), '/[a-f0-9]{32}/$') COLLATE utf8mb4_bin, 'c')
AND LEFT(urdf_main_object_key, CHAR_LENGTH(urdf_prefix)) COLLATE utf8mb4_bin = urdf_prefix COLLATE utf8mb4_bin
AND CHAR_LENGTH(urdf_main_object_key) > CHAR_LENGTH(urdf_prefix)
AND REGEXP_LIKE(urdf_main_object_key COLLATE utf8mb4_bin, '[.]urdf$' COLLATE utf8mb4_bin, 'i')
AND LOCATE('//', urdf_main_object_key) = 0
AND LOCATE(CHAR(92), urdf_main_object_key) = 0
AND NOT REGEXP_LIKE(urdf_main_object_key COLLATE utf8mb4_bin,
'(^|/)[.]{1,2}(/|$)|(^|/)[.]git(/|$)|[[:cntrl:]:]' COLLATE utf8mb4_bin, 'i') AS urdf_ok
FROM project;
DROP TEMPORARY TABLE IF EXISTS resource_path_changes;
CREATE TEMPORARY TABLE resource_path_changes AS
SELECT project_code, old_cover_url, old_main, old_prefix,
CASE WHEN cover_ok THEN CONCAT('/project-covers/', SUBSTRING(old_cover_url, CHAR_LENGTH(@cover_prefix) + 1)) ELSE old_cover_url END AS new_cover_url,
CASE WHEN urdf_ok THEN SUBSTRING(old_main, CHAR_LENGTH(@resource_root) + 1) ELSE old_main END AS new_main,
CASE WHEN urdf_ok THEN SUBSTRING(old_prefix, CHAR_LENGTH(@resource_root) + 1) ELSE old_prefix END AS new_prefix
FROM resource_path_audit WHERE cover_ok OR urdf_ok;
SELECT COUNT(*) AS candidate_count FROM resource_path_changes;
-- 将下列结果导出并保存;包含迁移前后值,供审计及精确恢复使用。
SELECT * FROM resource_path_changes ORDER BY project_code;
-- 必须人工核验的封面及 URDF,结果不包含完整外链。
SELECT project_code, '封面路径非标准或包含参数,请人工核验' AS reason
FROM resource_path_audit
WHERE LEFT(old_cover_url, CHAR_LENGTH(@cover_prefix)) COLLATE utf8mb4_bin = @cover_prefix COLLATE utf8mb4_bin AND NOT cover_ok
UNION ALL
SELECT project_code, 'URDF路径或主文件关系异常,或属于其他环境' AS reason
FROM resource_path_audit
WHERE (old_main <> '' OR old_prefix <> '') AND NOT urdf_ok
AND NOT (LEFT(old_main, 6) = '/urdf/' AND LEFT(old_prefix, 6) = '/urdf/');
```
### 人工执行转换
确认备份、预览和异常清单后,在原连接内执行。更新时比较三列原值,避免覆盖预览后的并发修改;数量不足时重新预览,不能删除原值比较条件强制更新。再次运行准备及转换流程时,已转换行不会再次命中。
```sql
-- resource-path-migration-apply
START TRANSACTION;
UPDATE project p JOIN resource_path_changes c ON c.project_code = p.project_code
SET p.cover_url = c.new_cover_url,
p.urdf_main_object_key = c.new_main,
p.urdf_prefix = c.new_prefix
WHERE p.cover_url COLLATE utf8mb4_bin <=> c.old_cover_url COLLATE utf8mb4_bin
AND p.urdf_main_object_key COLLATE utf8mb4_bin = c.old_main COLLATE utf8mb4_bin
AND p.urdf_prefix COLLATE utf8mb4_bin = c.old_prefix COLLATE utf8mb4_bin;
COMMIT;
```
验证项目列表、详情、AI 卡片及 Fork 的公开 URL 与迁移前指向相同对象。迁移不触发项目重新发布,也不删除任何 OSS 对象。
### URDF 更新遇到 1267 时续跑
旧脚本如果在 URDF 更新处报 `Illegal mix of collations ... regexp_like`,先前成功的封面更新可能仍未提交。保留原连接,在同一连接执行下面的续跑 SQL;不要重新发起 START TRANSACTION 或修改字段排序规则。末尾 COMMIT 会同时提交该连接中先前成功的更新。prod 将根目录改为 `vibemake`。该脚本不再修改封面,且只匹配未转换的当前环境 URDF。
```sql
-- resource-path-migration-resume-urdf
SET NAMES utf8mb4 COLLATE utf8mb4_bin;
SET @resource_root = 'vibemake_dev';
UPDATE project
SET urdf_main_object_key = SUBSTRING(urdf_main_object_key, CHAR_LENGTH(@resource_root) + 1),
urdf_prefix = SUBSTRING(urdf_prefix, CHAR_LENGTH(@resource_root) + 1)
WHERE REGEXP_LIKE(
urdf_prefix COLLATE utf8mb4_bin,
CONCAT('^', @resource_root, '/urdf/', TRIM(project_code), '/[a-f0-9]{32}/$') COLLATE utf8mb4_bin,
'c'
)
AND LEFT(urdf_main_object_key, CHAR_LENGTH(urdf_prefix)) COLLATE utf8mb4_bin = urdf_prefix COLLATE utf8mb4_bin
AND CHAR_LENGTH(urdf_main_object_key) > CHAR_LENGTH(urdf_prefix)
AND REGEXP_LIKE(urdf_main_object_key COLLATE utf8mb4_bin, '[.]urdf$' COLLATE utf8mb4_bin, 'i')
AND LOCATE('//', urdf_main_object_key) = 0
AND LOCATE(CHAR(92), urdf_main_object_key) = 0
AND NOT REGEXP_LIKE(
urdf_main_object_key COLLATE utf8mb4_bin,
'(^|/)[.]{1,2}(/|$)|(^|/)[.]git(/|$)|[[:cntrl:]:]' COLLATE utf8mb4_bin,
'i'
);
COMMIT;
```
### 更新字段中文注释
以下 DDL 独立执行,不与数据转换事务混用。字段名、类型、长度及空值约定不变;应用不会自动执行。
```sql
ALTER TABLE project
MODIFY COLUMN cover_url VARCHAR(2048) NULL
COMMENT '项目封面,平台资源存环境相对路径,外部图片存完整HTTPS地址',
MODIFY COLUMN urdf_main_object_key VARCHAR(512) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL DEFAULT ''
COMMENT 'URDF主文件环境相对路径,以斜杠开头,不含域名和环境根目录',
MODIFY COLUMN urdf_prefix VARCHAR(512) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL DEFAULT ''
COMMENT 'URDF资源环境相对目录,包含上传批次,以斜杠开头和结尾';
```
### 回退旧版本
先暂停所有资源写入并备份数据库。必须转换当前全部新格式记录,不能仅恢复迁移前备份,否则会丢失升级后的有效写入。回退封面时需要 UTF-8 URL 编码,使用离线生成器准备 SQL 值;工具不连接数据库,也不执行 SQL。
```sql
-- 导出查询结果为 JSON Lines(仅结果值,无列头);保持资源写入暂停。
SELECT JSON_OBJECT('projectCode', project_code, 'coverPath', cover_url)
FROM project WHERE LEFT(cover_url, 16) = '/project-covers/';
```
```bash
python3 scripts/resource-path-rollback.py --root vibemake_dev \
--public-base-url 'https://linkerbot.oss-cn-beijing.aliyuncs.com' \
--input /backup/resource-covers.jsonl --output /backup/resource-cover-values.txt
```
生成失败时不要继续。新开连接,设置与当前环境一致的根目录,执行以下准备 SQL,再人工执行生成的 `.txt` 中 INSERT 语句。生成器将中文、空格、百分号等正确编码;超出旧字段 2048 字符上限时会拒绝生成,需先修复该项目封面或保留兼容版本。
```sql
-- resource-path-rollback-prepare
SET NAMES utf8mb4 COLLATE utf8mb4_bin;
SET @resource_root = 'vibemake_dev';
DROP TEMPORARY TABLE IF EXISTS resource_cover_rollback;
CREATE TEMPORARY TABLE resource_cover_rollback (
project_code CHAR(32) NOT NULL PRIMARY KEY,
cover_path VARCHAR(2048) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL,
full_url VARCHAR(2048) NOT NULL
);
-- 在此执行生成器输出的 INSERT;为空文件表示没有待回退的平台封面。
```
确认映射覆盖所有 `/project-covers/` 记录,再执行以下 SQL。URDF 两列仅在属于本项目且互相匹配时成对恢复前缀;异常记录先修复,不能直接回退代码。
```sql
-- resource-path-rollback-apply
START TRANSACTION;
UPDATE project p JOIN resource_cover_rollback c ON c.project_code = p.project_code
SET p.cover_url = c.full_url
WHERE p.cover_url COLLATE utf8mb4_bin = c.cover_path COLLATE utf8mb4_bin;
UPDATE project
SET urdf_main_object_key = CONCAT(@resource_root, urdf_main_object_key),
urdf_prefix = CONCAT(@resource_root, urdf_prefix)
WHERE REGEXP_LIKE(urdf_prefix COLLATE utf8mb4_bin,
CONCAT('^/urdf/', TRIM(project_code), '/[a-f0-9]{32}/$') COLLATE utf8mb4_bin, 'c')
AND LEFT(urdf_main_object_key, CHAR_LENGTH(urdf_prefix)) COLLATE utf8mb4_bin = urdf_prefix COLLATE utf8mb4_bin
AND CHAR_LENGTH(urdf_main_object_key) > CHAR_LENGTH(urdf_prefix)
AND REGEXP_LIKE(urdf_main_object_key COLLATE utf8mb4_bin, '[.]urdf$' COLLATE utf8mb4_bin, 'i')
AND LOCATE('//', urdf_main_object_key) = 0
AND LOCATE(CHAR(92), urdf_main_object_key) = 0
AND NOT REGEXP_LIKE(urdf_main_object_key COLLATE utf8mb4_bin,
'(^|/)[.]{1,2}(/|$)|(^|/)[.]git(/|$)|[[:cntrl:]:]' COLLATE utf8mb4_bin, 'i')
AND CHAR_LENGTH(CONCAT(@resource_root, urdf_main_object_key)) <= 512
AND CHAR_LENGTH(CONCAT(@resource_root, urdf_prefix)) <= 512;
COMMIT;
SELECT project_code FROM project
WHERE LEFT(cover_url, 16) = '/project-covers/'
OR LEFT(urdf_main_object_key, 6) = '/urdf/' OR LEFT(urdf_prefix, 6) = '/urdf/';
```
最后查询必须为空,随后验证旧格式地址并回退应用,再恢复写入。旧版不识别相对路径,禁止只回退代码而跳过数据转换。