19 KiB
数据库初始化
业务数据库名为 community,只包含以下四张表。由人工执行;应用不运行迁移或自动建表。以下 SQL 面向 MySQL 8.0.13 及以上(URDF JSON 默认值使用表达式)。
CREATE DATABASE IF NOT EXISTS community CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
USE community;
CREATE TABLE sys_user (
id BIGINT NOT NULL AUTO_INCREMENT COMMENT '内部用户主键',
user_code CHAR(32) NOT NULL COMMENT '用户业务编码',
email VARCHAR(254) NOT NULL COMMENT '规范化后的登录邮箱',
nickname VARCHAR(100) NOT NULL COMMENT '用户昵称',
status VARCHAR(16) NOT NULL DEFAULT 'ACTIVE' COMMENT '账号状态',
created_at DATETIME(3) NOT NULL COMMENT '创建时间 UTC',
updated_at DATETIME(3) NOT NULL COMMENT '更新时间 UTC',
PRIMARY KEY (id),
UNIQUE KEY uk_user_code (user_code),
UNIQUE KEY uk_user_email (email)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='平台用户';
CREATE TABLE project (
id BIGINT NOT NULL AUTO_INCREMENT COMMENT '内部项目主键',
project_code CHAR(32) NOT NULL COMMENT '项目业务编码',
owner_user_id BIGINT NOT NULL COMMENT '所属平台用户',
name VARCHAR(100) NOT NULL COMMENT '项目名称',
description TEXT NOT NULL COMMENT '项目描述',
cover_url VARCHAR(2048) NULL COMMENT '项目封面,平台资源存环境相对路径,外部图片存完整HTTPS地址',
urdf_main_object_key VARCHAR(512) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL DEFAULT '' COMMENT 'URDF主文件环境相对路径,以斜杠开头,不含域名和环境根目录',
urdf_files JSON NOT NULL DEFAULT (JSON_ARRAY()) COMMENT 'URDF文件清单数组,元素包含relativePath和sizeBytes,相对路径以urdf_prefix为基准',
urdf_prefix VARCHAR(512) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL DEFAULT '' COMMENT 'URDF资源环境相对目录,包含上传批次,以斜杠开头和结尾',
project_type VARCHAR(64) NOT NULL COMMENT '配置中的项目类型编码',
gitea_repo_id BIGINT NULL COMMENT 'Gitea 仓库标识',
gitea_owner VARCHAR(100) NOT NULL COMMENT 'Gitea 仓库所属组织',
gitea_repo_name VARCHAR(100) NOT NULL COMMENT 'Gitea 仓库名称',
repo_status VARCHAR(16) NOT NULL DEFAULT 'CREATING' COMMENT '仓库状态 CREATING READY FAILED',
publish_status VARCHAR(16) NOT NULL DEFAULT 'UNPUBLISHED' COMMENT '社区状态 UNPUBLISHED PUBLISHED',
published_commit_sha VARCHAR(64) NULL COMMENT '社区已发布 Commit SHA',
published_at DATETIME(3) NULL COMMENT '最近发布时间 UTC',
source_project_id BIGINT NULL COMMENT 'Fork 来源项目',
source_commit_sha VARCHAR(64) NULL COMMENT 'Fork 来源已发布 Commit SHA',
deleted TINYINT(1) NOT NULL DEFAULT 0 COMMENT '逻辑删除标识',
created_at DATETIME(3) NOT NULL COMMENT '创建时间 UTC',
updated_at DATETIME(3) NOT NULL COMMENT '更新时间 UTC',
PRIMARY KEY (id),
UNIQUE KEY uk_project_code (project_code),
UNIQUE KEY uk_project_repo (gitea_owner, gitea_repo_name),
UNIQUE KEY uk_project_repo_id (gitea_repo_id),
KEY idx_project_owner (owner_user_id, deleted, created_at),
KEY idx_project_community (publish_status, deleted, published_at),
KEY idx_project_type (publish_status, deleted, project_type, published_at),
CONSTRAINT fk_project_owner FOREIGN KEY (owner_user_id) REFERENCES sys_user(id),
CONSTRAINT fk_project_source FOREIGN KEY (source_project_id) REFERENCES project(id)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='用户项目与社区发布';
CREATE TABLE project_comment (
id BIGINT NOT NULL AUTO_INCREMENT COMMENT '内部评论主键',
comment_code CHAR(32) NOT NULL COMMENT '评论业务编码',
project_id BIGINT NOT NULL COMMENT '所属项目',
user_id BIGINT NOT NULL COMMENT '评论用户',
content TEXT NOT NULL COMMENT '纯文本评论内容',
deleted TINYINT(1) NOT NULL DEFAULT 0 COMMENT '逻辑删除标识',
created_at DATETIME(3) NOT NULL COMMENT '创建时间 UTC',
updated_at DATETIME(3) NOT NULL COMMENT '更新时间 UTC',
PRIMARY KEY (id),
UNIQUE KEY uk_comment_code (comment_code),
KEY idx_comment_project (project_id, deleted, created_at),
CONSTRAINT fk_comment_project FOREIGN KEY (project_id) REFERENCES project(id),
CONSTRAINT fk_comment_user FOREIGN KEY (user_id) REFERENCES sys_user(id)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='项目评论';
CREATE TABLE project_like (
id BIGINT NOT NULL AUTO_INCREMENT COMMENT '内部点赞主键',
project_id BIGINT NOT NULL COMMENT '所属项目',
user_id BIGINT NOT NULL COMMENT '点赞用户',
created_at DATETIME(3) NOT NULL COMMENT '点赞时间 UTC',
PRIMARY KEY (id),
UNIQUE KEY uk_like_project_user (project_id, user_id),
CONSTRAINT fk_like_project FOREIGN KEY (project_id) REFERENCES project(id),
CONSTRAINT fk_like_user FOREIGN KEY (user_id) REFERENCES sys_user(id)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='项目点赞';
内部 ID 仅用于数据库关联,对外使用业务编码。时间均由后端写入 UTC。CREATING 项目表示仓库初始化未完成,不代表编辑草稿。Gitea 数据库与业务库分离,不修改 Gitea 内部表。
新增项目和用户使用 12 位小写字母和数字编码,历史 32 位编码继续保留。现有 project_code CHAR(32) 和 user_code CHAR(32) 可容纳两者,不需要修改表结构或历史记录;仓库名称仍为 p_{projectCode}。用户编码由安全随机数生成,唯一索引兜底,冲突时最多尝试 5 次;同一邮箱并发注册复用已有用户。评论编码保持 32 位。GitHub 运维导入的来源和进度保存于批次状态目录,GitHub 来源不占用社区内部 Fork 来源字段。
已有数据库增加项目封面
已使用旧版结构的环境,先在对应业务库执行以下 SQL,再部署新版本应用;新建数据库已包含此字段,不重复执行。应用不会自动迁移数据库。
ALTER TABLE project
ADD COLUMN cover_url VARCHAR(2048) NULL COMMENT '项目封面,平台资源存环境相对路径,外部图片存完整HTTPS地址' AFTER description;
历史项目的封面为 NULL。平台封面保存 /project-covers/... 环境相对路径;外部 HTTPS 图片保留完整地址。历史完整平台 URL 仍可读取,不保存临时签名下载地址。替换、清除封面和删除项目不会自动删除 OSS 对象,Fork 可能共用同一资源。
已有数据库增加项目 URDF
先在对应业务库手动执行以下 SQL,再部署应用;新建数据库已包含三个字段,不重复执行。不要在应用启动时自动迁移。
ALTER TABLE project
ADD COLUMN urdf_main_object_key VARCHAR(512)
CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL DEFAULT ''
COMMENT 'URDF主文件环境相对路径,以斜杠开头,不含域名和环境根目录',
ADD COLUMN urdf_files JSON NOT NULL DEFAULT (JSON_ARRAY())
COMMENT 'URDF文件清单数组,元素包含relativePath和sizeBytes,相对路径以urdf_prefix为基准',
ADD COLUMN urdf_prefix VARCHAR(512)
CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL DEFAULT ''
COMMENT 'URDF资源环境相对目录,包含上传批次,以斜杠开头和结尾';
未上传或已清除时,两个字符串均为 '',文件清单为 []。每个项目只绑定一个当前资源包,包内必须恰好有一个 .urdf(忽略扩展名大小写)。清单包含全部文件,例如 [{"relativePath":"urdf/robot.urdf","sizeBytes":1234},{"relativePath":"meshes/base.stl","sizeBytes":5678}]。
存储前缀为 /urdf/{projectCode}/{batchCode}/,主文件路径为此前缀加主文件相对路径,不含域名及环境根目录。实际 OSS key 为 {环境根目录}{存储路径},接口根据 OSS/CDN 配置生成并编码 URL。历史带当前环境根目录的 key 兼容读取;其他环境的 key 不会被自动重定位。替换、清除、删除项目不物理删除对象,公开旧链接仍可读取;Fork 复制到新项目的独立目录,不共用源前缀。URDF 不进入 Gitea、不生成 Commit,更新立即影响社区展示。
资源路径历史数据迁移
先升级所有在线及导入写入进程,新版本兼容新旧格式,读取不修改记录。按环境分别执行以下操作;test 根目录为 vibemake_dev,prod 为 vibemake。OSS 对象不移动,urdf_files、updated_at 不变。不要在不同环境共用同一业务数据库。
迁移前备份数据库,并将候选记录的原值导出至备份目录。以下临时表仅属于当前数据库连接,不能代替持久备份。封面按每个受控公开基础地址分别执行一遍,包含 Bucket 标准域名、当前 CDN 基础地址和 community.oss.legacy-public-base-urls 中的历史地址;基础地址不含环境根目录。不使用全局 REPLACE,不转换外链、带参数/片段地址或其他环境路径。
预览与准备
以下命令在同一个 MySQL 8 连接内执行。仅自动转换上传流程生成的规范 ASCII 封面路径,编码形式、非标准目录和异常 URDF 记录列出后跳过,由维护人员核验。数据库比较使用二进制排序规则,避免默认不区分大小写导致误匹配。所有正则的输入和模式均显式指定 utf8mb4_bin,避免字段、会话变量和 CONCAT 结果的排序规则推导冲突(1267);仅设置 SET NAMES 不足以消除表达式冲突。这里是字符排序规则,不使用 BINARY 强制转换作为正则参数。
-- resource-path-migration-prepare
SET NAMES utf8mb4 COLLATE utf8mb4_bin;
SET @resource_root = 'vibemake_dev';
SET @resource_public_base = 'https://linkerbot.oss-cn-beijing.aliyuncs.com';
SET @cover_prefix = CONCAT(TRIM(TRAILING '/' FROM @resource_public_base), '/', @resource_root, '/project-covers/');
DROP TEMPORARY TABLE IF EXISTS resource_path_audit;
CREATE TEMPORARY TABLE resource_path_audit AS
SELECT project_code, cover_url AS old_cover_url,
urdf_main_object_key AS old_main, urdf_prefix AS old_prefix,
LEFT(cover_url, CHAR_LENGTH(@cover_prefix)) COLLATE utf8mb4_bin = @cover_prefix COLLATE utf8mb4_bin
AND REGEXP_LIKE(SUBSTRING(cover_url, CHAR_LENGTH(@cover_prefix) + 1) COLLATE utf8mb4_bin,
'^[a-z0-9]{12}([a-z0-9]{20})?/[0-9]{8}/[a-f0-9]{32}[.](jpg|png|webp)$' COLLATE utf8mb4_bin, 'c') AS cover_ok,
REGEXP_LIKE(urdf_prefix COLLATE utf8mb4_bin,
CONCAT('^', @resource_root, '/urdf/', TRIM(project_code), '/[a-f0-9]{32}/$') COLLATE utf8mb4_bin, 'c')
AND LEFT(urdf_main_object_key, CHAR_LENGTH(urdf_prefix)) COLLATE utf8mb4_bin = urdf_prefix COLLATE utf8mb4_bin
AND CHAR_LENGTH(urdf_main_object_key) > CHAR_LENGTH(urdf_prefix)
AND REGEXP_LIKE(urdf_main_object_key COLLATE utf8mb4_bin, '[.]urdf$' COLLATE utf8mb4_bin, 'i')
AND LOCATE('//', urdf_main_object_key) = 0
AND LOCATE(CHAR(92), urdf_main_object_key) = 0
AND NOT REGEXP_LIKE(urdf_main_object_key COLLATE utf8mb4_bin,
'(^|/)[.]{1,2}(/|$)|(^|/)[.]git(/|$)|[[:cntrl:]:]' COLLATE utf8mb4_bin, 'i') AS urdf_ok
FROM project;
DROP TEMPORARY TABLE IF EXISTS resource_path_changes;
CREATE TEMPORARY TABLE resource_path_changes AS
SELECT project_code, old_cover_url, old_main, old_prefix,
CASE WHEN cover_ok THEN CONCAT('/project-covers/', SUBSTRING(old_cover_url, CHAR_LENGTH(@cover_prefix) + 1)) ELSE old_cover_url END AS new_cover_url,
CASE WHEN urdf_ok THEN SUBSTRING(old_main, CHAR_LENGTH(@resource_root) + 1) ELSE old_main END AS new_main,
CASE WHEN urdf_ok THEN SUBSTRING(old_prefix, CHAR_LENGTH(@resource_root) + 1) ELSE old_prefix END AS new_prefix
FROM resource_path_audit WHERE cover_ok OR urdf_ok;
SELECT COUNT(*) AS candidate_count FROM resource_path_changes;
-- 将下列结果导出并保存;包含迁移前后值,供审计及精确恢复使用。
SELECT * FROM resource_path_changes ORDER BY project_code;
-- 必须人工核验的封面及 URDF,结果不包含完整外链。
SELECT project_code, '封面路径非标准或包含参数,请人工核验' AS reason
FROM resource_path_audit
WHERE LEFT(old_cover_url, CHAR_LENGTH(@cover_prefix)) COLLATE utf8mb4_bin = @cover_prefix COLLATE utf8mb4_bin AND NOT cover_ok
UNION ALL
SELECT project_code, 'URDF路径或主文件关系异常,或属于其他环境' AS reason
FROM resource_path_audit
WHERE (old_main <> '' OR old_prefix <> '') AND NOT urdf_ok
AND NOT (LEFT(old_main, 6) = '/urdf/' AND LEFT(old_prefix, 6) = '/urdf/');
人工执行转换
确认备份、预览和异常清单后,在原连接内执行。更新时比较三列原值,避免覆盖预览后的并发修改;数量不足时重新预览,不能删除原值比较条件强制更新。再次运行准备及转换流程时,已转换行不会再次命中。
-- resource-path-migration-apply
START TRANSACTION;
UPDATE project p JOIN resource_path_changes c ON c.project_code = p.project_code
SET p.cover_url = c.new_cover_url,
p.urdf_main_object_key = c.new_main,
p.urdf_prefix = c.new_prefix
WHERE p.cover_url COLLATE utf8mb4_bin <=> c.old_cover_url COLLATE utf8mb4_bin
AND p.urdf_main_object_key COLLATE utf8mb4_bin = c.old_main COLLATE utf8mb4_bin
AND p.urdf_prefix COLLATE utf8mb4_bin = c.old_prefix COLLATE utf8mb4_bin;
COMMIT;
验证项目列表、详情、AI 卡片及 Fork 的公开 URL 与迁移前指向相同对象。迁移不触发项目重新发布,也不删除任何 OSS 对象。
URDF 更新遇到 1267 时续跑
旧脚本如果在 URDF 更新处报 Illegal mix of collations ... regexp_like,先前成功的封面更新可能仍未提交。保留原连接,在同一连接执行下面的续跑 SQL;不要重新发起 START TRANSACTION 或修改字段排序规则。末尾 COMMIT 会同时提交该连接中先前成功的更新。prod 将根目录改为 vibemake。该脚本不再修改封面,且只匹配未转换的当前环境 URDF。
-- resource-path-migration-resume-urdf
SET NAMES utf8mb4 COLLATE utf8mb4_bin;
SET @resource_root = 'vibemake_dev';
UPDATE project
SET urdf_main_object_key = SUBSTRING(urdf_main_object_key, CHAR_LENGTH(@resource_root) + 1),
urdf_prefix = SUBSTRING(urdf_prefix, CHAR_LENGTH(@resource_root) + 1)
WHERE REGEXP_LIKE(
urdf_prefix COLLATE utf8mb4_bin,
CONCAT('^', @resource_root, '/urdf/', TRIM(project_code), '/[a-f0-9]{32}/$') COLLATE utf8mb4_bin,
'c'
)
AND LEFT(urdf_main_object_key, CHAR_LENGTH(urdf_prefix)) COLLATE utf8mb4_bin = urdf_prefix COLLATE utf8mb4_bin
AND CHAR_LENGTH(urdf_main_object_key) > CHAR_LENGTH(urdf_prefix)
AND REGEXP_LIKE(urdf_main_object_key COLLATE utf8mb4_bin, '[.]urdf$' COLLATE utf8mb4_bin, 'i')
AND LOCATE('//', urdf_main_object_key) = 0
AND LOCATE(CHAR(92), urdf_main_object_key) = 0
AND NOT REGEXP_LIKE(
urdf_main_object_key COLLATE utf8mb4_bin,
'(^|/)[.]{1,2}(/|$)|(^|/)[.]git(/|$)|[[:cntrl:]:]' COLLATE utf8mb4_bin,
'i'
);
COMMIT;
更新字段中文注释
以下 DDL 独立执行,不与数据转换事务混用。字段名、类型、长度及空值约定不变;应用不会自动执行。
ALTER TABLE project
MODIFY COLUMN cover_url VARCHAR(2048) NULL
COMMENT '项目封面,平台资源存环境相对路径,外部图片存完整HTTPS地址',
MODIFY COLUMN urdf_main_object_key VARCHAR(512) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL DEFAULT ''
COMMENT 'URDF主文件环境相对路径,以斜杠开头,不含域名和环境根目录',
MODIFY COLUMN urdf_prefix VARCHAR(512) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL DEFAULT ''
COMMENT 'URDF资源环境相对目录,包含上传批次,以斜杠开头和结尾';
回退旧版本
先暂停所有资源写入并备份数据库。必须转换当前全部新格式记录,不能仅恢复迁移前备份,否则会丢失升级后的有效写入。回退封面时需要 UTF-8 URL 编码,使用离线生成器准备 SQL 值;工具不连接数据库,也不执行 SQL。
-- 导出查询结果为 JSON Lines(仅结果值,无列头);保持资源写入暂停。
SELECT JSON_OBJECT('projectCode', project_code, 'coverPath', cover_url)
FROM project WHERE LEFT(cover_url, 16) = '/project-covers/';
python3 scripts/resource-path-rollback.py --root vibemake_dev \
--public-base-url 'https://linkerbot.oss-cn-beijing.aliyuncs.com' \
--input /backup/resource-covers.jsonl --output /backup/resource-cover-values.txt
生成失败时不要继续。新开连接,设置与当前环境一致的根目录,执行以下准备 SQL,再人工执行生成的 .txt 中 INSERT 语句。生成器将中文、空格、百分号等正确编码;超出旧字段 2048 字符上限时会拒绝生成,需先修复该项目封面或保留兼容版本。
-- resource-path-rollback-prepare
SET NAMES utf8mb4 COLLATE utf8mb4_bin;
SET @resource_root = 'vibemake_dev';
DROP TEMPORARY TABLE IF EXISTS resource_cover_rollback;
CREATE TEMPORARY TABLE resource_cover_rollback (
project_code CHAR(32) NOT NULL PRIMARY KEY,
cover_path VARCHAR(2048) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL,
full_url VARCHAR(2048) NOT NULL
);
-- 在此执行生成器输出的 INSERT;为空文件表示没有待回退的平台封面。
确认映射覆盖所有 /project-covers/ 记录,再执行以下 SQL。URDF 两列仅在属于本项目且互相匹配时成对恢复前缀;异常记录先修复,不能直接回退代码。
-- resource-path-rollback-apply
START TRANSACTION;
UPDATE project p JOIN resource_cover_rollback c ON c.project_code = p.project_code
SET p.cover_url = c.full_url
WHERE p.cover_url COLLATE utf8mb4_bin = c.cover_path COLLATE utf8mb4_bin;
UPDATE project
SET urdf_main_object_key = CONCAT(@resource_root, urdf_main_object_key),
urdf_prefix = CONCAT(@resource_root, urdf_prefix)
WHERE REGEXP_LIKE(urdf_prefix COLLATE utf8mb4_bin,
CONCAT('^/urdf/', TRIM(project_code), '/[a-f0-9]{32}/$') COLLATE utf8mb4_bin, 'c')
AND LEFT(urdf_main_object_key, CHAR_LENGTH(urdf_prefix)) COLLATE utf8mb4_bin = urdf_prefix COLLATE utf8mb4_bin
AND CHAR_LENGTH(urdf_main_object_key) > CHAR_LENGTH(urdf_prefix)
AND REGEXP_LIKE(urdf_main_object_key COLLATE utf8mb4_bin, '[.]urdf$' COLLATE utf8mb4_bin, 'i')
AND LOCATE('//', urdf_main_object_key) = 0
AND LOCATE(CHAR(92), urdf_main_object_key) = 0
AND NOT REGEXP_LIKE(urdf_main_object_key COLLATE utf8mb4_bin,
'(^|/)[.]{1,2}(/|$)|(^|/)[.]git(/|$)|[[:cntrl:]:]' COLLATE utf8mb4_bin, 'i')
AND CHAR_LENGTH(CONCAT(@resource_root, urdf_main_object_key)) <= 512
AND CHAR_LENGTH(CONCAT(@resource_root, urdf_prefix)) <= 512;
COMMIT;
SELECT project_code FROM project
WHERE LEFT(cover_url, 16) = '/project-covers/'
OR LEFT(urdf_main_object_key, 6) = '/urdf/' OR LEFT(urdf_prefix, 6) = '/urdf/';
最后查询必须为空,随后验证旧格式地址并回退应用,再恢复写入。旧版不识别相对路径,禁止只回退代码而跳过数据转换。