sent2video 开发记录：从小说到可交付的镜头

Posted on 2026-10-21

小说写出来之后，制作工作还包括确认剧本、安排镜头、整理视觉参考、挑选片段，再把素材交给剪辑师。这次我在 Artcraft 的桌面与 3D 编辑能力基础上接入 Braipen，把这些环节整理进了 sent2video。

本轮通过 AI 编码助手协作完成集成、代码审查与修复，并用本地回归和真实模型接口验证结果。工作重点是让创作版本有依据、模型任务可追踪、生成素材能在本地继续使用。

把创作确认接到镜头制作

Braipen 提供小说与分场剧本的双向转换。转换结果先进入可编辑版本，作者确认后，再交给 sent2video 做镜头规划。原稿和修订记录随作品保留，新的剧本版本通过人工选择进入后续制作。

Braipen 创作 → 确认分场剧本 → 镜头规划 → 视觉资产与构图 → 无声预演 → 生成与选片 → 原始素材交付

镜头可以手工增删、调整顺序和时长，也可以关联具体的角色、场景或道具版本。构图需要空间辅助时，可以使用代理形体、相机和本地模型摆放，再将截图保存为分镜参考。静帧、对白文字和镜头时长共同组成应用内的无声预演。

一个视频候选需要说明自己来自哪个镜头、哪次修改，以及当时使用了哪些参考。镜头采用稳定 ID，显示镜号随排序变化；生成任务保存提交时的镜头、提示词、参数和资产版本快照。后续改稿或更换素材时，已有候选仍保留原来的制作依据。

永久作品保存在用户选择的目录中。project.json 记录文本、镜头、版本关系和选片结果，图片、模型与视频放在独立素材目录，通过相对路径引用。Rust 统一处理串行保存、同目录临时文件、原子替换和有效备份。

保存成功以写盘结果为准。正常关闭前，编辑草稿和保存队列先完成落盘；已归档作品经过重新打开、清除浏览器编辑缓存和整目录移动验证。重新打开模型素材时，也会再次检查 GLB 所引用的资源。

联调中有一类容易被忽视的问题：用户在作品 A 中发起转换，等待期间切到作品 B，A 的结果随后返回。仅靠页面上的加载状态，无法决定结果应该写在哪里。

我为这些回写补上了项目会话和编辑版本校验。剧本确认与自动保存共用写入队列，确认期间冻结会改变版本的输入；作品切换先保存当前编辑快照。3D 异步操作则绑定开始时的编辑器实例，完成时重新检查所属镜头，保证布局写入对应作品。

这些处理把“请求已经完成”和“结果可以写入当前状态”分成了两个判断。用户继续编辑时，历史结果和当前版本都有明确归属。

视频生成入口接入火山方舟。每次提交先保存镜头，再记录本地请求标识和费用预留，随后发送生成请求。相同请求标识对应同一条本地任务；状态查询和结果下载沿用已有任务记录。

网络超时时，请求可能已经到达供应商。应用会保留未知状态及预算记录，交给操作者核对，避免把超时直接当成再次付费提交的理由。费用预留用于控制本地调用规模，实际消费则依据接口用量与账单分别记录。

成功结果自动下载到项目目录，再进入候选列表，由操作者选择交付版本。声音标记来自实际媒体解析，交付时保留原始视频文件与音轨状态，并提供 CSV 镜头对应表和 HTML 索引。模型凭据独立保存在本机，Windows 端使用当前用户绑定的加密保存方式。

测试原稿包含水彩动画画风、兔子邮差和狐狸店主。最初拆镜时只传入当前场次，视频提示词主要留下人物名字与动作，生成结果偏向写实场景。

修复时，我将原稿中的视觉上下文一并传给拆镜操作，要求每个镜头提示词保留画风和角色特征。复测后的提示词包含兔狐角色与水彩设定，生成画面也呈现出相应的插画风格。原有候选继续保留，输入与结果都可以回看。

两张停帧来自不同镜头的联调结果，用于说明输入信息与样例表现之间的关系。候选快照保留各自的原始提示词，便于继续检查和选择。

验证内容	实际结果
文本改编与拆镜	完成 5 次真实 DeepSeek 调用，覆盖小说转剧本、剧本扩写小说及拆镜上下文验证。
视频生成	Seedance 1.0 pro fast 成功生成 3 段视频，覆盖文生视频与首帧生成。
媒体解析	请求规格为 4 秒、480p；文件实测约 4.04 秒，三段均为无声视频。
本地交付	通过桌面流程导出原始视频、CSV 镜头表、剧本文本和 HTML 索引。
文件完整性	逐文件核对 SHA-256，导出视频与项目中的源候选一致。

本地回归覆盖了存储恢复、跨作品隔离、版本关联和任务幂等；桌面验证覆盖从创作交接到选片导出的 15 项场景。使用模拟响应的回归检查与真实模型调用分别留有记录，验证结论对应各自覆盖的范围。