Timeline Studio 是一款基于 React 构建的开源视频编辑器，现在其所有的 AI 功能都完全在浏览器内部运行。作者的代码让用户能够生成配音、转录音频、检测主体、创建会说话的人物肖像并导出完成的剪辑，而无需将文件发送到远程服务器。

为什么“本地优先”的编辑器至关重要

典型的 AI 驱动视频工具会将原始素材流式传输到云服务，然后等待服务器运行语音转文本模型、图像分析流水线或深度伪造（deep-fake）生成器。这种往返过程会增加数秒或数分钟的延迟，并迫使用户将可能敏感的媒体文件托付给第三方。通过将所有计算保留在客户端设备上，Timeline Studio 消除了这些隐私顾虑，并避开了云端推理的持续成本。

浏览器是如何成为计算引擎的

在网页中运行沉重的神经网络不仅仅是加载一个模型文件那么简单。浏览器对内存、CPU 使用率和线程调度施加了严格的限制。作者发现，成功的实现必须将浏览器视为一个功能完备的操作系统：仔细分配内存、智能缓存数据，并将工作卸载到后台线程。

关键工程实践

  • 针对特定任务的模型路径 – 不同的 AI 任务使用最合适的运行时。语音转录运行编译为 WebAssembly (WASM) 的 Whisper，而神经肖像生成器则使用 WebGPU（浏览器新兴的图形计算 API）。
  • 使用 Web Workers 处理繁重任务 – 模型推理、音频解码和其他 CPU 密集型步骤在专门的 Worker 中执行。UI 线程保持响应，因此在拖动时间轴时屏幕永远不会冻结。
  • 模型的懒加载 – 只有当用户调用相应功能时，编辑器才会下载模型。因此，全新安装后只需几秒钟即可加载，而无需等待数百兆的数据。
  • 时序预分析 – 代码并非检查单个帧，而是以固定间隔对视频进行采样，并构建一个随着人物移动而更新的主体映射。这保证了在整个剪辑过程中检测的准确性。
  • 针对 WebGPU 的自定义数学运算 – 原有的肖像流水线依赖于 WebGPU 不支持的 5 维采样操作。作者将这些内核重写为 4 维等效形式，并根据严格的数值误差阈值对其进行了验证。
  • Service-worker 缓存 – 模型一旦被获取，service worker 就会将其存储在浏览器缓存中。后续会话可以立即加载，避免了重复下载大型二进制数据块。

保持本地化的代价

“本地优先”的 AI 将负担从云提供商转移到了用户的设备上。模型会占用磁盘空间，并在运行时消耗 RAM，这在低端机器上可能会成为问题。Service-worker 缓存减轻了重复的网络流量。

后续关注点

该原型表明，现代浏览器可以承载复杂的媒体智能流水线，但这种方法仍然依赖于 WebGPU 等新兴标准。

核心结论： 通过将浏览器视为全栈计算平台——在 Worker 之间分配工作、缓存模型，并为每个 AI 任务量身定制最高效的运行时——Timeline Studio 证明了全本地 AI 视频编辑器不仅是可能的，而且对于重视速度和隐私的日常创作者来说，它是切实可行的。