字节跳动推出基于DiT大模型的视频字幕无缝移除新方案

字节跳动技术团队（火山引擎视频点播）推出了一项创新技术：基于 DiT（Diffusion Transformer）大模型与字体级分割模型的视频字幕无痕擦除方案，旨在解决短剧、电商视频等内容在全球化传播时面临的字幕障碍问题。

一、技术突破与创新点

1. DiT 视频字幕擦除模型：大模型驱动的像素级修复

• 强鲁棒性预训练基底：基于 DiT 架构，在大规模数据上预训练，具备对二次元、现代、古装、奇幻等多种风格视频的泛化能力。

• 摆脱辅助先验依赖：传统方法常依赖光流、文本提示等先验信息，而 DiT 模型通过 Transformer 自注意力机制直接学习帧间时间依赖，避免计算开销与光流误差。

• 两阶段训练策略：第一阶段通过大规模通用数据训练基础修复能力，第二阶段针对短剧垂类视频与字体级掩码进行精细度优化，实现“像素级无痕”修复。

2. 字体级分割模型：从“粗放擦除”到“像素级修复”

• 精准定位字幕区域：传统 OCR 检测框方法会造成过度修复与信息丢失，而字体级分割模型可实现对单个字符的独立背景填充，避免背景模糊或纹理重复。

• 数据与模型设计：

  • 数据层面：收集了 2000+ 常见字体库，通过 Skia 图形渲染库生成了 20 万+ 训练数据，全面覆盖中英双语、复杂样式（如阴影、描边、渐变）。

  • 模型架构：采用 CNN 与 Transformer 融合的分割模型，CNN 部分借鉴 OCR 检测网络结构，增强对文字特征的捕捉能力。

二、工程能力与全球化应用

• 万集视频验证：经过超万集视频数据集验证，擦除任务成功率达到 100%，支持跨境电商批量处理千支商品视频、影视公司高效修复百集短剧。

• 分镜处理与分布式计算：创新视频分镜技术结合服务器集群分布式计算，1 小时视频处理耗时较传统方案压缩 50% 以上。

• 多语言支持：突破中英文限制，支持多个小语种字幕擦除，实现全球内容流转的双向通道。

• 一站式闭环服务：形成“擦除-翻译-口型同步”的全流程服务，集成多语言翻译能力，针对短剧场景优化俚语与文化语境适配，实现翻译字幕与人物口型的动态对齐，效率提升 20 倍。

三、实际应用效果

• 无痕擦除：无论是覆盖在人体部位（如手、脸）还是复杂背景（如衣物纹理、首饰图案）上的字幕，均可实现无痕擦除与修复，画面整体 PSNR（峰值信噪比）达 38 以上。

• 动态场景稳定：在动态场景下，修复效果依然稳定，避免了传统方案的帧间闪烁与模糊问题。

四、总结

字节跳动此次推出的基于 DiT 大模型的视频字幕无痕擦除方案，通过大模型技术与精细化工程设计的结合，重新定义了视频字幕擦除的标准，不仅大幅提升了修复质量与效率，还为短剧出海、跨境电商等领域提供了强有力的技术支持，推动优质内容的全球化传播。