首页 > 快讯 > ToonComposer利用AI技术革新动漫领域,实现自动色彩填充与动画生成,简化创作步骤

ToonComposer利用AI技术革新动漫领域,实现自动色彩填充与动画生成,简化创作步骤

发布时间:2025-08-19 12:12:48 | 责任编辑:张毅 | 浏览量:7 次

在动画制作领域,传统的动漫制作流程耗时耗力,通常需要高水平的艺术家进行关键帧绘制、补间处理和上色等多个环节。而最近,由中国香港中文大学和腾讯 PCG 的研究团队推出的 ToonComposer,将这一过程大大简化,利用生成式 AI 技术,将繁琐的手工操作转变为一个无缝的流程。
ToonComposer 的 “生成后补间” 技术,可以让用户只需提供一张草图和一帧彩色图像,便能生成完整的卡通视频,节省高达70% 的人工工作时间,让创作者可以将更多精力投入到创作本身。
在关键帧控制方面,ToonComposer 提供了精确的草图关键帧控制功能,艺术家能够在时间轴的任意位置用稀疏的关键帧来引导动画的进展。即便是复杂的运动,该系统也能精准处理,生成的结果质量与传统手工补间和上色流程不相上下。
此外,ToonComposer 还引入了区域控制功能,用户可以选择将某些草图区域留白,并通过画笔工具进行标记,系统会智能识别这些区域并使用上下文或提示进行填充,进一步提升创作效率。
研究团队对 B&T Studio 和古洞动画工作室表示感谢,感谢他们允许使用《大鱼海棠》和《喵先生》等动画内容进行学术展示。同时,也感谢视频基础模型 Wan 及其他开源工具的支持。值得注意的是,页面上展示的所有图像、视频及其他资料均用于学术和研究目的,ToonComposer 作为一项研究项目,并不打算用于商业用途。
项目:https://lg-li.github.io/project/tooncomposer/
划重点:
🎨 ToonComposer 通过生成式 AI 技术,简化了动画制作流程,用户仅需一张草图和一帧彩色图像即可生成完整动画。
⏳ 该系统可节省高达70% 的人工工作时间,让创作者专注于创意。
🖌️ 提供区域控制功能,用户可自由标记草图区域,系统会智能填充,提升创作效率。

ToonComposer利用AI技术革新动漫领域,实现自动色彩填充与动画生成,简化创作步骤

ToonComposer 是腾讯最新开源的一款 AI 动画工具,它把传统需要“原画→补帧→上色”三步走的动画流程,压缩为“原画→后关键帧一键生成”两步,实现自动补间(Inbetweening)和自动上色(Colorization)。下面用 3 分钟告诉你它是怎么做到的、效果如何、以及如何立刻上手体验。

一、技术原理:三个关键词

  1. 生成式后关键帧(Post-Keyframing)
    把“补帧”和“上色”合并成一次扩散生成任务,避免两阶段误差累积。

  2. 稀疏草图注入(Sparse Sketch Injection)
    只需 1 张彩色参考帧 + 1~N 张关键线稿,就能控制整段动画的动作和颜色;线稿可插在任意时间点,模型会自动插值并上色。

  3. 空间低秩适配器(SLRA)
    在冻结原视频模型时间注意力的前提下,仅用两个小矩阵把外观调为卡通风格,既保留动作流畅度,又避免风格漂移。

二、实际效果
• 数据集 PKBench(30 组专业手绘线稿)测试:LPIPS、DISTS、CLIP 等指标全面优于 AniDoc、LVCD、ToonCrafter 等基线。
• 用户主观投票:71% 认为画质最好,69% 认为动作最流畅。
• 生产场景验证:与 B&T Studio、咕咚动画合作,肉眼难辨 AI 与人工差异。
• 效率提升:传统流程需 2~3 天完成的 3 秒片段,ToonComposer 10 分钟即可出初版。

三、在线体验 & 本地部署

  1. 在线 Demo
    Hugging Face Space 直接上传彩色参考帧和线稿即可在线生成:
    https://huggingface.co/spaces/TencentARC/ToonComposer

  2. 本地一键包
    • 硬件:≥16 GB 显存的 NVIDIA GPU
    • 命令:

                        git clone https://github.com/TencentARC/ToonComposer
                        cd ToonComposer
                        conda create -n toon python=3.10 -y && conda activate toon
                        pip install -r requirements.txt
                        python app.py --device cuda:0 --resolution 480p
                        

    浏览器打开 http://localhost:7860 即可使用。

四、使用小贴士
• 线稿潦草也能用,但越清晰效果越好。
• 想自动生成背景,只需把背景区域涂黑,模型会“脑补”合理内容。
• 当前最长支持约 3 秒(69 帧),长镜头可分段生成后拼接。
• 商用需确认输入素材版权,模型权重遵循 Apache-2.0 协议。

一句话总结
ToonComposer 不是取代动画师,而是把最枯燥的补帧和上色自动化,让创作者把精力留给故事和关键动作设计。如果你正在做分镜预览、短片 MV、或想快速验证动作节奏,现在就可以打开 Hugging Face 体验,十分钟让角色动起来。

©️版权声明:
本网站(https://aigc.izzi.cn)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。

最新Ai信息

最新Ai工具

热门AI推荐