发布时间:2024-06-12 09:06:10 · 责任编辑:字母汇 · 浏览量:76 次
近日，在奇绩创坛路演日上，世界模型公司「极佳科技」联合清华大学自动化系正式发布中国首个超长时长、高性价比、端侧可用的Sora级视频生成大模型「视界一粟 YiSu」，引起社会各界广泛的反响和关注。
- 拥有模型原生的16秒超长时长，并可生成至1分钟以上；
- 同时还拥有超大运动、超强表现力、懂物理世界等众多优势；
- 更重要的是，YiSu模型成本更低、速度更快、端侧可用。
基于此，团队希望通过YiSu模型强大的性能和极致的性价比，更快实现长视频生成的大规模产品应用。
年初Sora的爆火，让DiT受到了业内极大的关注，很多公司和项目也开始复现DiT路线。
极佳科技和清华大学研究人员在视频生成技术路线上有着深入的积累和独特的理解，在autoregressive、Masked Token、DiT、UNet等不同路线方面均拥有丰富的经验。
此前，团队提出WorldDreamer，是全球第一次以Transformer和LLM（Masked Token路线）为中心的视频生成工作。
项目地址：https://world-dreamer.github.io/
「视界一粟 YiSu」基于团队自研的视频生成大模型技术，并没有止步于DiT，而是融合LLM和扩散模型的自研架构，结合各种路线的优势，在多模态融合、训练效率、推理效率、模型效果等方面达到极致的优化，打造视频生成的最佳方案。
这家公司有点独特，可能和市面上视频生成公司的出发点都不一样！
「我们做视频生成是为了实现世界模型」，极佳科技创始人&CEO黄冠博士表示。
黄冠博士表示：「我们可能和市面上目前所有做视频生成公司的出发点都不一样。」
「我们公司在成立之初就意识到，自动驾驶、通用机器人等物理世界通用智能的核心瓶颈是数据问题，而随着生成式AI、大语言模型等技术的突破，我们很早就看到数据最好的来源就是世界模型。同时，我们也很快意识到，世界模型的核心是视频生成。」
「所以，基本从去年9月份开始，发布了全球首个真实世界驱动的自动驾驶世界模型工作DriveDreamer之后，我们基本就把视频生成和世界模型的底层架构统一了，通过视频生成走向通用世界模型，加速走向通用智能。」
世界模型通过对未来的预测来增加对世界的理解能力，对于自动驾驶、机器人、具身智能等方向的发展拥有至关重要的作用。
具体而言，世界模型在数据生成、闭环仿真、端到端方案等方向都具有重要的价值。
基于视频生成同款架构，用于自动驾驶场景世界模型的效果
基于视频生成同款架构，用于机器人场景世界模型的效果
与此同时，极佳科技在世界模型的技术研发上保持行业领先：
- 2023年9月，极佳科技推出了全球首个真实世界驱动的自动驾驶世界模型DriveDreamer，早于Wayve的GAIA-1；
- 2024年4月，极佳科技进一步更新了DriveDreamer-2，性能保持业内领先；
- 2024年5月，极佳科技联合国内外多家单位推出了全球首篇通用世界模型综述，该综述通过260余篇文献，对世界模型在视频生成、自动驾驶、智能体、通用机器人等领域的研究和应用进行了详尽的分析和讨论，该综述还审视了当前世界模型的挑战和局限性，并展望了它们未来的发展方向。
超级应用和数据引擎的两个方向商业化，打造基础模型和商业应用的智能闭环飞轮
「在AI 1.0时代，大家基本依靠的是场景驱动的数据闭环，依靠数据飞轮，不断优化模型和应用效果。进入通用智能的AI 2.0时代，最重要的是基础模型和商业应用两条腿走路，打造智能闭环，形成智能飞轮。极佳科技希望通过基础模型和商业应用形成的智能闭环飞轮，加速走向通用智能时代。」
基于「视界一粟 YiSu」大模型，极佳科技的商业应用从两个方向切入，一个是「视频-Native」的超级应用，一个是通用智能的新一代数据引擎。
超级应用方面，极佳科技正在打造面向通用智能时代的「AI-Native」和「视频-Native」的全新应用，通过基础模型驱动视频应用的全新体验，通过应用的反馈带动基础模型的不断进化。
数据引擎方面，极佳科技认为世界模型是未来通用智能最重要的数据来源。基于领先的世界模型技术，极佳科技获得业内首个世界模型商业化定点和落地，签约多家主机厂和大客户，服务自动驾驶、机器人等具身智能客户几十余家。
极佳科技希望通过世界模型和数据引擎，携手行业，加速走向物理世界通用智能。
世界级的人工智能综合团队：兼具顶尖的技术、产业、创业经验
最后，再看一下「视界一粟 YiSu」背后的团队——极佳科技，这是一个世界级的人工智能综合团队。
- CEO黄冠是清华大学自动化系博士，拥有超过十年、全球领先的AI技术经验，拥有微软、三星、地平线等知名公司算法经历，多次带领百人算法团队，还拥有AI、自动驾驶、大模型等方向的连续创业经验；
- 首席科学家朱政则是中科院自动化所博士，清华大学自动化系博士后，发表AI方向顶级论文超过50篇，引用超过1万次；
- 产品负责人孙韶言是中科大博士，曾担任阿里云总监，地平线产品线总经理；
- 算法负责人陈新泽是中科院硕士，多次获得AI比赛世界冠军，拥有丰富的算法研发、应用和infra经验；
- 工程负责人毛继明是百度赢彻T10级别架构师，曾担任Apollo仿真和工程负责人，拥有超过16年的数据、工程和分布式架构经验。
核心团队拥有超过十年的人工智能技术积累，在人工智能方向拥有世界级的研发能力，发表AI顶级论文200余篇，在过去十年的人工智能技术浪潮中取得了全球领先的成绩，曾获得目标跟踪全球最权威赛事VOT世界冠军、人脸识别全球最权威赛事NIST-FRVT世界冠军、图像物体识别全球最权威赛事COCO世界冠军、自动驾驶全球最权威评测nuScenes世界冠军，发布SiamRPN、WebFace260M、BEVDet、DriveDreamer等多个视觉和AI方向知名或开创性技术成果。
团队同时还拥有深入的大规模产业落地经验，曾参与中国第一款嵌入式人工智能芯片研发和应用，负责中国规模最大的智慧城市系统研发和应用，负责中国规模最大的数据闭环平台研发和应用，负责Apollo仿真平台研发和应用。
通用智能时代，领先的技术能力和规模化的产业落地经验，缺一不可，互为支撑。极佳科技核心团队基于研究、工程、产品、商业以及创业等方面的顶尖综合积累，打造基础模型和商业应用的智能闭环飞轮。
极佳科技成立于2023年，目前已经获得多家一线财务投资机构、产业投资机构的投资，同时获得了行业客户的广泛认可。
年初Sora的爆火，以及「视界一粟 YiSu」的推出，正式标志着视频生成和世界模型方向正在进入快速爆发的Scaling Law时代，未来极佳科技希望通过更多的技术和产品创新，为用户和客户提供更多的价值，加速走向通用智能时代！
原文始发于微信公众号（新智元）：中国版Sora震撼登场，原生16秒直出超清视频！国产黑马火了，世界模型签约多个大客户
