AGI大基建与马拉松:2024 Q1全球大模型的前沿手记

发布时间:2024-04-18 18:33:37 · 责任编辑:字母汇 · 浏览量:76 次

作者 | 张小珺

出品 | 腾讯新闻 《潜望》

2024年3月,我们连续从多个角度记录了中国AGI的进展与派别,接下来让我们把目光投向海外,对刚过去的2024 Q1全球大模型的赛局做一个实时的赛况观察与复盘。

“AGI本质是:电+芯片=产出智能。”拾象科技CEO李广密称,他此前是红杉资本投资人。

人类正处于一场宏大的“AGI大基建”时期。“这和曼哈顿计划、登月计划、克林顿网络大基建很像”,特别是上世纪九十年代,克林顿推出美国信息高速公路建设,为后面的美国互联网泡沫破裂与黄金20年提供了根基。在他看来,“如果没有基建,就不可能有应用大爆发”。

从基建维度,以训练一个GPT-4举例——据李广密估算,在耗电上,假设GPT-4使用8000张H100训练100天,大概需要2600万度电,大约需要三峡或上海一天发电量或用电量的5%,德州的2%;在算力上,现在最低要8000张H100有效算力,接近一个万卡集群,如果买卡,每张H100售价3万美元,再加上周边设备,3亿美元少不了,而如果租H100,1万多美元一张卡,也就是1亿到2亿美元。

随着大模型公司的加速收敛,全球看,2024年模型公司的生死线是:在技术上,年内超越GPT-4;在算力上,年内万张卡集群,而且要能用起来——“你就看未来12个月能不能有10万张H100的集群,这大概需要三五十亿美元,这是明年第一梯队模型的标配。”他说。

李广密对海外AGI的前沿进展有一手观察。他称,计算的竞争很残酷,未来只会更残酷,“每个时间阶段都会有模型公司持续的出局”。

以下是关于2024 Q1全球大模型赛况的对谈手记。(为方便阅读,作者进行了文本优化)

AGI大基建与马拉松:2024 Q1全球大模型的前沿手记

谈2024 Q1:

没想到,物理硬件成了

阻碍AGI时间表的最大因素

腾讯新闻《潜望》:我们先来盘点一下美国AI几起大事件:从过年到现在,OpenAI发布Sora,Anthropic发布Claude 3,Google和马斯克加入开源大战(分别推出Gemma和Grok),英伟达GTC被冠以“科技界春晚”头衔。

这一系列大事有没有什么让你感到shock的?他们分别对今年大模型战局或更长时间的AGI演进,影响多大?

李广密:1、GPT-4.5和GPT-5比预期来得慢,之前以为Claude 3发布后OpenAI就发新模型了,你看SOTA(State-of-the-art)模型位置易主一个月,我预感AGI战线会被拉长拉宽。

 

2、Sora比预期来得早,这意味今年多模态理解和生成进步幅度会很大,会解锁很多新东西,但多模态能否带来智能和AGI是很强非共识。

3、马斯克xAI加入开源,开源模型水位线会被拉升很多。xAI人才密度强,GPU也充足,决定后面很多模型公司生死线。

4、英伟达股价去年这时候觉得会涨,但没想到能涨3倍。大家都知道AGI很大,但还是低估了浪的大小。英伟达GPU是实现这轮AGI最关键的吧。短期看,老黄(黄仁勋,英伟达公司创始人兼CEO)可能比Sam Altman(OpenAI联合创始人兼CEO)重要。

腾讯新闻《潜望》:同时加入开源战局的有Google,你对Google开源的看法是什么?

李广密:Google发的还是小模型,我感觉它不会把最强模型发出来。开源主力是xAI和LLaMa。我比较担心,开源模型会打掉很多闭源模型的商业价值——比如你把GPT-3.5水平的模型开源了,大家就不一定再调用OpenAI的API接口;反之没有开源模型,大家只能选择最强模型的API。

但最强闭源模型的优化能力很强——最强模型能力最强,成本最低,我相信这个状态。后面还有“复杂推理”,要完成有经济价值的任务。如果多步推理准确性差,是完不成任务的。但现在很多简单任务,开源模型可以完成。

开源模型有开源模型的好处,很多人拿它自己用更好用,会覆盖很多企业内需求场景。

我不确定马斯克xAI会不会持续开源,如果它开源,开源模型水位很高。

 

腾讯新闻《潜望》:马斯克的开源模型,为今年大模型争夺赛带来了很大变量。

李广密:xAI是全球范围争夺新一梯队大模型的唯一黑马。如果它持续开源,对模型的格局生态和商业价值影响很大。

腾讯新闻《潜望》:你说“多模态能否带来智能和AGI是很强的非共识”,对于这点你怎么看?

广密:多模态有几层作用:一是文本数据不够用,可以补充文本数据;二对用户体验有很大影响,理解能力变强;三是生成视频的效果今年也会大幅提升。但多模态的数据对模型推理能力有没有大幅提升?今天没验证。Sora到底是不是AGI主线?今天见仁见智,很难定义清楚。

腾讯新闻《潜望》:相比去年,今年翻过年的这个季度,有没有什么让你感到明显不同?

李广密:去年初觉得AGI是百米冲刺,大家没做好准备。今年觉得AGI是马拉松,大家有充足时间做好准备。

 

去年觉得可以无限加GPU,加数据,就能到AGI,但突然发现GPU数据中心和物理硬件是瓶颈。比如单体数据中心能放的GPU数量有限,3.2万卡再往上就要突破很多。另外美国的能源基建都是四五十年前规划的,能源结构和中国工业结构不同,突然多出来很多新增用电确实有点跟不上——今年最大感受是,物理硬件成了阻碍AGI时间表的最大因素了。

腾讯新闻《潜望》:2024年,全球大模型场上的梯队有哪些新变化?

李广密:OpenAI、Anthropic、Gemini是非常确定的第一梯队。xAI、欧洲Mistral、LLaMa是比较确定的第二梯队。xAI是硅谷最大而且可能唯一的黑马,期待夏天or年底前能不能做出GPT-4水平模型,冲到第一梯队。

Inflection已掉队出局,Character.AI、Cohere今年挑战很大,有可能年内就要找买家。训练GPT-4水平的模型很难,很多人还没真正规划训练GPT-4水平模型。

腾讯新闻《潜望》:Inflection提供了一个怎样的失败案例?——有人说它是第一个失败的VC重注的大模型公司。

 

李广密:没想到模型收敛如此之快,计算竞争是很残酷的。

 

大模型VC是投不动的,还是巨头的游戏。Inflection没有绑定一个更深的巨头。另外,要看人才密度,前三家公司加上马斯克的xAI明显高一截。

 

腾讯新闻《潜望》:能不能聊聊对今年GTC的感受?怎么评价老黄这个人?

 

李广密:硅谷最靓的仔从马斯克切换到老黄了,很多马斯克的粉丝变成老黄的粉丝,投资者股票资金也从Tesla转到英伟达。

老黄直接驱动了这波AGI浪潮,贡献不输OpenAI。之前听到一个说法是“算法等了算力30年”,非常形象。我希望AGI不要因为算力不够而停下。你看过去几十年,半导体应该算得上人类最伟大发明,计算还会驱动未来几十年。未来几十年人类都要给老黄缴算力税——这就像过去十年所有人给苹果交入口税。

老黄“销售能力超强”。以前 GPU卖给科技公司,现在又提“主权AI”,要把GPU卖给政府,吃国防预算,市场规模又大一步。你看美国军费每年8800亿美金,如果拿2-3%买GPU,是很大的量。你说GPU是不是很重要的战略储备物资?是极其重要的。

另外,老黄有一个习惯,叫T5T——内部每双周、每个大组内会发出最重要的五件事。

老黄好像不鼓励996,鼓励员工在办公室吃早饭和午饭,但鼓励大家晚饭回家陪家人。

AGI大基建与马拉松:2024 Q1全球大模型的前沿手记

谈AGI登山图:

南坡是模型,北坡是产品

腾讯新闻《潜望》:接下来我们来谈谈AGI。首先定义一下AGI,对AGI的定义现在是共识吗?

李广密:对AGI的理解还没共识,有几个角度:

1、最激进情况,AGI能在90%行业、超过90%专家、完成90%有经济价值的工作——这三个90%很激进。Sam提过,不该从替代人的视角思考,而是工作任务中多少需要5秒就能完成,这些会被模型取代。

2、AGI什么最重要?智能能力本身最重要。今天讨论什么形态可能不重要,什么载体也不重要,最重要的是智能能力本身,但肯定会从数字世界走向物理世界。物理机器人和设备,怎么把智能能力产品化,是创业者的机会。

3、AGI不是一蹴而就,不太像是憋几年大招在某年实现AGI就把所有秒杀——关键词是“渐进式解锁”——如果画一条登山路线图,模型能力每年涨一些,就会解锁一些场景,诞生一些应用,创造相应经济价值。

听到最强叙事是,AGI可以在未来15-20年帮全球GDP翻倍,从100T(trillion,万亿美元)涨到200T。但今天100T GDP和这波AGI直接相关的可能0.1%不到,离解锁90%很遥远。目前就体现在Coding写代码效率高,信息检索和复杂问题问答效率在提高,往后10-20年是从今天只解锁0.1%走到解锁90%的过程。

一定要理解“渐进式解锁”。我们一直在画一个路线图,未来AGI登顶过程分别有哪些东西?——眼前我最期待的是改变软件生产方式+信息检索的变革。

腾讯新闻《潜望》:先从近处看,眼前是改变软件生产方式+信息检索的变革,也就是说,它会颠覆SaaS行业和Google?

李广密:三年内有机会看到Coding领域的局部AGI,也就是任务做得不错的程序员,带来软件生产方式革命。人类大部分任务没有像软件开发那样有明确的目标和逻辑,软件生成变革会最快。

改变软件生产方式:过去软件像自动售卖机,有限SKU供给,有大量长尾非标需求没被满足。未来应该是酒吧调酒师,任何口味都可以调出来,长尾需求大。

未来的软件开发状态是,精准的甚至简单的自然语言描述需求,模型如果能用现有工具就调用工具解决,如果没有满足的工具,那模型编程,甚至生成复杂的代码,自己run code(运行代码)或debug(调试),会多出非常多软件程序。开发者数量可能不是今天的几千万,而是人人都是,门槛大幅降低。有可能微软+OpenAI会很激进,把很多工具feature型的SaaS干掉,只有积累复杂workflow和很不一样数据的能发展更好,如Salesforce、ServiceNow。

挑战Google:过去20多年,无数对手挑战Google都失败了,很大原因是没有fundamental技术变革,这一次LLM给了大家机会。另外,Google绝大多数是事实性搜索,如电商、旅游、YouTube网站,问答一直很难,是皇冠上的明珠,解决很难的问题后更能得到用户的信任,有更长期的用户留存和广告价值。

腾讯新闻《潜望》:在这种情况下,你建议SaaS公司如何转型?

李广密:只能拥抱年轻人。以前软件开发的方式跟现在软件开发的方式有fundamental(根本性)不同。以前是把固定需求抽象出来,一个开发团队去开发,今天是不确定的需求,未来要用好模型的能力。

腾讯新闻《潜望》:更长远看,AGI对于人类社会可预见的改变,在多长时间的维度中能有多大?这波浪潮中将诞生的巨头会比互联网时代更庞大吗?

李广密:AGI是科学问题,不完全是商业问题,背后是永无止境research发现精神,探索全新的一些能力,即“能源+芯片=产出智能”。未来就看智能产出效率能有多高,你看智能怎么定价?

科技进步是创造增量经济价值贡献最大的要素,每波技术变革都能让头部公司大一个数量级。之前做VC觉得投到独角兽就很牛,今天融资单位都是billion级别,钱也毛了。

我有一个切身体会:2010年你看着2000多亿美元的苹果,不会想象地球上能有1万亿美金市值的公司。2016年我们看着英伟达从200多亿美金涨到千亿美金,更不会想到能涨到今天这么大。还是回到今天最大非共识:不知道AGI有多大。

最简单叙事,AGI是以全球GDP为计量单位,未来你能渗透到GDP take rate百分比,如果你增加100T,AI拿走10%,就是10T,或者多出3亿白领乘以3.3万年薪,也是10T,这还是收入,市值乘以10倍吧。计量单位发生了很大变化。

腾讯新闻《潜望》:很有意思,今天融资单位变成了billion级,这在中美的商业史上出现过类似情形吗?

李广密:为什么把AGI比作大基建?中国做了很多,如公路建设、电信5G建设、城市化建设,有了这些才有短视频、直播、外卖爆发,这是远超billion甚至trillion级的基建投入。甚至电商、物流建设也都是巨大投入。今天AI投算力、投新型数据中心,就是处在基础大基建状态,这是一直在发生的。

你再看美国比较早的有曼哈顿计划造出原子弹,更重要的是计算机体系在那诞生,再后来美国登月。美国登月一个重要意义在于电子产品微型化,才有了个人电脑。93年克林顿推出美国信息高速公路建设,投了GDP的5%,才有了后面的互联网bubble(泡沫)也好,美国互联网黄金的20年也好,都跟基建有关——如果没有基建,没法谈应用大爆发。

腾讯新闻《潜望》:构建一下你眼中关键的AGI登山路线图?

李广密:两面——南坡是模型,北坡是产品。

模型最底层逻辑是Scaling Law(规模定律),更多数据,更多GPU,更多能源,就看产出智能的效率能否持续提高。

模型最关键的能力是Reasoning推理能力,后面要有复杂推理能力,才能完成有经济价值的任务。Coding代码能力很重要,可能是AGI落地最早信号,既是一个走向AGI的能力,也可能是核心产品,改变软件生产方式。

多模态能力也很关键,不仅补充text data不够用,更重要的是输入输出交互效率更高,今年多模态进步会很大,对自动驾驶和机器人有提速作用。

Agent(智能体)也是关键词,但今天Agent还不太work,模型Reasoning推理能力不够强,准确度不够高,多步推理下做任务很多是失败的。模型公司可能就是Agent公司。很多Agent,大模型本身就会自己做,只是能不能做好的问题。接下来模型公司一个大的附加值可能会体现在Agent,因为第一波叙事大家都讲了Scaling Law,后面大家可能就会讲Agent。

这是南坡模型能力相关,你说北坡,产品上——就看接下来谁能做出上亿活跃用户的Killer App(杀手级应用)。今天只有ChatGPT,我期待信息检索有大变化,因为搜索之前搜出来是链接和网页,现在搜出来是答案。未来还有多模态的搜索,甚至更多主动式交互,模型直接推你潜在想要的。

从ChatGPT用户增长角度,它过去5000万DAU横盘几个月,如果它积极做用户增长,一定要做搜索才能突破几亿活跃用户,这是挑战Google过去20年可能唯一的技术窗口。今年比较期待看ChatGPT能不能做好这个。

另一个我最期待的,如果你让模型看一万次苹果掉下来,它能不能发现万有引力定律?如果更充足、更广泛的数据灌进去,能不能发现人类没发现的问题和规律?这又是一个新的文艺复兴。

腾讯新闻《潜望》:模型和产品,这两个都要一家公司来做吗?有可能一家公司爬南坡,一家公司爬北坡?

李广密:你看Sam最新访谈说OpenAI在做地球上最难的两个事,一是AGI,一是Killer App。Anthropic专注只做AGI,没挑战另一个。不一定非得在一个公司,在一个公司对组织能力,对文化、人才和资源,挑战很大,需要极强的领导力、资源和组织能力。

腾讯新闻《潜望》:模型和产品需要的人才画像不一样,怎么把他们组织在一起?

李广密:画像很不一样。如果一个产品在解决某项任务的时候能力不行,没法向下改模型。如果一个模型公司发现某类任务解决不好,可以定向改数据、调模型。这是简单题和难题的问题。我相信模型公司做产品更容易,是顺手。产品公司想改模型,没有这方面人,你又改不了模型,是较难的。

我有一个判断,有可能模型公司是价值沉淀最厚一个地方。就像移动互联网,价值沉淀到了设备厂商或广告平台,模型的附加价值后面是比较高的。

一个是老黄收GPU税,一个是模型公司收智能税,突然给经济社会又加了两道税。

腾讯新闻《潜望》:所谓我的模型能力最强,我就可以顺理成章解锁最伟大应用,这个逻辑通吗?现在有两种做法——一种是,我要通往AGI,我在路上去解锁应用;另一种是,我也做AGI,但同时我孵化特别多应用,做App工厂。这两种你更看好哪一种?

李广密:你就看SpaceX,它的火箭发射能力是基础能力,但这个能力并不太赚钱,可能每年几十亿美金收入,但是它的一个Killer App是Starlink星链,现在几百万部署终端了,每个终端还收挺多钱。

如果没有火箭发射这个关键能力,Starlink发不上去,没法组网。有可能它还有第二个Killer App,就是Starship,想颠覆波音、空客,未来上海到纽约两小时。之后可能还有更多Killer App。

但也有另一个说法,如果大模型是电,灯泡可能不一定是电厂做出来,所以在变化中。

我更倾向大模型公司是基础发现的research lab(研究实验室),有的lab可能有商业能力,会做出头部应用,但比较考验组织能力。有可能中国创业者在这方面更强。

腾讯新闻《潜望》:ChatGPT和Sora分别属于AGI登山图上的什么路标?

李广密:ChatGPT成功有偶然运气成分,让AGI概念进入千家万户,科普和募集资源的帮助更大,是里程碑。Sora和AGI、智能有啥直接关系还是非共识,只能说明OpenAI战线铺得更宽,而不是高度聚焦AGI。

腾讯新闻《潜望》:复刻Sora难吗?模型规模有大?需要多少算力、数据?数据来源是什么?

李广密:OpenAI没有公开Sora数据,但根据技术报告和里面提到的架构可以做估算。训练环节对算力需求是LLM的好几倍,我们估计大约需要在4200到10500张H100上训练1个月,这只是最后训练,不算前期实验探索。

推理的算力消耗要比训练更大,如果生成TikTok一天上传视频的量,推理成本就增加到了训练成本等同。这两个成本都很高。

另外数据,估计要收集几千万到上亿个小时的视频数据,还得打标签。OpenAI可以用GPT-4V打标签,一般团队不好弄。到底什么数据我们不知道,只能猜,你看Sora效果和游戏场景很接近,估计是用一些游戏数据。

OpenAI CTO Mira说得把推理成本降到和生成图片差不多的水平,才会考虑公开release Sora。

腾讯新闻《潜望》:创业公司应该跟进Sora吗?

李广密:很凶险。融资能力极强的公司可以试试,除非能融到几亿美金?

需要的数据难度介于LLM和机器人之间,获取数据的难度很大,卡和数据成本都很高。但最后产出结果还有争议性,视频生成还不一定代表智能。即便做了一个模型,如果不是业界最领先,别人也不一定用。

创业公司还不如想想下一步,怎么定义Sora产品形态和新的AI内容消费形态。

AGI大基建与马拉松:2024 Q1全球大模型的前沿手记

谈大基建:

电+芯片=产出智能

腾讯新闻《潜望》:我们把当下比作“AGI大基建时期”,目前AGI大基建最大瓶颈在哪?这些瓶颈是只要有时间就可以解决的吗?

李广密:目前瓶颈是算力和数据中心建设,今天给你几万张H100,你三个月内不一定能用起来万张卡集群。万卡集群互联通信难度很大,稳定性要求很高。GPU数据中心能耗更高,对降温要求更高,很多人都在提液冷。

比特驱动的数字世界迭代很快,但原子驱动的物理世界迭代跟不上,这需要物理机器很长周期的基建迭代跟进。历史上软件和硬件进步是交替的,硅谷头30年是计算时代,后来20年是网络数字化时代,今天又进入了计算时代。

但好在这些物理问题都不是research问题,是工程基建投入问题,随着时间可解决。短期瓶颈还是GPU产能,包括台积电产能,CoWos(晶圆基板上芯片)和HBM(一款新型的CPU/GPU内存芯片)这些。

腾讯新闻《潜望》:拆开说,训练一个GPT-3.5或GPT-4水平的模型,需要消耗多大算力和多少能源?

李广密:三峡单日最大发电量和上海日均用电量差不多,都在5亿度左右,美国整个Texas德州是10亿度多一些。

假设GPT-3.5使用500张H100训练15天,大概需要25万度电,也就是三峡产电量或上海的用电量一天的0.05%左右,德州的0.02%。

假设GPT-4使用8000张H100训练100天,大概需要2600万度电,需要三峡或上海一天的5%左右,德州的2%。

假设GPT-5使用3.2万张H100训练100天,大概需要1.1亿度电,需要三峡或上海一天的20%左右,德州的8-10%。

你要算成本的话,每张H100租用最低3-4美元/小时,大客户能再便宜点。

腾讯新闻《潜望》:训练到GPT-4水平,需要多少钱?

李广密:一个GPT-4现在最低也要8000张H100有效算力,接近一个万卡集群。你要是买卡,每张H100售价3万美金,再加上周边设备,3亿美金是少不了的。

 

当然你也可以租。如果是租H100 ,一年如果折扣比较好,1万多美金一张卡,就是差不多1亿到2亿美元。

 

但今天的万卡集群中国比较少,万卡集群很难,每个卡都要连起来。网络拓扑结构很复杂,不是说一层网络,是三层网络。

腾讯新闻《潜望》:算力从千卡集群到万卡集群再到现在的三万卡集群中心,造价成本是多少?难度有多大?

李广密:每张H100售价3万美金,加上周边设备差不多4万美金,8000卡就意味3亿多美金,3.2万卡集群意味12-13亿美金。明年可能标配是10万张卡,就是差不多40-50亿美金。

 

最难的还是资源越来越集中收敛,能建大集群的客户很少,会收敛到极少的4-5家客户——微软,Meta,AWS;微软包含OpenAl;Google有自己的TPU,它可以很大集群;xAI可能也是一个。

影响难度的因素是,要找到适合数据中心的土地,稳定且便宜的电,之后是数据中心的互联通信、降温冷却、运维稳定可靠。还是回到那个问题,物理世界比数字世界改造要慢。

腾讯新闻《潜望》:大基建现在有哪些公司在投资?进展如何?

李广密:就看英伟达GPU出货量+TPU出货量,或者计算台积电产能。Meta和微软应该买走超过1/3 GPU的数量。

 

美股AI相关最大的几个生意:第一波最受益的是芯片,芯片里最受益的是英伟达和台积电;第二波是广告平台Meta和Google(广告匹配效率提升);第三波云厂商,微软、AWS,因为芯片和模型都要跑在云厂商上,企业客户继续上云需求很强,云厂商未来每年很长时间保持年化15%复合增长都有可能;最后是两个终端Apple和Tesla——这些都是大基建最重要的几个关键玩家。

腾讯新闻《潜望》:OpenAI在基建上,截至目前投入有多大?

李广密:不知道具体,你就看微软累计投入给OpenAI 130亿美元,这个累计够买30-40万张卡。你再计算英伟达GPU出货量,每年400万片GPU,大概多少比例给到OpenAI。如果5%就是每年新增20万片,每张卡3万美金,加上周边设备和未来电费,5万美金,那就是要一年100亿美元硬件投入。这样算OpenAI钱不够,还得做更大规模的融资,每年几个billion(十亿美金)投入。

如果按摊销每一年,那融资不用那么着急,如果一张H100每年起码1-1.5万美元租用费,最低折扣的话。

腾讯新闻《潜望》:这些大基建的成本有可能分摊出去吗?必须要是模型公司自己承担吗?比如政府。

李广密:有可能。未来有可能随着“主权AI”概念更深入,政府投资一家或多家模型公司是有可能的,而且大比例投资。你看欧洲有Mistral,我不知道欧洲是不是独立或半独立市场,如果欧洲的资源怼到Mistral,有可能它就得拿政府的钱了。

腾讯新闻《潜望》:你预计AGI基建的时间表是怎样的?达到什么程度意味着大基建完成?

李广密:时间表拉长了,主要是去年太兴奋觉得2-3年内实现AGI。现在预期更长,所以叫马拉松,至少3-5年或5-10年。得动态看,也看每个人对AGI的定义不一样。

去年预期是23年底就能看到GPT-5,能力可以超过一半同事,预期太高。去年这时候OpenAI先后发布了ChatGPT、GPT-3.5、GPT-4,大家觉得节奏快,这些模型都是之前OpenAI多年积累,提前训练好的,只是去年同时发出来。但过去一年没有出现大幅超越GPT-4的模型。

 

训练很大的模型是很难的,不仅是数字世界问题,很多是物理硬件问题——比如实际H100规模化到货都是23年Q4,数据中心建设也都要3-6个月,还要把利用率提上去。

人的预期可以飞上天,比特驱动的数字世界可以迭代很快,但原子主导的物理世界跟不上——就像你有意志力和体力跑马拉松,膝盖一个小环节出问题就跑不下去。膝盖问题可能不只是膝盖问题,是肌肉问题,而肌肉问题可能是训练方式问题。

 

大基建看不到结束那天。过去几十年半导体是最伟大发明,摩尔定律还在以新方式继续。

腾讯新闻《潜望》:大基建周期之中,预期全球投入花多少钱?泡沫有多大?

李广密:2024年GPU大概400万片产能,2025年600多万片GPU,未来每年复合增速不低于30%。三四年后,AI GPU应该是3000-4000亿美元产业规模,这里还不包括TPU和其他未来的ASIC芯片。

 

AGI刚开始,长期看不算泡沫,把钱交给最厉害的科学家探索发现,有时一个新发现是能带来很大经济价值甚至社会价值的突破。

计算迭代停不下来,比如单颗芯片现在的摩尔定律还在提,依然没停下来,但进步速度变慢了。现在老黄又在提整个数据中心的摩尔定律,它通过互联,把整个数据中心变成一个大芯片,用这种方式继续。还有一种,未来还可以跨数据中心,能不能效率更高?这是停不下来了。如果你非要说一个时间,10-20年是一个大基建周期。

腾讯新闻《潜望》:中国AGI大基建和美国AGI大基建,两边叙事差异是什么?

李广密:美国历史上有大航海精神发现,包括开垦美洲大陆、曼哈顿计划造原子弹、登月、90年代克林顿网络都属于大基建,是面对不确定性的乐观、勇于冒险精神。美国资本和退出都很富足,富得早,有足够多的资本来做fundamental从0到1的试错发现。历史上很多从0到1的东西是美国搞出来,不管硅谷的芯片、计算机、互联网,波士顿的制药,他们文化里有重投入的传统,相信科学。

不过硅谷VC很不争气,近乎全线miss大模型投资,他们好像对大模型的理解也很浅,全是巨头支持。中国VC更争气有出息吧,还支持了几家大模型公司从0到1发展起来。

从Power Law(幂次定律)角度,硅谷主流的VC文化也不喜欢大模型这种“基建”型公司,SpaceX、Tesla几乎没啥硅谷VC参与。甚至在 LLM/AGI之前,机器人也属于很边缘的赛道,而现在是硅谷最火的赛道。硅谷VC喜欢花小钱办大事,这次不一样了。可能整个硅谷VC要交学费,价值沉淀大头会在基础大模型。

中国是解决问题的能力很强,提出新问题少,0-1很少,1-100很强。今天中国还在追GPT-4叙事,以及追谁是第一名。目前中国大模型的技术辨识度不高,差异不大,大家过了3.5水平,但3.5到4的跨度是不小的。

 

腾讯新闻《潜望》:美国VC喜欢花小钱办大事,这不就是VC的本质吗?以小博大。

李广密:VC最应该是小钱办大事,但也有需要大钱的时候。

腾讯新闻《潜望》:怎么看这次中国VC更争气这件事,他们为什么愿意大手笔支持大基建?

李广密:因为美国有对标(笑)——中国VC都还是喜欢投有对标的东西,我们擅长解题。

腾讯新闻《潜望》:为什么马斯克提能源问题?能源转化效率可量化吗?

李广密:AGI本质是:电+芯片=产出智能,主要是今天怎么对智能定价?就像开车一脚油从A走到B,可以计算单位里程能耗,今天对智能没办法定价。我也好奇未来怎么定价。现在都是20美元/月,未来能不能有value based定价机制。

 

腾讯新闻《潜望》:在技术上、基建投入上,模型公司如果想跨越生死线,有一个基本标准吗?

李广密:技术上:今年内超越GPT-4,背后是一支很优秀的团队,参考马斯克xAI。

二三线和国内模型公司:超越最好的开源模型,不然模型商业价值很小。

算力上:今年内万张卡集群,而且要能用起来,能做好的公司很少。你就看未来12个月能不能有10万张H100的集群,这大概是三五十亿美元,这是明年第一梯队模型的标配。

 

计算的竞争就是很残酷的,未来可能更残酷,每个时间阶段都会有模型公司持续的出局。

 

 

AGI大基建与马拉松:2024 Q1全球大模型的前沿手记

谈Scaling Law:

微软和OpenAI的关系也挺复杂的

腾讯新闻《潜望》:今天看,Scaling Law是加速增长,线性增长,还是放平缓了?

李广密:从细节来看:GPT-4公开的是1.8T参数,MoE架构,大概13T训练数据,2.5万张A100训练100天。

外界都在猜测GPT下一代模型能scale up多少倍?我们就假设如果是3倍参数,3倍多数据,那就是9倍compute资源。你看老黄公布了3.2万张H100集群,加上一些优化效率提升,是差不多match的。你要说10倍参数提升和10倍数据提升,那就是100倍compute资源提升,很明显GPU算力集群不够用,这里受限是物理机器瓶颈。

今天增加数据可能比增加参数的ROI要高,好像高质量数据永远不嫌多。之前都说文本数据用差不多了,通过改写和合成能再扩大小几倍。今天真让你拿来10倍100T高质量数据好像有点难。可能没有人能拿出来。

另外,怎么把多模态数据和文本数据一起训练也挺难,是research问题,因为很容易伤害原来的模型。

现在对Scaling Law一个判断是,训练GPT-5数据够用,但GPT-6可能需要一些突破。未来1-2年Scaling Law没问题。如果非说一个结论——Scaling Law 起码没减速;如果说变慢了,那就是算力和数据没怼够。GPT-3.5走到GPT-4大概多了20-30倍算力,GPT-4走向下一代还没怼够20-30倍有效算力。只要有有效算力和更多数据,一定有新东西出现。

这会影响到整个算力市场,围绕芯片、数据中心、互联。接下来两年除了research问题,OpenAI、微软以及其他所有竞争对手,有50%甚至更多精力都会花在如何解决算力和互联的问题。

这不光是一场research lab关于research的竞争,而是一场巨头博弈,research lab 和巨头互相leverage(影响、杠杆),对人才、用户、算力、policy、舆论、股价等资源多方争夺,互相角力的竞争——你看微软今年的动作,又投资Mistral,又投资Inflection,又自己招人在训大模型——它和OpenAI关系也挺复杂的。

腾讯新闻《潜望》:评价一下微软这一系列动作。

李广密:站住最稳的位置。

腾讯新闻《潜望》:Scaling Law走下去会遇到哪些瓶颈?能走多远?

李广密:就看两个关键要素:第一,Data;第二,GPU。

电力不是research问题,是通过投入能解决的。反正Scaling Law这个问题的结论是受限物理计算瓶颈,所以Sam提出筹集7万亿美金和造芯片是有道理的。

另外,效率很重要,一个是compute efficiency,一个是data efficiency。这里有趣的就是衡量大家的效率,同样训练一个GPT-3.5能力水平的模型,需要多少张GPU?多少训练数据?这个训练效率可能是数量级差别——有人几千张,有人几百张就够,range很大。最后,AGI本质还是拼的用“能源+芯片”产出智能的效率。

最后从架构上,Agent能不能最终完成有经济价值的复杂任务,next token到底能不能解决长期规划的问题,这是接下来值得关注的。如果不能,scaling下去意义不大。

腾讯新闻《潜望》:模型会无限变大吗?

李广密:我觉得会无限变大,参数大10倍甚至100倍,数据大10倍、100倍甚至1000倍。

训练大模型是为了探索能力边界,是科学发现问题,但大家都会训练更小的模型满足商用,成本很低。GPT-3.5也验证了这件事,我可以用训练SOTA大模型百分之一到十分之一的资源训练一个更efficient模型,能力上也能覆盖60-70% query(查询),不见得明显比SOTA差太多,但成本低一到两个数量级。今天从头训练一个GPT-3.5水平模型应该不用太多卡。

科普一个基本公式:训练量多大=参数量x训练token量x6

number of parameters x tokens to train x 6 =number of GPU x FLOPS per GPU per second x Time x utilization

举例,GPT-4:1.8 trillion 参数 x 13 trillion token x 6 = 25,000 GPU x 19.5 TFLOPs(19.5 万亿次) x 60s x 60mins x 24h x 100days x 利用率(利用率能到50%属于比较好的,最强的能到60%-70%)

腾讯新闻《潜望》:Scaling Law一定能通向AGI吗?

李广密:这是最大概率的一条路线,我们没找到除了这条路以外的其他路径。在没有证伪之前要怼更多资源去验证。

腾讯新闻《潜望》:你认可朱啸虎的观点吗?他说,AGI 5到10年内是看不见的——“可控核聚变实现前,我不太相信地球有足够的算力能够实现真正的AGI。帮人类降低90%的工作可能未来3到5年可以实现,但最后10%需要天量的算力和能耗,这也是为什么Sam Altman想融天量的资金!”

李广密:大部分观点是认可的,VC喜欢小钱办大事。回头看微软第一台计算机做出来的时候,盖茨也很难相信内存能从那时候的多少K到现在的多少GB。我们还是相信摩尔定律,以及模型的计算效率会提升,推理效率也会大幅提升,同时硬件的memory(存储)、模型本身的context window(上下文窗口)也能提升很多。这些都提升上去后,人真的可以把自己所有的历史都当成context去运行。即使在这个过程中模型也还是会解锁很多新技能。

朱啸虎提到帮人类降低90%工作,这个经济价值挺高,3-5年如果实现,这个观点很乐观了。

我同意能量量级需要升级的观点,很多数据中心建在核电站旁边,AWS最近收购了一个美国最大核电站旁边的数据中心。

我对AGI理解的关键词是“渐进式解锁”,不是一蹴而就。今天Tesla FSD(高级自动驾驶辅助系统)的安全性已经超过平均司机了,计算机视觉识别人脸和做广告商品识别推荐效率也比人高。我对5-10年内看见AGI充满信心,相信科学会有突破,相信这批全球最聪明厉害的科学家,这和曼哈顿计划、登月计划、克林顿网络大基建很像。

腾讯新闻《潜望》:朱啸虎还有一个观点是,GPT-5以后大模型的技术曲线基本会放缓下来。

李广密:技术发展不是线性的,可能平台期2年,再跳变跃升一次,有一个更大主声浪。几十万张卡训练AGI,可能比登月对人类的经济价值更大。我认为,模型作为新的平台,确定性已经很高了。

AGI大基建与马拉松:2024 Q1全球大模型的前沿手记

预测OpenAI:

挑软柿子嘛,就打Google

腾讯新闻《潜望》:你说最近几个月对OpenAI有了新认知,能不能展开讲讲?

李广密:我一开始觉得AGI公司不应该太激进做产品,OpenAI现在也很激进地做产品。你一边做科学发现,一边做商业化,要把这些发现的价值接住。这意味OpenAI会和一部分创业公司抢市场,当然肯定也有很多垂直行业它做不了。

如果我是Sam,AGI如果10年,每年都需要几个billion甚至10个billion投入,我需要商业化,需要有持续健康的现金流支持AGI。纯靠融资是很难融到那么多钱,你也不能只依赖微软——健康地走向AGI很关键。

腾讯新闻《潜望》:在你看来,有什么是OpenAI这家公司会做的,什么是他们不会做的?

李广密:他们AGI和超级应用都想做。To B企业客户对OpenAI难一些,企业客户是信任生意。微软在企业客户信任太深,To B大部分价值会被微软吃掉。OpenAI就做到模型领先和To C产品能有流量入口。

OpenAI垂直领域不一定会做,否则战线太宽,但是垂直领域的数据它可能会持续加上去,要把一些use case给做得更好,让创业公司用它的模型服务最后一公里的客户。法律/教育/金融估计不一定。机器人不好说,它以前做过,觉得太慢,过去一年投了3家机器人公司,今天在扶持。如果机会到了,它有可能自己做机器人,因为机器人从数字世界走向物理世界,是AGI比较关键的。

如果是我,我会先把ChatGPT从5000万DAU做到3个亿,有可能这会对Google产生fundamental影响。你看ChatGPT现在不到1000万付费用户,如果我做到3000万付费用户,是每年60亿美金订阅收入,那就可以健康支撑AGI每年的投入。

就拿mega7放在竞争视角对比,OpenAI很难和微软竞争To B企业市场,短期也很难和英伟达竞争芯片市场,更难和Apple竞争消费终端市场,大概率Google是个软柿子,可以去抢信息检索的市场,这比较make sense。

(接下来OpenAI)会做更强模型,ChatGPT活跃用户规模考虑怎么再翻个三五倍甚至更多?挑软柿子嘛,就打Google——Google的市场太肥了。

腾讯新闻《潜望》:OpenAI凭什么估值1000亿美元?

李广密:你把它看成微软的AI部门,微软因此涨了1T到1.5T。你看Tesla AI都值2000-3000亿美元。

腾讯新闻《潜望》:怎么看Sam 提出的7万亿美金芯片计划?中东在全球大模型战局扮演什么角色?

李广密:微软和OpenAI应该做ASIC芯片,或者起码具备这个能力。如果AGI是长跑,今天应该做准备。会不会有一个新的芯片联盟出现?主要是英伟达卖太贵了。肯定不会有7万亿美金这么多钱,但需要不少钱,中东是潜在最大出资方。

腾讯新闻《潜望》:你对GPT-5的预测是什么?

李广密:夏天or下半年推出?也是猜测。看能不能涌现新能力?能不能解决复杂任务?Agent能不能落地?

腾讯新闻《潜望》:现在2024年刚刚过完一个季度,你对接下来三个季度的AGI演进有哪些预测?

李广密:有很多期待。

1.GPT下一代 SOTA模型scale up幅度多大,是观测Scaling Law work的最重要指标。以及,下一代模型能涌现哪些新能力?

2.OpenAI这家公司能不能做好产品?如果他们做信息检索,会不会对Google产生fundamental影响?

3.多模态进一步怎么样?可能对自动驾驶和机器人影响最大的。

4.如果今年是收敛之年,年底收敛到几家模型?

5.会不会有GPT-4水平的开源模型出来?

6.单一模态的创业公司会怎样?单模态公司如果只做模型是很危险的,但如果把产品链做得很好好像也有壁垒。

AGI大基建与马拉松:2024 Q1全球大模型的前沿手记

推演进一步结盟:

期待Apple、英伟达、Meta如何做选择

腾讯新闻《潜望》:现在美国大模型赛场上是集团军作战,接下来会有更多结盟吗?

李广密:微软和OpenAI联盟目前是稳定的;AWS和Anthropic继续互相更深入绑定,AWS销售已经全线卖Claude 3了;Google自成一体;马斯克xAI长期不排除并入Tesla或Twitter的可能性;欧洲Mistral必须有个大腿支持,他们之前效率很高,2k H100做到现在水平,未来1年至少需要10-30亿美金融资,万张卡集群,不然后面也会掉队。

比较期待Apple、英伟达、Meta如何做选择。

OpenAI买一家芯片公司,形成新的芯片联盟?

Apple发了一些小模型,但Apple短期追上GPT-4水平比较难。但手机还是最重要的入口和习惯,Apple的位置长期是比较稳的。Apple训练很大的模型,今天看追不上OpenAI,但他们肯定是云和端结合,调用多个模型也不是没可能。

腾讯新闻《潜望》:你怎么看他们放弃了造车?

李广密:美国制造业不太行,也没等到自动驾驶来。

很多人都在提AI PC、AI手机。但真的把一个大模型变成小模型装到端上,很难,因为现在1B模型做不了太多,但手机跑1B模型能耗要求比较高,这又回到那个物理问题,物理迭代比较慢。如果你手机放一个比较大的模型,内存也要很大,电池也要很大,这个手机迭代比较慢。包括Tesla FSD在端上,因为它要latency(延迟)要求很高,也不能太大。

腾讯新闻《潜望》:英伟达会绑定模型公司吗?

李广密:有很大可能。如果我是英伟达,我不希望OpenAI一家独大,多扶持三五家可以更多卖卡。如果OpenAI一家独大,英伟达PE又得下来一截。

腾讯新闻《潜望》:怎么看这几个月中国大模型公司和巨头的结盟动态?(阿里有大动作,投了所有中国大模型创业公司。)

李广密:云可能是比芯片和模型大个3-5倍的生意,最后更多生产流程继续上云,但这里价值链分配比例会发生变化,所以阿里云必须要投入。期待阿里新CEO吴妈(吴泳铭)能成为微软CEO Satya一样的人,让阿里大象起舞。

腾讯新闻《潜望》:为什么阿里是同时分散投到多家而不是全部重注到一家模型公司?

李广密:(国内模型公司)技术辨识度不够高。另外我的投资可以绑定算力消耗,最后钱都还是要回来的。如果我投出去一块钱,训练又花一块钱,我的收入又多了一块钱,那我的市值可能又是10块钱。

AGI大基建与马拉松:2024 Q1全球大模型的前沿手记

谈 Sam、黄仁勋和马斯克:

我一直没搞懂Sam怎么有那么多钱?

他也没大的退出啊…

腾讯新闻《潜望》:最后,我们聊几个硅谷的重要人物吧,你怎么评价Sam Altman?

李广密:Sam有很多争议,但在OpenAI成名前,他坚持做这家公司七年,在很多人都不相信LLM能成的情况下,这点非常值得尊敬。相比起来,马斯克是中间放弃,现在回过头来觉得这个东西好。

OpenAI在同时做地球上两件最难的事:AGI + Killer App,两种culture平衡很难。Sam有勇气去探索一些别人没有探索过的东西,比如复杂的公司架构,比如敢于提出硅谷需要一些投入资金和时间成本巨大的项目。也确实在这上面吃了亏。

Sam在采访里让人印象比较深的一个点是,他对GPT-4的形容是sucks(很糟糕),他表现出对产品和模型的要求很高,认为GPT-4离想要达到的目标还非常远,明年看GPT-4就是小模型或者很笨,不应该觉得现在的产品已经amazing了。我比较认可Sam的一句话,科技进步创造经济价值增长,所以要提高科学发现的速度。

Sam个人好像投资很多,感觉得有几个billion,我一直没搞懂他怎么有那么多钱?他之前也没大的退出啊……

腾讯新闻《潜望》:怎么看马斯克和OpenAI之间的官司?

李广密:xAI打不过OpenAI?OpenAI变成了最靓的仔,散户的钱在从Tesla流出,马斯克得维护最靓的仔的形象,Tesla才有高PE估值。

马斯克肯定也不爽吧,毕竟这个idea是他发起的,结果今天和自己无关,没捞到什么好处。不过OpenAI后来变成一个商业盈利组织,和之前非盈利的初心是有些冲突的,但纯粹的非盈利组织很难获取太多资源训练大的模型,Sam找到微软合作也没毛病。

腾讯新闻《潜望》:怎么看Sam和黄仁勋在硅谷的地位,谁更高?

李广密:短期还是老黄地位高,英伟达是人类基石公司,没有老黄不行,没有Sam AGI也许也可以实现。但长期来说OpenAI价值也许更大,Sam成为智能的新教主,前提是芯片不受限英伟达。未来商业社会多两层收税的公司,英伟达收芯片算力税,OpenAI收模型智能税。

腾讯新闻《潜望》:AGI时代,现在美国VC都在投什么?他们今年更激进还是更保守了?

李广密:硅谷投资的主题已经变成Coding、Agent和机器人三大件。不过这三大件我有很大怀疑,Coding一定是大模型公司和微软的核心射程内,核心能力都来自模型公司,不确定上层优化价值有多大。

基础模型公司都会很激进做Agent,因为这个附加值高,模型即能力,模型即应用,模型即Agent,整个价值沉淀我觉得还是基础模型本身。

Cognition和Magic没有收入,就有 20 亿美元估值,说明了对Coding和Agent的hype(炒作)比较高。

机器人是几乎所有researcher目前创业的首选,因为容易讲故事和融资,觉得未来会有embodied OpenAI。机器人反正最近OpenAI投了几家,也许是好的timing,bet对一个很强的团队,核心是能持续融资和吸引最顶尖的人才。

投资节奏属于正常,但估值都很贵。AI好的确定性高的deal并不多,今天还是GPU和LLM基建最重要。

腾讯新闻《潜望》:为什么我们作为碳基智能,一直在追求硅基智能上这么热衷?

李广密:这个很有意思,最终AGI期待的一个结果是,不管是Agent还是其他形态,能够把所有的计算资源和能源都用得有意义,思考和解决人类没想过的问题。

碳基肉身有局限,吞吐量有限,记忆长度短,读不了DNA/RNA,人也不能规模化复制,碳基和硅基是很好的互补。

未来十年硅基的AGI和地缘博弈,这两个可能是交叉的。

原文始发于微信公众号(腾讯科技):AGI大基建与马拉松:2024 Q1全球大模型的前沿手记