移动通信领域有了新 SOTA：华为出品，精准预测用户行为
发布时间：2025-04-04 13:09:46 | 责任编辑：字母汇 | 浏览量：13 次
专门解决电信行业用户行为建模的难题。华为 GTS 部门 AI 算法团队提出 GTS-LUM，实现移动通信用户精准行为洞析与多跳预测，实验中效果大幅优于 Meta 的 HSTU 和字节的 HLLM。
GTS-LUM，全称 Global Technical Service-Large User Model，主要有以下几个创新点：
基于海量用户行为序列数据自监督、多模异构 Encoder-Adapter-LLM Decoder 架构、Q-former 语义空间和业务空间知识对齐、创新多尺度时序处理机制、多用户运营场景后训练、精准捕捉用户业务级浅层语义。
实验中，在所有评估指标上均显著优于基线模型，拿下领域新 SOTA。
以下是更多细节。
GTS-LUM 方法解析
随着电信市场渗透率趋近饱和，存量用户价值挖掘与用户留存成为运营商核心战略。
电信用户在网行为产生的海量数据（日均 PB 级）成为一种新型数据模态。
以往，运营商借助传统机器学习的方法学习用户行为，但受制于模型体量，预测精度上的瓶颈日益突出。而不同于成熟的互联网推荐场景下的用户行为建模，电信场景的特殊性体现在：
用户的长周期决策机制
电信服务作为社会基础设施具备强连续型需求，导致用户决策呈现长周期特征。
用户关键决策行为（如套餐变更、携号转网）更多受长期服务体验驱动（如网络稳定性、资费合理性等），与互联网场景的短期兴趣驱动机制形成本质差异。
该决策特征使得传统序列建模方法中基于近期行为的采样策略面临挑战，直接应用可能导致关键历史信息丢失，损失预测精度。
多模异构数据特点
与互联网场景中常见的以历史用户-商品交互序列为基础，预测用户下一段时间内的商品交互为目标不同，电信用户的数据输入与预测目标有明显的异质特性，体现在：
行为打点多样性：包含用户-用户 / 产品 / 位置 / 渠道 / 网元交互等信息；
时间粒度层次性：包含秒级（如实时信令）、日级（如业务办理）、月级（如账单）等多个尺度；
目标异质性：包含用户流失预警、套餐升级预测、营销响应建模等多运营任务。
这种复杂性使得现有技术面临几个瓶颈：
1、跨时间尺度建模不足：当前序列建模方法缺少有效的时间处理机制，以捕捉用户跨日、周、月等多时间尺度下用户的长期行为演化模式；
2、多模异构数据表征局限：当前互联网推荐技术常借助商品的文本描述，难以充分利用电信领域异构数据模态丰富的特点强化用户表征能力，直接应用存在异构空间对齐问题；
3、目标分离严重：电信领域现有方案通常对流失预警、套餐升级预测等运营任务独立建模，效率低下，缺乏统一模型架构提取和目标更加有效关联的用户表征。
由此，华为 GTS 部门 AI 算法团队提出了 GTS-LUM。
GTS-LUM 技术架构如下图所示：
多尺度时序处理机制
GTS-LUM 基于多层级时间划分融合语义策略，通过构建“时段-周期”语义描述优化用户行为序列建模。
具体而言，基础层级将每日划分为若干典型时间区间（如早高峰、午间时段等）；并在周期层级叠加工作日 / 周末的周级维度特征，形成对用户行为发生事件的复合语义描述。然后将用户行为按照指定时间切片范围进行处理汇聚。
针对同一时间切片的用户行为，组织序列时，在起始端嵌入对应的时段-周期语义描述，并在序列末端添加特殊分隔符 [SEP] 作为行为片段的边界标识。
该设计通过粗粒度业务时间特征与细粒度行为位置关系的协同建模，形成具有时间感知能力的用户行为序列。
多模异构框架
GTS-LUM 构建了多模态协同的用户行为嵌入框架，精准捕捉用户业务级浅层语义。
在语义特征维度，通过任一时间切片内对用户和产品 / 位置 / 渠道的交互行为进行处理汇聚得到“一句话”描述，然后基于预训练语言模型获得文本向量嵌入，并在语义空间执行谱聚类，从而提取可解释的行为语义编码。
在业务特征维度，采用 Node2Vec 算法对用户-用户交互等图数据以及 TableGPT2 框架对终端设备、地理位置等属性维表进行处理，生成多模态业务嵌入向量。
本方法的核心创新在于引入了基于 Q-Former 适配器的跨模态对齐机制：
通过交叉注意力层自动筛选与当前语义最相关的多模态业务特征，并借助共享的自注意力层构建业务特征空间和语义空间的潜在映射关系，最后通过对比学习任务实现跨模态知识对齐。
值得注意的是，论文中创新性地为 Q-Former 引入了额外训练任务，包括序列片段-文本匹配、序列片段-文本对比学习和序列片段-文本生成，使其兼具多模态对齐器与用户长期兴趣压缩器的双重功能。
目标感知建模
GTS-LUM 进一步优化了用户表征学习过程，通过目标感知建模突出了与任务场景最相关的历史行为。
不同于传统推荐模型的目标后置范式，GTS-LUM 将预测标签前置于行为序列起始位置，利用 LLM 的因果注意力机制实现双阶段优化：
在注意力计算阶段，目标标签作为先验条件动态调整历史行为的注意力权重分布；在表征生成阶段，基于 Decoder 的自回归架构实现渐进式特征优化，通过多步解码过程迭代调整用户表征向量。
工业级验证效果
在某省级运营商真实场景中，选取 20w 左右用户数据量在 Ascend 910B2 NPU 上进行训练和推理，实验结果显示 GTS-LUM 表现亮眼。
GTS-LUM 与业界方案对比如下：
GTS-LUM 在所有评估指标上均显著优于基线模型。
结果表明，尽管典型推荐模型在实验室数据中表现良好，但在具有领域特定复杂性的工业级数据集上会出现显著的性能下降。
具体而言，GTS-LUM 相比 Meta@HSTU 方案平均提升 107.86%，相比 ByteDance@HLLM 方案提升 31.38%，这些改进凸显了融合多模态输入的重要性，以及将开放世界知识与特定业务知识对齐的必要性。
更多实验结果，请参阅论文。
GitHub 链接：https://github.com/zzzzztw/GTS-LUM/blob/main/GTS-LUM.pdf
本文来自微信公众号：量子位（ID：QbitAI），作者：华为 GTS 部门 AI 算法团队
华为GTS部门AI算法团队在移动通信领域取得了显著的进展，推出了名为GTS-LUM（Global Technical Service-Large User Model）的模型。这一模型专注于电信行业用户行为的精准预测，通过创新的技术架构和算法，实现了用户行为的精准洞悉与多跳预测。以下是GTS-LUM模型的主要创新点和实验效果的详细解析：
主要创新点
- 海量用户行为序列数据自监督学习
- GTS-LUM模型基于海量用户行为序列数据进行自监督学习。这意味着模型能够从用户的行为数据中自动学习模式和规律，而无需依赖于人工标注的数据。这种自监督学习机制大大提高了模型的泛化能力和预测精度。
- 多模异构Encoder-Adapter-LLM Decoder架构
- 该模型采用了多模异构的Encoder-Adapter-LLM Decoder架构。这种架构能够处理和融合来自不同源和不同类型的数据，如用户与产品、位置及渠道的交互信息。通过这种多模态数据处理，模型能够更全面地理解用户行为，从而提高预测的准确性。
- Q-former语义空间和业务空间知识对齐
- GTS-LUM引入了Q-former机制，实现了语义空间和业务空间的知识对齐。这一机制通过交叉注意力层自动筛选与当前语义最相关的多模态业务特征，并借助共享的自注意力层构建业务特征空间和语义空间的潜在映射关系。这种对齐机制使得模型能够更有效地利用跨模态信息，提高了模型的预测能力。
- 创新多尺度时序处理机制
- 模型采用了创新的多尺度时序处理机制。这种机制通过构建“时段-周期”语义描述优化用户行为序列建模。具体而言，模型将每日划分为若干典型时间区间（如早高峰、午间时段等），并在周期层级叠加工作日/周末的周级维度特征，形成对用户行为发生事件的复合语义描述。这种多尺度时序处理机制使得模型能够捕捉到用户行为的长期演化模式，提高了预测的准确性。
- 多用户运营场景后训练
- GTS-LUM模型还针对多用户运营场景进行了后训练。这种后训练机制使得模型能够更好地适应不同的运营任务，如用户流失预警、套餐升级预测、营销响应建模等。通过这种针对性的训练，模型在实际应用中的表现得到了显著提升。
实验效果
在某省级运营商的真实场景中，GTS-LUM模型在Ascend 910B2 NPU上进行了训练和推理。实验结果显示，GTS-LUM在所有评估指标上均显著优于基线模型，具体提升幅度达到了107.86%，相比ByteDance的HLLM方案提升31.38%。这些改进凸显了融合多模态输入的重要性，以及将开放世界知识与特定业务知识对齐的必要性。
GTS-LUM模型的推出不仅在技术上取得了突破，更为移动通信领域未来用户行为分析和预测指明了新方向。这种基于大数据和先进算法的用户洞察能力，将有助于电信运营商在日益激烈的市场竞争中挖掘潜在价值。随着GTS-LUM的推广应用，电信行业预计将在用户留存、套餐升级和流失预警等多个维度实现精准化和智能化管理。
行业影响
GTS-LUM模型的推出对移动通信行业产生了深远的影响：
- 提升用户管理与营销策略的精准度
- 通过精准预测用户行为，运营商能够更有效地进行用户管理和制定营销策略。例如，通过预测用户可能的套餐变更或携号转网行为，运营商可以提前进行干预，提高用户留存率。
- 促进电信服务的个性化和智能化
- GTS-LUM模型的应用使得电信服务能够更加个性化和智能化。运营商可以根据用户的预测行为提供定制化的服务和产品，从而提升用户体验和满意度。
- 推动电信行业技术革新
- GTS-LUM模型的成功应用为电信行业的技术革新提供了新的思路和方向。未来，我们可以预见更多基于大数据和人工智能技术的创新应用将在电信行业中涌现。
- 增强电信运营商的市场竞争力
- 通过利用GTS-LUM模型进行用户行为预测，电信运营商能够更好地理解市场需求，制定更有效的竞争策略。这将有助于提升运营商的市场竞争力，实现可持续发展。
总之，华为GTS部门推出的GTS-LUM模型在移动通信领域实现了新的SOTA，为用户行为预测提供了强大的技术支持。这一模型的推出不仅在技术上取得了突破，更为电信行业的未来发展指明了方向，将对整个行业产生深远的影响。随着GTS-LUM模型的不断优化和应用，我们可以期待电信行业在用户服务、运营管理以及市场竞争力等方面实现更大的突破。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
