大模型背景下，智能计算发展有哪些新态势？

  当前，智能算力需求倍增，千卡计算集群成为大模型训练标配，巨量参数、海量数据是人工智能大模型研发的必经之路。以ChatGPT为代表的多模态AI大模型成为人工智能迈向通用智能的里程碑技术，2018年—2024年OpenAI公司先后发布GPT-3.5、GPT-4、Sora等大模型，参数规模突破万亿，模型训练数据量达TB级别，应用场景覆盖文生文、文生图、文生视频等多模态计算任务。参数规模在百亿到千亿区间、训练数据TB级别以上，已成为研发具备涌现能力大模型的必备条件。

  2003年—2023年20年间智能算力需求增长百亿倍，远超摩尔定律提升速度。以ChatGPT为代表的人工智能大模型突破性进展激发全球智能计算发展热潮，大模型算力需求远超半导体增长速度，算力需求增长与芯片性能增长之间逐渐不匹配。根据公开数据测算，以AlexNet为代表的传统卷积神经网络模型训练计算量以5～7个月翻倍增长，当前基于Transformer的大模型计算量以4～5个月翻倍增长；然而芯片侧，CPU依旧延续摩尔定律以两年性能翻倍的速度发展，GPU芯片通过架构创新持续强化并行计算能力，实现十年千倍增长速度（int8算力）。现阶段，业界通过算力堆叠以及芯片、软件、互联等协同技术系统性能提升以满足大模型智能算力激增要求，千卡算力芯片构建的集群成为千亿参数大模型训练的标配。

  芯片、软件、互联等技术创新是算力提升关键

  多维度架构创新实现芯片性能倍增。与通用计算芯片不同，智能计算芯片微架构创新对其算力提升影响超过工艺制程。英伟达重视GPU微架构创新，2010年以来已累计实现9次架构升级，结合工艺升级实现了十年千倍的性能提升。最新Blackwell GPU架构内置第二代Transformer引擎和专用RAS安全引擎，全面提升计算效率和部署稳定性。第二代Transformer引擎支持微张量缩放和动态范围管理算法，扩展支持新型FP6、FP4精度计算，实现自动调整精度以达到芯片最优算力性能；RAS引擎基于人工智能的预防性维护技术完成芯片运行状态的诊断，最大化延长系统运行时间和降低运营成本。

  深度学习框架和软件栈间接口高效适配成为芯片好用的关键。深度学习框架在支撑应用开发的同时，需要完成与底层芯片软件栈的高效适配。开发框架方面，提供分布式调度、访存优化、模型并行、数据并行等开发能力，支持分布式大模型高性能训练与推理已成为框架高效应用的关键。PyTorch采用类Python语法降低使用门槛，动态计算图设计思路便于灵活调试，加快模型的训练和优化过程，是当前算法应用开发的主力产品。软件栈方面，重点强化大模型加速库能力建设，通过向用户提供易用、高效的芯片编程接口，提高开发人员的工作效率，目前已推出针对深度学习计算、优化模型推理和加速科学计算、图形计算的专用加速库，满足多样化智能计算需求。

  高速互联是大规模算力集群构建的基础。芯片间、服务器间、集群间的高速互联、无损网络能力建设，是支撑千卡、万卡智能算力集群计算需求的必备条件，英伟达新一代NVLink 5高带宽互联技术支持GPU间、GPU与Grace CPU直连，带宽从H100的900Gb/s提升到1800Gb/s，与NVLink交换机联合使用可最高支持576个GPU高速通信，是H100芯片最大直连数量的2倍，为支持万亿参数大模型训练提供基础。

  巨头蜂拥智能计算赛道

  寡头垄断与多体系并存

  计算核心企业加快智能计算产品端到端体系化布局，抢占产业生态主导权。英伟达巩固GPU芯片性能优势的同时，向CPU、服务器架构、云平台等下游渗透，借助B200、H100芯片和DGX SuperPOD计算集群主导地位开辟云服务DGX Cloud，使企业能够立即访问生成式AI应用和训练模型所需的基础设施与软件。AMD强化“CPU+GPU”双芯片战略布局，CPU方面，通过改进分支预测、增加浮点支持指令等持续迭代升级芯片性能，GPU方面，发布基于CDNA 3架构的人工智能芯片MI300A和MI300X以抢占大模型算力市场份额。英特尔围绕高性能计算优势领域，逐步向GPU、ASIC等面向人工智能技术路线的产品体系布局，推出Habana Gaudi 2、Xe GPU等产品。但从全球智能计算芯片市场的规模来看，英伟达主导地位明显，市场占有率超80％，短期内领先的市场格局不会改变。

  云平台及AI企业向底层芯片领域渗透，但仅少量自研芯片实际部署应用。谷歌、微软、亚马逊等云厂商依托云计算优势向底层芯片领域渗透。谷歌自研张量处理器芯片TPU历经五代迭代创新，于2023年8月发布新一代定制TPU v5e用于大模型训练和推理，目前已批量应用于自研LLaMA大模型训练推理任务中。微软于2023年11月发布Maia 100和Cobalt 100芯片，Maia 100专为Azure云生成式AI业务设计，提供自然语言处理、计算机视觉、推荐系统等计算服务，已在Bing和Office AI产品上完成测试；Cobalt 100是基于ARM架构的通用计算芯片，当前已为Microsoft Teams等应用提供支持；然而上述两款芯片至今仅支持微软自家云服务，尚未向合作伙伴和客户开放芯片产品供应。微软自研推理芯片Inferentia和训练芯片Trainium，2023年4月更新的Inferentia 2芯片进一步提升计算性能，通过多卡高速互联可完成千亿参数大模型推理任务。但从实际应用来看，国内外云厂商仅在有限的特定算法场景中使用自研芯片，对外提供的稳定、可靠的高性能智能算力服务均基于英伟达加速卡产品实现。

  智能计算生态软硬深度绑定发展

  计算企业均构建了与自研芯片相对应的端到端软件栈。目前国内企业均构建了与自研芯片相对应的端到端软件栈（含驱动层、编译器、加速库、工具链等），存在兼容英伟达CUDA生态和自研软件栈等技术路线。一方面，英特尔、AMD等企业在工具链API接口协议等方面与CUDA对应一致，便于把CUDA程序快速迁移到自研GPU硬件平台，降低芯片应用门槛，满足不同应用开发及调试需求。另一方面，谷歌自研TPU芯片应用时，自研软件栈编译器等工具，针对特定算法应用进行优化，实现处理效率和性能的提升。

  国内软件生态竖井及碎片化发展，应用跨平台迁移难度大、成本高。“框架+工具链+硬件”紧密耦合的长链条，端到端紧耦合、接口互不兼容，致使上层应用与特定系统锁定，是形成繁多竖井生态的根本性因素。对于应用开发者而言，应用开发人员在使用多芯片异构算力进行AI算法实现过程中，不同厂家开发的框架应用程序接口、编程库和操作系统尚不统一，DSA架构专用芯片编程范式和软件栈互不兼容，需在OpenCL、OpenACC、OpenMP等多种模型范式间切换。开发框架、软件栈竖井式的开发生态增加了应用开发人员的开发成本，应用企业为开发出能够适配多种异构AI芯片算力的算法程序，需建立多支开发团队、维护多个程序版本，成为业界运用异构算力的主要瓶颈。（作者 张乾）