随着ChatGPT带火的AI热潮持续升温,行业内布局大型语言模型的企业逐渐增多,对算力的需求也在显著提高。目前英伟达GPU价格不仅水涨船高,交货周期也被拉长,部分新订单可能要到12月才能交付。
A100价格涨幅达37.5%,A800价格涨幅达20%
据集微网消息,有代理商透露,英伟达A100价格从去年12月开始上涨,截至今年4月上半月,5个月价格累计涨幅达到37.5%;同期A800价格累计涨幅达20.0%。同时,英伟达GPU交货周期也被拉长,之前拿货周期大约为一个月,现在基本都需要三个月或更长。甚至,部分新订单“可能要到12月才能交付”。
供需的巨大鸿沟面前,在这一情形之下,众多客户也不得不“勒紧腰带”。据集微网文章指出,国内可用于训练AI大模型的A100大约有4万-5万个,供应相当吃紧,一些云服务厂商已严格限制内部使用这些先进芯片,以将其保留至需要强力运算的任务。
值得一提的是,类似的事情在微软内部也早已发生。3月已有外媒报道指出,微软内部陷入AI服务器硬件短缺的窘境,不得不对AI硬件资源采取“配额供给”机制,限制公司内部其他AI工具开发团队的资源用量。
英伟达GPU涨价始末
拉长时间线来看,有GPU业内人士指出,实际上从去年6月起,英伟达就已宣布上调A100价格,涨幅20%左右,渠道商在加紧囤货。至于英伟达A800,在ChatGPT火爆之前就已出现涨价,但反映到市场则有一定的滞后性,赶上ChatGPT爆火这一时间点,更放大了这一现象。
GPU业内人士表示:“英伟达GPU涨价与ChatGPT有一定的关联性,且交货周期也受到了连带的影响,导致市场上出现了众多炒卡的行为。”
此外,在海外电商平台上,英伟达新旗舰级GPU H100的价格在4月中旬就已炒到了超过4万美元。
如今各家科技巨头争相推出自家大模型,GPU需求量持续攀升。OpenAI指出,AI大模型要持续取得突破,所需要消耗的计算资源每3~4个月就要翻一倍,资金也需要通过指数级增长获得匹配。
业内人士也表示,AI大模型训练成本之一是基础算力,如果价格持续上涨,无论是互联网、AI大厂、还是创业新贵,要追加的投入都可能远超当初。
GPU筑起大模型算力门槛
众所周知,芯片能力直接影响着高算力训练效果和速度,相较于基于CPU芯片的通用算力,AI所需的智能算力则主要基于GPU、GPGPU及AISC等AI芯片所提供算力,用于人工智能的训练和推理。其中,GPU是一种专门用于处理图形、视频、游戏等高性能计算的硬件设备,凭借相较于其他硬件在算力方面的较大优势脱颖而出,同时随着英伟达A100、H100等型号产品的发布,前款产品在AI推理时吞吐量是CPU的249倍。GPU已成为当前AI算力的核心硬件。
中金公司研报表示,多GPU互联能力加强可以提高并行计算能力,因而算力提升对GPU数量的要求日益提高。随着单GPU的计算能力越来越难以应对深度学习对算力的需求,英伟达已经开始用多个GPU去解决问题。对此,业内分析认为,高端GPU的数量基本决定了一个厂商能够练多大的模型,后期将成为业内判断企业大模型能力的重要指标。
据TrendForce数据显示,如果以英伟达 A100 显卡的处理能力计算,GPT-3.5大模型需要2万块GPU来处理训练数据。亦有业内公认看法,做好AI大模型的算力门槛是1万枚A100芯片。
目前,全球GPU市场主要由英伟达、英特尔和AMD三家巨头垄断,去年Q4独立GPU份额分别为85%、6%、9%。其中,人工智能、云端计算和独立GPU主要为英伟达主导,A100和H100浮点算力分别实现19.5 TFLOPS 和67 TFLOPS。