1943年，当心理学家W.S.McCulloch和数理逻辑学家W.Pitts，经过反复地推算验证，提出神经网络和数学模型，并接受掌声和鲜花时，他们心中必然有一丝遗憾，因为在晶体管还未发明的年代，纷繁复杂的数学公式无异于纸上谈兵。他们肯定很难想象，80年后的今天，一场绿色的智能算力变革，会像电力、宽带一样，向我们奔腾而来。
01
超大AI模型呼唤更强算力
两年前，大洋彼岸传出的一则的消息，震动了当时的学界。人工智能公司OpenAI发布了一篇长达72页的论文，作者多达30人，内容描述了一种超大AI语言模型GTP-3，包含了1750亿神经网络参数，不仅能自己造句子，还能编故事。在大家都在感叹《终结者》电影中的狡猾“天网”似乎正走进现实时，很少有人注意到强悍功能的背后，超大AI模型正在贪婪的吞噬着有限的算力。
“大模型成为人工智能工程化的重要方向，智能算力需求几何级增长”，9月19日，中国智能计算产业联盟发布的《东数西算下新型算力基础设施发展白皮书》，一针见血地指出当下智能算力的紧迫氛围。
AI的发展绕不过三大核心要素，数据、算法、算力。如果把数据比作工业原材料，算法就对应着生产关系，而算力就是生产力，看得见摸得着的计算中心是它现实中的代表。十年前，业内广泛流传的段子是“得大数据者得天下”，如今却是“得算力者得天下”。
从数据来看，超大AI模型对算力挑战巨大。比如说，OpenAI为了训练含有1750亿参数的GPT-3，从无到有耗费了5亿美元，新搭建了一个算力中心，用掉了1万张显卡。而这个模型在训练上则消耗了355个GPU的年算力，训练的成本超过了460万美元。
除了算力，超大AI模型对电力的需求同样让人吃惊，GPT-3被训练一次就要消耗电量19万度，按照美国碳排放标准计算，大约产生了85000kg二氧化碳当量。
可如今，对更大AI模型的疯狂追求却成了趋势。尤其是在AlphaGo以5比4的成绩击败李世石之后，各家科技巨头像着魔一般，疯狂挑战超大AI模型。在OpenAI推出GPT-3之后，微软和英伟达也不甘心被落下，一年后立马公布了拥有5300亿参数的MT-NLG大模型。
所以，研究人员现在不得不面对一个现实困境，智能算力越来越不够用。在半导体产业，摩尔定律广为人知，芯片中的晶体管每隔18个月左右，基本会翻一番，性能同时会提升一个档次。而从2012年以来，人工智能产业也呈现了类似规律，复杂的AI训练任务所需的算力，每3.43个月就会翻倍。OpenAI在整理2012到2018年算力数据后，更是发现了一个惊人的事实，六年时间内，AI算力需求竟然增长了30万倍，这比摩尔定律更震撼。
中国工程院院士郑纬民曾指出，下一代AI的发展亟需建设大规模AI算力基础设施，GPT-3取得了很好的进步，但是离强人工智能还有差距，下一代人工智能模型可能超过万亿参数。
当AI大模型成为推动AI能力提升的重要工具和手段时，它的非线性甚至是几何式增长的参数数量，将导致AI大模型、巨量模型的计算规模越来越大，需要的硬件资源越来越多，对算力需求及其巨大。若是步入强人工智能时代，所需算力更是将呈现几何倍增长。
02
