解决AI大难题:如何降低AI运行对能源的消耗?

2021-03-19 07:44 分类:公司新闻 来源:

就当下来看,AI范畴完结突破性开展的深度学习模型,其规划越大,能耗和本钱也随之添加。自然语言处理模型GPT-3便是个典型的比如,为了能够在精确性与速度方面与人类相匹敌,该模型包含1750亿个参数、占用350 GB内存并发生高达1200万美元的模型练习本钱。并且单从本钱来看,咱们应该就能体会到它所耗费的海量动力。

处理AI大难题:怎么下降AI运转对动力的耗费?


UMass Amherst的研讨人员们发现,练习大型AI模型所需求的算力往往对应超越60万英磅二氧化碳排放量,相当于五台家用轿车在整个运用周期内的悉数排放!

更要命的是,这些模型在实践出产环境中(即推理阶段)还需求耗费更多动力以不断产出剖析定论。依据英伟达的预算,神经网络模型运转所发生的本钱有80%至90%来自推理阶段、而非练习阶段。

因而有观念以为,要坚持AI技能的快速前进,咱们有必要想办法找到一条具有环境可持续性的路途。但事实证明,咱们完全能够将大规划模型缩减为能够运转在日常工作站或服务器上的巨细,且简直不影响精确性与速度。

下面,咱们先来聊聊为什么机器学习模型总是这么巨大臃肿。

当时,核算才能每3到4个月即翻一番

十多年前,斯坦福大学的研讨人员发现,用于为视频游戏中的杂乱图形供给处理支撑的处理器(GPU)能够在深度学习模型中供给极高的核算功率。这一发现掀起一轮“军备竞赛”,各厂商争相为深度学习应用程序开宣布越来越强壮的专用硬件。与之对应,数据科学家们创立的模型也越来越巨大,期望借此带来更精确的处理效果。两股力气彼此环绕,也就构成了现在的态势。

来自OpenAI的研讨证明,现在全体职业都处于这样的晋级循环傍边。2012年至2018年期间,深度学习模型的核算才能每3到4个月就翻一番。这意味着六年时刻内,AI核算才能增长达惊人的30万倍。如前所述,这些算力不只可用于练习算法,一起也能在出产环境中更快带来剖析效果。但MIT的终究研讨则标明,咱们到达核算才能极限的时刻或许远远早于咱们的幻想。

更重要的是,资源层面的约束导致深度学习算法开端成为极少数安排的专属。咱们当然期望运用深度学习从医学影像中检测癌细胞改变、或许在交际媒体上主动铲除仇视言辞,但咱们也的确无法接受体量更大、耗电量更高的深度学习模型。

未来:少便是多

走运的是,研讨人员们发现了多种新办法,能够运用更智能的算法缩小深度学习模型,并从头调整练习数据集的运用办法。如此一来,大型模型也能够在装备较低的小规划出产环境内运转,并持续依据用例供给必要的效果。

这些技能有望推进机器学习大众化,协助那些没有足够金钱或资源的安排也能练习算法并将效果投入出产。这一点关于无法包容专用AI硬件的“边际”用例显得特别重要,包含摄像机、轿车仪表板以及智能手机等小型设备。

研讨人员们一向测验删去神经网络内的某些非必要衔接,或下降某些数学运算的杂乱性等办法缩小模型体积。这些更小、更快的模型能够在恣意方位以类似于大型模型的精确度与功能坚持运转。如此一来,咱们不再需求张狂寻求极致算力,也就有望缓解对环境的严重损坏。事实上,缩小模型体量、提高模型功率已经成为深度学习的未来开展方向。

另一个重要问题,则体现在针对不同用例在新数据集上重复练习大型模型方面。搬迁学习技能有望消除此类问题——这项技能以预练习完结的模型作为起点,能够运用有限的数据集将模型常识“搬迁”至新任务傍边,因而咱们不用从零开端从头练习初始模型。这既是下降模型练习所需算力的重要手法,也将极大缓解AI开展给自然环境带来的动力压力。

底线在哪?

只需有或许,模型应当、也有必要寻求“减肥”以下降算力需求。

别的,模型得到的常识应该能够收回并再次使用,而不用每次都从零开端履行深度学习练习进程。终究,全部有望下降模型规划、削减算力耗费(而不会影响功能或精确性)的办法都将成为解放深度学习能量的重要新机遇。

如此一来,任何人都能够以较低的本钱在出产环境中运转这些应用程序,一起极大减轻对自然环境形成的压力。当“大AI”开端变小时,其间必将蕴藏很多新的或许。关于这样的远景,咱们充溢等待。