在日常生活中,我们大多数人都在不知不觉中与一种先进的人工智能方法——深度学习亲密接触:当我们使用Siri或Alexa时,当Netflix根据我们的观影历史建议电影和电视节目时,或者当我们与网站的客户服务聊天机器人(Chatbot)对话时,深度学习算法就在此时悄悄地改变着我们的生活。
深度学习这一高速发展的技术,本来被认为是应对气候变化的有效武器,却有着一个不为人知的缺点——高能耗。按照这种趋势继续发展下去,人工智能,特别是深度学习这一子领域,或许可能成为气候变化的罪魁祸首。
从2012年到2018年,短短的六年时间里,深度学习所需的计算量增长了300,000%。然而,与开发算法相关的能耗和碳排放量却鲜有被测量,尽管已有许多研究清楚地证明了这个日益严峻的问题。
针对这一问题,哥本哈根大学计算机科学系的两名学生Lasse F.Wolff Anthony和Benjamin Kanding,协同助理教授Raghavendra Selvan一起开发了一个名为Carbontracker的软件程序,它可以计算和预测训练深度学习模型的能源消耗和二氧化碳排放量。
网址:
www.carbontracker.org/
Lasse F. Wolff Anthony如是说:“这一领域的开发获得了高速发展。深度学习模型在规模上不断扩大,越来越先进, 目前呈指数级增长。令大多数人意想不到的是:这意味着能源消耗正在随之增加。”
一次深度学习训练=126个丹麦家庭的年度能源消耗
一次深度学习训练=126个丹麦家庭的年度能源消耗
深度学习训练是数学模型识别大型数据集中的模式的过程。这是一个能源密集型的过程,需要电力密集型专用硬件,每天24小时连续运行。
Benjamin Kanding说:“随着数据集日益扩大,算法需要解决的问题变得越来越复杂。”
GPT-3高级语言模型是迄今为止最大的深度学习模型之一,在一次GPT-3训练中,消耗的能耗估计为126个丹麦家庭的年度能源总消耗,排放的二氧化碳与70万公里的车程消耗的能量相当。
Lasse F.Wolff Anthony说:“在几年内,可能会有多个模型的计算量要比GPT-3的计算量大出多倍。”
改进空间
改进空间
Benjamin Kanding解释道:“如果按照这种趋势发展下去,人工智能可能最终成为气候变化的一个重要因素。我们的目的并非是要阻碍技术的发展,相反,技术的发展为气候改善提供了极好的机会。我们应该及时意识到问题的存在,及时思考:应如何做出改进?”
Carbontracker是一个免费项目,它提供了一个减少模型对气候影响的起点。该项目收集在进行深度学习训练的过程中,相当于排放多少二氧化碳的数量。这样做可以将能源消耗转化为二氧化碳排放量,并对它进行预测。
这两名计算机科学学生建议,深度学习从业者应关注模型训练的时间段,因为他们部署的硬件和算法时,能源的排放在24小时内是不同的。
Lasse F.Wolff Anthony总结道:“这样做有可能大幅度减少对气候影响。例如,如果一个人选择在爱沙尼亚或瑞典训练深度学习模型,在这两地,由于供应的是绿色能源,模型训练的碳排放量可以减少60倍以上。算法的效能也有着显著的不同,某些算法需要较少的计算量,能以更少的能量消耗获得相似的结果。如果能够对算法的参数做出微调,情况会发生很大的改变。”
相关报道:
https://www.sciencedaily.com/releases/2020/11/201103104723.htm