美国大学研发“早鸟法”训练深度神经网络 可减少10.7倍能耗

据外媒报道，美国莱斯大学（Rice University）研发了一种高效节能的深度神经网络（DNN）训练方法——称为“Early Bird”（早鸟法），而深度神经网络是自动驾驶汽车、智能助理、面部识别和各种高科技应用背后的一种AI（人工智能）技术形式。

（图片来源：莱斯大学）

莱斯大学和德克萨斯农工大学的研究人员表示，用Early Bird训练DNN时所消耗的能量可减少10.7倍，而且精度水平与普通的训练方法相同，甚至更好。

研究人员表示：“最近AI技术突破的主要驱动力在于引入了更大、更昂贵的DNN。但是训练此类DNN需要大量的能量。要想推出更多创新产品，必须找到更绿色的训练方法，既要解决环境问题，还需要减少AI研究的财务障碍。”

训练尖端的DNN非常昂贵，而且成本越来越高。2019年的一项研究发现，2012至2018年间，训练一流深度神经网络的计算需求增加了30万倍。另一项研究也表明，训练一个精英款DNN的能耗相当于5辆美国SUV一生的二氧化碳排放量。

DNN包含数百万甚至数十亿个人造神经元，学习执行特殊任务。没有任何明确的编程，由人工神经元构成的深度网络可以通过“学习”大量先前的例子，学习做出与人类类似的决定，甚至还可以超越人类专家。例如，如果一个DNN研究了猫和狗的照片，就会学会识别猫和狗。2015年，一个被训练用于玩棋类比赛的深度神经网络AlphaGo在学习了数万个之前所玩过的棋类游戏后，成功击败了一名职业棋手。

研究人员表示：“目前，最先进的 DNN训练方法称为渐进式修剪与训练。首先，需要训练一个密集、巨大的神经网络，然后移除看起来不重要的部分，就像给一棵树修剪一样。然后，重新训练经过修剪的网络，以恢复其性能，因为修剪之后的性能会下降。在实践中，则需要多次进行修剪，并重新训练，才能获得良好的表现。第一步，即训练密集、庞大的网络，是最昂贵的，因此需要在第一步就确定好最终、功能齐全、经过修剪的网络，即“early-bird ticket”（早鸟票）。”

通过在训练早期寻找关键的网络连接模式，研究人员发现了“早鸟票”的存在，并利用早鸟票简化DNN训练。在各种有关基准数据集合DNN模型的实验中，研究人员们发现，“Early Bird”在最初训练阶段出现的几率只有十分之一，甚至更少。

研究人员表示：“我们的方法能够在训练密集、庞大的网络前，早10%或更早地自动识别出早鸟票。意味着，与训练DNN的传统方法相比，可减少约10%或利用更少的时间来训练DNN，而且可以达到相同甚至更高的精确度，从而既可节省计算、又可节省能耗。”