教研室里安静了几秒钟。
伊利亚的大脑飞速运转，推演着亚历克斯的设想。
“如果真能把我们的代码通过CUDA接口迁移到GPU上……”伊利亚喃喃自语。
“几百个核心同时进行矩阵运算，训练速度绝对会成百倍上升！以前需要一个月的模型，可能两天就能跑出结果！”亚历克斯接上了伊利亚的话。
辛顿听完亚历克斯的长篇大论，陷入了深深的思考。
他站起身，走到白板前，看着亚历克斯写下的对比数据。
“2006年的时候，我一直在研究深层网络训练难的问题。”辛顿缓缓开口。
亚历克斯和伊利亚都安静地听着导师的复盘。
“由于信号在传播过程中会逐层衰减，也就是梯度消失，导致网络根本无法有效训练。”辛顿指出当年的痛点。
“后来我提出了逐层预训练的方法。先逐层训练好每一层的参数，再堆叠起来整体训练。”辛顿回顾着自己的理论成果。
“这个理论证明了深度的价值，奠定了基础，但实际操作中，算力一直是我们跨不过去的天堑。”辛顿叹了口气。
The content is not finished, continue reading on the next page