第11章 问答（2/2）

“理论和实践的结合，这是一个很重要的视角。这位同学叫什么名字？“

“陈阳。“

“陈阳同学的回答很有深度。

“姚教授对全班说，“大家要记住，学习计算理论不是为了证明数学定理，而是为了理解计算的本质，从而在实践中做出更好的设计。“

下课后，陈阳收拾东西准备离开。

“陈阳。“

姚教授站在讲台上，朝他招手。

“你刚才提到的启发式算法，“

姚教授看着他，“在什么样的实际场景中用过？“

陈阳知道，机会来了。

“我暑假的时候创办了一个爬虫公司，做数据分析。“

陈阳说，“在爬取数据的过程中，遇到了一个很棘手的问题，验证码识别。“

“验证码？“姚教授来了兴趣。

“对。传统的图像处理方法效果很不稳定，“

陈阳说，“所以我开始研究深度学习的方法来解决这个问题。“

“深度学习？“姚教授眼中的赞许更明显了，“这个方向很前沿。你遇到什么困难了吗？“

“遇到了。“陈阳组织着语言，“当我把网络层数加深的时候，出现了梯度消失的问题。反向传播到浅层的时候，梯度已经接近零了，导致浅层根本训练不动。“

姚教授点点头，这是深度学习领域人尽皆知的难题。

“我查阅了很多文献，“

陈阳说，“GeoffreyHton的预训练方法丶YannLe的卷积神经网络，都给了我很多启发。我尝试用ReLU激活函数代替Sigoid，用Dropout防止过拟合，用数据增强扩充训练集。这些方法确实有效。“

“效果怎么样？“

“梯度消失的问题基本解决了。“

陈阳说，“但随之而来的，出现了一个新的问题。“