CMU 15-213 Lab 2 Phase 3 和 Phase 4 详解

CMU 15-213 Lab 2 Phase 1 和 Phase 2 详解

ReLU是深度学习中常用的激活函数，因其在不等于0时的导数为常数所以可以有效提升神经网络的训练速度。但是从数学理论上来看，作为一个不可导的函数，它为什么可以用在梯度下降中呢？

这是最近提交的一个课程报告，内容主要整理自几篇论文以及维基百科。这也算是与我们码农有点关系的内容，就分享在这里。如果你正好有申请软件专利方面的问题，希望这篇文章对你有所帮助。