深度学习基本概念

深度学习基本概念

Liner Model 太过简单，不能拟合复杂的关系

可能出现如下情况：

如何写更复杂的有未知参数的函数？

红色function 可以看作 一个常数 + 一群蓝色的function

曲线也可以通过取适当的点然后把这些点连接起来形成一个 Piecewise Liner(分段) 的 Curves，所以可以通过足够多的 蓝色的 function 加起来形成任何的曲线。

通过 sigmoid function 来逼近 蓝色的 function

sigmoid Function：S 形的 function

有弹性的有未知参数 function

而 在​​上一个 blog 最后​​ 推广到可能具有周期性，所以可以通过 多个 feature 来改造函数，然后再对具有多个 feature 的函数进行推广，就有

可以用以下向量与矩阵关系表示这个乘法关系

所以用线性代数表示为：

第三步 Optimization 的方法也没有变化

batchsize 也是 hyperparameter

通过 Relu 来逼近 蓝色的 function

需要先用 Relu 拟合 Hard sigmoid

sigmoid 与 Relu 统称为 activation function

我们可以重复多次 进行如下扩展：

多个 layer

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。