神经网络

标签介绍:从人类大脑得到灵感,用简单的神经元以及它们之间的相互连接,构建起来的计算模型,能够学习,具有智能。从程序员的角度看,传统编程是让计算机做确定的事情,而神经网络是让计算机去自己学习怎么做事情。

文章列表

log-likelihood损失函数

2021年1月22日

log-likelihood损失函数,是为配合softmax作为output layer,正如 sigmoid 要配合 cross entropy一样,都是为了规避output layer的学习缓慢的问题。 阅读全文->

为什么要用cross entropy作为损失函数?

2021年1月20日

本来quadratic cost function简单易懂,为什么要用cross entropy函数作为损失函数呢? 阅读全文->

MLP网络BP公式推导

2021年1月18日

我喜欢用MLP来表示feed forward fully connected neural network,因为似乎找不到更简洁的词汇。本文推导MLP网络BP算法的4个公式。 阅读全文->

神经元激活函数

2021年1月20日

本文尝试汇总个人遇到的各类常用的神经元激活函数的信息。 阅读全文->

不稳定的梯度

2021年1月7日

深度神经网络DNN在训练的时候,会存在两个潜在的与不稳定的梯度有关的问题:(1)梯度消失(vanishing gradient);(2)梯度爆炸(exploding gradient)。 阅读全文->

深度神经网络的哲学思考

2021年1月6日

深度神经网络,就像自然界的很多其它事物,他们之间在很深很本质的层面上,有着惊人的高度的一致性。 阅读全文->

为什么Learning Rate不能很大?

2021年1月5日

Learning Rate 不能很大,其实原因很简单。微分公式中的delta,都是近似,delta y = derivative * delta x,这个关系式,只有在 delta x 很小的时候才成立!! 阅读全文->


©Copyright 麦新杰 Since 2019 Python笔记

go to top