＜ Python笔记＋

神经网络

标签介绍：从人类大脑得到灵感，用简单的神经元以及它们之间的相互连接，构建起来的计算模型，能够学习，具有智能。从程序员的角度看，传统编程是让计算机做确定的事情，而神经网络是让计算机去自己学习怎么做事情。

文章列表

会死掉的ReLU

2021年6月28日

貌似ReLU神经元激活函数是在2011左右出现的，著名的AlexNet就使用了它。ReLU神经元激活函数的出现，同样也是来自生物神经科学领域的启发。阅读全文->

2021年1月22日

log-likelihood损失函数，是为配合softmax作为output layer，正如 sigmoid 要配合 cross entropy一样，都是为了规避output layer的学习缓慢的问题。阅读全文->

2021年1月20日

本来quadratic cost function简单易懂，为什么要用cross entropy函数作为损失函数呢？阅读全文->

2021年1月18日

我喜欢用MLP来表示feed forward fully connected neural network，因为似乎找不到更简洁的词汇。本文推导MLP网络BP算法的4个公式。阅读全文->

2021年6月28日

本文尝试汇总个人遇到的各类常用的神经元激活函数的信息。阅读全文->

2021年1月7日

深度神经网络DNN在训练的时候，会存在两个潜在的与不稳定的梯度有关的问题：（1）梯度消失（vanishing gradient）；（2）梯度爆炸（exploding gradient）。阅读全文->

2021年1月5日

Learning Rate 不能很大，其实原因很简单。微分公式中的delta，都是近似，delta y = derivative * delta x，这个关系式，只有在 delta x 很小的时候才成立！！阅读全文->

Ctrl+D 收藏本页