本吉奥的词嵌入，让被封印许久的RNN有了一丝解封的希望。原来RNN使用的是One-hot 向量，这种词汇表方式，让维度轻松突破50000维，整个RNN 的权重矩阵会变得巨大且难以训练。词嵌入将维度降至...
随着ImageNet大赛的持续推动，在空间问题上神经网络开始大杀四方，CNN和ReNet的架构越来越稳定了，人们不断的优化算法，堆叠算力，但很少人会挑战“卷积”这个核心范式。但是在序列问题上，却还处于...
AlexNet像天外来客一样，出道即巅峰，迅速的将ImageNet的专业比赛ILSVRC推到了视觉界“华山论剑”的位置。但是AlexNet却没有在行业留下太多的身影，很快就退出了历史舞台。这是因为Al...
2006年后来被称为深度学习元年，是因为辛顿发表了关于DBN网络的论文。他证明了深层网络是有可能实现的，但是实际情况是，DBN这种方式非常的原始，梯度消失也在经常折磨着工业界，基本上没有超过三层的网络...
辛顿的深度置信网络DBN，敲开了笼罩在神经网络头上多年的坚冰。它证明了深层网络是可训练的，梯度问题也并非完全无法解决的洪水猛兽，特别是霍克赖特和本吉奥还分别从不同的维度，掀开了它神秘的面纱。从1997...
第二卷：寒武纪的来临--算力觉醒与物种大爆发
1、NP问题的解决范式
在描述数学问题的方法中，我们常用P和NP问题这种分类。
P (Polynomial time)问题，代表的是“容易解决”的问...
第二卷：寒武纪的来临--算力觉醒与物种大爆发
1、破解梯度消失的秘密
1991年，塞普·霍克赖特（Sepp Hochreiter）还是慕尼黑大学的一名硕士生。当时霍克赖特正试图用RNN处理一些具有...
第一卷：漫长的黑夜与微光：从太古宙到元古宙
1、乔姆斯基的战争堡垒
杨立昆的CNN属于计算机视觉（CV）领域，处理的是物理世界的像素，自然语言处理（NLP ）处理的是人类社会产生的符号和逻辑。如果...
第一卷：漫长的黑夜与微光：从太古宙到元古宙
1、从S细胞到卷积运算
1980年，在巴黎高等电子与电工学院的图书馆里，一位戴着厚重眼镜的年轻人，正在向图书馆管理员询问有关《感知机》的材料。管理员从尘...
第一卷：漫长的黑夜与微光：从太古宙到元古宙
1、多伦多学派的建立
1986年的冬日的一天，卡内基梅隆大学的计算机科学系，辛顿并没有向往常一样去实验室摆弄他的玻尔兹曼机，而是坐在办公桌前，陷入了沉思...
第 1 / 197 页
下页