阅读书籍
Data-Science-books 收集了部分关于深度学习的书籍
Coursera 上有哪些课程值得推荐？ 其中关于机器学习课程的值得一看，尤其是数学知识相关。
- 《深度学习》，Bengio和Goodfellow DeepLearningBookQA_cn 那些深度学习《面试》你可能需要知道的 deepLearningBook-Notes相关读书笔记
- 斯坦福机器学习课程
- 《统计学习方法》，李航 lihang_book_algorithm 作者使用python实现了所有的算法 li_hang 李航书籍的PPT static_study 《统计学习方法》的读书笔记 统计学习方法：习题笔记 习题的笔记 返回主页 刘建平Pinard 博主整理了很多书上的内容，可以作为复习参考
- 《神经网络与深度学习》，吴岸城
- 《神经网络与深度学习》讲义 《神经网络与深度学习》讲义（Notes on Artificial Neural Networks and Deep Learning）从感知器到多层感知器到卷积网络
- 《机器学习》，周志华 机器学习：习题笔记（一） 提供了课后习题的相关思路
- 《斯坦福大学2014机器学习课程笔记》，Andrew Ng主讲，黄海广整理笔记
- 《凸优化》为什么凸优化这么重要？ 機器學習中的優化理論，需要學習哪些資料才能看懂？ 凸优化书籍推荐？
- 《Neural Networks and Learning Machines》
- 機器學習基石上 (Machine Learning Foundations)—Mathematical Foundations
- 机器学习资料大汇总
- 机器学习学习大纲 对于机器学习中常用的模型和数学知识进行了罗列，其中的知识介绍接近李航的统计学系方法，很有系统性，推荐。
- 分布式 ecosystem 使用分布式技术来搭建深度学习框架。
- 高等微積分 高等微積分 台大老师讲解的微积分，非常棒。
- 《Machine Learning in Action》书籍阅读，可以在apachecn中的MachineLearning书籍中找到。
- Learn_Deep_Learning_in_6_Weeks llSourcell的课程slides，包括CNN、RNN和GAN。
- Theories of Deep Learning (STATS 385) deep learning背后的数学原理，deeplearning-math.github.io以及对应的视频课件。[TODO]
- TensorFlow-LiveLessons 该组织提供了大量深度学习相关资料的学习总结。
- nips2017 NIPS2017所有讲座，TODO。
相应的trick
相关博客
火光摇曳 腾讯rickjin大神部门的分享博客。
deep-learning-papers-translation 其中有经典论文的中文翻译。
infoxxxx-deep-learning 深度学习相关slides。
机器学习系列目录 博主学习机器学习的总结非常完善，基本对经典的课程进行了总结，可以借鉴参考。
nn-algorithm 该仓库以github issue的形式对每一个较新的神经网络算法进行资料收集，这种形式值得借鉴。
参数调整
你有哪些deep learning（rnn、cnn）调参的经验？ 这篇文章对神经网络中常用的参数调整进行了介绍，非常有帮助。
线性回归
推导过程
反向传播
四个基本公式
Improving the way neural networks learn
一文弄懂神经网络中的反向传播法——BackPropagation 非常形象
A Step by Step Backpropagation Example
[NN] 对于BackPropagation(BP, 误差反向传播)的一些理解
拉格朗日乘数法
拉格朗日乘数法是求解多元函数在一组约束条件下的极值的方法。
SVM算法
SVM算法的推导，其中包括KKT条件，拉格朗日乘数法等等
主要参考 - 零基础学SVM—Support Vector Machine(一) - 零基础学SVM-Support Vector Machine(二) - 周志华老师的《机器学习》支持向量机一章
参数初始化策略
主要还是标准初始化作为一个最基本的模型，其中Xavier和He等初始化都是修改了正态初始化中的stdev和均匀分布中的scale - 标准初始化 - 标准正态初始化 - 标准均匀初始化 - Xavier初始化 - Xavier正态初始化 - Xavier均匀初始化 - He初始化 - He正态初始化 - He均匀初始化
为什么神经网络参数不能全部初始化为全0？ 直观的用一个例子来解释为什么初始化为0不能获得有效的学习，主要导致了学习的重复对称性，所以参数初始化策略的主要作用就是打破这种对称性。