论文资料

Learning to Forget: Continual Prediction with LSTM 讲述LSTM中的forget gate

书籍资料

Supervised Sequence Labelling with Recurrent Neural Networks 链接使用RNN来进行监督式序列标注

博客资料

Understanding LSTM Networks 这篇博客对LSTM层层深入，易于理解，该作者的图较生动，其博客同时包含很多神经网络的资料。

The Unreasonable Effectiveness of Recurrent Neural Networks

RNN模型由相关的前后模型组成

包含一层的LSTM网络

Recurrent neural network

LSTM Networks for Sentiment Analysis 之前看的theano教程中关于LSTM网络结构的，其中的方程和Conv LSTM论文中的几乎一样。

基本结构

通过下述公式计算得到

代码参考

Learning to Execute 该代码使用一个LSTM构成的RNN网络来训练python代码的输出，用来预测目标程序结果的输出。

The Unreasonable Effectiveness of Recurrent Neural Networks 实现的代码 char-rnn 该项目输入一个文本字符然后输出接下来的字符，可以应用在字符生成中。

torch实现的RNN结构

ni = 1; nh = 8; no = 1; len = 3
h0 = nn.Identity()()
x = nn.Identity()()
xs = nn.SplitTable(2)(x)
h = h0
for i=1,len do
  h = nn.Tanh()(nn.Linear(ni+nh,nh)(nn.JoinTable(1)({h,nn.SelectTable(i)(xs)})))
end
y = nn.Linear(nh,no)(h)
rnn = nn.gModule({h0,x},{y})