让我们初学一下Transformer，它确实相对难以理解，下面让我们开始吧！朋友们．Don"t worry about it

前提

目前这里有一个文本

X: Harry Potter and hermione granger invented a new spell这里我们用one-hot独热矩阵，每一个文本都会对应于1个one － hot，但是我们一个输入文本就要有一个 one-hot,这样就会造成大量的参数，于是提出了RNN接下来我们学习RNN

RNN模型


(资料图片仅供参考)

这里的Wax､ Waa､ Wya都是参数，就和我们之前学神经网络的W是一个意思下面我们来学习网络的前向传播

向前传播

这里的g是激活函数，b是偏置，我们对式子进行简化，是不是看到式子的时候前面的模型就明白怎么运转的了

反向传播的时候，框架会自动为你实现

上面的模型都是针对Tx=Ty的，当然面对不同的情况会有不同的模型

我们看一下第一个模型

One to many RNN moudle

Cats average 15 hours of sleep a day.

接下来我们讨论RNNs梯度消失的问题。

RNNs梯度消失

GRU

这是一个简单的模型，方便理解，这里有两个门，因此我们也称GRU为2门控

LSTM

这里有3个门，因此我们称LSTM为3门控

BRNN

这里是非常重要的，这里没听的话，后面的注意力模型是不容易看懂的！这并不是正，逆传播，而是正反同时开始在时间t输出的y可以同时被过去和未来所影响，对于复杂的问题我们会使用到深度RNNs｡下面我们来看一下注意力模型。

注意力模型

这是注意力的计算公式，我们可以把其想像成一个小的网络

接下来我们学习transformer网络，，最有效前的模型。（其实就是注意力模型+ CNN）

Transformer

我们将其softmax改变一下

其实就是对自注意力机制进行一个for循环

当然每一个通道都有一组参数

我们定义一个深度为4的向量

到此我们的Transformer就整理完了，当然这也在不断的完善，随学随记！

努力不一定有回报，但是一定有收获！

推荐内容