注意力分数总结

2024/4/13 16:13:53

深度学习笔记之Transformer(二)关于注意力分数的总结

深度学习笔记之Transformer——关于注意力分数的总结引言回顾： Nadaraya-Watson \text{Nadaraya-Watson} Nadaraya-Watson核回归再回首： Seq2seq \text{Seq2seq} Seq2seq中的注意力机制注意力机制的泛化表示加性注意力机制缩放点积注意力机制引言上一…