一句话总结Transformer ：
- Transformer 是一种神经网络，擅长理解序列数据的上下文并从中生成新数据。
- Transformer 是第一个完全依赖自注意力机制而不使用 RNN 或卷积的网络。
Transformer 就像一个黑匣子 想象一下，用于语言翻译的 Transformer 就像一个黑匣子。
- 输入：一种语言的一句话。
- 输出：它的翻译。
但是这个黑匣子里发生了什么？让我们来一探究竟！
码器/解码器架构
- - 输入：西班牙语句子 "¿De quién es？
- - 编码器将其转换为结构化格式，捕捉其精髓。
- - 解码器接收编码数据并生成译文。
- - 输出：翻译后的句子："这是谁的呢？"
每个编码器和解码器都由多层组成。它们的工作原理如下：
- 编码器：逐层、按顺序处理输入。 •
- 解码器：获取编码数据并逐步生成输出。
两者都使用了自注意和前馈神经网络，从而能够生成自然语言。