- Tubelator AI
- >
- Videos
- >
- Science & Technology
- >
- Understanding Transformer Models: Encoder-Decoder Architecture Explained
Understanding Transformer Models: Encoder-Decoder Architecture Explained
Learn about Encoder-Decoder architecture and popular models like T5. Discover how encoders process inputs, generate numerical representations, and transfer them to decoders for decoding sequences. Gain insights to better understand how encoder-decoder models function.
Install Tubelator On Chrome
Video Summary & Chapters
No chapters for this video generated yet.
Video Transcript
在这个视频中,我们将研究编码器-解码器架构。
一个流行的编码解码模型的例子是T5。
为了了解编码解码器如何运作,我们建议您查看视频
在编码器和解码器作为独立模型。
了解它们如何单独工作,将有助于了解编码器解码器如何工作。
让我们从我们所看到的关于编码器开始。
编码器将词语作为输入,通过编码器将它们投入,
并获取每一个通过它发出的单词的数字代表。
我们现在知道这个数字代表有关于序列的意义的信息。
让我们把这一点放在一边,并将解码器添加到图表中。
在这种情况下,我们正在以我们以前从未见过的方式使用解码器。
我们将编码器的输出直接转移到它。
除了编码输出之外,我们还给编码器一个序列。
当引发解码器为没有初始序列的输出时,我们可以给它一个值
这表明一个序列的开始。
这就是代码解码魔法发生的地方。
编码器接受序列作为输入。
它计算一个预测,并输出一个数字值。
代表性. 然后它将它传输到解码器。 它在一个意义上有
编码该序列和解码器相反使用此输入旁边的
通常的序列输入将采取一个stab在解码序列。
解码序列并输出一个词。
我们真的不需要理解这个词,但我们可以理解解码器是
基本上解码编码器有输出的内容。这里的序列词的开始表明它是
应该开始解码序列,现在我们有两个编码器的数字代表
一个最初生成的词,我们不需要编码器。
正如我们之前看到的,它可以以一种自我侵略的方式行动。
它只有输出这个词现在可以用作输入。
这,与编码器的数字代表输出结合,
现在可以用来生成第二个词。
请注意,第一句话仍然在这里,因为模型仍然输出它。
但是,我们已经把它变成灰色,因为我们不再需要它。
我们可以继续继续,例如,在解码器的顶部输出一个值,我们认为是停值,
像一个点,意味着一个序列的终结。
在这里,我们已经看到,解码器输出一个我们认为是停值的值,例如一个点意味着一个序列的终结。
