黑盒语音官网网页-黑盒语音官网网页版

田渊栋博士公布的新研究，以数学严格的方式，分析了1层Transformer一个自注意力层加一个解码器层在下一个token预测任务上的SGD训练动态，打开了自注意力层如何组合输入token动态过程的黑盒子，并揭示了潜在的归纳偏见的性质在假设没有位置编码长输入序列以及解码器层比自注意力层学习更快的情况下