-
【数媒在线课堂】残差网络amp; 前馈网络:在线课堂
前面输入的X从embedding开始，到多头QKV，再还原Z，经过了多层的网络，每经过一层就会增加训练的性能要求，梯度下降的特别多，会剑走偏锋，第一部里LossFunction中梯度
1
共1页
前面输入的X从embedding开始，到多头QKV，再还原Z，经过了多层的网络，每经过一层就会增加训练的性能要求，梯度下降的特别多，会剑走偏锋，第一部里LossFunction中梯度