Transformer快速入门

本文介绍了一些Transformer的快速入门资料。Transformer 的突破性表现关键在于其对注意力的使用。在处理一个单词时,注意力使模型能够关注输入中与该单词密切相关的其他单词。Transformer 的输入需要关注每个词的两个信息:该词的含义和它在序列中的位置。

量化神经网络(QNN)简单介绍

在当今的机器学习领域,神经网络已经成为许多应用领域的首选工具。然而,神经网络的训练过程复杂且需要大量的数据,这使得人们对于神经网络的优化和加速需求日益增长。在这种背景下,量化神经网络(Quantized Neural Network, QNN)应运而生,成为研究的热点。本文将简单介绍量化神经网络。