分类：机器学习 - CHENCONGCONG|Mainly concerned with machine learning, cryptography, privacy computing, especially privacy preserving in machine learning.

Transformer快速入门

本文介绍了一些Transformer的快速入门资料。Transformer 的突破性表现关键在于其对注意力的使用。在处理一个单词时，注意力使模型能够关注输入中与该单词密切相关的其他单词。Transformer 的输入需要关注每个词的两个信息：该词的含义和它在序列中的位置。

在当今的机器学习领域，神经网络已经成为许多应用领域的首选工具。然而，神经网络的训练过程复杂且需要大量的数据，这使得人们对于神经网络的优化和加速需求日益增长。在这种背景下，量化神经网络(Quantized Neural Network, QNN)应运而生，成为研究的热点。本文将简单介绍量化神经网络。