Loading...
长短期记忆网络(Long Short-Term Memory Network,LSTM)是循环神经网络的一个变体,可以有效地解决简单循环神经网络的梯度爆炸或消失问题。通过引入一个新的内部状态和门控机制来实现长短期记忆的功能。
在 Word2Vec 中,Embedding 是一个映射,将词从原先所属的空间映射到新的多维空间中,也就是把词从原先所在空间嵌入到一个新的空间中去。本文介绍的 CBOW 和 Skip-Gram 是生成 Embedding 矩阵比较著名的两种无监督训练方法。