word2vec 究竟学到了什么？伯克利 AI 研究给出定量理论

伯克利 AI 研究提出首个关于 word2vec 学习过程的定量预测理论，证明在实际训练条件下该问题可化简为无权重最小二乘矩阵分解，梯度流动态有闭式解，最终学到的表示等价于对目标矩阵 M* 做 PCA。