关于句子向量，一种简单的做法是就像课程里所说的一样，通过计算词向量的平均而获得，你觉得这种方式有什么问题？ 能不能想到更好的句子向量获取方法？
两个问题，先单刀直入给答案：
很有问题！因为平均不一定反映客观情况，举个栗子——你和马云爸爸的收入一平均，不也打工人立马人上人了吗(◔‸◔）；这样的方法很多，例如——tf-idf、word2vec、GloVe、ELMo、OpenAI GPT以及Bert，嘻嘻（๑ `▽´๑)；
接下去简单展开如下：
（I）关于词向量以平均计算：不是说完全不可以，在短文本分析中是可以用，因为平均简单粗暴，在短文本分析的简单prototype可以这么使用；一旦拓展为长文本分析，句子中词语具有重要性，那必须赋予权重二不能一视同仁来表达；另外，这种方式也体现不出词语的先后顺序从而影响语义分析。
（II）从词向量拓展至句向量：最常见的有tf-idf，详见此回答：文本表示有独热编码，tf-idf, （静态/动态）词向量等等，能说下这些表示之间的区别以及优缺点吗？
tf-idf就是one-hot的一种优化，还是存在维度灾难以及语义鸿沟的问题，实际上tf-idf是一种比较传统的文本表示方法，缺点是它是词袋模型，无法考虑词的位置信息、上下文信息以及一些分布特征。因此后来的工作着重于构建“分布式低维稠密词向量”，word2vec就是它们的开山之作，word2vec基于这种思想提出了更专注于词向量学习的模型（比如舍弃隐藏层），用滑动窗口来指定固定大小的上下文，试图用当前词来预测上下文（skip-gram）或用上下文来预测当前词（CBOW）。最后，提一下当前流行的bert，这类预训练模型生成句向量来解决不同词在不同语境中的差别问题。
参考文献
ymmy.(2020). NLP词向量发展历程. NLP所感所想: zhuanlan.zhihu.com/p/108703757
添加新评论