3 / 2017-06-14 11:10:25

基于词向量的句子相似度计算方法研究

汉维,词向量,句子相似度计算

使用新疆多语种信息技术重点实验室搜集的汉维双语语料库，采用谷歌公司的 Word2vec 按不同规模语料库、模型、策略、词向量维度、窗口大小分别训练汉语和维语词典。在基于语义词典的句子相似度计算基础上引入词向量的概念，提出基于词向量的维吾尔语句子相似度计算方法；而汉语句子相似度计算方法则是借鉴维吾尔语的思路；使用两种测试标准进行实验，并与传统方法进行对比，又进行人工评测，均验证本方法的高效性；最后将本方法以接口的形式封装到 Tilmach 系统中。