短文本相似度尝试

1. 将架构思想映入算法,使得算法也有架构 2. 采用漏斗方式结构,层层过滤筛选 3. 具体步骤: 1)通过传统的距离,比如编辑距离,语义距离做计算,但要做纠正,解决比如,自体脂肪注射臀部 和 自体脂肪注射胸部, 一字之差,从编辑距离看很大,从语义上看差别很大,这时候能不能引入惩罚机制呢? 2)不仅仅引入距离,还引入文本指纹,先做hash,类似LSH,搜索一样,取小聚类集先换回,再判断 3)将得分高的,纳入结合做仲裁,实在模糊的,引入短文本相似深度学习算法,比如,基于交互的孪生网络,double embed...

Continue Reading »
分享到: