推荐系统技术之文本相似性计算（一）

1. 前言

推荐系统分为两种，一种是基于用户的，根据某个用户的特性推荐一些东西，还有一种是根据内容，推荐一些相似的内容，或者是两种的结合，任何推荐系统，仔细分析下来，都属于这两种情况的组合。

今天我们说一下基于内容推荐中的一个分支，也是使用得比较多的内容推荐方式，那就是基于文本相似性的推荐，我们说文本相似性的计算，文本相似性应用范围是比较广的：

• 普通的阅读文章，底下的相关文章推荐可以用

• 论文查重也可以用

• 过滤相似度很高的新闻，或者网页去重

本系列我们会写三篇。

• 前两篇是模型化，分为上和下，这两篇是重点，开篇会用说人话的方式说说计算文本相似性的一些思想和套路，对文本相似性有个感性的了解，然后会把人话变成数学化的东西，只有数学化了才能计算，才有计算机能做的文本相似性，当然不会出现大量数学公式，只会有一些数学概念。

• 第三篇是工程化，这篇是非重点，会介绍一下相关的工程的工具包或者代码片段，相当于局部实战吧，没有理解第一篇说的直接看这篇没什么含义。

2. 直观理解

假如我们有以下这么些篇文档

• 用Golang写一个搜索引擎

• 搜索引擎的实现

• 推荐系统的技术要点

• 常用的推荐算法总结

• 广告系统是一个搜索引擎和推荐引擎的组合

• 计算广告中都有哪些数学原理

有个一个小朋友，他叫小明，但是他还在上学前班，你让他来说这些文章中哪几篇比较相似，他现在字都认不全，更别说理解这些文章中的概念了，如果他特别聪明，那么他很可能说1和5比较相似，因为都有个长得一样的东西一个搜索引擎。

又过了一些年，小明已经读初中了，你再让他来看哪几篇比较相似，他可能会告诉你1和2比较相似，然后和5也比较相似，因为他现在已经学会了主谓宾定状补的语法，知道第一条的主要表述的是搜索引擎，第二篇主要表述的也是搜索引擎，第五篇虽然主要不是说的搜索引擎，但宾语的定语也是搜索引擎，也是相关的。所以会给出1和2相似，5和他们也比较相似。

再过一些年，小明已经大学毕业了，学的就是计算机专业，这时候你再来看，他会给出6个都比较相似，因为他已经知道了搜索，推荐，广告三个领域的基础技术都差不多，如果对一个感兴趣，那么对另外的主题也会比较感兴趣，只不过相似性有高有低而已。