产品经理需要了解的搜索算法：搜索引擎之倒排索引(2)

（2）停用词过滤

停用词是指在文档列表中出现的频数较高且价值不大的词。以英文为例，在英文文档中出现次数较多的停用词如：”is”、”the”、”I”、“and”、”me”等等；这一类词语在往往出现在所有文档中，若以此类词语为term进行索引构建，则会产生多个全量文档索引列表。停用词过滤的使用往往依赖于实际使用场景，关键字查询使用得较为频繁的场景如某一个电商品牌的垂直型搜索引擎，一个合适的停用词表显得尤为重要；而对于Web搜索引擎如百度、Google等，该类型的搜索引擎面向的查询场景较多，通用性较强，往往不需要停用词过滤。

（3）词条归一化

基于上述两点，将文档内容转换成一个或多个term后，在查询时，最理想的情况是用户输入的关键字刚好与term完全匹配，实际上，很多时候用户输入的query与词条之间往往不会完全匹配，而用户们还是希望query能与词条进行匹配，比如用户在查询“color”时，用户肯定也希望能看到关于“colour”的返回结果。词条归一化的任务就是将一些看起来不完全一致的词条划分为一个等价类，比如英式单词colour和美式单词color归为一类、Air-conditioner和airconditioner归为一类等等；这样，用户在查询时，只要对等价类中的任意单词进行搜索，都会返回包含等价类中的任意一个单词的文档。

（4）词干提取、词形还原

（编辑：ASP站长网）