北京seo 田野博客和大家一起关注今日seo话题。我们先来看一下搜索引擎的工作原理。在搜索引擎原理中,搜索引擎工作流程大致有三点:数据采集、数据预处理、查询服务,今天北京seo在这里和大家分享一下数据预处理,值得注意的是,在我们所述的“数据预处理”就是主要包含四个方面:关键词提取,“镜像网页”以及“转载网页”的消除,链接分析和网页重要程度的计算。

北京seo.jpg

 


关键词提取

首先要先会提取关键词。在每一章网页,包含了大量的和主题内容无关的内容,关键词提取的任务,就是要提取出网页源文件的内容部分所含的关键词。提取的方法:根据百度分词技术,将内容切成多个词组成的数组,再取出“在”“的”等无意义的词组,确定最终的关键词。

重复网页的消除

天网的2003统计发现:网页的平均重复率为4,到目前的2015年,这个数字肯定已经破10。对于网名来说,拥有了更多访问有用信息的机会,对搜索引擎来说,浪费了大量的搜集网页的时间,以及网络宽带资源。北京seo在这里只是和大家了解一下,不过多讲解。

链接分析

1)链接分析中有提到两个概念,词频(TF):该关键词在关键词提取之后的关键词集合中的出现频率
2)文件频率(DF):该关键词在所有文件中的出现频率,在所有文件中,该关键词在多少文件中出现
3)搜索引擎可以通过HTML文本标签,来确定关键词的重要性
北京seo 田野博客认为搜索引擎的数据预处理大致可以从以上几方面来进行。