感谢Mr.Zhao的投稿：搜索引擎最重要的是什么?

感谢赵老师的贡献：

搜索引擎最重要的是什么？有人会说是查询结果的准确性，也有人会说是查询结果的丰富程度，但其实这些都不是搜索引擎最致命的方面。对于搜索引擎来说，最致命的是查询时间。想象一下，如果你在百度界面搜索一个关键词，你的查询结果需要5分钟才能反馈给你。结果一定是你很快放弃了百度。

为了满足搜索引擎苛刻的速度要求（商业搜索引擎的查询时间单位在微秒量级），所以缓存支持查询要求，这意味着我们在查询和搜索时得到的结果并不及时，但结果已缓存在其服务器上。那么搜索引擎工作的一般流程是怎样的呢？我们可以将其理解为三个阶段。

本文只是对三阶段工作流的一般解释和概述，一些详细的技术细节将在其他文章中单独解释。

一.网络收藏。

网页收藏其实就是大家常说的蜘蛛爬取网页。所以对于蜘蛛（称为机器人）来说，它们感兴趣的页面分为三类：

1.蜘蛛从未爬过的新页面。

2. 蜘蛛抓到了页面，但是页面的内容发生了变化。

3. 被蜘蛛爬过但现在已经被删除的页面。

那么如何找到这三种类型的页面并进行有效的抓取整站优化，是程序设计的初衷和目的。那么这里有一个问题，蜘蛛爬行的起点。

只要你的网站没有被严重降级，每个站长都可以通过网站后台的服务器发现勤劳的蜘蛛光顾你的网站，但是你有没有想过网站排名，蜘蛛是怎么来的？对此，各方各有各的看法。有一种说法是蜘蛛从种子站（或高权重站）爬行，从高权重到低权重逐层爬行。另一种说法是，URL集合中没有明显的蜘蛛爬行顺序。搜索引擎会根据你网站的更新规则，自动计算什么时候抓取你的网站的最佳时机seo，然后再抓取。

事实上，对于不同的搜索引擎，它们的抓取点肯定会有所不同。对于百度，赵先生更喜欢后者。百度官方博客发表的文章《一种索引页面链接完成机制的方法》（地址：/?p=2057)）中明确指出“我们会尽力检测网页并使用合理的频率让我们检查网页。” 由此我们可以推断整站优化，在百度的索引库中，对于每一个URL集合，它都会计算爬取时间和一系列适合它的参数，然后爬取对应的站点。

在这里，我想说明一下，对于百度来说，站点的价值并不是蜘蛛爬过的你的页面的价值。比如site:，得到的值并不是大家常说的百度收录值。如果要查询具体的百度收录量，应该在百度提供的站长工具中查询索引号。那么什么是网站呢？我将在以后的文章中向您解释这一点。

那么蜘蛛是如何找到新链接的呢？他们依赖于超链接。我们可以将所有 视为定向集合的集合。蜘蛛开始沿着网页中的超链接从初始 URL 集合 A 中发现新页面。在这个过程中新站SEO，每次发现一个新的URL，都会和A集合中已有的进行比较网站优化seo，如果是新的URL，则添加到A集合中，如果已经在A集合中关键词排名，则将丢弃。蜘蛛对站点的遍历和爬取策略分为两种，一种是深度优先，一种是广度优先。但是如果是百度这样的商业搜索引擎，它的遍历策略可能是更复杂的规则关键词排名，比如域名本身的权重系数，百度自己的服务器矩阵的分布。

二. 预处理。

预处理是搜索引擎中最复杂的部分。基本上，大多数排序算法在预处理阶段生效。然后，在预处理步骤中网站优化，搜索引擎主要对数据进行如下处理：

1. 提取关键字。

蜘蛛爬取的页面和我们在浏览器中查看的源码是一样的。代码通常很乱，很多都与页面的主要内容无关。因此，搜索引擎需要做三件事：？代码去噪。去掉网页中的所有代码，只留下文字。②去除非文本关键字。例如，页面导航栏中的关键字以及不同页面共享的其他公共区域。③去除停用词。停用词是指没有特定含义的词，如“的”、“在”等。

当搜索引擎得到这个网页的关键词时网站推广，它会用自己的分词系统把这篇文章分成一个分词列表，然后存入数据库SEO优化，并与这个网址一一对应文章。让我用一个例子来说明。

如果蜘蛛抓取到的页面的URL为，搜索引擎在该页面上进行上述操作后提取的关键字集为p，且p由关键字p1、p2、...、pn组成搜索引擎，则为在百度数据库中网站推广，它们之间是一一对应的关系，如下图所示。

2. 消除重复和转载网页。

每个搜索引擎都有不同的识别重复页面的算法，但赵先生认为网站推广，如果将重复数据删除算法理解为由100个元素组成，那么所有搜索引擎可能都有相同的80个元素。其他20个元素根据不同搜索引擎对SEO的态度，专门设置了相应的策略。本文只对搜索引擎的大致流程做一个初步的说明，对具体的数学模型没有太多的说明。

3.重要信息分析。

在代码去噪的过程中，搜索引擎并不是简单地去除它，而是充分利用网页代码（如H标签、标签）、关键词密度、内链锚文本等来分析最重要的词组。

4. 网页重要性分析。

通过指向该网页的外链锚文本传递的权重值确定该网页的权重值，并结合上述“重要信息分析”，确定该网页的关键字集合p中的每个关键字网页有排名因素。

5.反转文件。

如上所述，用户在查询时得到的查询结果并不及时，而是大致排列在搜索引擎的缓存区中。当然，搜索引擎不会知道先知，他不会知道关键用户会查询什么。词SEO优化，但是他可以建立一个关键字词库，当它处理用户的查询请求时，它会根据词库对他的请求进行细分。这样，搜索引擎就可以在用户产生查询行为之前，计算出词库中每个关键字对应的URL排名，大大节省了查询处理的时间。

简单来说，搜索引擎是通过一个控制器来控制蜘蛛爬行，然后用原始数据库保存设置的URL。保存后，使用控制每个关键字和URL的对应关系，保存在数据库中。

让我们用一个例子来说明。

如果页面被剪成词p={p1, p2, p3,..., pn}搜索引擎，就会反映到索引库中，如下图所示。

上图是为了方便大家理解而制作的。索引数据库实际上是搜索引擎中性能要求最高的数据库。因为里面的所有因素都会受到算法的影响，所以我认为实际的索引数据库应该是一个多维数组。它由一个更复杂的索引表组成，但其主要功能与上图相同。

三、查询服务。

查询服务，顾名思义就是在搜索界面处理用户查询请求。搜索引擎构建检索器，然后分三步处理请求。

1. 根据查询方式和关键字切词。

首先，将用户搜索到的关键词划分为关键词序列。我们暂时用q来表示用户搜索的关键词q分为q={q1,q2,q3,...,qn}。

然后根据用户的查询方式，比如所有单词是否连在一起或者中间是否有空格，并根据q中不同关键字的词性，确定查询结果显示中每个单词的占用情况重要性。

2. 对搜索结果进行排序。

我们有搜索词集q，q-库中每个关键词对应的URL排名，同时根据用户的查询方式和词性计算每个关键词在查询结果展示中的重要性. 然后只需要执行一点综合排序算法，搜索结果就会出来。

3.显示搜索结果和文档摘要。

当有搜索结果时SEO优化，搜索引擎会将搜索结果显示在用户界面上供用户使用。

在这里，你可以思考两个问题。

在搜索界面，你经常会发现百度显示的摘要是围绕着用户的搜索词。如果我不只看第一页，再往回翻几页，会看到一些结果，因为目标页面本身并没有完全包含搜索词，而百度提取的摘要中的红色词只是搜索的一部分条款。那么我们就可以理解在搜索词没有完全包含的情况下，是否应该在分词结果中首先显示百度。百度认为更重要的话呢？那么从这些搜索结果中，我们能不能看出百度的分词算法的一些蛛丝马迹呢？

②有时搜索词会在页面上多次出现，但在百度搜索结果页面的网站摘要部分中只会显示其中的一部分。通常这部分是连续的，那么我们可以理解，在摘要部分，百度会先展示页面网站排名，它认为这个搜索词最重要的部分是什么？那么我们可以找出百度去噪后给页面不同部分分配权重的算法吗？

仁者见仁，智者见智，这两个问题。SEO的朋友可以自行探索探索。赵先生不敢在这里误导别人。

四、 百度目前的流程漏洞。

请原谅我用流程漏洞来描述这个模块，但不得不说，在点击者泛滥的世界里SEO优化seo，我认为说它是漏洞是可以理解的。

也就是说，除了以上三大链接，百度还内置了用户行为模块来影响原有的数据库和索引库。影响原数据库的是百度的快照投诉，主要是针对一些网络暴利的行为，可以理解。影响索引库的是用户的点击行为。这种设计本身是可以理解的，但百度算法的不成熟导致了点击作弊的猖獗。

百度的用户行为分析模块非常简单。除了自己的投诉提交入口，它还收集用户在搜索界面上的点击行为。如果这个页面的结果被大多数用户查看，但没有产生点击新站SEO，大多数用户实际上选择了第二次点击。页甚至更远的页，这种现象会被百度工程师知道，算法会根据这方面进行微调。现在百度针对不同的行业有不同的算法。

如果前两页中的某个搜索界面被大量用户点击，通常在24小时内，搜索结果就会大大预测，甚至会被提升到第一。

五、搜索引擎通用流程图（外加用户行为分析器）

优搜云网络推广，网站优化公司。搜索引擎推广主要有百度竞价排名，百度快照优化；优搜云5年专注seo排名，掌握网站优化快速排名技术，从百度下拉词、网站关键词排名霸屏展现，到新闻稿优化品牌营销，提供全方位的网络营销服务；合作客户有创业型中小企业，新项目网上推广业务，从而增加网络询盘订单，也有传统工厂生产型企业通过优搜云网络推广实现数十个网站关键词排名百度首页，单站日均流量100-200ip以上，优搜云seo优化服务多年已来经过市场检验，上词快，排名稳，客户到期续费率高，满意度客观；优搜云0差评seo外包供应商；广东地区网络营销推广，网站优化首先品牌，承接佛山seo，广州seo。深圳seo，东莞seo，广州网络推广，佛山网络推广。深圳网络推广，东莞网络推广，等等网络营销推广项目。