什么是说起搜索引擎？搜索引擎好不好的评价标准是什么？

什么是

说起搜索引擎，国内的百度和国外的百度都会出现在大家的脑海中。我们要查找什么信息，直接在搜索框中输入关键词，点击搜索按钮，就会显示搜索结果。

事实上，这只是搜索引擎的一部分。我们用微博找名人新站SEO，用淘宝找货，用豆瓣找书。都是搜索引擎。因为这些搜索引擎太常见了，我们没有意识到。

如何判断一个搜索引擎的好坏？主要有三个评价标准。

首先，一个好的搜索引擎必须是快速的。速度是用户对搜索引擎的第一印象。当用户搜索一个产品几十秒都没有找到时，他可能会去做其他事情，干脆放弃购买！商业搜索引擎的查询速度要达到毫秒级SEO优化，眨眼间就会有搜索结果出来，用户体验会非常好。

其次，要检查的准确性。当用户翻了 3 页，找不到想要的内容时，他们根本就没有找到。影响查询准确率的因素也很多，主要有以下三个： 第一，搜索引擎本身必须存储完整的信息。对于百度等商业搜索引擎，这就需要爬虫来爬取全网。其次，关键字应该与网页内容高度相关。如果用户搜索手机，单反相机很多，这不是那么好。最后，网页信息的质量要高，本发明的算法巧妙地解决了这个问题。

第三，搜索引擎必须稳定。这也是用户对大多数产品的要求。给用户一个合理的期望，让用户信任这个产品。如果三两天都不能使用，那体验就极差了。

这些评价标准也预示着搜索引擎的发展。

搜索引擎本质上是一种获取信息的方式。

在搜索引擎诞生之前，我们使用目录来获取信息。！他在国内是分类目录的代表。那个时候，信息比较少。通过人工排序，列出各类优质网站，如财经类、新闻类、体育类、游戏类等。用户可以通过目录找到自己需要的信息。

但是，一个页面的显示空间是有限的，类别目录只能包含少量的网站。大多数网站都无法收录，没有收录的信息可能就是大家所需要的。

哪里有需求，哪里就有商机，搜索引擎应运而生。

最早的搜索引擎搜索用户输入的关键字与网页信息的匹配程度，即计算两者之间的相关性，并显示网页列表。至于如何计算匹配度，我后面会解释。

与类别目录相比，该方法可以包含大量网页，并根据关键字与网页内容的匹配程度对其进行排序。

但是这种方法有一个很大的问题：只考虑相关性，而不考虑网页的质量。网页可以通过列出大量与内容无关的关键词来增加关键词的相关性。例如，教育网站可能会列出名人、宠物、新闻甚至色情等高流量词。这种“强制流量”方法的后果是搜索结果的质量不好。

这个问题的解决办法是。

假设一个网页的链接越多，网站的质量就越高。网页之间的链接数用于确定网页的质量。一个网页上的链接数量越多，该网页在整个互联网中的质量就越高。核心算法也将在后面描述。

时至今日，搜索引擎不仅需要解决相关性和质量问题，还需要考虑用户的真实需求。比如，如果你也输入“”，年轻人可能会想到手机网站推广，而其他人会想到水果。这需要更复杂的算法和程序。

那么，搜索引擎是如何工作的呢？

一个最基本的搜索引擎主要分为三个模块：信息获取、信息处理、信息展示。虽然在搜索引擎的具体实现上存在差异，但是所有的搜索服务都可以在这三个模块的基础上实现。

聪明女人做饭难做无米之炊，信息获取是整个系统的基石。对于商业搜索引擎，要求爬虫能够爬取整个网页内容。爬虫我们在上一章已经介绍过了，这里不再赘述。对于网站的内部搜索引擎，信息也需要聚合。例如，电子商务平台需要将所有产品信息存储在一起。

信息处理主要是对原始数据进行清洗并存入数据库。这里最重要的一个环节就是建立索引，相当于给每一个内容加了一个目录，方便查找。

信息展示是指搜索引擎根据用户的查询词()进行数据库检索，并将结果展示给用户。主要涉及用户查询内容与网页内容的相关性分析，以及网页质量评价技术。

倒排索引：为什么搜索引擎这么快？

一个好的搜索引擎的评价标准之一就是速度快搜索引擎，那么搜索引擎是如何做到的呢？

在开始解释之前，我们可以考虑另一个类似的问题：如何在图书馆中找到一本书？最笨的办法就是找一个书架，一个书架，要花很多时间。一个更聪明的方法是使用电话号码快速找到你所在的书架，然后找到书。搜索引擎中的索引相当于图书馆每本书的索书号。通过索引，您可以快速找到您需要的信息。

建立索引有四个主要过程，即分词、关键字搜索、索引构建和倒排索引。

1）分词

首先是获取文本中出现的所有单词SEO优化，也称为分词。

如果是英文句子“had a lab”，每个词之间用空格隔开SEO，有“”、“had”、“a”'、“”、“lamb”五个词，但是中文“玛丽” “有一只小羊”因为没有（比如空格）来分隔每个单词，有点麻烦。

想到分词最简单的方法就是查词典，从左到右读句子（程序员称之为遍历），如果每个词出现在词典中，就标记出来。

以“玛丽有只小羊”为例。例如，如果字典中出现了“玛丽”这个词，则将“玛丽”作为一个词，而字典中出现了“您”，然后将“您”作为一个词。继续这样做，最后可以分成“玛丽，你，一，小肥羊”。这种最简单的方法可以解决一部分问题，但也有大问题，比如“小”“羊”还是“小羊”作为一个整体？

程序员使用统计来解决这个问题。

从形式上看，词是词的组合。两个词的组合可能是也可能不是一个词。如果一个词的可能性（）更大，我们往往会认为它们可以组成一个词。

就像，天气预报说下雨的概率是70%，不下雨的概率是30%。我们倾向于认为明天会下雨。“小羊”一起出现的概率是70%，单独出现的概率是30%。我们倾向于认为“小羊”是一个词。

那么，如何计算相邻单词形成单词的概率呢？

我们可以统计语料库中相邻字符的组合数（语料库可以理解为很多很多的中文文章），计算出所有字符相邻的频率。当语料足够大时，出现频率更高。，对应的概率更高。

我们可以计算一个句子中所有组合的概率，最大的概率组合就是分词的结果。计算一个句子出现的概率是一个复杂的条件概率分布。具体的实现过程有点复杂。我们可以简单的理解为单词组合出现概率的乘积。

例如，“玛丽，你，一只，小羊”的概率大于“玛丽，那里，一只，小，小羊”等其他组合的概率，那么我们认为这句话是基于“玛丽， “是的，一只，小羊”分道扬镳。

2）获取关键字

将所有文本分词后，你会发现有很多实用意义不强的功能词，如“的”、“了”、“？”、“也许”等，与“产品经理”形成对比， “搜索引擎”等词的实际意义较多，但较少，应将后者作为关键词。

因此，我们使用将所有这些功能词存储为停用词。如果某个词出现在停用词中，则不能将其用作关键字。因此，我们从分词结果中得到了关键词。

以下是一个简单的停用词列表。可以看出，它们基本上是我们经常使用的词，没有很强的实际意义。

中文分词是几乎所有中文自然语言处理的基础（），因此学术界和工业界都进行了深入的技术研究。有优质的商业分词库，也有像这样的开源中文分词库，都是免费的。用。

3）建立索引

通过提取每个网页的关键词，每个网页与关键词的对应关系如下：

需要注意的是，获取关键字不仅用于网页处理网站排名，还用于输入搜索框。当我们搜索一个中文句子时，搜索引擎会进行分词，去除停用词，获取关键词，然后进行后续处理。

4）倒排索引

现在我们已经建立了索引，对于每个页面，我们已经找到了所有出现的关键字。当用户进行查询时，我们从头到尾扫描每个文档，看看哪个网页有用户查询的关键字，并以此文档作为搜索结果。

但问题是整站优化，从头到尾扫描数亿页的网页需要很长时间，根本无法满足正常需求，更不用说快速响应了。

那我们可以把关键词放在前面，网页放在后面吗？

这样我们在搜索关键词的时候就不需要遍历整个系统，只要找到对应的关键词就可以找到想要的网页！

就计算机而言，直接找到关键字所在位置的信息，时间很短，完全可以满足搜索需求。

例如网站排名，如果用户搜索“关键字1”，搜索引擎只需要找到“关键字1”，就可以直接找到“网页1、网页2、网页5、...网页L”。

用户搜索“ 1+ 2”，那么搜索引擎需要查找“Web 1, Web 2, Web 5, ... Web L”, “Web 3, Web 4, Web 5, ... Web M”，同时找到“、 5,...”。这大大加快了排名的呈现速度。

倒排“file-”的结构，“-file”是倒排索引名称的由来。

此外，倒排索引不仅记录了网页的ID，还记录了关键字出现的频率（term），每个关键字对应的文档频率（），以及该关键字在文件中的位置。，这些信息可以直接用于搜索结果的排序。

TF-IDF：搜索引擎如何确定相关性？

如何确定网页与关键字的相关性？

如果一个关键字在一个网页中出现多次seo，我们通常认为这个网页与搜索到的关键字匹配得更好，搜索结果应该更高。我们用词频（Term, TF）来表示一篇文章中关键词出现的频率，表示网页与关键词的匹配程度。

比如我们在百度等搜索引擎上搜索“产品经理的工作”时，关键词是“产品经理”、“工作”、“的”作为停用词，不会出现在关键词中。某网页一共1000字seo，其中“产品经理”出现5次，“工作”出现10次，“产品经理”词频0.005，词频“工作”的词是0.01，两者相加，0.015是本网页和“产品经理的工作”的词频。

这里有问题。与“产品经理”相比，“工作”这个词用得更多，出现在所有网页上的概率也高。搜索者可能想查找与产品经理相关的信息，按TF排序，一些多次出现“工作”关键词的网站可能会排在第一位，比如“”、“老板的工作”等。

逆文本频率（，IDF）应运而生。

() 可以理解为关键字出现在所有网页中的频率。如果一个关键词出现在很多网页中，那么它的文件频率就很高，反之亦然。比如“工作”的DF高于“产品经理”。

文件出现的频率越高，术语越常见，信息越不有效，它应该越不重要。因此，我们取文件频率的倒数来形成逆文本频率。

也可以在这里试试。20%的常用词占据了80%的空间，大部分关键词显得很低。这导致文件频率非常小，逆向文本频率非常高，不容易处理，所以我们取对数方便计算（当然这里也有数学上的考虑）。

将词频（TF）和逆文档频率（IDF）相乘，就是著名的TF-IDF模型。

关键字在网页中出现的频率越高，该关键字越重要，排名也越高；在所有网页中出现的频率越高，关键字告诉我们的信息越少，排名应该越低。

帮助我们解决关键词和网页相关性的计算。只使用TF-IDF模型也可以构建一个好的搜索引擎。

当然，商业搜索引擎在TF-IDF的基础上做了一定的改进。比如出现在文章开头和结尾的关键词比较重要网站推广，会根据词的位置来调整相关性。但是还是基于TF-IDF模型的调整。

Page-Rank：搜索引擎如何确定质量？

搜索结果排序，只考虑相关性，搜索结果不是很好。

总有一些网页会来回倾倒某些关键词来让自己的搜索排名高（当然部分原因是一些搜索引擎更喜欢推荐自己的东西，这不是技术问题）。

网页质量的引入可以解决这个问题。排序时，不仅要考虑相关性，还要考虑网页的质量。把高质量的网页放在前面，把低质量的网页放在后面。

那么，如何判断网页的质量呢？

正是两位创始人解决了这个问题。

当搜索引擎诞生时，同为斯坦福大学研究生的佩奇和布林开始了他们对网页排序的研究。他们借鉴了学术界判断学术论文重要性的常用方法，看论文的引用次数，引用次数越高，论文的质量就越高。他们认为网页的重要性也可以通过这种方式来评估。

Page 和 Brin 使用值来表示每个网页的质量。核心思想其实很简单，只有两个：

1) 如果一个网页的链接越多，说明该网页的质量越高，价值越高，排名也应该越高；

2) 排名靠前的网页应该有更多的投票权。当网页被排名靠前的网页链接时，值越高，排名越高。

我们打个比方：

1) 有一个程序员，如果公司人夸他编程技术高，那我们就认为他编程技术高；

2)如果他得到公司CTO的赏识，我们基本可以肯定他的编程水平是真的不错。

比如下面这张图（专业术语叫），每个节点都是一个网页，每一行都是两个网站之间的链接。链接越多，网站质量越高，相应的价值也越高。其中，网站A的链接最多，质量最高。

这里有一个问题，“当一个网页被排名靠前的网页链接时，它的排名也应该很高。” 一个网页的排名过程需要用到排名结果，这就变成了“先有鸡还是先有蛋”的问题。

两位创始人用数学解决了这个问题。

1) 一开始，假设搜索到的网页具有相同的值；

2)根据第一轮计算，根据链接数和每个网页的价值重新计算每个网页的价值；

3)根据上一轮的结果，根据链接数和每个网页的价值重新计算每个网页的价值。

4)……

5) 继续这个计算，直到每个网页的值基本稳定。

你可能会好奇，这样计算需要多少次？

Page在论文中指出，递归计算网络中3.22亿个链接，发现经过52次计算，可以得到一个稳定的收敛值。

当然网站优化，实际操作比这复杂得多。数亿个网页的价值计算量非常大。一台服务器根本无法完成，需要多台服务器来实现分布式计算。为此，甚至开发了并行计算工具来实现计算！

除了计算量巨大之外，它还不得不面对作弊问题。一开始我们讲TF-DIF的缺点的时候，总会有一些网页来回倾倒某些关键词，从而使自己的搜索排名靠前。同样，总有一些网页带有来回链接，以使其搜索排名高。这需要更多的算法来识别这些“作弊”行为，我们将在搜索引擎的反作弊部分详细介绍。

“臭名昭著”的中标排名

至此，利用TF-IDF计算网页与搜索内容的相关性，计算网页质量，就可以实现网页的良好排名，一个基本的搜索引擎就搭建完成了。

在此基础上搜索引擎，商业搜索引擎也衍生出其他排名方式。

比较出名的是百度推出的竞价排名（其实，竞价排名并不是百度做的，而是百度做得太“成功”了，大家都认为是百度发明了竞价排名）。竞价排名根据网站的竞价等级确定。排名第一。

这种排名方式最大的好处就是可以帮助搜索引擎公司盈利。最大的缺点是无法保证高出价的网页质量。在医疗等特殊领​​域，有时恰恰相反。

随着用户数据的积累，关键词和用户点击网页所对应的行为数据也被搜索引擎记录下来。搜索引擎可以根据用户的操作不断改进自己的引擎。

今天，商业搜索引擎的底层技术并没有太大的不同。用户数据记录已成为竞争的关键因素。这也是百度称霸国内搜索引擎市场的一个重要原因：用户越多，搜索越准确。越准确，用户越多！

网站搜索

百度等一般搜索引擎要做很多工作。相比之下，在网站上搜索就简单多了：数据量小，基本都是经过排序的结构化数据。没关系。

现场搜索技术虽然与一般搜索引擎有很多不同，但在索引、相关性计算、质量计算、排序等过程中，基本相同。

得到搜索结果后，必须对结果进行排序，通常有不同的排序方法。对于电子商务，用户可以选择按销售额、信用、价格甚至综合排序。当然，排序中会穿插一些促销活动。

对于现场搜索的需求，有很多优秀的开源解决方案。

业界最流行的两个开源搜索引擎 Solr 和 Solr，具有快速、有效、可靠和可扩展的特点。最重要的是它们是免费的，足以满足一般的业务需求。

对于大多数公司来说，使用开源搜索引擎就足够了，而无需重新发明轮子。这些开源解决方案通常比从头构建的系统更稳定、更可靠。

八卦：猫捉老鼠游戏，作弊与反作弊

搜索引擎结果排名影响流量，流量影响利润。哪里有利润，哪里就有“商机”。SEO 是搜索引擎排名的“商机”。

SEO () 中文是搜索引擎优化关键词，即利用搜索引擎的规则来提高网站在搜索结果中的排名。

SEO优化 通常有两种方式新站SEO，一种是网站内部优化，一种是外部优化。

内部优化主要是对网页内容进行优化，比如增加关键词的数量，优化网页的内部标签。更有什者，有些网页会使用很小的词来重复关键词，或者使用与背景相同的颜色来重复一些高流量的词，以达到更高的排名！

外部优化主要是优化链接，比如添加友情链接、论坛、贴吧、知乎、百科等网站推广，引出买卖链接的业务。

可以看出，对SEO的优化基本上是针对TF-IDF的排序方式，“放你喜欢的”来提升你的排名。

从用户的角度来看，确实需要高质量的相关信息。

一些网页靠SEO优化获得较高的排名，可能不是高质量和低相关性。这对那些诚实提供高质量内容的网站也不公平。长此以往，可能会出现“劣币驱逐良币”，搜索引擎搜索到的优质内容数量将继续减少。

从这个角度来说，SEO就是在欺骗搜索引擎。搜索引擎公司也不希望这种情况发生：如果他们找不到他们需要的信息网站排名，用户可能会跑掉！

在诞生之初seo，就一直面临着作弊和反作弊的问题。

2001年，敏感的站长和SEO优化人发现，一些网站的排名一夜之间出现了下降，而一些网站的排名则急剧上升。这种现象几乎每个月都会发生一次。后来人们了解到，它定期更新反作弊算法以提高搜索质量，让人有种跳舞的感觉，因此被称为SEO。

那么它是如何防作弊的呢？

各种作弊行为的方法虽然不同关键词，但目的都是一样的，都是为了获得更高的名次，大体上还是有一定的规律的。根据这些规律，搜索引擎常用的反作弊手段有两种：基于作弊特征的主动攻击和建立被动防御。

首先，搜索引擎会根据作弊网站的特点主动发起攻击。

就像我们总能在人群中看到最特别的人一样。一个有大量重复关键词的网页，一个有大量链接的网页，一个普通的网页与搜索引擎有很大的不同。

通过计算一个网页的关键词数和链接数的特征，你可以快速找到那些“开箱即用”的网站，搜索引擎可以据此调整自己的排名。以上是基于作弊网站的异常链接来实现反作弊。

其次，搜索引擎也会建立“黑白名单”作为防御手段。

搜索引擎会根据网站内容的质量、品牌、权限等信息建立白名单。例如，政府网站和一些大公司网站都在白名单上。这些网站质量高，排名靠前。白名单链接 网站的质量普遍较高。

与之对应的是黑名单，主要包括那些作弊严重的网站，比如堆叠关键词、买卖链接的网站。如果同一个网站链接到多个列入黑名单的网站，则可以识别为作弊网站，并降低其排名。

””梦工厂出品的一部根据真实经历改编的电影，讲述了联邦调查局特工与擅长伪造证件的罪犯之间猫捉老鼠的故事。在搜索引擎中，也有这样的猫捉老鼠游戏。

为什么电商网站的产品名称那么长？

为什么好评返现？差评被删有偿？

为什么一些评​​价很高的酒店/餐厅实际上又脏又乱？

为什么影评网站经常因为正面负面评论进入舆论中心？

为什么微博等社交媒体的阅读、点赞和转发数量惊人？

网站和产品本身的相关性和质量很难客观量化。排序结果是根据关键词、销量、评价、点击、阅读等相对客观的指标产生的，甚至决定进入热搜榜还是热销榜，这仍然是当前搜索引擎的工作方式。

面对这些行为关键词排名，搜索引擎不断演化出新的应对策略。

面对刷单行为，平台经历了闭上一只眼的无奈。随着物流跟踪和订购用户身份判断的演进，刷单成本也急剧上升。刷单行为虽然没有消除，但也急剧下降。

面对阅读量、点击欺诈等手段，社交媒体也正在经历从放任到屏蔽排名的转变。虽然存在收入减少、用户活跃度下降、大V流失等风险，但最终还是会迈出这一步。.

然而SEO，这场作弊与反作弊的猫捉老鼠游戏并没有结束。

优搜云网络推广，网站优化公司。搜索引擎推广主要有百度竞价排名，百度快照优化；优搜云5年专注seo排名，掌握网站优化快速排名技术，从百度下拉词、网站关键词排名霸屏展现，到新闻稿优化品牌营销，提供全方位的网络营销服务；合作客户有创业型中小企业，新项目网上推广业务，从而增加网络询盘订单，也有传统工厂生产型企业通过优搜云网络推广实现数十个网站关键词排名百度首页，单站日均流量100-200ip以上，优搜云seo优化服务多年已来经过市场检验，上词快，排名稳，客户到期续费率高，满意度客观；优搜云0差评seo外包供应商；广东地区网络营销推广，网站优化首先品牌，承接佛山seo，广州seo。深圳seo，东莞seo，广州网络推广，佛山网络推广。深圳网络推广，东莞网络推广，等等网络营销推广项目。