首要，咱们要明确什么是robots.txt文件？

搜索引擎运用spider程序主动访问互联网上的网页并获取网页信息。spider在拜访一个网站时，会首要会查看该网站的根域下是否有一个叫做robots.txt的纯文本文件。您能够在您的网站中创建一个纯文本文件robots.txt，在文件中声明该网站中不想被robot拜访的部分或许指定搜索引擎只录入特定的部分。

这里提示一下，请注意：当你网站不期望搜索引擎悉数录入时才用到robots.txt文件（比方你网站后台页面）假如你期望搜索引擎悉数录入你的网站，请树立一个空的robots.txt文件。

1。首要通知大家robots.txt文件要放在你网站的根目录里边。当你修改了你的robots.txt一般会在48小时内收效（关于搜索引擎来说）。

2。假如你要制止搜索引擎在搜索你网站时显现快照，而只对你的网站索引，什么办呢？百度支撑经过设置网页的meta，避免搜索引擎显现网站的快照。办法如下：

要避免一切搜索引擎显现您网站的快照，请将此元符号置入网页的部分：

 

要答应其他搜索引擎显现快照，但仅避免百度显现，请运用以下符号：

 

注：此符号仅仅制止百度显现该网页的快照，百度会持续为网页建索引，并在搜索成果中显现网页摘要。

3。咱们来看一下如何写robots.txt,他的格局是什么样的。

该文本是以 User-agent: 作为文本记载最初的。这个值有什么样呢？它是来描绘搜索引擎robots的姓名。

比方说你要专指百度搜索引擎你就能够写为 User-agent: baiduspider

相同的谷歌就是 User-agent:googlespider 比方你要描绘SOSO图片蜘蛛你能够写 User-agent:Sosoimagespider 这样都能够 假如你要针对一切搜索引擎呢 User-agent: *

就是一切搜索引擎悉数归纳了。

robots.txt 除了第一项 User-agent: 还有其他两项 Disallow: Allow: 可是User-agent: 是唯一项 他后边能够加若干Disallow和Allow行 也就是这种格局

User-agent: *

Disallow:

Disallow:

Disallow:

Allow:

Allow:

Allow: 后边加多少个Disallow和Allow行都能够 是依据你需要来加的。好了我接着说 Disallow

该项就是通知搜索引擎我不期望我网站的那些网页录入的。你就能够用Disallow的描绘来约束搜索引擎 咱们来举个比如，比方我要约束一切搜索引擎不录入我的后台目录admin 那么咱们什么做呢？来看一下

User-agent: *

Disallow:/admin/

就能够了 假如是要显现百度不要录入我的这个目录其实搜索引擎能够什么做呢 前面咱们说到了

User-agent: baiduspider

Disallow:/admin/

你问假如是要制止一切搜索引擎拜访全站应该什么办呢？咱们来看一下

User-agent: *

Disallow:/

假如要制止拜访多个文件夹呢 比方我要制止拜访 Admin image data 3个文件夹

User-agent: *

Disallow:/Admin/

Disallow:/image/

Disallow:/data/

这样就能够了

咱们来解释一下Allow行是做什么的？其实这个Allow和Disallow是相反的。Allow他的意思就是期望搜索引擎拜访我网站的一下途径，Allow一般与Disallow调配运用。下面咱们举个比如

我要答应拜访特定目录中的部分url 比方我不要他拜访我Admin目录 可是我期望他拜访我Admin目录里边的hdd.html 什么办呢？这时候咱们就能够用到Allow了 来看比如

User-agent: *

Allow:/admin/hdd

Disallow:/Admin/

这样就能够了

顺便所一下 在robots.txt里边能够运用”*“和”$”：

baiduspider支撑运用通配符”*“和”$”来含糊匹配url。

“$” 匹配行结束符。

“*” 匹配0或多个任意字符。

举个比如： 运用”*”约束拜访url 。制止拜访/iea/目录下的一切以”.htm”为后缀的URL(包括子目录)。

User-agent: *

Disallow:/iea/*.htm 就能够了。

再来举个比如 关于运用”$”约束拜访url ， 仅答应拜访以”.htm”为后缀的URL。

User-agent: *

Allow: .htm$

Disallow: /

---

---

需要提供WordPress主题/插件的汉化服务可以随时联系我们！另外成品WordPress网站以及半成品WordPress网站建设，海外Google SEO优化托管服务，百度SEO优化托管服务，Centos/Debian服务器WP专用环境搭建，WP缓存服务器搭建，我们都是你的首选，拥有多年WP开源程序服务经验，我们一直在坚持客户体验，没有最好，只有更好！