欢迎光临 - 我的站长站,本站所有资源仅供学习与参考,禁止用于商业用途或从事违法行为!

网站优化

robots只能放在根目录吗?

网站优化 我的站长站 2020-07-09 共126人阅读

Robots只能放在根目录吗?

可以明确地告诉robots文件只能放在网站根目录,关于这一点也是很好理解的,前文提过robots文件就是针对搜索引擎蜘蛛的一种协议(有些蜘蛛不一定会遵守),搜索引擎蜘蛛进入网站都是先从网站根目录,所以robots协议也只有在根目录的时候才有效,而且需要注意的是robots文件的命名必须是robots.txt,只能用小写字母。

什么是robots

在讲解robots之前先给大家介绍一下什么是robots。借用百度百科的解释robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

用一句话来解释:robots就是蜘蛛与网站的一种协议。

至于robots有什么用,相信认真看上文的小伙伴还是有一定的收获。冬镜认为合理的robots还是有以下几方面的好处:

1、可以避免蜘蛛爬取收录我们不想展现给别人看的页面。例如网站后台地址,个人隐私日志等。

2、可以减轻服务器压力。我们通过robots协议可以让蜘蛛只抓取一部分页面,避免蜘蛛胡乱抓取一些没用的页面,占用服务器资源。

3、正确的robots协议会提升整站质量,促使快速收录排名,从而提高网站权重

robots格式

先给大家看一个最简单的robots文件的写法:

User-agent: *
Disallow: /inc/
Allow: /uqseo
Sitemap: https://www.wdzzz.com/sitemap/home.xml


标签 Robots
相关推荐
  • Robots
  • robots.txt怎么设置不暴露敏感文件路径

    robots是网站跟爬虫间的协议文件,robots.txt可以用来告诉对应的爬虫被允许的权限,是搜索引擎中访问网站的时候第一个要查看的文件。robots.txt文件也可以用来限制搜索引擎不乱抓取,只抓取我们希望被收录的内容的。比如我们网站的后台就不希望被搜索抓取...

    经验分享 1130 5年前
  • 帝国CMS-robots.txt文件使用教程

    在说帝国CMS-robots.txt文件使用前先给大家解释下robots.tx是干什么的。 robots协议(也称为爬虫协议、爬虫规则、机器人协议等)也就

    帝国cms教程 667 10年前
  • 网站SEO优化Robots写法

    robots协议是我们的网站与各搜索引擎的一个协议,如果你还不知道robots协议的重要性,那么本片文章你必须认真学习了,因为robots协议对一个网站来说十分重要。那么接下来大家一起来学习什么是robots.txt。一、什么是robots.txt文件1、它是我们的网站与各...

    网站优化 423 6年前
  • robots.txt文件详细教程

    robots文件是网站和各大搜索引擎建立良好沟通的桥梁,也是网站从搜索引擎获得流量的开端第一步,因为robots的设置不当,很有可能会失去很大一部分的流量。对于SEO优化的从业者或者是爱好者,必须要知道其中的原理和设置方法,对于网站管理员及相关的开发技术...

    网站优化 267 4年前
  • robots只能放在根目录吗?

    robots只能放在根目录吗?可以明确地告诉robots文件只能放在网站根目录,关于这一点也是很好理解的,前文提过robots文件就是针对搜索引擎蜘蛛的一种协议(有些蜘蛛不一定会遵守),搜索引擎蜘蛛进入网站都是先从网站根目录,所以robots协议也只有在根目录的时候才...

    网站优化 126 3年前