mainbanner1.jpg

深圳SEO公司-非尔思科技
当前位置:首页>>新闻资讯>>快速排名

robots协议如何屏蔽蜘蛛对网站的抓取?

来源:长沙推广公司时间:2019-12-23 09:20:52浏览量:112 次

要知道在网站优化过程中,有时需要阻止搜索引擎蜘蛛,也就是说,禁止在网站上某处抓取,那么我们应该如何阻止搜索引擎蜘蛛呢?长沙网络优化推广公司来看看具体的操作方法。

  要知道在网站优化过程中,有时需要阻止搜索引擎蜘蛛,也就是说,禁止在网站上某处抓取,那么我们应该如何阻止搜索引擎蜘蛛呢?长沙网络优化推广公司来看看具体的操作方法。

  百度蜘蛛抓取我们的网站,希望我们的网页能被包含在它的搜索引擎中。将来,当用户搜索时,它会给我们带来一定量的搜索引擎优化流量。当然,我们不想让搜索引擎抓取所有东西。

  因此,此时我们只希望能够抓取搜索引擎搜索到的内容。例如,用户的隐私和背景信息不希望搜索引擎被捕获和包含。解决这些问题有更佳方法,如下所示:

  

seo推广


  robots协议文件屏蔽百度蜘蛛抓取

  robots协议是放在网站根目录下的协议文件,可以通过网址访问,当百度蜘蛛抓取我们的网站时,它会先访问这个文件。因为它告诉蜘蛛哪些能抓,哪些不能。

  robots协议文件的设置比较简单,可以通过User-Agent、Disallow、Allow这三个参数进行设置。

  User-Agent:对不同搜索引擎的声明;

  Disallow:不允许抓取的目录或页面;

  Allow:被允许抓取的目录或页面通常可以省略或不写,因为如果你不写任何不能抓取的东西,它就可以被抓取。


相关推荐

您有网站建设及seo优化外包需求?即刻联系一站式网站建设seo优化推广公司吧!

立即咨询

二维码图片

全国客户服务热线

18923729070 王先生

    Copyright © 非尔思网络  长沙seo热点  长沙seo seo百科  百度站长平台    备案号:湘ICP备16027790号-3  交换友链的QQ:123317951 (添加时备注友链)

top.png