当前位置:首页 > 网站建设 > 建站交流 > 正文内容

只允许主流搜索引擎抓取写法

访客48年前 (1974-03-12)建站交流956
只允许主流搜索引擎抓取写法,可以节省非主流搜索引擎耗费流量
User-agent: Baiduspider
Allow: /

User-agent: Googlebot
Allow: /

User-agent: 110Spider
Allow: /

User-agent: Sogou web spider/4.0
Allow: /

User-agent: *
Disallow: /

<p>扫描二维码推送至手机访问。</p><p>版权声明:本文由<strong>网站标题</strong>发布,如需转载请注明出处。</p>

本文链接:https://www.retao5.com/jianzhan/949.html

分享给朋友:

相关文章

飞天侠6.0开启wap手机浏览的教程

飞天侠6.0开启wap手机浏览的教程

一,找到data\config\config.php二,用工具打开,找到如下代码:(不要用记事本打开修改,可以在本论坛站长工具版块下载PHP编辑器。)'APP_SUB_DOMAIN_DEPLO...

php-nts版本配置导致no input file specified报错

php-nts版本配置导致no input file specified报错

今天在phpstudy2016版本、tp3.2.3版本配置本地项目的时候,遇到了这个htaccess分布式配置的文件问题!进入根目录报错:页面提示no input file specified.找不到...

IE8如何在设置默认“在新选项卡中打开链接”

IE8如何在设置默认“在新选项卡中打开链接”

IE8如何在设置默认“在新选项卡中打开链接” 收藏 菜单栏--˃“工具(T)”--˃“Internet 选项(O)”--˃ “常规”选项卡--˃“选项卡”栏(在对话框中下方),“更改网页在选项卡中显示...

实战CentOS6.4下升级内核 linux升级内核

实战CentOS6.4下升级内核 linux升级内核

1:更新内核 # yum -y install kernel 2:重启系统 #   reboot 3:重启后查看是否启用新内核 #   uname -r 2.6.32-358.18...

左右不一样可独立关闭的对联广告代码

左右不一样可独立关闭的对联广告代码

左右不一样可独立关闭的对联广告代码左右不一样可独立关闭的对联广告代码.zip...

ATS缓存配置(Apache Traffic Server 学习笔记 2)——持续更新

ATS缓存配置(Apache Traffic Server 学习笔记 2)——持续更新

records.config配置:允许TS操作客户端请求的host头部:CONFIG proxy.config.url_remap.pristine_host_hdr INT 0忽略服务器端和客户端的...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。