网页优化:robots.txt
网站优化
天津洛坚强_天津优化排名_网页建站_快速权重提升_价格优惠美丽
洛坚强
2019-06-29 09:24


网页建站

关于robots.txt 是告诉搜索引擎蜘蛛,网站的哪些文件夹可以抓取,哪些文件夹不能抓取,从而确保我们网站的隐私内容不会被收录。

隐私这个东西很重要,你可不想在别人眼里是透明的吧

这东西放在FTP网站根目录里来运行,格式必须txt

网上说开始大写后面小写,经过我本人测试怎样都可以(可大可小,无所畏惧)

来我教你怎么写这个东西

首先我们开头来一段这玩意:User-agent: *

(跟HTML开始一样总会有个开始,定义搜索引擎  *号表示所有搜索引擎,当然你也可以限制比如加:
Baiduspider

Disallow:  /啥/啥.html(禁止搜索引擎访问啥啥文件)

Allow: ....   (允许)后面加/就是允许访问所有,然后你就光着了包括你的后台

下图是我个人的:

网页优化

很多种写法,本洛洛就用了最简单实用的 ,觉得写的很好的,京东淘宝(你们可以去看下 学习学习)

当然也有很多自动生成的网站比如站长之类的,你不觉得你很low吗,干点啥都有一键生成