主页 > 编程资料 > Dedecms >
发布时间:2018-04-18 作者:2018 阅读:382次

今天在给dedecms网站写入tobots.txt的时候,发现了很多争议,其中一点就是要不要将css/js写进去,纠结半天后,我还是没写。

最后,我是这样写入的:


robots文件


稍微解释一下后面几个文件的意思:

include织梦的核心文件夹,里面放点都是织梦的程序文件
templets这个是织梦的模板文件
data是织梦存放网站数据信息的文件,里面涉及到网站的数据安全
rcshanyao是我网站的后台文件,织梦默认的是dede。

将这些文件都屏蔽后,有个uploads文件,里面网站一些上传来图片,我希望这些图片被抓取所以没有禁止,如果你不希望被抓取也可以写进去。

重点说说css/js为何没有写进去,主要依据如下:

1、css:
根据对数个网站的服务器WEB日志的跟踪分析发现:不管你是否在Robots.txt中禁止对CSS文件的抓取,百度仍然会高频抓你的css文件。

为什么?因为,包括百度在内的所有搜索引擎,必需要根据样式表来分析你的网页和用户体验性是否友好,网页前端是否规范,网页是否适合移动端浏览。

还有一点更重要的,在搜索引擎与黑帽灰帽SEOer的博奕中,搜索引擎必需从样式中分析网站是否存在一个重要的作弊行为:隐藏文本!所以,CSS文件不应该在robots.txt文件中被禁止。

2、js脚本:
这是seoer产争议之处。JS多用于一些页面效果或作为跟踪脚本等,看起来似乎不需要搜索去抓取分析。但是事实上,基于与CSS文件相同的理由,搜索引擎有必要去解析JS内容与JS呈现的效果。

因为JS要用于控制CSS的效果,也可以用来显示一些非HTML文本的内容。谷歌对JS的解析非常强大,而百度稍弱。

所以我也没有将它们禁止,毕竟大家都知道现在百度是越来越智能了。

当然,这仅仅是建议,因为有些人认为将它们写入可以减少带宽压力,提供干净的索引环境,这也无可厚非。

同时,我们也可以借鉴别人dedecms网站的写法,在他们网站首页后输入/robots.txt,回车就可以查看了。

文章由爱资料原创本文地址:https://www.apizl.com/archives/view-134073-1.html,转载请以链接形式标明本文地址!
关键字词:

相关文章