|
泰安网络公司告诉你robots协议在网站中起到的作用时间：2020-08-18 泰安网络公司 告诉你robots协议在网站中起到的作用 网站robots.txt文件的功能是什么，如何编写网站robots.txt robots.txt协议(也称为爬虫协议、爬虫规则、机器人协议等。) robots.txt文件是存储在网站根目录下的TXT文本文档。这是网站和蜘蛛之间的协议。 Robots协议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取；可以屏蔽一些网站中比较大的 文件，如：图片，音乐，视频等，节省服务器带宽；可以屏蔽站点的一些死链接。方便搜索引擎抓取网 站内容；设置网站地图连接，方便引导蜘蛛爬取页面。
Robots.txt文件的作用： 1、屏蔽网站内的死链接。2、屏蔽搜索引擎蜘蛛zhi抓取站点内重复内容和页面。 3、阻止搜索引擎索引网站隐私性的内容。 因此建立robots.txt文件是很有必要的，网站中重复的内容、页面或者404信息过多，搜索引擎蜘蛛就会认为该网站价值较低，从而降低对该网站的“印象分”，这就是我们经常听到的“降低权重”，这样网站的排名就不好了。 robots.txt文件需要注意的最大问题是：必须放置在一个站点的根目录下，而且文件名必须全部小写。 robots.txt文件的基本语法只有两条，第一条是：User-agent，即搜索引擎蜘蛛的名称；第二条是：Disallow，即要拦截的部分。 |
