站点的Robots.txt文件协议该如何书写？

时间：2023-07-01 14:05 阅读数：77 人阅读分类：知识百科

　　2.robots.txt放网站站点xmlsitemap地图：Sitemap:url/sitemap.xml，告诉爬虫蜘蛛我们的网站sitemap地图在哪里，提高提升百度360Sogou的抓取效率

　　3.禁止百度360Sogou抓取我们不想被抓取的文件和网站页面。