如何书写网站robots文件，让蜘蛛有自知之明?

　　对于网站站点站内优化提升，相信对于robots的书写是非常重要的，robots相当于爬虫蜘蛛进入网站站点的第一道关卡，如果没有在这文件里面写入一些爬虫蜘蛛不能摸的东西，估计到时候爬虫蜘蛛就会给你曝光，所以robots文件的重要*就是如此的。

　　robots协议文件对于网站站点的重要*