Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
ZBlog的Robots协议写法如下：
User-agent: * Disallow: /zb_users/ Disallow: /zb_system/ Sitemap: 你的网址/sitemap.xml
ZBlog教程
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
ZBlog的Robots协议写法如下：
User-agent: * Disallow: /zb_users/ Disallow: /zb_system/ Sitemap: 你的网址/sitemap.xml
