Disallow - User-agent,允許所有蜘蛛采集，disallow告訴蜘蛛不要抓取某些文件或目錄。如下面代碼將阻止蜘蛛抓取所有的網(wǎng)站文件（/代表跟目錄）：
User-agent: *
Disallow: /
    Allow - 告訴蜘蛛應(yīng)該抓取某些文件。Allow和Disallow配合使用，可以告訴蜘蛛某個(gè)目錄下，大部分都不抓取，只抓取一部分。如下面代碼將使蜘蛛不抓取wp-admin目錄下其他文件，而只抓取其中ab下的文件：
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/ab
$通配符 -
User-agent: *
Allow: .htm$
    *通配符 - 告訴蜘蛛匹配任意一段字符。如下面一段代碼將禁止蜘蛛抓取所有htm文件：
User-agent: *
Disallow: /*.htm
    根據(jù)協(xié)議，北京seo:robots.txt協(xié)議為：
# Robots.txt file from http://www.lzamai.cn
# All robots will spider the domain
User-agent: *
Disallow:/wp-admin/
sitemap: http://xmteco.com.cn/sitemap.xml