禁止垃圾蜘蛛访问 平常网站比较多垃圾蜘蛛访问，如果不做禁止的话，不仅消耗服务器资源，也会对搜索产生影响；可以在nginx的配置文件那个做个限制，在location里加上以下，就可以仅限制某些设备访问，其他返回499&n... 菜鸟 2019-11-13 1033
Google开源robots.txt 解析器,推动 REP 为互联网标准 最近Google公司宣布要力推REP作为互联网标准，并且把自己的robots.txt解析器在Github上开源了，这是搜索行业的重大新闻。robots.txt，源自于1994年的时候，M... 菜鸟 2019-07-28 996 #robots.txt
