Google开源robots.txt 解析器,推动 REP 为互联网标准

菜鸟 605 0

最近Google 公司宣布要力推 REP作为互联网标准,并且把自己的 robots.txt 解析器在 Github 上开源了,这是搜索行业的重大新闻。

robots.txt,源自于 1994年的时候,Martijn Koster (一个网站站长)在被蜘蛛过度抓取网站后,自行创建的一个初始标准,随着越来越多的网站站长的补充,追随,Rebots Exclusion Protocol (REP),就诞生了,随着各大搜索引擎同站长们的良性互动,它们也都采用了这个标准。然而这个 REP,始终没有成为一个互联网标准。

现在 Google 联合其他的几个巨头,力图把 REP 推动成为一个互联网标准。

在把 REP 作为标准的路上,其实还是同平时站长们的使用还是有一点小小变化的,具体的表现在 robots.txt 不止可以用于 HTTP,还包括了 FTP 等基于 URI 的传输协议;解析器的开发者需要至少解析 robots.txt 的前 500KB内容;还有缓存时间等等一些新的标准内容。

网站站长们如果对此有建议,有问题,等等,都可以到 Webmaster Community 或者twitter 上联系。

就我个人的看法,这是推动站长以及搜索引擎规范化的进步,站长们有规范可遵循,搜索引擎也需要遵守,包括各种内容抓取者都需要遵守。


标签: robots.txt

发表评论 (已有0条评论)

还木有评论哦,快来抢沙发吧~