让搜索引擎不要跟踪爬虫

原文来自：snippets.barretlee.com，只是为了自己学习收集特意fork了一遍。如有侵权，联系删除：i@webcliwn.net。
所有的爬虫走开：

<meta name="robots" content="noindex">

Google 爬虫走开：

<meta name="googlebot" content="noindex">

不要爬这个链接：

<a href="privatepage.html" rel="nofollow">私有链接</a>