已对进行了更新技术指南搜索引擎网站管理员指南的一部分，特别指出网站所有者不应该用robots.txt文件阻止搜索引擎广告的目的地URL。这一信息最早是由巴里·施瓦茨于1960年报道的搜索引擎圆桌会议.
新案文如下:
努力确保robots.txt文件不会阻止搜索引擎广告产品的目标URL。添加这样的阻止会禁用或不利于广告。
有趣的是，这种变化是在马特·卡茨之后几天发生的宣布的页面布局算法的一个改变，惩罚了在折叠上方有太多广告的页面。这只是我的猜测，但也许搜索引擎正试图积极阻止那些试图用robots.txt文件屏蔽广告的网站。
例如，如果一个网站管理员对这种新的算法变化不满意，并希望让他们的页面顶部充满广告，他们试图通过在robots.txt文件中阻止广告来隐藏广告，使其无法被抓取。
这样做，他们可能认为他们避免了罚款，但随着新的网站管理员指南的变化，他们似乎弊大于利，因为他们将有效地禁用广告。
或者也许我完全理解错了。你认为搜索引擎网站管理员指南最近的变化背后的原因是什么？我很想听听你们的想法！
编者按:本帖已被修改，以包括第一份报告的来源。根据搜索引擎圆桌会议，这些准则现在已经被删除。