推廣網(wǎng)站的Disallow指令。推廣網(wǎng)站的Disallow指令是Robots.txt文件中最常用的一種指令之一，它用于告訴搜索引擎爬蟲(chóng)哪些頁(yè)面不允許被抓取。在Robots.txt文件中，我們可以使用多個(gè)Disallow指令來(lái)禁止搜索引擎爬蟲(chóng)抓取多個(gè)頁(yè)面。Disallow: /  是告訴搜索引擎爬蟲(chóng)整個(gè)網(wǎng)站都不允許被抓取，所以您的網(wǎng)站就極有可能不被收錄。新網(wǎng)站/老網(wǎng)站上線，網(wǎng)站不收錄。開(kāi)篇云建議查Robots文件，看看Disallow代碼是不是設(shè)置出了問(wèn)題。Robots協(xié)議是網(wǎng)站出于安全和隱私考慮，防止搜索引擎抓取敏感信息而設(shè)置Disallow指令是告訴搜索引擎爬蟲(chóng)哪些頁(yè)面不允許被抓取。

推廣網(wǎng)站的Disallow指令