網(wǎng)站網(wǎng)頁都被屏蔽了為什么還能被收錄到

　　這個問題困惑我很久了，為什么我網(wǎng)站的網(wǎng)頁被robots屏蔽了之后，我從網(wǎng)站日志分析后還會能看到被百度抓取和收錄呢？不是說屏蔽了以后就不會被抓取和收錄了嗎？這些頁面都是我們老板千叮萬囑不讓展現(xiàn)在百度的，現(xiàn)在都不知道怎么交差了，求解釋。

　　我經(jīng)常遇到這樣的情況，很多人都來問我：“為啥屏蔽了的頁面還被抓?。俊边@里我簡單的說下吧，一般有兩種情況：

　　第一種是：對已經(jīng)收錄的網(wǎng)頁使用robots屏蔽，老網(wǎng)頁按照robots規(guī)則的刪除時間會很長，這個時候可能會造成百度沒有遵守robots規(guī)則。

　　第二種情況是：如果你屏蔽的頁面或欄目存在大量的外鏈，那么這個網(wǎng)頁或欄目的URL會被百度收錄，但內(nèi)容不會被百度索引，一般這樣的多見于首頁域名。當(dāng)然，如果你連URL都不想被收錄，可以針對蜘蛛返回404即可。

    本文來源于互聯(lián)網(wǎng)，如有疑問請及時聯(lián)系站長資源平臺官方客服，謝謝！