有些站長在優(yōu)化網(wǎng)站的過程中，會遇到這樣一個(gè)問題：我網(wǎng)站的關(guān)鍵詞布局沒問題、內(nèi)容質(zhì)量沒問題，并且規(guī)律性的更新網(wǎng)站內(nèi)容，同時(shí)也有持續(xù)在一些高權(quán)重平臺發(fā)布外鏈，為什么百度蜘蛛就是不收錄的的網(wǎng)頁？對于這樣的問題，筆者認(rèn)為首先要知道網(wǎng)站是否有屏蔽了百度蜘蛛的抓取，因?yàn)橛行┱鹃L在建站初期的無意識操作下屏蔽了百度蜘蛛，這也是比較常見的。下面任丘網(wǎng)站建設(shè)來教大家怎樣查看網(wǎng)站有沒有屏蔽百度蜘蛛的抓取。
第一種：查看網(wǎng)站的robots.txt文件，此文件一般在網(wǎng)站的根目錄下，顯示如下：
User-agent:*
Disallow: /
這樣的表示是屏蔽所有搜索引擎蜘蛛的抓取。
User-agent: Baiduspider
Disallow: /
這樣就表示屏蔽了百度蜘蛛抓取。
那要怎樣才能讓百度蜘蛛抓取呢？筆者舉個(gè)例子，如下：
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
上述的例子中，把Disallow: /改成指定的屏蔽目錄就可以了，通常情況下，網(wǎng)站的后臺目錄是需要屏蔽的，只要指定的要屏蔽的目錄，其他頁面就會自動默認(rèn)允許抓取了。另外還有一種方法就是把Disallow: /改成Allow: /，Allow的意思是指允許抓取的目錄或頁面。
第二種：查看網(wǎng)站的頁面代碼中是否設(shè)置屏蔽
在網(wǎng)站頁面代碼<head>與</head>之間，有沒有<me
通過以上兩種方法都可以查看一個(gè)網(wǎng)站是否有屏蔽了百度蜘蛛的抓取。
原創(chuàng)文章轉(zhuǎn)載請注明鏈接 任丘網(wǎng)站制作 https://www.erenqiu.cn
購物車空空，快去選購一下哦！
APP
閩公網(wǎng)安備35020302001614號
閩ICP備2021011570號-1
增值電信業(yè)務(wù)經(jīng)營許可證：閩B2-20220125
