網(wǎng)站為什么蜘蛛爬的勤快收錄反而少？

　　前言：最近半年，黃忠一直在做企業(yè)SEO問題解答活動，主要目的很簡單：為了幫助廣大企業(yè)站長和SEO從業(yè)者能夠快速的解決問題從而提升自身能力，所以問題解答這塊也就一直持續(xù)到現(xiàn)在！我相信很多人都得到了我的幫助，同時(shí)我也收集了各種各樣的優(yōu)質(zhì)問題。當(dāng)然，我會不斷的把問題解決后分享給大家！

　　聲明：由于站長提問的問題過于簡單或不工整，我這邊有做文字上的處理，但原意都不變！

　　以下內(nèi)容為第11期問答實(shí)錄：

　　問題簡寫一：網(wǎng)站每天都被蜘蛛爬N遍，收錄的網(wǎng)頁為何只有一兩篇？

　　問：黃老師你好，我的企業(yè)網(wǎng)站上線有一段時(shí)間了，原創(chuàng)文章每天也都在堅(jiān)持更新，但就是不怎么收錄，后來我分析了一下網(wǎng)站日志，發(fā)現(xiàn)百度爬蟲每天都來爬N遍。我就郁悶了，為什么蜘蛛每天都來爬行，我的內(nèi)容頁收錄的這么少呢？是不是進(jìn)沙盒了？還是內(nèi)容質(zhì)量不行？

　　答：一般來說新站都會遇到這樣的問題，而且很多SEO人員都遇到過，那種焦急的狀態(tài)我也是很理解的。通常我都會讓他們?nèi)ビ^察，如果觀察一段時(shí)間且很長一段時(shí)間內(nèi)都是這樣的話，那可能是你的網(wǎng)站內(nèi)容存在問題。無論蜘蛛抓你千百遍都不怎么收錄，這就說明你網(wǎng)站的內(nèi)容不值得被索引。其實(shí)很多權(quán)重高的網(wǎng)站被降權(quán)了也會出現(xiàn)這樣的情況。所以，建議你從內(nèi)容上做檢查。

　　問題簡寫二：網(wǎng)頁被robots了，為什么還會被百度收錄？

　　問：黃忠老師，這個問題困惑我很久了，為什么我網(wǎng)站的網(wǎng)頁被robots屏蔽了之后，我從網(wǎng)站日志分析后還會能看到被百度抓取和收錄呢？不是說屏蔽了以后就不會被抓取和收錄了嗎？這些頁面都是我們老板千叮萬囑不讓展現(xiàn)在百度的，現(xiàn)在都不知道怎么交差了，求解釋。

　　答：我經(jīng)常遇到這樣的情況，很多人都來問我：“為啥屏蔽了的頁面還被抓?。俊边@里我簡單的說下吧，一般有兩種情況：

　　第一種是：對已經(jīng)收錄的網(wǎng)頁使用robots屏蔽，老網(wǎng)頁按照robots規(guī)則的刪除時(shí)間會很長，這個時(shí)候可能會造成百度沒有遵守robots規(guī)則。

　　第二種情況是：如果你屏蔽的頁面或欄目存在大量的外鏈，那么這個網(wǎng)頁或欄目的URL會被百度收錄，但內(nèi)容不會被百度索引，一般這樣的多見于首頁域名。當(dāng)然，如果你連URL都不想被收錄，可以針對蜘蛛返回404即可。

　　問題簡寫三：B2B網(wǎng)站上下架的產(chǎn)品返回404還是200狀態(tài)碼？

　　問：黃老師，我們B2B網(wǎng)站上很多產(chǎn)品都等待下架，還有很多用戶自主刪除的產(chǎn)品頁面，我想返回404錯誤頁面，但是數(shù)量太多，怕百度認(rèn)為我網(wǎng)站上存在大量的死鏈。如果返回200，怕欺騙搜索引擎，所以，現(xiàn)在我也不知道怎么辦才好，想讓黃老師給個建議。

　　答：這個是黃忠SEO兄弟VIP圈子里的成員提問的問題，我給收錄進(jìn)來了。我簡單的說下這個解決方法：建議為產(chǎn)品下降的頁面返回404狀態(tài)碼，不要返回200狀態(tài)碼。一般來說，只要正確的返回404是對網(wǎng)站沒有任何影響的，還可以減少蜘蛛抓爬給服務(wù)器造成的負(fù)擔(dān)。如果死鏈較多，我們可以讓技術(shù)設(shè)計(jì)一個自動生成死鏈地圖的程序，任何刪除行為都自動把鏈接寫到指定鏈接文件里去，然后在百度站長平臺提交死鏈即可。

　　另外，商城網(wǎng)站產(chǎn)品下架其實(shí)這個是最常用的。

　　問題簡寫四：還沒有做好的頁面已經(jīng)解析域名了，是做404還是503?

　　問：我們這邊的技術(shù)經(jīng)常做一些新頁面的建設(shè)，每次整的頁面在開發(fā)的時(shí)候就被百度收錄了，弄的我很無語的。我想問下是給他們做404還是503?哪個更好一些？

　　答：一個建議，盡量不要使用404狀態(tài)碼給為創(chuàng)建好的頁面做返回，能用503的建立用503，這樣可以讓蜘蛛更好的去識別它。其他的沒什么建議了。

　　問題簡寫五：現(xiàn)在外鏈還重要嗎？企業(yè)網(wǎng)站該怎么做有效性的外鏈？

　　問：黃忠老師，很多都說百度現(xiàn)在不重視網(wǎng)站外鏈建設(shè)了，不知道是不是真的，搞的我們公司的企業(yè)網(wǎng)站都沒法做外鏈了，現(xiàn)在網(wǎng)站排名也停滯不前了。另外，在問一個小白的問題：企業(yè)網(wǎng)站該怎么做有效性的外鏈？求指導(dǎo)。

　　答：百度搜索引擎已經(jīng)降低了外鏈的重視程度，但外鏈建設(shè)還是需要繼續(xù)做的，只是質(zhì)量的好壞決定了外鏈對你網(wǎng)站的重要程度。而企業(yè)網(wǎng)站怎么做外鏈呢？我可以簡單的說下，希望對你有幫助：

　?、伲河亚殒溄?，這個不用多說了，大家都知道。

　?、冢哼x擇針對性或相關(guān)性的外鏈平臺發(fā)原創(chuàng)文章做外鏈

　　我舉個例子：

　　比如我做的是牛蒡茶，這個屬于養(yǎng)生茶，我就可以選擇一些優(yōu)質(zhì)的B2B平臺做外鏈。

　　注意，B2B里面有很多分類，那么我就找養(yǎng)生茶方面的分類。然后，外鏈內(nèi)容要原創(chuàng)，而且要先發(fā)布在自己的網(wǎng)站上，12小時(shí)后在發(fā)布到B2B，并帶上內(nèi)頁鏈接。

　　當(dāng)然，如果有養(yǎng)生門戶方面的外鏈資源，也可以去發(fā)布外鏈，比如39健康網(wǎng)，不過這樣的一般都是付費(fèi)的。

　　③：結(jié)合自己優(yōu)化網(wǎng)站的經(jīng)驗(yàn)，寫SEO經(jīng)驗(yàn)心得文章，投稿A5和Chinaz

　　你優(yōu)化了這么久的網(wǎng)站SEO，多多少少都會積累一些經(jīng)驗(yàn)心得，那么你就可以結(jié)合你這個網(wǎng)站寫一些SEO方面的經(jīng)驗(yàn)心得文章，然后發(fā)布在A5或者站長之家。

　　比如：食品類型的企業(yè)網(wǎng)站如何做好外鏈建設(shè)，可以結(jié)合這個去寫出你的經(jīng)驗(yàn)心得文章，以總分總的格式去寫，底部帶上首頁鏈接即可。

　　這樣的外鏈雖然沒有針對性，但有相關(guān)性。 和食品類型的網(wǎng)站有相關(guān)性，百度也比較重視。

　　問題簡寫六：404錯誤頁面訪問后直接跳轉(zhuǎn)首頁，有哪些弊端？

　　問：你好黃老師，我們的企業(yè)網(wǎng)站經(jīng)常刪除一些內(nèi)容頁，我們是想把這些刪除掉的頁面跳轉(zhuǎn)首頁，不知道這樣做有哪些弊端？

　　答：不建議跳轉(zhuǎn)到首頁，因?yàn)檫@種操作是對搜索引擎不友好的設(shè)置，會讓搜索引擎認(rèn)為網(wǎng)站上有大量與首頁內(nèi)容相同的頁面。

    本文來源于互聯(lián)網(wǎng)，如有疑問請及時(shí)聯(lián)系站長資源平臺官方客服，謝謝！