新手站長在網(wǎng)站建設(shè)的時候,因為一些操作,導(dǎo)致正常的網(wǎng)站無法被搜索引擎爬蟲訪問,進而使搜索引擎認(rèn)為該頁面是死鏈接。除了頁面無法打開,一下的幾個點都可以導(dǎo)致網(wǎng)站死鏈的產(chǎn)生。
以下小編就給出一些死鏈的產(chǎn)生情況,本次文章素材來自百度公開課搜索引擎課程,具備相對的權(quán)威性。其他搜索引擎同樣可以參考該篇文章來進行設(shè)置。
減少死鏈的產(chǎn)生,是從事SEO工作工作者必修課。
HTTP/HTTPS設(shè)置不當(dāng)引起死鏈
問題場景:
1.HTTP可訪問 ,HTTPS不可訪問
2.HTTP不可訪問 ,HTTPS可訪問
建議:
整站行為一致,保證所有的URL正常訪問,另外百度方面不建議HTTP與HTTPS共生。
封禁引起死鏈
問題場景:
1.用戶可以正常訪問,爬蟲不能。(爬蟲抓取的是錯誤的頁面)
一些網(wǎng)站因為特殊性,導(dǎo)致用戶可以正常訪問,但是當(dāng)爬蟲訪問時,卻返回一個錯誤的頁面。
2.PC端可訪問,搜索引擎APP不能訪問
搜索引擎爬蟲可以訪問PC端頁面,但是不能訪問APP。百度官方的公開課說到這個APP訪問,暗指是支持APP內(nèi)訪問的一個分析,來作為一個綜合評估參考。所以,不屏蔽百度APP對網(wǎng)站的訪問。
3.DNS封禁
有些特定的DNS服務(wù)商會封禁搜索引擎爬蟲來抓取域名的內(nèi)容。這種在少數(shù),畢竟目前主流域名廠商,已經(jīng)主流的DNS廠商都沒有做DNS封禁。
4.服務(wù)器站點策略封禁
有些服務(wù)器自帶的安全策略會屏蔽百度蜘蛛的抓取,這種情況會產(chǎn)生死鏈(網(wǎng)頁URL鏈接,但是無內(nèi)容)。當(dāng)這種情況在整個網(wǎng)站出現(xiàn),會導(dǎo)致搜索引擎判斷網(wǎng)站為一個劣質(zhì)網(wǎng)站。會被降權(quán)。
建議:
合理的使用站長資源工具,來診斷站點是否能正常抓取
識別百度爬蟲(雙向DNS解析認(rèn)證)解除封禁
對spider不公開內(nèi)容設(shè)置robots協(xié)議封禁/設(shè)置死鏈,導(dǎo)致返回404
不建議使用額外的技術(shù)手段封禁百度爬蟲。
對百度APP可以訪問
DNS變更引起死鏈
問題場景:
站點更新DNS解析,將域名的IP變更,IP1變?yōu)镮P2,中間有時間差。
當(dāng)站點的更換域名解析的IP后,因為有些DNS并不能做到立即響應(yīng)解析(一般為24小時)。我們拿24小時為例,中間有曾時間差,導(dǎo)致搜索引擎蜘蛛無法抓取,會評定為死鏈。
這個時候可以預(yù)留4-5天的緩存期,讓爬蟲來更新這個DNS
建議:
更換DNS后,使用站長資源平臺工具來抓取測試,查看網(wǎng)站是否能正常抓取。
不建議頻繁更換DNS的IP,如必須變更請,給爬蟲抓取預(yù)留緩沖時間。
本文由星空站長網(wǎng)(www.xingkongweb.com)原創(chuàng),作者:五車二,轉(zhuǎn)載請注明出處。
本文來源:徐州酷優(yōu)網(wǎng)絡(luò)科技有限公司
本文網(wǎng)址:https:///xincheng/1622.html
聲明,本站文章均為酷優(yōu)網(wǎng)絡(luò)原創(chuàng)或轉(zhuǎn)載,歡迎分享,轉(zhuǎn)載時請注明文章作者和“來源:徐州網(wǎng)站建設(shè)”并附本文鏈接
覆蓋全江蘇省的服務(wù)網(wǎng)絡(luò)
全國7×24小時客服熱線
病毒殺出率高于99%
網(wǎng)站可用性高于99.9%
最快網(wǎng)站3天內(nèi)上線