針對(duì)希望快速了解核心要點(diǎn)的受眾,Matt Cutts特別提煉出關(guān)鍵信息:其一,Google爬行與索引部門的硬件資源充足,收錄網(wǎng)頁(yè)數(shù)量下降并非源于存儲(chǔ)空間不足;其二,Google持續(xù)重視并吸納站長(zhǎng)的反饋意見,以優(yōu)化算法與索引策略。追溯“大爸爸”更新的完整進(jìn)程,其技術(shù)部署始于去年12月,當(dāng)時(shí)爬行與索引團(tuán)隊(duì)已啟動(dòng)相關(guān)軟件的迭代升級(jí)——這是首次對(duì)“大爸爸”具體技術(shù)內(nèi)涵的明確說(shuō)明,主要涵蓋爬行系統(tǒng)及部分索引模塊的更新。今年1月上旬,Matt Cutts曾開放特定數(shù)據(jù)中心的IP地址供站長(zhǎng)反饋測(cè)試;2月,該系統(tǒng)逐步擴(kuò)展至更多數(shù)據(jù)中心部署;3月,大量站長(zhǎng)投訴網(wǎng)頁(yè)未被收錄,且補(bǔ)充材料網(wǎng)頁(yè)增多,3月13日,Google匿名員工“Google Guy”在站長(zhǎng)社區(qū)征集具體案例。
通過(guò)對(duì)案例網(wǎng)站的深度分析,問(wèn)題根源迅速顯現(xiàn):在“大爸爸”數(shù)據(jù)中心中表現(xiàn)異常的站點(diǎn),普遍存在算法對(duì)其反向鏈接及導(dǎo)出鏈接的信任度評(píng)估偏低的情況,例如大量交換鏈接、指向低質(zhì)量網(wǎng)站或參與買賣鏈接行為。需特別說(shuō)明的是,“大爸爸”更新與“補(bǔ)充材料結(jié)果”無(wú)直接關(guān)聯(lián),因此當(dāng)“大爸爸”未收錄某網(wǎng)站網(wǎng)頁(yè)時(shí),補(bǔ)充索引系統(tǒng)可能反而增加對(duì)該類網(wǎng)頁(yè)的收錄。為應(yīng)對(duì)這一問(wèn)題,Matt Cutts與爬行/索引團(tuán)隊(duì)協(xié)作優(yōu)化了算法收錄閾值,以提升對(duì)受影響網(wǎng)站的覆蓋度。3月22日,其公開表示正增加網(wǎng)頁(yè)收錄量;至3月29日,“大爸爸”更新全面完成,舊系統(tǒng)正式下線,此后所有爬行任務(wù)均由新系統(tǒng)接管。從技術(shù)迭代規(guī)模看,此次更新整體成功,僅收到兩類主要反饋:一是前述鏈接信任度低的網(wǎng)站收錄減少,團(tuán)隊(duì)已快速響應(yīng)并優(yōu)化;二是Google Adsense爬行網(wǎng)頁(yè)意外出現(xiàn)在搜索結(jié)果中,實(shí)為爬行緩存代理的設(shè)計(jì)特性所致。
完成“大爸爸”更新后,Google將工作重心轉(zhuǎn)向補(bǔ)充材料結(jié)果的優(yōu)化。4月初,用戶端開始展示更新后的補(bǔ)充材料結(jié)果;4月13日,有聲音指出收錄網(wǎng)頁(yè)減少;4月24日,“Google Guy”再次征集細(xì)節(jié)反饋。經(jīng)團(tuán)隊(duì)多維度分析——包括爬行/索引部門、網(wǎng)站地圖部門及補(bǔ)充結(jié)果更新部門——未發(fā)現(xiàn)顯著規(guī)律。5月5日,技術(shù)團(tuán)隊(duì)發(fā)現(xiàn)“site:”指令未返回補(bǔ)充材料結(jié)果的問(wèn)題,并于當(dāng)日修復(fù);后續(xù)又針對(duì)分字符鏈接域名的site指令功能進(jìn)行了優(yōu)化。
具體案例進(jìn)一步佐證了上述結(jié)論。某.tv國(guó)家房地產(chǎn)網(wǎng)站管理員稱5月3日收錄量從2萬(wàn)頁(yè)降至300頁(yè),經(jīng)核查,“site:”指令已返回31200頁(yè),域名問(wèn)題已解決。另一房地產(chǎn)網(wǎng)站(5月11日案例)雖僅收錄387頁(yè),但其底部鏈接指向鈴聲下載、SEO比賽、魚油等無(wú)關(guān)內(nèi)容,鏈接質(zhì)量問(wèn)題凸顯——若希望提升收錄,需重點(diǎn)優(yōu)化鏈接質(zhì)量。5月4日的另一房地產(chǎn)網(wǎng)站,從1萬(wàn)頁(yè)降至80頁(yè),其鏈接涉及貸款按揭、信用卡、運(yùn)動(dòng)器械等非相關(guān)領(lǐng)域,印證了交換鏈接在新爬行邏輯下的優(yōu)先級(jí)降低。某健康保養(yǎng)目錄網(wǎng)站看似規(guī)范,但導(dǎo)入鏈接僅6個(gè),導(dǎo)致蜘蛛爬行覆蓋有限。
綜合來(lái)看,“大爸爸”更新后,Google確減少了對(duì)部分網(wǎng)站的爬行與收錄,核心癥結(jié)在于鏈接質(zhì)量——大量交換鏈接、買賣鏈接或指向低質(zhì)量網(wǎng)站的內(nèi)容受影響顯著。Google在發(fā)現(xiàn)受影響范圍較大后已啟動(dòng)算法調(diào)整。但目前收錄數(shù)據(jù)仍存在波動(dòng),不同數(shù)據(jù)中心間可能尚未完全同步,且補(bǔ)充材料結(jié)果的選擇算法仍存在優(yōu)化空間,對(duì)站點(diǎn)收錄穩(wěn)定性的影響有待進(jìn)一步觀察。