通過內鏈建設解決抓取頻次低的問題
上面提到建設外鏈可以吸引蜘蛛爬行,那么在蜘蛛來了以后如何更好的利用,如何讓更多的頁面url被發現,這就牽扯到內鏈建設。如何設置內容提高抓取頻次,我們可以從以下幾個方面入手:
1.文章內鏈。包括正文里的內鏈及相關文章推薦等,這是基本的操作方式,筆者就不多說了。
2.邊欄推薦。比如說熱門閱讀、最新內容、tag集合標簽推薦等,頁面鏈接曝光的越多,被蜘蛛抓取的幾率就越大,這是很簡單的道理。
3.文章列表。這是需要重點講解,正常情況下列表里的文章都是按照時間順序倒敘排列,也就是說后發布的文章排在最前面。這里就存在一個問題,同一個文章列表下每天更新的文章有限,而分頁被蜘蛛抓取的次數會相對較多,這就浪費了鏈接展現的機會。
舉個例子說明:A列表展示最新的10篇文章,每天更新的數量為5篇,蜘蛛每天爬行5次。事實上不管蜘蛛每天爬行5次還是50次,該頁面每天展現的新的頁面鏈接都只有5個!假如該分類頁能夠把沒有被抓取的頁面更新上來(定時或不定時都行),那情況明顯就不一樣了,每次蜘蛛來抓取都有新的頁面鏈接提交,這就大大提高了抓取頻次。
網站更新頻率高的網站更受蜘蛛青睞,想要解決網站抓取頻次低的問題,除了做外鏈吸引蜘蛛,更多的應該解決站內更新的問題。