由此可見，雖然理論上蜘蛛能爬行和抓取所有頁面，但實際上不能、也不會這么做。SEO人員要想讓自己的更多頁面被收錄，就要想方設(shè)法吸引蜘蛛抓取。既然不能抓取所有頁面，蜘蛛所要做的就是盡量抓取重要頁面。哪些頁面被認(rèn)為比較重要呢?有幾方面影響因素。來自牧羊人深圳網(wǎng)站建設(shè)公司的小編分享：

　　網(wǎng)站和頁面權(quán)重。質(zhì)量高、資格老的網(wǎng)站被認(rèn)為權(quán)重比較高，這種網(wǎng)站上的頁面被爬行的深度也會比較高，所以會有更多內(nèi)頁被收錄。

　　1.網(wǎng)站權(quán)重問題，權(quán)重越高的網(wǎng)站蜘蛛會爬取的更加深入，幾乎每個頁面都會爬取到，就會有更多的內(nèi)頁被收錄。

　　2.網(wǎng)站的更新頻率，蜘蛛會把每次爬取的網(wǎng)站存儲起來，方便第二次爬取，如果第二次爬取到你優(yōu)化的網(wǎng)站，發(fā)現(xiàn)頁面有更新，蜘蛛就會爬取到你的新內(nèi)容，如果之后每天更新，那么蜘蛛也會養(yǎng)成習(xí)慣，每天定時來爬取你的網(wǎng)站。

　　3.網(wǎng)站內(nèi)容質(zhì)量，質(zhì)量高、可讀性比較強的頁面，搜索引擎抓取到就更容易收錄，從而收錄之后，給我們的頁面權(quán)重也會有提高。下次也會繼續(xù)來爬取我們的網(wǎng)站，因為搜索引擎就喜歡有價值的頁面，可讀性強的頁面，語句符合邏輯的頁面。

　　4.導(dǎo)入鏈接。無論是外部鏈接還是同一個網(wǎng)站的內(nèi)部鏈接，要被蜘蛛抓取，就必須有導(dǎo)入鏈接進入頁面，否則蜘蛛根本沒有機會知道頁面的存在。高質(zhì)量的導(dǎo)入鏈接也經(jīng)常使頁面上的導(dǎo)出鏈接被爬行深度增加。

　　5.頁面在首頁有鏈接，一般來說我們在自己網(wǎng)站更新，更新的鏈接最好是要出現(xiàn)在首頁，因為首頁是權(quán)重最高的，蜘蛛訪問最多，最頻繁的也是我們的首頁，如果首頁有更新的鏈接，可以讓蜘蛛更快更好的爬取到我們更新的頁面，從而更好的收錄我們的頁面。

　　6.URL結(jié)構(gòu)。頁面權(quán)重是在收錄并進行迭代計算后才知道的，那么前面說的頁面權(quán)重高有利于被抓取，搜索引擎蜘蛛在抓取前怎么知道這個頁面的權(quán)重呢?所以蜘蛛要進行預(yù)判，除了鏈接、與首頁距離、歷史數(shù)據(jù)等因素外，短的、層次淺的URL也可能被直觀認(rèn)為在網(wǎng)站上的權(quán)重相對較高.

閱讀本文的人還閱讀：SEO人員應(yīng)該具備哪些素養(yǎng)