SEO優(yōu)化需要怎么做才能贏得搜索引擎蜘蛛的爬行

時間：：2017/07/11 16:36:20 來源：愛搜客

所謂的SEO優(yōu)化，就是讓你的網(wǎng)站可以被搜索引擎收錄，而且能排到好的位置。那要被搜索引擎收錄，首先得贏得搜索引擎蜘蛛的喜歡，蜘蛛爬行了你的網(wǎng)站才有可能收錄。下來就來了解一下什么是搜索引擎蜘蛛，和SEO應(yīng)該怎么做：

　　搜索引擎蜘蛛一般指：網(wǎng)絡(luò)爬蟲

　　網(wǎng)絡(luò)爬蟲（又被稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機器人，在FOAF社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁追逐者），它是一種可以在無需人類干預(yù)的情況下自動進行一系列web事務(wù)處理的軟件程序。是一種按照一定的規(guī)則，自動地抓取萬維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。

搜索引擎蜘蛛

　　搜索引擎的爬蟲工作原理

　　網(wǎng)絡(luò) < --- > 爬蟲 < --- > 網(wǎng)頁內(nèi)容庫 < --- > 索引程序 < --- > 索引庫 < --- > 搜索引擎 < --- > 用戶

　　爬蟲分類：

　　1、通用網(wǎng)絡(luò)爬蟲

又稱全網(wǎng)爬蟲爬行對象從一些種子 URL 擴充到整個 Web，主要為門戶站點搜索引擎和大型 Web 服務(wù)提供商采集數(shù)據(jù)。由于商業(yè)原因，它們的技術(shù)細節(jié)很少公布出來。結(jié)構(gòu)大致可以分為頁面爬行模塊、頁面分析模塊、鏈接過濾模塊、頁面數(shù)據(jù)庫、URL 隊列、初始 URL 集合幾個部分。

　　2、聚焦網(wǎng)絡(luò)爬蟲

　　又稱主題網(wǎng)絡(luò)爬蟲（Topical Crawler），是指選擇性地爬行那些與預(yù)先定義好的主題相關(guān)頁面的網(wǎng)絡(luò)爬蟲[8]。和通用網(wǎng)絡(luò)爬蟲相比，聚焦爬蟲只需要爬行與主題相關(guān)的頁面，極大地節(jié)省了硬件和網(wǎng)絡(luò)資源，保存的頁面也由于數(shù)量少而更新快，還可以很好地滿足一些特定人群對特定領(lǐng)域信息的需求。

　　3、增量式網(wǎng)絡(luò)爬蟲

　　是指對已下載網(wǎng)頁采取增量式更新和只爬行新產(chǎn)生的或者已經(jīng)發(fā)生變化網(wǎng)頁的爬蟲，它能夠在一定程度上保證所爬行的頁面是盡可能新的頁面。增量式爬蟲只會在需要的時候爬行新產(chǎn)生或發(fā)生更新的頁面，并不重新下載沒有發(fā)生變化的頁面，可有效減少數(shù)據(jù)下載量，但是增加了爬行算法的復(fù)雜度和實現(xiàn)難度。

　　4、Deep Web 爬蟲

　　按存在方式可以分為表層網(wǎng)頁和深層網(wǎng)頁。表層網(wǎng)頁是指傳統(tǒng)搜索引擎可以索引的頁面，以超鏈接可以到達的靜態(tài)網(wǎng)頁為主構(gòu)成的 Web 頁面。Deep Web 是那些大部分內(nèi)容不能通過靜態(tài)鏈接獲取的、隱藏在搜索表單后的，只有用戶提交一些關(guān)鍵詞才能獲得的 Web 頁面。

　　5、蜘蛛陷阱

是阻止細蛛程序爬行網(wǎng)站的障得物，通常是那些顯示網(wǎng)頁的技術(shù)方法，目前很多瀏覽器在設(shè)計的時候考慮過這些因索，所以可能網(wǎng)頁界面看起來非常正常，但這些蜘銖陷阱會對蜘蛛程序造成障礙，如果消除這些細蛛陷阱，可以使蜘銖程序收錄更多的網(wǎng)頁? SEO工作中，網(wǎng)頁被收錄是基礎(chǔ)工作，但對于搜索引擎來講，極少情況會100%收錄你網(wǎng)站的所有網(wǎng)頁，搜索引轚的爬蟲程序設(shè)計的再精巧，也難以逾越所@的蜘蛛陷阱。

SEO優(yōu)化

　　了解了蜘蛛后，那根據(jù)蜘蛛的特點，在SEO方面應(yīng)該怎么做才能討好搜索引擎蜘蛛呢

　　1、突出重要內(nèi)容

　　合理的title、description和keywords

　　title：只強調(diào)重點即可，重要關(guān)鍵詞出現(xiàn)不要超過2次，而且要靠前，每個頁面title要有所不同description：把網(wǎng)頁內(nèi)容高度概括到這里，長度要合理，不可過分堆砌關(guān)鍵詞，每個頁面description要有所不同，keywords：列舉出幾個重要關(guān)鍵詞即可，也不可過分堆砌。

　　2、語義化書寫HTML代碼，符合W3C標(biāo)準(zhǔn)

　　對于搜索引擎來說，最直接面對的就是網(wǎng)頁HTML代碼，如果代碼寫的語義化，搜索引擎就會很容易的讀懂該網(wǎng)頁要表達的意思。

　　3、利用布局，把重要內(nèi)容HTML代碼放在最前

　　搜索引擎抓取HTML內(nèi)容是從上到下，利用這一特點，可以讓主要代碼優(yōu)先讀取，讓爬蟲最先抓取。

　　4、重要內(nèi)容不要用JS輸出

　　爬蟲不會讀取JS里的內(nèi)容，所以重要內(nèi)容必須放在HTML里。

　　5、盡少使用iframe框架

　　搜索引擎不會抓取到iframe里的內(nèi)容，重要內(nèi)容不要放在框架中。不過現(xiàn)在都用DIV+CSS，框架已經(jīng)很少用到了。

　　6、為圖片加上alt屬性

　　alt屬性的作用是當(dāng)圖片無法顯示時以文字作為代替顯示出來，對于SEO來說，它可以令搜索引擎有機會索引你網(wǎng)站的圖片。

　　7、需要強調(diào)的地方可以加上title屬性

　　在進行SEO優(yōu)化時，適合將alt屬性設(shè)置為圖片本來的含義，而將 ttitle屬性為設(shè)置該屬性的元素提供建議性的信息。