搜索引擎蜘蛛是通過鏈接地址來尋找網(wǎng)頁的。搜索引擎蜘蛛名稱隨搜索引擎的不同而不同。那它的原理是由一個(gè)起始鏈接開始抓取網(wǎng)頁內(nèi)容，同時(shí)也采集網(wǎng)頁上的鏈接，并將這些鏈接作為它下一步抓取的鏈接地址，如此循環(huán)，直到達(dá)到某個(gè)停止條件后才會(huì)停止。停止條件的設(shè)定通常是以時(shí)間或是數(shù)量為依據(jù)，可以通過鏈接的層數(shù)來限制網(wǎng)絡(luò)蜘蛛的爬取。同時(shí)頁面信息的重要性為客觀因素決定了蜘蛛對該網(wǎng)站頁面的檢索。站長工具中的搜索引擎蜘蛛模擬器其實(shí)它就是這個(gè)原理?；谶@蜘蛛工作原理，站長都會(huì)不自然的增加頁面關(guān)鍵詞出現(xiàn)次數(shù)，雖然對密度產(chǎn)生量的變化，但對蜘蛛而言并沒達(dá)到一定的變化。這在搜索引擎優(yōu)化過程中應(yīng)該要避免的。