有時候我們在網站(zhàn)建設的前期忘了寫robots.txt文件(jiàn)，但(dàn)是很多不想被收錄到搜索引擎中的内容都(dōu)被收錄了。這時候我們會發現，似乎時間久了，就(jiù)不希望收錄的頁面被收錄了。robots要多久才能生(shēng)效？
宿州網站(zhàn)優化的小編來(lái)和大(dà)家一起來(lái)看(kàn)看(kàn)吧(ba)！
百度李曾在公開場合表示，不同的站(zhàn)點略有不同，但(dàn)一般過幾天就(jiù)會生(shēng)效。
事(shì)實上，我們可(kě)以想象robots生(shēng)效的過程：
1.蜘蛛發現robots文件(jiàn)被修改，并将信息傳回
2.分(fēn)析修改前後的robots文件(jiàn)
3.删除不允許包含的索引數據
在這個過程中還(hái)會有一些其他(tā)的步驟。但(dàn)由于蜘蛛爬行頻率和網站(zhàn)權重(網站(zhàn)的重要性)不同，蜘蛛發現robots的延時變化或處理(lǐ)優先級不同，最終結果是robots的有效時間不同。
通過以上宿州網站(zhàn)優化小編的分(fēn)析，我們可(kě)以得(de)出結論，robots的有效時間是不确定的。如(rú)果你(nǐ)的robots在改變後很長一段時間都(dōu)沒有發揮作(zuò)用，你(nǐ)可(kě)以去(qù)這裡(lǐ)投訴：tousu.baidu.com
