火車頭采集器定時(shí)采集更新網(wǎng)站內(nèi)容（長(zhǎng)期做站必用）

前面的教程我們基本能完成網(wǎng)站內(nèi)容的采集工作了。但是我們想要網(wǎng)站長(zhǎng)期運(yùn)行的話，肯定不能單靠一次采集來(lái)完成。

火車頭自帶的有計(jì)劃任務(wù)功能，我們可以使用這個(gè)功能來(lái)實(shí)現(xiàn)定時(shí)運(yùn)行采集任務(wù)。

另外我們采集的地址也需要做一些變更，提高采集效率。

1.采集地址設(shè)置

前面教程李我們的目的是把對(duì)方整站的內(nèi)容給采集過(guò)來(lái)，所以采集列表里網(wǎng)址比較多，后面我們持續(xù)采集新內(nèi)容的話就不能掃描整個(gè)網(wǎng)站這樣來(lái)了。

我們只監(jiān)控第一頁(yè)即可，然后定時(shí)檢測(cè)第一頁(yè)有沒(méi)有新內(nèi)容，有新內(nèi)容火車頭會(huì)自動(dòng)采集下來(lái)數(shù)據(jù)。沒(méi)有的話掃描過(guò)后自動(dòng)會(huì)停止。

以景安的文章為例https://server.zzidc.com/fwqjc/

這個(gè)是他的文章列表第一頁(yè)，當(dāng)景安更新了新內(nèi)容，肯定會(huì)在第一頁(yè)這里顯示。我們就把第一頁(yè)這個(gè)地址填入采集列表即可。這里不再重復(fù)說(shuō)怎么填了吧，教程開(kāi)頭幾篇文章寫(xiě)了

另外一點(diǎn)需要注意，因?yàn)槲覀兌〞r(shí)運(yùn)行時(shí)他要檢測(cè)是不是采集過(guò)的文章，所以說(shuō)我們不要清除火車頭的采集數(shù)據(jù)。不然的話火車頭檢測(cè)發(fā)現(xiàn)文章都沒(méi)采集過(guò)，都當(dāng)做新文章采集了。

2.定時(shí)任務(wù)設(shè)置

本教程只創(chuàng)建了一個(gè)任務(wù)，如果你是長(zhǎng)期運(yùn)行一個(gè)網(wǎng)站。你網(wǎng)站每個(gè)版塊可能都采集的是不同的文章來(lái)源，甚至一個(gè)版塊才幾個(gè)多個(gè)網(wǎng)站的文章。任務(wù)就非常多

我們可以批量添加定時(shí)任務(wù)

點(diǎn)擊計(jì)劃任務(wù)

我們先創(chuàng)建一個(gè)計(jì)劃任務(wù)分組

然后在分組內(nèi)添加計(jì)劃任務(wù)，這樣比較好管理

然后里面的間隔時(shí)間根據(jù)要采集的網(wǎng)站更新頻率來(lái)設(shè)置，他更新快你就間隔時(shí)間短點(diǎn)。更新慢的話就長(zhǎng)點(diǎn)，比如景安這個(gè)網(wǎng)站，可能幾天幾個(gè)月都不更新，就設(shè)置間隔時(shí)間為每天就行。

限定時(shí)間段

這個(gè)應(yīng)該也都理解，就是計(jì)劃任務(wù)在什么時(shí)間段內(nèi)生效，默認(rèn)是早上6點(diǎn)到晚上23點(diǎn)。我一般會(huì)給他改成全天的

擴(kuò)展知識(shí)

因?yàn)椴杉蝿?wù)長(zhǎng)期運(yùn)行，我們最好是將胡扯回頭放到一臺(tái)服務(wù)器上跑，家里有比較省電的機(jī)器的話也可以用來(lái)掛采集任務(wù)。

采集任務(wù)比較多的話還是挺消耗CPU的，一般建議在家里掛。家庭帶寬外網(wǎng)IP經(jīng)常變動(dòng)有利于采集，而且硬件配置基本也都比買(mǎi)的服務(wù)器配置高。不用擔(dān)心火車頭運(yùn)行著出現(xiàn)卡死的情況。

來(lái)源：https://www.cheshirex.com/2272.html

本站其他內(nèi)容推薦