Vytvořte plánovač stahování s malou programovací schopností

My všichni rádi stahujeme věci z internetu a existují spousty skvělých nástrojů ke stažení, které můžeme použít k naplánování našich stahování.Mohlo by být jednodušší používat správce stahování, ale není to škoda při zkoumání nástrojů, které již přichází s naším Ubuntu, a plně využít toho.

V tomto článku vám ukážeme vestavěný software v Ubuntu, který můžeme použít ke stahování věcí z internetu pomocí wget .Kromě toho vám ukážeme, jak naplánovat stahování pomocí Cronu.

Stažení pomocí nástroje Wget

Wget je bezplatný softwarový balík pro načítání souborů pomocí HTTP, HTTPS a FTP, nejrozšířenějších internetových protokolů.Jedná se o neinteraktivní nástroj příkazové řádky, takže jej lze snadno volat ze skriptů, úloh cron, terminálů bez podpory X-Windows apod.

Otevřete terminál a prozkoumejte, jak můžeme použít wget pro stahování věcí z sítě.Základní syntaxe stahování s wget je následující:

wget [option]. .. [URL]. ..

Tento příkaz stáhne manuál wget do vaší lokální jednotky

wget http: //www.gnu.org/software/wget/manual/ wget.pdf

Linux Cron

Ubuntu je dodáván s crondémon používaný pro plánování úkolů, které mají být provedeny v určitou dobu. Crontab umožňuje určit akce a časy, které by měly být provedeny. Takto byste normálně naplánovali úlohu pomocí nástroje příkazového řádku.

Otevřete okno terminálu a zadejte příkaz crontab -e.

Každá sekce v crontab je oddělena mezerou, přičemž poslední část obsahuje jeden nebo více mezery. Položka cron se skládá z minuty( 0-59), hodiny( 0-23, 0 = půlnoc), den( 1-31), měsíc( 1-12), den v týdnu( 0-6, 0 = neděle), příkaz. Třetí položka ve výše uvedeném souboru crontab ke stažení wget.pdf ve 2 hod. První položka( 0) a druhá položka( 2) znamenají 2:00.Třetí až pátý záznam( *) znamená jakoukoli denní, měsíční nebo týdenní dobu. Posledním záznamem je příkaz wget ke stažení souboru wget.pdf ze zadané adresy URL.

To je základní parametr wget a jak funguje Cron. Vezměme si kořist v reálném příkladu toho, jak naplánovat stahování.

Plánování ke stažení

Budeme stahovat Firefox 3.6 v 2 AM. Protože náš ISP poskytuje pouze omezené množství dat, musíme zastavit stahování v 8 hodin. Toto nastavení vypadá.

Ignorujte první 2 položky ve výše uvedeném crontabu. Třetí a čtvrtý příkaz jsou pouze 2 příkazy, které potřebujete. Třetí příkaz nastaví úlohu, která bude stahovat Firefox ve 2:00:

[code]
0 2 * * * wget -c http: //download.mozilla.org/? Product = firefox-3.6.6 & os = win & lang = en-GB
[/ code]

Volby -c označují, že wget by měl obnovit stávající stahování, pokud nebylo dokončeno.

Čtvrtý příkaz zastaví wget v 8 hodin ráno.'Killall' je příkaz unix, který zabíjí podle jména.

[kód]
0 8 * * * killall wget
[/ code]

Klávesa killall říká Ubuntu, že zastaví wget při stahování souboru o 8:00.

Další užitečné příkazy wgetu

1. Zadání adresáře pro stažení souboru

[kód]
wget -output-document = /home/zainul/Downloads/ wget manual.pdf
wget.pdf
[/ code]

volba -output-document umožňujezadáte adresář a název souboru, který stáhnete

2. Stažení webových stránek

wget je také schopen stáhnout webové stránky.

[kód]
wget -m http: //www.google.com/profiles/ zainul.franciscus
[/ code]

Výše ​​uvedený příkaz bude stahovat celou webovou stránku profilu google. Možnost '-m' informuje wget o stažení zrcadlového obrazu zadané adresy URL.

Další důležitou možností je říct wget, kolik odkazů by mělo být při stahování webových stránek.

[kód]
wget -r -l1 http: //www.google.com/profiles/ zainul.franciscus
[/ code]

Uvedený příkaz wget používá dvě možnosti. První možnost '-r' řekne společnosti Wget, že rekurzivně stáhne daný web. Druhá možnost '-l1' říká, že wget má pouze první úroveň odkazů z uvedené webové stránky. Můžeme nastavit tři úrovně "-l2" a "-l3".

3. Ignorování vstupu robotu

Webmaster

udržuje textový soubor s názvem Robot.txt.'Robot.txt' udržuje seznam adres URL, který by prohledávač webových stránek, jako je wget, neměl procházet. Můžeme říct wget ignorovat možnost 'Robot.txt' s '-erobots = off'.Následující příkaz informuje wget, že si stáhne první stránku mého google profilu a ignoruje soubor Robot.txt.

[kód]
wget -erobots = vypnuto http: //www.google.com/profiles/ zainul.franciscus
[/ code]

Další užitečná volba je -U.Tato volba maskuje wget jako prohlížeč.Vezměte na vědomí, že maskování aplikace jako jiné aplikace může porušovat pojem a servis poskytovatele webových služeb.

[kód]
wget -erobots = vypnuto -U Mozilla http: //www.google.com/profiles/ zainul.franciscus
[/ code]

Závěr

Wget je velmi stará škola, ale přesto hackable GNU softwarový balík, který můžeme použít ke stahování souborů.Wget je interaktivní nástroj příkazového řádku, což znamená, že jej můžeme nechat běžet na našem počítači na pozadí bez nutnosti spouštět žádnou aplikaci. Podívejte se na stránku wget man

[kód]
$ man wget
[/ code]

, abyste pochopili další možnosti, které můžeme použít s wget.

Odkazy

Wget Manuální
Jak kombinovat dva stažené soubory, když wget selže v půlce přes
Linux QuickTip: Stahování a un-tartering v jednom kroku