12Sep

Erstellen Sie einen Download-Planer mit wenig Programmierfähigkeiten

click fraud protection

Wir laden alle gerne Dinge aus dem Internet herunter, und es gibt haufenweise großartige Download-Manager-Tools, mit denen wir unsere Downloads planen können. Es ist vielleicht einfacher, einen Download-Manager zu verwenden, aber es ist nicht schaden, die Tools, die bereits mit Ubuntu geliefert werden, zu erkunden und zu nutzen.

In diesem Artikel zeigen wir Ihnen eine eingebaute Software in Ubuntu, die wir benutzen können, um Sachen aus dem Internet mit wget herunterzuladen. Darüber hinaus zeigen wir Ihnen, wie Sie den Download mit Cron planen.

Herunterladen mit Wget

Wget ist ein kostenloses Softwarepaket zum Abrufen von Dateien mit HTTP, HTTPS und FTP, den am weitesten verbreiteten Internetprotokollen. Es ist ein nicht-interaktives Befehlszeilentool, daher kann es leicht von Skripten, Cron-Jobs, Terminals ohne X-Windows-Unterstützung usw. aufgerufen werden.

Öffnen Sie Ihr Terminal und erkunden Sie, wie wir wget zum Herunterladen von Daten aus dem Netz verwenden können. Die grundlegende Syntax des Herunterladens mit wget lautet wie folgt:

instagram viewer

wget [Option]. .. [URL]. ..

Dieser Befehl lädt das wget-Handbuch auf Ihr lokales Laufwerk

wget http: //www.gnu.org/software/wget/manual/ wget.pdf

Linux Cron

Ubuntu wird mit einem Cron geliefertDaemon, der zum Planen von Aufgaben verwendet wird, die zu einer bestimmten Zeit ausgeführt werden sollen. Crontab erlaubt Ihnen Aktionen und Zeiten anzugeben, die ausgeführt werden sollen. So würden Sie normalerweise eine Aufgabe mithilfe des Befehlszeilentools einplanen.

Öffnen Sie ein Terminalfenster und geben Sie crontab -e ein.

Jeder der Abschnitte in einer Crontab ist durch ein Leerzeichen getrennt, wobei der letzte Abschnitt ein oder mehrere Leerzeichen enthält. Ein Cron-Eintrag besteht aus Minute( 0-59), Stunde( 0-23, 0 = Mitternacht), Tag( 1-31), Monat( 1-12), Wochentag( 0-6, 0 = Sonntag), Befehl. Der dritte Eintrag in der obigen Crontab lädt wget.pdf um 2 Uhr herunter. Der erste Eintrag( 0) und der zweite Eintrag( 2) bedeuten 2:00.Der dritte bis fünfte Eintrag( *) bedeutet jede Tageszeit, jeden Monat oder jede Woche. Der letzte Eintrag ist der Befehl wget, um die Datei wget.pdf von der angegebenen URL herunterzuladen.

Das ist das Grundprinzip von wget und wie Cron funktioniert. Nehmen wir eine Beute an einem realen Beispiel, wie man einen Download plant.

Scheduling Download

Wir laden Firefox 3.6 um 2.00 Uhr herunter. Da unser ISP nur eine begrenzte Menge an Daten zur Verfügung stellt, müssen wir den Download um 8.00 Uhr stoppen. So sieht das Setup aus.

Ignoriere die ersten 2 Einträge in der obigen Crontab. Der dritte und der vierte Befehl sind die einzigen Befehle, die Sie benötigen. Der dritte Befehl richtet eine Aufgabe ein, die Firefox um 2:00 Uhr herunterlädt:

[code]
0 2 * * * wget -c http: //download.mozilla.org/? Product = firefox-3.6.6 & os = win & lang = en-GB
[/ code]

Die Optionen -c geben an, dass wget den vorhandenen Download fortsetzen soll, wenn er nicht abgeschlossen wurde.

Der vierte Befehl stoppt wget um 8 Uhr morgens.'Killall' ist ein Unix-Befehl, der Prozesse nach Namen abbricht.

[code]
0 8 * * * killall wget
[/ code]

Das killall-wget weist Ubuntu an, wget zu stoppen, die Datei um 8 Uhr morgens herunterzuladen.

Andere nützliche wget-Befehle

1. Angeben des Verzeichnisses zum Herunterladen einer Datei

[Code]
wget -output-document = /home/zainul/Downloads/ wget-Handbuch.pdf http: //www.gnu.org/software/wget/manual/ wget.pdf
[/ code]

die Option -output-document lässtSie geben das Verzeichnis und den Namen der Datei an, die Sie herunterladen

2. Herunterladen einer Website

wget ist auch in der Lage, eine Website herunterzuladen.

[Code]
wget -m http: //www.google.com/profiles/ zainul.franciscus
[/ code]

Der obige Befehl wird meine gesamte Google-Profil-Webseite herunterladen. Die Option '-m' weist wget an, ein Spiegelbild der angegebenen URL herunterzuladen.

Eine weitere wichtige Option besteht darin, wget mitzuteilen, wie viele Links beim Herunterladen einer Website verwendet werden sollen.

[Code]
wget -r -l1 http: //www.google.com/profiles/ zainul.franciscus
[/ code]

Der obige wget-Befehl verwendet zwei Optionen. Die erste Option '-r' weist wget an, die angegebene Website rekursiv herunterzuladen. Die zweite Option '-l1' teilt wget mit, dass nur die erste Ebene der Links von der angegebenen Website abgerufen werden soll. Wir können bis zu drei Ebenen '-l2' und '-l3' einrichten.

3. Ignorieren des Robotereintrags

Der Webmaster verwaltet eine Textdatei namens Robot.txt.'Robot.txt' verwaltet eine Liste von URLs, die ein Webseiten-Crawler wie z. B. wget nicht crawlen sollte. Wir können wget anweisen, die 'Robot.txt' mit der Option '-erobots = off' zu ignorieren. Der folgende Befehl weist wget an, die erste Seite meines Google-Profils herunterzuladen und die Datei "Robot.txt" zu ignorieren.

[Code]
wget -erobots = aus http: //www.google.com/profiles/ zainul.franciscus
[/ code]

Eine andere nützliche Option ist -U.Diese Option wird wget als Browser maskieren. Beachten Sie, dass das Maskieren einer Anwendung als eine andere Anwendung den Begriff und den Dienst eines Web-Service-Providers verletzen kann.

[code]
wget -erobots = aus -U Mozilla http: //www.google.com/profiles/ zainul.franciscus
[/ code]

Fazit

Wget ist ein sehr altes, aber dennoch hackbares GNU-Softwarepaket, mit dem wir Dateien herunterladen können. Wget ist ein interaktives Kommandozeilen-Tool, das bedeutet, dass wir es auf unserem Computer im Hintergrund laufen lassen können, ohne eine Anwendung starten zu müssen. Sehen Sie sich die wget man-Seite

[code]
$ man wget
[/ code]

an, um weitere Optionen zu verstehen, die wir mit wget verwenden können.

Links

Wget Handbuch
Wie man zwei heruntergeladene Dateien kombiniert, wenn wget auf halbem Wege durch
Linux QuickTip: Download und Un-tarring in einem Schritt