12Sep

Hoe wget te gebruiken, de tool voor het downloaden van de ultieme commandolijn

Nieuwer is niet altijd beter en het wget-commando is een bewijs. Deze app werd voor het eerst uitgebracht in 1996 en is nog steeds een van de beste downloadmanagers ter wereld. Of je nu een enkel bestand wilt downloaden, een hele map wilt, of zelfs een hele website wilt spiegelen, wget laat je het doen met slechts een paar toetsaanslagen.

Natuurlijk is er een reden dat niet iedereen wget gebruikt: het is een opdrachtregelapplicatie en als zodanig kost het wat tijd voor beginners om te leren. Dit zijn de basisprincipes, zodat u aan de slag kunt.

Installeren van wget

Voordat je wget kunt gebruiken, moet je het installeren. Hoe dit te doen hangt af van uw computer:

  • De meeste( zo niet alle) Linux-distributies worden standaard geleverd met wget. Dus Linux-gebruikers hoeven niets te doen!
  • macOS-systemen worden niet geleverd met wget, maar u kunt opdrachtregelprogramma's installeren met Homebrew. Nadat je Homebrew hebt opgezet, voer je gewoon brew install wget uit in de Terminal.
  • Windows-gebruikers hebben geen gemakkelijke toegang tot wget in de traditionele opdrachtprompt, hoewel Cygwin wget- en andere GNU-hulpprogramma's biedt, en de Ubuntu's Bash-shell van Windows 10 ook met wget.

Als je wget eenmaal hebt geïnstalleerd, kun je het meteen gebruiken vanaf de opdrachtregel. Laten we wat bestanden downloaden!

Download een enkel bestand

Laten we beginnen met iets eenvoudigs. Kopieer de URL voor een bestand dat u wilt downloaden in uw browser.

Ga nu terug naar de terminal en typ wget gevolgd door de geplakte URL.Het bestand wordt gedownload en je ziet de voortgang in realtime zoals deze is.

Merk op dat het bestand zal worden gedownload naar de huidige map van je Terminal, dus je zult naar een andere map willen gaan als je hem elders wilt opslaan. Als u niet zeker weet wat dat betekent, raadpleegt u onze handleiding voor het beheer van bestanden vanaf de opdrachtregel. Het artikel noemt Linux, maar de concepten zijn hetzelfde op macOS-systemen en Windows-systemen met Bash.

Doorgaan met een onvolledige download

Als u om wat voor reden dan ook een download stopte voordat deze kon worden voltooid, maakt u zich geen zorgen: wget kan ophalen waar hij was gebleven. Gebruik gewoon deze opdracht:

wget -c-bestand

De sleutel hier is -c, wat een "optie" is in de opdrachtregel. Deze specifieke optie vertelt wget dat u een bestaande download wilt voortzetten.

Mirror a Entire Website

Als u een volledige website wilt downloaden, kan wget het werk doen.

wget -m http://example.com

Standaard zal dit alles op de site example.com downloaden, maar u zult waarschijnlijk nog een paar opties voor een bruikbare mirror willen gebruiken.

  • --convert-koppelingen wijzigt koppelingen binnen elke gedownloade pagina, zodat ze naar elkaar verwijzen, niet naar het web.
  • --page-requisites downloadt dingen zoals stylesheets, dus pagina's zien er correct offline uit.
  • --no-parent stopt wget bij het downloaden van bovenliggende sites. Dus als u http: //example.com/ subvoorbeeld wilt downloaden, komt u niet bij de bovenliggende pagina.

Combineer deze opties naar uw smaak en u krijgt een kopie van elke website die u op uw computer kunt bekijken.

Merk op dat het spiegelen van een hele website op het moderne internet een enorme hoeveelheid ruimte inneemt, dus beperk dit tot kleine sites, tenzij je bijna onbeperkte opslagruimte hebt.

Download een volledige map

Als u op een FTP-server surft en een volledige map zoekt die u wilt downloaden, voert u gewoon uit:

wget -r ftp: //example.com/ map

De r vertelt in dit geval dat u een recursieve download wilt. U kunt ook --noparent opnemen als u wilt voorkomen dat u mappen en bestanden downloadt die boven het huidige niveau liggen.

Download een lijst met bestanden tegelijk

Als u een volledige map met de gewenste downloads niet kunt vinden, kan wget nog steeds helpen. Plaats alle download-URL's in een enkel TXT-bestand.

wijs dan naar dat document met de optie -i. Zoals dit:

wget -i download.txt

Doe dit en uw computer zal alle bestanden downloaden die in het tekstdocument zijn vermeld, wat handig is als u een aantal downloads 's nachts laat draaien.

Nog een paar trucjes

We kunnen doorgaan: wget biedt veel opties. Maar deze tutorial is slechts bedoeld om u een startpunt te geven. Om meer te weten te komen over wat wget kan doen, typ man wget in de terminal en lees wat er komt. Je zult veel leren.

Dat gezegd hebbende, zijn hier een paar andere opties die volgens mij netjes zijn:

  • Als je wilt dat je download op de achtergrond draait, neem dan gewoon de optie -b op.
  • Als je wilt dat wget blijft proberen te downloaden, zelfs als er een 404-fout is, gebruik dan de optie -t 10. Die probeert 10 keer te downloaden;je kunt het nummer gebruiken dat je wilt.
  • Als u uw bandbreedte wilt beheren, zal de optie - limit-rate = 200k uw downloadsnelheid met 200 KB / sec dekken. Verander het nummer om de koers te wijzigen.

Er valt nog veel meer te leren hier. Je kunt zoeken naar het downloaden van de PHP-bron of een geautomatiseerde downloader instellen als je meer geavanceerd wilt worden.