Sådan bruges Wget til at downloade alt fra Internettet

Wget er et kommandolinjeprogram, der kan bruges til at downloade næsten alt tilgængeligt på internettet. Fangsten er, at den skal være tilgængelig via HTTP-, HTTPS- eller FTP-protokoller; Ellers kan Wget ikke downloade det. Der er en række måder, hvorpå Wget kan bruges, for eksempel kan du bruge Wget til at downloade hvert billede på et websted, eller du kan også downloade en enkelt fil. Wget er endda i stand til at genoptage downloads, når det er muligt. Så hvis du spekulerer på, hvordan Wget fungerer, og hvad det kan gøre for dig, her er hvordan man bruger Wget:

Installation af Wget

1. Installation af Wget på macOS Sierra

Før vi kommer i gang med at bruge Wget, skal vi installere det på vores system. Nu, heldigvis, kommer de fleste Linux-distributioner med Wget forudinstalleret, så du behøver ikke udføre yderligere arbejde. Men hvis du bruger en Mac, skal du installere Wget. Dette kan gøres let ved hjælp af Homebrew (download). Hvis du har brug for hjælp, her er de trin, du skal følge:

Først skal du installere Homebrew på din Mac for at kunne downloade Wget. For at gøre dette, bare start terminalen, og skriv følgende kommando:

/ usr / bin / ruby -e "$ (curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

Når kommandoen er afsluttet, Homebrew installeres på dit system. Du kan nu bruge Homebrew til at installere pakker, såsom Wget. I Terminal skal du bare køre følgende kommando:

bryg installation wget

Homebrew starter automatisk download, udpakning og installation af Wget på dit system. Dette trin kan tage noget tid, afhængigt af din netværkshastighed, så vær tålmodig. Når kommandoen er afsluttet, skal du kunne bruge Wget på din Mac. For at kontrollere, om den er installeret, skal du bare bruge kommandoen:

wget -V

2. Installation af Wget på Windows

Installation af Wget på Windows tager lidt mere indsats, men det kan let gøres. Hvis du vil installere Wget på din Windows-pc, skal du blot følge nedenstående trin:

Først skal du downloade Cygwin og derefter kør den downloadede installationsfil.

Når den beder om standard downloadkilden, skal du vælge den indstilling, der siger “Installer fra Internettet“, Og klik på "Næste".

Vælg en installationsmappe til Cygwin samt et bibliotek, hvor det gemmer pakkefiler til installation af hjælpeprogrammer.

I det næste skærmbillede skal du vælge din internetforbindelse. Hvis du bruger en proxy, skal du vælge den type proxy, det er, og udfylde detaljerne. For de fleste brugere er valget dog “Direkte forbindelse“.

Du får derefter vist en liste over spejle, vælg en af disse for at downloade Cygwin. Hvis download mislykkes, kan du prøve igen med et andet spejl.

I det næste vindue skal du søge efter “Wget”, og klik på plus ved siden af “Web” på listen, der kommer op. Her afkrydsningsfeltet ud for “wget”Vælges automatisk. Klik blot på "Næste".

Den næste skærm viser dig de pakker, den skal downloade. Bare klik "Næste".

Når installationen er afsluttet, bliver du spurgt, om du vil lav et skrivebordsikon, og / eller tilføj en adgang til startmenuen. Dette er helt et spørgsmål om personlig præference, men jeg vil foreslå, at du i det mindste tilføjer det til startmenuen, så du nemt kan finde det.

Det er det. Wget er nu installeret på din Windows-pc. Du kan dog ikke køre det fra kommandoprompten. I stedet bliver du nødt til det start Cygwin Terminal, og brug Wget derfra.

Sådan bruges Wget

Nu hvor vi har fået Wget i gang på vores system, lad os undersøge alle de seje måder, hvorpå vi kan bruge Wget til at downloade filer, mapper og endda hele websteder fra internettet. Her er et par interessante ting, du kan gøre med Wget på dit system.

Bemærk: Jeg bruger Wget på en MacBook Air, der kører macOS Sierra 10.12.3 beta. Da det værktøj, vi bruger, er det samme (Wget), vil kommandoerne være de samme på ethvert operativsystem, du muligvis bruger Wget på.

1. Brug Wget til at downloade filer

Du kan nemt bruge Wget til at downloade filer fra internettet. Brug bare følgende kommando

wget

Download en fil, og gem den med et specifikt filnavn

Filer på servere har undertiden de underligste navne, og du vil muligvis downloade filen og lade Wget automatisk omdøbe den til noget, der giver mere mening for dig. For at gøre dette skal du bare bruge følgende kommando

wget -o

Download kun specifikke filtyper

En webserver er muligvis vært for et antal forskellige filer. Så hvad hvis du kun vil downloade alle PDF-filer på serveren eller måske alle GIF'erne? Brug blot følgende kommando:

wget -r -A pdf

Denne særlige kommando blev brugt af Mark Zuckerberg i hans kollegium i Harvard, for at downloade alle billederne med kun en kommando og opbygge det berygtede websted "facesmash.com".

wget -r -A jpg, jpeg, png, bmp

2. Download filer fra flere webadresser med Wget

Sig, at du skal downloade filer fra en række forskellige placeringer på internettet. Der kan være en PDF-fil på url1, en vigtig ZIP-fil på url2, og noget andet i url3. Hvis du brugte Wget på den traditionelle måde, skal du køre det tre gange. Der er dog en meget lettere måde at gøre dette på.

Opret først en fil med alle de webadresser, du har brug for at downloade data fra. Vær sikker på at du hold hver URL i sin egen linje. Gem filen, og sørg for at huske navnet.

I Terminal skal du bruge følgende kommando til at downloade filer fra alle URL'erne:

wget -i

hvor "filnavn” er navnet på den fil, du oprettede med alle webadresserne du havde brug for at downloade ting fra.

3. Download et helt websted med Wget

Ja, du læste det rigtigt. Du kan også bruge Wget til at downloade indholdet på et helt websted. Selvfølgelig, hvis webstedet er for stort, tager denne kommando meget tid at afslutte, for ikke at nævne at det spiser meget plads på dit system. Når det er sagt, hvis du vil bruge Wget til at downloade et helt websted, skal du bare bruge følgende kommando:

wget - spejl -p  -P. / LOKAL- DIR WEBSITE-URL

Dette vil downloade hele hjemmesiden i en mappe “LOKAL-DIR”Inde i din arbejdsmappe. Webstedsfilerne gemmes i en mappe med samme navn som hjemmesiden takket være “HJEMMESIDE URL“.

4. Brug Wget som en webspider

Du kan også få Wget til at fungere som en webcrawler (eller en webspider). Dette er nyttigt, når du vil bekræft, at URL-adressen til den fil, du vil downloade, er gyldig. For at bruge Wget som en webspider og kontrollere gyldigheden af webadresser skal du bare bruge følgende kommando:

wget - edderkop

Dette vil kontrollere, om den URL, du har nævnt, findes, og du får et svar, der fortæller dig resultatet af kontrollen.

Positivt svar:

Negativt svar:

5. Fortsæt ufuldstændige downloads

Dette er en anden rigtig cool ting, som Wget kan gøre. Sig, at du downloadede en fil med Wget, men af en eller anden grund måtte du lukke din bærbare computer ned. Næste gang du vil prøve at downloade den samme fil, kan Wget faktisk fortsæt download for dig. Det skal du bare sørg for at du er i den samme mappe, hvor du downloadede filen sidste gang, og brug derefter følgende kommando:

wget -c

Når Wget ser, at en del af filen allerede findes i dit system, fortsætter den automatisk downloadingen.

Bemærk: Hvis filen på serveren er blevet ændret siden sidste gang, du prøvede at downloade den, skal du ikke bruge denne kommando, fordi den vil resultere i en beskadiget fil, som du ikke kan læse.

Også, hvis serveren ikke tillader fortsatte downloads, vil Wget nægte at starte download fra bunden. Hvis du vil starte overførslen fra bunden, skal du slette den delvist downloadede fil fra dit system, først.

Der er nogle flere betingelser for at bruge dette argument, og du kan læse mere om det på Wget-mandsiden.

6. Begræns downloadhastigheden

Hvis du bruger Wget til at downloade filer og surfer på nettet ved siden af det, vil du sandsynligvis ikke have brugt hele din båndbredde af Wget. Heldigvis inkluderer Wget et argument, som du kan bruge til begrænse mængden af båndbredde som Wget kan bruge til at downloade filer på dit system:

wget --begrænsningshastighed =

Bemærk: Husk, at hastigheden er nævnt i Bytes, og ikke Bits. Så hvis du bruger Wget -limit-rate = 20k, begrænser det båndbreddeforbruget til 20 kB og ikke 20 kb.

7. Brug Wget til at downloade filer fra FTP-servere

Hvis du har brug for at downloade en fil fra en FTP-server, kan du også gøre det med Wget. Brug blot følgende kommando til at downloade filer fra FTP-servere:

wget

Download filer fra FTP-servere med login

HVIS din FTP-server kræver et login for at tillade downloadede filer, kan du også videregive legitimationsoplysningerne med Wget. Brug bare følgende kommando:

wget --ftp-brugernavn = USERNAME --ftp-password = PASSWORD

SE OGSÅ: 30 Mac-terminalkommandoer for at få adgang til skjulte funktioner

Brug nemt Wget til at downloade filer fra internettet

Du kan bruge Wget til at downloade filer fra hvor som helst på internettet. Mens Wget næsten altid fungerer, er der dog visse servere, der forhindrer adgang til Wget, i hvilket tilfælde du kan prøve at ændre -user-agent til din Wget-kommando. Dette er dog ikke et anbefalet handlingsforløb, medmindre du absolut ved, hvad du laver. For det meste vil Wget lade dig downloade enhver fil fra internettet, så længe du har adgang til den og dens URL.

Så har du nogensinde brugt Wget til at downloade filer fra internettet? Fortæl os om din oplevelse med at bruge Wget til at downloade filer via HTTP-, HTTPS- og FTP-protokollerne. Også, hvis du kender nogle andre anvendelser af Wget, som du synes fortjener at være på denne liste, så lad os vide om dem i kommentarfeltet nedenfor.