Når vi jobber i konsollen, må vi ofte samhandle med nettverket, for eksempel laste ned filer eller hele Internett-sider. Hvis vi laster ned internettsider ganske sjelden, er situasjonen helt annerledes med filer. Det kan bli ulike skript, installasjonspakker, programmer, nøkler, pakkelister og mye mer. Du kan laste ned filen i Linux-konsollen ved å bruke wget-verktøyet. Vi vil se på det i denne artikkelen.

Dette er et veldig kraftig verktøy som kan fungere over HTTP-, HTTPS- og FTP-protokoller. I tillegg støttes arbeid gjennom en proxy. wget linux-kommandoen kan laste ned filer selv i bakgrunn- uten brukerinteraksjon, i motsetning til de fleste nettlesere.

I tillegg til å laste ned filer, er det mulig å lagre nettsider eller til og med hele nettsider, takket være funksjonen for å åpne lenker på sider. Denne funksjonen kalles også rekursiv lasting. Vi vil se på alt dette i dagens artikkel, men la oss starte, som alltid, med syntaksen og de grunnleggende alternativene til verktøyet.

WGET SYNTAX

Kommandoen wget linux har en veldig enkel syntaks:

Du kan spesifisere mer enn én nedlastings-URL, men flere samtidig. Alternativer er ikke nødvendige, men i de fleste tilfeller brukes de til å konfigurere oppstartsalternativer.

ALTERNATIVER

Alternativsyntaksen er veldig løs. Hvert alternativ har vanligvis både et langt og et kort navn. De kan skrives enten før eller etter URL-en. Det er ikke nødvendig å sette et mellomrom mellom alternativet og dets verdi; for eksempel kan du skrive -o log eller -olog. Disse verdiene er likeverdige. Dessuten, hvis alternativene ikke har parametere, er det ikke nødvendig å starte hver enkelt med en bindestrek; du kan skrive dem alle sammen: -drc og -d -r -c. Disse wget-alternativene er også likeverdige.

La oss nå gå videre til listen over alternativer. Wget har for mange alternativer, vi vil bare se på de viktigste.

-V (-versjon)- vise programversjonen

-h (-hjelp)- utstede et sertifikat

-b (-bakgrunn)- arbeid i bakgrunnen

-o fil (-out-fil)- spesifiser loggfilen

-d (-debug)- aktiver feilsøkingsmodus

-v (-verbose)- Vis maksimal informasjon om driften av verktøyet

-q (-stille)- vise et minimum av informasjon om arbeidet

-Jeg fil (-input-fil)- les URL fra fil

-t (-prøver)- antall forsøk på å koble til serveren

-O-fil (-output-dokument)- filen der de mottatte dataene vil bli lagret

-с (-fortsett)- fortsett en tidligere avbrutt nedlasting

-S (-server-respons)- Vis serversvaret

-edderkopp- sjekk funksjonaliteten til URL-en

-T tid (-timeout)- Tidsavbrudd for servertilkobling

-grense-sats- begrense nedlastingshastigheten

-w (-vent)- intervall mellom forespørsler

-Q (-kvote) - maksimal størrelse nedlastinger

-4 (-inet4only)- bruk ipv4-protokollen

-6 (bare-inet6)- bruk ipv6-protokollen

-U (-brukeragent)- USER AGENT-streng sendt til serveren

-r (-tilbakevendende) - rekursiv drift av verktøyet

-l (-nivå)- dybde under rekursiv skanning

-k (-konvertere-lenker)- konverter lenker til lokale når du laster inn sider

-P (-katalog-prefiks)- katalogen der filene skal lastes ned

-m (-speil)- last ned siden til din lokale maskin

-s (-side-krav)- mens du laster ned siden, last ned alle nødvendige ressurser

Selvfølgelig er ikke disse alle wget-nøkler, men det er allerede for mye teori her, la oss nå gå videre til praksis. wget-eksemplene er mye mer interessante.

BRUKER WGET LINUX

Kommandoen wget linux kommer vanligvis som standard på de fleste distribusjoner, men hvis ikke, kan den installeres veldig enkelt. For eksempel vil en installasjon som bruker yum se slik ut:

nam -y installer wget

Og i distribusjoner basert på Debian:

sudo apt installer wget

La oss nå gå direkte til eksemplene:

Kommandoen wget linux vil laste ned én fil og lagre den i gjeldende katalog. Under nedlastingen vil vi se fremdriften, filstørrelsen, datoen siste endring, samt nedlastingshastighet:

wget http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

2. LAGRE FILEN MED ET ANNET NAVN

Alternativet -O lar deg spesifisere et navn for den lagrede filen, for eksempel laste ned en wget-fil med navnet wget.zip:

wget -O wget.zip http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

3. LAST NED FLERE FILER

Du kan laste ned flere filer med én kommando, til og med ved å bruke forskjellige protokoller, ved ganske enkelt å spesifisere deres URL:

wget http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz ftp://ftp.gnu.org/gnu/wget/wget-1.10.1.tar.gz.sig

4. TA URL FRA FIL

wget -i /wget/tmp.txt

5. FORTSETT LASTING

Wget linux-verktøyet er designet for å fungere på trege og ustabile nettverk. Så hvis du lastet ned stor fil og forbindelsen ble brutt under nedlastingen, kan du laste ned wget-filen ved å bruke -c-alternativet.

wget -c http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

Alternativet -b får programmet til å kjøre i bakgrunnen, all utgang vil bli skrevet til en loggfil, spesielle wget-brytere brukes til å konfigurere loggfilen:

wget -b -o ~/wget.log http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

7. OPPLASTINGSHASTIGHETSGRENSE

Kommandoen wget linux lar deg ikke bare fortsette å laste ned filer, men begrenser også nedlastingshastigheten. Det er en opsjon -limit-rate for dette. La oss for eksempel begrense hastigheten til 100 kilobit:

wget --limit-rate=100k ftp://ftp.iinet.net.au/debian/debian-cd/8.4.0/amd64/iso-dvd/debian-8.4.0-amd64-DVD-1.iso

Her, som i andre lignende kommandoer, er indekser tilgjengelige for å indikere hastigheten - k - kilobit, m - megabit, g - gigabit, og så videre.

8. TILKOBLING VED PÅLOGGNING OG PASSORD

Noen ressurser krever autentisering for å laste ned filene deres. Ved å bruke alternativene -http-bruker=brukernavn, -http-passord=passord og -ftp-bruker=brukernavn, -ftp-passord=passord kan du angi brukernavn og passord for HTTP- eller FTP-ressurser.

wget --http-user=narad --http-password=password http://mirrors.hns.net.in/centos/6.3/isos/x86_64/CentOS-6.3-x86_64-LiveDVD.iso

wget --ftp-user=narad --ftp-password=password ftp://ftp.iinet.net.au/debian/debian-cd/6.0.5/i386/iso-dvd/debian-6.0.5-i386 -DVD-1.iso

9. LAST OG UTFØR

Du har sikkert allerede sett slike kommandoer. wget lar deg kjøre nedlastede skript umiddelbart:

wget -O - http://site/script.sh | bash

Hvis -O-alternativet ikke sender noen argumenter, vil den nedlastede filen bli skrevet ut til standardutdata, så kan vi omdirigere den fra bash-tolkeren, som vist ovenfor.

10. LAGRE FILEN I EN MAPPE

Som standard lagrer wget filen i gjeldende mappe, men denne oppførselen er veldig enkel å endre ved å bruke -P-alternativet:

wget -P ~/Nedlastinger/ http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

11. SEND NETTLESERINFORMASJON

Noen nettsteder filtrerer bort roboter, men vi kan sende falsk informasjon om nettleseren vår (brukeragent) og siden vi kom fra (http-referer).

wget ‐‐refer=http://google.com ‐‐user-agent=”Mozilla/5.0 Firefox/4.0.1″ //losst.ru

12. ANTALL LASTNINGSFORSØK

Som standard prøver wget å prøve nedlastingen på nytt 20 ganger før det mislykkes. Antall ganger kan endres ved å bruke -tries-alternativet:

wget --tries=75 http://mirror.nbrc.ac.in/centos/7.0.1406/isos/x86_64/CentOS-7.0-1406-x86_64-DVD.iso

13. LAST KVOTA

Hvis du bare har tilgang til Begrenset mengde trafikk, kan du fortelle verktøyet hvor mye informasjon som kan lastes ned, for eksempel, la oss la deg laste ned bare ti megabyte med filer fra listen:

wget -Q10m -i download-list.txt

De samme indeksene for å spesifisere størrelsen fungerer her - k, m, g, etc.

14. LAST NED NETTSTED

Wget lar deg ikke bare laste ned enkeltfiler, men også hele nettsteder, slik at du deretter kan se dem offline. Å bruke wget for å laste ned et nettsted på Linux ser slik ut:

wget --mirror -p --convert-links -P ./ address_site

I denne artikkelen vil jeg snakke om å installere og bruke GNU Wget-konsollverktøyet på Windows-operativsystemet.

Wgets muligheter er ikke begrenset til bare å laste ned arkiver; verktøyet kan lage lokale kopier av nettsteder med full bevaring av katalogen og filstrukturen. I tillegg er det mulig å konvertere lagrede html-filer for å se siden offline. Ved å lese filoverskrifter og sammenligne dem med tidligere nedlastede filer, kan Wget laste ned nye versjoner av filer, slik at du kan lage oppdaterte speilsider.

Wget kan fungere via HTTP, HTTPS, FTP-protokoller, og støtter også arbeid gjennom en HTTP-proxy-server. Verktøyet ble utviklet for langsomme tilkoblinger; mer presist, på den tiden var tilkoblinger trege og ustabile, så det støtter gjenopptagelse av filer når tilkoblingen går tapt. Hvis serveren som filen ble lastet ned fra også støtter gjenopptagelse, vil Wget fortsette å laste ned filen nøyaktig fra punktet der nedlastingen ble avbrutt.

For å installere Wget, last ned installasjons exe-filen. Kjør exe-filen og installer Wget as vanlig program, som standard er verktøyet installert C:\Program Files (x86)\GnuWin32.

For å kjøre verktøyet du trenger kommandolinje Windows, start den gjennom startmenyen eller med Win+R-tastkombinasjonen, i vinduet som åpnes, skriv inn "cmd" og trykk Enter. Etter å ha startet kommandolinjen, vil du ikke umiddelbart kunne bruke Wget, som skjer i Linux OS; først må du spesifisere plasseringen av wget.exe-filen.

Wget.exe-filen ligger i bin-katalogen, inne i installasjonsmappen. Banekommandoen brukes til å spesifisere en fil.

Nå kan du kjøre Wget, først kan du se utdataene fra hjelpekommandoen med en liste flere alternativer.

Listen over tilleggsalternativer for Wget-verktøyet er under spoileren.

Utgang av wget -h

GNU Wget 1.11.4, et program for å laste ned filer fra nettverket i frakoblet modus. Bruk: wget [OPSJON]... ... Nødvendige argumenter for lange alternativer kreves også for korte alternativer. Kjør: -V, --version skriv ut Wget-versjonen og avslutt. -h, --help vise denne hjelpen. -b, --bakgrunn bytter til bakgrunnsmodus etter lansering. -e, --execute=COMMAND utfør en kommando i `.wgetrc stil".- Logging og inndatafil: -o, --output-file=FIL skriv meldinger til FIL. -a, --append-output=FIL legg til meldinger til slutten av FILEN -d, --debug ut en stor mengde feilsøkingsinformasjon -q, --stille stille (ingen utgang) -v, --verbose verbose utgang (standard) -nv, --no-verbose skru av detaljert modus , men ikke helt. -i, --input-file=FIL last URL-er funnet i FILE. -F, --force-html antar at inndatafilen er HTML. -B, --base=URL legger til URL-er til begynnelsen av relative lenker i filen e -F -i Last inn: -t, --tries=NUM sett ANTALL forsøk (0 ubegrenset) --retry-connrefused prøver på nytt selv om tilkoblingen nektes -O, --output-document= FILE skrive dokumenter til FIL - nc, --no-clobber hopp over nedlastinger som ville resultere i nedlasting av eksisterende filer -c, --fortsett gjenoppta nedlasting av en delvis nedlastet fil a --progress=TYPE velg fremdriftslinjen type -N , --tidsstempling ikke last ned på nytt filer med mindre de er nyere enn de lokale -S, --server-response gir ut serverresponsen --spider laster ikke ned noe -T, --timeout=SECONDS setter verdiene for alle tidsstemplingsouts i SECONDS --dns -timeout=SEC setter tidsavbruddet for DNS-oppslag i SEKUNDER --connect-timeout=SEC setter tidsavbruddet for tilkoblingen i SEKUNDER --read-timeout=SEK setter tidsavbruddet for lesetiden i SEKUNDER . -w, --wait=SECONDS pause i SECONDS mellom belastninger. --waitretry=SECONDS pause på 1..SECONDS mellom gjentatte nedlastingsforsøk. --tilfeldig vent pause på 0...2*WAIT sekunder mellom nedlastinger. --no-proxy deaktiverer proxy eksplisitt. -Q, --quota=NUMBER sett nedlastingskvoteverdien til NUMBER. --bind-address=ADRESSE binder seg til ADRESSEN (vertsnavn eller IP) til den lokale verten. --limit-rate=Hastighetsgrense for nedlasting. --no-dns-cache deaktiverer bufring av DNS-oppslagsspørringer. --restrict-file-names=OS-begrensning på tegn i filnavn, hvis bruk er tillatt av OS. --ignore-case Ignorer store og små bokstaver når filer og/eller kataloger samsvarer. -4, --inet4-kun koble til IPv4-adresser. -6, --inet6-kun koble til IPv6-adresser. --prefer-family=FAMILIE Koble først til adresser i den angitte familien, kan være IPv6, IPv4 eller ingenting. --user=USER setter både ftp og http-bruker til USER. --password=PASSORD sett både ftp- og http-passord til PASSWORD. Kataloger: -nd, --no-kataloger lager ikke kataloger. -x, --force-kataloger tvinger kataloger til å bli opprettet. -nH, --no-host-kataloger lager ikke kataloger som på verten. --protocol-kataloger Bruk protokollnavn i kataloger. -P, --directory-prefix=PREFIX lagre filer til PREFIX/... --cut-dirs=NUM ignorer ANTALL eksterne katalogkomponenter. HTTP-alternativer: --http-user=USER sett http-brukeren til USER. --http-password=PASSWORD sett http-passordet til PASSORD. --no-cache forkast data bufret av serveren. -E, --html-extension lagre HTML-dokumenter med utvidelsen `.html". --ignore-length ignorer `Content-Length"-overskriftsfeltet. --header=LINE sett inn en LINJE mellom overskrifter. --max-redirect maksimalt tillatt antall omdirigeringer per side. --proxy-user=BRUKER satte BRUKER som brukernavn for proxyen. --proxy-password=PASSORD sett PASSORD som passord for proxyen. --referer=URL inkluderer `Referer: URL'-overskriften i HTTP-forespørselen. --save-headers lagrer HTTP-hoder til en fil. -U, --user-agent=AGENT identifiserer seg som AGENT i stedet for Wget/VERSIY - -no-http-keep-alive deaktiver HTTP keepalive (vedvarende tilkoblinger) --no-cookies bruker ikke informasjonskapsler --load-cookies=FILE last informasjonskapsler fra FILE før økten --save-cookies=FILE lagre informasjonskapsler i Post- session FILE --keep-session-cookies laster og lagrer øktinformasjonskapsler (ikke-vedvarende) --post-data=STRING bruk POST metode; sender STRING som data. --post-file=FIL bruk POST-metoden; sende innhold til FILA. --content-disposition Vurder overskriften Content-Disposition når du velger navn for lokale filer (EKSPERIMENTELL). --auth-no-challenge Send grunnleggende HTTP-autentiseringsdata uten å vente på svar fra serveren. HTTPS-alternativer (SSL/TLS): --secure-protocol=Velg en sikker protokoll: auto, SSLv2, SSLv3 eller TLSv1. --no-check-certificate Ikke sjekk serversertifikatet. --certificate=FIL brukersertifikatfil. --certificate-type=TYPE brukersertifikattype: PEM eller DER. --private-key=FIL privat nøkkelfil. --private-key-type=TYPE privat nøkkeltype: PEM eller DER. --ca-certificate=FIL-fil med CA-settet. --ca-directory=CAT-katalog der listen over CAer er lagret. --random-file=FIL-fil med tilfeldige data for SSL PRNG. --egd-file=FIL-fil som definerer en EGD-socket med tilfeldige data. FTP-alternativer: --ftp-user=BRUKER setter ftp-brukeren til BRUKER. --ftp-password=PASSORD sett ftp-passordet til PASSORD. --no-remove-listing ikke fjern filer fra `.listing'-filer. --no-glob deaktiver masker for FTP-filnavn. --no-passive-ftp deaktiver "passiv" overføringsmodus. --retr-symlinks når laster rekursivt filer via lenker (lastet ikke ned ogs). --preserve-permissions bevarer tilgangsrettighetene til eksterne filer. Rekursiv lasting: -r, --rekursiv aktiver rekursiv lasting. -l, --level=NUMBER rekursjonsdybde (inf og 0 - uendelig). --delete-etter sletting lokale filer etter nedlasting. -k, --convert-links gjør lenker lokale i den innlastede HTML-en. -K, --backup-konverterte gjøre før konvertering av fil X sikkerhetskopi X.orig. -m, --mirror er et kort alternativ som tilsvarer -N -r -l inf --no-remove-listing. -p, --page-requisites Last inn alle bildene osv. som trengs for å vise HTML-siden. --strict-comments muliggjør streng (SGML) behandling av HTML-kommentarer. Tillatelser/avslag for rekursjon: -A, --accept=LISTE liste over tillatte utvidelser, atskilt med femtedeler. -R, --reject=LISTE liste over forbudte utvidelser, atskilt med femtedeler. -D, --domains=LISTE liste over tillatte domener, atskilt med komma. --exclude-domains=LISTE liste over forbudte domener, atskilt med komma. --følg-ftp følg FTP-lenker i HTML-dokumenter. --follow-tags=LISTE liste over brukte tagger HTML-tagger, separert av kommaer. --ignore-tags=LISTE liste over ignorerte HTML-koder, atskilt med komma. -H, --span-verter legger inn utenlandske verter under rekursjon. -L, --relative følger kun relative lenker. -I, --include-directories=LISTE liste over tillatte kataloger. -X, --exclude-directories=LISTE liste over ekskluderte kataloger. -np, --no-parent går ikke opp til overordnet katalog.

Normal kopiering og lim inn (Ctrl+C, Ctrl+V) i Windows-kommandolinjen fungerer ikke. For å kopiere tekst fra kommandolinjen Windows-strenger, du trenger bare å velge ønsket tekststykke og trykke på Enter.

For å sette inn tekst i kommandolinjen, må du høyreklikke på kommandolinjevinduet, velge "Rediger" undermenyen og deretter utføre den nødvendige kommandoen. Å kopiere og lime inn gjør det mye enklere å jobbe med Windows-ledeteksten.

La oss se på noen eksempler på bruk av Wget-verktøyet.

La oss si at vi trenger å laste ned en fil, la det være tittelbildet for denne artikkelen. For å gjøre dette trenger du bare å spesifisere URL-en (lenke) ønsket fil, for eksempel slik.

Noen ganger kan Wget klage på "selvsignerte sertifikater" når du bruker HTTPS-koblinger, selv om sertifikatene i seg selv er fine, i så fall må du bruke tilleggsalternativet "--no-check-certificate".

Jpg --no-check-sertifikat

Når du vanligvis kaller Windows-kommandolinjen, vil filen bli lagret i brukerkatalogen C:\Users\Username. Hvis filen må lagres i en bestemt katalog, må den spesifiseres ved hjelp av den ekstra "-P"-bryteren, la dette være testkatalogen på stasjon C (C:\test).

Jpg --no-check-sertifikat

Hvis filen må lagres i en bestemt katalog, er det en enklere måte å lagre filen på, uten å spesifisere flere alternativer. Gå til ønsket katalog via Windows utforsker, hold nede Shift-tasten og høyreklikk på katalogområdet, og velg "Åpne kommandovindu" i menyen som åpnes.

Kommandolinjen som åpnes vil se slik ut.

Kjør banekommandoen for å spesifisere plasseringen til wget.exe.

Bane C:\Program Files (x86)\GnuWin32\bin

Nå vil alt bli lagret i denne mappen.

La oss forestille oss at vi har en fil med en liste over lenker som må lastes ned. La dette være en test.txt-fil som ligger i brukerkatalogen C:\Users\Username, med følgende innhold.

Jpg https://site/wp-content/uploads/2017/04/wp..jpg https://site/wp-content/uploads/2017/03/MariaDB..jpg

Den ekstra nøkkelen "-i" vil indikere filplasseringen - C:\Users\Username\test.txt og alle filene fra listen vil bli lagret.

Wget -i C:\Users\Username\test.txt --no-check-certificate

For å laste ned hele nettstedet, trenger du bare spesifisere adressen med et minimum nødvendig sett alternativer, for eksempel.

L, --nivå=ANTALL rekursjonsdybde (inf og 0 - uendelig). -k, --convert-links gjør lenker lokale i den innlastede HTML-en. -p, --page-requisites laster inn alle bilder osv. som trengs for å vise HTML-siden. -t, --tries=NUMBER sett ANTALL forsøk (0 uten grense).

Som et resultat vil vi få et ferdig nettstedsspeil som vil fungere autonomt på en datamaskin, takket være konvertering av lenker for lokal bruk av nettstedet.

Men la oss si at vi ikke trenger hele nettstedet, men bare denne artikkelen. I dette tilfellet vil nedlastingskommandoen se slik ut.

Wget -r -l 10 -t 5 -k -p -np https://site/install-wordpress/ --no-check-certificate Legg til en ekstra kommando til forrige kommando.

Ved å kombinere et sett med ekstra alternativer i Wget-kommandoer kan oppnå forskjellige resultater. Så prøv alt selv og utforsk mulighetene til verktøyet.

Det ser ut til at i en verden der halvparten av verdens befolkning aktivt bruker datamaskiner og er vant til stilige grafiske grensesnitt og de rike mulighetene derav, er det ikke lenger plass for tekstbaserte applikasjoner. For rundt 20 år siden var datamaskingrensesnittet et forferdelig svart panel som ikke viste annet enn et sett med hvite tegn, og all kontroll ble utført gjennom tekstkommandoer. Overraskende, så stygge som disse programmene er, er de like funksjonelle og pålitelige.

Hva er Wget?

Wget (også kalt GNU Wget Linux) er en konsollbasert, ikke-interaktiv applikasjon for arbeid med filer og nettsider. I hovedsak er dette et program for nedlasting av filer fra Internett, preget av fraværet av et grafisk grensesnitt og en rekke administrasjonsfunksjoner som ikke er typiske for mer moderne løsninger.

Programmet ble utviklet av den kroatiske ingeniøren Hrvozi Niksic, og støttes nå av Giuseppe Scrivano og Linux-fellesskapet. Den første byggingen av verktøyet (den gang fortsatt kalt GetURL) ble presentert i januar 1996. Programmet ble skrevet i programmeringsspråket C og publisert under GNU-lisensen. Verktøyet ble opprinnelig utgitt på Linux-plattformen. Over tid har verktøyet blitt oversatt til mange språk og portert til alle populære plattformer, inkludert Wget for Windows 7 (og senere), Wget for MacOS og så videre.

Dette programmet er ikke interaktivt, noe som betyr at enhver prosess som kjører innenfor dets evner ikke kan tas under kontroll; det kan administreres ved å få tilgang til operativsystemet selv.

Til tross for at moderne nettlesere vanligvis har en innebygd nettleser, er de fortsatt designet for interaktiv interaksjon, og fungerer derfor i manuell innstilling blir vanskelig. Wget, tvert imot, lar deg automatisere en rekke prosesser. Det er for eksempel mulig å forberede seg på forhånd Tekstdokument med en liste over nettsider, der du kan laste ned flere filer og sider samtidig.

Hovedfunksjonene til programmet

Likevel, for det første er dette et program for nedlasting av filer, noe som gjør hovedfunksjonen åpenbar.

Wget kan laste ned alt materiale fra Internett, enten det er dokumenter, lederfiler eller hele nettsider. HTML-format(Av ulike protokoller). Filer kan lastes ned fra kataloger ved

Klienten kan utføre en rekursiv nedlasting, i automatisk modus ved å følge lenker innenfor et bestemt nettsted (eller flere nettsteder), mens du gjenoppretter den opprinnelige strukturen til nettsiden. Det er mulig å se nedlastede nettsteder uten tilgang til nettverket (lastet som adresser for nettvisning som standard).

Wget ble opprinnelig designet for trege og ustabile tilkoblingstyper, så dens viktige funksjon er muligheten til å gjenopprette en avbrutt filnedlasting (dette er mulig hvis serveren støtter RANGE-hoder). Wget kan også overvåke statusen til servere (deres tilgjengelighet) for ytterligere nedlastinger og oppdateringer (Wget sjekker filoverskrifter og vedlikeholder den nyeste versjonen) av filer og nettsider.

Programmet har også en rekke funksjoner som er typiske for såkalte spider-verktøy, som undersøker ulike nettsteder og servere for tilstedeværelsen av visse filer.

Støttede plattformer

Wget Linux ble grunnlaget for dette produktet. Som nevnt ovenfor fungerte verktøyet i utgangspunktet bare på Linux, men ble raskt populært og ble tilpasset andre systemer. For eksempel kan du finne en versjon av Wget for Windows 7 og mer moderne operativsystemer, og det er sammenstillinger med grafisk grensesnitt. Når det gjelder Linux, er programmet ofte innebygd i distribusjonen. Terminaler på enkelte Linux-bygg støtter Wget-kommandoer. Ubuntu, Fedora, openSUSE og andre forbrukerdistribusjoner fungerer med programmet, som de sier, ut av esken. La oss deretter se på programmet mer detaljert.

Wget-kommandoer: liste over hovedparametere

I grunnleggende liste lag inkluderer:

• -V - lar deg finne ut hvilken versjon av programmet som er i bruk;
• -h - viser mest full liste kommandoer for å jobbe med applikasjonen;
• -b - lar deg sette programmet i bakgrunnen;

Liste over meldingsalternativer

Wget-kommandoer lar deg kontrollere informasjonen som vises fullstendig. Her er listen deres:

• -o loggfil - oppretter en loggfil der hele prosessen med applikasjonen er registrert;
• -en loggfil - lar deg legge til en eksisterende loggfil i stedet for å lage en ny;
• -d - viser nødvendig informasjon for utviklere og feilsøkeren (hjelper med å løse problemer og rette feil i klienten);
• -q - deaktiverer visning av meldinger;
• -v - dette alternativet er aktivert som standard, gir en detaljert rapport over alle prosesser som skjer i programmet (i sanntid);
• -nv - reduserer informasjonen brukeren mottar i meldinger betydelig. Bare de mest nødvendige dataene og feilvarslene gjenstår;
• -i fil (som indikerer banen til filen) - kommandoen lar deg skanne en fil, trekke ut en lenke fra den og laste den ned; du kan bruke filer av forskjellige formater, inkludert HTML, men hvis du bruker denne kommandoen, bør du ikke spesifisere banen til filen på kommandolinjen;
• -f - får programmet til å lese filen som HTML; når du bruker denne kommandoen til å jobbe med lokal HTML-dokument, kan det oppstå en feil, for å unngå det, bare angi i dokumentet .

Liste over oppstartsalternativer

Grunnleggende kommandoer for å jobbe med Wget. Her er deres grunnleggende sett:

• --bind-address=ADRESSE - denne kommandoen lar deg sende bindingsdata til ADRESSEN til den lokale maskinen. Når du bruker en TCP/IP-tilkobling, er kommandoen nødvendig for å spesifisere IP-adressen nøyaktig (hvis det er flere av dem).
• -t nummer (du må spesifisere et tall) - lar brukeren velge antall ganger nedlastingen skal gjentas. For å unngå repetisjoner bør du angi tallverdien lik null.
• -nc - denne kommandoen lar deg returnere den forrige tilstanden til den nedlastede filen hvis det oppstår en nettverksfeil og nedlastingen avbrytes. Hvis du ikke bruker en av kommandoene for ytterligere nedlasting (-N, -nc, -r), vil Wget lage en kopi av den og starte nedlastingen på nytt. Alternativet -r lar deg erstatte eksisterende filer.
• -c - hjelper også med å laste ned filen på nytt i tilfelle tilkobling taps (og når Wget har sluttet å prøve å gjenopprette tilkoblingen på egen hånd). Det er nok å spesifisere denne kommandoen før lenken til filen. Hvis en lignende fil blir funnet i katalogen som brukes, vil Wget identifisere den og automatisk bestemme om den skal lastes ned igjen. Kommandoen kan bare brukes på servere som støtter RANGE-overskrifter.

• --progress – lar deg velge type visning av nedlastingsfremdrift. Du kan spesifisere -progress=bar eller progress=dot.
• --spider - erstatter filnedlastingskommandoen med å sjekke dens tilstedeværelse på serveren;
• -w (i sekunder) - spesifiserer pausetiden mellom nedlastinger.
• -q (angitt i kilobyte eller megabyte) - lar deg tydelig regulere størrelsen på nedlastede data og begrense overdreven volum. Det er imidlertid verdt å merke seg at én fil vil bli lastet ned uavhengig av kvotesettet (det vil si at dette alternativet ikke fungerer med én fil, uansett hvor tung den er).

Liste over HTTP-parametere

• --http-user= og --http-passwd= - lar deg spesifisere en pålogging og passord for autorisasjon på nettressursen som filene skal lastes ned fra.
• -C = på/av - lar deg aktivere eller deaktivere databufring på serversiden.
• --cookies = på/av - det samme som for cache, bare for informasjonskapsler. Lar deg enten stoppe eller gjenoppta utvekslingen av informasjonskapseldata, nødvendig for serverenå opprettholde besøksstatistikk. Som standard er alternativet aktivert, men informasjonskapsler lagres ikke på harddisken din.
• --save-cookies - lar deg lagre informasjonskapsler(kun nye data).
• --proxy-user og -proxy-passwd - lar deg spesifisere pålogging og passord for autorisasjon på proxy-serveren (hvis en er aktivert).

Liste over FTP-alternativer

Avanserte alternativer for å jobbe med Wget. FTP-kommandoer:

• -nr - forbyr sletting av midlertidige filer fra .listing-katalogen, som genereres spontant når du arbeider med FTP;
• -g på/av - lar verktøyet bruke spesialtegn i FTP-kataloger;
• --passive-ftp - denne kommandoen kan brukes hvis du har en brannmur for å aktivere passiv FTP-modus (når brukeren er ansvarlig for å etablere en tilkobling til serveren).

Wget-kommandoer: eksempler på bruk

Det enkleste og mest vanlige eksemplet for å jobbe med programmet er selvfølgelig nedlasting av filer. For å teste Wget-kommandoer kan du starte enkelt, finne en lenke til en fil på nettverket og gå inn i konsollen/terminalen: Wget *link som indikerer den nøyaktige og fullstendige banen til filen*.

For å fortsette å laste ned filen, bruk: Wget -c *link som indikerer den nøyaktige og fullstendige banen til filen*.

Når det gjelder innlasting av nettsider, er alt noe mer komplisert, men samtidig øker antallet muligheter betydelig. For ikke å legge inn parameterne på nytt hver gang det er behov for å laste et nettsted, kan du lage skript eller skrive alle innstillingene i .wgetrc-filen.

For å gjøre den samme siden tilgjengelig for visning uten Internett-tilkobling, kan du bruke kommandoen Wget -r -10 -k *link som indikerer den nøyaktige og fullstendige banen til filen*.

Wget format error kommando ikke funnet kan bety enhver skrivefeil og feil spesifisert parameter.

Introduksjon til GNU Wget

GNU Wget er en gratis programvarepakke for å hente filer ved hjelp av HTTP, HTTPS, FTP og FTPS, de mest brukte Internett-protokollene. Det er et ikke-interaktivt kommandolinjeverktøy, så det kan enkelt kalles fra skript, jobber, terminaler uten X-Windows-støtte, etc.

GNU Wget har mange funksjoner som gjør det enkelt å hente store filer eller speile hele web- eller FTP-sider, inkludert:

• Kan gjenoppta avbrutt nedlasting, ved hjelp av og
• Kan bruke jokertegn for filnavn og rekursivt speilvende kataloger
• NLS-baserte meldingsfiler for mange forskjellige språk
• Konverterer valgfritt absolutte koblinger i nedlastede dokumenter til relative, slik at nedlastede dokumenter kan lenke til hverandre lokalt
• Kjører på de fleste UNIX-lignende operativsystemer samt Microsoft Windows
• Støtter HTTP-proxyer
• Støtter HTTP-informasjonskapsler
• Støtter vedvarende HTTP-tilkoblinger
• Ubetjent/bakgrunnsdrift
• Bruker lokale filtidsstempler for å bestemme om dokumenter må lastes ned på nytt ved speiling
• GNU Wget distribueres under GNU General Public License.

Kildekoden for GNU Wget finner du her eller på speilene våre.
For flere nedlastingsalternativer, se FAQ.

Dokumentasjon

GNU Wget-dokumentasjon finner du her.
For manualer for andre GNU-pakker, se www.gnu.org.

Tilleggsinformasjon

For tiden er GNU Wget2 under utvikling.
Vennligst hjelp oss hvis du kan med testing, dokumenter, organisering, utvikling, ... se deg på Wget2 samarbeidsside

Vedlikeholder

GNU Wget vedlikeholdes for tiden av Tim Rühsen, Darshit Shah og Giuseppe Scrivano.
Den opprinnelige forfatteren av GNU Wget er Hrvoje Nikšić.
Vær så snill gjøre ikke ta direkte kontakt med en av disse personene med feilrapporter, eller forespørsler om hjelp med Wget: det er det e-postlisten er til for; vennligst bruk det i stedet.

Donatorer

Vi takker TYPO3 & Magento-partneren AOE media for å donere til wget-prosjektet.

wget - LORD OF NEDLASTINGER
(LAST NED FILER OG NETTSTEDER FRA INTERNETT TIL GNU/LINUX)

Så mange sanger har blitt sunget om kjærlighet,
Jeg skal synge, jeg skal synge for deg, en til...

Romantikk fra filmen "Three Friends"

Oppgave: Jeg vil ha Teleport Pro og FlashGet for Linux, laste ned nettsteder og filer.

Løsning: oppdage wget- alt er i én flaske og enda mer.

De ser ofte først etter mengden grafikk programmer med flere knapper - men det er ett verktøy som kan erstatte dem og gi funksjoner som ikke finnes andre steder.

Dette wget og alt som er basert på det. Å mestre dette verktøyet krever litt innsats og i det minste en rask lesing av manualen, men til gjengjeld får du et kraftig verktøy som vil spare tid og trafikk.

Det er verdt å si det mann wget Ved første øyekast gjør den et knusende inntrykk, men så innser du at ikke alle alternativer er nødvendige for daglig bruk. Nedenfor er alternativene jeg bruker oftest.

Bruke a la "FlashGet for Linux"

Du trenger bare å laste ned filen og/eller fortsette nedlastingen som ble avbrutt. Dette er veldig, veldig enkelt å gjøre ved å skrive noen få linjer i terminalen.

Bare last ned filen med wget:

$ wget ftp://vasya.pupkin.com/film.avi

Et annet alternativ: en del av filen ble lastet ned, nedlastingen ble avbrutt.

For å fortsette å laste ned filen, skriv:

$ wget -c ftp://vasya.pupkin.com/film.avi eller $ wget --continue ftp://vasya.pupkin.com/film.avi

I stedet for -c kan du skrive -fortsett, siden hver tast har en kort og en lang form: lange taster er lettere å huske, men lengre å skrive. Du kan enkelt blande ulike skriveformer.

Slik laster du ned filer fra en liste som inneholder direkte lenker:

$ wget -i pupkinlist eller $ wget --input-file=pupkinlist

Kun angitt her fil, som inneholder lenker. Filen kan også være en html-side som inneholder lenker.

Windows. Installerer wget på Windows XP/7/8/8.1/10

De vil bli pumpet ut av kommandoen ovenfor.

Bruke a la "Teleport Pro for Linux"

Når du laster ned nettsider, er det flere alternativer og derfor kreves det flere nøkler. Igjen, du trenger ikke å huske dem alle; du kan lage et manus (eller enda bedre, flere for forskjellige anledninger) og ringe dem.

Speiling av nettsteder til en lokal maskin:

$ wget -m http://www.vasyapupkin.com/

Kopiere et nettsted for lokal visning:

$ wget -r -l0 -np -k http://www.vasyapupkin.com/

I dette tilfellet vil rekursiv opplasting være aktivert (switch -r, --recursive), det vil si ikke bare filer med hjemmeside, men også alle andre som lenker fører til (switch -l0 uendelig nesting av lenker).

Linknavn vil bli konvertert til lokale for enkel visning (-k bryter). Ved å bruke -np (no-parrent)-bryteren kan du også forhindre at wget stiger over startadressen når du laster rekursivt, det vil si hvis du kopierer http://home.vasyapupkin.com/ og deretter bruker lenker fra hovedsiden http://www. vasyapupkin.com/ vil ikke bli kopiert.

Flere nyttige nøkler

Inkludering og ekskludering av filer under opplasting:

En acclist eller --accept acclist -R rejlist eller --reject rejlist

Spesifiserer kommadelte filnavnmønstre som skal lastes (acclist) eller ignoreres (rejlist).

K eller --convert-links

Konverterer absolutte lenker (som http://www...) til relative (som file///home/vasya/www/index.html) for enkel lokal visning. For å se det nedlastede nettstedet lokalt i nettleseren, åpne index.html-filen i nettleseren og bla gjennom koblingene på samme måte som om du var koblet til Internett.

H eller --span-hosts

Lar wget laste ned data fra enhver adresse som har en lenke i det forespurte dokumentet.

P eller --side-krav

Laster inn alle filene som trengs for visning html sider. For eksempel: bilder, lyd og overlappende stiler. Når nedlastingen er fullført, konverterer koblingene i dokumentet for offline visning. Dette gjelder ikke bare synlige lenker til andre dokumenter, men lenker til alle eksterne lokale filer.

siteget - et enkelt skript for nedlasting av nettsteder

Hvis du er lei av all denne visdommen med nøkler wget og du trenger bare å laste ned siden siteget du vil definitivt like det. Dette er et ganske enkelt skript med de nødvendige parameterne for å laste nettstedet.

Du kan laste ned skriptet herfra. Etter å ha lastet ned til datamaskinen din, er det fornuftig å kopiere den i superbrukermodus til en av katalogene spesifisert i $PATH-variabelen: operativsystem skanner dem automatisk for kjørbare filer. For eksempel til katalogen /user/local/bin:

# cp (katalog der skriptet er plassert)/siteget /user/local/bin/siteget

Skriptet må også tildeles attributtet kjørbar fil:

# chmod a+x /usr/local/bin/siteget

Bruk siteget veldig enkelt:

$ siteget http://www.vasyapupkin.com/

Institutt for bibelvitenskap MDA, 2008.
Siste oppdatering:
Internett-adresse: http://www.bible-mda.ru/soft/wget/wget.html

Bare Last ned fil wget:

wget ftp://vasya.pupkin.com/film.avi

Til fortsettelse av en avbrutt nedlasting vi skriver:

wget -c ftp://vasya.pupkin.com/film.avi

wget --fortsett ftp://vasya.pupkin.com/film.avi

Som i andre programmer har nøkler en kort og en lang form, og kan skrives i stedet. Lange taster er lettere å huske, men det tar lengre tid å skrive. Du kan enkelt blande ulike skriveformer.

Til last ned filer fra listen som inneholder direkte lenker:

wget -i pupkinlist.txt

wget --input-file=pupkinlist.txt

Bare filen som inneholder lenkene er angitt her. Filen kan også være en side som inneholder lenker. De vil bli pumpet ut av kommandoen ovenfor.

Bruke a la "Teleport Pro for Linux".

Når du laster ned nettsider, er det flere alternativer og derfor kreves det flere nøkler.

Igjen, du trenger ikke å huske dem alle; du kan lage et manus (eller enda bedre, flere for forskjellige anledninger) og ringe dem.

Så hvis du har en nettside, og du ønsker å ha en lokal kopi av den på datamaskinen din, slik at når du kobler fra nettverket, kan du lese den uten å forhaste deg.

Speiling av nettsteder til en lokal maskin:

wget -m http://www.vasyapupkin.com/

tilsvarende er disse alternativene beskrevet nedenfor.

Kopiere et nettsted for lokal visning (erstatte Internett-lenker med lokale adresser til nedlastede sider):

wget -r -l0 -k http://www.vasyapupkin.com/

I dette tilfellet vil rekursiv opplasting være aktivert (switch -r, -recursive),

Wget har et stort antall nyttige alternativer - flere enn Teleports flagg. Ved å være pakket inn i et script, for eksempel, og plassert på et fremtredende sted (angitt i), har vi brukervennlighet og et vell av innstillinger.

Ikke gå over startadressen når du laster rekursivt.

Aktiver rekursiv surfing av kataloger og underkataloger på ekstern server.

Definer maksimal rekursjonsdybde lik dybde når du blar gjennom kataloger på en ekstern server. Som standard dybde=5.

Ikke naviger til den overordnede katalogen mens du søker etter filer. Dette er en veldig nyttig egenskap fordi den sikrer at bare filer under et visst hierarki blir kopiert.

En kommadelt liste over filnavn som skal (godta) eller ikke bør (avvise) lastes ned. Det er tillatt å spesifisere filnavn med maske.

Wget for Windows. Installasjon og bruk.

Konverter absolutte lenker i et dokument til relative lenker. Bare de koblingene som peker til faktisk lastede sider vil bli konvertert. resten vil ikke bli konvertert. Merk at bare på slutten av arbeidet vil wget kunne finne ut hvilke sider som faktisk ble lastet. Derfor vil den endelige konverteringen kun utføres på slutten av wget.

Angi brukernavn og passord på -serveren.

Lar deg besøke alle servere som det er en kobling til.

Last opp alle filene som trengs for å vise sider. For eksempel: bilder, lyd, overlappende stiler (). Som standard lastes ikke slike filer ned. Parametrene og spesifisert sammen kan hjelpe, men siden... wget skiller ikke mellom eksterne og interne dokumenter, det er ingen garanti for at alt som kreves vil bli lastet ned.

Linker

Programinformasjon

Wget er et konsollverktøy for å laste ned filer ved hjelp av HTTP, FTP-protokoller og proxy-tilkoblinger.

wget for Windows

Programmet lar deg kopiere enkle html-sider mens du opprettholder katalogstrukturen. Lar deg finne og behandle robots.txt-data, og kan konvertere koblinger for påfølgende offline tilgang. Inneholder et sammenligningsverktøy for filoverskrifter for å laste ned nye versjoner og lage speilkopier.

Applikasjonen støtter gjenopptagelse av arbeidet når det oppstår en feil eller forbindelsen brytes, et rekursivt hopp som indikerer navnemasken og dybden på følgende lenker. Kan logge inn på FTP-server, koble til i bakgrunnen for å sikre https-sider.

Programmet er i stand til å opprettholde en detaljert logg, og er det optimale verktøyet for å lage speil av ekstern lagring eller nettressurser, og strømme datakopiering fra FTP-servere.

Last ned den fullstendige russiske versjonen av Wget gratis fra den offisielle nettsiden uten registrering og SMS.

Systemkrav

• Støttet operativsystem: Windows XP, 7, 10, 8, Vista, 8.1
• Bitdybde: 32 bit, x86, 64 bit

Wget - konsollnedlaster for nedlasting av nettsteder og bruk på Windows

wget er et konsollverktøy for å laste ned filer/nettsteder; det kan laste ned filer rekursivt ved å følge lenker automatisk.

Team	Beskrivelse
wget http://example.com/file.zip	laster ned file.zip-filen til gjeldende katalog
wget -P /path/to/save http://example.com/file.zip	nedlasting av filen file.zip til katalogen /path/to/save
wget -c http://example.com/fil.zip	gjenoppta file.zip-filen i tilfelle en pause
wget -O arch.zip http://example.com/file.zip	laster ned file.zip og lagrer som arch.zip
wget -i files.txt	laste ned filer fra listen i files.txt
wget --tries=10 http://example.com/file.zip	antall nedlastingsforsøk
wget -Q5m -i http://example.com/	kvote for maksimal størrelse på nedlastede filer, kvoten er kun gyldig for rekursiv nedlasting (-r)
wget --save-cookies cookies.txt --post-data 'username=proft&password=1' http://example.com/auth.php	identifikasjon på serveren med lagring av informasjonskapsler for senere tilgang
wget --user-agent=»Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, som Gecko) Chrome/19.0.1084.9 Safari/536.5″ http://example.com/	Brukeragentindikasjon
echo 'wget http://example.com/file.zip' | kl 12:00	last ned http://example.com/file.zip kl. 12:00 til gjeldende katalog
wget ftp://example.com/dir/*.zip
wget http://example.com/dir/file(1..10).zip	laste ned alle filer ved hjelp av en mal
wget -S http://example.com/	utgang av HTTP-serverhoder og FTP-serversvar
wget --spider -i urls.txt	sjekke lenker i en fil for tilgjengelighet
wget -b http://example.com/file.zip	ved å laste ned en fil i bakgrunnen skrives loggen til wget.log, wget.log.1 osv.
eksporter http_proxy=http://proxy.com:3128/;wget http://example.com/file.zip	laster ned *file.zip*-fil via proxy
wget -m -w 2 http://example.com/	speiling av et nettsted mens du opprettholder absolutte koblinger og venter 2 sekunder mellom forespørslene
wget --limit-rate=200k http://example.com/file.zip	nedlastingshastighetsgrense
wget -R bmp http://example.com/	ikke last ned bmp-filer
wget -A png,jpg http://example.com/	Last ned kun png- og jpg-filer

Eksempelbruk for nedlasting av dokumentasjon Django:

• - følg lenkene (rekursiv nedlasting)
• — konvertere lenker til lokal utsikt
• - nedlasting av ressursene som er nødvendige for å vise html-siden (stiler, bilder osv.)
• - nedlastingsdybde, 0 - endeløs nesting av lenker
• - ikke overskriv eksisterende filer
• - ikke stige over startadressen når du laster rekursivt

Ofte brukt wget Parametrene kan plasseres i ~/.wgetrc.

curl er et konsollverktøy for overføring av data ved hjelp av URL-syntaks; protokollene som støttes er DICT, FILE, FTP, FTPS, Gopher, HTTP, HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMTP, SMTPS, Telnet og TFTP.

Team	Beskrivelse
krølle http://proft.me	få innholdet på hovedsiden
curl -o index.html http://proft.me	vi får innholdet på hovedsiden inn i filen index.html
krøll -L http://example.com	når du mottar sideinnhold, følg viderekoblinger (hvis noen)
curl -u brukernavn:passord http://example.com/login/	få en side skjult bak grunnleggende HTTP-autentisering
curl -x proxy.com:3128 http://proft.me	få en side ved hjelp av en proxy
krølle -jeg proft.me	få http-overskrifter fra nettstedet
curl -H ‘Vert: google.ru’ http://proft.me	erstatte domenet når du får tilgang til serveren (overfører overskriften din)
curl --request POST "http://example.com/form/" --data "field1=value1&field2=value2"
curl -X POST "http://example.com/form/" --data "field1=value1&field2=value2"	overføring av data via POST-forespørsel
curl -X POST -H "Content-Type: application/json" -d '"title":"Commando","year":"1985" http://example.com/api/movies/	dataoverføring via POST-forespørsel, data i JSON-form
curl --request PUT "http://example.com/api/movie/1/" --data "title=DjangoUnchained"	overføring av data ved hjelp av en PUT-forespørsel
krøll -F [e-postbeskyttet]-F submit=OK http://example.com/upload/	laster opp file.zip-fil til skjemaet (multipart/form-data)
curl -u brukernavn:passord -O ftp://example.com/file.zip	Last ned filen fra FTP
curl -u brukernavn:passord -T file.zip ftp://example.com/	last opp filen via FTP
curl --cookie "login=proft" http://example.com/login/	sette informasjonskapsler
curl --cookie-jar cookies.txt http://example.com	lagre informasjonskapsler til en fil
curl --cookie cookies.txt http://example.com/login/	bruk av lagrede informasjonskapsler

Ytterligere lesning