Wget ftp s autorizacijom. WGET naredbe - parametri preuzimanja. Spremite datoteku pod drugim nazivom

Radeći u konzoli, često moramo komunicirati s mrežom, na primjer, preuzimati datoteke ili cijele internetske stranice. Ako internetske stranice preuzimamo prilično rijetko, onda je s datotekama situacija sasvim drugačija. To može biti razne skripte, instalacijski paketi, programi, ključevi, popisi paketa i još mnogo toga. Datoteku možete preuzeti u Linux konzoli pomoću uslužnog programa wget. Pogledat ćemo to u ovom članku.

Ovo je vrlo moćan uslužni program koji može raditi preko HTTP, HTTPS i FTP protokola. Osim toga, podržan je rad preko proxyja. Naredba wget linux može preuzimati datoteke čak i u pozadina- bez interakcije s korisnikom, za razliku od većine web preglednika.

Osim preuzimanja datoteka, moguće je spremati web stranice ili čak cijele web stranice, zahvaljujući funkciji otvaranja poveznica na stranicama. Ova se značajka također naziva rekurzivno učitavanje. Sve ćemo to pogledati u današnjem članku, ali počnimo, kao i uvijek, sa sintaksom i osnovnim opcijama uslužnog programa.

WGET SINTAKSA

Naredba wget linux ima vrlo jednostavnu sintaksu:

Možete navesti više od jednog URL-a za preuzimanje, ali nekoliko odjednom. Opcije nisu potrebne, ali se u većini slučajeva koriste za konfiguriranje opcija pokretanja.

OPCIJE

Sintaksa opcija je vrlo labava. Svaka opcija obično ima i dugo i kratko ime. Mogu se napisati prije ili iza URL-a. Nema potrebe stavljati razmak između opcije i njezine vrijednosti; na primjer, možete napisati -o log ili -olog. Ove vrijednosti su ekvivalentne. Također, ako opcije nemaju parametre, nije potrebno svaku započeti s crticom, možete ih pisati sve zajedno: -drc i -d -r -c. Ove wget opcije su također ekvivalentne.

Sada prijeđimo na popis opcija. Wget ima previše opcija, pogledat ćemo samo one glavne.

-V (-verzija)- prikaz verzije programa

-h (-pomoć)- izdati potvrdu

-b (-pozadina)- rad u pozadini

-o datoteka (-out-datoteka)- odredite datoteku dnevnika

-d (-debug)- omogućiti način otklanjanja pogrešaka

-v (-verbose)- prikazati maksimalne informacije o radu uslužnog programa

-q (-tiho)- prikazati minimum informacija o radu

-i datoteka (-ulazna-datoteka)- čitanje URL-a iz datoteke

-t (-pokušava)- broj pokušaja spajanja na poslužitelj

-O datoteka (-izlazni-dokument)- datoteka u koju će biti pohranjeni primljeni podaci

-s (-nastavi)- nastavak prethodno prekinutog preuzimanja

-S (-odgovor poslužitelja)- prikazati odgovor poslužitelja

-pauk- provjerite funkcionalnost URL-a

-T vrijeme (-timeout)- istek vremena veze s poslužiteljem

-ograničena stopa- ograničenje brzine preuzimanja

-w (-čekaj)- interval između zahtjeva

-Q (-kvota) - najveća veličina Preuzimanja

-4 (-inet4only)- koristiti ipv4 protokol

-6 (-inet6only)- koristiti ipv6 protokol

-U (-korisnički agent)- Niz USER AGENT poslan na poslužitelj

-r (-ponavljajući) - rekurzivna operacija uslužnog programa

-l (-razina)- dubina tijekom rekurzivnog skeniranja

-k (-pretvori-veze)- pretvaranje poveznica u lokalne prilikom učitavanja stranica

-P (-prefiks-imenika)- direktorij u koji će se datoteke preuzimati

-m (-ogledalo)- preuzmite stranicu na svoj lokalni stroj

-str (-stranica-zahtjevi)- tijekom učitavanja stranice preuzmite sve potrebne resurse

Naravno, ovo nisu svi wget ključevi, ali ovdje je već previše teorije, a sada idemo na praksu. Wget primjeri su puno zanimljiviji.

KORIŠTENJE WGET LINUX

Naredba wget linux obično dolazi kao zadana na većini distribucija, ali ako nije, može se vrlo lako instalirati. Na primjer, instalacija koja koristi yum izgledala bi ovako:

yum -y instaliraj wget

I u distribucijama temeljenim na Debianu:

sudo apt instalirajte wget

Sada prijeđimo izravno na primjere:

Naredba wget linux će preuzeti jednu datoteku i spremiti je u trenutni direktorij. Tijekom preuzimanja vidjet ćemo napredak, veličinu datoteke, njezin datum Posljednja promjena, kao i brzina preuzimanja:

wget http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

2. SPREMITE DATOTEKU POD DRUGIM NAZIVOM

Opcija -O omogućuje vam da odredite naziv za spremljenu datoteku, na primjer, preuzmite wget datoteku pod nazivom wget.zip:

wget -O wget.zip http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

3. PREUZMITE NEKOLIKO DATOTEKA

Možete preuzeti više datoteka jednom naredbom, čak i korištenjem različitih protokola, jednostavnim navođenjem njihovog URL-a:

wget http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz ftp://ftp.gnu.org/gnu/wget/wget-1.10.1.tar.gz.sig

4. PREUZMI URL IZ DATOTEKE

wget -i /wget/tmp.txt

5. NASTAVI UČITAVANJE

Uslužni program wget linux dizajniran je za rad na sporim i nestabilnim mrežama. Dakle, ako ste preuzeli velika datoteka a veza je prekinuta tijekom preuzimanja, tada možete preuzeti wget datoteku pomoću opcije -c.

wget -c http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

Opcija -b uzrokuje pokretanje programa u pozadini, sav izlaz će biti zapisan u datoteku dnevnika, posebni wget prekidači koriste se za konfiguraciju datoteke dnevnika:

wget -b -o ~/wget.log http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

7. OGRANIČENJE BRZINE UPLOADANJA

Naredba wget linux ne samo da vam omogućuje nastavak preuzimanja datoteka, već i ograničava brzinu preuzimanja. Za to postoji opcija -limit-rate. Na primjer, ograničimo brzinu na 100 kilobita:

wget --limit-rate=100k ftp://ftp.iinet.net.au/debian/debian-cd/8.4.0/amd64/iso-dvd/debian-8.4.0-amd64-DVD-1.iso

Ovdje, kao iu drugim sličnim naredbama, dostupni su indeksi za označavanje brzine - k - kilobiti, m - megabiti, g - gigabiti i tako dalje.

8. POVEZIVANJE POMOĆU PRIJAVE I LOZINKE

Neki resursi zahtijevaju provjeru autentičnosti za preuzimanje svojih datoteka. Pomoću opcija -http-user=korisničko ime, –http-password=lozinka i -ftp-user=korisničko ime, -ftp-lozinka=lozinka možete postaviti korisničko ime i lozinku za HTTP ili FTP resurse.

wget --http-user=narad --http-password=password http://mirrors.hns.net.in/centos/6.3/isos/x86_64/CentOS-6.3-x86_64-LiveDVD.iso

wget --ftp-user=narad --ftp-password=lozinka ftp://ftp.iinet.net.au/debian/debian-cd/6.0.5/i386/iso-dvd/debian-6.0.5-i386 -DVD-1.iso

9. UČITAJ I IZVRŠI

Vjerojatno ste već vidjeli takve naredbe. wget vam omogućuje da odmah izvršite preuzete skripte:

wget -O - http://site/script.sh | udarac

Ako opcija -O ne proslijedi nijedan argument, tada će preuzeta datoteka biti ispisana na standardni izlaz, a zatim je možemo preusmjeriti iz bash interpretera, kao što je prikazano gore.

10. SPREMITE DATOTEKU U MAPU

Prema zadanim postavkama, wget sprema datoteku u trenutnu mapu, ali ovo se ponašanje vrlo lako mijenja pomoću opcije -P:

wget -P ~/Preuzimanja/ http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

11. POŠALJITE INFORMACIJE O PREGLEDNIKU

Neke stranice filtriraju botove, ali možemo proslijediti lažne informacije o našem pregledniku (user-agent) i stranici s koje smo došli (http-referer).

wget ‐‐refer=http://google.com ‐‐user-agent=”Mozilla/5.0 Firefox/4.0.1″ //losst.ru

12. BROJ POKUŠAJA UČITAVANJA

Prema zadanim postavkama, wget pokušava ponovno pokušati preuzimanje 20 puta prije nego što ne uspije. Broj puta se može promijeniti pomoću opcije -tries:

wget --tries=75 http://mirror.nbrc.ac.in/centos/7.0.1406/isos/x86_64/CentOS-7.0-1406-x86_64-DVD.iso

13. KVOTA OPTEREĆENJA

Ako imate samo pristup ograničena količina prometa, uslužnom programu možete reći koliko se informacija može preuzeti, na primjer, dopustimo vam preuzimanje samo deset megabajta datoteka s popisa:

wget -Q10m -i download-list.txt

Ovdje rade isti indeksi za određivanje veličine - k, m, g itd.

14. STRANICE ZA PREUZIMANJE

Wget vam omogućuje ne samo preuzimanje pojedinačnih datoteka, već i cijelih web stranica, tako da ih možete pregledavati izvan mreže. Korištenje wgeta za preuzimanje web stranice na Linuxu izgleda ovako:

wget --mirror -p --convert-links -P ./ adresa_mjesta

U ovom članku želim govoriti o instaliranju i korištenju uslužnog programa konzole GNU Wget na Windows operativnom sustavu.

Mogućnosti Wgeta nisu ograničene samo na preuzimanje arhiva; uslužni program može stvoriti lokalne kopije web stranica uz potpuno očuvanje direktorija i strukture datoteka. Osim toga, moguće je pretvoriti spremljene html datoteke za pregled stranice izvan mreže. Čitajući zaglavlja datoteka i uspoređujući ih s prethodno preuzetim datotekama, Wget može preuzeti nove verzije datoteka, omogućujući vam stvaranje ažuriranih zrcalnih stranica.

Wget može raditi preko HTTP, HTTPS, FTP protokola, a također podržava rad preko HTTP proxy poslužitelja. Uslužni program je razvijen za spore veze, točnije, u to vrijeme veze su bile spore i nestabilne, tako da podržava nastavak datoteka kada se veza izgubi. Ako poslužitelj s kojeg je datoteka preuzeta također podržava nastavak, tada će Wget nastaviti s preuzimanjem datoteke točno od točke na kojoj je preuzimanje prekinuto.

Da biste instalirali Wget, preuzmite instalacijsku exe datoteku. Pokrenite exe datoteku i instalirajte Wget kao redovni program, prema zadanim postavkama uslužni program je instaliran C:\Program Files (x86)\GnuWin32.

Za pokretanje uslužnog programa koji vam je potreban naredbeni redak Windows, pokrenite ga kroz početni izbornik ili kombinacijom tipki Win+R, u prozoru koji se otvori unesite “cmd” i pritisnite Enter. Nakon pokretanja naredbenog retka, nećete moći odmah koristiti Wget, kao što se događa u Linux OS-u; prvo morate odrediti lokaciju datoteke wget.exe.

Datoteka wget.exe nalazi se u direktoriju bin, unutar instalacijskog direktorija. Naredba staze koristi se za određivanje datoteke.

Sada možete pokrenuti Wget, prvo možete vidjeti izlaz naredbe pomoći s popisom dodatne opcije.

Popis dodatnih opcija za uslužni program Wget nalazi se ispod spojlera.

Izlaz wget -h

GNU Wget 1.11.4, program za preuzimanje datoteka s mreže u izvanmrežnom načinu rada. Upotreba: wget [OPCIJA]... ... Potrebni argumenti za duge opcije također su potrebni za kratke opcije. Pokrenite: -V, --version ispišite Wget verziju i izađite. -h, --help prikazati ovu pomoć. -b, --background prebaciti u pozadinski način rada nakon pokretanja. -e, --execute=NAREDBA izvrši naredbu u stilu `.wgetrc".- Zapisivanje i ulazna datoteka: -o, --output-file=DATOTEKA pisanje poruka u DATOTEKU. -a, --append-output=DATOTEKA dodavanje poruke do kraja DATOTEKE -d, --debug izlaz velike količine informacija o ispravljanju pogrešaka -q, --tiho tiho (bez izlaza) -v, --verbose verbose izlaz (zadano) -nv, --no-verbose ugasiti detaljan način rada , ali ne u potpunosti. -i, --input-file=DATOTEKA učitaj URL-ove pronađene u DATOTECI. -F, --force-html pretpostavlja da je ulazna datoteka HTML. -B, --base=URL dodaj URL-ove na početak relativnih veza u datoteci e -F -i Učitaj: -t, --tries=NUM postavite BROJ ponovnih pokušaja (0 neograničeno) --retry-connrefused ponovni pokušaj čak i ako je veza odbijena -O, --output-document= DATOTEKA pisanje dokumenata u DATOTEKU - nc, --no-clobber preskoči preuzimanja koja bi rezultirala preuzimanjem postojećih datoteka -c, --continue nastavi s preuzimanjem djelomično preuzete datoteke a --progress=TYPE odaberite vrstu trake napretka -N , --timestamping ne preuzimajte ponovno datoteke osim ako nisu novije od lokalnih -S, --server-response izlaz odgovor poslužitelja --spider ne preuzima ništa -T, --timeout=SEKUNDI postavite vrijednosti svih vremenskih izlaza u SEKUNDAMA --dns -timeout=SEC postavi istek vremena pretraživanja DNS-a u SEKUNDAMA --connect-timeout=SEC postavi istek vremena veze u SEKUNDAMA --read-timeout=SEC postavi istek vremena čitanja u SEKUNDAMA . -w, --wait=SECONDS pauza u SEKUNDAMA između učitavanja. --waitretry=SECONDS pauza od 1..SECONDS između ponovljenih pokušaja preuzimanja. --random-wait pauza od 0...2*WAIT sekunde između preuzimanja. --no-proxy eksplicitno onemogući proxy. -Q, --quota=BROJ postavite vrijednost kvote preuzimanja na BROJ. --bind-address=ADRESA se povezuje s ADRESOM (naziv glavnog računala ili IP) lokalnog glavnog računala. --limit-rate=BRZINA ograniči BRZINU preuzimanja. --no-dns-cache onemogućuje keširanje DNS upita za pretraživanje. --restrict-file-names=Ograničenje OS-a na znakove u nazivima datoteka, čiju upotrebu dopušta OS. --ignore-case Zanemari velika i mala slova pri podudaranju datoteka i/ili direktorija. -4, --inet4-only povezivanje samo na IPv4 adrese. -6, --inet6-only povezivanje samo na IPv6 adrese. --prefer-family=OBITELJ Prvo se povežite s adresama u navedenoj obitelji, može biti IPv6, IPv4 ili ništa. --user=KORISNIK postavi i ftp i http korisnika na KORISNIKA. --password=PASSWORD postaviti i ftp i http lozinke na PASSWORD. Direktoriji: -nd, --no-directory ne stvaraju direktorije. -x, --force-directory prisilno stvara direktorije. -nH, --no-host-directories ne stvaraju direktorije kao na hostu. --protocol-directory Koristi naziv protokola u imenicima. -P, --directory-prefix=PREFIX sprema datoteke u PREFIX/... --cut-dirs=NUM zanemari BROJ komponenti udaljenog direktorija. HTTP opcije: --http-user=KORISNIK postavite http korisnika na KORISNIKA. --http-password=PASSWORD postavite http lozinku na PASSWORD. --no-cache odbaci podatke koje je predmemorirao poslužitelj. -E, --html-extension sprema HTML dokumente s ekstenzijom `.html". --ignore-length zanemari polje zaglavlja `Content-Length". --header=LINE umetnite LINE između zaglavlja. --max-redirect najveći dopušteni broj preusmjeravanja po stranici. --proxy-user=KORISNIK postavio KORISNIK kao korisničko ime za proxy. --proxy-password=LOZINKA postavite LOZINKU kao lozinku za proxy. --referer=URL uključi zaglavlje `Referer: URL' u HTTP zahtjev. --save-headers sprema HTTP zaglavlja u datoteku. -U, --user-agent=AGENT se identificira kao AGENT umjesto Wget/VERSIY - -no-http-keep-alive onemogući HTTP keepalive (trajne veze) --no-cookies ne koriste kolačiće --load-cookies=FILE učitaj kolačiće iz FILE prije sesije --save-cookies=FILE spremi kolačiće u Post- sesijska DATOTEKA --keep-session-cookies učitati i pohraniti sesijske kolačiće (nepostojane) --post-data=STRING koristiti POST metoda; šalje STRING kao podatke. --post-file=DATOTEKA koristi POST metodu; slanje sadržaja FILA-i. --content-disposition Uzmite u obzir zaglavlje Content-Disposition kada birate imena za lokalne datoteke (EKSPERIMENTALNO). --auth-no-challenge Pošalji osnovne podatke za HTTP provjeru autentičnosti bez čekanja na odgovor poslužitelja. HTTPS opcije (SSL/TLS): --secure-protocol=Odaberite sigurni protokol: auto, SSLv2, SSLv3 ili TLSv1. --no-check-certificate Ne provjeravajte certifikat poslužitelja. --certificate=DATOTEKA datoteka korisničkog certifikata. --certificate-type=TYPE tip korisničkog certifikata: PEM ili DER. --private-key=DATOTEKA datoteka privatnog ključa. --private-key-type=TYPE tip privatnog ključa: PEM ili DER. --ca-certificate=DATOTEKA s CA postavljenim. --ca-directory=CAT direktorij gdje je pohranjen popis CA-ova. --random-file=DATOTEKA s nasumičnim podacima za SSL PRNG. --egd-file=DATOTEKA koja definira EGD utičnicu s nasumičnim podacima. FTP opcije: --ftp-user=KORISNIK postavite ftp korisnika na KORISNIKA. --ftp-password=ZOZINKA postavite ftp lozinku na ZOZINKA. --no-remove-listing ne uklanja datoteke iz datoteka `.listing'. --no-glob onemogućuje maske za nazive FTP datoteka. --no-passive-ftp onemogućuje "pasivni" način prijenosa. --retr-symlinks kada rekurzivno učitavanje datoteka preko veza (nije preuzet ogs). --preserve-permissions čuvaju prava pristupa udaljenim datotekama. Rekurzivno učitavanje: -r, --rekurzivno omogućava rekurzivno učitavanje. -l, --level=BROJ dubina rekurzije (inf i 0 - beskonačno) . --brisanje-nakon brisanja lokalne datoteke nakon preuzimanja. -k, --convert-links čine veze lokalnim u učitanom HTML-u. -K, --backup-converted učiniti prije pretvaranja datoteke X sigurnosna kopija X.orig. -m, --mirror je kratka opcija ekvivalentna -N -r -l inf --no-remove-listing. -p, --page-requisites Učitaj sve slike itd. potrebne za prikaz HTML stranice. --strict-comments omogućuju strogu (SGML) obradu HTML komentara. Dopuštenja/zabrane za rekurziju: -A, --accept=LISTA dopuštenih proširenja, odvojenih petinama. -R, --reject=LISTA popisa zabranjenih proširenja, odvojenih petinama. -D, --domains=POPIS popis dopuštenih domena, odvojenih zarezima. --exclude-domains=POPIS popisa zabranjenih domena, odvojenih zarezima. --follow-ftp slijedi FTP veze u HTML dokumentima. --follow-tags=LISTA popis korištenih oznaka HTML oznake, odvojeno zarezima. --ignore-tags=LISTA popisa zanemarenih HTML oznaka, odvojenih zarezima. -H, --span-hosts unos stranih hostova tijekom rekurzije. -L, --relativno slijedi samo relativne veze. -I, --include-directories=LISTA popisa dopuštenih direktorija. -X, --exclude-directories=LISTA popisa izuzetih direktorija. -np, --no-parent ne idu gore u nadređeni direktorij.

Normalno kopiranje i lijepljenje (Ctrl+C, Ctrl+V) u Windows naredbenom retku ne radi. Za kopiranje teksta iz naredbenog retka Windows žice, samo trebate odabrati željeni dio teksta i pritisnuti Enter.

Za umetanje teksta u naredbeni redak potrebno je desnom tipkom miša kliknuti na prozor naredbenog retka, odabrati podizbornik “Uredi” i zatim izvršiti potrebnu naredbu. Kopiranje i lijepljenje znatno olakšava rad s naredbenim redkom sustava Windows.

Pogledajmo neke primjere korištenja uslužnog programa Wget.

Recimo da trebamo preuzeti neku datoteku, neka to bude naslovna slika za ovaj članak. Da biste to učinili, samo trebate navesti URL (link) željenu datoteku, na primjer ovako.

Ponekad se Wget može žaliti na "samopotpisane certifikate" kada koristi HTTPS veze, iako su sami certifikati u redu, u kojem slučaju trebate koristiti dodatnu opciju "--no-check-certificate".

Jpg --no-check-certificate

Kada normalno pozivate Windows naredbeni redak, datoteka će biti spremljena u korisnički direktorij C:\Users\Username. Ako se datoteka treba spremiti u određeni direktorij, tada se mora navesti pomoću dodatne preklopke "-P", neka to bude testni direktorij na pogonu C (C:\test).

Jpg --no-check-certificate

Ako se datoteka mora spremiti u određeni direktorij, tada postoji lakši način za spremanje datoteke, bez navođenja dodatnih opcija. Idite na željeni direktorij putem Windows Explorer, držite tipku Shift i desnom tipkom miša kliknite područje direktorija, au izborniku koji se otvori odaberite "Otvori naredbeni prozor".

Naredbeni redak koji se otvori izgledat će ovako.

Pokrenite naredbu staze da navedete lokaciju wget.exe.

Put C:\Programske datoteke (x86)\GnuWin32\bin

Sada će sve biti spremljeno u ovoj mapi.

Zamislimo da imamo datoteku s popisom poveznica koje je potrebno preuzeti. Neka ovo bude datoteka test.txt koja se nalazi u korisničkom direktoriju C:\Users\Username, sa sljedećim sadržajem.

Jpg https://site/wp-content/uploads/2017/04/wp..jpg https://site/wp-content/uploads/2017/03/MariaDB..jpg

Dodatni ključ "-i" označit će lokaciju datoteke - C:\Users\Username\test.txt i sve datoteke s popisa bit će spremljene.

Wget -i C:\Users\Username\test.txt --no-check-certificate

Da biste preuzeli cijelu stranicu, samo trebate navesti njezinu adresu s minimumom potreban set opcije, na primjer.

L, --level=BROJEVA dubina rekurzije (inf i 0 - beskonačno). -k, --convert-links čine veze lokalnim u učitanom HTML-u. -p, --page-requisites učitava sve slike itd. potrebne za prikaz HTML stranice. -t, --tries=BROJ postavite BROJ ponovnih pokušaja (0 bez ograničenja).

Kao rezultat toga, dobit ćemo već gotovu zrcalu web stranice koja će raditi autonomno na računalu, zahvaljujući konverziji poveznica za lokalnu upotrebu stranice.

Ali recimo da nam ne treba cijela stranica, već samo ovaj članak. U ovom će slučaju naredba za preuzimanje izgledati ovako.

Wget -r -l 10 -t 5 -k -p -np https://site/install-wordpress/ --no-check-certificate Dodajte dodatnu naredbu prethodnoj naredbi..

Kombinacijom skupa dodatnih opcije u Wget naredbama mogu postići različite rezultate. Stoga pokušajte sve sami i istražite mogućnosti uslužnog programa.

Čini se da u svijetu u kojem polovica svjetske populacije aktivno koristi računala i navikla je na elegantna grafička sučelja i bogate mogućnosti istih, više nema mjesta za tekstualne aplikacije. Prije nekih 20 godina, računalno sučelje bilo je užasna crna ploča koja nije prikazivala ništa osim skupa bijelih znakova, a sva kontrola se vršila putem tekstualnih naredbi. Iznenađujuće, koliko god ovi programi bili ružni, jednako su funkcionalni i pouzdani.

Što je Wget?

Wget (također nazvan GNU Wget Linux) je konzolna, neinteraktivna aplikacija za rad s datotekama i web stranicama. U biti, radi se o programu za preuzimanje datoteka s interneta, kojeg karakterizira nepostojanje grafičkog sučelja i niza značajki upravljanja koje nisu tipične za modernija rješenja.

Program je razvio hrvatski inženjer Hrvozi Nikšić, a sada ga podržavaju Giuseppe Scrivano i Linux zajednica. Prva verzija uslužnog programa (tada se još zvao GetURL) predstavljena je u siječnju 1996. Program je napisan u programskom jeziku C i objavljen pod GNU licencom. Alat je izvorno objavljen na Linux platformi. S vremenom je uslužni program preveden na mnoge jezike i prenesen na sve popularne platforme, uključujući Wget za Windows 7 (i novije), Wget za MacOS i tako dalje.

Ovaj program nije interaktivan, što znači da bilo koji proces koji se odvija unutar njegovih mogućnosti ne može se kontrolirati, njime se može upravljati pristupom samim kontrolama operativnog sustava.

Unatoč činjenici da moderni preglednici obično imaju ugrađen preglednik, oni su i dalje dizajnirani za interaktivnu interakciju, stoga rade u ručni mod postaje teško. Wget vam, naprotiv, omogućuje automatizaciju niza procesa. Na primjer, moguće je pripremiti unaprijed Tekstualni dokument s popisom web stranica pomoću kojeg možete preuzeti nekoliko datoteka i stranica odjednom.

Glavne funkcije programa

Ipak, prije svega, ovo je program za preuzimanje datoteka, što čini njegovu glavnu funkciju očitom.

Wget može preuzeti bilo koji materijal s interneta, bilo da se radi o dokumentima, izvršnim datotekama ili cijelim web stranicama. HTML format(Po raznih protokola). Datoteke se mogu preuzeti iz imenika putem

Klijent može izvršiti rekurzivno preuzimanje, u automatski način rada praćenjem poveznica unutar određene web stranice (ili više web stranica), uz vraćanje izvorne strukture web stranice. Moguće je pregledavati preuzete web-stranice bez pristupa mreži (prema zadanim postavkama učitane kao adrese za mrežno gledanje).

Wget je izvorno dizajniran za spore i nestabilne tipove veze, tako da je njegova važna značajka mogućnost vraćanja prekinutog preuzimanja datoteke (ovo je moguće ako poslužitelj podržava RANGE zaglavlja). Wget također može pratiti status poslužitelja (njihovu dostupnost) za dodatna preuzimanja i ažuriranja (Wget provjerava zaglavlja datoteka i održava najnoviju verziju) datoteka i web stranica.

Program također ima brojne značajke tipične za takozvane uslužne programe pauka, koji ispituju različite web stranice i poslužitelje na prisutnost određenih datoteka.

Podržane platforme

Wget Linux postao je osnova za ovaj proizvod. Kao što je gore spomenuto, u početku je uslužni program radio samo na Linuxu, ali je brzo stekao popularnost i prilagođen je drugim sustavima. Na primjer, možete pronaći verziju Wgeta za Windows 7 i modernije operativne sustave, a tu su i sklopovi s grafičkim sučeljem. Što se tiče Linuxa, program je često ugrađen u distribuciju. Terminali na nekim verzijama Linuxa izvorno podržavaju Wget naredbe. Ubuntu, Fedora, openSUSE i druge potrošačke distribucije rade s programom, kako kažu, izvan kutije. Zatim, pogledajmo program detaljnije.

Wget naredbe: popis glavnih parametara

U osnovni popis timovi uključuju:

-V - omogućuje vam da saznate koja je verzija programa trenutno u upotrebi;
-h - pokazuje najviše puni popis naredbe za rad s aplikacijom;
-b - omogućuje stavljanje programa u pozadinu;

Popis opcija poruka

Wget naredbe vam omogućuju potpunu kontrolu prikazanih informacija. Evo njihovog popisa:

-o logfile - stvara log datoteku u kojoj se bilježi cijeli proces aplikacije;
-datoteka dnevnika - omogućuje vam dodavanje u postojeću datoteku dnevnika umjesto stvaranja nove;
-d - prikazuje informacije potrebne za programere i debugger (pomaže u rješavanju problema i ispravljanju grešaka u klijentu);
-q - onemogućuje prikaz poruka;
-v - ova je opcija uključena prema zadanim postavkama, daje detaljno izvješće o svim procesima koji se odvijaju u programu (u stvarnom vremenu);
-nv - značajno smanjuje informacije koje korisnik prima u porukama. Ostaju samo najnužniji podaci i upozorenja o greškama;
-i datoteka (označuje put do datoteke) - naredba vam omogućuje skeniranje datoteke, izdvajanje veze iz nje i preuzimanje; možete koristiti datoteke različitih formata, uključujući HTML, ali ako koristite ovu naredbu, ne biste trebali navesti put do datoteke u naredbenom retku;
-f - uzrokuje da program čita datoteku kao HTML; kada koristite ovu naredbu za rad s lokalnim HTML dokument, može doći do pogreške, kako biste je izbjegli, samo naznačite u dokumentu .

Popis opcija pokretanja

Osnovne naredbe za rad s Wgetom. Evo njihovog osnovnog skupa:

--bind-address=ADRESA - ova naredba vam omogućuje prosljeđivanje podataka vezanja na ADRESU lokalnog stroja. Pri korištenju TCP/IP veze, naredba je neophodna za točno određivanje IP adrese (ako ih ima više).
-t broj (morate navesti broj) - omogućuje korisniku odabir broja ponavljanja preuzimanja. Da biste izbjegli ponavljanja, trebali biste navesti vrijednost broja jednaku nuli.
-nc - ova vam naredba omogućuje vraćanje prethodnog stanja preuzete datoteke ako dođe do kvara na mreži i preuzimanje se prekine. Ako ne upotrijebite jednu od naredbi za dodatno preuzimanje (-N, -nc, -r), onda će Wget napraviti njezinu kopiju i ponovno započeti preuzimanje. Opcija -r omogućuje zamjenu postojećih datoteka.
-c - također pomaže pri ponovnom preuzimanju datoteke u slučaju gubitka veze (i kada Wget prestane pokušavati samostalno vratiti vezu). Dovoljno je navesti ovu naredbu prije poveznice na datoteku. Ako se slična datoteka pronađe u direktoriju koji se koristi, Wget će je identificirati i automatski odlučiti hoće li je ponovno preuzeti. Naredba se može koristiti samo na poslužiteljima koji podržavaju RANGE zaglavlja.

--progress - omogućuje odabir vrste prikaza tijeka preuzimanja. Možete navesti -progress=bar ili progress=dot.
--spider - zamjenjuje naredbu preuzimanja datoteke provjerom njezine dostupnosti na poslužitelju;
-w (u sekundama) - određuje vrijeme pauze između preuzimanja.
-q (označeno u kilobajtima ili megabajtima) - omogućuje vam da jasno regulirate veličinu preuzetih podataka i ograničite prekomjerne količine. Međutim, vrijedi napomenuti da će jedna datoteka biti preuzeta bez obzira na postavljenu kvotu (to jest, ova opcija neće raditi s jednom datotekom, bez obzira koliko teška bila).

Popis HTTP parametara

--http-user= i --http-passwd= - omogućuju vam da odredite prijavu i lozinku za autorizaciju na web resursu s kojeg će se datoteke preuzimati.
-C = uključeno/isključeno - omogućuje vam da omogućite ili onemogućite predmemoriju podataka na strani poslužitelja.
--cookies = uključeno/isključeno - isto kao i za predmemoriju, samo za kolačiće. Omogućuje vam da zaustavite ili nastavite razmjenu podataka kolačića, potrebno za poslužitelj za održavanje statistike posjeta. Prema zadanim postavkama opcija je uključena, ali se kolačići ne spremaju na vaš tvrdi disk.
--save-cookies - omogućuje vam spremanje kolačići(samo novi podaci).
--proxy-user i -proxy-passwd - omogućuje vam da odredite prijavu i lozinku za autorizaciju na proxy poslužitelju (ako je omogućen).

Popis FTP opcija

Napredne opcije za rad s Wgetom. FTP naredbe:

-nr - zabranjuje brisanje privremenih datoteka iz direktorija .listing koje se spontano generiraju tijekom rada s FTP-om;
-g uključeno/isključeno - omogućuje uslužnom programu korištenje posebnih znakova u FTP direktorijima;
--passive-ftp - ovu naredbu možete koristiti ako imate vatrozid za aktiviranje pasivnog FTP načina (kada je korisnik odgovoran za uspostavljanje veze s poslužiteljem).

Wget naredbe: primjeri korištenja

Najjednostavniji i najčešći primjer za rad s programom je, naravno, preuzimanje datoteka. Da biste testirali Wget naredbe, možete početi jednostavno, pronaći vezu na datoteku na mreži i unijeti u konzolu/terminal: Wget *veza koja pokazuje točnu i punu stazu do datoteke*.

Za nastavak preuzimanja datoteke upotrijebite: Wget -c *vezu koja označava točnu i punu stazu do datoteke*.

Što se tiče učitavanja web stranica, sve je nešto kompliciranije, ali se istovremeno broj mogućnosti značajno povećava. Kako ne biste ponovno unosili parametre svaki put kada je potrebno učitati web mjesto, možete izraditi skripte ili zapisati sve postavke u .wgetrc datoteku.

Kako biste istu stranicu učinili dostupnom za gledanje bez internetske veze, možete upotrijebiti naredbu Wget -r -10 -k *link koji označava točnu i punu stazu do datoteke*.

Naredba Wget format error not found može značiti bilo kakvu grešku pri upisu i netočno naveden parametar.

Uvod u GNU Wget

GNU Wget je besplatni softverski paket za dohvaćanje datoteka koristeći HTTP, HTTPS, FTP i FTPS, najčešće korištene internetske protokole. To je neinteraktivan alat naredbenog retka, tako da ga se lako može pozvati iz skripti, poslova, terminala bez podrške za X-Windows itd.

GNU Wget ima mnogo značajki koje olakšavaju dohvaćanje velikih datoteka ili zrcaljenje cijelih web ili FTP stranica, uključujući:

Može nastaviti prekinuta preuzimanja pomoću i
Može koristiti zamjenske znakove u nazivu datoteke i rekurzivno zrcaliti direktorije
Datoteke poruka temeljene na NLS-u za mnogo različitih jezika
Opcionalno pretvara apsolutne veze u preuzetim dokumentima u relativne, tako da preuzeti dokumenti mogu međusobno povezivati lokalno
Radi na većini UNIX operativnih sustava kao i na Microsoft Windows
Podržava HTTP proxy
Podržava HTTP kolačiće
Podržava postojane HTTP veze
Rad bez nadzora/u pozadini
Koristi lokalne vremenske oznake datoteka kako bi odredio treba li dokumente ponovno preuzeti prilikom zrcaljenja
GNU Wget se distribuira pod GNU Općom javnom licencom.

Izvorni kod za GNU Wget može se pronaći ovdje ili na našim mirrorima.
Za više opcija preuzimanja pogledajte FAQ.

Dokumentacija

GNU Wget dokumentaciju možete pronaći ovdje.
Za priručnike drugih GNU paketa, molimo pogledajte www.gnu.org.

dodatne informacije

Trenutno se razvija GNU Wget2.
Pomozite nam ako možete s testiranjem, dokumentima, organizacijom, razvojem, ... vidimo se na Wget2 mjestu za suradnju

Održavatelj

GNU Wget trenutno održavaju Tim Rühsen, Darshit Shah i Giuseppe Scrivano.
Izvorni autor GNU Wgeta je Hrvoje Nikšić.
Molimčini ne izravno kontaktirajte bilo koju od ovih osoba s izvješćima o pogreškama ili zahtjevima za pomoć s Wgetom: tome služi lista za slanje e-pošte; upotrijebite ga umjesto toga.

Donatori

Zahvaljujemo TYPO3 & Magento partneru AOE media na donaciji za wget projekt.

wget - GOSPODAR PREUZIMANJA
(PREUZIMANJE DATOTEKA I MJESTA S INTERNETA U GNU/LINUX)

Toliko je pjesama ispjevano o ljubavi,
Pjevat ću, pjevat ću za tebe, još jednom...

Romansa iz filma "Tri prijatelja"

Zadatak:Želim Teleport Pro i FlashGet za Linux, stranice za preuzimanje i datoteke.

Riješenje: otkriti wget- sve je u jednoj bočici i još više.

Često prvo traže mnoštvo grafički programi s nekoliko gumba - ali postoji jedan uslužni program koji ih može zamijeniti i pružiti značajke koje se ne nalaze nigdje drugdje.

Ovaj wget i sve što se na njemu temelji. Savladavanje ovog uslužnog programa zahtijeva malo truda i barem brzo čitanje priručnika, ali zauzvrat dobivate moćan uslužni program koji će vam uštedjeti vrijeme i promet.

Vrijedi to reći čovjek wget Na prvi pogled ostavlja porazan dojam, ali onda shvatite da nisu sve opcije potrebne za svakodnevnu upotrebu. Ispod su opcije koje najčešće koristim.

Korištenje a la “FlashGet za Linux”

Vi samo trebate preuzeti datoteku i/ili nastaviti prekinuto preuzimanje. To je vrlo, vrlo jednostavno učiniti upisivanjem nekoliko redaka u terminal.

Samo preuzmite datoteku pomoću wget-a:

$ wget ftp://vasya.pupkin.com/film.avi

Druga opcija: dio datoteke je preuzet, preuzimanje je prekinuto.

Za nastavak preuzimanja datoteke napišite:

$ wget -c ftp://vasya.pupkin.com/film.avi ili $ wget --nastavi ftp://vasya.pupkin.com/film.avi

Umjesto -c, možete napisati -continue, jer svaki ključ ima kratki i dugi oblik: duge ključeve je lakše zapamtiti, ali ih je duže napisati. Možete jednostavno kombinirati različite oblike pisanja.

Za preuzimanje datoteka s popisa koji sadrži izravne veze:

$ wget -i pupkinlist ili $ wget --input-file=pupkinlist

Samo naznačeno ovdje datoteka, koji sadrži poveznice. Datoteka također može biti html stranica koja sadrži poveznice.

Windows. Instaliranje wget-a na Windows XP/7/8/8.1/10

Oni će biti ispumpani gornjom naredbom.

Korištenje a la “Teleport Pro za Linux”

Prilikom preuzimanja web stranica postoji više opcija i stoga je potrebno više ključeva. Opet, ne morate ih sve zapamtiti; možete napraviti scenarij (ili još bolje, nekoliko za različite prilike) i nazvati ih.

Zrcaljenje stranica na lokalnom računalu:

$ wget -m http://www.vasyapupkin.com/

Kopiranje stranice za lokalno gledanje:

$ wget -r -l0 -np -k http://www.vasyapupkin.com/

U tom će slučaju biti omogućeno rekurzivno učitavanje (prekidač -r, --recursive), odnosno ne samo datoteke s početna stranica, ali i svi ostali na koje vode linkovi (sklopka -l0 beskonačno ugniježđivanje linkova).

Nazivi veza bit će pretvoreni u lokalne radi lakšeg pregledavanja (prekidač -k). Također, korištenjem -np (no-parent) prekidača, možete spriječiti da se wget digne iznad početne adrese pri rekurzivnom učitavanju, to jest, ako kopirate http://home.vasyapupkin.com/ a zatim koristite veze s glavne stranice http://www.vasyapupkin.com/ neće se kopirati.

Nekoliko korisnih tipki

Uključivanje i izuzimanje datoteka tijekom prijenosa:

Acclist ili --accept acclist -R rejlist ili --reject rejlist

Određuje uzorke naziva datoteka odvojene zarezima koji se učitavaju (acclist) ili ignoriraju (rejlist).

K ili --convert-veze

Pretvara apsolutne veze (kao što je http://www...) u relativne (kao što je file///home/vasya/www/index.html) radi lakšeg lokalnog pregleda. Za pregled preuzete stranice lokalno u pregledniku, otvorite datoteku index.html u pregledniku i pregledavajte veze na isti način kao da ste spojeni na Internet.

H ili --span-hosts

Omogućuje wgetu preuzimanje podataka s bilo koje adrese koja ima vezu u traženom dokumentu.

P ili --page-requisites

Učitava sve datoteke potrebne za prikaz html stranice. Na primjer: slike, zvuk i kaskadni stilovi. Nakon završetka preuzimanja, poveznice u dokumentu se pretvaraju za izvanmrežni pregled. Ovo se ne odnosi samo na vidljive veze na druge dokumente, već i na veze na sve vanjske lokalne datoteke.

siteget - jednostavna skripta za preuzimanje stranica

Ako ste umorni od svih ovih mudrosti s ključevima wget i tada samo trebate preuzeti web mjesto siteget sigurno će vam se svidjeti. Ovo je prilično jednostavna skripta s potrebnim parametrima za učitavanje stranice.

Skriptu možete preuzeti ovdje. Nakon preuzimanja na vaše računalo, ima smisla kopirati ga u superuser modu u jedan od direktorija navedenih u varijabli $PATH: operacijski sustav automatski ih skenira u potrazi za izvršnim datotekama. Na primjer, u imenik /korisnik/lokalno/bin:

# cp (direktorij u kojem se nalazi skripta)/siteget /user/local/bin/siteget

Skripti također treba dodijeliti atribut izvršna datoteka:

# chmod a+x /usr/local/bin/siteget

Korištenje siteget jako jednostavno:

$ siteget http://www.vasyapupkin.com/

Odjel za biblijske studije MDA, 2008. (monografija).
Zadnje ažuriranje:
Internetska adresa: http://www.bible-mda.ru/soft/wget/wget.html

Samo Preuzmi datoteku wget:

wget ftp://vasya.pupkin.com/film.avi

Za nastavak prekinutog preuzimanja pišemo:

wget -c ftp://vasya.pupkin.com/film.avi

wget --nastavi ftp://vasya.pupkin.com/film.avi

Kao iu drugim programima, ključevi imaju kratki i dugi oblik i mogu se napisati umjesto njih. Duge ključeve lakše je zapamtiti, ali im je potrebno više vremena za pisanje. Možete jednostavno kombinirati različite oblike pisanja.

Do preuzimanje datoteka s popisa koji sadrži izravne veze:

wget -i pupkinlist.txt

wget --input-file=pupkinlist.txt

Ovdje je naznačena samo datoteka koja sadrži veze. Datoteka također može biti stranica koja sadrži poveznice. Oni će biti ispumpani gornjom naredbom.

Korištenje a la “Teleport Pro za Linux”.

Prilikom preuzimanja web stranica postoji više opcija i stoga je potrebno više ključeva.

Opet, ne morate ih sve zapamtiti; možete napraviti scenarij (ili još bolje, nekoliko za različite prilike) i nazvati ih.

Dakle, ako imate web stranicu, željeli biste imati lokalnu kopiju iste na svom računalu, tako da kada se odspojite s mreže, možete je čitati bez žurbe.

Zrcaljenje stranica na lokalnom računalu:

wget -m http://www.vasyapupkin.com/

ekvivalentno, ove opcije su opisane u nastavku.

Kopiranje stranice za lokalno gledanje (zamjena internetskih poveznica lokalnim adresama preuzetih stranica):

wget -r -l0 -k http://www.vasyapupkin.com/

U tom će slučaju biti omogućeno rekurzivno učitavanje (prekidač -r, –rekurzivno),

Wget ima veliki broj korisnih opcija - više od Teleportovih zastavica. Budući da smo omotani u skriptu, na primjer, i postavljeni na istaknuto mjesto (označeno u), imamo jednostavno korištenje i obilje postavki.

Nemojte ići iznad početne adrese pri rekurzivnom učitavanju.

Omogući rekurzivno pregledavanje direktorija i poddirektorija na udaljeni poslužitelj.

Definirajte maksimalnu dubinu rekurzije jednaku dubini prilikom pregledavanja direktorija na udaljenom poslužitelju. Zadana dubina=5.

Nemojte ići do nadređenog direktorija dok tražite datoteke. Ovo je vrlo korisno svojstvo jer osigurava da se kopiraju samo datoteke ispod određene hijerarhije.

Popis naziva datoteka odvojenih zarezima koje treba (prihvatiti) ili ne (odbiti) treba preuzeti. Dopušteno je navesti nazive datoteka maskom.

Wget za Windows. Instalacija i korištenje.

Pretvorite apsolutne veze u dokumentu u relativne veze. Pretvorit će se samo oni linkovi koji upućuju na stvarno učitane stranice; ostatak neće biti pretvoren. Imajte na umu da će tek na kraju rada wget moći saznati koje su stranice stvarno učitane. Stoga će se konačna konverzija izvršiti tek na kraju wget-a.

Odredite korisničko ime i lozinku na -poslužitelju.

Omogućuje vam posjet bilo kojem poslužitelju na koji postoji veza.

Učitajte sve datoteke potrebne za prikaz stranica. Na primjer: slike, zvuk, kaskadni stilovi (). Prema zadanim postavkama, takve se datoteke ne preuzimaju. Parametri i navedeni zajedno mogu pomoći, ali budući da... wget ne razlikuje vanjske i unutarnje dokumente, nema jamstva da će sve što je potrebno biti preuzeto.

Linkovi

Informacije o programu

Wget je konzolni uslužni program za preuzimanje datoteka koristeći HTTP, FTP protokole i proxy veze.

wget za Windows

Program vam omogućuje kopiranje jednostavnih html stranica uz zadržavanje strukture imenika. Omogućuje pronalaženje i obradu robots.txt podataka i može pretvoriti veze za naknadni izvanmrežni pristup. Sadrži alat za usporedbu zaglavlja datoteke za preuzimanje novih verzija i stvaranje zrcalnih kopija.

Aplikacija podržava nastavak rada kada se pojavi greška ili se veza prekine, rekurzivni skok koji označava masku imena i dubinu sljedećih poveznica. Mogućnost prijave u FTP poslužitelj, povežite se u pozadini za sigurne https stranice.

Program je sposoban voditi detaljan zapisnik i optimalan je alat za kreiranje zrcala udaljene pohrane ili web resursa, te strujanje kopiranja podataka s FTP poslužitelja.

Preuzmite punu rusku verziju Wgeta besplatno sa službene web stranice bez registracije i SMS-a.

Zahtjevi sustava

Podržani OS: Windows XP, 7, 10, 8, Vista, 8.1
Dubina bita: 32 bita, x86, 64 bita

Wget - konzolni downloader za preuzimanje stranica i njegovu upotrebu na Windowsima

wget je konzolni uslužni program za preuzimanje datoteka/stranica; može preuzimati datoteke rekurzivno, automatski slijedeći veze.

Tim	Opis
wget http://example.com/file.zip	preuzimanje datoteke file.zip u trenutni direktorij
wget -P /path/to/save http://example.com/file.zip	preuzimanje datoteke file.zip u direktorij /path/to/save
wget -c http://example.com/file.zip	nastavak datoteke file.zip u slučaju prekida
wget -O arch.zip http://example.com/file.zip	preuzimanje datoteke.zip i spremanje kao arch.zip
wget -i datoteke.txt	preuzimanje datoteka s popisa u files.txt
wget --tries=10 http://example.com/file.zip	broj pokušaja preuzimanja
wget -Q5m -i http://example.com/	kvota za maksimalnu veličinu preuzetih datoteka, kvota vrijedi samo za rekurzivno preuzimanje (-r)
wget --save-cookies cookies.txt --post-data 'username=proft&password=1' http://example.com/auth.php	identifikaciju na poslužitelju uz spremanje kolačića za kasniji pristup
wget --user-agent=»Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, kao Gecko) Chrome/19.0.1084.9 Safari/536.5″ http://example.com/	Indikacija korisničkog agenta
echo 'wget http://example.com/file.zip' \| u 12:00 sati	preuzmite http://example.com/file.zip u 12:00 u trenutni direktorij
wget ftp://example.com/dir/*.zip
wget http://example.com/dir/file(1..10).zip	preuzimanje svih datoteka pomoću predloška
wget -S http://example.com/	izlaz zaglavlja HTTP poslužitelja i odgovora FTP poslužitelja
wget --spider -i urls.txt	provjera pristupačnosti veza u datoteci
wget -b http://example.com/file.zip	preuzimanjem datoteke u pozadini, dnevnik se zapisuje u wget.log, wget.log.1 itd.
izvoz http_proxy=http://proxy.com:3128/;wget http://example.com/file.zip	preuzimanje datoteke file.zip putem proxyja
wget -m -w 2 http://example.com/	zrcaljenje stranice uz održavanje apsolutnih veza i čekanje 2 sekunde između zahtjeva
wget --limit-rate=200k http://example.com/file.zip	ograničenje brzine preuzimanja
wget -R bmp http://example.com/	nemojte preuzimati bmp datoteke
wget -A png,jpg http://example.com/	preuzmite samo png i jpg datoteke

Primjer korištenja za preuzimanje dokumentacije Django:

— slijedite poveznice (rekurzivno preuzimanje)
— pretvoriti veze u lokalni pogled
— preuzimanje resursa potrebnih za prikaz html stranice (stilovi, slike itd.)
— dubina preuzimanja, 0 - beskrajno gniježđenje poveznica
- nemojte prepisivati postojeće datoteke
- nemojte se dizati iznad početne adrese pri rekurzivnom učitavanju

Često se koristi wget Parametri se mogu smjestiti u ~/.wgetrc.

curl je konzolni uslužni program za prijenos podataka pomoću URL sintakse; podržani protokoli su DICT, FILE, FTP, FTPS, Gopher, HTTP, HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMTP, SMTPS, Telnet i TFTP.

Tim	Opis
kovrča http://proft.me	dobiti sadržaj glavne stranice
curl -o index.html http://proft.me	dobivamo sadržaj glavne stranice u datoteku index.html
kovrča -L http://example.com	kada primate sadržaj stranice, slijedite preusmjeravanja (ako postoje)
curl -u korisničko ime:lozinka http://example.com/login/	dobivanje stranice skrivene iza osnovne HTTP provjere autentičnosti
curl -x proxy.com:3128 http://proft.me	dobivanje stranice pomoću proxyja
kovrčati -I proft.me	dobiti http zaglavlja sa stranice
curl -H ‘Host: google.ru’ http://proft.me	zamijeniti domenu prilikom pristupa poslužitelju (prijenos vašeg zaglavlja)
curl --request POST "http://example.com/form/" --data "field1=value1&field2=value2"
curl -X POST "http://example.com/form/" --data "field1=value1&field2=value2"	prijenos podataka putem POST zahtjeva
curl -X POST -H "Content-Type: application/json" -d '"title":"Commando","year":"1985" http://example.com/api/movies/	prijenos podataka putem POST zahtjeva, podaci u JSON obliku
curl --request PUT "http://example.com/api/movie/1/" --data "title=DjangoUnchained"	prijenos podataka pomoću PUT zahtjeva
kovrča -F [e-mail zaštićen]-F submit=OK http://example.com/upload/	učitavanje file.zip datoteke u obrazac (multipart/form-data)
curl -u korisničko ime:lozinka -O ftp://example.com/file.zip	preuzeti datoteku s FTP-a
curl -u korisničko ime:lozinka -T file.zip ftp://example.com/	učitajte datoteku putem FTP-a
curl --cookie "login=proft" http://example.com/login/	postavite kolačiće
curl --cookie-jar cookies.txt http://example.com	spremanje kolačića u datoteku
curl --cookie cookies.txt http://example.com/login/	korištenje spremljenih kolačića

Dodatna literatura