Při práci v konzoli musíme často komunikovat se sítí, například stahovat soubory nebo celé internetové stránky. Pokud stahujeme internetové stránky poměrně zřídka, pak u souborů je situace úplně jiná. To může být různé skripty, instalační balíčky, programy, klíče, seznamy balíčků a mnoho dalšího. Soubor si můžete stáhnout v konzole Linux pomocí nástroje wget. Na to se podíváme v tomto článku.

Jedná se o velmi výkonný nástroj, který může pracovat přes protokoly HTTP, HTTPS a FTP. Navíc je podporována práce přes proxy. Příkaz wget linux může stahovat soubory i v Pozadí- bez interakce uživatele, na rozdíl od většiny webových prohlížečů.

Kromě stahování souborů je možné ukládat webové stránky nebo i celé webové stránky, a to díky funkci otevírání odkazů na stránkách. Tato funkce se také nazývá rekurzivní načítání. Na to vše se podíváme v dnešním článku, ale začněme jako vždy syntaxí a základními možnostmi nástroje.

SYNTAXE WGET

Příkaz wget linux má velmi jednoduchou syntaxi:

Můžete zadat více než jednu adresu URL ke stažení, ale několik najednou. Volby nejsou vyžadovány, ale ve většině případů se používají ke konfiguraci možností spouštění.

MOŽNOSTI

Syntaxe voleb je velmi volná. Každá možnost má obvykle dlouhý i krátký název. Mohou být zapsány před nebo za URL. Mezi volbu a její hodnotu není třeba vkládat mezeru, můžete například napsat -o log nebo -olog. Tyto hodnoty jsou ekvivalentní. Také, pokud volby nemají parametry, není nutné každou začínat pomlčkou, můžete je napsat všechny dohromady: -drc a -d -r -c. Tyto možnosti wget jsou také ekvivalentní.

Nyní přejdeme k seznamu možností. Wget má příliš mnoho možností, podíváme se pouze na ty hlavní.

-PROTI (-verze)- zobrazit verzi programu

-h (-help)- vydat osvědčení

-b (-Pozadí)- práce na pozadí

-Ó soubor (-out-file)- zadejte soubor protokolu

-d (-ladit)- povolit režim ladění

-v (-verbose)- zobrazit maximum informací o provozu nástroje

-q (-tichý)- zobrazovat minimum informací o díle

-i soubor (-input-file)- číst URL ze souboru

-t (-zkusí)- počet pokusů o připojení k serveru

-O soubor (-output-document)- soubor, do kterého budou uložena přijatá data

-с (-pokračovat)- pokračovat v dříve přerušeném stahování

-S (-server-response)- zobrazí odpověď serveru

-pavouk- zkontrolujte funkčnost URL

-T čas (-timeout)- časový limit připojení k serveru

-limitní sazba- omezit rychlost stahování

-w (-počkej)- interval mezi požadavky

-Q (-kvóta) - maximální velikost stahování

-4 (-inet4only)- používat protokol ipv4

-6 (pouze -inet6)- používat protokol ipv6

-U (-user-agent)- Řetězec USER AGENT odeslaný na server

-r (- rekurzivní) - rekurzivní operace utility

-l (-úroveň)- hloubka při rekurzivním skenování

-k (-convert-links)- převést odkazy na místní při načítání stránek

-P (-předpona-adresáře)- adresář, kam budou soubory staženy

-m (-zrcadlo)- stáhněte si stránku do místního počítače

-p (-požadavky na stránku)- při načítání webu si stáhněte všechny potřebné zdroje

To samozřejmě nejsou všechny klíče wget, ale teorie už je zde příliš mnoho, nyní přejděme k praxi. Příklady wget jsou mnohem zajímavější.

POUŽÍVÁNÍ WGET LINUX

Příkaz wget linux je obvykle dodáván ve výchozím nastavení na většině distribucí, ale pokud ne, lze jej velmi snadno nainstalovat. Instalace pomocí yum by například vypadala takto:

yum -y nainstalovat wget

A v distribucích založených na Debianu:

sudo apt install wget

Nyní přejděme přímo k příkladům:

Příkaz wget linux stáhne jeden soubor a uloží jej do aktuálního adresáře. Během stahování uvidíme průběh, velikost souboru, jeho datum poslední změna, stejně jako rychlost stahování:

wget http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

2. ULOŽTE SOUBOR POD JINÝM JMÉNEM

Volba -O vám umožňuje zadat název pro uložený soubor, například stáhnout soubor wget s názvem wget.zip:

wget -O wget.zip http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

3. STÁHNĚTE SI NĚKOLIK SOUBORŮ

Jedním příkazem můžete stáhnout více souborů, a to i pomocí různých protokolů, jednoduše zadáním jejich adresy URL:

wget http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz ftp://ftp.gnu.org/gnu/wget/wget-1.10.1.tar.gz.sig

4. Vezmi URL ZE SOUBORU

wget -i /wget/tmp.txt

5. POKRAČUJTE V NAKLÁDÁNÍ

Obslužný program wget linux je navržen pro práci v pomalých a nestabilních sítích. Pokud jste si tedy stáhli velký soubor a připojení bylo ztraceno během stahování, pak si můžete stáhnout soubor wget pomocí volby -c.

wget -c http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

Volba -b způsobí, že program běží na pozadí, veškerý výstup bude zapsán do souboru protokolu, ke konfiguraci souboru protokolu se používají speciální přepínače wget:

wget -b -o ~/wget.log http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

7. LIMIT RYCHLOSTI NAHRÁVÁNÍ

Příkaz wget linux vám nejen umožňuje pokračovat ve stahování souborů, ale také omezuje rychlost stahování. K tomu existuje možnost -limitní sazba. Například omezme rychlost na 100 kilobitů:

wget --limit-rate=100k ftp://ftp.iinet.net.au/debian/debian-cd/8.4.0/amd64/iso-dvd/debian-8.4.0-amd64-DVD-1.iso

Zde, stejně jako v jiných podobných příkazech, jsou k dispozici indexy označující rychlost - k - kilobitů, m - megabitů, g - gigabitů a tak dále.

8. PŘIPOJENÍ PODLE PŘIHLÁŠENÍ A HESLA

Některé zdroje vyžadují ke stažení souborů ověření. Pomocí voleb -http-user=username, –http-password=password a -ftp-user=username, -ftp-password=password můžete nastavit uživatelské jméno a heslo pro HTTP nebo FTP zdroje.

wget --http-user=narad --http-password=password http://mirrors.hns.net.in/centos/6.3/isos/x86_64/CentOS-6.3-x86_64-LiveDVD.iso

wget --ftp-user=narad --ftp-password=password ftp://ftp.iinet.net.au/debian/debian-cd/6.0.5/i386/iso-dvd/debian-6.0.5-i386 -DVD-1.iso

9. NAČÍST A PROVEĎTE

S podobnými příkazy jste se již pravděpodobně setkali. wget vám umožňuje okamžitě spouštět stažené skripty:

wget -O - http://site/script.sh | bash

Pokud volba -O nepředá žádné argumenty, pak bude stažený soubor vytištěn na standardní výstup, pak jej můžeme přesměrovat z bash interpretu, jak je ukázáno výše.

10. ULOŽTE SOUBOR DO SLOŽKY

Ve výchozím nastavení wget uloží soubor do aktuální složky, ale toto chování lze velmi snadno změnit pomocí volby -P:

wget -P ~/Downloads/ http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

11. ODESLÁNÍ INFORMACÍ O PROHLÍŽEČI

Některé stránky odfiltrují roboty, ale můžeme předávat falešné informace o našem prohlížeči (user-agent) a stránce, ze které jsme přišli (http-referer).

wget ‐‐refer=http://google.com ‐‐user-agent=”Mozilla/5.0 Firefox/4.0.1″ //losst.ru

12. POČET POKUSŮ NAČÍTÁNÍ

Ve výchozím nastavení se wget pokusí opakovat stahování 20krát, než selže. Počet opakování lze změnit pomocí volby -tries:

wget --tries=75 http://mirror.nbrc.ac.in/centos/7.0.1406/isos/x86_64/CentOS-7.0-1406-x86_64-DVD.iso

13. NAČÍST KVÓTU

Pokud máte přístup pouze k omezené množství provozu, můžete nástroji sdělit, kolik informací lze stáhnout, například vám umožní stáhnout pouze deset megabajtů souborů ze seznamu:

wget -Q10m -i download-list.txt

Fungují zde stejné indexy pro specifikaci velikosti - k, m, g atd.

14. STÁHNOUT STRÁNKU

Wget vám umožňuje nejen stahovat jednotlivé soubory, ale také celé stránky, abyste je pak mohli prohlížet offline. Použití wget ke stažení webu v Linuxu vypadá takto:

wget --mirror -p --convert-links -P ./ address_site

V tomto článku chci mluvit o instalaci a používání konzolového nástroje GNU Wget v operačním systému Windows.

Schopnosti Wgetu se neomezují pouze na stahování archivů, nástroj dokáže vytvářet lokální kopie webových stránek s plným zachováním adresářové a souborové struktury. Kromě toho je možné převést uložené html soubory pro prohlížení webu offline. Čtením záhlaví souborů a jejich porovnáním s dříve staženými soubory může Wget stahovat nové verze souborů, což vám umožňuje vytvářet aktualizované zrcadlové stránky.

Wget může pracovat přes HTTP, HTTPS, FTP protokoly a také podporuje práci přes HTTP proxy server. Nástroj byl vyvinut pro pomalá připojení, přesněji řečeno, v té době byla připojení pomalá a nestabilní, takže podporuje obnovení souborů při ztrátě připojení. Pokud server, ze kterého byl soubor stažen, také podporuje obnovení, pak Wget bude pokračovat ve stahování souboru přesně od bodu, kde bylo stahování přerušeno.

Chcete-li nainstalovat Wget, stáhněte si instalační exe soubor. Spusťte soubor exe a nainstalujte Wget jako pravidelný program, ve výchozím nastavení je nástroj nainstalován C:\Program Files (x86)\GnuWin32.

Chcete-li spustit nástroj, který potřebujete příkazový řádek Windows, spusťte jej prostřednictvím nabídky Start nebo pomocí kombinace kláves Win+R, v okně, které se otevře, zadejte „cmd“ a stiskněte Enter. Po spuštění příkazového řádku nebudete moci okamžitě používat Wget, jako je tomu v OS Linux; nejprve musíte určit umístění souboru wget.exe.

Soubor wget.exe se nachází v adresáři bin v instalačním adresáři. Příkaz path se používá k určení souboru.

Nyní můžete spustit Wget, nejprve si můžete prohlédnout výstup příkazu help se seznamem další možnosti.

Seznam dalších možností pro utilitu Wget je pod spoilerem.

Výstup wget -h

GNU Wget 1.11.4, program pro stahování souborů ze sítě v režimu offline. Použití: wget [OPTION]... ... Povinné argumenty pro dlouhé volby jsou také vyžadovány pro krátké volby. Spustit: -V, --version vytiskne verzi Wget a skončí. -h, --help zobrazí tuto nápovědu. -b, --background se po spuštění přepne do režimu pozadí. -e, --execute=COMMAND vykoná příkaz ve stylu `.wgetrc".- Protokolování a vstupní soubor: -o, --output-file=SOUBOR zapisuje zprávy do SOUBORU. -a, --append-output=připojení SOUBORU zprávy do konce SOUBORU -d, --debug výstup velkého množství ladicích informací -q, --tichý tiše (žádný výstup) -v, --verbose verbose output (výchozí) -nv, --no-verbose vypnout detailní režim , ale ne úplně. -i, --input-file=FILE načte adresy URL nalezené v FILE. -F, --force-html předpokládá, že vstupní soubor je HTML. -B, --base=URL přidat adresy URL na začátek relativních odkazů v souboru e -F -i Načtení: -t, --tries=NUM nastaví POČET opakování (neomezeno 0) --retry-connrefused opakování, i když je připojení odmítnuto -O, --output-document= SOUBOR zápis dokumentů do SOUBORU - nc, --no-clobber přeskočit stahování, která by vedla ke stahování existujících souborů -c, --pokračovat ve stahování částečně staženého souboru a --progress=TYPE vyberte typ ukazatele průběhu -N , --timestamping nestahovat znovu soubory, pokud nejsou novější než místní -S, --server-response výstupní odpověď serveru --spider nic nestahovat -T, --timeout=SECONDS nastavit hodnoty všech výstupů časového razítka v SECONDS --dns-timeout =SEC nastavit časový limit vyhledávání DNS v SEKUNDÁCH --connect-timeout=SEC nastavit časový limit připojení v SEKUNDÁCH --read-timeout=SEC nastavit časový limit čtení v SEKUNDÁCH . -w, --wait=SECONDS pauza v SECONDS mezi načtením. --waitretry=SECONDS pauza 1..SECONDS mezi opakovanými pokusy o stažení. --random-wait pauza 0...2*WAIT sekund mezi stahováním. --no-proxy explicitně zakáže proxy. -Q, --quota=NUMBER nastaví hodnotu kvóty stahování na NUMBER. --bind-address=ADRESA se váže na ADRESU (název hostitele nebo IP) místního hostitele. --limit-rate=SPEED limit RYCHLOST stahování. --no-dns-cache zakáže ukládání do mezipaměti vyhledávacích dotazů DNS. --restrict-file-names=Omezení OS na znaky ve jménech souborů, jejichž použití OS povoluje. --ignore-case Ignorovat malá a velká písmena při porovnávání souborů a/nebo adresářů. -4, --inet4-only připojit pouze k IPv4 adresám. -6, --inet6-only připojit se pouze k IPv6 adresám. --prefer-family=FAMILY Nejprve se připojte k adresám zadané rodiny, může to být IPv6, IPv4 nebo nic. --user=USER nastaví ftp i http uživatele na USER. --password=HESLO nastaví hesla ftp i http na PASSWORD. Adresáře: -nd, --no-directories nevytváří adresáře. -x, --force-directories vynutí vytvoření adresářů. -nH, --no-host-directories nevytváří adresáře jako na hostiteli. --protocol-directories Použít název protokolu v adresářích. -P, --directory-prefix=PREFIX ukládat soubory do PREFIX/... --cut-dirs=NUM ignoruje POČET komponent vzdáleného adresáře. Možnosti HTTP: --http-user=USER nastaví uživatele http na USER. --http-password=PASSWORD nastavte heslo http na PASSWORD. --no-cache zahodí data uložená v mezipaměti serveru. -E, --html-extension ukládá HTML dokumenty s příponou `.html". --ignore-length ignoruje pole záhlaví `Content-Length'. --header=LINE vloží ŘÁDEK mezi záhlaví. --max-redirect maximální povolený počet přesměrování na stránku. --proxy-user=USER nastaví USER jako uživatelské jméno pro proxy. --proxy-password=PASSWORD nastaví PASSWORD jako heslo pro proxy. --referer=URL zahrnout do požadavku HTTP hlavičku `Referer: URL'. --save-headers uloží HTTP hlavičky do souboru. -U, --user-agent=AGENT se identifikuje jako AGENT místo Wget/VERSIY - -no-http-keep-alive zakázat HTTP keepalive (trvalá připojení) --no-cookies nepoužívají soubory cookie --load-cookies=SOUBOR načíst soubory cookie ze SOUBORu před relací --save-cookies=SOUBOR uložit soubory cookie v Post- session FILE --keep-session-cookies načítá a ukládá soubory cookie relace (netrvalé) --post-data=STRING použití Metoda POST; odesílání STRING jako data. --post-file=SOUBOR použít metodu POST; odeslání obsahu do FILA. --content-disposition Při výběru názvů pro lokální soubory vezměte v úvahu hlavičku Content-Disposition (EXPERIMENTÁLNÍ). --auth-no-challenge Odešle základní ověřovací data HTTP bez čekání na odpověď ze serveru. Možnosti HTTPS (SSL/TLS): --secure-protocol=Vyberte zabezpečený protokol: auto, SSLv2, SSLv3 nebo TLSv1. --no-check-certificate Nekontrolovat certifikát serveru. --certificate=SOUBOR soubor uživatelského certifikátu. --certificate-type=TYPE typ uživatelského certifikátu: PEM nebo DER. --private-key=SOUBOR soubor soukromého klíče. --private-key-type=TYPE typ soukromého klíče: PEM nebo DER. --ca-certificate=Soubor SOUBOR se sadou CA. --ca-directory=Adresář CAT, kde je uložen seznam CA. --random-file=Soubor SOUBOR s náhodnými daty pro SSL PRNG. --egd-file=SOUBOR definující soket EGD s náhodnými daty. Možnosti FTP: --ftp-user=USER nastaví uživatele ftp na USER. --ftp-password=HESLO nastaví heslo ftp na PASSWORD. --no-remove-listing neodstraní soubory ze souborů `.listing'. --no-glob zakáže masky pro názvy souborů FTP. --no-passive-ftp zakáže "pasivní" režim přenosu. --retr-symlinks when načítání rekurzivních souborů přes odkazy (nestáhlo ogs). --preserve-permissions zachovává přístupová práva ke vzdáleným souborům. Rekurzivní načítání: -r, --rekurzivní umožňuje rekurzivní načítání. -l, --level=NUMBER hloubka rekurze (inf a 0 - nekonečno) --delete-after delete místní soubory po stažení. -k, --convert-links vytvoří odkazy lokální v načteném HTML. -K, --backup-converted proveďte před převodem souboru X záložní kopie X.orig. -m, --mirror je krátká volba ekvivalentní k -N -r -l inf --no-remove-listing. -p, --page-rekvizity Načte všechny obrázky atd. potřebné k zobrazení stránky HTML. --strict-comments umožňují striktní (SGML) zpracování HTML komentářů. Oprávnění/zákazy pro rekurzi: -A, --accept=LIST seznam povolených rozšíření oddělených pětiny. -R, --reject=SEZNAM seznam zakázaných rozšíření oddělených pětiny. -D, --domains=SEZNAM seznam povolených domén oddělených čárkami. --exclude-domains=SEZNAM seznam zakázaných domén oddělených čárkami. --follow-ftp sledovat FTP odkazy v HTML dokumentech. --follow-tags=SEZNAM seznam použitých značek HTML tagy, oddělené čárkami. --ignore-tags=SEZNAM seznam ignorovaných HTML tagů oddělených čárkami. -H, --span-hosts zadá cizí hostitele během rekurze. -L, --relative následuje pouze relativní odkazy. -I, --include-directories=SEZNAM seznam povolených adresářů. -X, --exclude-directories=SEZNAM seznam vyloučených adresářů. -np, --no-parent nepřechází do nadřazeného adresáře.

Normální kopírování a vkládání (Ctrl+C, Ctrl+V) v příkazovém řádku Windows nefunguje. Kopírování textu z příkazového řádku Řetězce Windows, stačí vybrat požadovaný text a stisknout Enter.

Chcete-li vložit text do příkazového řádku, musíte kliknout pravým tlačítkem myši na okno příkazového řádku, vybrat podnabídku „Upravit“ a poté provést požadovaný příkaz. Kopírování a vkládání značně usnadňuje práci s příkazovým řádkem Windows.

Podívejme se na několik příkladů použití nástroje Wget.

Řekněme, že potřebujeme stáhnout nějaký soubor, ať je to titulní obrázek tohoto článku. Chcete-li to provést, stačí zadat adresu URL (odkaz) požadovaný soubor, například takto.

Někdy si Wget může stěžovat na „certifikáty podepsané sebou samým“ při použití odkazů HTTPS, ačkoli samotné certifikáty jsou v pořádku, v takovém případě musíte použít další možnost „--no-check-certificate“.

Jpg --no-check-certifikát

Když normálně voláte příkazový řádek Windows, soubor se uloží do uživatelského adresáře C:\Users\Username. Pokud je třeba soubor uložit do konkrétního adresáře, musí být specifikován pomocí dalšího přepínače "-P", nechť je to testovací adresář na jednotce C (C:\test).

Jpg --no-check-certifikát

Pokud musí být soubor uložen do konkrétního adresáře, existuje jednodušší způsob uložení souboru bez zadávání dalších možností. Přejděte do požadovaného adresáře přes Průzkumník Windows, podržte klávesu Shift a klikněte pravým tlačítkem na oblast adresáře a v nabídce, která se otevře, vyberte „Otevřít příkazové okno“.

Příkazový řádek, který se otevře, bude vypadat takto.

Spusťte příkaz path a zadejte umístění wget.exe.

Cesta C:\Program Files (x86)\GnuWin32\bin

Nyní bude vše uloženo do této složky.

Představme si, že máme soubor se seznamem odkazů, které je potřeba stáhnout. Nechť je to soubor test.txt umístěný v uživatelském adresáři C:\Users\Username s následujícím obsahem.

Jpg https://site/wp-content/uploads/2017/04/wp..jpg https://site/wp-content/uploads/2017/03/MariaDB..jpg

Dodatečný klíč "-i" bude označovat umístění souboru - C:\Users\Username\test.txt a všechny soubory ze seznamu budou uloženy.

Wget -i C:\Users\Username\test.txt --no-check-certificate

Chcete-li stáhnout celý web, stačí zadat jeho adresu s minimem potřebná sada možnosti, například.

L, --level=NUMBER hloubka rekurze (inf a 0 - nekonečno). -k, --convert-links vytvoří odkazy lokální v načteném HTML. -p, --page-rekvizity načte všechny obrázky atd. potřebné k zobrazení stránky HTML. -t, --tries=NUMBER nastaví POČET opakování (0 bez omezení).

Ve výsledku tak získáme hotové zrcadlo webu, které bude fungovat autonomně na počítači, díky konverzi odkazů pro lokální použití webu.

Ale řekněme, že nepotřebujeme celý web, ale pouze tento článek. V tomto případě bude příkaz ke stažení vypadat takto.

Wget -r -l 10 -t 5 -k -p -np https://site/install-wordpress/ --no-check-certificate Přidejte k předchozímu příkazu další příkaz.

Kombinací sady přídavných možnosti v příkazech Wget mohou dosáhnout různých výsledků. Vyzkoušejte si tedy vše sami a prozkoumejte možnosti utility.

Zdálo by se, že ve světě, kde polovina světové populace aktivně používá počítače a je zvyklá na stylová grafická rozhraní a jejich bohaté možnosti, už pro textové aplikace není místo. Asi před 20 lety bylo počítačové rozhraní hrozným černým panelem, který nezobrazoval nic jiného než sadu bílých znaků, a veškeré ovládání bylo prováděno pomocí textových příkazů. Kupodivu, jak jsou tyto programy ošklivé, jsou stejně funkční a spolehlivé.

Co je Wget?

Wget (také nazývaný GNU Wget Linux) je konzolová neinteraktivní aplikace pro práci se soubory a webovými stránkami. V podstatě se jedná o program pro stahování souborů z internetu, vyznačující se absencí grafického rozhraní a řadou funkcí pro správu, které nejsou pro modernější řešení typické.

Program vyvinul chorvatský inženýr Hrvozi Niksic a nyní jej podporuje Giuseppe Scrivano a linuxová komunita. První sestavení nástroje (tehdy ještě nazývané GetURL) bylo představeno v lednu 1996. Program byl napsán v programovacím jazyce C a publikován pod licencí GNU. Nástroj byl původně vydán na platformě Linux. Postupem času byl nástroj přeložen do mnoha jazyků a portován na všechny populární platformy, včetně Wget pro Windows 7 (a novější), Wget pro MacOS a tak dále.

Tento program není interaktivní, což znamená, že žádný proces běžící v rámci jeho možností nelze převzít pod kontrolu, lze jej řídit samotným přístupem k ovládacím prvkům operačního systému.

Navzdory skutečnosti, že moderní prohlížeče mají obvykle vestavěný prohlížeč, jsou stále navrženy pro interaktivní interakci, tedy fungující v manuální režim se stává obtížným. Wget naopak umožňuje automatizovat řadu procesů. Je možné se například připravit předem Textový dokument se seznamem webových stránek, pomocí kterých si můžete stáhnout několik souborů a stránek najednou.

Hlavní funkce programu

Především se však jedná o program pro stahování souborů, což objasňuje jeho hlavní funkci.

Wget si může stáhnout jakýkoli materiál z internetu, ať už jde o dokumenty, výkonné soubory nebo celé webové stránky. HTML formát(Podle různé protokoly). Soubory lze stahovat z adresářů pomocí

Klient může provádět rekurzivní stahování v automatický režim následováním odkazů v rámci konkrétní webové stránky (nebo několika webových stránek) při obnovení původní struktury webové stránky. Stažené webové stránky je možné prohlížet bez přístupu k síti (ve výchozím nastavení načteny jako adresy pro online prohlížení).

Wget byl původně navržen pro pomalé a nestabilní typy připojení, takže jeho důležitou funkcí je schopnost obnovit přerušené stahování souboru (toto je možné, pokud server podporuje hlavičky RANGE). Wget může také sledovat stav serverů (jejich dostupnost) pro další stahování a aktualizace (Wget kontroluje záhlaví souborů a udržuje nejnovější verzi) souborů a webových stránek.

Program má také řadu funkcí typických pro tzv. spider utility, které zkoumají různé webové stránky a servery na přítomnost určitých souborů.

Podporované platformy

Wget Linux se stal základem pro tento produkt. Jak bylo uvedeno výše, nástroj zpočátku fungoval pouze na Linuxu, ale rychle si získal popularitu a byl přizpůsoben pro jiné systémy. Najdete zde například verzi Wget pro Windows 7 a modernější operační systémy a existují sestavy s grafickým rozhraním. Pokud jde o Linux, program je často zabudován do distribuce. Terminály na některých sestaveních Linuxu nativně podporují příkazy Wget. Ubuntu, Fedora, openSUSE a další spotřebitelské distribuce pracují s programem, jak se říká, hned po vybalení. Dále se podívejme na program podrobněji.

Příkazy Wget: seznam hlavních parametrů

V základní seznam týmy zahrnují:

• -V - umožňuje zjistit, která verze programu je aktuálně používána;
• -h - ukazuje nejvíce úplný seznam příkazy pro práci s aplikací;
• -b - umožňuje umístit program na pozadí;

Seznam možností zpráv

Příkazy Wget vám umožňují zcela ovládat zobrazované informace. Zde je jejich seznam:

• -o logfile - vytvoří log soubor, ve kterém je zaznamenán celý proces aplikace;
• -a logfile - umožňuje přidat do existujícího log souboru místo vytváření nového;
• -d - zobrazuje informace potřebné pro vývojáře a debugger (pomáhá řešit problémy a opravovat chyby v klientovi);
• -q - zakáže zobrazování zpráv;
• -v - tato možnost je ve výchozím nastavení povolena, poskytuje podrobnou zprávu o všech procesech probíhajících v programu (v reálném čase);
• -nv - výrazně snižuje množství informací, které uživatel dostává ve zprávách. Zůstávají pouze nejnutnější data a chybová upozornění;
• -i soubor (označující cestu k souboru) - příkaz umožňuje skenovat soubor, extrahovat z něj odkaz a stáhnout jej; můžete použít soubory různých formátů, včetně HTML, ale pokud použijete tento příkaz, neměli byste zadávat cestu k souboru na příkazovém řádku;
• -f - způsobí, že program načte soubor jako HTML; při použití tohoto příkazu pro práci s místním HTML dokument, může dojít k chybě, abyste se jí vyhnuli, stačí uvést v dokumentu .

Seznam možností spouštění

Základní příkazy pro práci s Wget. Zde je jejich základní sada:

• --bind-address=ADRESA - tento příkaz umožňuje předat vázaná data na ADRESU místního počítače. Při použití TCP/IP spojení je nutné příkazem přesně specifikovat IP adresu (pokud jich je více).
• -t číslo (musíte zadat číslo) - umožňuje uživateli vybrat, kolikrát se bude stahování opakovat. Abyste se vyhnuli opakování, měli byste zadat číselnou hodnotu rovnou nule.
• -nc - tento příkaz umožňuje vrátit předchozí stav staženého souboru, pokud dojde k selhání sítě a stahování je přerušeno. Pokud nepoužijete jeden z příkazů pro dodatečné stahování (-N, -nc, -r), pak Wget vytvoří jeho kopii a začne stahovat znovu. Volba -r umožňuje nahradit existující soubory.
• -c - také pomáhá znovu stáhnout soubor v případě ztráty připojení (a když se Wget přestal pokoušet obnovit připojení sám). Tento příkaz stačí zadat před odkazem na soubor. Pokud je v používaném adresáři nalezen podobný soubor, Wget jej identifikuje a automaticky rozhodne, zda jej stáhnout znovu. Příkaz lze použít pouze na serverech, které podporují záhlaví RANGE.

• --progress - umožňuje vybrat typ zobrazení průběhu stahování. Můžete zadat -progress=bar nebo progress=tečka.
• --spider - nahradí příkaz ke stažení souboru kontrolou jeho přítomnosti na serveru;
• -w (v sekundách) - určuje dobu pauzy mezi stahováním.
• -q (uvádí se v kilobajtech nebo megabajtech) - umožňuje jasně regulovat velikost stahovaných dat a omezit nadměrné objemy. Je však třeba poznamenat, že bude stažen jeden soubor bez ohledu na nastavenou kvótu (to znamená, že tato možnost nebude fungovat s jedním souborem, ať je jakkoli těžký).

Seznam parametrů HTTP

• --http-user= a --http-passwd= - umožňují zadat přihlašovací jméno a heslo pro autorizaci na webovém zdroji, ze kterého budou soubory staženy.
• -C = on/off - umožňuje povolit nebo zakázat ukládání dat do mezipaměti na straně serveru.
• --cookies = on/off - totéž jako pro cache, pouze pro cookies. Umožňuje buď zastavit nebo obnovit výměnu dat souborů cookie, nutné pro server k udržování statistik návštěvnosti. Ve výchozím nastavení je tato možnost povolena, ale soubory cookie se na váš pevný disk neukládají.
• --save-cookies - umožňuje uložit cookies(pouze nová data).
• --proxy-user a -proxy-passwd - umožňuje zadat přihlašovací jméno a heslo pro autorizaci na proxy serveru (pokud je povoleno).

Seznam možností FTP

Pokročilé možnosti práce s Wget. FTP příkazy:

• -nr - zakazuje mazání dočasných souborů z adresáře .listing, které se spontánně generují při práci s FTP;
• -g on/off - umožňuje nástroji používat speciální znaky v adresářích FTP;
• --passive-ftp - tento příkaz lze použít, pokud máte bránu firewall k aktivaci pasivního režimu FTP (když je uživatel odpovědný za navázání připojení k serveru).

Příkazy Wget: příklady použití

Nejjednodušším a nejběžnějším příkladem pro práci s programem je samozřejmě stahování souborů. Chcete-li otestovat příkazy Wget, můžete začít jednoduše, najít odkaz na soubor v síti a zadat do konzole/terminálu: Wget *odkaz udávající přesnou a úplnou cestu k souboru*.

Chcete-li pokračovat ve stahování souboru, použijte: Wget -c *odkaz označující přesnou a úplnou cestu k souboru*.

Co se týče načítání webových stránek, vše je poněkud složitější, ale zároveň se výrazně zvyšuje počet možností. Abyste znovu nezadávali parametry pokaždé, když je potřeba načíst webovou stránku, můžete vytvořit skripty nebo zapsat všechna nastavení do souboru .wgetrc.

Chcete-li zpřístupnit stejnou stránku pro prohlížení bez připojení k internetu, můžete použít příkaz Wget -r -10 -k *odkaz označující přesnou a úplnou cestu k souboru*.

Wget format error command not found může znamenat jakýkoli překlep a nesprávně zadaný parametr.

Úvod do GNU Wget

GNU Wget je bezplatný softwarový balíček pro načítání souborů pomocí HTTP, HTTPS, FTP a FTPS nejrozšířenějších internetových protokolů. Je to neinteraktivní nástroj příkazového řádku, takže jej lze snadno volat ze skriptů, úloh, terminálů bez podpory X-Windows atd.

GNU Wget má mnoho funkcí, které usnadňují načítání velkých souborů nebo zrcadlení celého webu nebo FTP stránek, včetně:

• Může obnovit přerušená stahování pomocí a
• Může používat zástupné znaky názvu souboru a rekurzivně zrcadlit adresáře
• Soubory zpráv založené na NLS pro mnoho různých jazyků
• Volitelně převádí absolutní odkazy ve stažených dokumentech na relativní, takže stažené dokumenty mohou na sebe odkazovat lokálně
• Běží na většině operačních systémů podobných UNIXu a také na Microsoft Windows
• Podporuje HTTP proxy
• Podporuje HTTP cookies
• Podporuje trvalá připojení HTTP
• Bezobslužný provoz/provoz na pozadí
• Používá místní časová razítka souborů k určení, zda je třeba dokumenty při zrcadlení znovu stáhnout
• GNU Wget je distribuován pod GNU General Public License.

Zdrojový kód pro GNU Wget lze nalézt zde nebo na našich mirrorech.
Další možnosti stahování najdete v FAQ.

Dokumentace

Dokumentaci GNU Wget naleznete zde.
Návody k dalším GNU balíčkům najdete na www.gnu.org.

dodatečné informace

V současné době se vyvíjí GNU Wget2.
Pomozte nám, pokud můžete, s testováním, dokumenty, organizací, vývojem, … uvidíme se na webu spolupráce Wget2

Udržovatel

GNU Wget v současnosti spravují Tim Rühsen, Darshit Shah a Giuseppe Scrivano.
Původním autorem GNU Wget je Hrvoje Nikšić.
Prosím dělat ne přímo kontaktujte některého z těchto jednotlivců s hlášeními o chybách nebo žádostmi o pomoc s Wget: k tomu slouží konference; prosím použijte jej místo toho.

Dárci

Děkujeme partnerovi TYPO3 & Magento AOE media za příspěvek na projekt wget.

wget - PÁN STAŽENÍ
(STAHOVÁNÍ SOUBORŮ A STRÁNEK Z INTERNETU DO GNU/LINUX)

O lásce bylo zpíváno tolik písní,
Budu zpívat, budu zpívat pro tebe, ještě jeden...

Romantika z filmu "Tři přátelé"

Úkol: Chci Teleport Pro a FlashGet pro Linux, stahování stránek a souborů.

Řešení: objevit wget- je to vše v jedné lahvičce a ještě více.

Často nejprve hledají množství grafické programy s několika tlačítky - ale existuje jeden nástroj, který je může nahradit a poskytnout funkce, které nikde jinde nenajdete.

Tento wget a vše, co je na něm založeno. Zvládnutí tohoto nástroje vyžaduje určité úsilí a alespoň rychlé přečtení návodu, ale na oplátku získáte výkonný nástroj, který ušetří váš čas a provoz.

Stojí to za to říct muž wget Na první pohled působí drtivým dojmem, ale pak si uvědomíte, že ne všechny možnosti jsou potřeba pro každodenní použití. Níže jsou uvedeny možnosti, které používám nejčastěji.

Použití aplikace FlashGet pro Linux

Stačí si soubor stáhnout a/nebo pokračovat ve stahování, které bylo přerušeno. To je velmi, velmi snadné provést napsáním několika řádků do terminálu.

Stačí si stáhnout soubor pomocí wget:

$ wget ftp://vasya.pupkin.com/film.avi

Další možnost: část souboru byla stažena, stahování bylo přerušeno.

Chcete-li pokračovat ve stahování souboru, napište:

$ wget -c ftp://vasya.pupkin.com/film.avi nebo $ wget --continue ftp://vasya.pupkin.com/film.avi

Místo -c můžete napsat -continue, protože každá klávesa má krátký a dlouhý tvar: dlouhé klávesy se snadněji pamatují, ale déle se zapisují. Můžete snadno kombinovat různé formy psaní.

Stažení souborů ze seznamu obsahujícího přímé odkazy:

$ wget -i pupkinlist nebo $ wget --input-file=pupkinlist

Pouze zde uvedeno soubor, který obsahuje odkazy. Soubor může být také html stránka, která obsahuje odkazy.

Okna. Instalace wget na Windows XP/7/8/8.1/10

Budou odčerpány výše uvedeným příkazem.

Použití aplikace „Teleport Pro pro Linux“

Při stahování webových stránek je více možností, a proto je potřeba více klíčů. Opět si je nemusíte všechny pamatovat; můžete vytvořit scénář (nebo ještě lépe několik pro různé příležitosti) a zavolat je.

Zrcadlení webů do místního počítače:

$ wget -m http://www.vasyapupkin.com/

Kopírování webu pro místní prohlížení:

$ wget -r -l0 -np -k http://www.vasyapupkin.com/

V tomto případě bude povoleno rekurzivní nahrávání (přepínač -r, --recursive), tedy nejen soubory s domovská stránka, ale i všechny ostatní, na které odkazy vedou (přepínač -l0 nekonečné vnořování odkazů).

Názvy odkazů budou pro snadnější prohlížení převedeny na místní (přepínač -k). Také pomocí přepínače -np (no-parrent) můžete zabránit tomu, aby wget vzrostl nad počáteční adresu při rekurzivním načítání, tedy pokud zkopírujete http://home.vasyapupkin.com/ a poté použijete odkazy z hlavního webu http://www. vasyapupkin.com/ nebudou zkopírovány.

Několik užitečných kláves

Zahrnutí a vyloučení souborů během nahrávání:

Acclist nebo --accept acclist -R rejlist nebo --reject rejlist

Určuje vzory názvů oddělených čárkami, které mají být načteny (acclist) nebo ignorovány (rejlist).

K nebo --convert-links

Převádí absolutní odkazy (např. http://www...) na relativní (např. file///home/vasya/www/index.html) pro snadné místní prohlížení. Chcete-li staženou stránku zobrazit lokálně v prohlížeči, otevřete v prohlížeči soubor index.html a procházejte odkazy stejným způsobem, jako byste byli připojeni k internetu.

H nebo --span-hosts

Umožňuje wget stáhnout data z libovolné adresy, která má odkaz v požadovaném dokumentu.

P nebo --požadavky stránky

Načte všechny soubory potřebné pro zobrazení html stránky. Například: obrázky, zvuk a kaskádové styly. Po dokončení stahování převede odkazy v dokumentu pro offline prohlížení. To platí nejen pro viditelné odkazy na jiné dokumenty, ale i pro odkazy na všechny externí lokální soubory.

siteget – jednoduchý skript pro stahování stránek

Pokud jste unaveni ze všech těchto moudrostí s klíči wget a stačí si stáhnout stránku siteget určitě se vám to bude líbit. Jedná se o celkem jednoduchý skript s potřebnými parametry pro načtení webu.

Skript si můžete stáhnout odtud. Po stažení do počítače má smysl jej zkopírovat v režimu superuživatele do jednoho z adresářů zadaných v proměnné $PATH: operační systém automaticky v nich vyhledá spustitelné soubory. Například do adresáře /user/local/bin:

# cp (adresář, kde je skript umístěn)/siteget /user/local/bin/siteget

Skript je také potřeba přiřadit atribut spustitelný soubor:

# chmod a+x /usr/local/bin/siteget

Používání siteget velmi jednoduché:

$ siteget http://www.vasyapupkin.com/

Katedra biblických studií MDA, 2008.
Poslední aktualizace:
Internetová adresa: http://www.bible-mda.ru/soft/wget/wget.html

Prostě Stáhnout soubor wget:

wget ftp://vasya.pupkin.com/film.avi

Pro pokračování přerušeného stahování píšeme:

wget -c ftp://vasya.pupkin.com/film.avi

wget --pokračovat ftp://vasya.pupkin.com/film.avi

Stejně jako v jiných programech mají klíče krátký a dlouhý tvar a lze je místo toho zapisovat. Dlouhé klávesy se snáze pamatují, ale jejich psaní trvá déle. Můžete snadno kombinovat různé formy psaní.

Na stáhnout soubory ze seznamu obsahující přímé odkazy:

wget -i pupkinlist.txt

wget --input-file=pupkinlist.txt

Zde je uveden pouze soubor obsahující odkazy. Soubor může být také stránkou obsahující odkazy. Budou odčerpány výše uvedeným příkazem.

Použití programu „Teleport Pro pro Linux“.

Při stahování webových stránek je více možností, a proto je potřeba více klíčů.

Opět si je nemusíte všechny pamatovat; můžete vytvořit scénář (nebo ještě lépe několik pro různé příležitosti) a zavolat je.

Pokud tedy máte webovou stránku a chtěli byste mít její místní kopii na svém počítači, abyste si ji po odpojení od sítě mohli přečíst bez spěchu.

Zrcadlení webů do místního počítače:

wget -m http://www.vasyapupkin.com/

ekvivalentně jsou tyto možnosti popsány níže.

Kopírování webu pro místní prohlížení (nahrazení internetových odkazů místními adresami stažených stránek):

wget -r -l0 -k http://www.vasyapupkin.com/

V tomto případě bude povoleno rekurzivní nahrávání (přepínač -r, –rekurzivní),

Wget má velké množství užitečných možností – více než příznaky Teleportu. Díky tomu, že je například zabalený do skriptu a umístěn na nápadném místě (označeno v), máme snadné použití a spoustu nastavení.

Při rekurzivním načítání nepřekračujte počáteční adresu.

Zapnout rekurzivní procházení adresářů a podadresářů vzdálený server.

Definujte maximální hloubku rekurze rovnou hloubce při procházení adresářů na vzdáleném serveru. Výchozí hloubka=5.

Při hledání souborů nepřecházejte do nadřazeného adresáře. Toto je velmi užitečná vlastnost, protože zajišťuje, že se zkopírují pouze soubory pod určitou hierarchií.

Čárkami oddělený seznam názvů souborů, které by se měly (přijmout) nebo neměly (odmítnout) stáhnout. Je povoleno specifikovat názvy souborů pomocí masky.

Wget pro Windows. Instalace a použití.

Převeďte absolutní odkazy v dokumentu na relativní odkazy. Převedou se pouze odkazy, které ukazují na skutečně načtené stránky; zbytek nebude převeden. Všimněte si, že až na konci práce bude wget schopen zjistit, které stránky byly skutečně načteny. Konečná konverze se tedy provede až na konci wget.

Zadejte uživatelské jméno a heslo na -server.

Umožňuje navštívit libovolné servery, na které existuje odkaz.

Nahrajte všechny soubory potřebné k zobrazení stránek. Například: obrázky, zvuk, kaskádové styly (). Ve výchozím nastavení se takové soubory nestahují. Parametry a specifikované společně mohou pomoci, ale protože... wget nerozlišuje mezi externími a interními dokumenty, není zaručeno, že bude staženo vše potřebné.

Odkazy

Informace o programu

Wget je konzolový nástroj pro stahování souborů pomocí protokolů HTTP, FTP a proxy připojení.

wget pro Windows

Program umožňuje kopírovat jednoduché html stránky při zachování adresářové struktury. Umožňuje vyhledávat a zpracovávat data robots.txt a může převádět odkazy pro následný offline přístup. Obsahuje nástroj pro porovnání záhlaví souborů pro stahování nových verzí a vytváření zrcadlových kopií.

Aplikace podporuje obnovení práce v případě chyby nebo přerušení spojení, rekurzivní skok označující masku názvu a hloubku následujících odkazů. Umět se přihlásit FTP server, připojte se na pozadí a zabezpečte weby https.

Program je schopen udržovat podrobný protokol a je optimálním nástrojem pro vytváření zrcadel vzdáleného úložiště nebo webových zdrojů a streamování kopírování dat ze serverů FTP.

Stáhněte si plnou ruskou verzi Wget zdarma z oficiálních stránek bez registrace a SMS.

Požadavky na systém

• Podporované OS: Windows XP, 7, 10, 8, Vista, 8.1
• Bitová hloubka: 32 bitů, x86, 64 bitů

Wget - konzolový downloader pro stahování stránek a jeho použití ve Windows

wget je konzolová utilita pro stahování souborů/stránek; dokáže stahovat soubory rekurzivně, automaticky pomocí odkazů.

tým	Popis
wget http://example.com/soubor.zip	stažení souboru file.zip do aktuálního adresáře
wget -P /cesta/k/uložení http://example.com/soubor.zip	stažení souboru file.zip do adresáře /path/to/save
wget -c http://example.com/soubor.zip	obnovení souboru file.zip v případě přerušení
wget -O arch.zip http://example.com/soubor.zip	stažení souboru.zip a uložení jako arch.zip
wget -i soubory.txt	stahování souborů ze seznamu v files.txt
wget --tries=10 http://example.com/soubor.zip	počet pokusů o stažení
wget -Q5m -i http://example.com/	kvóta pro maximální velikost stahovaných souborů, kvóta platí pouze pro rekurzivní stahování (-r)
wget --save-cookies cookies.txt --post-data 'username=proft&password=1' http://example.com/auth.php	identifikace na serveru s ukládáním cookies pro pozdější přístup
wget --user-agent=»Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, jako Gecko) Chrome/19.0.1084.9 Safari/536.5″ http://example.com/	Indikace User Agent
echo 'wget http://example.com/file.zip' | ve 12:00	stáhněte si http://example.com/file.zip ve 12:00 do aktuálního adresáře
wget ftp://example.com/dir/*.zip
wget http://example.com/dir/file(1..10).zip	stahování všech souborů pomocí šablony
wget -S http://example.com/	výstupní hlavičky HTTP serveru a odpovědi FTP serveru
wget --spider -i urls.txt	kontrola dostupnosti odkazů v souboru
wget -b http://example.com/soubor.zip	stahování souboru na pozadí se log zapíše do wget.log, wget.log.1 atd.
exportovat http_proxy=http://proxy.com:3128/;wget http://example.com/soubor.zip	stahování souboru *file.zip* přes proxy
wget -m -w 2 http://example.com/	zrcadlení webu při zachování absolutních odkazů a čekání 2 sekund mezi požadavky
wget --limit-rate=200k http://example.com/soubor.zip	omezení rychlosti stahování
wget -R bmp http://example.com/	nestahujte soubory bmp
wget -A png,jpg http://example.com/	stahujte pouze soubory png a jpg

Příklad použití pro stahování dokumentace Django:

• - postupujte podle odkazů (rekurzivní stahování)
• — převést odkazy na místní pohled
• — stažení zdrojů potřebných k zobrazení html stránky (styly, obrázky atd.)
• - hloubka stahování, 0 - nekonečné vnořování odkazů
• - nepřepisujte existující soubory
• - nestoupejte nad počáteční adresu při rekurzivním načítání

Často používaný wget Parametry lze umístit do ~/.wgetrc.

curl je konzolový nástroj pro přenos dat pomocí syntaxe URL; podporované protokoly jsou DICT, FILE, FTP, FTPS, Gopher, HTTP, HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMTP, SMTPS, Telnet a TFTP.

tým	Popis
curl http://proft.me	získat obsah hlavní stránky
curl -o index.html http://proft.me	obsah hlavní stránky dostaneme do souboru index.html
curl -L http://example.com	při přijímání obsahu stránky postupujte podle přesměrování (pokud existují)
curl -u uživatelské jméno:heslo http://example.com/login/	získání stránky skryté za základním ověřováním HTTP
curl -x proxy.com:3128 http://proft.me	získání stránky pomocí proxy
kudrna -já profit.me	získat http hlavičky z webu
curl -H ‘Hostitel: google.ru’ http://proft.me	nahradit doménu při přístupu na server (přenos vaší hlavičky)
curl --request POST "http://example.com/form/" --data "pole1=hodnota1&pole2=hodnota2"
curl -X POST "http://example.com/form/" --data "pole1=hodnota1&pole2=hodnota2"	přenos dat prostřednictvím požadavku POST
curl -X POST -H "Content-Type: application/json" -d '"title":"Commando","year":"1985" http://example.com/api/movies/	přenos dat prostřednictvím požadavku POST, data ve formě JSON
curl --request PUT "http://example.com/api/movie/1/" --data "title=DjangoUnchained"	přenos dat pomocí požadavku PUT
kadeř -F [e-mail chráněný]-F submit=OK http://example.com/upload/	nahrání souboru file.zip do formuláře (multipart/form-data)
curl -u uživatelské jméno:heslo -O ftp://example.com/soubor.zip	stáhnout soubor z FTP
curl -u uživatelské jméno:heslo -T soubor.zip ftp://example.com/	nahrát soubor přes FTP
curl --cookie "login=proft" http://example.com/login/	nastavit cookies
curl --cookie-jar cookies.txt http://example.com	ukládání cookies do souboru
curl --cookie cookies.txt http://example.com/login/	používání uložených cookies

Dodatečné čtení