Benutzer-Werkzeuge

Webseiten-Werkzeuge


de:sysadmin:tools:wget-web-spider

wget Web Spider

Inhalte einer Website mit wget holen und statisch speichern.

wget -o wget.$(date +%Y%m%d_%H%M).log -U WgetSpider -m https://www.example.com/test/

-o logfile

-U useragent

-m mirror (ziehe die ganze seite)

Achtung: Bei größeren Seiten dauert das länger. Eventuell können auch Server und Datenbank belastet werden …

TIPP: Wenn es länger dauert, in einer Screen-Session laufen lassen.

de/sysadmin/tools/wget-web-spider.txt · Zuletzt geändert: 2019-10-02 01:15 von hella

Seiten-Werkzeuge