de:sysadmin:tools:wget-web-spider
wget Web Spider
Inhalte einer Website mit wget holen und statisch speichern.
wget -o wget.$(date +%Y%m%d_%H%M).log -U WgetSpider -m https://www.example.com/test/
-o logfile
-U useragent
-m mirror (ziehe die ganze seite)
Achtung: Bei größeren Seiten dauert das länger. Eventuell können auch Server und Datenbank belastet werden …
TIPP: Wenn es länger dauert, in einer Screen-Session laufen lassen.
Links
gilt für alle Tipps, Tricks & Spickzettel:
dies sind einfache, teils banale Notizen für meinen persönlichen Gebrauch,
die hier eher zufällig auch öffentlich lesbar sind
(vielleicht hilft es ja jemandem weiter). Verwendung auf eigene Gefahr 
Fehler-Hinweise, Dankesschreiben 
, etc. bitte an: web.21@unixwitch.de
weitere Tools / Spickzettel
de/sysadmin/tools/wget-web-spider.txt · Zuletzt geändert: 2019-10-02 01:15 von hella
