User Tools

Site Tools


de:sysadmin:tools:wget-web-spider

wget Web Spider

Inhalte einer Website mit wget holen und statisch speichern.

wget -o wget.$(date +%Y%m%d_%H%M).log -U WgetSpider -m https://www.example.com/test/

-o logfile

-U useragent

-m mirror (ziehe die ganze seite)

Achtung: Bei größeren Seiten dauert das länger. Eventuell können auch Server und Datenbank belastet werden …

TIPP: Wenn es länger dauert, in einer Screen-Session laufen lassen.

de/sysadmin/tools/wget-web-spider.txt · Last modified: 2019-10-02 01:15 by hella

Page Tools

Mastodon Twitter