Servus, ich will Webseite auf mein Rechner kopieren , aber nur ein Teil oder Bereich Zb.: von: /index.php?route=product/product&product_id=1 bis: /index.php?route=product/product&product_id=1000 Ich will nicht komplette Webseite kopieren! Und suche dazu ein passendes Programm, habe jetzt 3 getestet: teleport, HTTrack und WebCopier, mit den kann man komplett Webseite wunderbar kopieren, aber keine Teilbereiche wie oben erwähnt. Kennt jemand zufällig ein Programm (Webspider) mit dem ich nur Teilbereiche kopieren kann?! Gruß
Ich würd dir mal wget ans Herz legen. Wenn es nur um eine Zahl geht kann man das sicher mit Bash durch steppen. Das könnt ein anstoß sein: https://www.reddit.com/r/HowToHack/comments/7o28sp/any_ideas_how_to_download_this_pdf/
Danke. Kann ich damit auch die Webseite inkl html und css speichern, oder nur bestimmte Dateien? würde das so gehen? $(echo -e $'wget http://www.webseite.de//index.php?route=product/product&product_id='{000..999}';) Ich bin gerade dabei Bash für win10 zu installieren.
so meine ich:
1 | $(echo -e $'wget http://www.webseite.de/index.php?route=product/product&product_id='{000..999}') |
Ich hab versucht, hat leider mit Bash und wget nicht funktioniert.
1 | wget --page-requisites --span-hosts --convert-links --adjust-extension http://www.www.xxxxx.xx/productdetails.php?product_id={37560..37570} |
Cannot write to ‘www.xxxxx.xx/productdetails.php?product_id=37565.html’ (Success). --2018-01-21 00:15:25-- http://www.xxxxx.xx/productdetails.php?product_id=37566 Connecting to www.xxxxx.xx (www.xxxxx.xx)|xxx.xx.xxx.xx|:80... connected. HTTP request sent, awaiting response... 200 OK Length: unspecified [text/html] www.xxxxx.xx/productdetails.php?product_id=37566.html: No such file or directory Cannot write to ‘www.xxxxx.xx/productdetails.php?product_id=37566.html’ (Success). --2018-01-21 00:15:26-- http://www.xxxxx.xx/productdetails.php?product_id=37567 Connecting to www.xxxxx.xx (www.xxxxx.xx)|xxx.xx.xxx.xx|:80... connected. HTTP request sent, awaiting response... 200 OK Length: unspecified [text/html] www.xxxxx.xx/productdetails.php?product_id=37567.html: No such file or directory
mit wget geht nicht, aber mit curl geht es:
1 | start=37550; |
2 | end=37560; |
3 | for var_name in $(seq $start $end); do |
4 | curl -o ordner/"$var_name"produkte.html http://www.xxxxx.xx/productdetails.php?product_id="$var_name" |
5 | done |
und wer noch im login bereich was kopieren will Zb. seine Bestellungen, muss sich mit Firefox einlogen, dann die Cookies kopieren mit "als cURL Adresse kopieren" : https://stackoverflow.com/questions/12399087/curl-to-access-a-page-that-requires-a-login-from-a-different-page hier Beispiel, es werden 2 Bestellungen 855 und 856 kopiert:
1 | start=855; |
2 | end=856; |
3 | for var_name in $(seq $start $end); do |
4 | curl -o ordner/"$var_name"-bestellungen.html http://www.xxxx.xx/index.php/my-account/view-order/"$var_name"/ -H "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8" --compressed -H "Accept-Language: de,en-US;q=0.7,en;q=0.3" -H "Connection: keep-alive" -H "Cookie: comment_author_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx=S_Service; comment_author_email_xxxxxxxxxxxxxxxxxxxxxxxxx=xxx-xx"%"40xxxx.xxx; wordpress_test_cookie=WP+Cookie+check; wordpress_logged_in_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx" -H "Host: www.xxxx.xx" -H "Referer: http://www.xxxxx.xx/index.php/my-account/" -H "Upgrade-Insecure-Requests: 1" -H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0" |
5 | done |
Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.