Hallo Nachdem ich mit HTTrack nicht zu Lösung komme, da es nicht in der Lage ist auf Formular Buttons zu klicken, suche ich einen neuen Weg: Auf einer Webseite sind Daten zum Download angeboten. Über ein Formularfeld kann ich im Browser z.b. das Datum und den Bereitsteller des Datensatzes auswählen. Da ich die Datensätze von min. 4 Bereitstellern und davon die Tagesdaten eines Jahres benötige, müsste ich, nach Adam Riese, 1460 mal klicken. Gibt es eine Software, oder ein Browser Plugin, womit ich dies vereinfachen kann? Danke und Gruß Kolja
das kommt ganz auf das formular an. wenn die erforderlichen daten statisch sind bzw. einfach generiert werden können (z.b. datum), dann wäre z.b. bash + curl eine option. alternativ jede beliebige programmiersprache die sockets unterstützt (egal ob c(++|#)?, java, erlang, scala, php, python, ruby oder eine der gefühlten million anderern programmiersprachen. allerdings sind die lösungen immer von den erforderlichen eingabedaten (Formular) abhängig...
eventuell kommst du mit selenium ide (firefox plugin sammlung + script-sprache zum generieren der einzelnen schritte) auch an das ziel
Perl hat sehr schoene Plugins dafuer (www::mechanize und formfiller dazu usw)
David .. schrieb: > Perl hat sehr schoene Plugins dafuer (www::mechanize und formfiller dazu > usw) Nachtrag: http://www.linux-magazin.de/Ausgaben/2004/03/Datenruessel
Ups, vergessen zu sagen das ich Windows Nutzer bin :-)
Wenn du die Seite nennst, kann ich villeicht ein Skript dafür schreiben. Du kannst es mir auch Anonym auf meine Tor E-Mail anonymus@2hebxlrp74gknsz2.onion schicken. (ja, jetzt bin ich deanonymisiert, aber ich krige sonst einfach keine Mails)
Na und? Nur weil in der URL linux-magazin steht ist PERL doch nicht auf Linux beschraenkt, das sollte alles genauso unter Windows laufen
Schick eine Mail an den Webmaster, ober Dir das schicken kann. wendelsberg
Kolja L. schrieb: > Da ich die Datensätze von min. 4 Bereitstellern und davon die Tagesdaten > eines Jahres benötige, > müsste ich, nach Adam Riese, 1460 mal klicken. Wenn man 1 Klick / Sekunde annimmt, dann dauert das nicht mal eine halbe Stunde. Tool suchen, installieren, einarbeiten ist wesentlich zeitraubender ...
Es gibt verschiedene Plugins für den FF die ein Remote-Control über TCP erlauben, es gibt sogar eine eingebaute Remote Web Console (die man im about:config aktivieren muss) die einem erlaubt per TCP zu verbinden und dann beliebiges JavaScript im Context des Browsers oder der Webseite auszuführen. Damit müsste es möglich sein was zu scripten. Damit kannst Du sogar den mobilen Firefox auf dem Handy vom PC aus komplett fernsteuern wenn ich das richtig gelesen habe (nicht selber probiert)
Das wohl mächtigste Tool ist IMacros als Addon für Firefox. Viele Scriptbeispiele der eigenen Scriptsprache, Aufnehmen von Makros die man dann mit For oder Loop Schleifen sogar bis hin zu csv Daten reagieren lassen kann..
:
Bearbeitet durch User
Lies Dir mal hier durch und schau nach was die Seite macht: https://de.wikipedia.org/wiki/Hypertext_Transfer_Protocol#HTTP-Request-Methoden Im RFC stehen dann noch mehr Details. Mit wget und passendem Script sollte es gehen. Gibt's auch für WinXYZ z.B. https://de.wikipedia.org/wiki/Cygwin Andere Varianten sind ja schon genannt worden. Man könnte auch den Sourcecode parsen, wahrscheinlich wird da zuviel JS drin sein oder gar FLASH ...
Hallo, wenn Du mit C# umgehen kannst, kann ich Dir die Bibliothek Watin http://watin.org/ empfehlen. Ich benutze diese Bibliothek schon seit geraumer Zeit um WebSeiten fern zu steuern. Gruß Frank
Super für sowas sind z.B. http://casperjs.org/ (sh. http://docs.casperjs.org/en/latest/modules/casper.html#click) und http://scrapy.org/
Zu Imacros hab ich sogar ne kleine Geschichte.. Ich habe mal meine Schwester gefragt wie die Ihre Daten Sammeln.. sie sagte dann das sie in Onlineshops nach artikelnummern suchen, einen Beweisscreenshot machen und den neuen Preis in die Datenbank einpflegen.. Ich wusste nach diversen PHP Bots für Onlinespiele das es garnicht so schwer ist wenn man das System kennt. Mit IMacros habe ich dann eine komplettlösung als Script für viele parallele Shops mit den Verschiedensten Post und GetVars in nur 3 Stunden fertig gemacht(war einfacher als php oder curl).. es musste nur durch eine CSV mit ShopID und Artikelnummernspalte gefüttert werden. Die Screenshots wurden dazu auch noch sauber abgespeichert. Wurde zwar nie genutzt weil das 10 Wochenstunden gespart hätte aber es hat geklappt.
Philipp K. schrieb: > Wurde zwar nie genutzt weil das 10 Wochenstunden gespart hätte aber es > hat geklappt. Na dort müssen ja ausgewachsene Voll-Spezialisten am Ruder gestanden haben. Wie lange hat die Firma existiert?
Bernd K. schrieb: > Na dort müssen ja ausgewachsene Voll-Spezialisten am Ruder gestanden > haben. Wie lange hat die Firma existiert? Du wirst es kaum glauben, es gibt Marktforschungsunternehmen, da haben die Mitarbeiter nix anderes zu tun als Bundesweite Wurf-Prospekte in die Datenbank einzutippern und diese dann zu verkaufen. So weiß Aldi was letzte Woche Bundesweit alles bei Penny im Angebot war.
Thread beobachten
Seitenaufteilung abschaltenBitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.