Forum: Markt Suche c't bot


von Random .. (thorstendb) Benutzerseite


Lesenswert?

Hi, hat noch jemand einen vollständigen c't bot liegen und möchte den 
abgeben? Hab 2007 meine Diplomarbeit mit dem Ding gemacht (Portierung 
nach Luminary Cortex-M3), und die HW war eig. recht nett.

Oder jemand einen Vorschlag für ein anderes schönes Spielzeug, wo ggf. 
schon ein Cortex-M drauf werkelt?

von Max P. (eizo)


Lesenswert?

Falls du über diesen Weg keinen findest, ein Vorschlag: Dank 3D Druckern 
kannst du die Mechanik eigentlich fast komplett drucken. Du findest im 
Netz die Abmessungen der ganzen Teile (Grundplatte, Motor-Winkel, Alu 
Räder, Sensor Mounts...). Kurz im CAD designen, dabei kannst du gleich 
den ganzen alten Kram raus schmeißen.

Beispiel: Die alten Sharp Abstandssensoren will doch keiner mehr nutzen, 
da gibt es ja mittlerweile mit TOF Sensoren oder gar kleinen Lidar 
deutlich bessere Lösungen, kannst du gleich im 3D Druck die Montage auf 
neue Sensoren abändern. Das gleiche eventl. beim (nicht mehr 
lieferbaren?!?) Motor und auch bei den Batterien. Statt mehrere AA 
Zellen einfach kleinen Lipo rein. Die Platine brauchst du eh nicht wenn 
du auf ARM umsteigen willst. So ein Hexenwerk war die Platine auch 
nicht... Den Maus Sensor wirst du wohl auch nur noch schwer bekommen...

von David P. (xxdavidpxx)


Lesenswert?

Hast ne PN ;)

von Random .. (thorstendb) Benutzerseite


Lesenswert?

Max P. schrieb:
> Dank 3D Druckern
> kannst du die Mechanik eigentlich fast komplett drucken.

Hi, danke für den Tipp, aber ich habe keinen 3D Drucker und suche eher 
einen Komplettsatz zum Spielen :-)
Da war der c't bot eig. recht nett und liess sich recht einfach auf ein 
Cortex-M Board umstöpseln.

von Markus W. (dl8mby)


Lesenswert?

Hallo zusammen,

ich suche auch einen c't bot. Allerdings habe ich unter diesen
Terminus was anderes verstanden und deshalb diesen Thread besucht.

Ich brauch ein Programm, das mir hilft automatisiert die pdf Artikel
des c't Magazins downzuloaden. Z.Z. mache ich das von Hand, was etwas
lästig ist. Im Prinzip brauche ich einen Klick auf die nächste 
Web-Seite,
Suche des Links PDF und dann speichern unter.

Gibt es so was? könnt Ihr was empfehlen.

Ansonsten bitte ich um Entschuldigung für den etwas anderen Beitrag.

Aber vielleicht verirren sich hier auch  andere hin, die genau dieses
Wissen bereits haben.

LG
Markus

von Random .. (thorstendb) Benutzerseite


Lesenswert?

David P. schrieb:
> Hast ne PN ;)

Vielen Dank für das neue Spielzeug, ist heute angekommen, super 
verpackt!

von Christoph F. (chfrnz)


Lesenswert?

Markus W. schrieb:
> Ich brauch ein Programm, das mir hilft automatisiert die pdf Artikel
> des c't Magazins downzuloaden.

Sowas macht man sich am besten selber, weil die Zeitungsleute die 
Angewohnheit haben, den Aufbau der Seiten/Namen/… dann und wann zu 
ändern.

Hier ein Beispiel aus meinem „Abholprogramm“ für die Aachener Zeitung, 
die versenden täglich eine E-Mail mit einem Link drin, der nur einen Tag 
lang gilt.

Mein E-Mail-Programm lasse ich also ein Shellscript aufrufen, das den 
Text durchsucht und das Herunterladen mit „wget“ automatisiert:
1
URL=`grep 'https:\/\/epaper.*aachen.*\.de\/.*\.pdf' $1|sed -e 's/.*<a h.r.e.f.=\"//' -e 's/\">Jetzt herunterladen<\/a>.*//'`
(alles 1 Zeile)

Die Punkte aus „h.r.e.f.“ müssen weg, das Forum hält das für Spam, wenn 
ich es richtig schreibe.

„grep“ findet anhand unveränderlicher Namensbestamdteile die Zeile mit 
dem aktuellen Dateinamen (https://wo-auch-immer/Name.pdf), „sed“ 
schneidet den aus der Zeile aus, indem alles davor und alles dahinter 
„weggeschmissen“ wird, der Rest steht danach in der Variable „URL“.

Dann abholen:
1
wget -c -N "$URL"
Ich benenne die seltsam benannte Datei dann noch mit dem Abhol-Datum um.

Wenn es bei Dir keine E-Mail ist, sondern eine Webseite, wo Du den Link 
drauf findest, halt 2 Mal „wget“: erst Seite laden, wo's steht, daraus 
„extrahieren“, dann wie gehabt Herunterladen.

Das paßt jetzt nicht mehr nach „Markt“, ich weiß aber auch nicht, ob/wie 
man das ändern könnte.

Grüße, Christoph

: Bearbeitet durch User
von Markus W. (dl8mby)


Lesenswert?

Danke Christoph für Deinen Hinweis.

Leider ist bei der C't dieser Ansatz nicht praktikabel.
Moderne Seiten haben oft zufällige Suffixe bei den Links,
die einen simplen Download via Skript verhindern.

Man muss im DOM Objekt der Seite navigieren und die entsprechenden
Stellen z.B. mittels jquery selektieren, dann kann man eventuell
den gefundenen Link ansetzen und downloaden.

In meinem Fall muss man dann zur nächsten Seite des Magazins
navigieren um dann erneut den PDF Link anspringen um dessen
Inhalt herunterzuladen.

Dies wiederholt sich über 60+x mal, bis man den Inhalt komplett
herunter geladen hat.

Für diesen Zweck wird ein Python oder Ruby Skript besser geeignet
sein als die Bash.

Früher, bei einfacheren Seitenaufbau, habe ich sowas mit Perl und
Mechanize gemacht, das den Browser-Zugriff imitiert.

Ich habe bis jetzt noch keine Muse gefunden mir ein Skript selber zu
Schreiben, da ich mich in diese Thematik erst einfuchsen müsste
und deshalb hier Forum angefragt.

Eventuell hat ja jemand noch einen anderen Vorschlag, wie dieses
Problem angegangen werden kann.

LG
Markus

: Bearbeitet durch User
von Christoph F. (chfrnz)


Lesenswert?

Zufallselemente sind ja egal; solange man was mit „Unterscheidungswert“ 
findet, das das Gesuchte von bunten Bildchen und Werbe-Einblendungen 
abhebt, kriegt man das auch per regulärem Ausdruck zu packen.

Genau weil die heutzutage fast alle immer komplizierteren JS-Driß 
veranstalten und den dann auch noch alle Nase lang ändern, wirst Du kaum 
was vorgefertigtes finden.

„JDownloader“ gibt es zwar für genau diesen Anwendungsfall, aber der 
„generische Ansatz“ funktioniert selten so recht, so daß man für jeden 
Spezialfall ein „Plugin“ braucht und die gibt es dann aus naheliegenden 
Gründen nur für besonders beliebte Seiten, also Youtube und Consorten 
und drölfzig Phantastillionen Anbieter einschlägiger Ab-18-Filmchen.

Das Programm wäre aber einen Blick wert; wenn man da bei Heise alle 
Artikel einzeln laden muß oder so ähnlich, könnte es zumindest DAS 
automatisieren. Also so in der Art: „von Hand“ anmelden und zu der 
gewünschten Seite mit den JS-versauten Links gehen, deren URL dann zum 
JDownloader kopieren und der sucht dann alle PDF-Dateien oder was auch 
immer und holt die automatisch.

Da kann man auch Filter drin basteln, die beispielsweise „heise.de“ 
erkennen und dann den richtigen Ziel-Ordner einstellen und Nicht-Artikel 
ausfiltern.

Christoph

von Uli S. (uli12us)


Lesenswert?

Es gibt doch genug Webseiten, wo man sich die komplette Ausgabe als PDF 
runterladen kann. Dauert natürlich aufgrund der Dateigrösse einige Zeit, 
aber das stört hoffentlich nicht weiter.

Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.