Forum: Mikrocontroller und Digitale Elektronik Kamera gestützten Roboterfinger zum Touchscreen bedienen


von Apoka L. (apoka_l)


Lesenswert?

Hallo zusammen,
Erst einmal Danke für das Forum, was mir persönlich während meiner 
Studiums Phase sehr viel geholfen hat.
Schnell was zu mir: Ich bin zur zeit auf der Suche nach einem 
Roboterarm(-finger) Konzept um Touchscreen zu bedienen. Ich bin während 
meiner Suche auf verschiedene Konzept-Beispiele gestoßen, sind aber sehr 
teuer zu kaufen, da sie von Firmen konzipiert wurden.
Ich bin dann auf die Idee gekommen, alles selber zu Bauen bzw. zu 
programmieren. Auf YouTube bin auf ein Video gestoßen, wo ein 
Roboter-Finger mit Hilfe einer 2D Führung, zwei Linearen Motoren und ein 
Rasperry Pi ( vermutte ich ) automatisch ein auf ein Handyspiel zocken. 
Die Kamera von Mobitech ( basiert auf OCR (Optical Character Recognition 
) , die auch in Verbindung mit uC ist, stellt die Informationen dar, 
bzw. erkennt die Muster ( Farbige Kugeln ).
 langer Rede kurzer Sinn : Ich brauche Ihre Unterstützung um das Konzept 
nachzubauen bzw. zu programmieren.
1: Wie kann ich so ein Roboter programmieren ?
2: Welche Mikrocontroller können Sie mir empfehlen um Schrittmotor bzw. 
Linearen Motor zu programmieren?
3: Welche Kamera zur Bild Erkennung können Sie mir Empfehlen?

Ich hoffe ich konnte gut erklären was mein Problem ist.
hier sind die Zwei  links vom Konzept was ich nachbauen will:
https://www.youtube.com/watch?v=gMySGU0J7Ss

https://www.youtube.com/watch?v=KP3BxubiECw

Bitte um Hilfe und vielen Dank im voraus

Liebe Grüße an Alle
cristapha

von Stefan F. (Gast)


Lesenswert?

> 1: Wie kann ich so ein Roboter programmieren ?

Kommt drauf an, aus welchen Komponenten der Roboter besteht und welche 
Programmiersprache sie beherrschen. Wenn sie keine passende 
Programmiersprache beherrschen, müssen Sie es erst erlernen oder einen 
Programmierer beschäftigen.

> 2: Welche Mikrocontroller können Sie mir empfehlen um Schrittmotor bzw.
Linearen Motor zu programmieren?

Jeder Mikrocontroller eignet sich zur Steuerung von Motoren. Wenn Sie 
schon Mikrocontroller verwendet haben, liegt es nahe, bereits bekannte 
Typen erneut einzusetzen.

> 3: Welche Kamera zur Bild Erkennung können Sie mir Empfehlen?
Jede Kamera erfasst Bilder. Sie sollten zunächst die Anforderungen an 
die Kamera ermitteln, zum Beispiel was Auflösung, Lichtempfindlichkeit, 
Objektiv und Abmessungen angeht. Für digitale Verarbeitung eigenen sich 
kameras mit digitalem Ausgang prinzipiell besser, als Kameras mit 
analogem Ausgang.

Mikrocontroller sind in der Regel nicht zur Auswertung von 
Kamera-Bildern geeignet, wegen der beschränkten Rechenleitung und 
Speichervermögen. Ich rate dazu, dies mit einem PC zu machen, und den 
mit dem Mikrocontroller zu vernetzen.

Man kann auch ein Smartphone als Kamera verwenden und die Software zur 
Auswertung auf dem Smartphone laufen lassen.

Mit den mageren Angaben sind konkretere Vorschläge nicht möglich.

von Rufus Τ. F. (rufus) Benutzerseite


Lesenswert?

Apoka L. schrieb:
> Ich bin zur zeit auf der Suche nach einem Roboterarm(-finger) Konzept um
> Touchscreen zu bedienen.

Was ist der tiefere Sinn?

Wäre es nicht einfacher, der Touchscreen-Auswertelektronik die Bedienung 
vorzugaukeln?

von Apoka L. (apoka_l)


Lesenswert?

Hallo Zusammen,

vielen Dank erst mal für Ihr Vorschläge.
Meine Idee ist ein Roboter-"Finger" zu programmieren. Das heißt der 
Roboter soll an anhand einer Kamera die Bilder erkennen und erfassen. 
Z.B als Startbedienung soll mein Smartphone am Sperrbildschirm sein, das 
bedeutet dass meine Kamera erkennen soll dass ich mich im 
Sperrbildschirm befinde ( durch einlernen der Kamera)und durch mein 
Roboterfinger soll mein Handy entsperrt werden, Z.B beim iphone von 
links nach rechts ziehen und das nächste Bild erkennen , in dem Fall PIN 
Eingabe , als nächstes die Ziffern erkennen und den Richtigen PIN 
eingeben usw.
Das ganze Prozess soll automatisch laufen.
Wie auf dem Link zu sehen wie es allgemein Funktionen soll.

Hallo Stefan,

ich programmiere schon mit C, C++. Mit Arduino habe ich auch schon damit 
programmiert.


Danke euch alle im voraus

von Stefan F. (Gast)


Lesenswert?

> ich programmiere schon mit C, C++. Mit Arduino habe
> ich auch schon damit programmiert.

Dan nimm das, ist sicher geeignet - abgesehen von der Bildauswertung.

von jibi (Gast)


Lesenswert?

aber warum das Ganze?

GRuß J

von Matthias S. (Firma: matzetronics) (mschoeldgen)


Lesenswert?

Wenn du dir eine Plotclock bastelst, hast du schon eine grossen Teil der 
Mechanik abgefrühstückt:
https://www.youtube.com/results?search_query=Arduino+Plot+Clock

von Apoka L. (apoka_l)


Lesenswert?

jibi schrieb:
> aber warum das Ganze?
>
> GRuß J

Hallo Jibi,

auf was bezieht sich " das Ganze".
https://www.youtube.com/watch?v=gMySGU0J7Ss

https://www.youtube.com/watch?v=KP3BxubiECw

hier sind zwei Videos

von Dieter F. (Gast)


Lesenswert?

jibi schrieb:
> aber warum das Ganze?

Gefundene Smartphones aktivieren um den Besitzer zum Zweck der Rückgabe 
zu ermitteln?

von jibi (Gast)


Lesenswert?

Ah...bruteforce angriffe

von Joachim B. (jar)


Lesenswert?

jibi schrieb:
> Ah...bruteforce angriffe

auf EC Automaten?

von Apoka L. (apoka_l)


Lesenswert?

Dieter F. schrieb:
> jibi schrieb:
>> aber warum das Ganze?
>
> Gefundene Smartphones aktivieren um den Besitzer zum Zweck der Rückgabe
> zu ermitteln?

Nein natürlich nicht !

ein Smartphone war nur ein Beispiel.
Ziel dieser Arbeit ist dass zum Beispiel die Kamera wissen soll wo sie 
in welcher Untermenü sich befindet und an Hand dieser Bilderkennung soll 
programmiert werden welche schritt der Roboterfinger muss machen damit 
er zum Startmenüs kommt (als Beispiel).

von Jan (Gast)


Lesenswert?

jibi schrieb:
> Ah...bruteforce angriffe

Wird schlecht gehen. Die meisten Phones erlauben PINs zwischen 4 und 8 
Ziffern, aber eben nur eine bestimmte Anzahl von Versuchen. Die 
Wartezeit zwischen den Versuchen wird immer länger und schließlich wird 
das Phone entweder ganz gesperrt oder automatisch gelöscht. Apple lag ja 
gerade im Clinch mit der US-Regierung wegen eines gesperrten iPhones, 
das niemand entsperren konnte.

von Apoka L. (apoka_l)


Lesenswert?

Jan schrieb:
> jibi schrieb:
>> Ah...bruteforce angriffe
>
> Wird schlecht gehen. Die meisten Phones erlauben PINs zwischen 4 und 8
> Ziffern, aber eben nur eine bestimmte Anzahl von Versuchen. Die
> Wartezeit zwischen den Versuchen wird immer länger und schließlich wird
> das Phone entweder ganz gesperrt oder automatisch gelöscht. Apple lag ja
> gerade im Clinch mit der US-Regierung wegen eines gesperrten iPhones,
> das niemand entsperren konnte.

Ich glaube dass Sie mich falsch verstanden haben oder ich habe mich 
nicht gut ausgedrückt.
Mir geht's nicht um das iphone zu bedienen oder sonst irgend ein Handy 
sondern  mir geht darum dass meine Kamera erkennt irgend ein Muster (von 
mir aus ein Kreis oder Rechteckt) und dass der Mikrokontroller diese 
Information weiterbearbeiten kann, der ein Roboter ansteuert. :-)

von Blackbird (Gast)


Lesenswert?

>> ... sondern  mir geht darum dass meine Kamera erkennt irgend ein Muster
>>(von
>> mir aus ein Kreis oder Rechteckt) und dass der Mikrokontroller diese
>> Information weiterbearbeiten kann, der ein Roboter ansteuert ...

Das bringt es doch schon auf den Punkt:
- Bilderkennung/Mustererkennung
- 3D-Steuerung einer Mechanik (mit Bildkontrolle)

Da aber keiner Deiner Bilder kennt, ist es Dir überlassen, was Du dem µC 
(wohl besser einen PC) anlernen musst.

Die Steuerung eines "Roboter-Zeigefingers" ist das nächste (dicke) Ding. 
Das könnte separat per µC geschehen und über eine (von Dir zu 
gestaltende) Schnittstelle bedient werden. Aber bei den von Dir 
erhofften Geschwindigkeiten, Positionsgenauigkeiten und Umwelteinflüssen 
(Licht, Erschütterung beim Berühren, nachgiebige Untergründe) wird es 
wohl auch nicht ohne PC (-Power) gehen.

Die Hardware ist vermutlich das kleinste Problem.

Blackbird

von Apoka L. (apoka_l)


Lesenswert?

Blackbird schrieb:
>>> ... sondern  mir geht darum dass meine Kamera erkennt irgend ein Muster
>>>(von
>>> mir aus ein Kreis oder Rechteckt) und dass der Mikrokontroller diese
>>> Information weiterbearbeiten kann, der ein Roboter ansteuert ...
>
> Das bringt es doch schon auf den Punkt:
> - Bilderkennung/Mustererkennung
> - 3D-Steuerung einer Mechanik (mit Bildkontrolle)
>
> Da aber keiner Deiner Bilder kennt, ist es Dir überlassen, was Du dem µC
> (wohl besser einen PC) anlernen musst.

genau richtig!
Meine Idee wäre erstmal auf meinem Handy anlernen zu können, damit mein 
Kamera z.b apps erkennt.
> Die Steuerung eines "Roboter-Zeigefingers" ist das nächste (dicke) Ding.
> Das könnte separat per µC geschehen und über eine (von Dir zu
> gestaltende) Schnittstelle bedient werden. Aber bei den von Dir
> erhofften Geschwindigkeiten, Positionsgenauigkeiten und Umwelteinflüssen
> (Licht, Erschütterung beim Berühren, nachgiebige Untergründe) wird es
> wohl auch nicht ohne PC (-Power) gehen.
>
> Die Hardware ist vermutlich das kleinste Problem.

wenn du denkst dass die Hardware das kleinste Problem ist, würde gern 
paar Tipps von dir hören weil ich einigermaßen auch unter zeit Druck 
steh und soll das Konzept erstellen.

Vielen Dank im voraus

>
> Blackbird

von Draco (Gast)


Lesenswert?

Dann fang mal hier an:

https://de.wikipedia.org/wiki/OpenCV

von Blackbird (Gast)


Lesenswert?

>> wenn du denkst dass die Hardware das kleinste Problem ist, würde gern
>> paar Tipps von dir hören weil ich einigermaßen auch unter zeit Druck
>> steh und soll das Konzept erstellen.

Weil es "Roboterarme" schon gibt, vom Spielzeug 
(http://www.pearl.de/a-NC1426-4410.shtml;jsessionid=k26B42AA5FB9D5392EAD791325CD867AE) 
bis zum Profigerät 
(http://www.kuka-robotics.com/germany/de/products/industrial_robots/small_robots/).

Dazwischen gibt es noch diverse Baupläne und Teile von guten Bastlern 
und Kleinherstellern.

Software, die Bildverarbeitung kann, gibt es auch
Software zum Ansteuern von "Roboterarmen" gibt es auch.

Was es nicht gibt, sind Deine Wünsche als Software:

>> ... Z.B als Startbedienung soll mein Smartphone am Sperrbildschirm >> >> sein, 
das
>> bedeutet dass meine Kamera erkennen soll dass ich mich im
>> >> Sperrbildschirm befinde ( durch einlernen der Kamera)und durch mein
>> Roboterfinger soll mein Handy entsperrt werden, Z.B beim iphone von
>> links nach rechts ziehen und das nächste Bild erkennen , in dem Fall
>> PIN
>> Eingabe , als nächstes die Ziffern erkennen und den Richtigen PIN
>> eingeben usw.

Da mußt Du Dir noch allerhand einfallen lassen. Eben ein Konzept 
erstellen, wie Du das richtig erkannt hast.

Besonders, wenn Du diese Forderung hast:

>> Das ganze Prozess soll automatisch laufen.

Das wird nicht einfach.

Blackbird

von Sli M. (maroheim)


Lesenswert?

Hallo zusammen und vielen Dank für ihre Unterstützung,

also ich habe schon ein Konzept gefunden und zwar mit einem uC ( 
raspberry PI). Jetzt mein nächster Schritt wäre, einen Software, die 
Bildverarbeitung kann und Roboter ansteuern kann , gibt es so was ?
 Kann mir jemand sagen wie ich anhand einer Kamera Positionen oder 
Koordinaten von Objekte erkennen und bestimmen ?

ich freue mich auf eine baldige und positive antworte

danke im voraus ^^

von Sebastian W. (johndoe82)


Lesenswert?

Hallo,

Ich bin über google auf diesen post gestoßen. Ich denke gerade für 
geplante automatisierte Systemtests von Geräten mit Touchscreen über ein 
ähnliches System nach.

Waren Sie mit Ihrem Projekt erfolgreich?

Viele Grüße
Sebastian

: Bearbeitet durch User
Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.