KI Vogelspotter - welche Hardware?

[Jemin K. (jkam)]

Ich würde gern ein System bauen, was ich an bestimmten Biotopen 
abstellen kann, und welches mit einer Weitwinkelkamera die Umgebung 
beobachtet, und sobald es einen Vogel sieht, eine Telekamera (also 
beides normale günstige Kameras wie zB Raspberry Kameras, nichts großes) 
die auf einem Servo-Gimbal hockt auf den Vogel ausrichtet und ihn 
verfolgt um ein paar Bilder zu machen.
Aus dem Bildern kann ich dann später automatisiert die Arten bestimmen, 
die dort vorkommen, ohne dass jemand lange da rumsitzen muss.
Die Frage ist jetzt: welche Hardware bietet sich dafür an? Raspberry 
oder Jetson? Es sollte halt möglichst wenig Energie verbrauchen, so dass 
es mit einem Akku ein paar Tage durchhält. Trotzdem muss es natürlich 
schlau genug sein, einen Vogel zu erkennen, denn die meisten dunklen 
Punkte die umherfliegen sind einfach nur Insekten. Und das Feedback muss 
schnell genug sein, dass es dir Hauptkamera auf den Vogel ausrichten 
kann...

[Jörg R. (solar77)]

Ich hole schon mal Popcorn und Limo...

[Jemin K. (jkam)]

Meinst Du das bringt was? Ich denke nicht. Auf Siliziumbasis wird die 
Hardware schon sein müssen...

[Arduino F. (Firma: Gast) (arduinof)]

Hmmm....

Vielleicht ist ein "Sipeed Maix M1W Dock" das richtige für dich.
Immerhin hat es Kamera, Mikrofon und KI Engine on Board

[Max G. (l0wside)]

Ich hätte gerne salziges Popcorn und ein Pils dazu.

Zum TO: Fange erst mal mit Garten/Hinterhof an. Besorge dir einen 
Raspberry mit Kamera und google nach „OpenCV Bird Detection.“

Wenn das läuft und du automatisch zählen kannst, wie viele Vögel am Tag 
bei dir herumfliegen, melde dich wieder.

Bin gespannt, ob der TO sich noch mal meldet.

[Rainer W. (rawi)]

Jemin K. schrieb:
> Auf Siliziumbasis wird die Hardware schon sein müssen...

GaAs ist schneller

[Matthias S. (Firma: matzetronics) (mschoeldgen)]

Sowas gibts tatsächlich schon und wird derzeit im Probebetrieb an 
Windkraftanlagen ausprobiert. Das Setup soll Vögel erkennen und bei 
geschützten Arten (im Bericht wars logischerweise der Rotmilan) in der 
Nähe das Windrad stillegen. Gesehen hab ichs, glaube ich, bei 'Nano'.

[Holger T. (holgert)]

Kamera nicht nötig, die Vögel "verraten" sich durch ihre Laute/Gesang.

https://www.raspberrypi.com/news/classify-birds-acoustically-with-birdnet-pi/

Ist bei mir seit über einem Jahr in 7/24 auf einem RasPi 4 im Einsatz. 
(Im Anhang ein Diagramm von eben). Einfach am Biotop mal ausprobieren.
Gruß

[Martin S. (sirnails)]

Holger T. schrieb:
> Kamera nicht nötig, die Vögel "verraten" sich durch ihre Laute/Gesang.

Ein interessanter Ansatz, aber als Nutzer von Merlin stelle ich fest, 
dass die akustische Erkennung eher eine 2- bis 3+ verdient.

> https://www.raspberrypi.com/news/classify-birds-acoustically-with-birdnet-pi/
>
> Ist bei mir seit über einem Jahr in 7/24 auf einem RasPi 4 im Einsatz.
> (Im Anhang ein Diagramm von eben). Einfach am Biotop mal ausprobieren.
> Gruß

Wohnst Du am Wasser? Ich sehe überhaupt keinen Haussperling und auch der 
Zipzalp ist verhältnismäßig selten bei Dir, die Saatkrähe gar nicht. 
Dabei sind Zipzalp und Haussperling die mit häufigsten Vögel bei uns.

[Jemin K. (jkam)]

Das mit der Vogellaute-Klassifizierung ist mir natürlich bekannt. Meine 
Idee kommt aber unter anderem daher, dass ich einen Waldkauz habe, der 
in meiner Kiefer gelegentlich vorbeischaut. Vielleicht einmal pro Monat. 
Dass er dabei aber Laute von sich gibt ist ein höchst seltenes Ereignis. 
Wenn man Bilder aller Vögel hat, schließt man eben diesen bias in den 
Daten aus, dass Arten die viel vokalisieren auch viel detektiert werden, 
aber andere übersehen. Außerdem ist es bei einem Bild einfacher später 
draufzuschauen und es manuell zu checken. Wenn drei Vögel singen und im 
Hintergrund vielleicht eine vierte Art zu hören ist, naja, das ist halt 
dann so eine Sache. Dass man einen Kuckuck klassifiziert bekommt, daran 
zweifle ich ja nicht.

[Max G. (l0wside)]

Die Anforderung wird jetzt klarer. Ich würde trotzdem vorschlagen, dass 
du erst mal kleinere Brötchen backst und versuchst, mit Kamera, 
Raspberry und openCV das zu finden, was täglich auftaucht. Ob man mit 
OpenCV auch die Vogelart bestimmen kann, weiß ich nicht, aber mindestens 
grob sollte es schon gehen.

Wenn die Erkennung von Vögeln (d.h. Vogel vorhanden oder kein Vogel 
vorhanden) zuverlässig funktioniert, kannst du im zweiten Schritt 
versuchen, die Vögel automatisch zu bestimmen. Wenn du Amseln, Meisen, 
Tauben und Spatzen herausfilterst, kannst du den Rest vermutlich 
komplett fotografieren und musst die Ergebnisse dann eben per Hand 
sichten.

Möglicherweise brauchst du für dein Vorhaben eine besser auflösende 
Kamera als die Standard-RPi-Kamera. Auch das sollte ein lösbares Problem 
sein.

Viel Erfolg!

[Ein T. (ein_typ)]

Jemin K. schrieb:
> Ich würde gern ein System bauen, was ich an bestimmten Biotopen
> abstellen kann, und welches mit einer Weitwinkelkamera die Umgebung
> beobachtet, und sobald es einen Vogel sieht, eine Telekamera (also
> beides normale günstige Kameras wie zB Raspberry Kameras, nichts großes)
> die auf einem Servo-Gimbal hockt auf den Vogel ausrichtet und ihn
> verfolgt um ein paar Bilder zu machen.
> Aus dem Bildern kann ich dann später automatisiert die Arten bestimmen,
> die dort vorkommen, ohne dass jemand lange da rumsitzen muss.
> Die Frage ist jetzt: welche Hardware bietet sich dafür an? Raspberry
> oder Jetson? Es sollte halt möglichst wenig Energie verbrauchen, so dass
> es mit einem Akku ein paar Tage durchhält. Trotzdem muss es natürlich
> schlau genug sein, einen Vogel zu erkennen, denn die meisten dunklen
> Punkte die umherfliegen sind einfach nur Insekten. Und das Feedback muss
> schnell genug sein, dass es dir Hauptkamera auf den Vogel ausrichten
> kann...

Wenn das Sammeln der Bilder und die Artenerkennung zeitlich getrennt 
sind, beschränkt sich die Sammlung der Bilder primär auf die 
Bewegungserkennung. Sowas kann ein Raspberry Pi Version 4 recht gut, ist 
damit aber weitgehend ausgelastet und verbraucht entsprechend viel 
Energie.

Vor drei oder vier Jahren habe ich so etwas mal auf einem RasPi4 
entwickelt, die Empfindlichkeit der Bewegungserkennung ist 
konfigurierbar und sie schafft 30 FPS auf den 720p-Bildern von einer 
Logitech C920, wenn der RasPi mit einem passiven Kühlkörper gekühlt wird 
-- ohne Kühlung schlägt nach ziemlich kurzer Zeit die Temperaturdrossel 
zu.

Ich habe meine Software mal gepackt und angehängt, vielleicht kannst Du 
ja etwas damit anfangen. Sie zeichnet um erkannte Bewegungen einen 
Rahmen, so dass also die Koordinaten der Bewegung vorliegen und zur 
Ansteuerung Deines Gimbal genutzt werden könn(t)en. Die 
Bewegungserkennung findet in den Zeilen 160 bis 178 von motion/detect.py 
statt, das Zeichnen der Rahmen dann in den Zeilen 180 bis 185 derselben 
Datei; die Koordinaten, wo die Bewegung erkannt wurde und mit denen Du 
Deinen Gimbal ansteuern könntest, stehen in Zeile 184 als x, y für den 
Punkt oben links und w, h für die Breite und Höhe bereit.

Fragen beantworte ich gerne hier oder natürlich auch per PN, wenn ich 
kann. Viel Spaß und Erfolg bei Deinem Projekt!

PS/Edit: Ach so, ganz vergessen: so ein RasPi braucht ziemlich viel, so 
daß eine kleine Powerbank schnell leer sein könnte. Wenn Du die 
Möglichkeit hast, könnten eine oder mehrere Autobatterie vielleicht 
Abhilfe schaffen. Darüber hinaus gibt es noch das OpenMV-Projekt [1], 
das ich zwar seit Jahren im Auge, aber noch nicht selbst genutzt habe.

[1] https://openmv.io/