Raspberry Pi KI: Objekterkennung mittels TensorFlow und Kamera

Der Raspberry Pi ist zu vielem in der Lage, so eignet er sich auch im Bereich Machine Learning. Zusätzlich gibt es Tools wie TensorFlow, die die Raspberry Pi Objekterkennung (Object Detection) mittels vortrainierter neuronaler Netze sehr vereinfachen.

Das Erkennen von Objekten (Personen, Tiere, Autos, etc.) kann z.B. in Überwachungssystemen oder Automatisierungsprozessen („Öffne die Tür, wenn die Katze raus will“), Car PC, uvm. verwendet werden.

In diesem Tutorial installieren wir TensorFlow auf einem neuen Raspberry Pi und schließen eine Kamera an, in dessen Stream die Objekte erkannt und ausgegeben werden.

Benutztes Zubehör

Um dem Tutorial zur Objekterkennung folgen zu können, sind lediglich wenige Komponenten nötig:

• Raspberry Pi (umso mehr Rechenleistung, umso besser)
• (Offizielle) Raspberry Pi Kamera
• Micro SD Karte (16GB+)
• Stromversorgung
• Optimal: Kompatibler Touchscreen
• Optional für mehr FPS: Google Coral USB Accelerator

Du kannst auch jede andere kompatible USB Kamera nutzen. Die Auflösung sollte allerdings ausreichend sein. Das offizielle Raspberry Pi Modul bietet sich aufgrund der kompakten Größe an. Außerdem wird keiner der USB Ports belegt.

Was ist Objekterkennung?

Auf Bildern ist es für Menschen recht einfach bekannte Muster und Objekte zu erkennen. Dies kommt daher, dass wir diese Objekte bereits häufig in verschiedenen Ausführungen gesehen haben. Ein Algorithmus kann dies ebenfalls erlernen, indem man ihm die entsprechenden Daten zum Lernen bereit stellt.

Wikipedia sagt dazu:

Object detection is a computer technology related to computer vision and image processing that deals with detecting instances of semantic objects of a certain class (such as humans, buildings, or cars) in digital images and videos. Well-researched domains of object detection include face detection and pedestrian detection. Object detection has applications in many areas of computer vision, including image retrieval and video surveillance.

Einige Beispiele (und Beispielbilder) findet man auf der TensorFlow Website.

Vorbereitung Installation von TensorFlow auf dem Raspberry Pi

Wir beginnen mit dem Flashen des Betriebssystems auf eine Micro SD Karte. Hierfür laden wir eine Version von Raspbian (ich benutze Raspbian Buster) von der offiziellen Seite. Um das Image in der Zip-Datei auf die SD Karte zu flashen, kannst du diesem Tutorial folgen.

Anschließend kannst du dich entweder per SSH mit dem Raspberry Pi verbinden, oder aber Bildschirm und Tastatur anschließen und direkt auf dem Pi arbeiten.

Wir beginnen damit die Kamera anzuschließen. Die offizielle Kamera wird per CSI angeschlossen (siehe Bild). Wir aktivieren das Modul zunächst:

sudo raspi-config

Unter „Interfacing Options“ > „Camera“ schaltest du die Kamera aktiv und musst danach neustarten.

Falls du eine USB Kamera nutzt, solltest du zunächst prüfen, ob diese erkannt wurde. Mehr dazu gibt es in diesem Tutorial.

Installation von TensorFlow Lite

Machen wir nun mit dem Aktualisieren der Paketquellen weiter. Starte das Terminal und gib folgenden Befehl ein:

sudo apt-get update
sudo apt-get upgrade

Anstatt alle Pakete und Dateien selbst zu erstellen, nutzen wir ein veröffentlichtes Repository und klonen dieses.

git clone https://github.com/EdjeElectronics/TensorFlow-Lite-Object-Detection-on-Android-and-Raspberry-Pi tflite1
cd tflite1

In diesem Ordner erstellen wir eine „virtuelle Umgebung“ (virtualenv): Damit ist es möglich unterschiedliche Pakete (und Versionen) für verschiedene Projekte zu installieren, ohne dass man dies global machen muss.

sudo pip3 install virtualenv

Das neue Environment erstellen wir folgendermaßen:

python3 -m venv tflite1-env

Dadurch wird ein Ordner mit dem angegebenen Namen erstellt, der alle Python Pakete für dieses Environment enthält. Diesen aktivieren wir nun.

source tflite1-env/bin/activate

Falls du eine neue Konsole öffnest, muss das Environment erneut aktiviert werden.

Die Installation aller benötigter Pakete, ist zusammengefasst in einem Bash-Skript, das wir ausführen (dauert eine Weile). Alternativ kannst du die Befehle unten auch manuell ausführen.

bash get_pi_requirements.sh

Beispielprojekt: Raspberry Pi Objekterkennung mittels Kamera-Livestream

TensorFlow Lite arbeitet mit sogenannten „Detection Models“. Hierfür kann man seine eigenen Modelle trainieren, um Objekte zu erkennen. Alternativ bietet Google (und andere) ebenfalls solche Modelle zum Download an. Jedes Modell besteht aus folgenden zwei Dateien:

1. detect.tflite: Enthält den Graphen des Models (nicht-lesbarer Bytecode)
2. labelmap.txt: Enthält die entsprechenden Bezeichnungen (Labels) der Objekte als Textdatei. Diese Namen kannst du ändern (z.B. übersetzen).

Auf der offiziellen TensorFlow Webseite findet sich ein solches Model zum Download („Download starter model and labels“). Kopiere diesen Link (Rechtsklick) und ersetze ihn im folgenden Befehl ().

wget <Link>

Anschließend entpacken wir die Datei in einen Ordner:

unzip coco* -d Sample_TF_Lite_Model

Nun führen wir die Python Datei aus (falls du per SSH arbeitest, muss X11 installiert sein):

python3 TFLite_detection_webcam.py --modeldir=Sample_TF_Lite_Model

Es öffnet sich ein neues Fenster, in dem der Kamerastream zu sehen ist. Außerdem sind die Rechtecke markiert, in denen Objekte gefunden wurden.

Bei mir wurden folgende Objekte richtig erkannt:

• Dining Table
• Cell Phone
• Apple
• Orange
• Banana

Wie du siehst, gibt es zusätzliche Prozentangaben, wie wahrscheinlich es ist, dass es sich um jenes Objekt handelt.

Wenn wir uns die entsprechende Datei ansehen, erkennen wir, dass Tensorflow uns ebenfalls die Rechtecke (Boxen), Labels und Scores ausgibt.

Im nächsten Tutorial gehen wir genauer darauf ein, wie man einfach sein eigenes Model trainiert und einbindet.