Raspberry Pi & Teachable Machine – Tensorflow Modelle für KI nutzen

Die größte und rechenintensivste Arbeit beim Erstellen von Modellen für Machine-Learning Algorithmen ist die Generierung der Sample-Daten und das Evaluieren dieser Daten. Um dies zu vereinfachen kann man den Raspberry Pi und Teachable Machine nutzen, was ein Service von Google ist. Hiermit kann man sich anhand hochgeladener Daten verschiedene Modelle für Tensorflow erstellen – und diese direkt nutzen.

Wie dies genau funktioniert, ist in diesem Tutorial gezeigt. Dazu erstellen wir einen Datensatz mit fünf verschiedenen Objekte. Zum Schluss erkennt unser Beispielprogramm, welches der Objekte vor der Kamera ist.

Teachable Machine Zubehör

Für Tensorflow ist nicht viel Zubehör nötig. Du brauchst lediglich eine Kamera. Hier die vollständige Liste des Zubehörs, das für dieses Tutorial verwendet wurde:

• Raspberry Pi
• Offizielle Pi Kamera
  • alternativ: USB Kamera
• Raspberry Pi Gehäuse
• USB Ladegerät (Typ C bzw. micro USB bei älteren Pi Modellen)
• optional: 3.2 Zoll LCD Touchscreen

Da wir Python als Programmiersprache benutzen, kann das Tutorial auch auf einem PC / Linux Rechner ausgeführt werden.

Was genau ist Teachable Machine by Google?

Die meisten Machine Learning Algorithmen basieren darauf, dass ein Modell erstellt wird, mit dem bekannte Objekte klassifiziert werden. Umso mehr Daten man verwendet, umso besser wird das Modell und umso genauer die spätere Klassifizierung. Das ist soweit nichts neues und ist in diesem Tutorials detailiert erklärt.

Tensorflow ist ein erweitertes Tool, um diese Klassifizierung durchzuführen. Dazu müssen wir aber entsprechende Modelle berechnen. Wofür diese Modelle berechnet werden, ist dabei nicht wichtig. Das können also Bilder, Musik oder sonstige Daten sein.

Google’s neues Tool „Teachable Machine“ automatisiert den Prozess, um an ein Modell zu gelangen. Das einzige was wir brauchen, sind die Demobilder. Mit Hilfe dieses Tools ist ein erster Machine-Learning Prototyp innerhalb kürzester Zeit erstellt.

Vorbereitung

Bevor wir starten, ist es sehr von Vorteil zu wissen, was Tensorflow ist und sich idealerweise damit schon einmal beschäftigt zu haben. Hierfür kannst du u.a. dieses Tutorial ansehen.

Zunächst schließen wir die (USB) Kamera an den Raspberry Pi an. Je nach Typ kann schon mal ein Testfoto erzeugt werden,, um sicher zu gehen, dass die Kamera richtig erkannt wurde und funktioniert.

Erstellen des Modell-Datensatz

Der Modelldaten wird unter teachablemachine.withgoogle.com erstellt. Auf der linken Seite werden die verschiedenen Objekte angelegt und Bilder aufgenommen. Hierbei können die Beispielbilder direkt aufgenommen werden oder lokal ausgewählt werden. Sofern du nur eine Kamera am Raspberry Pi angeschlossen hast, empfiehlt es sich die Website über den Pi aufzurufen.

In meinem Fall möchte ich zwischen diesen fünf Objekten unterscheiden:

• Raspberry Pi 4
• Raspberry Pi 3B (sieht dem Model 4 recht ähnlich)
• Erste Generation: Raspberry Pi Model B
• Raspberry Pi Zero
• ESP32 (als einziger in schwarz)

Es wird empfohlen mindestens 200 Bilder aus verschiedenen Winkeln und mit unterschiedlichem Licht aufzunehmen. Daneben darf sich kein weiteres Objekt, das erkannt werden soll, befinden. Außerdem kannst du einen zusätzlichen „leeren“ Eintrag erstellen, auf dem nur der Hintergrund zu sehen ist. Das ist nützlich, falls keines der Objekte eindeutig erkannt wird.

Sobald alle Bilder aufgenommen sind, sieht es folgendermaßen aus:

Im nächsten Schritt drücken wir den „Train Model“ Button, wodurch zunächst lokale Berechnungen stattfinden. Deine Sample Bilder werden nicht zu Google hoch geladen (es sei denn du speicherst das Projekt bewusst in Google Drive). Dieser Schritt dauert eine Weile.

Bevor wir das generierte Model erstellen, gibt es noch die Möglichkeit es zu testen:

Nun kannst du das Model exportieren.Wähle hierzu Tensorflow -> Savedmodel aus (die Konvertierung findet bei Google in der Cloud statt). Die converted_savedmodel.zip Datei kommt auf dem Raspberry Pi in den Home-Folder (/home/pi); entweder per Direktdownload oder per FTP.

Übrigens: Die Projekte gibt es auch zum Download (hier zum Frontend) – falls du Google die Daten nicht anvertraust.

Tensorflow Installation auf dem Raspberry Pi

Das erstellte Model kann nur mittels Tensorflow genutzt werden. Die Installation dessen ist allerdings nicht besonders schwer. Öffne eine Konsole und gib folgendes ein:

pip3 install virtualenv Pillow numpy pygame
git clone --depth 1 https://github.com/tutRPi/rpi-vision
cd rpi-vision
python3 -m venv tflite-teachable-machine
source tflite-teachable-machine/bin/activate

Hier gibt es die aktuelle Version und mehr Details zur Installation von den Tensorflow Binaries.
Die wichtigsten Befehle zum Installieren sind aber folgende:

wget https://github.com/PINTO0309/Tensorflow-bin/raw/master/tensorflow-2.1.0-cp37-cp37m-linux_armv7l.whl
sudo -H pip3 install tensorflow-*
sudo pip3 install -e .

Nun müssen wir den Raspberry Pi noch neustarten.

sudo reboot

Ausführung auf dem Raspberry Pi und Beispiel-Ausgabe

Für den folgenden Teil wird ein Display benötigt. Dazu kann entweder SSH mit X11 genutzt werden, oder aber eine Remotedesktopverbindung. Ich nutze Letzteres.

Dort öffnen wir wieder die Konsole und wechseln in das Verzeichnis von vorhin und aktivieren ebenfalls die virtuelle Umgebung.

cd rpi-vision
source tflite-teachable-machine/bin/activate

Für das folgende Skript müssen wir den Bildschirm, auf dem die Ausgabe stattfinden soll, angeben. Diesen finden wir hiermit heraus:

echo $DISPLAY

Die Ausgabe darf nicht leer sein und ist in meinem Fall :10.0

Das Skript wird nun mit zwei Parametern gestartet: Dem Display und dem Pfad, unter der wir vorhin die zip Datei gespeichert haben.

sudo XAUTHORITY=/home/pi/.Xauthority DISPLAY=:10.0 /usr/bin/python3 tests/pitft_teachablemachine.py ~/converted_savedmodel.zip

Die Initialisierung dauert einen Moment. Nach etwa 20-30 Sekunden ist es soweit: Ein weiteres Fenster öffnet sich, auf dem das Bild der Kamera zu sehen ist.

Wir legen nun die verschiedenen Objekte, die wir vorher trainiert haben, unter die Kamera und sehen, dass sich das Label unterhalb ändert.

Das Skript kannst du mittels Strg + C beenden.

Außerdem können natürlich innerhalb des Skripts auch weitere Änderungen vorgenommen werden. Wenn du z.B. die Größe oder den Schwellwert (ab wann gilt ein Objekt als „erkannt“), ist dies kein Problem. Du kannst natürlich auch andere Aktionen beim Erkennen der Objekte triggern und die Kamera-Ausgabe komplett weglassen

Besteht weiteres Interesse an solchen Tutorials (Tensorflow und Objekterkennung)? Über Kommentare oder Projekt/Tutorialideen freue ich mich.