ReliaTec - Embedded / Mobil-KI

Embedded-KI

Testumgebung von KI-Lösungen (z.B. Objekt-Erkennung) auf mobilen und embedded Geräten in Bezug auf Performance, Kompatibilität und Kompetenzgewinnung.

Embedded Systems

  • Raspberry Pi 4 (GPU and EdgeTPU)
  • Nvidia Jetson Nano Developer Kit (128 NVIDIA CUDA cores)
  • Google Coral board (EdgeTPU)
  • Desktop (GPU and EdgeTPU)
  • Intel Neural Stick

Test Videos

Zur Testung der Performance der unterschiedlichen Plattformen wurden 4 Videos mit der Raspberry Pi V2 Kamera aufgenommen:

  • 30 fps: 640x480, 12890x720
  • 60 fps: 640x480

Modell

Das benutzte und vor-trainierte Modell:

  • ssd_mobilnet_v1 mit quant_ops und quant_ops_edgeTPU Optimierung.
  • 90 Objekte, COCO-Datensatz, 300x300x3 1 6.5 ms 21.5% 7.0 MB Edge TPU model, CPU model, https://coral.ai/models/object-detection/

Evaluierung

Embedded_plot.png

Inference-Zeit der verschiedenen Plattformen (von langsam zu schnell):

  1.  (rosa) Desktop computer using CPU: 0.16 ms/Inference / 6 fps
  2.  (purple) Coral Board with CPU: 0.12 ms/Inference // 8 fps
  3.  (green) Raspberry Pi using GPU: 0.09ms/Inference 11 fps
  4.  (orange) Jetson Nano using Maxwell GPU: 0.05ms/Inference 20 fps
  5.  (red) Raspberry Pi using Edge TPU Stick: 0.025 ms/Inference, 40 fps
  6.  (blue) Coral Board mit Edge TPU: 0.019 ms/Inference, 52 fps
  7.  (brown): Desktop with Edge TPU Stick: 0.017 ms/Inference, 56 fps

Aus der Inference-Zeit Auswertung wird die Dominanz der TPU Hardware mit passenden TPU Modellen deutlich. Auch die Nvidia Maxwell GPU erreicht beinahe real-time Auswertung.

Durch die Auswertung wird deutlich, wie wichtig die Abstimmung zwischen Hardware und Modell (z.B. EdgeTPU mit Tensorflow TPU-Modell), wie auch das benutzte Deep-Learning Framework (TensorFlow vs PyTorch) ist.