Edge AI en robotica

Het probleem

Hoe krijg je moderne modellen op hardware met een paar watt vermogen, en hoe laat je een robot daar beslissingen op nemen? Twee projecten uit het traject Robotics & Edge AI.

Wat ik bouwde

• —ROS 2-architectuur met drie nodes: camera, rijstrookvolger (enige publisher van snelheidscommando's) en vuurdetector; prioriteit vuur > lijnen > obstakels.
• —Rijstrookdetectie met een transformer-model (LSTR) in ONNX, Ackermann-sturing met een toestandsmachine voor ontwijken en terugkeren naar het pad op basis van LiDAR-afstanden.
• —Eigen YOLOv11-model voor vuur, uitgevoerd met TensorRT in FP16 op een Jetson Orin Nano.
• —Afzonderlijk: magnitude- en kanaalpruning, k-means- en lineaire kwantisatie, neural architecture search, en MobileNetV2 en YOLOv11n-cls via ONNX Runtime op een Raspberry Pi 4.

Resultaat

• ✓Op de Raspberry Pi ging YOLOv11n-cls van ongeveer 23 naar 50 à 85 beelden per seconde door over te schakelen van PyTorch naar ONNX Runtime.
• ✓Een lichter classificatiemodel bleek vijf keer sneller voor ongeveer twee procent minder nauwkeurigheid.