Een slimme deurbel bouwen die een pizzabezorger herkent via computer vision en autonoom reageert met spraak. Een hands-on verkenning van IoT, TensorFlow en Azure Cognitive Services.
Wat doet dit experiment?
Tijdens de VX Kennisdag van januari 2023 bouwden we een end-to-end AI-gestuurde deurbel. Het systeem detecteert wie er voor de deur staat, herkent via beeldclassificatie of het een pizzabezorger is, en reageert automatisch met een gesproken boodschap. Het experiment combineerde drie domeinen in één pipeline: IoT-aanstuur via de Ring API, computer vision met TensorFlow en spraakverwerking via Azure Cognitive Services en Azure Bot.
Aanpak
De oplossing bestaat uit drie gekoppelde onderdelen:
- Deurbel: een façade-API op de Ring-deurbel afgehandeld via REST, WebSockets en RTP — polling op events en het terugspelen van audio naar de bezoeker
- Beeld: TensorFlow-gebaseerde image classification, getraind om pizzadozen te herkennen; deelnemers trainden het model zelf op basis van eigen data
- Spraak: Azure Cognitive Services voor speech-to-text en text-to-speech, gecombineerd met een Azure Bot voor de gesproken interactie met de bezorger
De workshop was hands-on: teams doorliepen de volledige pipeline van polling tot herkenning tot spraakrespons.
Bevindingen tot nu toe
Het experiment liet zien hoe snel je met bestaande cloud-bouwstenen (Azure Cognitive Services, Ring API) en open source ML-tooling (TensorFlow) een werkende AI-pipeline in elkaar zet. De grootste uitdaging zat in het trainen van een robuust beeldclassificatiemodel met beperkte trainingsdata.
Volgende stappen
- De opgedane kennis rond computer vision en spraakverwerking is doorvertaald naar latere experimenten
- Het format (hands-on, end-to-end, één dag) is een blauwdruk geworden voor volgende kennisdagen