Computer vision voor de gebouwde omgeving: 300 keer sneller naar betrouwbaar resultaat

Verrassend in eenvoud

Tom Slik, computer vision scientist bij TNO, had al verschillende methodes geprobeerd. Ingewikkelde algoritmes, meer data, andere modellen. Niets leverde op wat hij zocht: een manier waarop een AI-systeem met weinig voorbeelden specifieke gebouwelementen kan herkennen. Tot hij een andere aanpak testte. "Ik had überhaupt niet verwacht dat het zo goed zou werken", zegt hij. "Het is eigenlijk best straightforward."

Inmiddels staat er een model dat met slechts 20 voorbeeldafbeeldingen dakkapellen, schoorstenen en zonnepanelen herkent in bijvoorbeeld straatbeelden van Google Street View of Cyclomedia. Met 95 procent nauwkeurigheid. Voor de contingentenaanpak, waarin TNO voorspelt welke verduurzamingsmaatregelen bij welke woningen passen, is dat een doorbraak.

De cruciale informatie voor verduurzaming zit niet in een database

De Nederlandse woningvoorraad moet voor 2050 grootschalig verduurzaamd worden. Om te bepalen welke aanpak bij welke woning past, werkt TNO met data uit het Kadaster en onder andere het CBS. Inmiddels bevat de database een ruime hoeveelheid woningeigenschappen per adres. Onder andere bouwjaar, oppervlakte, woningtype en energielabel.

Maar voor een nauwkeurige inschatting van welke renovatie bij een woning toepasbaar is, schiet die informatie soms tekort. Raphaël Gueulet, machine learning engineer bij TNO, legt uit waarom.

"Je kunt op basis van kadaster informatie en woningtype alleen niet beoordelen of bijvoorbeeld een dak geïsoleerd kan worden. Dakkapellen, dakramen, ventilatieschachten: die hebben allemaal invloed op de manier waarop je een dak isoleert. Die informatie staat nergens geregistreerd, maar is wel zichtbaar op foto's."

Van duizenden naar 20 voorbeelden

Traditionele computer vision vereist enorme hoeveelheden data. Voor elk element dat je wilt herkennen, moet iemand handmatig in duizenden foto's aangeven waar dat element zit. Bij 2 minuten per afbeelding en 10.000 benodigde afbeeldingen betekent dat meer dan 300 uur werk. Per element.

Tom zocht naar een andere aanpak. "Er zijn genoeg datasets voor standaard dingen zoals auto's of verkeersborden", vertelt hij. "Maar als je iets specifieks zoekt in jouw domein, of het dan de bouw is of infrastructuur, dan heeft niemand dat geannoteerd. Of bedrijven hebben er veel geld in geïnvesteerd en delen die data niet."

De oplossing: een Vision Transformer. Dit type AI-model heeft al miljoenen afbeeldingen gezien zonder dat iemand die gelabeld heeft. Daardoor heeft het een interne representatie van visuele concepten opgebouwd. Het enige wat TNO hoeft te doen is met een handvol voorbeelden aangeven: dit is een dakkapel, dit is een schoorsteen.

"Door de duizenden voorbeelden die je nodig had, was model training voor computer vision tot nu toe best lastig", zegt Raphaël. "Nu annoteer je binnen een uur 20 beelden en dan kun je dat element overal herkennen."

Nauwkeurigere voorspellingen voor renovaties

Het systeem detecteert inmiddels 7 gebouwelementen uit Google Street View-beelden: zonnepanelen, dakkapellen, schoorstenen, dakramen, dakventilatie, borstweringen en balkons. De resultaten zijn veelbelovend. Om uit te leggen hoe ver de mogelijkheden nu gaan, heeft Tom een vuistregel: "Kan een mens, een expert, het zien op de afbeelding? Dan kunnen wij het er met het model ook uithalen."

De gemiddelde nauwkeurigheid over alle elementen ligt op 95,6 procent. De precisie, de mate waarin een positieve detectie ook daadwerkelijk klopt, komt uit op 98,2 procent. Wanneer het model zegt dat er een dakkapel op een dak zit, is dat bijna altijd correct.

De voorspellingen van mogelijke renovaties voor de contingenten aanpak worden hiermee tot 11% nauwkeuriger, afhankelijk van de renovatieoplossing. Tom licht toe waarom dat verschilt per type renovatie. "Als de elementen die wij detecteren ook daadwerkelijk te maken hebben met de renovatieoplossing, dan gaat de impact omhoog", legt hij uit. "Voor dakisolatie is het relevant om te weten of er een schoorsteen of dakkapel zit. Voor vloerisolatie maakt dat niet uit."

"Alles wat zichtbaar is op straatbeelden of luchtfoto's kunnen we in principe detecteren."

Ook inzetbaar voor andere toepassingen in de gebouwde omgeving

De contingentenaanpak was de eerste toepassing, maar de methode is veel breder inzetbaar. Raphaël: "Alles wat zichtbaar is op straatbeelden of luchtfoto's kunnen we in principe detecteren." Het team werkt al aan nieuwe toepassingen.

Voor woningcorporaties onderzoekt het team of de onderhoudsstaat van kozijnen uit beelden af te leiden is. Voor infrastructuurbeheerders wordt gekeken naar bruggen: zit er een voetpad op, een fietspad? Dat soort informatie is waardevol voor het beheer en onderhoud van bruggen en andere infrastructuur.

Ook voor gemeenten kan computer vision interessant zijn. Zo werkt er al een gemeente met TNO samen om specifieke grindsoorten op onverharde wegen te detecteren. Toepassingen die een jaar geleden nog ondenkbaar waren vanwege de benodigde data en tijd.

Samen met TNO computer vision inzetten

De methode is nu operationeel en klaar voor nieuwe toepassingen. Partijen die data willen verzamelen over de gebouwde omgeving, of het nu gaat om verduurzaming, onderhoud of planologie, kunnen met TNO verkennen wat de mogelijkheden zijn.