Soort project:
Project
Thema:
AV veiligheidsvalidatie

StreetWise: op scenario’s gebaseerde veiligheidsvalidatie voor geautomatiseerd rijden

In samenwerking met

Siemens, AVL, Daimler Truck

Met steeds geavanceerdere Automated Driving Functions (ADF's) wordt veiligheidsvalidatie belangrijker en complexer. ADF moet in een groot aantal mogelijke scenario's worden getest. Daarom is virtuele simulatie – naast het testen op een testbaan en de openbare weg – essentieel om binnen een redelijke termijn te ontdekken of aan de veiligheidseisen wordt voldaan. TNO StreetWise maakt gebruik van voertuigdata uit de praktijk met een goede afspiegeling van de werkelijkheid.

Voor een optimale inschatting van de veiligheidsrisico's, moeten virtuele simulaties gebaseerd zijn op echte testsituaties en -gegevens. TNO StreetWise maakt gebruik van voertuigdata uit de praktijk. De virtuele testscenario’s zijn een goede afspiegeling van de werkelijkheid. Voor een veilige implementatie van technologieën voor automatisch rijden, biedt TNO innovatieve scenariostatistieken en methodes aan om risico’s te kwantificeren.

Geavanceerde veiligheidsmethodologie

In tegenstelling tot ons Safe & Social programma, gericht op het aannemen van rijgedrag dat bijdraagt aan de verkeersveiligheid, richt dit innovatieprogramma zich op het voorkomen van onveilige situaties die kunnen leiden tot schade aan mensen. Op basis van TNO's uitgebreide ervaring met voertuigveiligheidstests, richt de TNO StreetWise-methodiek zich op operationele veiligheid; dit is een uitbreiding op de functionele veiligheid (ISO26262) en de veiligheid van de beoogde functionaliteit (ISO/DIS 21448:2021 SOTIF). [2] [4] [7].

De automatiseringstechnologie neemt immers taken over van de menselijke bestuurder en moet dus voorbereid zijn op alle situaties in het operationele domein waarvoor het ontworpen is (ODD). Deze geavanceerde methodologie wordt ondersteund door een reeks wetenschappelijke artikelen.

Veiliger geautomatiseerd rijden

Gevoeligheden van de geteste systemen worden bepaald en gekwantificeerd door het combineren van scenario's en statistieken van de voertuigomgeving, met analyses en tests van het voertuiggedrag in deze scenario's. De statistische resultaten van deze simulaties gebruiken we voor risicokwantificering [2] [5]. Hierdoor kunnen onze industriële klanten belangrijke stappen zetten om geautomatiseerd rijden nog veiliger te maken. Ook autoriteiten voortypegoedkeuringen (zoals RDW) kunnen de gekwantificeerde risico-inschatting van TNO StreetWise gebruiken om de veiligheid van een voertuig te bepalen.

Efficiënte en flexibele pipeline

De TNO StreetWise-pipeline zet voertuigdata automatisch om in activiteiten, scenario's, parameters en statistieken. Nieuwe scenario's kunnen snel worden toegevoegd met behulp van de onderliggende modulaire opbouw. Python-algoritmen, die draaien in een cloud-omgeving, zorgen voor flexibiliteit en schaalbaarheid. De software is ook klaar voor ‘connected’ voertuigen (V2X, I2V).

Een webGUI biedt eenvoudig toegang tot de scenariodatabase voor het extraheren van OpenSCENARIO-testcases, inclusief bijbehorende Euro NCAP-tests. De virtuele testsoftware wordt ondersteund via een API, die geschikt is voor o.a. AVL ModelConnect, Vires VTD en Siemens Simcenter PreScan. Gevoelige voertuigdata kunnen ook veilig bij de klant worden verwerkt.

Gebruik van AI

TNO werkt aan een systeem dat kan redeneren op basis van kennis, in plaats van alleen data. We willen AI inzetten op een manier die uitlegbaar blijft. Het onderzoek van Chris van der Ploeg naar de inzet van AI draagt ​​bij aan de veiligheid van voertuigen. Sommige zelfrijdende auto's interpreteren wapperende vlaggen momenteel als knipperende verkeerslichten. Dit vormt een duidelijk veiligheidsrisico en is een voorbeeld van een probleem dat tijdens de veiligheidsbeoordeling moet worden gedetecteerd. In dergelijke gevallen haalt StreetWise relevante informatie uit data naar boven die de ontwerpers van AI-systemen helpt de interactie tussen het systeem en de omgeving te begrijpen.

Waardevol netwerk

Onze opdrachtgevers profiteren van het uitgebreide partnernetwerk van TNO. We zijn bijvoorbeeld een gecertificeerde Euro NCAP-testinstantie en leidden de ontwikkeling van het Cyclist-AEB-testprotocol (CATS). Ook op het gebied van Euro NCAP-scenariodatabases loopt TNO voorop. De lijst van partners in B2B- en EU-projecten omvat het grootste deel van de CCAM-gemeenschap (bijv. SAKURA [1], NTU CETRAN (Singapore), AVL [9], Siemens, Itility, Magna [9], IDIADA [1], BMW [7], Volvo [7], Continental [7], ika [1] [7], Virtual Vehicle [9] en VEDECOM).

Paper StreetWise: scenario based safety assessment for automated driving

TNO StreetWise is an advanced method to describe real driving conditions and their variations and store that in a scenario database to enable scenario-based testing and validation. StreetWise brings safe automated driving one step closer. In this paper you will find the basics, the implementation and the future of scenario-based safety assessment.

Download paper

Meer over dit project

  1. Zlocki, A., Op den Camp, O., Arrúe, Á., Taniguchi, S., Umeda, M., Watanabe, S., and Antona-Makoshi, J., “Towards the Harmonization of Safety Assessment Methods of Automated Driving: SAKURA – SIP-Adus - HEADSTART, White Paper” 9 december, 2021.

  2. Op den Camp, O., van Montfort, S., Uittenbogaard, J., and Welten, J., “Cyclist Target and Test Setup for Evaluation of Cyclist-Autonomous Emergency Braking”, in International Journal of Automotive Technology, Vol. 18, No. 6, pp. 1085-1097, 2017. DOI: 10.1007/s12239−017−0106−5

  3. De Gelder, E., Manders, J., Grappiolo, C., Paardekooper, J.-P., Op den Camp, O., and De Schutter, B., "Real-World Scenario Mining for the Assessment of Automated Vehicles," 2020 IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC), 2020, pp. 1-8, DOI: 10.1109/ITSC45102.2020.9294652.

  4. De Gelder, E., Op den Camp, O., and de Boer, N., “Scenario Categories for the Assessment of Automated Vehicles – version 1.7”, Technical Report, Nanyang Technological University, Singapore: CETRAN, 2020. http://cetran.sg/wp-content/uploads/2020/01/REP200121_Scenario_Categories_v1.7.pdf.

  5. De Gelder, E., Elrofai, H., Khabbaz Saberi, A., Op den Camp, O., Paardekooper, J.-P., and De Schutter, B., “Risk Quantification for Automated Driving Systems in Real-World Driving Scenarios”, IEEE Access 9, vol. 9, pp. 168953-168970, 2021, DOI: 10.1109/ACCESS.2021.3136585.

  6. De Gelder, E., Paardekooper, J.-P., Khabbaz Saberi, A., Elrofai, H., Op den Camp, O., Kraines, S., Ploeg, J., De Schutter, B., "Towards an Ontology for Scenario Definition for the Assessment of Automated Vehicles: An Object-Oriented Framework," in IEEE Transactions on Intelligent Vehicles, vol. 7, no. 2, pp. 300-314, June 2022, DOI: 10.1109/TIV.2022.3144803.

  7. https://publications.tno.nl/publication/34626550/AyT8Zc/TNO-2018-streetwise.pdf (pdf) .

    Elrofai, H., Paardekooper, J.-P., de Gelder, E.,  Kalisvaart, S., and Op den Camp, O., “Scenario-Based Safety Validation of Connected and Automated Driving.”, Vision Paper TNO, 2018.

  8. “ISO/TR 21934-1:2021 Road Vehicles — Prospective Safety Performance Assessment of Pre-Crash Technology by Virtual Simulation — Part 1: State-of-the-Art and General Method Overview.” https://www.iso.org/cms/render/live/en/sites/isoorg/contents/data/standard/07/64/76497.html

  9. Kalisvaart, S., Slavik, Z., and Op den Camp, O., “Using Scenarios in Safety Validation of Automated Systems.” In: Leitner, A., Watzenig, D., Ibanez-Guzman, J. (eds) Validation and Verification of Automated Systems. Springer, 2020, Cham. https://www.springer.com/gp/myspringer/chapters.

  10. Van de Sluis, J., Op den Camp, O., Broos, J., Yalcinkaya, I., and de Gelder, E., “Describing I2V Communication in Scenarios for Simulation-Based Safety Assessment of Truck Platooning.” Electronics 10, 1 (2021), https://doi.org/10.3390/electronics10192362.
  11. Paardekooper, J.-P., van Montfort, S., Manders, J., Goos, J., de Gelder, E., Op den Camp, O., Bracquemond, A., and Thiolon, G., “Automatic Identification of Critical Scenarios in a Public Dataset of 6000 km of Public-Road Driving”, in 26th International Technical Conference on the Enhanced Safety of Vehicles (ESV), Eindhoven, 2019.
  12. Op den Camp, O., van de Sluis, J., de Gelder, E., and Yalcinkaya, I., “Generation of Tests for Safety Assessment of V2V Platooning Trucks”, in 27th ITS World Congress, Hamburg, 2021.

  • EU H2020 Hi-Drive (2021-2025): Grootschalige pilot voor langdurig, non-stop automatisch rijden (‘continuous ODD’). Gegevensanalyse, randgevallen, simulatie.
  • TKI StreetWise Plus (2021-2022): Uitbreiding van scenariodatabase voor simulatie met meerdere actoren, I2V-berichten en databronnen langs de weg. Met Siemens en Itility.
  • EU H2020 ARCADE (2018-2022): Coördinatie en ondersteunend project voor CCAM projecten. Stakeholder workshops over veelgebruikte evaluatiemethodologie (november 2020) en randgevallen (mei 2021).
  • EU H2020 Headstart (2018-2021): Op scenario’s gebaseerde methodologie voor veiligheidsvalidatie, inclusief V2X, lokalisatie en cyberbeveiliging. Gedetailleerde methoden voor scenarioselectie en toewijzing aan testmethoden. Gebruik case truck platooning.
  • TNO PUMAS (2018-2020): Scenario-databaseproject met meerdere partners, samen met AVL, Magna, Siemens en een Japanse OEM. Proof of concept voor het delen van scenario's uit verschillende sets voertuigdata met 1.000 uur aan gegevens. Inclusief volledigheidsstatistieken.
  • EU H2020 L3Pilot (2017-2021): Grootschalige pilot voor L3-automatisering. Gegevensanalyse en impactbeoordeling voor Jaguar Land Rover en Aptiv. Evaluatie van rijstrookwisseldetectie.
  • EU ECSEL ENABLE-S3 (2016-2019): Virtuele verificatie en validatie van geautomatiseerde systemen. Methodologie, scenariowerkgroep, valet-parking use case, beeldgestuurde chirurgie use case, dataset inventaris.

Torc Robotics gebruikt TNO’s StreetWise om veiligheid van autonoom transport te valideren

Torc Robotics, een dochteronderneming van Daimler Trucks en toonaangevend in applicaties voor automatisch rijden, werkt samen met TNO aan een geavanceerde manier om de veiligheid van autonome voertuigen te testen en te valideren.

Ontdek meer