Informatietype:
Project
Thema:
Streetwise
Unit:
Mobility & Built Environment

StreetWise: geautomatiseerd rijden versnellen met geavanceerde, op scenario's gebaseerde veiligheidsvalidatie

In samenwerking met

Siemens, AVL, Daimler Truck

De toekomst van geautomatiseerd rijden hangt af van betrouwbare veiligheidsvalidatie van voertuigen.TNO StreetWise is een geavanceerde methodiek die door toepassing van virtuele simulatie echte rijomstandigheden exact nabootst en veilig geautomatiseerd rijden een stap dichterbij brengt.

Met steeds geavanceerdere Automated Driving Functions (ADF's) wordt veiligheidsvalidatie belangrijker en complexer. Gezien het grote aantal mogelijke scenario's waarin een ADF moet worden getest, is virtuele simulatie – naast het testen op een testbaan en de openbare weg – essentieel om binnen een redelijke termijn te ontdekken of aan de veiligheidseisen wordt voldaan. Voor een optimale inschatting van de veiligheidsrisico's, moeten virtuele simulaties gebaseerd zijn op echte testsituaties en -gegevens. Omdat TNO StreetWise gebruik maakt van voertuigdata uit de praktijk, zijn de virtuele testscenario’s een goede afspiegeling van de werkelijkheid. Voor een veilige implementatie van technologieën voor automatisch rijden, biedt TNO innovatieve scenariostatistieken en methodes aan om risico’s te kwantificeren.

Geavanceerde veiligheidsmethodologie

Op basis van TNO's uitgebreide ervaring met voertuigveiligheidstests, richt de TNO StreetWise-methodiek zich op operationele veiligheid; dit is een uitbreiding op de functionele veiligheid (ISO26262) en de veiligheid van de beoogde functionaliteit (ISO/DIS 21448:2021 SOTIF). [2] [4] [7]. De automatiseringstechnologie neemt immers taken over van de menselijke bestuurder en moet dus voorbereid zijn op alle situaties in het operationele domein waarvoor het ontworpen is (ODD). Deze geavanceerde methodologie wordt ondersteund door een reeks wetenschappelijke artikelen.

Veiliger geautomatiseerd rijden

Gevoeligheden van de geteste systemen worden bepaald en gekwantificeerd door het combineren van scenario's en statistieken van de voertuigomgeving, met analyses en tests van het voertuiggedrag in deze scenario's.De statistische resultaten van deze simulaties gebruiken we voor risicokwantificering [2] [5]. Hierdoor kunnen onze industriële klanten belangrijke stappen zetten om geautomatiseerd rijden nog veiliger te maken. Ook autoriteiten voortypegoedkeuringen (zoals RDW) kunnen de gekwantificeerde risico-inschatting van TNO StreetWise gebruiken om de veiligheid van een voertuig te bepalen.

Efficiënte en flexibele pipeline

De TNO StreetWise-pipeline zet voertuigdata automatisch om in activiteiten, scenario's, parameters en statistieken. Nieuwe scenario's kunnen snel worden toegevoegd met behulp van de onderliggende modulaire opbouw. Python-algoritmen, die draaien in een cloud-omgeving, zorgen voor flexibiliteit en schaalbaarheid. De software is ook klaar voor ‘connected’ voertuigen (V2X, I2V). Een webGUI biedt eenvoudig toegang tot de scenariodatabase voor het extraheren van OpenSCENARIO-testcases, inclusief bijbehorende Euro NCAP-tests. De virtuele testsoftware wordt ondersteund via een API, die geschikt is voor o.a. AVL ModelConnect, Vires VTD en Siemens Simcenter PreScan. Gevoelige voertuigdata kunnen ook veilig bij de klant worden verwerkt.

Versnelde veiligheidsvalidatie

Veel van onze partners werken aan uitgebreide praktijktests, datacollectie en scenariodetectie voor automatisch rijden. Door samen te werken en het veilig uitwisselen van scenario's en statistieken met behulp van Secure Multi-Party Computation (MPC), draagt TNO bij aan het versnellen van veiligheidsvalidatie voor haar partners. Tegelijkertijd stelt deze technologie ons in staat om dataverzamelingscampagnes te verfijnen en de databases van onze klanten te benchmarken.

Waardevol netwerk

Onze opdrachtgevers profiteren van het uitgebreide partnernetwerk van TNO. We zijn bijvoorbeeld een gecertificeerde Euro NCAP-testinstantie en leidden de ontwikkeling van het Cyclist-AEB-testprotocol (CATS). Ook op het gebied van Euro NCAP-scenariodatabases loopt TNO voorop. De lijst van partners in B2B- en EU-projecten omvat het grootste deel van de CCAM-gemeenschap (bijv. SAKURA [1], NTU CETRAN (Singapore), AVL [9], Siemens, Itility, Magna [9], IDIADA [1], BMW [7], Volvo [7], Continental [7], ika [1] [7], Virtual Vehicle [9] en VEDECOM).

PUMAS: Gedeelde scenariodatabase mogelijk met input van meerdere partners

Hoe test je de veiligheid van automatisch rijden op basis van scenario’s die op basis van echte verkeersdata van meerdere partners zijn gegenereerd? Het PUMAS-project (januari 2018 - juni 2020) laat zien dat het mogelijk is om een gezamenlijk scenariodatabase te bouwen, zonder uitwisseling van gevoelige data tussen de partners. Het gemeenschappelijk verzamelen van verkeersscenario’s zorgt voor ongeevenaarde volledigheid van een scenariodatabase voor het ontwikkelen en vrijgeven van geautomatiseerde voertuigen.

Het PUMAS-project is een samenwerking tussen, Magna Steyr Fahrzeugtechnik, AVL List (beide uit Oostenrijk) en Siemens SISS (NL/BE) en een Japanse OEM. Iedere partner gaf TNO toegang tot honderden uren aan rijgegevens op de snelweg. TNO verwerkte deze data in de StreetWise scenario-pipeline op MS Azure, wat meer dan 74.000 waargenomen verkeersscenario's opleverde. TNO droeg zelf bij door twee rijdatasets mee te nemen.

Voor elke dataset heeft het team van TNO een ​​converter naar een standaard, intern dataformaat ontwikkeld, inclusief filtering en afstemming. Hierdoor zijn de StreetWise-algoritmen en bestandsconversies in de rest van de pipeline toepasbaar op ieder van de datasets. Dit levert een zeer schaalbare oplossing op. Hoewel er veel varianten bestaan ​​in sensorconfiguratie van de voertuigen van verschillende partijen, toonde het project aan dat conversie naar een gemeenschappelijk format mogelijk is. Hierdoor wordt mogelijk om scenario’s te genereren op basis van een heterogene vloot.

Een centrale vraag bij het testen op basis van scenario's is: ‘zijn we voldoende representatief voor de diversiteit op straat?’ Deze vraag is beantwoord aan de hand van een aantal volledigheidsindicatoren, zoals scenariotelling (voldoende waarnemingen van een scenariocategorie voor statistieken), scenarioblootstelling (aantal waarnemingen per uur) en stabiliteitsanalyse van parameters (AMISE).

De algoritmen voor het genereren van de scenario’s zijn geïmplementeerd in een Microsoft Azure-omgeving. Er is een online omgeving gecreëerd voor partners om in te loggen en testcases te bekijken uit de StreetWise-database. Via een API kunnen simulatietools zoals Vires VTD en Siemens PreScan testcases in OpenSCENARIO-formaat ophalen en gebruiken voor simulaties. Dit werkt ook voor testbeheertools zoals Model.Connect en HEEDS. Het project heeft niet alleen de haalbaarheid aangetoond van een gedeelde scenariodatabase op basis van de gegevens van meerdere partners. Ook geeft PUMAS praktische inzichten en ervaringen met virtuele veiligheidsvalidatie, gebaseerd op scenario’s. De partners gaven aan dat het project hen hielp om het testen met behulp van scenario’s om te zetten van een concept naar een praktische methodologie, inclusief tooling.

Meer over dit project

  1. Zlocki, A., Op den Camp, O., Arrúe, Á., Taniguchi, S., Umeda, M., Watanabe, S., and Antona-Makoshi, J., “Towards the Harmonization of Safety Assessment Methods of Automated Driving: SAKURA – SIP-Adus - HEADSTART, White Paper” 9 december, 2021.
  2. Op den Camp, O., van Montfort, S., Uittenbogaard, J., and Welten, J., “Cyclist Target and Test Setup for Evaluation of Cyclist-Autonomous Emergency Braking”, in International Journal of Automotive Technology, Vol. 18, No. 6, pp. 1085-1097, 2017. DOI: 10.1007/s12239−017−0106−5

  3. De Gelder, E., Manders, J., Grappiolo, C., Paardekooper, J.-P., Op den Camp, O., and De Schutter, B., "Real-World Scenario Mining for the Assessment of Automated Vehicles," 2020 IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC), 2020, pp. 1-8, DOI: 10.1109/ITSC45102.2020.9294652.

  4. De Gelder, E., Op den Camp, O., and de Boer, N., “Scenario Categories for the Assessment of Automated Vehicles – version 1.7”, Technical Report, Nanyang Technological University, Singapore: CETRAN, 2020. http://cetran.sg/wp-content/uploads/2020/01/REP200121_Scenario_Categories_v1.7.pdf.

  5. De Gelder, E., Elrofai, H., Khabbaz Saberi, A., Op den Camp, O., Paardekooper, J.-P., and De Schutter, B., “Risk Quantification for Automated Driving Systems in Real-World Driving Scenarios”, IEEE Access 9, vol. 9, pp. 168953-168970, 2021, DOI: 10.1109/ACCESS.2021.3136585.

  6. De Gelder, E., Paardekooper, J.-P., Khabbaz Saberi, A., Elrofai, H., Op den Camp, O., Kraines, S., Ploeg, J., De Schutter, B., "Towards an Ontology for Scenario Definition for the Assessment of Automated Vehicles: An Object-Oriented Framework," in IEEE Transactions on Intelligent Vehicles, vol. 7, no. 2, pp. 300-314, June 2022, DOI: 10.1109/TIV.2022.3144803.

  7. https://publications.tno.nl/publication/34626550/AyT8Zc/TNO-2018-streetwise.pdf (pdf) .

    Elrofai, H., Paardekooper, J.-P., de Gelder, E.,  Kalisvaart, S., and Op den Camp, O., “Scenario-Based Safety Validation of Connected and Automated Driving.”, Vision Paper TNO, 2018.

  8. “ISO/TR 21934-1:2021 Road Vehicles — Prospective Safety Performance Assessment of Pre-Crash Technology by Virtual Simulation — Part 1: State-of-the-Art and General Method Overview.” https://www.iso.org/cms/render/live/en/sites/isoorg/contents/data/standard/07/64/76497.html
  9. Kalisvaart, S., Slavik, Z., and Op den Camp, O., “Using Scenarios in Safety Validation of Automated Systems.” In: Leitner, A., Watzenig, D., Ibanez-Guzman, J. (eds) Validation and Verification of Automated Systems. Springer, 2020, Cham. https://www.springer.com/gp/myspringer/chapters.

  10. Van de Sluis, J., Op den Camp, O., Broos, J., Yalcinkaya, I., and de Gelder, E., “Describing I2V Communication in Scenarios for Simulation-Based Safety Assessment of Truck Platooning.” Electronics 10, 1 (2021), https://doi.org/10.3390/electronics10192362.
  11. Paardekooper, J.-P., van Montfort, S., Manders, J., Goos, J., de Gelder, E., Op den Camp, O., Bracquemond, A., and Thiolon, G., “Automatic Identification of Critical Scenarios in a Public Dataset of 6000 km of Public-Road Driving”, in 26th International Technical Conference on the Enhanced Safety of Vehicles (ESV), Eindhoven, 2019.
  12. Op den Camp, O., van de Sluis, J., de Gelder, E., and Yalcinkaya, I., “Generation of Tests for Safety Assessment of V2V Platooning Trucks”, in 27th ITS World Congress, Hamburg, 2021.

  • EU H2020 Hi-Drive (2021-2025): Grootschalige pilot voor langdurig, non-stop automatisch rijden (‘continuous ODD’). Gegevensanalyse, randgevallen, simulatie.
  • TKI StreetWise Plus (2021-2022): Uitbreiding van scenariodatabase voor simulatie met meerdere actoren, I2V-berichten en databronnen langs de weg. Met Siemens en Itility.
  • EU H2020 ARCADE (2018-2022): Coördinatie en ondersteunend project voor CCAM projecten. Stakeholder workshops over veelgebruikte evaluatiemethodologie (november 2020) en randgevallen (mei 2021).
  • EU H2020 Headstart (2018-2021): Op scenario’s gebaseerde methodologie voor veiligheidsvalidatie, inclusief V2X, lokalisatie en cyberbeveiliging. Gedetailleerde methoden voor scenarioselectie en toewijzing aan testmethoden. Gebruik case truck platooning.
  • TNO PUMAS (2018-2020): Scenario-databaseproject met meerdere partners, samen met AVL, Magna, Siemens en een Japanse OEM. Proof of concept voor het delen van scenario's uit verschillende sets voertuigdata met 1.000 uur aan gegevens. Inclusief volledigheidsstatistieken.
  • EU H2020 L3Pilot (2017-2021): Grootschalige pilot voor L3-automatisering. Gegevensanalyse en impactbeoordeling voor Jaguar Land Rover en Aptiv. Evaluatie van rijstrookwisseldetectie.
  • EU ECSEL ENABLE-S3 (2016-2019): Virtuele verificatie en validatie van geautomatiseerde systemen. Methodologie, scenariowerkgroep, valet-parking use case, beeldgestuurde chirurgie use case, dataset inventaris.

Laat je verder inspireren

8 resultaten, getoond 1 t/m 5

Klim ‘achter het stuur’ van een autonoom voertuig

Informatietype:
Insight
16 februari 2024
Bezoekers namen onlangs plaats 'achter het stuur' van een autonoom voertuig op de Open Dag van de Automotive Campus in Helmond.

Rijden we in 2030 nog zelf?

Informatietype:
Insight
22 januari 2024

Geïntegreerde voertuigveiligheid en slimme voertuigen

Informatietype:
Artikel

Bewegingsziekten bewegen mee: van wagenziekte naar 'cybersickness'

Informatietype:
Insight
20 juli 2023

Objectieve veiligheidsrating van autonome voertuigen dichterbij

Informatietype:
Insight
12 januari 2023