Olles loonud anduri, objektituvastuse ja asukohateenuste jaotise, kuidas neid komponente testida. Põhialused on kooskõlas 2. peatüki aruteludega. Üks defineerib ODD, ehitab selle alla testid, rakendab neid teste ja määrab õigsuse. Testide rakendus võib olla virtuaalne (simulatsioon), füüsiline (testrada) või isegi komponentidel põhinev segu (riistvara loopis või tarkvara loopis). Testide populatsioon peab olema piisavalt täielik, et näidata piisavat katvust. Andurite ja tehisintellekti kasutuselevõtt muudab selle protsessi oluliselt keerukamaks.

Andurite testimine ohutuskriitilistes süsteemides on eriti keeruline, kui seda vaadata läbi kontrollimise, valideerimise (V&V) ja sertifitseerimise, kuna andurid on nii riistvaraseadmed kui ka kontekstist sõltuvad mõõtmissüsteemid. Kontrollimiseks – anduri konstruktsiooninõuetele vastavuse tagamiseks – saab teha laboratoorse kalibreerimise, keskkonnamõjude testimise ja vastavuse sellistele standarditele nagu ISO 16750 (keskkonnatingimused), DO-160 (avioonika) ja MIL-STD-810 (kaitsesüsteemid). Valideerimine – anduri piisava toimimise tagamine tegelikus töökontekstis – on aga palju keerulisem. Anduri jõudlus sõltub suuresti töökujundusvaldkonnast (ODD), sealhulgas ilmast, valgustusest, segadusest ja häiretest, mida on raske täielikult kopeerida või siduda. See lõhe kontrollitud kontrolli ja reaalse maailma valideerimise vahel on eriti terav tajuandurite (nt kaamerad, radar, lidar) puhul, kus jõudlus on pigem tõenäosuslik kui deterministlik ja seda mõjutab tugevalt keskkonna varieeruvus. Tänapäeval on mehaanilistes testimisseadmetes palju uuendusi, mis jäljendavad füüsilist liikumist Anechoic Chambersis, et luua raskeid katsestsenaariume. Väliskeskkonnas pakuvad droonide tarud EM-andurite ja müra tekitajatena testradadele sarnast funktsiooni.

Tabel 1: tavapäraste ja masinõppe algoritmide kontrast

AI kasutuselevõtt traditsioonilise tarkvara asendajana toob kaasa olulisi valideerimisprobleeme (tabel 1). Märkimisväärne on see, et paljud tarkvara testimiseks välja töötatud tehnikad, nagu koodiülevaatused, koodi katvus ja staatilise analüüsi tööriistad. Lisaks näib tehisintellekti komponendi testimiseks tõenäoline, et tuleb testida meetodit, mille abil see välja õpetati, ja juurdepääs koolitusandmetele.

Auto-, mere-, õhu- ja kosmosevaldkonna ohutusstandardid arenevad nüüd, et käsitleda AI/ML-põhiste funktsioonide kasutuselevõttu, nihkudes puhtalt deterministlikelt kindlusmudelitelt andmepõhiste ja tõenäosuslike valideerimisraamistike poole. Autotööstuses on standardile ISO 26262 vastavat traditsioonilist funktsionaalset ohutust laiendatud standarditega ISO/PAS 8800 ja ISO 21448, et käsitleda selgesõnaliselt AI-põhiste süsteemide tajumise ebakindlust, koolitusandmete katvust ja jõudluspiiranguid. Lennunduses täiendavad juhiseid, nagu DO-178C, esilekerkivad raamistikud, nagu DO-387 (arendamisel), et lahendada mittedeterministlik käitumine, seletatavus ja õppimise tagamine. Samamoodi hakkavad ECSS-i standardite alusel juhitavad kosmosesüsteemid ja Rahvusvahelise Mereorganisatsiooni raamistikest juhinduvad meresüsteemid arvestama autonoomia ja tehisintellekti kaalutlustega, eriti mehitamata ja kaugjuhitavate platvormide puhul. Kõigis valdkondades on levinud suundumus, et turvalisuse tagamine liigub staatiliselt vastavuselt elutsüklipõhisele tagatisele, sealhulgas andmekogumi haldamine, simulatsioonipõhine valideerimine, käitusaja jälgimine ja pideva sertifitseerimise kontseptsioonid. See peegeldab põhjapanevat nihet ohutustehnikas – fikseeritud loogika õigsuse tõestamisest kuni ebakindluse tingimustes töötavate adaptiivsete andmepõhiste süsteemide käitumise piiramiseni.

Selle jaotise ülejäänud osas esitatakse praktiline simulatsioonipõhine illustratsioon autonoomse sõiduriivi taju, kaardistamise (HD-kaardid/digitaalsed kaksikud) ja lokaliseerimiskihtide kinnitamiseks. Põhiidee on ankurdada testid operatiivdisaini domeeni (ODD), väljendada neid reprodutseeritavate stsenaariumidena ja esitada mõõdikuid, mis ühendavad moodulitaseme käitumise süsteemitaseme ohutusega.

Jaotame virna tajumiseks (objekti tuvastamine/jälgimine), kaardistamiseks (HD-kaardi/digitaalse kaksiku loomine ja järjepidevus) ja lokaliseerimiseks (GNSS/IMU ja nägemus/LiDAR-abi) ning valideerime igaüks sihitud KPI-de ja veasüstidega. Tõendid on jaotatud ohutusjuhtumiks, mis selgitab, kuidas mooduli tulemused süsteemi tasemel koosnevad. Testid tuletatakse ODD-st ja esitatakse sihtkeskkonnas loogiliste/konkreetsete stsenaariumitena (nt stsenaariumikeelega nagu Scenic). See annab teile süstemaatilise katvuse ja reprodutseeritava servajuhtumite genereerimise, säilitades samas konksud standarditega kooskõlastatud argumentide (nt ISO 26262/SOTIF) ja formaalsete analüüside jaoks, kui see on asjakohane.

Eesmärk on kvantifitseerida tuvastamise jõudlust ja selle mõju ohutusele kogu ODD-s. Lõpp-lõpuni ülitäpse (HF) simulatsiooni puhul logime nii simulaatori põhitõe kui ka virna tuvastamised, seejärel arvutame klasside statistika kauguse ja oklusiooni funktsioonina. Lähivälja vead on rõhutatud, kuna need domineerivad pidurdamisel ja kokkupõrkeriskil. Stsenaariumikomplektid peaksid hõlmama osalisi oklusioone, ootamatuid takistusi, haavatavaid liiklejaid ja ebasoodsat ilma/valgustust, mis kõik on realiseeritud saidikaardil, et tõrkeid saaks uuesti esitada ja võrrelda.

• KPI-d: täpsus/kutsumine klassi ja vahemaa kohta; deltad avastamise ja reageerimise aeg; TTC kättesaadavus ja see, kas tajutavad takistused käivitavad piisava pidurdusteekonna.
• Otsingustrateegia: kasutage laiuse jaoks madala detailsusega (LF) pühkimisi (planeerija ahelas, lihtsustatud andurid) ja kinnitage kõrge riskitasemega juhtumeid täieliku anduri simulatsiooniga enne raja katsetamist.

Joonis 1 selgitab objektide võrdlust. Rohelised kastid kuvatakse objektide jaoks, mis on jäädvustatud põhitõe abil, samas kui punased kastid kuvatakse AV-pinu tuvastatud objektide jaoks. Lävepõhised reeglid on loodud objektide võrdlemiseks. Eeldatakse, et see pakub ohutus- ja ohualade jaoks erinäitajaid tuvastatavate sõidukite kohta erinevates vahemikes.

Valideerimine algab kaardi ja digitaalse kaksiku loomisega. Aeropildid ehk LiDAR kogutakse RTK geosildistamise ja mõõdistatud kontrollpunktidega, töödeldakse seejärel tihedateks punktipilvedeks ja liigitatakse teede, hoonete ja taimestiku eraldamiseks. Sealt saate eksportida OpenDRIVE'i (radade, liiklusreeglite ja topoloogia jaoks) ja 3D-keskkonna kõrgsagedussimulatsiooniks. Kaksik peaks olema piisavalt täpne, et tajumudelid artefakte üle ei sobiks ja lokaliseerimisalgoritmid suudaksid saavutada sõiduraja tasemel järjepidevuse.

Peamised kontrollid hõlmavad sõiduraja topoloogia täpsust ja mõõdistust, geograafilist järjepidevust sentimeetrites ja semantilist järjepidevust (nt sulgurite, märkide, ülekäiguradade õige paigutus). Tajumiseks ja lokaliseerimiseks kasutatavad stsenaariumid on seotud selle kaksikuga, nii et tulemusi saab taasesitada ja jagada meeskondade või sõidukite vahel. Aja jooksul lisate muudatuste haldamise: tuvastate ja kvantifitseerige triivid, kui reaalne maailm muutub (ehitus, lehestik, märgistused) ja kinnitage mõjutatud stsenaariumid uuesti.

Siin keskendutakse ego-pooside vastupidavusele anduri müra, katkestuste ja kaardi ebakõlade suhtes. Simulatsioonis sisestate GNSS-i mitmeteelisuse, IMU-nihke, pakettide väljalangemise või lühikese GNSS-i katkestuse ja jälgite, kui kiiresti hindaja lahkneb ja uuesti läheneb. Sarnased testid häirivad kaarti (nt väikesed sõidurajamärgiste kõrvalekalded), et uurida hindaja tundlikkust kaardistamisvea suhtes.

Järgmine on lühike KPI loend:

• Poseerimisviga ja triiv: kaadri asukoha/orientatsiooniviga, triivi kiirus GNSS-i kadumise ajal.

• Järjepidevus: järjepidevus sõiduraja tasemel ristmikel ja järskudel manöövritel.

• Taastumine: taaskonvergentsi aeg ja kursi stabiilsus pärast katkestusi.

• Ohutuse levik: mõju kokkupõrkekaugusele (DTC), pidurdamise piisavusele ja reeglite kontrollimisele (nt sõiduraja piires hoidmine).

Praegused valideerimismeetodid teostavad eeldatava ja tegeliku asukoha üks-ühele vastendamise. Nagu on näidatud joonisel 2, arvutatakse iga kaadri jaoks sõiduki asukoha kõrvalekalle ja esitatakse valideerimisaruandes. Hilisemad parameetrid, nagu min/max/keskmised kõrvalekalded, arvutatakse samast aruandest. Valideerimisprotseduuris on võimalik ka simulaatorit modifitseerida, et lisada lokaliseerimisprotsessi müra lisamise mehhanism, et kontrollida töökindlust ja kinnitada selle toimivust.

Kaheetapiline töövoog tasakaalustab katvuse ja realistlikkuse. Esiteks kasutage LF-tööriistu (nt planeerija ahelas koos lihtsustatud andurite ja liiklusega), et pühkida suuri loogiliste stsenaariumide võrgustikke ja tuvastada riskantsed piirkonnad parameetriruumis (suhteline kiirus, esialgne vahe, oklusioonitase). Seejärel viige kõige informatiivsemad konkreetsed stsenaariumid HF-simulatsiooni fotorealistlike anduritega, et kontrollida taju ja lokaliseerimise interaktsioone. Kui see on asjakohane, viiakse suletud katseteks väike, kureeritud stsenaariumide komplekt. Edukriteeriumid on kõikides etappides järjepidevad ja käitamisjärgsed analüüsid omistavad ebaõnnestumised tajule, lokaliseerimisele, prognoosimisele või planeerimisele, nii et parandused on pigem suunatud kui üldised.