Sissejuhatus autonoomia verifitseerimisse ja valideerimisse

Nagu juhtimismoodulis arutatud, kaalutakse toodete tarbijatele pakutavat väärtust toote võimaliku kahju vastu ja see toob kaasa seadusliku tootevastutuse kontseptsiooni. Tootearenduse vaatenurgast moodustab seaduste, määruste ja õigusliku ülimuslikkuse kombinatsioon ülekaaluka juhtimisraamistiku, mille ümber süsteemi spetsifikatsioon tuleb üles ehitada [3]. Valideerimisprotsess tagab toote disaini vastavuse kasutaja vajadustele ja nõuetele ning kontrollimine tagab, et toode on ehitatud õigesti vastavalt disaini spetsifikatsioonidele.

Joonis 1. V&V ja juhtimisraamistik. Master V&V (MaVV) protsess peab näitama, et toodet on mõistlikult testitud, arvestades mõistlikku kahju tekitamise ootust. Ta teeb seda kolme olulise kontseptsiooni abil [4]:

1. Operatsiooniline disainidomeen (ODD): see määratleb keskkonnatingimused ja töömudeli, mille alusel toode on kavandatud töötama.
2. Katvus: see määrab toote kinnitamise ODD täielikkuse.
3. Välisreageerimine: tõrgete ilmnemisel kasutatakse protseduure toote disaini puuduste parandamiseks, et vältida tulevasi kahjusid.

Nagu jooniselt 1 on näha, on kontrolli- ja kinnitamisprotsess (V&V) peamine sisend juhtimisstruktuuris, millega kaasneb vastutus, ja vastavalt juhtimisstruktuurile peavad kõik elemendid näitama „mõistlikku hoolsuskohustust”. Ebamõistliku ODD näide oleks see, kui autonoomne sõiduk loobub juhitavusest millisekund enne õnnetust.

Joonis 2. Täitmine on ruum.

Mehaaniliselt rakendatakse MaVV-d Minor V&V (MiVV) protsessiga, mis koosneb:

1. Testi genereerimine: lubatud ODD-st genereeritakse teststsenaariumid.
2. Täitmine: see test “käivitatakse” arendatava toote puhul. Matemaatiliselt funktsionaalne teisendus, mis annab tulemusi.
3. Korrektsuse kriteeriumid: Täitmise tulemusi hinnatakse edu või ebaõnnestumise suhtes selgete õigsuse kriteeriumidega.

Praktikas võib igaüks neist etappidest olla üsna keerukas ja seotud kuludega. Kuna ODD võib olla väga lai olekuruum, on stiimuli intelligentne ja tõhus genereerimine ülioluline. Tavaliselt tehakse alguses stiimuli genereerimine käsitsi, kuid see ebaõnnestub skaleerimise tõhususe testis kiiresti. Virtuaalsetes täitmiskeskkondades kasutatakse selle protsessi kiirendamiseks pseudojuhuslikult suunatud meetodeid. Piiratud olukordades saab sümboolseid või formaalseid meetodeid kasutada suurte olekuruumide matemaatiliseks kandmiseks kogu projekteerimise faasis. Sümboolsete meetodite eeliseks on täielikkus, kuid need seisavad silmitsi algoritmiliste arvutuste plahvatusprobleemidega, kuna paljud toimingud on NP-Complete'i algoritmid.

Täitmisetappi saab teha füüsiliselt (näiteks ülaltoodud testrada), kuid see protsess on kallis, aeglane, piiratud juhitavusega ja jälgitavusega ning ohutuskriitilistes olukordades potentsiaalselt ohtlik. Seevastu virtuaalsete meetodite eeliseks on kulu, kiirus, ülim juhitavus ja jälgitavus ning ohutusprobleemide puudumine. Virtuaalsetel meetoditel on ka suur eelis, et nad täidavad V&V ülesande palju enne füüsilise toote koostamist. See toob kaasa klassikalise V-diagrammi, mis on näidatud joonisel 1. Kuna aga virtuaalsed meetodid on reaalsuse mudel, toovad need kaasa ebatäpsuse testimisvaldkonnas, samas kui füüsilised meetodid on määratluse järgi täpsed. Lõpuks saab virtuaalseid ja füüsilisi meetodeid kombineerida selliste mõistetega nagu tsüklis tarkvara või riistvara. Stiimuli genereerimise vaadeldavad tulemused fikseeritakse õigsuse kindlakstegemiseks. Korrektsust määratleb tavaliselt kas kuldne mudel või antimudel. Kuldne mudel, tavaliselt virtuaalne, pakub sõltumatult kontrollitud mudelit, mille tulemusi saab võrrelda testitava tootega. Isegi sellises olukorras on tavaliselt erinevus kuldse mudeli abstraktsioonitaseme ja toote vahel, mida tuleb hallata. Kuldmudeli meetodeid kasutatakse sageli arvutiarhitektuurides (nt ARM, RISCV). Mudelivastane olukord koosneb veaseisunditest, kuhu toode siseneda ei saa ja seega on õige käitumine veaolekutest väljaspool olev olekuruum. Näide võib olla autonoomses sõidukiruumis, kus tõrkeseisund võib olla õnnetus või muude piirangute rikkumine. MaVV koosneb ODD olekuruumi erinevate uurimiste andmebaasi loomisest ja selle põhjal täielikkuse argumendi loomisest. Argumendil on tavaliselt tõenäosusanalüüsi olemus. Pärast seda, kui toode on põllul, diagnoositakse põllu tagastus ja alati tuleb esitada küsimus: miks minu algne protsess seda probleemi ei tabanud? Kui testimismetoodika on leitud, värskendatakse seda, et vältida edaspidiste paranduste probleeme. V&V protsess on kriitilise tähtsusega sellise toote loomisel, mis vastab klientide ootustele ja dokumenteerib “mõistliku” hoolsuskohustuse vajaduse tootevastutuse eesmärgil juhtimisraamistikus.

Enamikul juhtudel peab üldine V&V protsess võitlema tohutute ODD-ruumide, piiratud täitmisvõimsuse ja kõrgete hindamiskuludega. Lisaks tuleb seda kõike teha õigeaegselt, et toode oleks turul kättesaadav. Traditsiooniliselt on V&V režiimid jagatud kahte laia kategooriasse: füüsikapõhine ja otsustuspõhine. Räägime nüüd igaühe peamistest omadustest.

MaVV jaoks on kriitilised tegurid MiVV “mootori” tõhusus ja valideerimise täielikkuse argument. Ajalooliselt nõudsid mehaanilised/mittedigitaalsed tooted (nt autod või lennukid) keerukat V&V-d. Need süsteemid olid näited laiemast tooteklassist, millel oli füüsikapõhise täitmise (PBE) paradigma. Selles paradigmas on aluseks oleva mudeli teostusel (sealhulgas reaalses elus) järjepidevuse ja monotoonsuse tunnused, kuna mudel toimib füüsikamaailmas. Sellel olulisel arusaamal on V&V jaoks tohutu mõju, kuna see piirab oluliselt uuritavat potentsiaalset olekuruumi. Olekuruumi vähendamise näited on järgmised:

- Stsenaariumi genereerimine: tuleb muretseda ainult füüsikaseadustega piiratud olekuruumi pärast. Seega ei saa eksisteerida objekte, mis järgivad füüsikat. Iga näitleja on selgesõnaliselt piiratud füüsikaseadustega.

1. Monotoonsus: paljudes huvitavates mõõtmetes on monotoonsuse tugevad omadused. Näiteks kui pidurdamiseks mõeldakse peatumisteekonnale, on kriitiline kiirus, mille ületamisel toimub õnnetus.

Kriitiline on see, et kõik kiirusribad, mis jäävad allapoole seda kriitilist kiirust, on ohutud ja neid ei pea uurima. Mehaaniliselt ehitab traditsioonilistes PBE valdkondades ohutusregulatsiooni filosoofia (ISO 26262 [5], AS9100 [6] jne) ohutusraamistiku protsessina, kus

1. tuvastatakse rikkemehhanismid;
2. rikkemehhanismi käsitlemiseks koostatakse katse- ja ohutusargument;
3. reguleerija (või iseregulatsiooni dokumentatsioon) viib läbi ohutusprotsessi, mis hindab neid kahte ja tegutseb heakskiitmise/keeldumise kohtunikuna.

Traditsiooniliselt peetakse riketeks peamiselt mehaanilisi rikkeid. Näiteks auto pidurisüsteemi ISO 26262 järgi kontrollimise voog sisaldab järgmisi samme:

1. Määratlege ohutuseesmärgid ja -nõuded (kontseptsioonifaas): ohuanalüüs ja riskihindamine (HARA): tuvastage pidurisüsteemiga seotud võimalikud ohud (nt sõiduki peatamine, tahtmatu pidurdamine). Hinnake riskitasemeid selliste parameetrite abil nagu tõsidus, kokkupuude ja juhitavus. Määrake iga ohu jaoks autoohutuse terviklikkuse tasemed (ASIL) (vahemikus ASIL A kuni ASIL D, kus D on kõige rangem). Määrake ohutuseesmärgid ohtude leevendamiseks (nt tagage piisav pidurdamine kõikides tingimustes).
2. Töötage välja funktsionaalne ohutuskontseptsioon: muutke ohutuseesmärgid pidurisüsteemi kõrgetasemelisteks ohutusnõueteks. Veenduge, et on kaasatud liiasus-, diagnostika- ja tõrkekindlad mehhanismid (nt kahekontuuriline pidurdus või elektrooniline jälgimine).
3. Süsteemi projekteerimine ja tehniline ohutuskontseptsioon: jaotage funktsionaalsed ohutusnõuded tehnilisteks nõueteks, kujundage pidurisüsteem koos turvamehhanismidega, nagu riistvara (nt andurid, täiturmehhanismid) ja tarkvara (nt mitteblokeeruvad pidurdusalgoritmid). Rakendage rikete tuvastamise ja leevendamise strateegiaid (nt tõrkeüleminek mehaanilistele või elektroonilistele juhtimisteedele).
4. Riistvara- ja tarkvaraarendus: riistvara ohutuse analüüs (HSA): kontrollige, kas komponendid vastavad ohutusstandarditele (nt usaldusväärsed pidurdusandurid). Tarkvaraarendus ja kontrollimine: kasutage kodeerimiseks, kontrollimiseks ja kinnitamiseks ISO 26262-ga ühilduvaid protsesse. Katsetage pidurdusalgoritme erinevates tingimustes.
5. Integreerimine ja testimine: kontrollige üksikuid komponente ja alamsüsteeme, et tagada nende vastavus tehnilistele nõuetele. Viige läbi kogu pidurisüsteemi integratsioonitestid, keskendudes funktsionaalsetele testidele (nt pidurdusteekond), ohutustestidele (nt käitumine rikketingimustes) ja stressi-/keskkonnatestidele (nt kuumus, vibratsioon).
6. Valideerimine (sõiduki tase): kontrollige pidurisüsteemi kontseptsioonifaasis määratletud ohutuseesmärkide suhtes. Ohutu kasutamise kinnitamiseks tehke reaalseid sõidustsenaariume, äärmuslikke juhtumeid ja vea sissepritseteste. Kontrollige vastavust ASIL-i spetsiifilistele nõuetele.
7. Tootmine, kasutamine ja hooldus: tagage, et tootmine oleks kooskõlas kinnitatud kavanditega. Rakendage tööohutuse meetmeid (nt perioodiline diagnostika, hooldus), jälgige ja lahendage ohutusprobleeme toote elutsükli jooksul (nt tarkvaravärskendused).
8. Kinnitus ja audit: kasutage sõltumatuid kinnitusmeetmeid (nt ohutusauditid, hindamisülevaatused), et tagada pidurisüsteemi vastavus standardile ISO 26262.

Lõpuks on määrustes kindel ettekujutus autoohutuse terviklikkuse tasemete (ASIL) ohutustasemetest. Õhusõidukisüsteemid järgivad disainikindluse tasemete (DAL) kontseptsiooniga sarnast trajektoori (sõnamäng). V&V ülesande põhiosa on igal ASIL-i tasemel nõutavate standardite täitmine. Ajalooliselt on traditsiooniliste autosüsteemide kontrollimiseks välja töötatud keerukas V&V tehnikate komplekt. Need meetodid hõlmasid hästi struktureeritud füüsilisi teste, mida sageli kinnitasid reguleerivad asutused või sanktsioneeritud sõltumatud ettevõtted (ex TUV-Sud [7]). Aastate jooksul on virtuaalse füüsikal põhinevate mudelite kasutamine suurenenud mudelikujundusülesanneteks, nagu keredain [8] või rehvide jõudlus [9]. Nende mudelite üldine struktuur on luua simulatsioon, mis ennustab aluseks olevat füüsikat, et võimaldada laiemat ODD uurimist. See loob väga olulise iseloomustuse, mudeli genereerimise, ennustava täitmise ja parandusvoo. Lõpuks, kuna täitmist piirab tugevalt füüsika, võib virtuaalsetel simulaatoritel olla piiratud jõudlus ja sageli on vaja simulatsiooni kiirendamiseks ulatuslikku riistvaratuge. Kokkuvõttes on PBE paradigma peamised alused V&V vaatepunktist järgmised:

1. Piiratud ja hästi käitutud ruum stsenaariumitestide genereerimiseks.
2. Kallid füüsikapõhised simulatsioonid.
3. mehaanilistele riketele keskendunud eeskirjad.
4. Ohutusolukordades keskendusid eeskirjad ohutuse demonstreerimise protsessile, mille põhiidee on projekteerimiskindluse tasemed.

Küberfüüsikaliste süsteemide arenedes muutis infotehnoloogia (IT) maailma kiiresti.

Joonis 4. Süsteemi spetsifikatsiooni edenemine (HW, SW, AI).

Nagu on näidatud joonisel 4, on elektroonikas toimunud süsteemi funktsioonide ehituse edenemine, kus esimene etapp oli riistvara või pseudo-riistvara (FPGA, mikrokood). Järgmine etapp hõlmas protsessori arhitektuuri leiutamist, millele tarkvara saaks süsteemi funktsiooni jäljendada. Tarkvara oli disainiartefakt, mille inimesed kirjutasid standardkeeltes (C, Python jne). Protsessori abstraktsiooni revolutsiooniline aspekt võimaldas muuta funktsiooni, ilma et oleks vaja nihutada füüsilisi varasid. Tarkvara ehitamiseks oli aga vaja leegioneid programmeerijaid. Tänapäeval on tehisintellekti (AI) suur läbimurre võime luua tarkvara aluseks olevate mudelite, andmete ja mõõdikute kombinatsiooniga.

Oma põhikujul ei olnud IT-süsteemid ohutuskriitilised ja sarnasel tasemel juriidilist vastutust IT-toodetega kaasnenud ei ole. Kuid IT suurus ja kasv on sellised, et suurte tarbekaupade probleemidel võivad olla katastroofilised majanduslikud tagajärjed [10]. Seega oli V&V funktsioon väga oluline. IT-süsteemid järgivad V&V jaoks samu üldisi protsesse, nagu eespool kirjeldatud, kuid neil on kaks olulist erinevust täitmise paradigma ja vigade allika osas. Esiteks, erinevalt PBE paradigmast järgib IT täitmisparadigma otsustuspõhist täitmisrežiimi (DBE). See tähendab, et aluseks oleva mudeli funktsionaalsele käitumisele ei ole loomulikke piiranguid ega monotoonsuse loomupäraseid omadusi. Seega tuleb uurida kogu tohutut ODD-ruumi, mis muudab testide genereerimise ja leviala demonstreerimise töö äärmiselt keeruliseks. Selle raskuse vastu võitlemiseks on välja töötatud rida protsesse, et luua tugevam V&V struktuur. Nende hulka kuuluvad: 1) Koodi katvus: siin kasutatakse virtuaalse mudeli struktuurset spetsifikatsiooni piiranguna, mis aitab juhtida testi genereerimise protsessi. Seda tehakse tarkvara või riistvaraga (RTL-kood). 2) Struktureeritud testimine: Vigade leviku minimeerimiseks on välja töötatud komponentide, alajaotuste ja integratsiooni testimise protsess. 3) Disaini ülevaated: parimaks tavaks peetakse struktureeritud disainiülevaateid koos tehniliste andmete ja tuumaga.

Selle protsessivoo hea näide on CMU võimekuse küpsusmudeli integratsioon (CMMI) [11], mis määratleb protsesside komplekti kvaliteetse tarkvara tarnimiseks. Suurt osa CMMI arhitektuurist saab kasutada tehisintellekti jaoks, kui tehisintellekt asendab olemasolevaid tarkvarakomponente. Lõpuks jaguneb DBE domeeni testimine järgmisteks filosoofilisteks kategooriateks: “Teadaolevad:” tuvastatud ja arusaadavad vead või probleemid, “Teadaolevad tundmatud” Võimalikud riskid või probleemid, mis on eeldatavad, kuid mille täpne olemus või põhjus on ebaselge, ja “Teadmatud tundmatud” Täiesti ootamatud probleemid, mis ilmnevad hoiatuseta või katsetamisel, sageli mõistmisel, mõistmisel, katsetamisel. Viimane kategooria on DBE V&V jaoks kõige problemaatilisem ja kõige olulisem. Pseudojuhuslik testide genereerimine on olnud selle kategooria paljastamise põhitehnika [12]. Kokkuvõttes on DBE paradigma peamised alused V&V vaatepunktist järgmised: 1) piiranguteta ja mitte hästi käituv täitmisruum stsenaariumitestide genereerimiseks, 2) üldiselt odavam simulatsiooni täitmine (mitte füüsilisi seadusi simuleerida), 3) V&V keskendub loogilistele vigadele, mitte mehaanilistele riketele, 4) üldiselt ei ole määratletud ohutusega seotud kriitiliste rakenduste jaoks. Enamik tarkvara on “parimad jõupingutused”, 5) “Teadmatud-tundmatud” on valideerimise põhifookus.

DBE-ruumi peamine tagajärg on see, et PBE-maailma idee koostada vigade loend ja koostada nende jaoks ohutusargument on vastuolus DBE valideerimise fookusega.

Lõpuks keskendub tootearendusprotsess tavaliselt ODD määratlemisele ja selle olukorra kontrollimisele. Tänapäeval on aga lisaprobleemiks võistlevad rünnakud (küberturvalisus). Sellises olukorras soovib vastane süsteemi pahatahtlike kavatsuste eest tõsta. Sellises olukorras ei pea toote omanik mitte ainult kinnitama ODD-d, vaid ka tuvastama, kui süsteem töötab väljaspool ODD-d. Pärast tuvastamist on parim stsenaarium süsteem ohutult ümber suunata ODD-ruumi. Küberjulgeolekuprobleemidega seotud risk jaguneb küberfüüsikaliste süsteemide puhul tavaliselt kolmele tasemele.

1. OTA turvalisus: kui vastane saab üle õhu (OTA) tarkvaravärskendustega manipuleerida, võib ta kiiresti üle võtta massilise hulga seadmeid. Halvima olukorra näide oleks Tesla OTA, mis muudab Tesla kokkupõrkemootoriteks.
2. Kaugjuhtimispuldi turvalisus: kui vastane saab auto kaugjuhtimisega üle võtta, võivad nad kahjustada nii sõitjaid kui ka kolmandaid osapooli.
3. Anduri võltsimine: selles olukorras kasutab vastane sihtmärgi andurite petmiseks kohalikke füüsilisi varasid. GPS-i segamine või võltsimine on aktiivsed näited.

Juhtimise osas eeldab tootearendaja mõistlikku hoolsuskohustust, et neid probleeme minimeerida. Nõutav valideerimise tase on olemuselt dünaamiline ja seotud tööstusharu normidega.