Objekti tuvastamine, andurite liitmine, kaardistamine ja positsioneerimine

Objektide tuvastamine on põhiline tajufunktsioon, mis võimaldab autonoomsel sõidukil tuvastada ja lokaliseerida asjakohaseid üksusi oma ümbruses. See teisendab anduri töötlemata sisendid struktureeritud semantiliseks ja geomeetriliseks teabeks, mis on aluseks kõrgema taseme ülesannetele, nagu jälgimine, ennustamine ja planeerimine. Säilitades teadlikkust kõigist oma töökeskkonnas olevatest objektidest, saab sõiduk teha ohutuid ja kontekstipõhiseid otsuseid.

Tuvastatud objektid võivad hõlmata järgmist:

• Dünaamilised ained, nagu muud sõidukid, jalgratturid ja jalakäijad.
• Staatilised või kvaasistaatilised ehitised, nagu äärekivid, piirded ja liiklusmärgid.
• Ootamatud takistused, nagu praht, loomad või ehitusseadmed.

Iga tuvastamine sisaldab tavaliselt semantilist silti, ruumilist piirdekasti (2D või 3D), usaldusskoori ja mõnikord ka kiiruse või orientatsiooni teavet. Täpne tuvastamine on autonoomse käitumise kõigi järgnevate etappide aluseks; mis tahes vastamata või vale tuvastamine võib viia ebaturvaliste või ebatõhusate otsusteni.

Objektide tuvastamine tugineb täiendavate andurite kombinatsioonile, millest igaüks annab erinevat tüüpi teavet ja nõuab spetsiaalseid algoritme.

Kaamerad pakuvad rikkaliku värvi ja tekstuuriga tihedaid visuaalseid andmeid, mis on semantilise mõistmise jaoks hädavajalikud. Tüüpilised kaamerapõhised tuvastamismeetodid hõlmavad järgmist:

• Funktsioonipõhised algoritmid, nagu 'Orienteeritud gradientide histogramm (HOG)', 'Scale-Invariant Feature Transform (SIFT)' ja 'Speeded-Up Robust Features (SURF)', mida kasutatakse varajastes sõiduradade ja jalakäijate tuvastamise süsteemides.
• Stereonägemine sügavuse hindamiseks ja takistuste lokaliseerimiseks, trianguleerides pildipaaride vahelise erinevuse.
• Optiline vooluanalüüs liikumise tuvastamiseks ja objektide trajektooride hindamiseks videoseeriates.
• Klassikalised masinõppe lähenemisviisid, nagu Support Vector Machines (SVM) või AdaBoost koos käsitsi valmistatud funktsioonidega jalakäijate reaalajas tuvastamiseks.
• Kaasaegsed konvolutsiooni- ja trafopõhised võrgud (vaadatud jaotises 5.2), mis järeldavad piltide põhjal otse 2D- ja 3D-piirdekastid.

Kaamerad on fooride, märkide, sõiduraja märgistuste ja inimeste liigutuste tõlgendamiseks asendamatud, kuid nende jõudlus võib nõrga valgustuse, pimestamise või ebasoodsate ilmastikutingimuste korral halveneda.

LiDAR (valguse tuvastamine ja ulatus) mõõdab kaugusi laserimpulsi tagastamise ajastuse abil, luues tihedaid 3D-punktipilvi. LiDAR-põhised objektide tuvastamise meetodid keskenduvad geomeetrilisele arutlusele:

• Punktide rühmitamise lähenemisviisid, nagu Eukleidilise klastri ekstraheerimine ja Region Growing, rühmitavad lähedalasuvad punktid potentsiaalseteks objektideks.
• Modelipõhine paigaldus, sealhulgas RANSAC tasapindade, pooluste või silindriliste objektide tuvastamiseks.
• Vokseliseerimismeetodid, mis diskretiseerivad 3D-ruumi funktsioonide eraldamiseks mahulisteks võrgustikeks.
• Projitseerimismeetodid, kus punktipilved projitseeritakse segmenteerimiseks 2D-vahemiku või intensiivsusega kujutisteks.
• Kuju sobitamine ja kontuuride jälgimine, mis sobitavad klastrid tuntud mallidega, nagu sõiduki ristkülikud või jalakäijate ellipsoidid.

LiDAR-i täpne geomeetria võimaldab täpselt hinnata kaugust ja kuju, kuid hõredad tagastused või osalised oklusioonid võivad klassifitseerimise jõudlust vaidlustada.

Radar (raadiotuvastus ja kaugus) pakub raadiolainete abil teavet kaugmaa vahemaa ja kiiruse kohta. Selle ainulaadsed Doppleri mõõtmised on hindamatud liikumise jälgimiseks isegi udus, tolmus või pimeduses. Tüüpilised radaripõhised tuvastamismeetodid on järgmised:

• Constant False Alarm Rate (CFAR) töötlus, mis eristab statistiliselt tõeseid peegeldusi mürast vahemiku-Doppleri kaartidel.
• Range–Doppleri rühmitamine radarituvastuste rühmitamiseks vastavalt üksikutele objektidele.
• Kalmani ja osakeste filtreerimine mitme sihtmärgi jälgimiseks, kasutades kiiruse hinnanguid.
• Mikro-Doppleri analüüs, mis tuvastab teatud tüüpi liikumiste tunnused, nagu kõndivad jalakäijad või pöörlevad rattad.
• Radari ja nägemise seos, kus radarituvastused on klassi täpsustamiseks korrelatsioonis kaamerapõhiste piirdekastidega.

Radarisüsteemid on eriti olulised ohtude varajaseks avastamiseks ja kokkupõrgete vältimiseks, kuna need toimivad tõhusalt halva ilma ja halva nähtavuse korral.

Ultraheli- ja sonariandurid tuvastavad objekte akustiliste lainete peegelduste kaudu ja on eriti kasulikud keskkondades, kus optiline või elektromagnetiline tundlikkus on piiratud. Need on lahutamatu osa mitte ainult maapealsetest sõidukitest lähituvastuse jaoks, vaid ka pinna- ja veealuste autonoomsete sõidukite jaoks navigeerimiseks, takistuste vältimiseks ja maastiku kaardistamiseks.

Maasõidukite puhul töötavad ultraheliandurid väikestel vahemaadel (tavaliselt alla 5 meetri) ja neid kasutatakse parkimisabiks, pimeala tuvastamiseks ja läheduse jälgimiseks. Levinud meetodid hõlmavad järgmist:

• Lennuaja (ToF) mõõtmine, kus kaugus takistuseni arvutatakse edastatud ja vastuvõetud helilainete vahelise viivituse põhjal.
• Amplituudi- ja faasianalüüs, kasutatakse pinna kõvaduse või materjali omaduste järeldamiseks.
• Triangulatsioon ja kiire kujundamine, mis hindavad objekti suunda ja kuju mitme anduri abil.
• Kajaprofiil, mis klassifitseerib takistused nende akustilise tagastussignatuuri alusel.

Autonoomsete maapealsete ja veealuste sõidukite puhul laiendavad sonarisüsteemid neid põhimõtteid palju pikematele vahemikele ja akustiliselt tiheda meedia kaudu. Tüüpilised sonaripõhised tuvastamismeetodid on järgmised:

• Mitmekiireline kajahelimine, mis loob merepõhja või veealuste struktuuride 3D-punktipilved.
• Side-scan sonar, mis loob kõrge eraldusvõimega akustilisi kujutisi takistuste ja objektide tuvastamiseks mööda sõiduki trajektoori.
• Edaspidine sonar (FLS), mis tagab pinna- või sukelsõidukitele reaalajas takistuste vältimise.
• Synthetic Aperture Sonar (SAS), mis saavutab täiustatud ruumilise eraldusvõime, kombineerides sidusalt mitu sonari pinget sõiduki liikumise ajal.
• Akustilise Doppleri kiiruslogi (ADVL) integreerimine, mis võimaldab nii takistuste tuvastamist kui ka täpset liikumise hindamist.

Need akustilised süsteemid on olulised valdkondades, kus elektromagnetiline andur (nt kaamera, LiDAR, radar) on ebausaldusväärne – näiteks hägune vesi, hägune keskkond või ookeanipinna all. Kuigi sonari ruumiline eraldusvõime on madalam kui optilistel süsteemidel ning seda mõjutavad mitmeteelised ja hajuvad efektid, pakub see halva nähtavuse tingimustes võrreldamatut vastupidavust. Nagu ka teiste andurite puhul, on erinevate soolsuse, temperatuuri ja sügavuse profiilide tuvastamise täpsuse säilitamiseks vajalik regulaarne kalibreerimine, signaali filtreerimine ja keskkonna kohandamine.

Objekti tuvastamise väljundeid saab esitada erinevates koordinaatsüsteemides ja abstraktsioonitasemetes:

• 2D tuvastamine lokaliseerib objektid kujutise koordinaatides, mis sobib semantilisteks arutlusteks.
• 3D-tuvastus hindab objekti mõõtmeid, asukohta ja orientatsiooni maailmakaadris, võimaldades liikumise planeerimist ja vahemaapõhist ohutuskontrolli.
• Bird’s-Eye-View (BEV) tuvastamine projitseerib kõik andurite andmed ühtsele maapinna kaardile, lihtsustades mitme anduri ruumilist mõtlemist. Linnuvaate (BEV) esituses mitmeliigilise andurite liitmine, mis projitseerib mitme anduri andmed ühtseks maapinna koordinaatsüsteemiks, on muutunud 3D-objektide tuvastamise juhtivaks lähenemisviisiks.

Hübriidsüsteemid ühendavad need paradigmad – näiteks kaamerapõhine semantiline märgistus, mida on täiustatud LiDAR-ist tuletatud 3D-geomeetriaga –, et saavutada nii kontekstuaalne teadlikkus kui ka meetriline täpsus.

Autonoomse sõiduki standardne objektituvastuse torujuhe läbib järgmised etapid:

1. Andmete kogumine ja eeltöötlus – anduri töötlemata andmeid kogutakse, filtreeritakse, ajatempliga ja sünkroonitakse.
2. Omaduse eraldamine ja esitus — igast modaalsusest arvutatakse asjakohased geomeetrilised või visuaalsed näpunäited.
3. Objekti hüpoteesi loomine – kandidaatide tuvastamine on välja pakutud liikumise, klastrite moodustamise või kuju prioriteedi alusel.
4. Klassifikatsioon ja täpsustamine – hüpoteesid kinnitatakse, märgistatakse ja täpsustatakse sulatatud sensoorsete tõendite põhjal.
5. Järeltöötlus ja ajaline seostamine – dubleeritud tuvastamised liidetakse ja jälgimine tagab ajalise järjepidevuse.

Torujuhe töötab pidevalt reaalajas (tavaliselt 10–30 Hz) deterministliku latentsusega, et täita ohutus- ja juhtimisnõudeid.

Ükski sensortehnoloogia ei suuda jäädvustada keeruka sõidustseeni kõiki aspekte igas olukorras, erinevates ilmastiku-, valgustus- ja liiklusoludes. Seetõttu liidetakse (ühendatakse) mitme anduri andmed, et saada keskkonnast täielikum, täpsem ja usaldusväärsem arusaam, kui ükski andur üksinda suudaks pakkuda.

Igal anduriviisil on erinevad eelised ja nõrkused:

• Kaamerad pakuvad kõrge eraldusvõimega värvi- ja tekstuuriteavet, mis on oluline fooride, märkide ja objektide välimuse tuvastamiseks, kuid on tundlikud valgustuse ja ilmastiku suhtes.
• LiDAR pakub täpseid 3D geomeetria ja ulatuse andmeid, võimaldades täpset kauguse hindamist ja kuju rekonstrueerimist, kuid seda mõjutavad vihm, udu ja peegeldavad pinnad.
• Radar mõõdab objekti kiirust ja kaugust kindlalt isegi halva nähtavuse korral, kuid sellel on jäme nurkeraldusvõime ja see võib olla hädas väikeste või staatiliste objektidega.
• GNSS annab globaalse asukoha, kuid kannatab signaali blokeerimise ja peegelduse tõttu nt linnakanjonites, tunnelites ja puude võrade all.
• IMU annab liikumise hinnangu, kuid sellel on kalduvus triivida ja akumuleeruda viga.

Neid täiendavaid andmeallikaid ühendades võib tajusüsteem saavutada liiasuse, suurema täpsuse ja tõrketaluvuse – funktsionaalse ohutuse võtmetegurid (ISO 26262).

Andurite liitmine võib keskenduda komplementaarsusele – erinevad andurid annavad ainulaadset, mittekattuvat teavet ja liigsusele – kattuvad andurid kinnitavad üksteise mõõtmisi, parandades töökindlust. Kuna kasutatakse mitut anduriviisi, on mõlemad eesmärgid saavutatavad.

Täpne liitmine sõltub kriitiliselt andurite ruumilisest ja ajalisest joondamisest.

• Väline kalibreerimine määrab kindlaks jäiga keha teisendused andurite vahel (translatsioon ja pöörlemine). Tavaliselt hinnatakse seda sihtmärgipõhise kalibreerimise (nt ruudu või peegeldavate sfääride) või enesekalibreerimise abil, kasutades keskkonnafunktsioone.
• Sisemine kalibreerimine parandab anduripõhiseid moonutusi, nagu objektiivi aberratsioon või LiDAR-kiire vale joondamine.
• Ajaline sünkroniseerimine tagab, et kõik anduri mõõtmised vastavad samale füüsilisele momendile, kasutades riistvarapäästikuid, jagatud kellasid või interpolatsiooni.

Kalibreerimisvead põhjustavad ruumilisi ebakõlasid, mis võivad halvendada tuvastamise täpsust või põhjustada valepositiivseid tulemusi. Seetõttu käsitletakse kalibreerimist funktsionaalse ohutusahela osana ning seda kontrollitakse regulaarselt hooldus- ja valideerimisprotseduuride käigus.

Sulandumine võib toimuda tajukonveieri erinevates etappides, mis jagunevad tavaliselt kolmeks tasandiks:

• Andmetaseme fusioon ühendab andurite toorsignaalid enne tõlgendust, pakkudes kõige rikkalikumat sisendit, aga ka suurimat arvutuslikku koormust.
• Funktsioonitaseme liitmine ühendab töödeldud väljundid, nagu tuvastatud servad, liikumisvektorid või sügavuskaardid, tasakaalustades detailide ja tõhususe.
• Otsustustasandi fusioon ühendab erinevate andurite poolt sõltumatult tehtud järeldused, mis teeb lõpliku otsuse, mis toob kasu mitmest vaatenurgast.

Andurite liitmise matemaatiline alus seisneb tõenäosuslikus olekuhinnangus ja Bayesi järelduses. Tüüpilised formulatsioonid kujutavad süsteemi olekut tõenäosusjaotusena, mida värskendatakse anduri mõõtmiste abil. Levinud tehnikad hõlmavad järgmist:

• Kalmani filter (KF) ja selle mittelineaarsed laiendused Laiendatud Kalmani filter (EKF) ja Lõhnastamata Kalmani filter (UKF), mis säilitavad Gaussi hinnangulise olekumääramatuse ja värskendavad seda iteratiivselt uute anduriandmete saabumisel.
• Particle Filter (PF), mis kasutab kaalutud valimite komplekti suvaliste mitte-Gaussi jaotuste ligikaudseks määramiseks.
• Bayesi võrgud ja faktorigraafikud, mis esindavad andurite ja süsteemimuutujate vahelisi sõltuvusi sõlmede ja äärtena, võimaldades suuremahulist optimeerimist.
• Deep Learning-based Fusion, kus närvivõrgud õpivad kaudselt statistilisi seoseid andurite modaalsuste vahel pigem tagasilevitamise kui otsese tõenäosusliku modelleerimise kaudu.

Süvaõppel on sensorite ühendamine märkimisväärselt arenenud. Närviarhitektuurid õpivad optimaalseid fusioonikaalusid ja korrelatsioone automaatselt tundma, edestades sageli käsitsi loodud algoritme. Näiteks:

• BEVFusion ühendab LiDAR-i ja kaamera funktsioonid ülalt-alla BEV-esitusse 3D tuvastamiseks.
• TransFusion kasutab modaalsuste dünaamiliseks joondamiseks trafopõhist tähelepanu.
• DeepFusion ja PointPainting projitseerivad LiDAR-i punktid pilditasandile, rikastades neid semantiliste värvifunktsioonidega.

Lõpp-otsani termotuumasünteesivõrgud saavad ühiselt optimeerida tuvastamise, segmenteerimise ja liikumise hindamise ülesandeid, suurendades nii täpsust kui ka töökindlust. Sügava termotuumasünteesi mudelid nõuavad aga suuri multimodaalseid andmekogumeid koolituseks ja hoolikaks valideerimiseks, et tagada üldistus ja tõlgendatavus.