Kaasaegne autonoomia ajastu on sageli jälgitav DARPA suurte väljakutsetega (2004–2007), kuid see põhineb aastakümnete varasemal automatiseerimisel maa-, mere-, õhu- ja kosmosesüsteemides. Õhusõidukite valdkonnas pärinevad autopiloodid 20. sajandi alguse süsteemidest, nagu Sperry Autopilot, mis on arenenud tänapäevasteks väga integreeritud lennujuhtimissüsteemideks, mida kasutatakse kommertslennukitel, nagu Boeing 777 ja Airbus A320, kus autopiloot, automaatne drossel ja fly-by-wire süsteemid haldavad rutiinselt enamikku lennufaase inimese järelevalve all. Merevaldkonnas on laevad pikka aega kasutanud autopiloote ja dünaamilisi positsioneerimissüsteeme, samal ajal kui kosmosesüsteemid – alates Apollo juhendamisarvutist kuni tänapäevase autonoomse navigatsioonini Marsi kulguritel – näitasid äärmuslike piirangute all varakult suletud ahela autonoomiat. Seevastu maapealsed süsteemid jäid keskkonna keerukuse tõttu maha, mistõttu olid DARPA väljakutsed nii pöördelised: 2004. aasta kõrbevõistlus paljastas taju ja planeerimise ebaküpsuse, kuid 2005. aastaks lõpetas Stanfordi “Stanley” 132-miilise autonoomse marsruudi ning 2007. aasta Urban Challenge tutvustas muid liikluseeskirju ja suhtlemist liiklusagentidega. Need võistlused ühendasid edusammud tuvastuses, tõenäosuspõhises arutluskäigus ja reaalajas juhtimises täielikult autonoomseteks süsteemideks ning lõid talendibaasi, mis hiljem ajendas ärilist autonoomiat.
Enne DARPA väljakutset ei suutnud deterministlikud algoritmid teha edusamme autonoomsete süsteemide ehitamise olulistes nõutavates aspektides, nagu objektituvastus, tee planeerimine või lokaliseerimine. Hiljutine suur hüpe tehnoloogias oli tehisintellekti kasutamine nende varem lahendamatute probleemide ründamiseks. AI kasutuselevõtt viis valdkonda oluliselt edasi, kuid tõi ka väljakutseid.
See peatükk tutvustab tajumist, kaardistamist ja lokaliseerimist autonoomsete sõidukite ja erinevate anduriviiside kasutamise kontekstis. See uurib sõiduki asukoha määramist, asukohta ja teiste liikluses osalejate tegevusi, ümbritsevate stseenide mõistmist, stseeni kaardistamist ja kaardistamist navigeerimiseks, tehisintellekti rakendusi ning võimalikke ebakindluse ja ebastabiilsuse allikaid.