Mis on arvutinägemine tehisintellektis?

Kui oled kunagi telefoni näotuvastusega avanud, kviitungit skanninud või iseteeninduskassa kaamerat vahtinud, mõeldes, kas see hindab sinu avokaadot, oled arvutinägemisega kokku puutunud. Lihtsamalt öeldes arvutinägemine tehisintellektis see, kuidas masinad õpivad nägema ja mõistma , et otsuseid langetada. Kasulik? Absoluutselt. Mõnikord üllatav? Samuti jah. Ja ausalt öeldes kohati veidi õudne. Parimal juhul muudab see segased pikslid praktilisteks toiminguteks. Halvimal juhul see arvab ja kõikub. Sukeldume asjasse – korralikult.

Artiklid, mida võiksite pärast seda lugeda:

🔗 Mis on tehisintellekti eelarvamus?
Kuidas tehisintellekti süsteemides eelarvamused tekivad ja kuidas neid tuvastada ja vähendada.

🔗 Mis on ennustav tehisintellekt?
Kuidas ennustav tehisintellekt kasutab andmeid trendide ja tulemuste ennetamiseks.

🔗 Mis on tehisintellekti koolitaja? Millised on
tehisintellekti koolitavate spetsialistide kohustused, oskused ja tööriistad?

🔗 Mis on Google Vertex AI?
Ülevaade Google'i ühtsest tehisintellekti platvormist mudelite loomiseks ja juurutamiseks.

Mis täpselt on arvutinägemine tehisintellektis? 📸

Arvutinägemine tehisintellektis on tehisintellekti haru, mis õpetab arvuteid visuaalseid andmeid tõlgendama ja arutlema. See on teekond toorpikslitest struktureeritud tähenduseni: „see on stopp-märk“, „need on jalakäijad“, „keevisõmblus on defektne“, „arve summa on siin“. See hõlmab selliseid ülesandeid nagu klassifitseerimine, tuvastamine, segmenteerimine, jälgimine, sügavuse hindamine, OCR ja palju muud – kõik see on kokku põimitud mustriõppe mudelite abil. Formaalne valdkond ulatub klassikalisest geomeetriast kuni tänapäevase süvaõppeni, pakkudes praktilisi käsiraamatuid, mida saab kopeerida ja kohandada. [1]

Kiire anekdoot: kujutage ette pakendamisliini tagasihoidliku 720p kaameraga. Kerge detektor tuvastab korgid ja lihtne jälgimisseade kinnitab, et need on viie järjestikuse kaadri jooksul joondatud, enne kui pudelile rohelise tule annab. Pole uhke, aga odav, kiire ja vähendab ümbertöötlemist.

Mis teeb arvutinägemise tehisintellektis kasulikuks? ✅

• Signaalist tegevuseks voog : visuaalsest sisendist saab tegutsemist võimaldav väljund. Vähem armatuurlauda, ​​rohkem otsuseid.

• Üldistamine : Õigete andmete korral saab üks mudel hakkama väga erinevate piltidega. Mitte ideaalselt – kohati šokeerivalt hästi.

• Andmete võimendamine : kaamerad on odavad ja kõikjal. Nägemine muudab selle pikslite ookeani teadmisteks.

• Kiirus : Mudelid saavad kaadreid töödelda reaalajas tagasihoidliku riistvaraga – või peaaegu reaalajas, olenevalt ülesandest ja resolutsioonist.

• Koostatavus : lihtsate sammude ühendamine usaldusväärseteks süsteemideks: tuvastamine → jälgimine → kvaliteedikontroll.

• Ökosüsteem : tööriistad, eelkoolitatud mudelid, võrdlusalused ja kogukonna tugi – üks tohutu koodibasaar.

Olgem ausad, saladus pole saladus: head andmed, distsiplineeritud hindamine, hoolikas juurutamine. Ülejäänu on harjutamine... ja võib-olla ka kohv. ☕

Kuidas arvutinägemine tehisintellektis töötab ühes mõistlikus protsessis 🧪

1. Piltide hankimine
   Kaamerad, skannerid, droonid, telefonid. Valige hoolikalt sensori tüüp, säritus, objektiiv ja kaadrisagedus. Prügi sisse jne.

2. Eeltöötlus Vajadusel
   muutke suurust, kärpige, normaliseerige, eemaldage hägusust või müra. Mõnikord liigutab väike kontrasti muudatus mägesid. [4]

3. Sildid ja andmekogumid
   Piiravad kastid, hulknurgad, võtmepunktid, tekstiulatused. Tasakaalustatud, representatiivsed sildid – vastasel juhul õpib teie mudel ebaühtlaseid harjumusi.

4. Modelleerimine

   • Klassifikatsioon : „Milline kategooria?“

   • Tuvastamine : „Kus objektid asuvad?“

   • Segmenteerimine : „Millised pikslid kuuluvad millisele asjale?“

   • Põhipunktid ja poos : „Kus asuvad liigesed või maamärgid?“

   • OCR : „Mis tekst pildil on?“

   • Sügavus ja 3D : „Kui kaugel kõik on?“
     Arhitektuurid on erinevad, kuid domineerivad konvolutsioonivõrgud ja trafo-stiilis mudelid. [1]

5. Treening
   Andmete jagamine, hüperparameetrite häälestamine, regulariseerimine, täiendamine. Varajane peatamine enne taustapildi meeldejätmist.

6. Hindamine
   Kasutage OCR-i jaoks ülesandele sobivaid mõõdikuid, näiteks mAP, IoU, F1, CER/WER. Ärge valige välja vaid üksikuid. Võrrelge õiglaselt. [3]

7. Juurutamine
   Optimeeri sihtmärgi jaoks: pilvepõhised pakk-tööd, seadmesisene järeldamine, servaserverid. Jälgi triivi. Õpeta ümber, kui maailm muutub.

Süvavõrgud katalüüsisid kvalitatiivset hüpet, kui suured andmekogumid ja arvutusvõimsus saavutasid kriitilise massi. Sellised võrdlusnäitajad nagu ImageNet väljakutse muutsid selle edusammu nähtavaks – ja järeleandmatuks. [2]

Põhiülesanded, mida sa tegelikult kasutad (ja millal) 🧩

• Pildi klassifikatsioon : Üks silt pildi kohta. Kasutage kiirete filtrite, triaaži või kvaliteedikontrolli jaoks.

• Objektide tuvastamine : Asjade ümber olevad kastid. Jaemüügikahjude ennetamine, sõidukite tuvastamine, metsloomade loendamine.

• Eksemplari segmenteerimine : piksli täpsusega siluetid objekti kohta. Tootmisdefektid, kirurgilised tööriistad, põllumajandustehnika.

• Semantiline segmenteerimine : klass piksli kohta ilma eksemplare eraldamata. Linnatänavad, maakate.

• Võtmepunktide tuvastamine ja poos : liigesed, orientiirid, näojooned. Spordianalüütika, ergonoomika, liitreaalsus.

• Jälgimine : Objektide jälgimine ajas. Logistika, liiklus, turvalisus.

• OCR ja dokumendi tehisintellekt : teksti ekstraheerimine ja küljenduse parsimine. Arved, kviitungid, vormid.

• Sügavus ja 3D : rekonstruktsioon mitmest vaatest või monokulaarsete vihjete abil. Robootika, liitreaalsus, kaardistamine.

• Visuaalsed subtiitrid : tehke stseenidest kokkuvõtteid loomulikus keeles. Ligipääsetavus, otsing.

• Nägemiskeele mudelid : multimodaalne arutluskäik, otsingu abil täiustatud nägemine, maandatud kvaliteedikontroll.

Pisikese korpuse aura: kauplustes märgistab detektor puuduvad riiulikatted; jälgija hoiab ära topeltarvestuse töötajate varude täiendamisel; lihtne reegel suunab ebausaldusväärsed kaadrid inimesele ülevaatamiseks. See on väike orkester, mis enamasti püsib hääles.

Võrdlustabel: tööriistad kiiremaks saatmiseks 🧰

Veidi omapärane meelega. Jah, vahed on imelikud – ma tean.

Mis tagab tehisintellektis arvutinägemise 🔧

• Andmete katvus : valgustuse muutused, nurgad, taustad, äärejuhtumid. Kui see on võimalik, lisage see.

• Sildi kvaliteet : Ebajärjekindlad kastid või lohakad hulknurgad saboteerivad mAP-i. Väike kvaliteedikontroll on väga oluline.

• Nutikad täiendused : kärpimine, pööramine, heleduse värina muutmine, sünteetilise müra lisamine. Ole realistlik, mitte suvaline kaos.

• Mudelivaliku sobivus : kasutage tuvastamist seal, kus tuvastamine on vajalik – ärge sundige klassifikaatorit asukohti ära arvama.

• Mõjule vastavad mõõdikud : kui valepositiivsed tulemused teevad rohkem kahju, optimeerige meeldetuletust. Kui valepositiivsed tulemused teevad rohkem kahju, seadke esikohale täpsus.

• Tihe tagasisideahel : logi vead, ümbermärgistamine, ümberõpetamine. Loputamine, kordamine. Natuke igav, aga metsikult efektiivne.

Tuvastamiseks/segmenteerimiseks on kogukonna standardiks keskmine täpsus ehk COCO-stiilis mAP . IoU ja AP@{0.5:0.95} arvutamise teadmine hoiab ära edetabelite kümnendmurdude pimestamise. [3]

Reaalse maailma kasutusjuhud, mis pole hüpoteetilised 🌍

• Jaemüük : riiulianalüüs, kadude ennetamine, järjekordade jälgimine, planogrammide järgimine.

• Tootmine : pinnadefektide tuvastamine, montaaži kontrollimine, roboti juhtimine.

• Tervishoid : radioloogiline triaaž, instrumentaalne tuvastamine, rakkude segmenteerimine.

• Liikuvus : ADAS, liikluskaamerad, parkimiskohtade täituvus, mikromobiilsuse jälgimine.

• Põllumajandus : saagi loendamine, haiguste tuvastamine, koristusvalmidus.

• Kindlustus ja finants : kahjude hindamine, KYC kontrollid, pettuse märgistamine.

• Ehitus ja energia : ohutusnõuetele vastavus, lekete tuvastamine, korrosiooni jälgimine.

• Sisu ja ligipääsetavus : automaatsed subtiitrid, modereerimine, visuaalne otsing.

Muster, mida märkad: asenda käsitsi skaneerimine automaatse triaažiga ja kui enesekindlus langeb, suuna see inimeste poole. Pole glamuurne, aga see skaleerub.

Andmed, sildid ja olulised mõõdikud 📊

• Klassifikatsioon : Täpsus, F1 tasakaalustamatuse jaoks.

• Tuvastamine : mAP üle IoU lävede; kontrollige klassi AP-d ja suuruse ämbreid. [3]

• Segmenteerimine : mIoU, Dice; kontrolli ka eksemplari tasemel vigu.

• Jälgimine : MOTA, IDF1; taasidentifitseerimise kvaliteet on vaikne kangelane.

• OCR : märgivea määr (CER) ja sõnavea määr (WER); sageli domineerivad küljendusvead.

• Regressiooniülesanded : sügavuse või poosi määramisel kasutatakse absoluutseid/suhtelisi vigu (sageli logaritmilistel skaaladel).

Dokumenteeri oma hindamisprotokoll, et teised saaksid seda korrata. See on ebaseksikas, aga aitab sul aus olla.

Ehitamine vs ostmine – ja kus seda teha 🏗️

• Pilv : Lihtsaimalt käivitatav, suurepärane partiitöötluseks. Jälgige väljundkulusid.

• Äärevõrgu seadmed : madalam latentsusaeg ja parem privaatsus. Teile on olulised kvantiseerimine, kärpimine ja kiirendid.

• Seadmesisene mobiil : hämmastav, kui see sobib. Optimeeri mudeleid ja kella akut.

• Hübriid : Eelfilter äärealadel, raske töö pilves. Hea kompromiss.

Igavalt usaldusväärne pakk: prototüüp PyTorchiga, standardse detektori treenimine, eksport ONNX-i, kiirendamine OpenVINO/ONNX Runtime'iga ning OpenCV kasutamine eeltöötluseks ja geomeetriaks (kalibreerimine, homograafia, morfoloogia). [4]

Riskid, eetika ja rasked osad, millest rääkida ⚖️

Nägemissüsteemid võivad pärida andmestiku kallutatust või operatiivseid pimealasid. Sõltumatud hinnangud (nt NIST FRVT) on mõõtnud demograafilisi erinevusi näotuvastuse veamäärades algoritmide ja tingimuste lõikes. See ei ole paanikaks põhjus, kuid see on põhjus hoolikaks testimiseks, piirangute dokumenteerimiseks ja pidevaks jälgimiseks tootmises. Identiteedi- või ohutusega seotud kasutusjuhtumite juurutamisel lisage inimeste poolt läbivaatamise ja apellatsioonimehhanismid. Privaatsus, nõusolek ja läbipaistvus ei ole valikulised lisad. [5]

Kiire algusplaan, mida saad päriselt järgida 🗺️

1. Määrake otsus.
   Millist toimingut peaks süsteem pärast pildi nägemist tegema? See hoiab ära edevusmõõdikute optimeerimise.

2. Koguge killustatud andmekogum.
   Alustage mõnesaja pildiga, mis peegeldavad teie tegelikku keskkonda. Märgistage hoolikalt – isegi kui see olete teie ja kolm kleepmärkmepaberit.

3. Valige baasmudel.
   Valige lihtne selgroog eelnevalt treenitud kaaludega. Ärge veel eksootilisi arhitektuure taga ajama hakake. [1]

4. Treeni, logi, hinda
   Jälgi mõõdikuid, segaduspunkte ja rikkerežiime. Pea märkmikku „veidrate juhtumite” kohta – lumi, pimestamine, peegeldused, veidrad fondid.

5. Pingutage tsüklit
   Lisage kõvasid negatiive, parandage siltide triivi, reguleerige augmentatsioone ja häälestage läviväärtusi uuesti. Väikesed muudatused summeeruvad. [3]

6. Juurutage õhuke versioon
   . Kvantige ja eksportige. Mõõtke latentsust/läbilaskevõimet reaalses keskkonnas, mitte mänguasja võrdlusalusena.

7. Jälgi ja itereeri.
   Koguge tõrkeid, sildistage ümber ja treenige ümber. Planeerige perioodilisi hindamisi, et teie mudel ei kivistuks.

Profinõuanne: lisa märkused oma kõige küünilisema meeskonnakaaslase seatud pisikesele reservväljale. Kui ta ei suuda sinna auke torgata, oled ilmselt valmis.

Levinud viperused, mida tasub vältida 🧨

• Koolitus puhaste stuudiopiltide tegemisel, rakendamine pärismaailmas vihma käes objektiivil.

• Üldise mAP-i optimeerimine, kui hoolite ühest kriitilisest klassist. [3]

• Klasside tasakaalustamatuse ignoreerimine ja seejärel imestamine, miks haruldased sündmused kaovad.

• Ületäiustamine seni, kuni mudel õpib kunstlikke artefakte tundma.

• Kaamera kalibreerimise vahelejätmine ja seejärel perspektiivivigadega igavene võitlemine. [4]

• Edetabeli numbrite uskumine ilma täpset hindamisülesannet kordamata. [2][3]

Allikad, mis tasub järjehoidjatesse lisada 🔗

Kui sulle meeldivad algmaterjalid ja kursuse märkmed, siis need on ideaalsed nii põhitõdede, harjutamise kui ka võrdlusaluste omandamiseks. Lingid leiad viidete jaotisest: CS231n märkmed, ImageNeti väljakutse töö, COCO andmekogumi/hindamise dokumendid, OpenCV dokumendid ja NIST FRVT aruanded. [1][2][3][4][5]

Lõppsõnad - ehk liiga pikk, ei lugenud 🍃

Tehisintellekti arvutinägemine muudab pikslid otsusteks. See särab, kui õige ülesanne on seotud õigete andmetega, õiged asjad on mõõdud ja tööd tehakse ebatavalise distsipliiniga. Tööriistad on helded, võrdlusnäitajad on avalikud ja tee prototüübist tootmiseni on üllatavalt lühike, kui keskenduda lõppotsusele. Seadke oma sildid paika, valige mõjuga sobivad mõõdikud ja laske mudelitel raske töö ära teha. Ja kui metafoor aitab – mõelge sellest kui väga kiire, kuid sõna otseses mõttes praktikandi õpetamisest, et ta märkaks, mis on oluline. Näitate näiteid, parandate vigu ja usaldate sellele järk-järgult päris töö. Mitte täiuslik, aga piisavalt lähedal, et olla transformatiivne. 🌟

Viited

1. CS231n: Süvaõpe arvutinägemise jaoks (kursuskonspektid) - Stanfordi Ülikool.
   Loe edasi

2. ImageNet Suuremastaabilise Visuaalse Tuvastamise Väljakutse (artikkel) - Russakovsky jt.
   Loe edasi

3. COCO andmestik ja hindamine – ametlik veebisait (ülesannete definitsioonid ja mAP/IoU konventsioonid).
   Loe lähemalt

4. OpenCV dokumentatsioon (v4.x) – eeltöötluse, kalibreerimise, morfoloogia jms moodulid.
   Loe edasi

5. NIST FRVT 3. osa: Demograafilised efektid (NISTIR 8280) – näotuvastuse täpsuse sõltumatu hindamine demograafiliste näitajate lõikes.
   Loe lähemalt

Leia uusim tehisintellekt ametlikust tehisintellekti abilise poest

Meist