Mis on tehisintellektis närvivõrk?

Mis on tehisintellektis närvivõrk?

Neuraalvõrgud kõlavad müstiliselt, kuni nad seda enam ei tee. Kui oled kunagi mõelnud, mis on tehisintellektis närvivõrk? Ja kas see on lihtsalt matemaatika uhke mütsiga, siis oled õiges kohas. Hoiame asja praktilisena, lisame väikeseid kõrvalepõikeid ja jah – paar emotikoni. Lahkud teadmisega, mis need süsteemid on, miks need töötavad, kus need ebaõnnestuvad ja kuidas neist rääkida ilma käega vehkimata.

Artiklid, mida võiksite pärast seda lugeda:

🔗 Mis on tehisintellekti eelarvamus?
Tehisintellekti süsteemide eelarvamuste mõistmine ja õigluse tagamise strateegiad.

🔗 Mis on ennustav tehisintellekt
Kuidas ennustav tehisintellekt kasutab mustreid tulevaste tulemuste prognoosimiseks.

🔗 Mis on tehisintellekti treener
Tehisintellekti koolitavate spetsialistide rolli ja vastutuse uurimine.

🔗 Mis on arvutinägemine tehisintellektis?
Kuidas tehisintellekt arvutinägemise abil visuaalseid andmeid tõlgendab ja analüüsib.

Mis on tehisintellektis närvivõrk? 10-sekundiline vastus ⏱️

Neuraalvõrk on virn lihtsatest arvutusüksustest, mida nimetatakse neuroniteks ja mis edastavad numbreid edasi, kohandavad treeningu ajal oma ühenduse tugevust ning õpivad järk-järgult andmetes mustreid. Süvaõppe all mõeldakse tavaliselt paljude virnastatud kihtidega neuraalvõrku, mis õpib funktsioone automaatselt, selle asemel, et neid käsitsi kodeerida. Teisisõnu: palju pisikesi matemaatilisi tükke, mis on nutikalt paigutatud ja andmete põhjal treenitud, kuni need on kasulikud [1].

Mis teeb närvivõrgu kasulikuks? ✅

  • Esitusvõime : Õige arhitektuuri ja suurusega võrgud suudavad lähendada äärmiselt keerulisi funktsioone (vt universaalse lähenduse teoreem) [4].

  • Lõpp-lõpuni õppimine : käsitsi inseneritöö asemel avastab mudel omadused [1].

  • Üldistamine : Hästi regulariseeritud võrk ei jäädvusta lihtsalt andmeid – see töötab ka uute, seni nägemata andmetega [1].

  • Skaleeritavus : Suuremad andmekogumid ja suuremad mudelid parandavad sageli tulemusi... kuni praktiliste piirideni, nagu arvutusvõimsus ja andmete kvaliteet [1].

  • Ülekantavus : Ühes ülesandes õpitud omadused võivad aidata teist (õppe ülekandmine ja peenhäälestus) [1].

Väike välimärkus (näidisstsenaarium): Väike tooteklassifitseerimise meeskond vahetab käsitsi loodud funktsioonid kompaktse CNN-i vastu, lisab lihtsaid täiendusi (pööramine/kärpimine) ja jälgib valideerimisvigade kadumist – mitte sellepärast, et võrk oleks "maagiline", vaid sellepärast, et see õppis pikslitelt otse kasulikke funktsioone.

„Mis on tehisintellektis närvivõrk?“ lihtsas inglise keeles, kahtlase metafooriga 🍞

Kujutage ette pagaritöökoja tootmisliini. Koostisosad lähevad sisse, töötajad muudavad retsepti, maitsjad kurdavad ja meeskond uuendab retsepti uuesti. Võrgustikus voolavad sisendid läbi kihtide, kadufunktsioon hindab väljundit ja gradiendid suunavad kaalusid järgmisel korral paremini toimima. Metafoorina pole see täiuslik – leib ei ole eristatav –, aga see püsib [1].

Neuraalvõrgu anatoomia 🧩

  • Neuronid : pisikesed kalkulaatorid, mis rakendavad kaalutud summat ja aktivatsioonifunktsiooni.

  • Kaalud ja eelarvamused : reguleeritavad nupud, mis määravad signaalide kombineerimise viisi.

  • Kihid : sisendkiht võtab vastu andmeid, peidetud kihid teisendavad neid, väljundkiht teeb ennustuse.

  • Aktiveerimisfunktsioonid : Mittelineaarsed keerdkäigud nagu ReLU, sigmoid, tanh ja softmax muudavad õppimise paindlikuks.

  • Kaotusfunktsioon : ennustuse vale skoor (klassifitseerimise puhul ristentroopia, regressiooni puhul MSE).

  • Optimeerija : Algoritmid nagu SGD või Adam kasutavad kaalude värskendamiseks gradiente.

  • Regulariseerimine : sellised tehnikad nagu mudeli väljalangemine või kaalu vähendamine, et vältida mudeli ülesobitamist.

Kui soovid formaalset käsitlust (kuid siiski loetavat), siis avatud õpik „Deep Learning” hõlmab kogu teemat: matemaatika alused, optimeerimise ja üldistamise [1].

Aktiveerimisfunktsioonid, lühidalt, aga abivalmilt ⚡

  • ReLU : null negatiivsete jaoks, lineaarne positiivsete jaoks. Lihtne, kiire, efektiivne.

  • Sigmoidne : pigistab kokku väärtused vahemikus 0 kuni 1 – kasulik, aga võib tekitada ka küllastust.

  • Tanh : Nagu sigmoidne, aga sümmeetriline nulli ümber.

  • Softmax : Teisendab toored tulemused klassidevahelisteks tõenäosusteks.

Sa ei pea iga kõvera kuju pähe õppima – tea lihtsalt kompromisse ja levinumaid vaikeväärtusi [1, 2].

Kuidas õppimine tegelikult toimub: toestamine, aga mitte hirmutav 🔁

  1. Edasisuunamine : Andmevoog liigub kiht kihi haaval, et luua ennustus.

  2. Arvutuskaotus : võrdle ennustust tõega.

  3. Tagasilevi : Arvutage iga kaalu suhtes kao gradiendid, kasutades ahelreeglit.

  4. Värskendus : Optimeerija muudab kaalusid veidi.

  5. Korda : Mitu ajastut. Mudel õpib järk-järgult.

Praktilise intuitsiooni saamiseks visuaalide ja koodiga seotud selgituste abil vaadake klassikalisi CS231n märkmeid backpropi ja optimeerimise kohta [2].

Neuraalvõrkude peamised perekonnad lühidalt 🏡

  • Edasisuunamisvõrgud (MLP-d) : Lihtsaim liik. Andmed liiguvad ainult edasi.

  • Konvolutsioonilised närvivõrgud (CNN-id) : Suurepärased piltide jaoks tänu ruumilistele filtritele, mis tuvastavad servi, tekstuure ja kujundeid [2].

  • Rekurrentsed närvivõrgud (RNN-id) ja variandid : loodud selliste järjestuste jaoks nagu tekst või aegridad, säilitades järjekorra tunde [1].

  • Transformerid : Kasutage tähelepanu korraga erinevate positsioonidevaheliste suhete modelleerimiseks järjestuses; domineeriv keeles ja kaugemalgi [3].

  • Graafi närvivõrgud (GNN-id) : opereerivad graafi sõlmede ja servadega – kasulikud molekulide, sotsiaalsete võrgustike ja soovituste jaoks [1].

  • Automaatsed kodeerijad ja VAE-d : Õppige tihendatud esitusi ja genereerige variatsioone [1].

  • Generatiivsed mudelid : GAN-idest difusioonimudeliteni, kasutatakse piltide, heli ja isegi koodi puhul [1].

CS231n märkmed on eriti sobivad CNN-ide jaoks, samas kui Transformeri artikkel on tähelepanupõhiste mudelite peamine allikas [2, 3].

Võrdlustabel: levinumad närvivõrkude tüübid, kellele need mõeldud on, hinnad ja miks need toimivad 📊

Tööriist / tüüp Sihtrühm Hinnaline Miks see toimib
Edasisuunamine (MLP) Algajad, analüütikud Madal-keskmine Lihtsad, paindlikud ja korralikud baasjooned
CNN Visioonimeeskonnad Keskmine Kohalikud mustrid + parameetrite jagamine
RNN / LSTM / GRU Järjestuse inimesed Keskmine Ajaline mälulaadne… jäädvustab korra
Trafo NLP, multimodaalne Keskmiselt kõrge Tähelepanu koondub olulistele suhetele
GNN Teadlased, recys Keskmine Sõnumite edastamine graafikutel paljastab struktuuri
Autoenkooder / VAE Teadlased Madal-keskmine Õpib kokkusurutud esitusi
GAN / Difusioon Loomingulised laborid Keskmiselt kõrge Vastandlik või iteratiivne denoising-maagia

Märkused: hinnakujundus sõltub arvutusvõimsusest ja ajast; läbisõit varieerub. Üks või kaks lahtrit on meelega jutukad.

„Mis on tehisintellektis närvivõrk?“ vs klassikalised masinõppe algoritmid ⚖️

  • Funktsioonide kavandamine : klassikaline masinõpe tugineb sageli käsitsi funktsioonidele. Neuraalvõrgud õpivad funktsioone automaatselt – see on suur võit keerukate andmete puhul [1].

  • Andmenälg : Võrgustikud säravad sageli suurema hulga andmetega; väike andmemaht võib soodustada lihtsamaid mudeleid [1].

  • Arvutustehnika : Võrgud armastavad kiirendeid, näiteks graafikaprotsessoreid [1].

  • Jõudluse lagi : Struktureerimata andmete (pildid, heli, tekst) puhul kipuvad domineerima süvavõrgud [1, 2].

Koolituse töövoog, mis praktikas toimib 🛠️

  1. Määrake eesmärk : klassifitseerimine, regressioon, järjestamine, genereerimine – valige sobiv kaotus.

  2. Andmetega jännamine : Jaga need osadeks: treenimine/valideerimine/testimine. Normaliseeri funktsioonid. Tasakaalusta klassid. Piltide puhul kaalu täiustamist, näiteks pööramist, kärpimist ja väikest müra.

  3. Arhitektuuri valik : alusta lihtsalt. Lisa mahtu ainult vajadusel.

  4. Treeningtsükkel : Andmete partiidena töötlemine. Edasiandmine. Kao arvutamine. Tagavara. Uuendamine. Mõõdikute logimine.

  5. Reguleerimine : väljalangemine, kaalulangus, varajane peatumine.

  6. Hindamine : Kasutage hüperparameetrite valideerimiskomplekti. Lõplikuks kontrolliks hoidke käepärast testikomplekti.

  7. Saatke ettevaatlikult : jälgige triivi, kontrollige eelarvamusi, planeerige tagasipööramisi.

Kindla teooriaga otsast lõpuni koodile orienteeritud õpetuste jaoks on avatud õpik ja CS231n märkmed usaldusväärsed tugisambad [1, 2].

Ülesobitamine, üldistamine ja muud jamad 👀

  • Ülesobitamine : mudel jätab meelde treeningvead. Parandage need rohkemate andmete, tugevama regulariseerimise või lihtsamate arhitektuuridega.

  • Alamsobivus : Mudel on liiga lihtne või treenimine on liiga arglik. Suurendage mahtu või treenige kauem.

  • Andmete leke : Testikomplektist pärit teave hiilib treeningusse. Kontrollige oma jaotusi kolm korda.

  • Halb kalibreerimine : Mudel, mis on küll usaldusväärne, kuid vale, on ohtlik. Kaalu kalibreerimist või erinevat kahjumi kaalumist.

  • Jaotuse nihe : reaalse maailma andmed liiguvad. Jälgige ja kohandage.

Üldistamise ja regulariseerimise teooria selgitamiseks toetuge standardviidetele [1, 2].

Ohutus, tõlgendatavus ja vastutustundlik juurutamine 🧭

Neuraalvõrgud suudavad langetada olulisi otsuseid. Sellest ei piisa, et nad edetabelis hästi esinevad. Kogu elutsükli vältel on vaja juhtimis-, mõõtmis- ja leevendamismeetmeid. NISTi tehisintellekti riskijuhtimise raamistik kirjeldab praktilisi funktsioone – JUHTIMINE, KARTANDAMINE, MÕÕTMINE, HALDAMINE –, mis aitavad meeskondadel integreerida riskijuhtimist disaini ja juurutamisse [5].

Mõned kiired nipid:

  • Eelarvamuste kontroll : hinnake demograafiliste näitajate lõikes, kui see on asjakohane ja seaduslik.

  • Tõlgendatavus : Kasutage selliseid tehnikaid nagu silmapaistvus või tunnuste omistamine. Need on ebatäiuslikud, kuid kasulikud.

  • Jälgimine : määrake märguanded äkiliste mõõdikute languste või andmete triivi kohta.

  • Inimlik järelevalve : Hoidke inimesi kursis mõjukate otsustega. Ei mingit kangelaslikkust, ainult hügieen.

Korduma kippuvad küsimused, mis sul salaja tekkisid 🙋

Kas närvivõrk on põhimõtteliselt aju?

Jah, inspireeritud ajudest – aga lihtsustatult. Võrgustike neuronid on matemaatilised funktsioonid; bioloogilised neuronid on keerulise dünaamikaga elusrakud. Sarnased vibratsioonid, väga erinev füüsika [1].

Mitu kihti mul vaja on?

Alusta väikselt. Kui sobitus on ebapiisav, lisa laiust või sügavust. Kui sobitus on liiga suur, siis regulariseeri või vähenda mahtu. Maagilist numbrit pole; on lihtsalt valideerimiskõverad ja kannatlikkus [1].

Kas mul on alati vaja graafikakaarti?

Mitte alati. Väikesed mudelid tagasihoidlike andmete peal saavad protsessori abil treenida, aga piltide, suurte tekstimudelite või suurte andmekogumite puhul säästavad kiirendid tohutult aega [1].

Miks inimesed ütlevad, et tähelepanul on jõud?

Sest tähelepanu võimaldab mudelitel keskenduda sisendi kõige olulisematele osadele ilma rangelt järjekorras marssimata. See tabab globaalseid seoseid, mis on keele- ja multimodaalsete ülesannete puhul oluline [3].

Kas „Mis on tehisintellektis närvivõrk?“ erineb küsimusest „Mis on süvaõpe?“?

Süvaõpe on laiem lähenemisviis, mis kasutab süvaneuraalvõrke. Seega on küsimus „Mis on tehisintellektis närvivõrk?” sama, mis küsida peategelase kohta; süvaõpe on terve film [1].

Praktilised, veidi arvamuslikud näpunäited 💡

  • Eelista lihtsaid baasjooni . Isegi väike mitmekihiline pertseptron suudab öelda, kas andmed on õpitavad.

  • Hoidke oma andmevoog reprodutseeritavana . Kui te ei saa seda uuesti käivitada, ei saa te seda usaldada.

  • Õppimiskiirus on olulisem, kui arvad. Proovi ajakava. Soojendusharjutused võivad aidata.

  • Partii suuruse osas on kompromisse . Suuremad partiid stabiliseerivad gradiente, kuid võivad üldistada erinevalt.

  • Segaduses olles joonistage kaotuskõverad ja kaalunormid ... Te oleksite üllatunud, kui sageli vastus graafikutel leidub.

  • Dokumenteeri eeldusi. Tulevikus sinu jaoks ununeb kõik kiiresti [1, 2].

Sügav analüüs: andmete roll ehk miks prügi sissetoomine tähendab ikkagi prügi väljatoomist 🗑️➡️✨

Neuraalvõrgud ei paranda vigaseid andmeid võluväel. Viltused sildid, annotatsioonivead või kitsas valim kajavad kõik mudelis. Kureeri, auditeeri ja täienda andmeid. Ja kui sa pole kindel, kas vajad rohkem andmeid või paremat mudelit, on vastus sageli tüütult lihtne: mõlemat – aga alusta andmete kvaliteedist [1].

„Mis on tehisintellektis närvivõrk?“ - lühikesed definitsioonid, mida saate uuesti kasutada 🧾

  • Neuraalvõrk on kihiline funktsioonide lähendaja, mis õpib keerulisi mustreid, kohandades kaalusid gradientsignaalide abil [1, 2].

  • See on süsteem, mis teisendab sisendid väljunditeks järjestikuste mittelineaarsete sammude kaudu ja on treenitud kadude minimeerimiseks [1].

  • See on paindlik ja andmemahukas modelleerimisviis, mis toimib hästi struktureerimata sisendite, näiteks piltide, teksti ja heli puhul [1, 2, 3].

Liiga pikk, ei lugenud ja lõppsõnad 🎯

Kui keegi küsib teilt, mis on tehisintellektis närvivõrk, siis siin on lühikokkuvõte: närvivõrk on virn lihtsaid ühikuid, mis teisendavad andmeid samm-sammult, õppides teisendust kadude minimeerimise ja gradientide järgimise teel. Need on võimsad, kuna nad skaleeruvad, õpivad funktsioone automaatselt ja suudavad esitada väga keerulisi funktsioone [1, 4]. Need on riskantsed, kui ignoreerida andmete kvaliteeti, juhtimist või jälgimist [5]. Ja need pole maagia. Lihtsalt matemaatika, arvutused ja hea inseneritöö – näpuotsatäie maitsega.

Lisalugemist, hoolikalt valitud (viitamiseta lisamaterjalid)

Viited

[1] Goodfellow, I., Bengio, Y. ja Courville, A. Süvaõpe . MIT Press. Tasuta veebiversioon: loe edasi

[2] Stanford CS231n. Konvolutsioonilised närvivõrgud visuaalseks äratundmiseks (kursusmärkmed): loe edasi

[3] Vaswani, A., Shazeer, N., Parmar, N. jt (2017). Tähelepanu on kõik, mida vajad . NeurIPS. arXiv: loe edasi

[4] Cybenko, G. (1989). Sigmoidfunktsiooni lähendamine superpositsioonide abil . Mathematics of Control, Signals and Systems , 2, 303–314. Springer: loe edasi

[5] NIST. Tehisintellekti riskijuhtimise raamistik (AI RMF) : loe lähemalt

Leia uusim tehisintellekt ametlikust tehisintellekti abilise poest

Meist

Tagasi blogisse