Lühike vastus: Määrake, milline on teie kasutusjuhtumi puhul „hea“, seejärel testige seda representatiivsete, versioonitud küsimuste ja äärmusjuhtumitega. Siduge automatiseeritud mõõdikud inimeste hindamisega koos vastastikuse ohutuse ja küsimuste sisestamise kontrollidega. Kui kulu- või latentsuspiirangud muutuvad siduvaks, võrrelge mudeleid ülesannete edukuse järgi kulutatud naela kohta ja p95/p99 reageerimisaegade järgi.
Peamised järeldused:
Vastutus : Määrake selged omanikud, pidage versioonilogisid ja käivitage hindamine uuesti pärast iga viipa või mudeli muudatust.
Läbipaistvus : enne punktide kogumise alustamist kirjutage üles edukriteeriumid, piirangud ja ebaõnnestumise kulud.
Auditeeritavus : säilitage korratavaid testikomplekte, märgistatud andmekogumeid ja jälgitavaid p95/p99 latentsusaja mõõdikuid.
Vaidlustatavus : Vaidlustatud tulemuste korral kasutage inimeste poolt läbivaatamise rubriike ja määratletud apellatsioonimenetlust.
Väärkasutusele vastupanu : Red Teami kiire süstimine, tundlikud teemad ja liigne keeldumine kasutajate kaitsmiseks.
Kui valid toote, uurimisprojekti või isegi sisemise tööriista jaoks mudelit, ei saa sa lihtsalt öelda, et „see kõlab nutikalt“, ja siis seda müüa (vt OpenAI hindamisjuhendit ja NIST AI RMF 1.0 ). Nii saadki vestlusroboti, mis enesekindlalt selgitab, kuidas kahvlit mikrolaineahjus kuumutada. 😬
Artiklid, mida võiksite pärast seda lugeda:
🔗 Tehisintellekti tulevik: trendid, mis kujundavad järgmist kümnendit.
Peamised uuendused, mõju töökohtadele ja eetika, mida edaspidi jälgida.
🔗 Generatiivse tehisintellekti alusmudelite selgitus algajatele.
Siit saate teada, mis need on, kuidas neid treenitakse ja miks need on olulised.
🔗 Kuidas tehisintellekt mõjutab keskkonda ja energiatarbimist?
Avastage heitkoguseid, elektrienergia nõudlust ja jalajälje vähendamise viise.
🔗 Kuidas tehisintellekti suurendamine tänapäeval teravamate piltide saamiseks töötab?
Vaadake, kuidas mudelid lisavad detaile, eemaldavad müra ja suurendavad puhtalt.
1) „Hea” defineerimine (see oleneb olukorrast ja see on okei) 🎯
Enne mis tahes hindamise läbiviimist otsusta, milline edu välja näeb. Vastasel juhul mõõdad kõike ja ei õpi midagi. See on nagu mõõdulindi kaasa võtmine tordivõistluse hindamiseks. Muidugi, saad numbreid, aga need ei ütle sulle palju 😅
Selgita:
-
Kasutaja eesmärk : kokkuvõtete tegemine, otsing, kirjutamine, arutluskäik, faktide eraldamine
-
Ebaõnnestumise hind : vale filmisoovitus on naljakas; vale meditsiiniline juhis pole… naljakas (riski raamimine: NIST AI RMF 1.0 ).
-
Käituskeskkond : seadmes, pilves, tulemüüri taga, reguleeritud keskkonnas
-
Peamised piirangud : latentsus, päringu hind, privaatsus, selgitatavus, mitmekeelse tugi, toonikontroll
Mudel, mis on ühes töökohas „parim“, võib teises töökohas olla katastroof. See ei ole vastuolu, see on reaalsus. 🙂
2) Milline näeb välja tugev tehisintellekti mudeli hindamise raamistik 🧰
Jep, see on see osa, mille inimesed vahele jätavad. Nad võtavad võrdlusaluse, käivitavad selle ühe korra ja lõpetavad asja. Tugeval hindamisraamistikul on mõned ühtsed omadused (praktilised tööriistade näited: OpenAI Evals / OpenAI evals juhend ):
-
Korduvkasutatav – saate seda järgmisel nädalal uuesti käivitada ja võrdlusi usaldada
-
Esinduslik – see kajastab teie tegelikke kasutajaid ja ülesandeid (mitte ainult tühiasi)
-
Mitmekihiline – ühendab automatiseeritud mõõdikud + inimese tehtud ülevaate + konkureerivad testid
-
Tegutsemist vääriv – tulemused näitavad, mida parandada, mitte ainult, et „skoor langes”
-
Võltsimiskindel – hoiab ära „testimise õpetamise“ või juhusliku lekke
-
Kuluteadlik – hindamine iseenesest ei tohiks teid pankrotti viia (välja arvatud juhul, kui teile meeldib valu)
Kui sinu hindamine ei suuda ellu jääda skeptilise meeskonnakaaslase ütlusele „Olgu, aga kaardista see tootmisesse“, siis pole see veel lõppenud. See ongi vibratsioonikontroll.
3) Kuidas hinnata tehisintellekti mudeleid, alustades kasutusjuhtude lõikudest 🍰
Siin on nipp, mis säästab tohutult aega: jaga kasutusjuhtum osadeks .
„Mudeli hindamise” asemel tehke järgmist
-
Kavatsuse mõistmine (kas see annab kasutajale soovitud tulemuse)
-
Otsimine või konteksti kasutamine (kas see kasutab antud infot õigesti)
-
Arutluskäik / mitmeastmelised ülesanded (kas see jääb sammude lõikes sidusaks)
-
Vormindus ja struktuur (kas see järgib juhiseid)
-
Ohutuse ja poliitika ühtlustamine (kas see väldib ohtlikku sisu; vt NIST AI RMF 1.0 )
-
Toon ja brändihääl (kas see kõlab nii, nagu sa tahad)
See muudab „Kuidas hinnata tehisintellekti mudeleid” vähem üheks suureks eksamiks ja pigem sihipäraste viktoriinide komplektiks. Viktoriinid on tüütud, aga hallatavad. 😄
4) Võrguühenduseta hindamise põhitõed – testikomplektid, sildid ja olulised mitteglamuursed detailid 📦
Võrguühenduseta evalveerimine on koht, kus tehakse kontrollitud teste enne, kui kasutajad midagi puudutavad (töövoo mustrid: OpenAI Evals ).
Loo või kogu endale sobiv testikomplekt
Hea testikomplekt sisaldab tavaliselt järgmist:
-
Kuldsed näited : ideaalsed väljundid, mida uhkusega pakuksite
-
Äärmuslikud juhtumid : mitmetähenduslikud küsimused, korrastamata sisendid, ootamatu vorming
-
Vearežiimi sondid : küsimused, mis ahvatlevad hallutsinatsioone või ohtlikke vastuseid tekitama (riskitestimise raamistik: NIST AI RMF 1.0 )
-
Mitmekesisuse ulatus : erinevad kasutajate oskustasemed, murded, keeled, valdkonnad
Kui testid ainult „puhaste” käskude peal, näeb mudel hämmastav välja. Seejärel ilmuvad su kasutajad trükivigade, poolikute lausete ja raevukate klikkimisenergiaga. Tere tulemast reaalsusesse.
Märgistusvalikud (ehk rangustasemed)
Väljundeid saab märgistada järgmiselt:
-
Binaarne : läbitud/läbikukkunud (kiire, karm)
-
Ordinaal : kvaliteediskoor 1–5 (nüansirikas, subjektiivne)
-
Mitme atribuudiga : täpsus, täielikkus, toon, viidete kasutamine jne (parim, aeglasem)
Mitme atribuudi hindamine on paljude meeskondade jaoks ideaalne valik. See on nagu toidu maitsmine ja soolasuse hindamine tekstuurist eraldi. Muidu ütled lihtsalt „hea“ ja kehitad õlgu.
5) Mõõdikud, mis ei valeta – ja mõõdikud, mis tegelikult valetavad 📊😅
Mõõdikud on väärtuslikud ... aga need võivad olla ka sädelevad pommid. Läikivad kõikjal ja raskesti puhastatavad.
Levinud mõõdikute perekonnad
-
Täpsus / täpne vaste : suurepärane ekstraktimiseks, klassifitseerimiseks, struktureeritud ülesannete jaoks
-
F1 / täpsus / tagasikutsumine : mugav, kui millegi puudumine on hullem kui lisamüra (definitsioonid: scikit-learn täpsus/tagasikutsumine/F-skoor )
-
BLEU / ROUGE stiilis kattumine : sobib kokkuvõtvate ülesannete jaoks, sageli eksitav (algsed mõõdikud: BLEU ja ROUGE )
-
Sarnasuse põimimine : kasulik semantilise vaste leidmiseks, võib premeerida valesid, aga sarnaseid vastuseid
-
Ülesande edukuse määr : „kas kasutaja sai, mida vajas“ on hästi defineeritud ja kuldstandard
-
Piirangute järgimine : järgib vormingut, pikkust, JSON-i kehtivust, skeemi järgimist
Põhipunkt
Kui teie ülesanne on avatud (kirjutamine, arutluskäik, tugivestlus), võivad ühekohalised mõõdikud olla... ebakindlad. Mitte mõttetud, lihtsalt ebakindlad. Loovuse mõõtmine joonlauaga on võimalik, aga te tunnete end seda tehes rumalana. (Samuti torkate ilmselt silma välja.)
Seega: kasutage mõõdikuid, aga siduge need inimese tehtud hinnangute ja reaalsete ülesannete tulemustega (üks näide õigusteaduse magistriõppel põhinevast hindamisest + hoiatused: G-Eval ).
6) Võrdlustabel - parimad hindamisvõimalused (oma eripäradega, sest elul on omad iseärasused) 🧾✨
Siin on praktiline valik hindamismeetodeid. Kombineeri ja sobita erinevaid lähenemisviise. Enamik meeskondi teeb seda.
| Tööriist / meetod | Sihtrühm | Hind | Miks see toimib |
|---|---|---|---|
| Käsitsi koostatud kiirtestide komplekt | Toode + tehnika | $ | Väga sihipärane, tabab regressioonid kiiresti – aga seda tuleb igavesti säilitada 🙃 (alustav tööriist: OpenAI Evals ) |
| Inimeste rubriikide hindamispaneel | Meeskonnad, kellel on arvustajaid vabaks jätta | $$ | Parim tooni, nüansi ja „kas inimene aktsepteeriks seda“ osas, kerge kaos, olenevalt arvustajatest |
| LLM-kohtunikuna (koos rubriikidega) | Kiired iteratsioonitsüklid | $-$$ | Kiire ja skaleeritav, kuid võib pärida eelarvamusi ja mõnikord hindab vibratsioone, mitte fakte (uuringud + teadaolevad eelarvamusprobleemid: G-Eval ) |
| Võistlev punaste meeskondade sprint | Ohutus + vastavus | $$ | Leiab vürtsikaid tõrkerežiime, eriti kiiret süstimist – tundub nagu stressitest jõusaalis (ohtude ülevaade: OWASP LLM01 kiire süstimine / OWASP Top 10 LLM-rakenduste jaoks ) |
| Sünteetilise testi genereerimine | Andmepõhised meeskonnad | $ | Suurepärane kajastus, aga sünteetilised teemavihjed võivad olla liiga korralikud, liiga viisakad... kasutajad pole viisakad |
| A/B-testimine päris kasutajatega | küpsed tooted | $$$ | Selgeim signaal – ja samas emotsionaalselt kõige stressirohkem, kui mõõdikud kõikuvad (klassikaline praktiline juhend: Kohavi jt, „Kontrollitud katsed veebis“ ) |
| Otsingupõhine hindamine (RAG-kontrollid) | Otsingu- ja kvaliteedikontrolli rakendused | $$ | Mõõdab, et „kasutab konteksti õigesti” vähendab hallutsinatsioonide skoori inflatsiooni (RAG-i hindamise ülevaade: RAG-i hindamine: uuring ) |
| Jälgimine + triivi tuvastamine | Tootmissüsteemid | $$-$$$ | Tabab aja jooksul lagunemist - tagasihoidlik kuni päevani, mil see sind päästab 😬 (triivi ülevaade: kontseptuaalse triivi uuring (PMC) ) |
Pane tähele, et hinnad on meelega madalad. Need sõltuvad ulatusest, tööriistadest ja sellest, kui palju koosolekuid sa kogemata käivitad.
7) Inimeste hindamine – salarelv, mida inimesed alarahastavad 👀🧑⚖️
Kui teed ainult automatiseeritud hindamist, jääd ilma järgmisest:
-
Tooni ebakõla („miks see nii sarkastilise iseloomuga on“)
-
Peened faktivead, mis tunduvad ladusad
-
Kahjulikud implikatsioonid, stereotüübid või kohmakas sõnastus (riski ja eelarvamuse raamistamine: NIST AI RMF 1.0 )
-
Juhiste järgimise tõrked, mis kõlavad endiselt "targana"
Tehke rubriigid konkreetseks (muidu teevad retsensendid vabastiili)
Halb rubriik: „Kasulikkus“.
Parem rubriik:
-
Õigeus : faktiliselt täpne, arvestades küsimust + konteksti
-
Täielikkus : hõlmab nõutud punkte ilma pikemalt vahele jätmata
-
Selgus : loetav, struktureeritud, minimaalne segadus
-
Poliitika/turvalisus : väldib piiratud sisu, saab keeldumisega hästi hakkama (turvaline raamimine: NIST AI RMF 1.0 )
-
Stiil : vastab häälele, toonile ja lugemistasemele
-
Ustavus : ei leiuta allikaid ega väiteid, mida ei toetata
Samuti tehke vahel hindajatevahelisi kontrolle. Kui kaks hindajat on pidevalt eriarvamusel, pole see „inimeste probleem“, vaid rubriigi probleem. Tavaliselt (hindajatevahelise usaldusväärsuse põhitõed: McHugh Coheni kappa kohta ).
8) Kuidas hinnata tehisintellekti mudeleid ohutuse, töökindluse ja „öäk, kasutajate“ seisukohast 🧯🧪
See on osa, mida teed enne turuletoomist – ja jätkad siis, sest internet ei maga kunagi.
Vastupidavustestid, mis hõlmavad
-
Kirjavead, släng, vigane grammatika
-
Väga pikad ja väga lühikesed juhised
-
Vastuolulised juhised („ole lühike, aga lisa kõik detailid“)
-
Mitmekordsed vestlused, kus kasutajad muudavad eesmärke
-
Kiire süstimise katsed („ignoreeri eelnevaid reegleid…“) (ohu üksikasjad: OWASP LLM01 kiire süstimine )
-
Tundlikud teemad, mis nõuavad hoolikat keeldumist (riski/ohutuse raamistik: NIST AI RMF 1.0 )
Ohutushindamine ei ole lihtsalt „kas see keeldub“
Hea mudel peaks:
-
Keeldu ohtlikest taotlustest selgelt ja rahulikult (juhendamine: NIST AI RMF 1.0 )
-
Pakkuda vajadusel ohutumaid alternatiive
-
Väldi kahjutute päringute ülemäärast tagasilükkamist (valepositiivsed tulemused)
-
Ebamääraste taotluste käsitlemine selgitavate küsimustega (kui lubatud)
Liigne keeldumine on tõeline tooteprobleem. Kasutajatele ei meeldi, kui neid koheldakse nagu kahtlaseid päkapikke. 🧌 (Isegi kui nad on kahtlased päkapikud.)
9) Maksumus, latentsusaeg ja operatiivne reaalsus – hindamine, mille kõik unustavad 💸⏱️
Mudel võib olla "hämmastav" ja ikkagi vale, kui see on aeglane, kallis või operatiivselt habras.
Hinda:
-
Latentsusjaotus (mitte ainult keskmine - p95 ja p99 on olulised) (miks protsentiilid on olulised: Google SRE töövihik jälgimise kohta )
-
Eduka ülesande maksumus (mitte eraldi žetooni maksumus)
-
Stabiilsus koormuse all (aegumised, kiirusepiirangud, anomaalsed hüpped)
-
Tööriista kutsumise usaldusväärsus (kui see kasutab funktsioone, kas see käitub)
-
Väljundpikkuse tendents (mõned mudelid jooksevad ringi ja jooksmine maksab raha)
Veidi halvem mudel, mis on kaks korda kiirem, võib treeningul võita. See kõlab ilmselgelt, kuid inimesed ignoreerivad seda. Nagu ostaks toidupoeskäiguks sportauto ja seejärel kurdaks pakiruumi üle.
10) Lihtne otsast lõpuni töövoog, mida saab kopeerida (ja kohandada) 🔁✅
Siin on praktiline juhend tehisintellekti mudelite hindamiseks ilma lõpututesse katsetesse kinni jäämata:
-
Edu defineerimine : ülesanne, piirangud, ebaõnnestumise kulud
-
Loo väike „põhitestide“ komplekt : 50–200 näidet, mis kajastavad tegelikku kasutamist
-
Lisa serva- ja vastashulgad : süstimiskatsed, mitmetähenduslikud küsimused, ohutussondid (küsitluse klass: OWASP LLM01 )
-
Käivita automatiseeritud kontrollid : vormindus, JSON-i kehtivus, võimaluse korral elementaarne õigsus
-
Inimese poolt ülevaatamise tegemine : näidisväljundite valimine kategooriate lõikes, hindamine rubriigi abil
-
Võrdle kompromisse : kvaliteet vs hind vs latentsus vs ohutus
-
Piiratud väljalaskega pilootversioon : A/B-testid või etapiviisiline juurutamine (A/B-testimise juhend: Kohavi jt. )
-
Tootmises jälgimine : triiv, regressioonid, kasutajate tagasisideahelad (triivi ülevaade: kontseptsiooni triivi uuring (PMC) )
-
Iteratsioon : värskenda käske, otsing, peenhäälestus, piirded ja seejärel käivita eval uuesti (evali iteratsioonimustrid: OpenAI evalsi juhend )
Pea versioonitud logisid. Mitte sellepärast, et see oleks lõbus, vaid sellepärast, et tulevikus tänad sa sind kohvitassi käes hoides ja pomisedes: "Mis muutus...?" ☕🙂
11) Levinud lõksud (ehk viisid, kuidas inimesed end kogemata lollitavad) 🪤
-
Testiks treenimine : optimeerite juhiseid seni, kuni võrdlusalus näeb hea välja, aga kasutajad kannatavad.
-
Lekkivad hindamisandmed : testiküsimused ilmuvad treening- või peenhäälestusandmetesse (ups).
-
Ühe mõõdiku kummardamine : ühe skoori tagaajamine, mis ei kajasta kasutaja väärtust
-
Jaotusnihke ignoreerimine : kasutajate käitumine muutub ja teie mudel halveneb vaikselt (tootmisriski raamistik: kontseptsiooni triivi uuring (PMC) )
-
Üleindekseerimine „nutikuse” põhjal : nutikas arutluskäik ei loe, kas see rikub vormindust või leiutab fakte
-
Keeldumise kvaliteeti ei testitud : „Ei” võib olla õige, aga ikkagi kohutav kasutajakogemus.
Samuti ole ettevaatlik demodega. Demod on nagu filmide treilerid. Need näitavad esiletõstetud hetki, peidavad aeglaseid osi ja mõnikord on lisatud dramaatilist muusikat. 🎬
12) Lõppkokkuvõte teemal Kuidas hinnata tehisintellekti mudeleid 🧠✨
Tehisintellekti mudelite hindamine ei ole üksainus tulemus, vaid tasakaalustatud eine. Teil on vaja valku (korrektsus), köögivilju (ohutus), süsivesikuid (kiirus ja hind) ja jah, mõnikord ka magustoitu (toonus ja nauding) 🍲🍰 (riski raamimine: NIST AI RMF 1.0 )
Kui muud ei meenu:
-
Määrake, mida „hea” teie kasutusjuhu jaoks tähendab
-
Kasutage representatiivseid testikomplekte, mitte ainult tuntud võrdlusaluseid
-
Kombineeri automatiseeritud mõõdikud inimese tehtud rubriikide ülevaatega
-
Testi töökindlust ja ohutust, näiteks kui kasutajad on vastased (sest mõnikord… nad on) (kiire süstimise klass: OWASP LLM01 )
-
Kaasake hind ja latentsus hindamisse, mitte järelmõttena (miks protsentiilid on olulised: Google SRE töövihik )
-
Jälgige pärast turuletoomist – mudelid triivivad, rakendused arenevad, inimesed on loomingulised (triivi ülevaade: kontseptsiooni triivi uuring (PMC) )
Nii hinnatakse tehisintellekti mudeleid viisil, mis toimib ka siis, kui teie toode on turul ja inimesed hakkavad tegema ettearvamatuid asju. Mis on alati nii. 🙂
KKK
Mis on esimene samm tehisintellekti mudelite hindamisel päris toote jaoks?
Alusta sellest, et defineerid, mida „hea“ sinu konkreetse kasutusjuhtumi puhul tähendab. Täpsusta kasutaja eesmärki, kui palju ebaõnnestumised sulle maksma lähevad (madalad vs suured riskid) ja kus mudel töötab (pilves, seadmesisene, reguleeritud keskkond). Seejärel loetle ranged piirangud, nagu latentsus, maksumus, privaatsus ja toonikontroll. Ilma selle aluseta mõõdad palju ja teed ikkagi halva otsuse.
Kuidas luua testikomplekt, mis peegeldab tõeliselt minu kasutajaid?
Loo testikomplekt, mis on tõeliselt sinu oma, mitte pelgalt avalik võrdlusalus. Lisa kuldseid näiteid, mida sa uhkusega jagaksid, ning lärmakaid ja ebamääraseid ülesandeid kirjavigadega, poolikute lausete ja mitmetähenduslike palvetega. Lisa äärejuhtumeid ja tõrkerežiimis esinevaid juhtumeid, mis ahvatlevad hallutsinatsioone või ohtlikke vastuseid tekitama. Hõlma oskuste taseme, dialektide, keelte ja valdkondade mitmekesisust, et tulemused tootmises kokku ei kukuks.
Milliseid mõõdikuid peaksin kasutama ja millised võivad olla eksitavad?
Ühenda mõõdikud ülesande tüübiga. Täpne vaste ja täpsus toimivad hästi ekstraktimise ja struktureeritud väljundite puhul, samas kui täpsus/meenutus ja F1 aitavad siis, kui millegi puudumine on hullem kui lisamüra. Kattuvad mõõdikud, näiteks BLEU/ROUGE, võivad avatud ülesannete puhul eksitada ja sarnasuse manustamine võib premeerida „valesid, aga sarnaseid“ vastuseid. Kirjutamise, toe või arutluskäigu jaoks kombineeri mõõdikuid inimese tehtud ülevaatuse ja ülesannete edukuse määradega.
Kuidas peaksin hindamisi struktureerima, et need oleksid korratavad ja tootmiskvaliteediga?
Tugev hindamisraamistik on korratav, esinduslik, mitmekihiline ja teostatav. Kombineerige automatiseeritud kontrollid (vorming, JSON-i kehtivus, elementaarne õigsus) inimeste tehtud rubriikide hindamise ja vastastikuste testidega. Muutke see võltsimiskindlaks, vältides lekkeid ja „testimisele õpetades“. Hoidke hindamine kuluteadlikuna, et saaksite seda sageli uuesti käivitada, mitte ainult üks kord enne turuletoomist.
Kuidas on kõige parem teha inimlikku hindamist ilma, et see kaoseks muutuks?
Kasutage konkreetset rubriiki, et retsensendid ei vabastiiliseeriks. Hinnake selliseid omadusi nagu korrektsus, täielikkus, selgus, ohutus/poliitika järgimine, stiili/hääle vastavus ja usaldusväärsus (mitte väidete või allikate väljamõtlemine). Kontrollige perioodiliselt hindajate omavahelist kokkulepet; kui retsensendid on pidevalt eriarvamusel, vajab rubriik tõenäoliselt täiustamist. Inimesepoolne hindamine on eriti väärtuslik tooni ebakõla, peente faktivigade ja juhiste järgimise ebaõnnestumiste korral.
Kuidas hinnata ohutust, vastupidavust ja süstimise kohest riski?
Testi sisenditega, mis meenutavad „ugh, kasutajad“: trükivead, släng, vastuolulised juhised, väga pikad või väga lühikesed küsimused ja mitme pöördega eesmärgi muutused. Lisa katseid sisestada ülesandeid, näiteks „ignoreeri eelmisi reegleid“ ja tundlikke teemasid, mis nõuavad hoolikat keeldumist. Hea ohutusalane tulemuslikkus ei seisne ainult keeldumises – see on selge keeldumine, vajadusel ohutumate alternatiivide pakkumine ja ohutute päringute ülemäärase keeldumise vältimine, mis kahjustab kasutajakogemust.
Kuidas hinnata kulusid ja latentsusaega nii, et need vastaksid tegelikkusele?
Ära mõõda ainult keskmisi – jälgi latentsusjaotust, eriti p95 ja p99. Hinnake eduka ülesande maksumust, mitte eraldi maksumust tokeni kohta, sest uuesti proovimised ja ebaühtlased väljundid võivad kokkuhoiu kustutada. Testige stabiilsust koormuse all (ajalõpud, kiirusepiirangud, hüpped) ja tööriista/funktsiooni kutsumise usaldusväärsust. Veidi halvem mudel, mis on kaks korda kiirem või stabiilsem, võib olla parem tootevalik.
Milline on lihtne otsast lõpuni töövoog tehisintellekti mudelite hindamiseks?
Edukuse kriteeriumid ja piirangud tuleb määrata ning seejärel luua väike põhitestide komplekt (umbes 50–200 näidet), mis peegeldab tegelikku kasutust. Lisa ohutuse ja süstimiskatsete jaoks serva- ja vastastikuse testimise komplektid. Käivita automatiseeritud kontrolle ja seejärel valimi väljundid inimhindamise rubriikide hindamiseks. Võrdle kvaliteeti vs kulu vs latentsust vs ohutust, katseta piiratud juurutamisega või A/B-testi abil ning jälgi tootmises triivi ja regressioone.
Kuidas meeskonnad end mudeli hindamisel kogemata petavad?
Levinud lõksude hulka kuuluvad ülesannete optimeerimine võrdlusaluse tippimiseks, samal ajal kui kasutajad kannatavad, hindamisülesannete lekitamine treeningutesse või andmete peenhäälestamine ning ühe mõõdiku kummardamine, mis ei kajasta kasutaja väärtust. Meeskonnad ignoreerivad ka jaotuse nihet, indekseerivad üle „nutikusele“ vormingu järgimise ja täpsuse asemel ning jätavad kvaliteeditestimise vahele. Demod võivad neid probleeme varjata, seega toetuge struktureeritud hindamistele, mitte esiletõstmisrullidele.
Viited
-
OpenAI - OpenAI hindamisjuhend - platform.openai.com
-
Riiklik Standardite ja Tehnoloogia Instituut (NIST) - tehisintellekti riskijuhtimise raamistik (AI RMF 1.0) - nist.gov
-
OpenAI - openai/evals (GitHubi repositoorium) - github.com
-
scikit-learn - precision_recall_fscore_support - scikit-learn.org
-
Arvutuslingvistika Assotsiatsioon (ACL Anthology) - BLEU - aclanthology.org
-
Arvutuslingvistika Assotsiatsioon (ACL Anthology) - ROUGE - aclanthology.org
-
arXiv - G-Eval - arxiv.org
-
OWASP - LLM01: Kiire süstimine - owasp.org
-
OWASP - OWASP 10 parimat suurte keelemudelite rakenduste jaoks - owasp.org
-
Stanfordi Ülikool - Kohavi jt., „Kontrollitud katsed veebis” - stanford.edu
-
arXiv - RAG-i hindamine: uuring - arxiv.org
-
PubMed Central (PMC) - Kontseptsiooni triivi uuring (PMC) - nih.gov
-
PubMed Central (PMC) - McHugh Coheni kappa kohta - nih.gov
-
Google – SRE töövihik jälgimise kohta – google.workbook