Kuidas tehisintellekti skaleerimine töötab? [Video ja viktoriin]

Lühike vastus: tehisintellekti ülesskaleerimine toimib nii, et mudelit treenitakse paaristatud madala ja kõrge eraldusvõimega piltide põhjal ning seejärel kasutatakse seda ülesskaleerimise ajal usutavate lisapikslite ennustamiseks. Kui mudel on treenimisel näinud sarnaseid tekstuure või nägusid, saab see lisada veenvaid detaile; kui mitte, võib see videos „hallutsineerida“ artefakte, nagu halod, vahajas nahk või virvendus. 

Peamised järeldused:

Ennustus: Mudel genereerib usutavaid detaile, mitte garanteeritud reaalsuse rekonstruktsiooni.

Mudeli valik: CNN-id kipuvad olema stabiilsemad; GAN-id võivad tunduda teravamad, kuid riskivad funktsioonide leiutamisega.

Artefaktide kontrollimine: jälgige halosid, korduvaid tekstuure, „peaaegu tähti“ ja plastmassist nägusid.

Video stabiilsus: kasutage ajalisi meetodeid või näete kaadri-kaadri vahelist virvendust ja triivi.

Olulise tähtsusega kasutamine: kui täpsus on oluline, avalikustage töötlemine ja käsitlege tulemusi illustratiivsetena.

Oled seda ilmselt näinud: pisikesest krõmpsuvast pildist saab midagi piisavalt teravat, et seda ilma grimassita printida, voogedastada või esitlusse lisada. See tundub nagu petmine. Ja – parimal moel – see ongi seda 😅

Seega tehisintellekti ülesskaleerimine millelegi spetsiifilisemale kui „arvuti täiustab detaile” (käega lainetamine) ja lähemale väitele „mudel ennustab usutavat kõrgresolutsiooniga struktuuri mustrite põhjal, mida ta on paljudest näidetest õppinud” (Deep Learning for Image Super-resolution: A Survey). See ennustamisetapp ongi kogu mäng – ja seepärast võib tehisintellekti ülesskaleerimine välja näha vapustav... või natuke plastmassist... või nagu teie kassil oleksid kasvanud boonusvurrud.

Artiklid, mida võiksite pärast seda lugeda:

🔗 Kuidas tehisintellekt töötab
Õpi tehisintellekti mudelite, andmete ja järelduste põhitõdesid.

🔗 Kuidas tehisintellekt õpib
Vaadake, kuidas treeningandmed ja tagasiside aja jooksul mudeli toimivust parandavad.

🔗 Kuidas tehisintellekt anomaaliaid tuvastab
Mõista mustrite lähtejooni ja seda, kuidas tehisintellekt ebatavalist käitumist kiiresti märgistab.

🔗 Kuidas tehisintellekt ennustab trende
Uurige prognoosimismeetodeid, mis tuvastavad signaale ja ennustavad tulevast nõudlust.

Kuidas tehisintellekti skaleerimine toimib: põhiidee igapäevastes sõnades 🧩

Ülesskaleerimine tähendab eraldusvõime suurendamist: rohkem piksleid, suurem pilt. Traditsiooniline ülesskaleerimine (nagu bikuupne) venitab põhimõtteliselt piksleid ja silub üleminekuid (bikuupne interpolatsioon). See on hea, aga see ei suuda uusi detaile luua – see lihtsalt interpoleerib.

Tehisintellekti ülesskaleerimine proovib midagi julgemat (teadusmaailmas ka „superresolutsiooni“) (Süvaõpe piltide superresolutsiooni saavutamiseks: uuring):

• See vaatleb madala eraldusvõimega sisendit

• Tunneb ära mustreid (servad, tekstuurid, näojooned, tekstijooned, kanga kudumine…)

• Ennustab, milline peaks kõrgema resolutsiooniga versioon välja nägema

• Genereerib nendele mustritele vastavaid täiendavaid piksliandmeid

Mitte „taastada reaalsus ideaalselt“, vaid pigem „teha väga usutav oletus“ (pildi superresolutsioon sügavate konvolutsioonivõrkude abil (SRCNN)). Kui see kõlab veidi kahtlaselt, siis sa ei eksi – aga see on ka põhjus, miks see nii hästi töötab 😄

Ja jah, see tähendab, et tehisintellekti suurendamine on põhimõtteliselt kontrollitud hallutsinatsioon ... aga produktiivsel ja piksleid arvestaval viisil.

Mis teeb tehisintellekti skaleerimisest hea versiooni? ✅🛠️

Kui hindate tehisintellekti skaleerijat (või eelseadistatud seadeid), on siin kõige olulisem:

• Detailide taastamine ilma üleküpsetamiseta.
  Hea ülesskaleerimine lisab krõmpsuvust ja struktuuri, mitte krõmpsuvat müra ega võltspoore.

• Servade distsipliin
  Puhtad jooned püsivad puhtad. Halvad mudelid panevad servad kõikuma või tekitavad halosid.

• Tekstuuri realism
  Juuksed ei tohiks muutuda pintslitõmbeks. Telliskivi ei tohiks muutuda korduvaks mustritempliks.

• Müra ja tihendamise käsitlemine
  Paljud igapäevased pildid on JPEG-vormingus surnuks töödeldud. Hea ülesskaleerija seda kahjustust ei võimenda (Real-ESRGAN).

• Näo ja teksti teadlikkus
  Näod ja tekst on kohad, kust vigu on kõige lihtsam märgata. Head mudelid kohtlevad neid õrnalt (või neil on spetsiaalsed režiimid).

• Järjepidevus kaadrite vahel (video puhul).
  Kui detailid kaadrilt kaadrisse värelevad, hakkavad silmad karjuma. Video ülesskaleerimine elab või sureb ajalise stabiilsuse tõttu (BasicVSR (CVPR 2021)).

• Mõistlikud juhtnupud.
  Sa tahad liugureid, mis vastavad reaalsetele tulemustele: mürasummutus, hägususe eemaldamine, artefaktide eemaldamine, teravuse säilitamine, teravustamine... praktiline kraam.

Vaikne reegel, mis peab paika: „parim“ ülesskaleerimine on sageli see, mida vaevu märkad. Paistab lihtsalt, et sul oli algusest peale parem kaamera 📷✨

Võrdlustabel: populaarsed tehisintellekti skaleerimisvõimalused (ja milleks need head on) 📊🙂

Allpool on praktiline võrdlus. Hinnad on tahtlikult ebamäärased, kuna tööriistad erinevad litsentsi, pakettide, arvutuskulude ja muu sellise poolest.

Vormindamise veidruse ülestunnistus: „Paid-ish” teeb selles tabelis palju tööd. Aga saate aru küll 😅

Suur saladus: mudelid õpivad kaardistust madalast resolutsioonist kõrge resolutsioonini 🧠➡️🖼️

Enamiku tehisintellekti skaleerimise keskmes on juhendatud õppe seadistus (pildi üliresolutsioon sügavate konvolutsioonivõrkude abil (SRCNN)):

1. Alustage kõrgresolutsiooniga piltidest („tõde“)

2. Nende diskreetimine madala eraldusvõimega versioonideks („sisend“)

3. Treeni mudelit, et see rekonstrueeriks madala resolutsiooniga originaali kõrge resolutsiooniga pildist

Aja jooksul õpib mudel selliseid seoseid nagu:

• „Selline silmaümbruse hägusus on tavaliselt ripsmete tunnus.“

• „See piksliklaster tähistab sageli serif-teksti.“

• „See servagradient näeb välja nagu katusejoon, mitte suvaline müra.“

See ei ole konkreetsete piltide päheõppimine (lihtsas mõttes), vaid statistilise struktuuri õppimine (Deep Learning for Image Super-resolution: A Survey). Mõtle sellele kui tekstuuride ja servade grammatika õppimisele. Mitte luulegrammatikale, pigem nagu… IKEA käsiraamatu grammatika 🪑📦 (kohmakas metafoor, aga piisavalt lähedal).

Põhimõtteliselt: mis juhtub järelduse tegemisel (skaleerimisel) ⚙️✨

Kui sisestate pildi tehisintellekti ülesskaleerijasse, on tavaliselt olemas selline torujuhe:

• Eeltöötlus

  • Värviruumi teisendamine (mõnikord)

  • Piksliväärtuste normaliseerimine

  • Jaota pilt tükkideks, kui see on suur (VRAM-i tegelikkuse kontroll 😭) (Real-ESRGAN repo (plaatide valikud))

• Funktsioonide eraldamine

  • Varased kihid tuvastavad servi, nurki ja gradiente

  • Sügavamad kihid tuvastavad mustreid: tekstuure, kujundeid, näokomponente

• Rekonstruktsioon

  • Mudel genereerib kõrgema resolutsiooniga tunnuste kaardi

  • Seejärel teisendab selle tegelikuks piksliväljundiks

• Järeltöötlus

  • Valikuline teritamine

  • Valikuline mürasummutus

  • Valikuline artefaktide summutamine (helin, halod, plokilisus)

Üks peen detail: paljud tööriistad suurendavad plaatide suurust ja seejärel sulatavad vuugid kokku. Head tööriistad peidavad plaatide piire. Keskpärased tööriistad jätavad kissitades õrnad ruudustikujäljed. Ja jah, te kissitate silmi, sest inimestele meeldib 300% suumiga pisikesi ebatäiusi uurida nagu väikestele gremlinidele 🧌

Tehisintellekti skaleerimiseks kasutatavad peamised mudeliperekonnad (ja miks need erinevad tunduvad) 🤖📚

1) CNN-põhine superresolutsioon (klassikaline tööhobune)

Konvolutsioonilised närvivõrgud on suurepärased lokaalsete mustrite, näiteks servade, tekstuuride ja väikeste struktuuride kujutamisel (pildi ülilahutus sügavate konvolutsioonivõrkude abil (SRCNN)).

• Plussid: kiire, stabiilne, vähem üllatusi

• Miinused: võib tunduda pisut töödeldud, kui seda tugevalt peale suruda

2) GAN-põhine ülesskaleerimine (ESRGAN-stiilis) 🎭

GAN-id (Generative Adversarial Networks) treenivad generaatorit tootma kõrgresolutsiooniga pilte, mida diskrimineerija ei suuda tegelikest piltidest eristada (Generative Adversarial Networks).

• Plussid: silmatorkav detail, muljetavaldav tekstuur

• Miinused: võib välja mõelda detaile, mida seal polnud – mõnikord valed, mõnikord ebamaised (SRGAN, ESRGAN)

GAN annab sulle hingematva teravuse. See annab su portreeobjektile ka lisakulmu. Seega... vali oma lahingud 😬

3) Difusioonil põhinev ülesskaleerimine (loominguline metamärk) 🌫️➡️🖼️

Difusioonimudelid eemaldavad müra samm-sammult ja neid saab juhtida kõrgresolutsioonilise detailide loomiseks (SR3).

• Plussid: võib olla uskumatult hea usutavate detailide osas, eriti loomingulise töö puhul

• Miinused: agressiivsete keskkondade korral võib algsest identiteedist/struktuurist kõrvale kalduda (SR3)

Siin hakkab „suurendamine“ segunema „ümbermõtestamisega“. Mõnikord on see just see, mida sa tahad. Mõnikord mitte.

4) Video ülesskaleerimine ajalise järjepidevusega 🎞️

Video suurendamine lisab sageli liikumistundlikku loogikat:

• Kasutab naaberkaadreid detailide stabiliseerimiseks (BasicVSR (CVPR 2021))

• Püüab vältida virvendust ja roomavaid artefakte

• Sageli kombineerib superresolutsiooni müravähenduse ja põimimise eemaldamisega (Topaz Video)

Kui pildi ülesskaleerimine on nagu ühe maali restaureerimine, siis video ülesskaleerimine on nagu lehtraamatu restaureerimine ilma, et tegelase nina iga lehe järel kuju muudaks. Mis on... raskem, kui see kõlab.

Miks tehisintellekti skaleerimine mõnikord võlts tundub (ja kuidas seda ära tunda) 👀🚩

Tehisintellekti skaleerimine ebaõnnestub äratuntavatel viisidel. Kui olete mustrid selgeks õppinud, näete neid kõikjal, näiteks uue auto ostmisel märkate seda mudelit igal tänaval 😵💫

Common ütleb:

• Vahatatud nahk näol (liiga palju mürasummutust ja silumist)

• Liiga teravdatud halod servade ümber (klassikaline „ülevõtete“ territoorium) (bikuubiline interpolatsioon)

• Korduvad tekstuurid (telliskiviseinad muutuvad kopeeri-kleebi mustriteks)

• Krõmpsuv mikrokontrast , mis karjub "algoritmi" järele

• Teksti moonutamine , kus tähed muutuvad peaaegu tähtedeks (kõige hullem liik)

• Detailide triiv , kus väikesed omadused muutuvad peenelt, eriti difusiooni töövoogudes (SR3)

Keeruline osa: mõnikord näevad need esemed esmapilgul „paremad” välja. Su ajule meeldib teravus. Aga hetke pärast tundub see… ebakõlaline.

Hea taktika on välja suumida ja kontrollida, kas see näeb normaalsel vaatamiskaugusel loomulik välja. Kui see näeb hea välja ainult 400% suumiga, siis see pole võit, see on hobi 😅

Kuidas tehisintellekti skaleerimine töötab: treeningu pool ilma matemaatikavaevata 📉🙂

Üliresolutsiooniga mudelite treenimine hõlmab tavaliselt järgmist:

• Paarisandmestikud (madala resolutsiooniga sisend, kõrge resolutsiooniga sihtmärk) (pildi superresolutsioon sügavate konvolutsioonivõrkude (SRCNN) abil)

• Vale rekonstruktsiooni eest karistavad kaotusfunktsioonid ( SRGAN )

Tüüpilised kahjuliigid:

• Pikslite kadu (L1/L2)
  soodustab täpsust. Võib anda veidi pehmeid tulemusi.

• Tajukaotus.
  Võrdleb sügavamaid tunnuseid (nt „kas see näeb sarnane välja“), mitte täpseid piksleid (tajukaotused (Johnson jt, 2016)).

• Võistluslik kaotus (GAN)
  Soodustab realismi, mõnikord sõnasõnalise täpsuse hinnaga (SRGAN, generatiivsed võistlevad võrgud).

Käib pidev võitlus:

• Tee see originaalile truuks vs.
  

• Tee see visuaalselt meeldivaks

Erinevad tööriistad paiknevad selles spektris erinevates kohtades. Ja te võite eelistada ühte olenevalt sellest, kas restaureerite perepilte või valmistate ette plakatit, mille puhul on „hea välimus“ olulisem kui kohtuekspertiisi täpsus.

Praktilised töövood: fotod, vanad skaneeringud, anime ja video 📸🧾🎥

Fotod (portreed, maastikud, tootefotod)

Parim tava on tavaliselt järgmine:

• Esmalt kerge mürasummutus (vajadusel)

• Luksuslik konservatiivsete seadetega

• Lisa teravilja tagasi, kui asjad tunduvad liiga siledad (jah, tõesti)

Teravili on nagu sool. Liiga palju rikub õhtusöögi, aga kui mitte midagi, siis võib see maitseda veidi lamedalt 🍟

Vanad skaneeringud ja tugevalt tihendatud pildid

Need on keerulisemad, kuna mudel võib tihendusplokke käsitleda "tekstuurina".
Proovige järgmist:

• Artefaktide eemaldamine või deblokeerimine

• Seejärel kallihinnaline

• Seejärel kerge teritamine (mitte liiga palju... ma tean, kõik ütlevad seda, aga ikkagi)

Anime ja joonekunst

Joonjoonistusel on järgmised eelised:

• Mudelid, mis säilitavad puhtad servad

• Vähendatud tekstuuri hallutsinatsioonid.
  Anime ülesskaleerimine näeb sageli suurepärane välja, kuna kujundid on lihtsamad ja ühtlasemad. (Vedas.)

Video

Video lisab täiendavaid samme:

• Müra vähendamine

• Deinterlace'i (teatud allikate puhul)

• Luksuslik

• Ajaline silumine või stabiliseerimine (BasicVSR (CVPR 2021))

• Valikuline terade taaskasutamine ühtekuuluvuse tagamiseks

Kui ajaline järjepidevus vahele jätta, tekib detailide virvendav värelus. Kui sa seda märkad, ei saa sa seda enam märkamata jätta. Nagu kriuksuv tool vaikses toas 😖

Seadete valimine ilma metsikult arvamata (väike spikker) 🎛️😵💫

Siin on korralik algusmõte:

• Kui näod näevad plastsed välja
  Vähendage mürasummutust, vähendage teravustamist ja proovige nägusid säilitavat mudelit või režiimi.

• Kui tekstuurid tunduvad liiga intensiivsed,
  langetage liugureid „detailide täiustamine” või „detailide taastamine” ja lisage pärast peent teralisust.

• Kui servad helendavad
  , vähenda teravust ja kontrolli halo summutamise valikuid.

• Kui pilt tundub liiga tehisintellektilik,
  siis mine konservatiivsemaks. Mõnikord on parim samm lihtsalt... vähem.

Samuti: ära suurenda piksleid 8x ainult sellepärast, et saad. Puhas 2x või 4x on sageli ideaalne valik. Lisaks sellele palud sa modellil kirjutada sinu pikslite kohta fännikirjandust 📖😂

Eetika, autentsus ja ebamugav küsimus "tõest" 🧭😬

Tehisintellekti ülesskaleerimine hägustab piiri:

• Restaureerimine tähendab olemasoleva taastamist

• Täiustamine tähendab selle lisamist, mida polnud

Isiklike fotodega on see tavaliselt korras (ja kena). Ajakirjanduse, juriidiliste tõendite, meditsiinilise pildistamise või kõige muu puhul, kus täpsus on oluline... tuleb olla ettevaatlik (OSAC/NIST: kohtuekspertiisi digitaalsete piltide haldamise standardjuhend, SWGDE kohtuekspertiisi piltide analüüsi juhised).

Lihtne reegel:

• Kui panused on kõrged, käsitle tehisintellekti skaleerimist illustratiivse, mitte lõpliku näitena.

Samuti on avalikustamine oluline professionaalses kontekstis. Mitte sellepärast, et tehisintellekt oleks kuri, vaid sellepärast, et publikul on õigus teada, kas detailid rekonstrueeriti või jäädvustati. See on lihtsalt... lugupidav.

Lõppsõna ja kiire kokkuvõte 🧡✅

Seega toimib tehisintellekti ülesskaleerimine järgmiselt: mudelid õpivad, kuidas kõrge eraldusvõimega detailid on seotud madala eraldusvõimega mustritega, ning ennustavad seejärel ülesskaleerimise ajal usutavaid lisapiksleid (Deep Learning for Image Super-resolution: A Survey). Sõltuvalt mudeliperekonnast (CNN, GAN, difusioon, video-temporaalne) võib see ennustus olla konservatiivne ja täpne... või julge ja kohati ebaühtlane 😅

Kiire kokkuvõte

• Traditsiooniline ülesskaleerimine venitab piksleid (bikuubiline interpolatsioon)

• Tehisintellekti ülesskaleerimine ennustab puuduvaid detaile õpitud mustrite abil (pildi superresolutsioon sügavate konvolutsioonivõrkude abil (SRCNN))

• Suurepärased tulemused tulenevad õigest mudelist ja vaoshoitusest

• Jälgige videos halosid, vahaseid nägusid, korduvaid tekstuure ja virvendust (BasicVSR (CVPR 2021))

• Ülesskaleerimine on sageli „usutav rekonstruktsioon“, mitte täiuslik tõde (SRGAN, ESRGAN)

Kui tahad, siis ütle mulle, mida sa üles skaleerid (näod, vanad fotod, videod, animed, tekstiskannid) ja ma pakun välja seadete strateegia, mis kipub vältima levinud „tehisintellekti välimuse” lõkse 🎯🙂

Reaalse maailma näide: vanade turuplatsi tootefotode skaleerimine 📸

Stsenaarium

Väikesel kasutatud kaamerate poel on vanalt veebisaidilt eksporditud 40 tootefotot laiusega 800 pikslit. Omanik soovib neid uuesti kasutada uuel e-kaubanduse lehel, kus soovitatav pildi suurus on 1600 pikslit.

Probleem on selles, et tavaline suuruse muutmine muudab kaamerad pehmeks, samas kui agressiivne tehisintellekti suurendamine võib muuta kummist käepidemed, seerianumbrid ja objektiivi märgistused kahtlaselt võltsideks. See on oluline, sest ostjad tuginevad enne ostmist neile andmetele.

Eesmärk ei ole puuduvat teavet ideaalselt „taastada“. Eesmärk on luua puhtamaid loendipilte, säilitades samal ajal originaalfailid, sest tehisintellekti skaleerimine ennustab pigem usutavaid detaile kui garanteeritud tõesust.

Mida töövoog vajab

Originaaltootefotod, ideaalis kõige vähem tihendatud saadaolevad versioonid

Sihtväljundi suurus, näiteks 2× ülesskaleerimine 800 pikslilt 1600 pikslile

Tööriist või mudel, millel on eraldi juhtnupud müra vähendamiseks, teravustamiseks ja artefaktide eemaldamiseks

Lihtne kontrollnimekiri teksti, servade, logode, kruvide, nuppude, nahatekstuuri ja peegelduste ülevaatamiseks

Kaust originaalide jaoks ja eraldi kaust töödeldud eksportide jaoks, nii et midagi üle ei kirjutata

Näidisjuhis

Tehisintellekti ülesskaleerija testimisel kasutage järgmist tüüpi juhiseid:

Suurenda seda tootefotot e-kaubanduse kuulutuse jaoks 2×. Hoia objekti kuju, logo paigutus, objektiivi märgistused, nuppude servad ja pinnatekstuur võimalikult originaalilähedased. Kasuta kerget tihenduspuhastust, madalat teravust ja väldi lisateksti, kriimustuste, siltide, seerianumbrite või dekoratiivsete detailide väljamõtlemist. Lõplik pilt peaks tootelehe tavalises suuruses välja nägema loomulik, mitte 400% suumiga kunstlikult terav.

Kuidas seda testida

Alustage enne kogu partii töötlemist viie segapildiga:

Üks puhas tootefoto hea valgustusega

Üks JPEG-vormingus tihendatud pilt plokkidega

Üks foto pisikese trükitud teksti või objektiivimärkidega

Üks tume pilt müraga varjudes

Üks pilt peegeldava metalli või klaasiga

Pärast suurendamist võrrelge iga tulemust originaaliga 100% ja 200% juures. Kontrollige, kas kaubamärgid, kettad, kruvid, pordid ja tekstuurimustrid sobivad endiselt kokku. Kui mudel loob „peaaegu tähti” või võltspinnajälgi, vähendage teravustamise või detailide taastamise sätet.

Tulemus

Illustreeriv tulemus: põhineb viie pildi testi ajastusel enne ja pärast selle töövoo kasutamist.

Käsitsi puhastamine ja suuruse muutmine võttis aega umbes 9 minutit pildi kohta või 45 minutit viie pildi puhul.

Tehisintellekti abil töötav töövoog võttis iga pildi jaoks umbes 3 minutit või viie pildi jaoks 15 minutit.

See on hinnanguliselt 30 minutit kokkuhoidu viie pildi pealt või umbes 4 tundi kokkuhoidu 40 pildist koosneva partii pealt.

Kvaliteedikontrolli tulemus: Esimese ülevaatuse läbis 4 pilti viiest. Üks pilt ei läbinud kontrolli, kuna ülesskaleerija moonutas väikest objektiiviteksti, seega töödeldi see uuesti madalama teravusega ja ilma teksti täiustamiseta.

Väärtuslik mõõdik pole siinkohal lihtsalt „teravam välimus“. See on: kui palju pilte läbib kõrvutivaatamise ilma väljamõeldud detailideta?

Mis võib valesti minna

Mudel võib muuta tolmu, JPEG-plokid või kriimustused „päris” tekstuuriks.

Väikesest tekstist võib saada võltstekst, mis tundub usutav kuni suumimiseni.

Liiga suur mürasummutus võib muuta kummi, naha või harjatud metalli vahaseks.

Tugev teritamine võib toote servade ümber halosid tekitada.

Pakktöötlus võib vigu varjata, seega vaadake enne kõige eksportimist näidis üle.

E-kaubanduse puhul on kõige turvalisem reegel lihtne: ära kunagi kasuta tehisintellekti skaleerimist kahjustuste varjamiseks, seisukorra muutmiseks või toote tegelikust uuema välimuse andmiseks.

Praktiline kaasavõetav toit

Tehisintellekti põhine skaleerimine toimib kõige paremini, kui seda käsitleda kontrollitud viimistlusetapina, mitte maagilise parandamisnupuna. Kasutage konservatiivseid 2× sätteid, kontrollige ostjaid huvitavaid detaile ja hoidke alles originaalpilt, et töödeldud versioon jääks usutavaks.

Reaalne näide: vana treeningvideo üles skaleerimine ilma seda sädelema panemata

Stsenaarium

Väikesel koolitusfirmal on 2014. aastal salvestatud 7-minutiline ohutusalane demonstratsioonivideo resolutsiooniga 720p. Sisul on endiselt väärtust, kuid filmimaterjal näeb ettevõtte uuel veebisaidil, eriti suurematel sülearvutiekraanidel, pehme välja.

Meeskond soovib eksportida puhtama 1080p versiooni ilma uuesti filmimiseta. Risk seisneb selles, et agressiivne tehisintellekti suurendamine võib muuta näod vahaseks, muuta siltidel oleva teksti "peaaegu sõnadeks" või luua kaadrilt kaadrile virvendava tekstuuri.

Eesmärk ei ole muuta videot täiesti uueks. Eesmärk on muuta see selgemaks, stabiilsemaks ja vähem kokkusurutuks, säilitades samal ajal instruktori näo, hoiatussildid, käeliigutused ja varustuse detailid originaalile truuks jäädes.

Mida töövoog vajab

Originaalvideofail, mitte võimalusel tihendatud sotsiaalmeedia allalaadimine

Siht ekspordi suurus, näiteks 720p-st 1080p-sse, mitte otse 4K-sse hüppamiseks

Video skaleerija müravähenduse, teravustamise, tihenduse parandamise ja ajalise järjepidevuse valikutega

Lühike testklipp nägude, liikumise, teksti ja detailsete pindadega

Virvenduse, halode, moonutatud teksti, näo tekstuuri ja liikuvate servade ülevaatamise kontroll-leht

Vajadusel võrdlemiseks ja avalikustamiseks originaalvideo salvestatud koopia

Näidisjuhis

Enne täisvideo töötlemist kasutage järgmist juhist:

Suurenda see 720p õppevideo resolutsiooniks 1080p. Eelista loomulikku liikumist, stabiilseid servi, loetavat olemasolevat teksti ja realistlikku nahatekstuuri. Kasuta kerget tihendusparandust ja madalat teravust. Ära leiuta puuduvat teksti, logosid, silte, kriimustusi, näodetaile ega seadmete märgistusi. Väldi kaadrivahelist virvendust. Lõpptulemus peaks tavalises vaatamissuuruses olema selgem, mitte kunstlikult terav peatatud ja suumitud video korral.

Kuidas seda testida

Enne kogu 7-minutilise faili töötlemist eksportige 20-sekundiline näidis, mis sisaldab järgmist:

Õpetaja nägu rääkimise ajal

Käsi liigub üle kaadri

Hoiatussilt või väikese trükiga tekst

Tekstuurne pind, näiteks kangas, betoon, harjatud metall või plastik

Kaamera panoraamimine või mis tahes värisev liikumine

Vaadake näidist kaks korda: üks kord tavakiirusel ja üks kord kaader kaadri haaval pausil. Tavakiirusel otsige virvendust, roomavat tekstuuri või ebaloomulikku liikumist servade ümber. Pausil olles võrrelge originaal- ja ülesskaleeritud versiooni, et kontrollida, kas tekst, nupud, tööriistad ja näojooned ikka sobivad.

Tulemus

Illustreeriv tulemus: põhineb ühe 20-sekundilise testklipi ajastusel ja seejärel samade sätete rakendamisel 7-minutilisele videole.

Käsitsi tehtud „suuruse muutmise ja teravustamise” töövoog võttis koos ekspordi ja ülevaatamisega umbes 35 minutit, kuid tulemuseks oli näha läikeid juhendaja juustel ja halosid ohutusmärkide ümber.

Tehisintellekti abil loodud töövoog võttis koos testeksportidega umbes 55 minutit, kuid vähendas ülevaatusprobleeme esimese ekspordi 8 nähtavalt probleemilt lõpliku ekspordi 2 väiksema probleemini.

Lõplik versioon läbis kontrollnimekirja 12-st punktist 10. Kaks ülejäänud probleemi olid taustateksti kerge pehmus ja ühes pimedas nurgas olev kerge müra. Mõlemad kiideti heaks, kuna instruktor, varustus ja ohutusmeetmed jäid visuaalselt järjepidevaks.

Oluline mõõdik ei ole siinkohal „1080p saavutamine”. See on see, mitu sekundit videost tavalise taasesituse ajal häirivaid artefakte näitab?

Mis võib valesti minna

Mudel võib teritada surveplokke ja muuta need ehtsa tekstuuri moodi.

Peen tekst võib küll tunduda enesekindlam, aga vähem täpne.

Liiga kõrge mürataseme korral võivad näod liiga siledaks muutuda.

Liikuvad servad võivad virvendama hakata, kui tööriist käsitleb iga kaadrit liiga eraldi.

4K eksport võib välja näha halvem kui vaoshoitud 1080p eksport, sest mudel peab liiga palju detaile leiutama.

Suurim viga on hinnata ainult peatatud kaadrit. Video ülesskaleerimine peab liikuvas pildis loomulik välja nägema, mitte ainult staatilise pildina muljetavaldav.

Praktiline kaasavõetav toit

Video puhul toimib tehisintellekti ülesskaleerimine kõige paremini, kui esmalt testida lühikest lõiku, hoida ülesskaleerimine mõõdukana ja hinnata liikumist enne teravust. Veidi pehmem, kuid stabiilne tulemus on tavaliselt parem kui terav versioon, mis iga liigutuse korral väreleb.

KKK

Tehisintellekti skaleerimine ja kuidas see toimib

Tehisintellekti abil skaleerimine (sageli nimetatakse seda „superresolutsiooniks“) suurendab pildi eraldusvõimet, ennustades treeningu käigus õpitud mustrite põhjal puuduvaid kõrge eraldusvõimega detaile. Pikslite lihtsalt venitamise asemel nagu bikuubilise interpoleerimise abil uurib mudel servi, tekstuure, külgi ja tekstilaadseid pintsleid ning seejärel genereerib uusi piksliandmeid, mis on kooskõlas nende õpitud mustritega. See ei ole niivõrd „reaalsuse taastamine“ ja pigem „usutava oletuse tegemine“, mis kõlab loomulikuna.

AI ülesskaleerimine versus bikuubiline või traditsiooniline suuruse muutmine

Traditsioonilised ülesskaleerimise meetodid (nagu bikuupne) interpoleerivad peamiselt olemasolevate pikslite vahel, siludes üleminekuid ilma uusi detaile loomata. Tehisintellekti ülesskaleerimise eesmärk on rekonstrueerida usutav struktuur, tuvastades visuaalseid vihjeid ja ennustades, millised nende vihjete kõrgresolutsioonilised versioonid kipuvad välja nägema. Seetõttu võivad tehisintellekti tulemused tunduda dramaatiliselt teravamad ja ka seetõttu saavad need lisada artefakte või "leiutada" detaile, mida allikas polnud.

Miks näod võivad tunduda vahased või liiga siledad

Vahased näod tekivad tavaliselt agressiivse mürasummutus- ja silumistöötluse ning teravustamise tulemusena, mis eemaldab naha loomuliku tekstuuri. Paljud tööriistad käsitlevad müra ja peent tekstuuri sarnaselt, seega pildi „puhastamine“ võib kustutada poorid ja peened detailid. Levinud lähenemisviis on mürasummutus- ja teravustamisrežiimi vähendamine, näo säilitamise režiimi kasutamine (kui see on saadaval) ning seejärel teralisuse taastamine, et tulemus tunduks vähem plastiline ja fotograafilisem.

Levinud tehisintellekti skaleerimise artefaktid, mida jälgida

Tüüpilisteks tunnusteks on servade ümber olevad halod, korduvad tekstuurimustrid (nagu kopeeri-kleepi tellised), krõmpsuv mikrokontrast ja tekst, mis muutub „peaaegu tähtedeks“. Difusioonipõhistes töövoogudes on näha ka detailide nihet, kus väikesed elemendid muutuvad peenelt. Video puhul on virvendus ja detailide liikumine kaadrite vahel suured ohumärgid. Kui see näeb hea välja ainult äärmise suumi korral, on sätted ilmselt liiga agressiivsed.

Kuidas GAN-i, CNN-i ja difusiooni suurendajate tulemused kipuvad erinema

CNN-põhine superresolutsioon kipub olema stabiilsem ja etteaimatavam, kuid tugeva surve korral võib see tunduda „töödeldud“. GAN-põhised valikud (ESRGAN-stiilis) annavad sageli teravama tekstuuri ja tajutava teravuse, kuid need võivad hallutsineerida ebaõigeid detaile, eriti nägude puhul. Difusioonipõhine ülesskaleerimine võib tekitada kauneid ja usutavaid detaile, kuid see võib algsest struktuurist kõrvale kalduda, kui juhised või tugevuse sätted on liiga tugevad.

Praktiline seadete strateegia "liiga tehisintellekti" välimuse vältimiseks

Alusta konservatiivselt: suurenda 2× või 4× enne äärmuslike tegurite juurde asumist. Kui näod näevad plastsed välja, vähenda mürasummutust ja teravustamist ning proovi näotuvastusrežiimi. Kui tekstuurid muutuvad liiga intensiivseks, vähenda detailide täiustamist ja kaalu peene teralisuse lisamist pärast seda. Kui servad helendavad, vähenda teravustamist ja kontrolli halo või artefaktide summutamist. Paljudes torujuhtmetes on parem „vähem“, sest see säilitab usutava realismi.

Vanade skaneeringute või tugevalt JPEG-vormingus tihendatud piltide töötlemine enne ülesskaleerimist

Tihendatud piltidega töötamine on keeruline, kuna mudelid saavad plokkartefakte käsitleda päris tekstuuridena ja neid võimendada. Levinud töövoog on esmalt artefaktide eemaldamine või blokeeringust vabastamine, seejärel skaleerimine ja seejärel vajadusel kerge teravustamine. Skannide puhul aitab õrn puhastamine mudelil keskenduda tegelikule struktuurile, mitte kahjustustele. Eesmärk on vähendada „võltstekstuuri vihjeid“, et skaleerija ei peaks müraste sisendite põhjal enesekindlaid oletusi tegema.

Miks on video ülesskaleerimine keerulisem kui fotode ülesskaleerimine

Video ülesskaleerimine peab olema ühtlane kõigis kaadrites, mitte ainult ühe pildi puhul hea. Kui detailid kaadriti virvendavad, muutub tulemus kiiresti segavaks. Videokesksed lähenemisviisid kasutavad naaberkaadrite ajalist teavet, et stabiliseerida rekonstrueerimist ja vältida virvendavaid artefakte. Paljud töövood hõlmavad ka müra vähendamist, teatud allikate deinterlace'imist ja valikulist teralisuse taassisestamist, et kogu järjestus tunduks sidus, mitte kunstlikult terav.

Kui tehisintellekti skaleerimine ei ole sobiv või sellele lootmine on riskantne

Tehisintellekti skaleerimist on kõige parem käsitleda täiustuse, mitte tõestusena. Kõrge riskiga kontekstides, nagu ajakirjandus, juriidilised tõendid, meditsiiniline pildistamine või kohtuekspertiis, võib „usutavate” pikslite genereerimine eksitada, kuna see võib lisada detaile, mida ei jäädvustatud. Ohutum lähenemisviis on kasutada seda illustratiivselt ja avaldada, et tehisintellekti protsess rekonstrueeris detaili. Kui täpsus on kriitilise tähtsusega, säilitage originaalid ja dokumenteerige iga töötlemisetapp ja -keskkond.

Viited

1. arXiv - Süvaõpe piltide üliresolutsiooni saavutamiseks: uuring - arxiv.org

2. arXiv - pildi superresolutsioon sügavate konvolutsioonivõrkude (SRCNN) abil - arxiv.org

3. arXiv - Real-ESRGAN - arxiv.org

4. arXiv - ESRGAN - arxiv.org

5. arXiv - SR3 - arxiv.org

6. NVIDIA arendaja - NVIDIA DLSS - developer.nvidia.com

7. AMD GPUOpen - FidelityFX Super Resolution 2 - gpuopen.com

8. Arvutinägemise Sihtasutuse (CVF) avatud juurdepääs - BasicVSR: oluliste komponentide otsingud video superresolutsioonis (CVPR 2021) - openaccess.thecvf.com

9. arXiv - Generatiivsed võistlevad võrgud - arxiv.org

10. arXiv - SRGAN - arxiv.org

11. arXiv - tajukaod (Johnson jt, 2016) - arxiv.org

12. GitHub - Real-ESRGAN repo (plaatide valikud) - github.com

13. Vikipeedia - Bikuupne interpolatsioon - wikipedia.org

14. Topaz Labs - Topaz Foto - topazlabs.com

15. Topaz Labs - Topaz video - topazlabs.com

16. Adobe'i abikeskus – Adobe Enhance > Superresolutsioon – helpx.adobe.com

17. NIST / OSAC - Kohtuekspertiisi digitaalsete piltide haldamise standardjuhend (versioon 1.0) - nist.gov

18. SWGDE - Kohtuekspertiisi pildianalüüsi juhised - swgde.org

Leia uusim tehisintellekt ametlikust tehisintellekti abilise poest

Meist