Mis on tehisintellektiga andmekeskus? [Video ja viktoriin]

Lühike vastus: tehisintellekti andmekeskus on tiheda tihedusega koht, kus toide, jahutus, võrgud ja salvestusruum on seotud mudelite treenimise ja teenindamisega, mitte serveriruumiga, kus on lisa-GPU-d. Kiibid saavad kuulsuse; hoone otsustab , kas need töötavad. Kui kujutisi ei saa lahkuda, tuleks paigaldada väike lahter; enamik meeskondi peaks rentima.

Peamised järeldused:

Kiibid vs ehitus: kiirendite toimimise määravad toide, jahutus, kangas ja salvestusruum.

Kohad, mitte paleed: paigalda kaks riiulit kohtadesse, kus andmed ei saa liikuda; ära osta ülikoolilinnakut.

Keskmine vs mediaan: kaheksal katsel algab mediaan hid uuesti; kasutage 18-tunnist keskmist.

Väärkasutuse tõkestamine: ärge pakkuge PUE-d kahe riiuli jaoks segahallis.

Illustreerivad tulemused: Kaheksa jooksu on väike kaart ja see ei tähenda 50% tootmissäästu.

Artiklid, mida võiksite pärast seda lugeda:

🔗 Kas tehisintellekt on usaldusväärne? Video ja viktoriin
Avastage tehisintellekti usaldusväärsust kaasahaarava video ja interaktiivse viktoriini abil.

🔗 Kuidas tehisintellekti igapäevaelus kasutada
Avasta praktilisi viise, kuidas tehisintellekt saab igapäevaseid ülesandeid ja rutiine lihtsustada.

🔗 Kuidas tehisintellekti tööl kasutada?
Õpi praktilisi viise, kuidas tehisintellekti kasutada nutikama töökoha tootlikkuse suurendamiseks.

🔗 Kas tehisintellekt suudab iseseisvalt mõelda?
Saage aru, kas tehisintellekt suudab tõeliselt iseseisvalt mõelda või arutleda.

Kuidas see erineb "tavalisest" andmekeskusest

Traditsioonilised hallid optimeerivad segatud töökoormust ja paljude väikeste teenuste käideolekuaega. Kindlasti hoolite koondamise ja PUE kontseptsioonist – lisaenergiast, mida hoone kulutab ühe vati arvutusvõimsuse pakkumiseks. Tavaliselt ei projekteerita iga koridori racki ümber, mis käitub nagu kaasaskantav kütteseadmete farm.

Tehisintellektiga saidid pööravad suhtarvud ümber. Tihedus suureneb. Võrgust saab kangas, ilma milleta treeningtöö ei saa lonkama hakata. Salvestusruum peab kontrollpunkte liikumas hoidma või kiirendid jõude seisma, nagu võidusõiduhobused liiklusummikus.

Samuti on kultuuriline erinevus. Ettevõtte operatsioonid mõtlevad piletitele ja muudatuste aknasse. Tehisintellekti operatsioonid mõtlevad tööjärjekordadele ja iiveldusele, kui sõlm pikas perspektiivis hilja sureb. Ma arvan, et mõlemat võiks ikkagi nimetada "andmekeskusteks", sest nad ongi. Silt varjab lihtsalt torustikku.

Mitte moraalne edetabel. Erinevad masinad, sama perekonnanimi.

Graafikaprotsessorid, kiirendid ja energiat tarbiv rack

Kui kõnnid mööda traditsioonilist kõrgendatud põrandat, näevad riiulid peaaegu viisakad välja. Kui kõnnid mööda tehisintellekti rida, näevad need välja nagu tahaksid hoone alla neelata.

Silmapaistev riistvara ei ole nutikas protsessor. See on kiirendi salv: graafikaprotsessorid või muud tehisintellekti kiibid, mis on pakitud serveritesse, seejärel riiulitesse ja seejärel ridadesse, mis jagavad suure ribalaiusega struktuuri. Graafikaprotsessor ühendab kiibid kokku millekski, mis võib teeselda, et see on üks hiiglaslik kiirendi; klastri struktuur teeb sama trikki ridade skaalal. Paralleelne treenimine toimib ainult siis, kui need lingid on paksud ja etteaimatavad. Kui see kaotada, on teie "klaster" hunnik kalleid tööjaamu, mis jagavad postiindeksit.

Toide järgneb kiipidele. Mitte tüse kontori PDU. IT-koormus megavattides, kui hall täitub – ma ei hakka numbrit välja mõtlema. Tihedus riiuli kohta on süžee keerdkäik. Vähem riiulid. Igaüks neist on väike ahi. Piiravaks teguriks on sageli alajaam, mitte graafikakaartide soovide nimekiri. Teate küll, kuidas see on: hankeosakond tahab rohkem kiirendeid; kommunaalettevõte tahab pikka vestlust ja väga suurt tšekki.

Üks pisut tobe metafoor, millest ma ei saa lahti: hunnik on näljane loom. Sa võid aretada kiirema looma. Sa pead teda ikkagi toitma ja sa pead ikkagi kuumuse välja raputama. Kui kumbki neist vahele jätta, saab sellest väga kallis kirjapress.

Energia, kuumuse ja jahutuse probleem

Elekter sisse. Soojus välja. See ongi kogu religioon.

Suure tihedusega riiulid eralduvad soojusest viisil, mida õhuga tegelikult kunagi ei nõutud. Õhku saab kõvemini suruda – tagaukse soojusvahetid, kuumemad vahekäigud, nutikas isoleerimine – ja see toimib teatud punktini. Siis ilmub vedelik välja:

• Otse kiibile jahutus

• Jahutusvedeliku ahelad, mis muudavad tehase ruumi keemiatehase sarnaseks

• Sukeldumine vähestesse kujundustesse, mis ikka veel jahmatab inimesi, kes arvavad, et vesi ja teenindajad ei tohiks lauset jagada

Miski selles pole glamuurne. Kõik on toode, sest gaasipedaali, mis vähendab gaasi, eest oled juba maksnud ja seda ei saa täielikult kasutada.

PUE on endiselt oluline. See on suhtarv, mitte isiksus. Operaatorid ajavad seda taga, sest iga ventilaatoritele ja pumpadele kulutatud vatt on vatt, mis ei läinud graafikaprotsessorile. Ma ei hakka tsiteerima "tüüpilist" arvu; kliima ja see, kuidas te piiri tõmbate, nihutavad seda ning võltstäpsus on hullem kui mitte midagi. Ka vesi on loos sees. Mõned taimed rüüpavad. Mõned ahnitsevad. Aurustuv jahutus on tõhus seni, kuni jõgi või põud selle poliitiliseks muudab.

Võrgustike loomine: miks kangas on sama oluline kui kiibid

Inimesed pildistavad graafikaprotsessoreid. Nad peaksid pildistama ka lüliteid.

Treenimine on vestlus. Tuhanded kiirendid vahetavad gradiente, parameetreid ja mudeli kilde tihedas sünkroonis. Kui võrgustik väriseb, ootab kogu töö kõige aeglasemat hüpet. Seepärast keskenduvad tehisintellekti hallid suure ribalaiusega võrgustumisele, madalale latentsusajale ja topoloogiatele, mis lingi rikke korral pooleks ei murdu. InfiniBandi-laadsed võrgustikud, Ethernet samas rollis, GPU ühendused karbis, kaabeldus, mis peab esimesel korral õige olema.

Järeldus on hoopis teine ​​teema. Mudeliteenust pakkuv mudel hoolib saba latentsusest – aeglasest vastusest, mitte keskmisest. Pakk- ja reaalajas päringute võrdlus lõhestab isiksust. Treeningklaster soovib laiaulatuslikku, kollektiivset ja kõikehõlmavat liikumist. Teenindav floot soovib palju väiksemaid päringuid ja isolatsiooni, ilma koormuse tasakaalustaja ummikuta.

Mis minu siinviibimise ajal: inimesed kohtlevad võrku nagu torustikku ja kiipe nagu restorani. Selles majas on torustik restoran. Kui sellest mööda vaatad, ostad köögi, mis ei saa toitu koju tellida.

Koolitus vs järeldus: kaks hoonet, mõnikord sõna otseses mõttes

Treenimine on kampaania. Sa paned kokku klastri, annad sellele andmeid, kontrollid hoolikalt, käivitad seda tundide või nädalate kaupa ja palvetad, et struktuur püsiks sündmustevaene. See on partiiderikas, ribalaiust nõudev, vaikselt kannatlik – kuni rikkis sõlm tööst osa võtab. Üks surnud kiirendi tihedalt seotud töös võib kogu koori seisma panna.

Järeldamine on nagu vaateplatvorm. Juba treenitud mudelid vastavad nüüd küsimustele, klassifitseerivad pilte, genereerivad teksti. Latentsusaeg on oluline. Veidi vanem kiirendi kliendi lähedal võib glamuurset kiirendit mandri kaugusel edestada.

Seega saabki pooleks jaotatud. Koolituslinnakud ajavad taga võimsust, maad ja tihedust. Järeldamiskeskused ajavad taga latentsust ja kohalolekut. Samuti on olemas hübriidhallid, sest kapital pole lõpmatu. Noh – mitte alati kaks hoonet. Mõnikord on üks hall sametköiega ja kahe jahutussilmusega.

Siit leiab aset ka kolokeerimine, hüperskaleeritud ülikoolilinnakud ja kohapealne hargnemine. Hüperskaleerijad ehitavad skaalal, mis jätab mulje, nagu me kõik paigutaksime mööblit. Kolonid müüvad tihedust riiulite kaupa. Kohapealne jaotus toimub endiselt siis, kui andmed ei saa lahkuda.

Salvestusruumi läbilaskevõime, kontrollpunktid ja näljased kiibid

Keegi ei pane paralleelfailisüsteemi brošüüri kaanele.

Treeningandmed peavad saabuma piisavalt kiiresti, et graafikaprotsessorid jalgu ei trügiks. Kontrollpunktid peavad saabuma, et krahh nädalat raisku ei raiskaks. Mudeli kaalud peavad laadima enne, kui teenust pakkuv koopia on avatud. Salvestusruumi läbilaskevõime – mitte ainult maht – on vaikne pudelikael. Kiirenditele saab kulutada varanduse ja neid virtuaalmasinate jaoks loodud viisaka massiiviga näljutada.

Muster on tuttav: läikiv klaster, tööde järjekord ja I/O ooteaeg, mis vastu vaatab nagu toores arve. Arvutuste klasterdamine ilma andmetee klasterdamiseta annab väga kalli jõudeoleku. Hoidke kiibid toidetud või tunnistage, et ostsite skulptuuri.

Tarkvara, orkestreerimine ja ebaglamuurne operatsioonikiht

Riistvara on kuulsus. Planeerijad teevad töö ära.

Tehisintellekti andmekeskus on kasutu, kui töökohad ei leia graafikaprotsessoreid, kui kaks meeskonda ei saa klastrit ilma rusikavõitluseta jagada, kui ebaõnnestunud auastet ei saa asendada või kui püsivara triivib aegluubis kuni võrgu rikkeni. Orkestreerimine, jälgitavus, võimsuse piiramine – see ebaglamuurne opskiht, mille põhjal te teate, et see on oluline.

Mul on selle kihi suhtes nõrk koht. Ja kui valesti konfigureeritud võrgukaart teeskleb terve pärastlõuna jahutusprobleemi... siis saad sellest valusalt teada.

Kui sõlm sureb keset jooksu

Sõlm sureb. Muutmisaknad põrkuvad endiselt treeningtsüklitega, mis ei hooli teie kalendrist. Te planeerite suuri töid grupiviisiliselt, eraldate järeldusbasseinid, kirjutate käitusraamatuid tõrgete jaoks, mis näevad välja nagu "töö on aeglane", kuni need näevad välja nagu "töö on surnud". Koondamine on endiselt oluline - toide, jahutus, teed, salvestusruum -, kuid tõrgete režiim on vähem korrastatud kui vana üheksa-ühe käideolekuaja slaid. Järeldus: replikatsioon, haige sõlme tühjendamine, vastamise jätkamine. Treening tahab kontrollpunkte, mitte optimismi.

Asukoht, vesi, elektrivõrk ja naabrid

Sa ei pilla ühte neist vaate pärast suvila kõrvale.

Elektrivõrguga liitumine on sageli tegelik asukoha valiku protsess. Maa on lihtne võrreldes alajaama ja teiste klientidega kommunaalettevõttega. Jahutusvesi, kui seda kasutate, muutub naabri probleemiks kohe, kui vihmasadu on tugev. Müra. Visuaalne maht. Kuumus piirdeaia ääres. Planeerimiskomisjonid saavad arvamusi "pilve" kohta hetkel, mil see vajab põldu ja jõge.

Latentsusaeg on vastupidine. Järeldamisele meeldib olla kasutajate ja ühenduste lähedal. Koolitus võib peituda odavamates energiaturgudes ja jahedamas kliimas. Tööstusharu räägib nii, nagu oleks olemas üks ideaalne koht. Seda ei ole. Pressiteates on kompromiss.

Järelejäänud kuumus ja kutsumata ahi

Brošüüridele meeldib see osa. Jäätsoojuse torujuhtmed kodudesse, basseinidesse, kasvuhoonetesse; see on armas lause. Mõnikord on linnaosa ringlus ehtne. Mõnikord on ülikoolilinnak vales kohas ja soojus läheb ikkagi õhku. Olen brošüüriversiooni suhtes skeptiline; ma ei ole füüsika suhtes skeptiline.

Kellel seda vaja on (ja kes peaks hoopis üürima)

Enamik inimesi ei pea ühte neist saalidest omama.

Otsekohene nimekiri:

• Hüperskaleerijad, sest tooteks on laevastik

• Laborid, kui järjekorra aeg on pudelikaelaks või andmed ei saa lahkuda

• Pank, haiglagrupp, valitsus või tootja, kellel on salajane andmestik – kohapealne või privaatne kolo-puuri –, võib olla ratsionaalne isegi siis, kui see on tüütu

Kõik teised peaksid üürima. Tehisintellektiga ühilduv tihedusega kolokeerimine. Pilvebroneering. Hallatud klaster. Saate kiirendid kätte ilma, et peaksite ise elektrijaama operaatoriks hakkama. Romantika hääbub esimesel korral, kui keegi küsib, kes on jahutusahela valves kell 3 öösel.

Pean tunnistama, et uhkuseasi on olemas. Klastri omamine on nagu ennustamisvahendite omamine. Siis saabub elektriarve ja uhkus istub maha.

Milleks hoone on mõeldud

Mis on tehisintellekti andmekeskus? See on spetsialiseeritud ja tiheda asustusega linnak, kus kiirendid, toide, jahutus, võrgud ja salvestusruum on korraldatud koolitus- ja teenindusmudelite ümber – mitte üldotstarbeline IT-keskus, mille nurgas on graafikaprotsessor. See näeb välja nagu ladu. See käitub nagu elektrijaam, mis teeb matemaatikat.

Kui te midagi muud ei mäleta: kiibid saavad kuulsuse; alajaam, jahutusvedelik ja võrk otsustavad, kas need kiibid olid hea mõte. Koolitus ja järeldused võivad küll katust jagada, kuid nad tahavad ikkagi erinevaid käitumisviise. Enamik organisatsioone peaks üürima. Mõned peaksid ehitama. Naabrid panevad mõlemat tähele.

Pilvel on alati olnud hoone. Tänapäeval on hoonel ka arvamusi.

Reaalse maailma näide: kahe riiuliga treeningkamber, millest pildid ei saa lahkuda

Stsenaarium

Tomos on Kestrel Precisioni taristujuht, see on 400-liikmeline tootja West Midlandsis. Neil on juba väike kohapealne hall: ERP, failide jagamine, virtuaalmasinad, see segakogukond, millest see artikkel alguse sai. Õhkjahutus. Tavaline Ethernet. SAN, mis sobib ideaalselt kontoriketaste jaoks.

Masinnägemise meeskond peab tehase fotodel kontrollimudelit treenima. Fotod ei tohi ehitusplatsilt lahkuda. Need näitavad protsessi, mida ettevõte ei pane pilvekettale, isegi mitte privaatsele. Hankeosakonna lahendus on neli kahe kiirendiga serverit ja slaid pealkirjaga "meie tehisintellekti andmekeskus". Serverid paigutatakse kahte olemasolevasse riiulisse, sest ruumi on ja ruum tundus olevat piirang.

See pole nii. Kahe nädala jooksul kõlavad graafikaprotsessorid tööga, kuid siis hakkavad vaikselt kiirusepiirangut täitma. Tööd hakkavad roomama, kui kontrollpunkt SAN-i jõuab. Sõlm sureb üheteistkümnendal tunnil ja protsessor on lihtsalt... kadunud. Tomos pole kiipe ostmata jätnud. Ta on ostnud hunniku kalleid tööjaamu, millel on sama postiindeks. Hoone oli ikka veel ettevõtte hall.

Nad ei vaja ülikoolilinnakut, uut alajaama ega jõge. Nad vajavad väikest lahtrit, mis käitub nagu miniatuurne tehisintellekti andmekeskus: annab energiat, mida riiulid suudavad mahutada, soojust, mis väljub ilma kiipe kuumutamata, kangast, mille üle treeningtöö saab rääkida, salvestusruumi, mis suudab vastu võtta kontrollpunkti, ja käitusraamatut juhuks, kui sõlm sureb. Kuna pildid ei saa lahkuda, pole kolo-puuri rentimine neljakümne minuti kaugusel lahendus. Kahe riiuli moderniseerimine on küll.

Mida rakk vajab

• Mõõdetud energiatarbimise eelarve sellel real, PDU-dest, mitte GPU soovinimekirjast. Kui vaba võimsus ei suuda nelja serverit treeningkoormusel toita, siis vestlus peatub ja nad vaatavad tihedamat koloriiti, mitte imet

• Õhu jahutamisega ei pidanud sellise tiheduse juures kunagi tegelema: tagumiste uste soojusvahetitega, kui saal neid vastu võtab, või väikese vedelikuringlusega, kui see vastu võtab. Kui kumbagi pole, siis serverid sisse ei lähe

• Nelja sõlme vahel on spetsiaalne suure ribalaiusega kangas, mitte kontori Ethernet. Kui tarnijal on kataloogis ainult 10 Gb kommutaator, siis see ei ole klaster

• Kohalik kiire salvestusruum kontrollpunktide ja treeningkildude jaoks, mitte VM SAN

• Ajastaja, kontrollpunkti intervall ja kirjalik taaskäivitustee. Riistvara on kuulsus. See kiht on töö

• Tehaseliini tarastatud järelduskast, mis on eraldi treeningvestlusest, sest serveerimine soovib saba latentsust ja isolatsiooni, mitte kollektiivset lähenemist

• Luba logida toitepinget, GPU kellasid, gaasipedaali sündmusi ja töö seinakella. Kui nad ei saa neid kontrollida, pildistavad nad GPU-sid ja jätavad lülitid märkamata

Näidisjuhis

Tomos paneb selle tavakeeles rajatiste lühikirjeldusse kirja:

Ärge nimetage seda tehisintellekti ülikoolilinnakuks. Ehitage olemasolevasse halli kahe rackiga treeningrakk nelja kahekordse kiirendiga serveri jaoks. Tehase kujutised jäävad kohapeale. Edu seisneb selles, et neli sõlme lõpetavad 12-epohhilise kontrolli-treeningu retsepti ilma termilise drosselita, kirjutavad kontrollpunkti minutite, mitte kümnete minutite jooksul, ja jätkavad sellest kontrollpunktist, kui me meelega astme tühistame. Jahutus peab hoidma GPU-d nende treeningkellade juures. Võrgustus peab olema nende nelja kasti ühine kangas, mitte tee läbi kontorivirna. Salvestusruum peab kiipe toitma. Kui tagaukse soojusvahetid ei mahu, siis öelge seda ja lõpetage. Ärge pakkuge PUE-d kahe racki jaoks segahallis. See number oleks teatri oma.

Seejärel lisab ta selle koolitustöö enda juurde:

Kontrollpunkt iga 30 minuti järel kohalikku kiirbasseini. Kui auaste sureb, alusta uuesti viimasest täielikult läbitud kontrollpunktist. Ära oota SAN-il. Ära jätka treeningut, kui kellad on kuumuse tõttu langenud. Logi see sisse ja peatu, et näeksime peatust.

Hea tund näeb välja selline: kõik kaheksa graafikakaarti treeningkelladel, kontrollpunkti fail maandunud, töö endiselt töökorras. Halb tund näeb välja selline: ventilaatorid täisvõimsusel, kellad maas, kontrollpunkti 2% kirjutatakse kümne minuti pärast ja keegi kontoris ütleb: "klaster on üleval". Üleslaadimine ei ole treenimine.

Kuidas seda testida

Nad kirjutavad testi enne moderniseerimist, mis ongi kogu demo mitteusaldamise mõte.

• Sama 12-ajastu retsept, samad 120 000 kontrollfotot, kaheksa tsüklit

• Ajastus on nagu seinakell valmis retseptini, kaasa arvatud iga taaskäivitamine, mõõdetuna töö esitamisest kuni epohhi 12 viimase kontrollpunktini

• Kuumuse edasiandmine: GPU kellad püsivad kogu käivitamise ajal treeningsihtmärgil. Piirangu sündmus on ebaõnnestumine isegi siis, kui töö lõpuks lõpeb

• Salvestusruumi läbimine: kontrollpunkti kirjutamise aeg, mediaan ja halvim aeg töölogist

• Läbipääs kangale: töö ei ole kollektiivses ooterežiimis, kui ametikoht on terve. Kui nad seda ooteaega ei näe, pole instrumenteerimine tehtud

• Kaheksast katsest kahel tühistatakse edetabelikoht fikseeritud sammu juures, et testida taaskäivitusteed

• Järeldus on eraldi 200-kujuline test tehaseliinilt piiratud servimisalale. Treeningu edu ei loeta servimise edukuseks

• Nad registreerivad PDU-de riiulivõimsust 15-minutiliste näidistena, nii et keegi ei pea megavatti leiutama

Raku "tehisintellektiks valmis" nimetamise aktsepteerimine: 8 retsepti 8-st lõpetatakse; 0 8-st näitab termilist drosseli; mõlemad peatatud käivitused jätkuvad; kontrollpunktid jäävad minutiteks alles. Kui nad sellest mööda panevad, on neil ikkagi serveriruum uhkete graafikakaartidega.

Tulemus

Illustreeriv tulemus, mis on saadud väljamõeldud kaheksast katsest, mitte avaldatud Kestreli näitaja.

Eeldused: neli kahe kiirendiga serverit kahes rackis; üks kontrollmudel; 120 000 pilti; kaheksa fikseeritud 12-epohhilise retsepti jooksutamist; seinakell sisaldab taaskäivitusi kuni retsepti lõpuni; piiramine tähendab treeningkella logitud langust; kontrollpunkti aeg on kirjutamise aeg, mitte soov; racki võimsus on PDU näidised, mitte ülikoolilinnaku PUE.

Enne moderniseerimist olid kontori Etherneti ja VM SAN-i tavalistes õhkjahutusega riiulites olevad GPU-d järgmised:

• 8-st jooksust 5 lõpetati esimesel katsel. Seinakella keskmine aeg nende viie seas: 14 tundi

• Kaheksast katsest 3 pidid uuesti alustama pärast umbes 11. tunnil toimunud seisakut (kaks pärast seda, kui sõlm suri aegunud kontrollpunkti tõttu, üks pärast seda, kui kontrollpunkt täitis SAN-i). Kohene uuesti proovimine, ööbimist kellas ei olnud: 11 tundi raisatud pluss 14-tunnine teine ​​katse ehk 25 tundi retsepti valmimiseni nende kolme katse puhul

• Kõigi kaheksa retsepti keskmine valmimisaeg, taaskäivitused kaasa arvatud: 18 tundi. (Viis kell 14, kolm kell 25. Kõigi kaheksa mediaan on endiselt 14, mis varjaks taaskäivitusi. Seetõttu on keskmine siin baasväärtus.)

• Termiline drossel registreeriti 7 korral 8-st katsest. Keskmine aeg vähendatud taktsagedusel: 3 tundi 14-tunnise katse jooksul

• Kontrollpunkti kirjutamise aeg: mediaan 22 minutit

• Auastmelt tapmine ei olnud test, mille nad läbida suutsid. Neil polnud tegevuskava. Kaks õnnetusjuhtumit olid avastuseks

• Kahe racki IT-tippkoormus treeningu ajal: umbes 18 kW. Real oli vatte. Sellel polnud jahutust ega kangast

Pärast tagaukse soojusvahetite paigaldamist kahele rackile, nelja sõlme vahele spetsiaalset kangast, väikest NVMe-basseini kontrollpunktide jaoks, 30-minutilist kontrollpunktide loomist ja taaskäivitusraamatut:

• 8/8 said esimesel katsel hakkama. Seinakella keskmine aeg: 9 tundi

• Termiline drossel: 0/8

• Kontrollpunkti kirjutamine: mediaan 90 sekundit. Seti halvim tulemus: 3 minutit

• Mõlemad tahtlikud ründekatsed jätkusid viimasest 30-minutilisest kontrollpunktist. Nendel kahel katsel oli lisakellaaeg: umbes 40 minutit mõlemal, diagnoos kaasa arvatud, seega olid need kaks katset umbes 9 tundi ja 40 minutit. Kaheksa katsevooru keskmine on 9 tundi

• IT-tippkoormus ikka umbes 18 kW. Samad kiibid. Hoone käitumine on erinev

Selle valimi lõikes langes retsepti valmimisaeg keskmiselt 18 tunnist 9 tunnini ehk 9 tunnini igaühe kohta, kokku 72 tundi kaheksa seeria peale kokku. Esmakordselt valmis saamise määr langes 5-lt 8-st 8-ni. Kiirvalmistamise määr langes 7-lt 8-st 0-ni 8-st. Viimane number näitab, kas nad ostsid kiirendeid või kirjapabereid. Nad ei nimeta ajamuutust 50% tootmise kokkuhoiuks. Kaheksa seeriat on väike ja lihtne komplekt.

Need arvud on näidishinnang, mis põhineb nimetatud testil, väikesel valimil, ühel mudelil ja ühel segahallil. Need ei ole PUE, ülikoolilinnaku megavatt ega tõend selle kohta, et Kestrel peaks ehitama väljale koolituskoha. Logide ülevaade jäi 9 tunni piiresse; seda ei varjatud. 18 kW näitaja on ümardatud PDU näit, mitte kommunaalteenuste arve. Nad ei teisendanud 72 tundi kuluks, sest tehase segaelektrienergia hind oleks loonud võltsitud äriplaani.

Serveerimiskontroll oli eraldi ja väiksem: 200 joont aiaga piiratud alale, kõik kohapeal. See on järeldus, mitte treening. Nende kahe segamine oleks olnud hübriidhalli miniatuurne viga.

Mis võib valesti minna

• Hankeosakond nimetab nelja serverit pidevalt "tehisintellekti andmekeskuseks". Silt peidab torustikku ja järgmine ost on sama haige vahekäigu jaoks rohkem graafikaprotsessoreid

• Tagumiste uste vahetajad lähevad sisse ja keegi ei võta veepoolset poolt kasutusele. Ventilaatorid ikka veel karjuvad. Kellad ikka veel kukuvad

• Kangas on üks lüliti ilma varuteeta. Üks rikkis ühendus ja "klaster" koosneb jälle neljast tööjaamast

• Kontrollpunktid jäävad SAN-ile, kuna NVMe bassein oli "teises faasis". Teine faas ei saabu enne järgmist surnud sõlme

• Nad pakuvad PUE-d kahe riiuli jaoks segahallis. Kliima, piir ja ülejäänud ERP-rea muudavad selle suhte kostüümiks

• Treening ja teenindamine on ühised. Kontrollpunktide üleujutus paneb tehaseliini ootama. Saba latentsus on seal toode, mitte tihedus

• Sõlm sureb ja keegi käsitleb seda tööaja piletina, mitte kontrollpunkti taaskäivitamisena. Ettevõtte operatsioonid ja tehisintellekti operatsioonid räägivad terve pärastlõuna teineteisest mööda

• Nad oleksid võinud puuri rentida, aga pildid ei saa lahkuda. Selle piirangu unustamine saadab nad pilvevestlusse, kus nad peavad end lahti harutama

Praktiline kaasavõetav toit

Sellise kujuga tehisintellekti andmekeskus ei ole ei ladu ega graafikakaardi arve. See on lahter, mis laseb kiirenditel töö lõpule viia: energia, mida nad saavad hoida, soojus, mis väljub, kangas, kontrollpunkt ja keegi, kes vastutab, kui auaste kaob. Kestrel ei vajanud ülikoolilinnakut. Nad vajasid kahte riiulit, et teesklemise lõpetada. Enamik meeskondi peaks sellise käitumise rentima. Mõned, kellel on salajane andmestik ja saal, mis kuumust talub, peaksid ehitama lahtri ja loobuma slaidist.

KKK

Mis on tehisintellekti andmekeskus?

Suure tihedusega arvutuskeskus, kus toide, jahutus, võrgustamine ja salvestusruum on koondunud paralleelse treenimise ja mudelite teenindamise ümber, mitte aga korrapäraselt rivistatud üldotstarbeliste serverite ümber. See on loodud nii, et tohutu hulk kiirendeid saab mudeleid treenida ja teenindada ilma, et need sulaksid, võrgus takerduksid või kettal ootaksid. Tavaline ettevõtte hall on segakogukond. Tehisintellekti hall on monokultuurne, mille väärtusühik on kiirendi, näiteks GPU-d või TPU-tüüpi kiibid. See näeb välja nagu ladu ja käitub nagu matemaatikat tegev elektrijaam.

Mille poolest erineb tehisintellektil põhinev andmekeskus tavalisest andmekeskusest?

Traditsioonilised hallid optimeerivad segatud töökoormust ja käideolekuaega paljude väikeste teenuste puhul. Tehisintellektiga saidid pööravad suhtarvud ümber: tihedus suureneb, võrgust saab struktuur, ilma milleta treeningtöö ei saa lonkama hakata, ja salvestusruum peab kontrollpunkte liikumas hoidma või kiirendeid jõude seisma. Ettevõtte operatsioonid mõtlevad piletitele ja muutuste akendele. Tehisintellektiga operatsioonid mõtlevad tööjärjekordadele ja iiveldusele, kui sõlm pikas perspektiivis hilinenult sureb. Võiksite ikkagi nimetada mõlemat andmekeskuseks. Silt varjab lihtsalt torustikku.

Miks tehisintellekti andmekeskused nii palju energiat tarbivad?

Silmapaistev riistvara ei ole nutikas protsessor. See on kiirendialus: graafikaprotsessorid või muud tehisintellekti kiibid, mis on pakitud serveritesse, seejärel riiulitesse ja seejärel ridadesse, mis jagavad suure ribalaiusega kangast. Tihedus riiuli kohta ongi süžee keerdkäik: vähem riiulit, igaüks neist on väike ahi. Megavattides IT-koormus ilmub alles siis, kui hall täitub, kuigi tüüpilise arvu väljamõtlemine pole seda väärt. Piiravaks teguriks on sageli alajaam, mitte graafikaprotsessorite soovinimekiri.

Kuidas tehisintellektiga andmekeskusi jahutatakse?

Suure tihedusega riiulid eralduvad soojust viisil, millega õhul pole kunagi varem vaja olnud. Tagumiste ustega soojusvahetite, kuumemate vahekäikude ja nutika ohjeldamise abil saab õhku tugevamini peale suruda. Seejärel ilmub esile vedelik: otse kiibile jahutus, jahutusvedeliku ahelad ja mõnes disainis ka immersioon. Kiirendi, mis vähendab drosseli, on juba makstud ja seda ei saa täielikult ära kasutada. PUE on endiselt oluline, sest iga ventilaatoritele ja pumpadele kulutatud vatt on vatt, mis ei läinud graafikaprotsessorisse. Ka vesi on loos sees: mõned tehased joovad rüüpamisi, mõned neelavad.

Miks on võrgustamine sama oluline kui graafikaprotsessorid?

Treenimine on vestlus: tuhanded kiirendid vahetavad gradiente, parameetreid ja mudeli kilde tihedas sünkroonis. Kui võrgustik väriseb, ootab kogu töö kõige aeglasemat hüpet. Seepärast keskenduvad tehisintellekti hallid suure ribalaiusega võrgustumisele, väikesele latentsusele, InfiniBandi-laadsetele võrgustikele või Ethernetile samas rollis ja topoloogiatele, mis ei murdu pooleks, kui ühendus katkeb. Järeldamine hoolib saba latentsuse, paljude väiksemate päringute ja isolatsiooni pärast. Selles hoones on torustik restoran.

Milleks tehisintellekti andmekeskust kasutatakse: treenimiseks või järelduste tegemiseks?

Koolitus on kampaania: pane kokku klaster, sisesta sinna andmed, täida kontrollpunktid hoolikalt ja käivita tunde või nädalaid. Järeldus on vaateplatvorm: juba treenitud mudelid vastavad nüüd, kusjuures latentsusaeg on oluline. Koolituslinnakud taga ajavad võimu, maad ja tihedust. Järelduskeskused taga ajavad latentsusaega ja kohalolekut. Hübriidhallid eksisteerivad seetõttu, et kapital pole lõpmatu – mõnikord on üks hall kahe jahutusahelaga. Veidi vanem kiirendi kliendi lähedal võib edestada glamuurset kiirendit mandri kaugusel.

Miks on salvestusruum tehisintellekti andmekeskuses oluline?

Treeningandmed peavad saabuma piisavalt kiiresti, et graafikaprotsessorid jalgu ei trügiks. Kontrollpunktid peavad saabuma, et krahh nädalat raisku ei raiskaks. Mudeli kaalud peavad laadima enne, kui teenust pakkuv koopia on avatud. Vaikne pudelikael on salvestusruumi läbilaskevõime, mitte ainult maht. Kiirenditele saab kulutada varanduse ja neid virtuaalmasinatele mõeldud viisaka massiiviga näljutada.

Mis juhtub, kui sõlm sureb keset jooksu?

Üks tihedalt seotud treeningtöös olev mittetoimiv kiirendi võib kogu koori seisma panna. Treenimine vajab kontrollpunkte, mitte optimismi. Järeldused tühjendavad vigase sõlme, hoiavad koopia vastamas ja jäävad aktiivseks. Muutuste aknad põrkuvad endiselt treeningtsüklitega, mis ei hooli teie kalendrist. Koondamine on endiselt oluline toite, jahutuse, radade ja salvestusruumi jaoks, kuid rikkerežiim on vähem korrastatud kui vana üheksa-ühe käideolekuaja slaid.

Milline on tehisintellektil põhineva andmekeskuse mõju elektrivõrgule, veele ja naabritele?

Võrguühendus on sageli tegelik asukoha valiku protsess. Maa leidmine on lihtne võrreldes alajaama ja teiste klientidega kommunaalettevõttega. Jahutusvesi, kui seda kasutate, muutub naabri probleemiks kohe, kui vihmasadu on tugev, koos müra, visuaalse mahu ja piirdeaia kuumusega. Koolitus võib peituda odavamates elektriturgudel ja jahedamas kliimas. Järeldamine eelistab olla kasutajate lähedal. Ühte ideaalset asukohta pole olemas. Pressiteatega on võimalik leida kompromiss.

Kas mul on vaja omada tehisintellekti andmekeskust või peaksin selle rentima?

Enamik inimesi ei pea ühte neist hallidest omama. Hüperskaleerijad ehitavad, sest toode on laevastik. Laborid ehitavad siis, kui järjekord on pudelikaelaks või andmed ei saa lahkuda. Pank, haigla, valitsusasutus või tootja, kellel on salajane andmestik, saab muuta kohapealse või privaatse kolokatsioonipuuri ratsionaalseks. Kõik teised peaksid rentima: tehisintellektiga ühilduva kolokatsiooni, pilvebroneeringu või hallatud klastri. Saate kiirendid ilma elektrijaama operaatoriks hakkamata.

Viited

1. IEA - www.iea.org

2. LBNL - andmekeskused.lbl.gov

3. Roheline võrk - www.thegreengrid.org

4. LBNL - andmekeskused.lbl.gov

5. LBNL - andmekeskused.lbl.gov

6. Uptime Instituut - journal.uptimeinstitute.com

7. NVIDIA - arendaja.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google'i pilv – docs.cloud.google.com

Leia uusim tehisintellekt ametlikust tehisintellekti abilise poest

Meist