Kas tehisintellekt asendab andmeinsenerid?

Kas tehisintellekt asendab andmeinsenerid?

Lühike vastus: tehisintellekt ei asenda andmeinsenere täielikult; see automatiseerib korduvaid töid, nagu SQL-koodide koostamine, torujuhtme tellingute koostamine, testid ja dokumenteerimine. Kui teie roll on peamiselt vähese vastutuse ja piletipõhise tööga, on see haavatavam; kui teie vastutusalasse kuuluvad usaldusväärsus, definitsioonid, juhtimine ja intsidentidele reageerimine, muudab tehisintellekt teid peamiselt kiiremaks.

Peamised järeldused:

Vastutus : seadke prioriteediks tulemuste eest vastutamine, mitte ainult koodi kiire tootmine.

Kvaliteet : Looge teste, jälgitavust ja lepinguid, et torujuhtmed jääksid usaldusväärseks.

Haldus : Hoidke privaatsus, juurdepääsu kontroll, säilitamine ja auditeerimisjäljed inimeste omandis.

Väärkasutuse vältimine : käsitle tehisintellekti väljundeid mustanditena; vaata need üle, et vältida enesekindlat eksimust.

Rollide vahetus : kuluta vähem aega mallide kirjutamisele ja rohkem aega vastupidavate süsteemide disainimisele.

Kas tehisintellekt asendab andmeinsenerid? Infograafik

Kui olete andmemeeskondade seltsis veetnud rohkem kui viis minutit, olete kuulnud refrääni – vahel sosistatuna, vahel koosoleku ajal ootamatu pöördena esile tõstetuna: kas tehisintellekt asendab andmeinsenerid?

Ja… ma saan aru. Tehisintellekt suudab genereerida SQL-i, luua torujuhtmeid, selgitada pinu jälgi, koostada andmebaasimudeleid ja isegi pakkuda laoskeeme häiriva kindlusega. GitHub Copilot SQL-i jaoks Andmebaasimudelite kohta GitHub Copilot
See on nagu kahveltõstuki žongleerimise õppimise vaatamine. Muljetavaldav, veidi murettekitav ja sa pole päris kindel, mida see sinu töö jaoks tähendab 😅

Kuid tõde on pealkirjast nõrgem. Tehisintellekt muudab andmetöötlust täielikult. See automatiseerib igavaid ja korduvaid osi. See kiirendab „ma tean, mida ma tahan, aga ei suuda süntaksit meeles pidada“ hetki. See tekitab ka täiesti uut tüüpi kaost.

Paneme siis asja korralikult paika, ilma enesekeskse optimismi või hukatusse kerimiseta.

Artiklid, mida võiksite pärast seda lugeda:

🔗 Kas tehisintellekt asendab radiolooge?
Kuidas pildistamise tehisintellekt muudab töövoogu, täpsust ja tulevasi rolle.

🔗 Kas tehisintellekt asendab raamatupidajaid?
Vaata, milliseid raamatupidamisülesandeid tehisintellekt automatiseerib ja millised jäävad inimese teha.

🔗 Kas tehisintellekt asendab investeerimispankurid?
Mõista tehisintellekti mõju tehingutele, uuringutele ja kliendisuhetele.

🔗 Kas tehisintellekt asendab kindlustusagendid?
Siit saate teada, kuidas tehisintellekt muudab kindlustuslepingute sõlmimist, müüki ja kliendituge.

Miks küsimus „Tehisintellekt asendab andmeinsenerid” ikka ja jälle pinnale kerkib 😬

Hirm tuleb väga konkreetsest kohast: andmetehnikas on palju korduvat tööd .

  • SQL-i kirjutamine ja refaktoreerimine

  • Sisestamise skriptide loomine

  • Väljade kaardistamine ühest skeemist teise

  • Testide ja põhidokumentatsiooni loomine

  • Torujuhtme rikete silumine, mis on… üsna etteaimatavad

Tehisintellekt on ebatavaliselt hea korduvate mustrite loomisel. Ja suur osa andmetehnikast on just see – mustrid, mis on kuhjatud mustrite otsa. GitHub Copiloti koodisoovitused

Samuti "peidab" tööriistade ökosüsteem juba keerukust:

Seega, kui tehisintellekt ilmub, võib see tunduda viimase tükina. Kui pinu on juba abstraktne ja tehisintellekt saab kirjutada liimiva koodi... mis jääb alles? 🤷

Aga siin on asi, mida inimesed vahele jätavad: andmetehnika ei ole peamiselt trükkimine . Trükkimine on lihtne osa. Raske osa on panna segane, poliitiline ja muutuv ärireaalsus käituma usaldusväärse süsteemina.

Ja tehisintellekt näeb selle varjuga endiselt vaeva. Ka inimestel on raskusi – nad lihtsalt improviseerivad paremini.

Mida andmeinsenerid tegelikult terve päeva teevad (ebaglamuurne tõde) 🧱

Olgem ausad – ametinimetus „Andmeinsener“ kõlab nii, nagu ehitaksid sa rakettmootoreid puhtast matemaatikast. Praktikas lood sa usaldust .

Tüüpiline päev on vähem "uute algoritmide leiutamist" ja rohkem:

  • Andmete definitsioonide üle läbirääkimiste pidamine ülesvoolu meeskondadega (valulik, aga vajalik)

  • Mõõdiku muutumise põhjuste (ja selle tegelikkuse) uurimine

  • Skeemi triivi ja üllatuste käsitlemine, kus "keegi lisas keskööl veeru"

  • Torujuhtmete idempotentsuse, taastatavuse ja jälgitavuse tagamine

  • Kaitsepiirete loomine, et allavoolu analüütikud ei looks kogemata mõttetuid juhtpaneele

  • Kulude haldamine, et teie ladu ei muutuks rahapõletiks 🔥

  • Juurdepääsu turvamine, auditeerimine, vastavus, säilituspoliitikad Isikuandmete (GDPR) põhimõtted (Euroopa Komisjon) Salvestuspiirangud (ICO)

  • Andmetoodete loomine, mida inimesed saavad tegelikult kasutada ilma teile otseteid saatmata (20 küsimust)

Suur osa tööst on sotsiaalne ja operatiivne:

  • "Kellele see laud kuulub?"

  • "Kas see definitsioon ikka veel kehtib?"

  • „Miks CRM ekspordib duplikaate?“

  • „Kas me saame selle mõõdiku juhtidele piinlikkust tundmata edastada?“ 😭

Tehisintellekt saab osaliselt küll aidata. Aga selle täielik asendamine on... keeruline.

Mis teeb andmeinseneri rollist tugeva? ✅

See osa on oluline, sest asendamisest rääkides eeldatakse tavaliselt, et andmeinsenerid on peamiselt „torustiku ehitajad“. See on sama, mis eeldada, et kokad peamiselt „hakivad köögivilju“. See on osa tööst, aga mitte töö ise.

Andmeinseneri tugev versioon tähendab tavaliselt, et nad saavad teha enamikku neist:

  • Muutusteks disainimine
    Andmed muutuvad. Meeskonnad muutuvad. Tööriistad muutuvad. Hea insener loob süsteeme, mis ei varise iga kord, kui reaalsus aevastab 🤧

  • Lepingute ja ootuste määratlemine.
    Mida tähendab „klient”? Mida tähendab „aktiivne”? Mis juhtub, kui rida saabub hilja? Lepingud ennetavad kaost paremini kui uhke kood. Avatud andmete lepingute standard (ODCS) ODCS (GitHub)

  • Jälgitavus tuleks luua kõigesse.
    Mitte ainult „kas see töötas“, vaid ka „kas see töötas õigesti“. Värskus, mahuanomaaliad, nullplahvatused, jaotuse nihked. Andmete jälgitavus (Dynatrace) Mis on andmete jälgitavus?

  • Tee kompromisse nagu täiskasvanu
    – kiirus vs korrektsus, hind vs latentsus, paindlikkus vs lihtsus. Ideaalset torujuhet pole olemas, on ainult torujuhed, millega saad elada.

  • Ärivajaduste tõlkimine vastupidavateks süsteemideks.
    Inimesed küsivad mõõdikuid, aga nad vajavad andmeprodukti. Tehisintellekt saab küll koodi mustandit koostada, aga see ei suuda maagiliselt ärimiine tuvastada.

  • Hoidke andmed vaikselt.
    Andmeplatvormi suurim kompliment on see, et keegi ei räägi sellest. Sündmusteta andmed on head andmed. Nagu torutööd. Sa märkad neid alles siis, kui need üles ütlevad.

Kui te neid asju teete, hakkab küsimus „Kas tehisintellekt asendab andmeinsenerid?“ kõlama... veidi valesti. Tehisintellekt saab asendada ülesandeid , mitte omandiõigust .

Kus tehisintellekt juba aitab andmeinseneridel tegutseda (ja see on tõeliselt suurepärane) 🤖✨

Tehisintellekt ei ole lihtsalt turundus. Hästi kasutatuna on see õigustatud jõukordaja.

1) Kiirem SQL ja teisendustöö

  • Keeruliste ühenduste joonistamine

  • Aknafunktsioonide kirjutamine, millele sa pigem ei mõtleks

  • Lihtkeele loogika muutmine päringu skelettideks

  • Koledate päringute refaktoreerimine loetavateks CTE-deks GitHub Copilot for SQL

See on tohutu, sest vähendab „tühja lehe“ efekti. Valideerimine on ikkagi vajalik, aga alustad 70%-st, mitte 0%-st.

2) Silumise ja algpõhjuse leidmise lingid

Tehisintellekt on korralik järgmistel juhtudel:

  • Veateadete selgitamine

  • Soovitab, kust otsida

  • „Kontrollige skeemi mittevastavust” tüüpi sammude soovitamine GitHub Copilotis
    See on nagu väsimatu nooreminsener, kes kunagi ei maga ja vahel enesekindlalt valetab 😅

3) Dokumentatsiooni ja andmekataloogi rikastamine

Automaatselt genereeritud:

  • Veergude kirjeldused

  • Mudelite kokkuvõtted

  • Pärimisjärgi selgitused

  • „Milleks seda tabelit kasutatakse?“ koostab DBT-dokumentatsiooni.

See pole täiuslik, aga murrab dokumenteerimata torujuhtmete needuse.

4) Tellingute testimine ja kontrollimine

Tehisintellekt saab pakkuda välja:

Jällegi – sina otsustad ikkagi, mis on oluline, aga see kiirendab rutiinseid osi.

5) Torujuhtme „liimikood”

Konfiguratsioonimallid, YAML-i tugistruktuurid, orkestreerimis-DAG-i mustandid. See kraam on korduv ja tehisintellekt sööb korduvat hommikusöögiks 🥣 Apache Airflow DAG-id

Kus tehisintellekt endiselt hädas on (ja see on selle tuum) 🧠🧩

See on kõige olulisem osa, sest see vastab asendusküsimusele päris tekstuuriga.

1) Ebamäärasus ja nihkuvad definitsioonid

Äriloogika on harva selge. Inimesed muudavad lause keskel meelt. „Aktiivsest kasutajast” saab „aktiivne maksja kasutaja” ja „aktiivne maksja kasutaja”, välja arvatud mõnikord, kui tagasimakseid tehakse”... teate küll, kuidas see käib.

Tehisintellekt ei saa seda ebamäärasust omada. See saab ainult oletada.

2) Vastutus ja risk

Kui torujuhe puruneb ja juhtpaneelil kuvatakse jama, peab keegi:

  • triaaž

  • mõju edastamine

  • paranda see

  • vältida kordumist

  • kirjuta lahkamine

  • otsustada, kas ettevõte saab eelmise nädala numbreid endiselt usaldada

Tehisintellekt saab abiks olla, aga see ei saa olla sisuliselt vastutav. Organisatsioonid ei tegutse emotsioonide – vaid vastutuse ajel.

3) Süsteemne mõtlemine

Andmeplatvormid on ökosüsteemid: andmeülekanne, salvestamine, teisendused, orkestreerimine, juhtimine, kulude kontroll, teenusetaseme lepingud (SLA-d). Muutus ühes kihis tekitab laineid. Apache Airflow kontseptsioonid.

Tehisintellekt suudab pakkuda välja lokaalseid optimeerimisi, mis tekitavad globaalset valu. See on nagu kriuksuva ukse parandamine ukse eemaldamise teel 😬

4) Turvalisus, privaatsus, vastavus nõuetele

Siin lähevadki asendusfantaasiad hääbuma.

Tehisintellekt saab küll poliitikaid koostada, aga nende turvaline rakendamine on tõeline inseneritöö.

5) „Tundmatud tundmatud”

Andmeintsidendid on sageli ettearvamatud:

  • Tarnija API muudab semantikat vaikselt

  • Ajavööndi eeldus pöördub ümber

  • Täide dubleerib partitsiooni

  • Uuesti proovimise mehhanism põhjustab topeltkirjutamist

  • Uus tootefunktsioon tutvustab uusi sündmuste mustreid

Tehisintellekt on nõrgem, kui olukord pole teadaolev muster.

Võrdlustabel: mis praktikas mida vähendab 🧾🤔

Allpool on praktiline vaade. Mitte „tööriistad, mis asendavad inimesi”, vaid tööriistad ja lähenemisviisid, mis teatud ülesandeid vähendavad.

Tööriist / lähenemisviis Sihtrühm Hinna vibratsioon Miks see toimib
AI-koodi kaaspiloodid (SQL + Pythoni abilised) GitHub Copilot Insenerid, kes kirjutavad palju koodi Tasuta- ehk tasulisest Suurepärane tellingute koostamises, ümbertegemises, süntaksi loomisel… vahel väga spetsiifilisel moel enesega rahulolev
Hallatud ELT-pistikud Fivetran Meeskonnad on väsinud hoonete haldamisest Tellimuspõhine Eemaldab kohandatud allaneelamise valu, aga puruneb lõbusatel uutel viisidel
Andmete jälgitavuse platvormid Andmete jälgitavus (Dynatrace) Kõik, kellel on teenusetaseme lepingud (SLA-d) Keskmise suurusega ja suurettevõtete Tuvastab anomaaliad varakult – näiteks torujuhtmete suitsuandurid 🔔
Transformatsiooniraamistikud (deklaratiivne modelleerimine) dbt Analüütika + DE hübriidid Tavaliselt tööriist + arvutus Muudab loogika modulaarseks ja testitavaks, vähem spagetti
Andmekataloogid + semantilised kihid dbt Semantiline kiht Mõõdikutega segadust tekitavad organisatsioonid Oleneb, praktikas Defineerib „tõe” üks kord – vähendab lõputuid meetrikaalaseid vaidlusi
Orkestreerimine mallidega Apache Airflow Platvormile orienteeritud meeskonnad Avatud + operatsioonide maksumus Standardiseerib töövooge; vähem lumehelveste kujulisi DAG-e
Tehisintellekti abil dokumenteerimine, DBT-dokumentide genereerimine Meeskonnad, kes vihkavad dokumentide kirjutamist Odav kuni mõõdukas Teeb „piisavalt häid” dokumente, et teadmised ei kaoks
Automatiseeritud halduspoliitikad NISTi privaatsusraamistik Reguleeritud keskkonnad Ettevõttesõbralik Aitab reegleid jõustada, aga reeglite kujundamiseks on siiski vaja inimesi

Pane tähele, mis puudub: rida kirjaga „andmeinseneride eemaldamiseks vajutage nuppu”. Jah… seda rida pole olemas 🙃

Seega… kas tehisintellekt asendab andmeinsenerid või muudab lihtsalt nende rolli? 🛠️

Siin on mittedramaatiline vastus: tehisintellekt asendab osa töövoost, mitte elukutset.

Aga see muudab rolli. Ja kui sa seda ignoreerid, tunned sa pigistust.

Mis muutub:

  • Vähem aega mallitekstide kirjutamiseks

  • Vähem aega dokumentide otsimisele

  • Rohkem aega ülevaatamisele, valideerimisele ja kujundamisele

  • Rohkem aega lepingute ja kvaliteediootuste määratlemiseks Avatud Andmete Lepingu Standard (ODCS)

  • Rohkem aega toote-, turvalisus- ja finantsvaldkonnas partnerlusele

See on peen nihe: andmetehnika ei keskendu enam niivõrd „torustike ehitamisele“ kuivõrd „usaldusväärse andmetoodete süsteemi loomisele“

Ja vaikselt öeldes on see väärtuslikum, mitte vähem väärtuslik.

Samuti – ja ma ütlen seda isegi siis, kui see kõlab dramaatiliselt – suurendab tehisintellekt nende inimeste arvu, kes suudavad luua andmeartefakte , mis omakorda suurendab vajadust kellegi järele, kes kogu asja mõistuse juures hoiab. Rohkem väljundit tähendab suuremat võimalikku segadust. GitHub Copilot

See on nagu annaks kõigile elektrilise puuri. Suurepärane! Nüüd peaks keegi jõustama reeglit "palun ära puuri veetorusse" 🪠

Uus oskustepagas, mis jääb väärtuslikuks (isegi kui tehisintellekt on kõikjal) 🧠⚙️

Kui soovite praktilist tulevikukindlat kontrollnimekirja, näeb see välja selline:

Süsteemi kujundamise mõtteviis

  • Muutustele vastupidav andmete modelleerimine

  • Pakett- ja voogedastustöötluse kompromissid

  • Latentsus, maksumus, usaldusväärsuse mõtlemine

Andmete kvaliteedi inseneriteadus

Juhtimis- ja usaldusarhitektuur

Platvormimõtlemine

  • Korduvkasutatavad mallid, kuldsed teed

  • Fivetrani andmebaasiandmete sisestamiseks, teisendamiseks ja testimiseks

  • Iseteeninduslikud tööriistad, mis ei sula

Suhtlemine (jah, tõesti)

  • Selgete dokumentide kirjutamine

  • Definitsioonide joondamine

  • Öeldes viisakalt, aga kindlalt "ei"

  • Kompromisside selgitamine ilma roboti moodi kõlamata 🤖

Kui suudad neid kõiki teha, muutub küsimus „Kas tehisintellekt asendab andmeinsenerid?“ vähem ähvardavaks. Tehisintellektist saab sinu eksoskelett, mitte sinu asendaja.

Realistlikud stsenaariumid, kus mõned andmetehnika rollid kahanevad 📉

Olgu, kiire reaalsuskontroll, sest see pole ainult päikesepaiste ja emotikonidega konfetid 🎉

Mõned rollid on avatumad:

  • Ainult sissevõtmisele suunatud rollid, kus kõik on standardsed konnektorid Fivetran konnektorid

  • Meeskonnad, kes tegelevad enamasti korduvate aruandlusvoogudega minimaalsete valdkonna nüanssidega

  • Organisatsioonid, kus andmetehnikat koheldakse kui "SQL-ahvi" (karm, aga tõsi)

  • Madala omandiõigusega rollid, kus töö seisneb vaid piletite hankimises ja kopeerimises-kleebimises

Tehisintellekt koos hallatud tööriistadega saab neid vajadusi vähendada.

Aga isegi seal näeb asendamine tavaliselt välja selline:

  • Vähem inimesi teeb sama korduvat tööd

  • Rohkem rõhku platvormi omandiõigusele ja usaldusväärsusele

  • Nihe suuna poole, et „üks inimene saab toetada rohkem torustikke”

Seega jah – töötajate arvu mustrid võivad muutuda. Rollid arenevad. Tiitlid muutuvad. See osa on reaalne.

Sellegipoolest jääb rolli kõrge omandiõiguse ja usalduse versioon püsima.

Lõppkokkuvõte 🧾✅

Kas tehisintellekt asendab andmeinsenerid? Mitte puhtal ja terviklikul viisil, nagu inimesed ette kujutavad.

Tehisintellekt teeb järgmist:

Kuid andmetehnika on põhimõtteliselt seotud järgmisega:

Tehisintellekt saab sellega aidata ... aga see ei "oma" seda.

Kui oled andmeinsener, on samm lihtne (mitte lihtne, aga lihtne):
keskendu omandiõigusele, kvaliteedile, platvormil mõtlemisele ja suhtlusele. Lase tehisintellektil tegeleda malliga, samal ajal kui sina tegeled oluliste osadega.

Ja jah – vahel tähendab see ruumis täiskasvanuna olemist. Mitte glamuurset. Aga vaikselt võimast 😄

Kas tehisintellekt asendab andmeinsenerid?
See asendab mõned ülesanded, muudab ametiredelit ja muudab parimad andmeinsenerid veelgi väärtuslikumaks. See on tegelik lugu.

KKK

Kas tehisintellekt asendab andmeinsenerid täielikult?

Enamikus organisatsioonides võtab tehisintellekt pigem konkreetsed ülesanded üle, kui kustutab rolli täielikult. See võib kiirendada SQL-i koostamist, torujuhtme tellingute loomist, dokumentatsiooni esmast läbimist ja põhiliste testide loomist. Kuid andmetehnikaga kaasneb ka omandiõigus ja vastutus ning ebameeldiv töö, mille eesmärk on panna segane ärireaalsus käituma usaldusväärse süsteemina. Need osad vajavad endiselt inimesi, et otsustada, mis on „õige“, ja võtta vastutus, kui asjad lähevad katki.

Milliseid andmetöötluse osi tehisintellekt juba automatiseerib?

Tehisintellekt toimib kõige paremini korduvate tööde puhul: SQL-i koostamine ja refaktoreerimine, andmebaasi mudeli skelettide genereerimine, levinud vigade selgitamine ja dokumentatsiooni kontuuride koostamine. See suudab ka tugistruktuuri teste, näiteks null- või unikaalsuskontrolle, toetada ning genereerida orkestreerimistööriistade jaoks malli „liimikoodi“. Võit on hoogus – alustate toimiva lahenduse poole –, kuid peate siiski valideerima õigsust ja veenduma, et see sobib teie keskkonda.

Kui tehisintellekt oskab kirjutada SQL-i ja torujuhtmeid, mis jääb siis andmeinseneridele?

Palju: andmelepingute määratlemine, skeemide triivi käsitlemine ning torujuhtmete idempotentsuse, jälgitavuse ja taastatavuse tagamine. Andmeinsenerid veedavad aega mõõdikute muutuste uurimisel, allkasutajatele piirete loomisel ning kulude ja töökindluse kompromisside haldamisel. Töö taandub sageli usalduse loomisele ja andmeplatvormi „vaikse“ hoidmisele, mis tähendab piisavalt stabiilsena, et keegi ei peaks selle peale iga päev mõtlema.

Kuidas muudab tehisintellekt andmeinseneri igapäevatööd?

Tavaliselt vähendab see mallide ja „otsimise” aega, nii et kulutate vähem aega kirjutamisele ja rohkem aega ülevaatamisele, valideerimisele ja kujundamisele. See nihe suunab rolli ootuste, kvaliteedistandardite ja korduvkasutatavate mustrite määratlemisele, selle asemel et kõike käsitsi kodeerida. Praktikas teete tõenäoliselt rohkem partnerlust toote, turvalisuse ja rahandusega – sest tehnilist väljundit on lihtsam luua, kuid raskem hallata.

Miks on tehisintellektil raskusi ebamääraste ärimääratlustega nagu „aktiivne kasutaja”?

Kuna äriloogika ei ole staatiline ega täpne – see muutub projekti keskel ja varieerub olenevalt sidusrühmast. Tehisintellekt saab küll koostada tõlgenduse, kuid ei saa otsust omada, kui definitsioonid arenevad või konfliktid tekivad. Andmetehnika nõuab sageli läbirääkimisi, eelduste dokumenteerimist ja häguste nõuete muutmist püsivateks lepinguteks. See „inimese joondamise“ töö on peamine põhjus, miks see roll ei kao isegi tööriistade täiustumisel.

Kas tehisintellekt saab andmehalduse, privaatsuse ja vastavusega ohutult hakkama?

Tehisintellekt saab aidata poliitikate koostamisel või lähenemisviiside pakkumisel, kuid ohutu rakendamine nõuab siiski tõelist inseneritööd ja hoolikat järelevalvet. Haldus hõlmab juurdepääsu kontrolli, isikut tuvastava teabe käitlemist, säilitusreegleid, auditeerimisjälgi ja mõnikord ka elukoha piiranguid. Need on kõrge riskiga valdkonnad, kus „peaaegu õige” pole vastuvõetav. Inimesed peavad reeglid kujundama, jõustamist kontrollima ja vastutama vastavustulemuste eest.

Millised oskused jäävad andmeinseneride jaoks tehisintellekti arenedes väärtuslikuks?

Oskused, mis muudavad süsteemid vastupidavaks: süsteemi disainmõtlemine, andmete kvaliteedi inseneriteadus ja platvormipõhine standardiseerimine. Lepingud, jälgitavus, intsidentidele reageerimise harjumused ja distsiplineeritud algpõhjuste analüüs muutuvad veelgi olulisemaks, kui rohkem inimesi suudab kiiresti andmeartefakte genereerida. Suhtlusest saab samuti eristav tegur – definitsioonide ühtlustamine, selgete dokumentide kirjutamine ja kompromisside dramaatilise selgitamine on andmete usaldusväärsuse säilitamise oluline osa.

Millised andmetehnika rollid on tehisintellekti ja hallatud tööriistade tõttu kõige suuremas ohus?

Rollid, mis on kitsalt keskendunud korduvale andmekogumisele või standardsetele aruandluskanalitele, on rohkem haavatavad, eriti kui hallatavad ELT-ühendused hõlmavad enamikku allikaid. Madala omandiõigusega ja piletipõhine töö võib väheneda, kuna tehisintellekt ja abstraktsioon vähendavad kanali kohta tehtavat pingutust. Kuid tavaliselt näeb see välja nii, et korduvaid ülesandeid teeb vähem inimesi, mitte et „andmeinsenere pole üldse“. Usaldusväärsusele, kvaliteedile ja usaldusele keskenduvad suure omandiõigusega rollid jäävad püsima.

Kuidas peaksin kasutama selliseid tööriistu nagu GitHub Copilot või dbt tehisintellektiga ilma kaost tekitamata?

Käsitle tehisintellekti väljundit mustandina, mitte otsusena. Kasuta seda päringu skelettide loomiseks, loetavuse parandamiseks või andmebaasi testide ja dokumentide tellimiseks ning seejärel valideeri seda reaalsete andmete ja servajuhtumite suhtes. Seo see tugevate konventsioonidega: lepingud, nimetamisstandardid, jälgitavuse kontrollid ja ülevaatustavad. Eesmärk on kiirem edastamine, ohverdamata usaldusväärsust, kulude kontrolli või juhtimist.

Viited

  1. Euroopa Komisjon – Andmekaitse selgitus: isikuandmete kaitse üldmääruse põhimõtted – commission.europa.eu

  2. Infokomissari büroo (ICO) – Säilitamise piirang – ico.org.uk

  3. Euroopa Komisjon - Kui kaua võib andmeid säilitada ja kas neid on vaja ajakohastada? - commission.europa.eu

  4. Riiklik Standardite ja Tehnoloogia Instituut (NIST) - Privaatsusraamistik - nist.gov

  5. NISTi arvutiturbe ressursikeskus (CSRC) - SP 800-92: arvutiturbe logide haldamise juhend - csrc.nist.gov

  6. Internetiturbe keskus (CIS) - auditilogide haldus (CIS-i juhtelemendid) - cisecurity.org

  7. Snowflake'i dokumentatsioon - ridade juurdepääsupoliitikad - docs.snowflake.com

  8. Google Cloudi dokumentatsioon – BigQuery rea tasemel turvalisus – docs.cloud.google.com

  9. BITOL - Avatud andmete lepingute standard (ODCS) v3.1.0 - bitol-io.github.io

  10. BITOL (GitHub) - Avatud andmete lepingu standard - github.com

  11. Apache Airflow - Dokumentatsioon (stabiilne) - airflow.apache.org

  12. Apache Airflow - DAG-id (põhikontseptsioonid) - airflow.apache.org

  13. dbt Labsi dokumentatsioon - Mis on dbt? - docs.getdbt.com

  14. dbt Labsi dokumentatsioon - dbt mudelite kohta - docs.getdbt.com

  15. dbt Labsi dokumentatsioon - Dokumentatsioon - docs.getdbt.com

  16. dbt Labsi dokumentatsioon - Andmetestid - docs.getdbt.com

  17. dbt Labsi dokumentatsioon - dbt semantiline kiht - docs.getdbt.com

  18. Fivetrani dokumentatsioon – Alustamine – fivetran.com

  19. Fivetran - Ühendused - fivetran.com

  20. AWS-i dokumentatsioon – AWS Lambda arendaja juhend – docs.aws.amazon.com

  21. GitHub - GitHubi kaaspiloot - github.com

  22. GitHubi dokumendid – Koodiettepanekute saamine oma IDE-s GitHub Copiloti abil – docs.github.com

  23. Microsoft Learn – GitHub Copilot SQL-i jaoks (VS Code'i laiendus) – learn.microsoft.com

  24. Dynatrace'i dokumentatsioon - andmete jälgitavus - docs.dynatrace.com

  25. DataGalaxy - Mis on andmete jälgitavus? - datagalaxy.com

  26. Suurepärased ootused dokumentatsioon - ootuste ülevaade - docs.greatexpectations.io

Leia uusim tehisintellekt ametlikust tehisintellekti abilise poest

Meist

Tagasi blogisse