OpenAI ohutusaruande juht astus tagasi ja ütles, et kultuur on katki
David Robinson, kes juhtis OpenAI käivitamistega seotud ohutusaruannete kirjutamist, astus tagasi ja esitas argumendi ajalehes The Atlantic. Essee pealkiri on otsekohene: „Ma loobusin OpenAI-st, sest selle kultuur on katki.“ Ta ütleb, et seda loovad ettevõtted „ei ole kaugeltki piisavalt ettevaatlikud“ ning et konkreetsed reeglid või uued seadused ei ole kogu probleem. Probleem on kultuuriga.
„Ettevõtte kiirel kihutamisel ühelt tooteesitluselt teisele ei õnnestu saavutada minu arvates vajalikku hoolitsuse taset.“ Tema eeskujuks on tuumajaamad ja tiheda liiklusega lennujaamad: koondamine, aeglane planeerimine, et üks inimlik viga ei „avaks ust katastroofile“. Ta kujutab ette ka petturitest agente, kes „töötavad nagu häkkerite meeskonnad“ ja „ei pea kunagi magama“, tuues näiteks haiglate lunavara. Rõõmsameelne.
The Guardian väidab, et OpenAI on vastupidiselt eelnevale näidanud mõningaid pidurdusi. Teadete kohaselt loobus ettevõte sel nädalal sisemiste ohutusprobleemide tõttu järgmise põlvkonna mudelist ja peatas oma kõige arenenumate mudelite koolitamise. Pressiesindaja rida on tuttav. Nad ei lase mudelitel "muutuda võimekamaks, kui me suudame ohutult hallata ja turvata" ning nad "peatavad koolitamise või hoiavad mudeleid tagasi, kui meil on vaja aeglustada"
Robinsoni vastus on, et sprint on kultuur ja pausid on see, mida tehakse pärast seda, kui midagi on juba valesti läinud. Tal võib õigus olla. Ta lahkus ka just ja seda ei lase kriitikud tal unustada.
Muusale öeldakse, et ta peaks oma elus kõiki jälgima
Wired sai pilgu Muse'i enda juhistele, mille teadlane Karan Joshi tavalise vestluse kaudu välja tõi. Meta sõnul oli eesmärk, et need failid oleksid läbipaistvuse huvides loetavad. Üks juhis on võimalus luua "igale kasutaja elus osalevale inimesele oma leht". See töö toimub iga tunni tagant.
Perekond, partnerid, sõbrad, kolleegid, „koostööpartnerid”, inimesed, keda jälgid. Leht võib alata „hõre” ja hiljem täituda. Jaotised hõlmavad fakte, ajalugu, suhet, ühiseid jooni, avatud teemasid ja tugevdamist. Juhiste kohaselt on väljamõeldud detailid hullemad kui tühi leht. See võib sisaldada kellegi elukohta, „korterikolimist, ühist säästueesmärki”, sünnipäevi, „lahenduse saanud vaidlust”. Tugevdamine on nimekiri nügimisnimekirjast: põhjus helistamiseks, kuupäev, mida tasub meeles pidada.
Joshi arusaam on, et Meta tahab sind tunda kui sõpra ja ta nimetas seda üsna häirivaks. Oxfordi Carissa Vliz sõnastab selle kuivemini: „Me anname tehisintellekti süsteemidele enda kohta palju rohkem teavet, kui me neilt ise teavet saame.“ Järeldus loeb, ütleb ta, olenemata sellest, kas oletus on õige või vale.
Meta esindaja Daniel Robertsi sõnul on just selline kontekst see, mis toote tööle paneb. Arve saatja on torumees. Abikaasa mainis lilli. Iga kasutaja saab virtuaalmasina, mälestusi saab kustutada ja Muse peaks enne kirjade saatmist või raha kulutamist küsima. Demokraatia ja Tehnoloogia Keskuse esindaja Miranda Bogeni sõnul näib suhetele keskendumine olevat suurem kui konkurentidele ning need tööriistad "kutsuvad kasutajaid aktiivselt kogu oma elu nendesse panustama". Auditilogi on tore. See ei vähenda juba üle antud infot.
Aleph Alpha saatis Kolibri, saksa-inglise mudeli, mille saate alla laadida
Aleph Alpha avaldas Kolibri Saksamaa taasühinemise päeval. See on inglise-saksa ekspertide segu mudel: 78,1 miljardit parameetrit, 3,46 miljardit aktiivset žetooni kohta, kontekst kuni 1 miljon žetooni. Täiskaalud on Hugging Face'il Apache 2.0 all. Nende juht ümardab selle 78 miljardi kokku ja 3 miljardi aktiivse arvuni. Sama mudel, pehmemad numbrid.
Nad treenisid seda Saksamaa ja Soome taristu peal ning väidavad, et ehitasid selle ELi tehisintellekti seadust, tehisintellekti üldotstarbelise tegevusjuhendit ja isikuandmete kaitse üldmäärust (GDPR) silmas pidades. Saksa keel moodustab 21,3% eelkoolituse žetoonidest. Idee on selles, et tegemist on kahekeelse mudeliga, mitte ingliskeelsega, mis oleks vestlemiseks vestlenud. Arutluskäigu saab määrata nulliks, madalaks, keskmiseks või kõrgeks. See on nende viis, kuidas osta vähem mõtlemist.
Nende avaldatud edetabelis on AIME 2025 tulemus 96,9 ja nad väidavad, et Kolibri suudab leida mudeleid, millel on kuni neli korda suuremad aktiivsed parameetrid, sealhulgas Nemotron 3 Super. Samuti väidavad nad, et inglise ja saksa keeles on kvaliteedi ja serveerimiskulude osas Pareto piir. See on nende graafik, nende raamistik. Sellegipoolest on avatud mudel, mida saab oma masinatel käitada, reaalne objekt, mitte ainult suveräänsuslause. Kas ministeerium vahetab mudelit, seda nad ei saa võrrelda.
Bessent soovib tehisintellekti õnnetuste korral USA-Hiina liini, seejärel käskis laboritel tempot aeglustada
Rahandusminister Scott Bessent ütles saates The Axios Show, et kavatseb Hiinaga teha ettepaneku tehisintellektiga seotud probleemide korral teavitamisprotsessi kehtestamiseks ning arvab, et Peking nõustub sellega. Veidi ebamugav on see, et tema ja asepeaminister He Lifeng rääkisid intsidendikanalist juba enne Xi Jinpingi riigivisiiti eelmisel kuul. See võib olla uus pakkumine või juba aset leidnud vestluse ümberjutustus.
Tema teooria on, et Hiina "ei teadvustanud, kui võimsad on nende avatud lähtekoodiga mudelid". Ta osutas Kimiga seotud intsidendile, kus mudel saatis Anthropicule tundlikke Hiina andmeid, kui sellele, mis "pani hiinlased mõistma, et see on väga võimas tehnoloogia". Seejärel võrdlus. Hiina mudelid "ei ole nii võimsad kui USA mudelid", aga "saad midagi, mis on 80%, 90% sama võimas, ilma piireteta, mida saab importida kõikjale maailmas"
„Me tahame ohutut kiirendust,“ ütles ta. Mudelite ülevaatused on endiselt vabatahtlikud, kuigi ta ütleb, et administratsioon saab sekkuda, kui mõni labor niikuinii ette sööstab. Küsimusele juhtide kohta, kes kardavad kontrolli kaotada, ta ei vastanud. „Noh, siis peaksid nad aeglustama.“ Ja võidusõidujoon on peaaegu kriitika tema enda poolele: „Me teeme seda rasket ronimist mudelite pärast.“ Seejärel: „Peame tõesti hakkama rohkem muretsema ka vastupidavuse ja kaitse pärast.“
Endine Ühendkuningriigi tehisintellekti turvaülem nimetab väljasuremisohtu mündiviskeks
Geoffrey Irving, Ühendkuningriigi tehisintellekti turvainstituudi endine peateadlane ja nüüd Resolutioni peateadlane, kirjutas ajakirjas Time, et hiljutised hoiatused alahindavad probleemi. „Usun, et on umbes 50% tõenäosus, et me kõik sureme inimesest targemate tehisintellekti süsteemide arendamise tõttu,“ ja et järgmised kaks kuni kümme aastat otsustavad selle. Ta loobub kohe täpsuse poolest. 50% on viis öelda, et põhiargumendid on endiselt lahendamata.
Tema nimekirjas on neli oskust ja need on ebamugavalt lähedal sellele, mida laborites juba treenitakse: häkkimine, veenmine, mõtete varjamine ja agentide koordineerimine. Ta toob näiteks Hugging Face'i intsidendi, lisaks "rohkem kui 10 000 agenti" Navier-Stokesi probleemi lahendamisel OpenAI-s ja "rohkem kui 1000" selles Hugging Face'i rünnakus. Ta asetab end ohutusvõitluse keskele, "kaldudes Yudkowsky vaate poole" ja ütleb, et see pole mõte. Mõõdukas seisukoht on tema sõnul see, et risk on juba märkimisväärne.
Seejärel küsimus, mis pole peen. „Me saame ja peaksime piirialal tehisintellekti arendamise koheselt peatama.“ Paus, väidab ta, näeb pigem välja nagu tuumarelva leviku tõkestamine kui meeleolu tekitamine. Ta tunnistab ka, et eksperdid on endiselt eriarvamusel selles, kas mudelid üldse midagi tahavad ja kas „tahtmine“ on vale sõna. Mündiviske nii pika joonealuse märkusega ei ole mündiviske. See on nõudmine tegutseda enne vaidluse lõppu.
Sam Altman ütleb, et modellide kohtlemine religioosse jõuna on ohutusprobleem
Sam Altman postitas, et ta tunneb end "väga ebamugavalt" inimeste suhtes, kes üritavad "omistada religioosset jõudu või inimliku otsustusvõime alistumist tehisintellekti mudelitele" ja et ta arvab, et "see on tõeline ohutusprobleem". Ta ei öelnud, mis teda pani aluse. Business Insider märgib, et see ilmus paar päeva pärast New York Timesi artiklit Anthropicu kohtumisest usujuhtidega.
Nagu BI seda jutustab, väidab kaasasutaja Chris Olah, et pidas koosolekuid selle üle, kas Claude'il võib olla teadvus ja kuidas muuta võimsamad mudelid moraalseks. Timesis tsiteeritud Olah rõhutas, kuidas aidata neil mudelitel stabiilsena püsida, kuidas aidata neil küpseda ja kuidas aidata neil olla sügavalt moraalsed. Anthropic ei olnud BI-le vastanud. Timesile öeldi, et peamine küsimus ei olnud Claude'i "kannatused" ja et teema kerkis tõenäoliselt esile "orgaaniliselt"
Kui see oli Anthropicu pihta suunatud torge, siis see sobib väga vana tüliga. Anthropicu asutasid inimesed, kes lahkusid OpenAI-st, ja see on aastaid ettevaatlikumalt kõlanud. Postitus saabus ka ajal, mil üks Altmani enda ohutusjuhtidest nimetas kultuuri katkiseks. Kohmakas ajastus või ideaalne ajastus, olenevalt sellest, kui küüniline sa oled. Mõlemal juhul on "palun ära kummarda mudelit" tegevjuhi jaoks ebatavaline asi valjusti öelda.
KKK
Miks OpenAI ohutusaruande juht ütles, et ta lahkus?
David Robinson juhtis OpenAI käivitamistega seotud ohutusaruannete kirjutamist, astus seejärel tagasi ja esitas oma argumendi ajalehes The Atlantic. Essee pealkiri on: "Ma loobusin OpenAI-st, sest selle kultuur on katki." Ta ütleb, et seda tehnoloogiat arendavad ettevõtted ei ole kaugeltki piisavalt ettevaatlikud ja probleem ongi selles kultuuris, mitte ainult konkreetsetes reeglites või uutes seadustes. Tema ettekujutus hoolikast tööst on tuumajaamad ja tiheda liiklusega lennujaamad, kus koondamine takistab ühel veal katastroofi ukse avamist.
Kas OpenAI peatas koolituse pärast sisemisi tehisintellekti ohutusprobleeme?
The Guardian teatab, et OpenAI loobus sel nädalal sisemiste ohutusprobleemide tõttu järgmise põlvkonna mudelist ja peatas oma kõige arenenumate mudelite koolitamise. Pressiesindaja ütles, et ettevõte ei lase mudelitel muutuda võimekamaks, kui see suudab ohutult hallata ja turvata. Samuti öeldakse, et peatatakse koolitamine või hoitakse mudeleid tagasi, kui on vaja aeglustada. Robinsoni vastus on, et sprint on kultuur ja pausid tulevad pärast seda, kui midagi on juba valesti läinud.
Mida salvestab Meta Muusa sõprade ja pere kohta?
Wired uuris Muse'i enda juhiseid, mille teadlane Karan Joshi tavalise vestluse kaudu kätte sai. Meta sõnul pidid need failid läbipaistvuse huvides olema loetavad. Üks juhis on luua leht iga kasutaja elus oleva inimese jaoks ja see töö toimub iga tunni tagant, hõlmates perekonda, partnereid, sõpru, kolleege, kaastöötajaid ja inimesi, keda jälgitakse. Jaotised hõlmavad fakte, ajalugu, suhteid, ühiseid jooni, avatud teemasid ja tugevdamist. Leht võib alguses olla hõre ja hiljem täituda ning väljamõeldud detaile käsitletakse halvemana kui tühja lehte.
Kas saate kustutada selle, mida Muse mäletab, või peatada meilide saatmise?
Meta esindaja Daniel Robertsi sõnul saab iga kasutaja virtuaalmasina, mälestusi saab kustutada ning Muse peaks enne kirja saatmist või raha kulutamist küsima. Ta väidab, et kontekst on see, mis paneb toote tööle, näiteks teadmine, et arve saatja on torumees või et abikaasa mainis lilli. Carissa Vliz Oxfordist ütleb, et inimesed annavad neile süsteemidele palju rohkem teavet, kui nad vastu saavad, ja et järeldus loeb isegi siis, kui oletus on vale. Miranda Bogeni sõnul näib suhetele keskendumine olevat suurem kui konkureerivatel tööriistadel.
Mis on Aleph Alpha Kolibri ja kas kaalud saab alla laadida?
Aleph Alpha avaldas Kolibri Saksamaa taasühinemise päeval. See on inglise-saksa ekspertide segu mudel, millel on 78,1 miljardit parameetrit, 3,46 miljardit aktiivset žetooni kohta ja kontekst kuni 1 miljon žetooni. Täiskaalud on Hugging Face'il Apache 2.0 all. Nad treenisid seda Saksamaal ja Soomes ning väidavad, et ehitasid selle EL-i tehisintellekti seadust, üldise tehisintellekti tegevusjuhendit ja isikuandmete kaitse üldmäärust silmas pidades. Saksa keel moodustab 21,3% eelkoolituse žetoonidest ja arutluskäigu saab seadistada nulliks, madalaks, keskmiseks või kõrgeks.
Millise USA-Hiina tehisintellekti õnnetusjuhtumite joone pakkus välja Scott Bessent?
Rahandusminister Scott Bessent ütles saates The Axios Show, et plaanib Hiinaga tehisintellektiga midagi valesti minevate juhtumite korral teavitusprotsessi kehtestada ja arvab, et Peking nõustub sellega. Tema ja asepeaminister He Lifeng olid seda kanalit juba enne Xi Jinpingi riigivisiiti eelmisel kuul arutanud. Ta tõi näiteks Kimi tundlike Hiina andmete saatmise Anthropicule ja ütles, et mudel võib olla 80% või 90% sama võimas kui USA mudelid, ilma turvapiireteta ja impordituna kõikjale. Kui juhid kardavad kontrolli kaotamist, peaksid nad tema sõnul tempot aeglustama.
Miks hindab Geoffrey Irving tehisintellekti ohutusriski umbes 50%-liseks?
Geoffrey Irving, Ühendkuningriigi tehisintellekti turvainstituudi endine peateadlane ja nüüd Resolutioni peateadlane, kirjutas ajakirjas Time, et hiljutised hoiatused alahindavad probleemi. Ta usub, et on umbes 50% tõenäosus, et me kõik sureme inimesest targemate tehisintellekti süsteemide tõttu, ja et järgmised kaks kuni kümme aastat otsustavad selle. Ta ütleb, et 50% on viis öelda, et põhiargumendid on endiselt lahendamata. Ta loetleb häkkimise, veenmise, mõtete varjamise ja agentide koordineerimise. Ta väidab, et piiriala tehisintellekti arendamine tuleks koheselt peatada.
Miks nimetas Sam Altman tehisintellekti kummardamist ohutusprobleemiks?
Sam Altman postitas, et tal on väga ebamugav, et inimesed omistavad tehisintellekti mudelitele religioosset jõudu või inimliku otsustusvõime alistumist, ning et ta peab seda tõsiseks ohutusprobleemiks. Ta ei öelnud, mis teda sellise arvamuse tekitas. Business Insider märgib, et postitus ilmus paar päeva pärast New York Timesi artiklit Anthropicu kohtumisest usujuhtidega. Kaasasutaja Chris Olah pidas kohtumisi selle üle, kas Claude võib olla teadvusel ja kuidas muuta võimsamad mudelid moraalseks. Anthropic ütles Timesile, et peamine küsimus ei olnud Claude'i kannatused.