Jos tekoälyt voivat koodata, voivatko ne luoda itse muita tekoälyjä? 🤖

Par Julien Romero - Apulaisprofessori tekoälyssä, Télécom SudParis – Institut Mines-Télécom

Tekoälyjärjestelmät pystyvät kirjoittamaan koodirivejä ja hallitsemaan tietokonetta. Mikä estää niitä luomasta muita tekoälyjä?

Lokakuun lopussa 2024 Anthropic esitteli Computer-Use-ohjelman, joka mahdollistaa heidän tekoälymallinsa Clauden hallita tietokonetta kuin ihminen. Mitä tapahtuisi, jos tekoäly voisi myös käyttää taloudellisia resursseja hankkiakseen lisää koneita ja palveluja? Tämä hypoteesi, vaikka se onkin liioiteltu, herättää kiehtovan kysymyksen. Voisiko tekoäly todella tulla itsenäiseksi ja luoda muita tekoälyjä ilman ihmisen väliintuloa?


Kuten tulemme näkemään, suuret yritykset kuten OpenAI, Facebook tai Google käyttävät jo tekoälyjä kouluttaakseen yhä monimutkaisempia tekoälyjä, eikä tämä ole salaisuus kenellekään, ei edes tekoälyille.

Tekoälyt kouluttavat tekoälyjä

Ymmärtääksemme, miten tämä on mahdollista, meidän on palattava taaksepäin ja selitettävä, mitä viimeaikaiset edistysaskeleet ovat mahdollistaneet. Kaikki alkoi vuonna 2017, kun Googlen tutkijaryhmä julkaisi tieteellisen artikkelin: "Attention is all you need" (Huomio on kaikki, mitä tarvitset). Tässä julkaisussa tutkijat esittivät uudenlaisen neuroverkkoarkkitehtuurin, jota kutsutaan "Transformersiksi", joka oppii, mihin sanoihin kiinnittää "huomiota" voidakseen tuottaa seuraavan sanan. Tämä Transformers-arkkitehtuuri on nyt rakenteena kaikissa modernien tekoälyjen tekstigenerointiverkoissa.

Transformersin ilmestyminen johti OpenAI:n julkaisemaan vuonna 2018 ensimmäisen version GPT:stä tekstin tuottamiseen. Vaikka perusperiaatteet ovat vain vähän kehittyneet siitä lähtien, "suuren kielimallin" (large language models, LLM) mittakaava ja ambitiot ovat räjähtäneet.

Näin ollen toukokuussa 2020 GPT-3:n saapuminen merkitsee uuden kategorian tekoälyn alkua, joka pystyy mallintamaan valtavien neuroverkkojen avulla ihmisten kieliä, olipa kyseessä luonnolliset kielet kuten ranska tai muodolliset kielet kuten C++ tietojenkäsittelyssä. On huomattava, että mallintaminen tilastollisesti ei tarkoita ymmärtämistä kognitiivisten prosessien avulla, ja nämä tekoälyt tuottavat edelleen absurdeja vastauksia triviaalisiin kysymyksiin.

Mallit ovat siis siirtyneet 1,5 miljardista yhteydestä GPT-2:lle satoihin miljardeihin GPT-3:lle ja sen seuraajille, mikä vastaa siirtymistä mehiläisen aivoista hamsterin aivoihin synapsien määrässä. Kuitenkin niiden koon kasvu on hidastunut viime vuosina, eikä se ole enää tänä päivänä pääasiallinen edistysaskel.

Meidän on pikemminkin tarkasteltava metodologisia muutoksia, jotka tapahtuvat ennen ja jälkeen mallin koulutuksen.

Enemmän ja parempia tietoja

LLM:n koulutus perustuu teksteihin, jotka toimivat viiteaineistona niiden opettaessa ennakoimaan seuraavaa sanaa lauseessa. Tämän oppimisen parantamiseksi käytetään yhä enemmän tietoja: GPT-2:ta on koulutettu 30 miljardilla sanalla (järjestettyinä lauseiksi, kappaleiksi ja teksteiksi), kun taas LLaMa-3:lla on käytössä yksitoista tuhatta miljardia sanaa.

Kuitenkin kaikki tekstit, jotka tulevat pääasiassa verkosta, eivät ole yhtä laadukkaita. Insinöörit käyttävät siksi puhdistusalgoritmeja ja, viime aikoina, itse LLM:iä parantaakseen, muokatakseen tai tuottaakseen näitä tietoja (esimerkiksi LLaMa-3:lle tai Qwen 2.5:lle).

Näin ollen, vaikka tekoälyt osallistuvat jo muiden tekoälyjen koulutukseen, tämä käytäntö on edelleen rajoitettu LLM:ien hitauden vuoksi. GPT-4:llä kestäisi noin 17 000 vuotta tuottaa yksin yksitoista tuhatta miljardia sanaa (noin 500 teratavua tietoa).

Kun tiedot on kerätty, puhdistettu ja tuotettu, alkaa varsinaisesti oppimisvaihe. Tämä vaihe on edelleen vaikea toteuttaa ja vaatii valtavasti laskentatehoa, mutta vähän on muuttunut siitä ensimmäisestä GPT:stä vuodesta 2018.

Rajoittaa tekoälyn oppimista antamalla rakentavaa palautetta

Tutkijat ovat kuitenkin tarkastelleet kysymystä LLM:n parantamisesta sen koulutuksen jälkeen. Yksi LLM:n raaka ongelma on se, että se on arvaamaton eikä välttämättä vastaa ihmisten tarpeita taitojen (rekrytointi, lääketieteelliset diagnostiikat, matematiikka) tai eettisten ja sosiaalisten käyttäytymisten (poliittisesti korrektit chatbotit, ilman syrjintää ja lain kunnioittaminen) näkökulmasta.

Ajatus on siis kalibroida LLM:t niin, että ne vastaavat paremmin käyttäjiensä mieltymyksiä. Tähän tarkoitukseen käytetään vahvistusoppimistekniikkaa, jossa ihmisiltä kysytään heidän mielipidettään generoituista teksteistä ja koulutetaan LLM:iä miellyttämään ihmisiä.

Tämä prosessi mahdollisti suuren harppauksen eteenpäin vuonna 2022 InstructGPT:n myötä, joka oli ChatGPT:n edelläkävijä. Kuitenkin se on äärimmäisen kallista, koska se vaatii paljon manuaalista työtä. LLaMa-3 vaati kymmenen miljoonan mieltymyksen merkitsemistä ihmisiltä. Nämä työntekijät ovat usein alipalkattuja ja heillä on vaikeat olosuhteet.

Siksi tutkijat pyrkivät minimoimaan ihmisten avun tarpeen.

Kun tekoälyt kouluttavat tekoälyjä

Heinäkuussa 2024 Microsoftin tutkijaryhmä julkaisi AgentInstructin, uuden menetelmän, joka mahdollistaa uusien taitojen ja käyttäytymisten opettamisen LLM:ille.

Tämä menetelmä keskittyy "agenttien" luomiseen, jotka ovat asiantuntijoita monilla aloilla (matematiikka, koodi, lääketiede) ja toimivat opettajina oppiville järjestelmille. Tässä tapauksessa agentti on itse LLM, mutta lisättynä ulkoisilla tiedoilla ja työkaluilla, kuten laskimella, Internetillä tai tietokonekoodin kääntäjällä. Paremmilla välineillä ja erikoistuneena kuin pelkkä LLM, se loistaa omalla alallaan. AgentInstruct käyttää joukkoa agenteja, jotka opettavat tietonsa LLM:lle.

Tuloksena: LLM etenee ilman pääsyä muihin resursseihin, toisin kuin agentit. Esimerkiksi agentti, jolla on laskin, voi parantaa LLM:n mielessä laskemista.

Samalla tavalla, Computer-Use-ohjelman ansiosta Claude voisi hyödyntää monia tietokonevälineitä kerätäkseen, puhdistaakseen ja järjestääkseen omia tietojaan, jopa kouluttaakseen tekoälymalleja itsenäisemmin mobilisoimalla erikoistuneita agenteja. Kysy häneltä, miten hän voisi parantaa itseään, ja tämä on suurin piirtein se, mitä hän vastaa (tai rekrytoida armeijan ihmisiä merkitsemään tietoja).

Mutta miten selittää, että hän ei vielä kykene lisääntymään ja parantamaan itseään?

Ennen kuin tekoäly osaa lisääntyä, pitkä tekninen polku ja eettiset kysymykset

Kyky luoda erikoistuneita agenteja herättää keskeisiä kysymyksiä. Kuka hallitsee agenteja? Jos tekoälyt osallistuvat omaan parantamiseensa, miten varmistamme, että niiden kehitys pysyy eettisenä ja ihmisten etujen mukaisena? Kehittäjien ja sääntelijöiden rooli on keskeinen mahdollisten väärinkäytösten estämiseksi.

Emme ole vielä siellä useista syistä. Nykyiset LLM:t, vaikka ne ovatkin tehokkaita, ovat rajoitettuja: ne kamppailevat monimutkaisten projektien suunnittelussa, vaativat jatkuvia säätöjä koulutuksen aikana ja riippuvat edelleen suuresti ihmisen väliintulosta, erityisesti datakeskuksissa, fyysisten koneiden hallitsemiseksi ja ylläpitämiseksi.

Lisäksi ilman omaa tahtoa ne eivät voi asettaa itselleen itsenäisiä tavoitteita, jotka olisivat riippumattomia opituista ihmisten mieltymyksistä. Sam Altman, OpenAI:n toimitusjohtaja, mainitsee mahdollisen yleisen tekoälyn syntymisen jo vuonna 2025, mutta tämä ennustus on kiistanalainen, koska se edellyttäisi teknisiä läpimurtoja ja parempaa ymmärrystä ihmisten kognitiivisista mekanismeista.

LLM:n menestys perustuu neljään pilariin: niiden koon kasvattamiseen, arkkitehtuurin innovaatioihin, kalibrointitekniikoiden parantamiseen ja tietojen kehittämiseen. Viimeaikaiset edistysaskeleet, erityisesti erikoistuneiden agenttien kautta tapahtuva automaatio, osoittavat jo, että tekoälyt näyttelevät yhä kasvavaa roolia muiden tekoälyjen luomisessa. Kuitenkin ilman omaa tahtoa tai todellista itsenäisyyttä ajatus tekoälystä, joka kykenee lisääntymään tai parantamaan itseään itsenäisesti, on edelleen scifiä.

Itse asiassa näin laaja vallankumous vaatisi nykyisten paradigmojen mullistamista, joissa neuroverkkoarkkitehtuurit pystyvät todellisesti sopeutuvaan ja yleiseen älykkyyteen. Tällä hetkellä, kun oppimisvaihe on päättynyt, LLM:n neuroverkot jäävät paikalleen: ne eivät voi enää kehittyä tai hankkia uusia taitoja itsenäisesti, edes miljoonien vuorovaikutusten jälkeen ihmisten kanssa.

Toisin kuin ihmiset, jotka oppivat toisten kanssa tai sisäisen pohdinnan kautta, LLM:llä ei ole mekanismeja, jotka mahdollistaisivat sen sisäisen rakenteen dynaamisen mukauttamisen tai syvällisten ja tarkistettavien representaatioiden rakentamisen ulkoisesta maailmasta. Yann LeCun, vuoden 2019 Turing-palkinnon voittaja Ranskasta, kuvittelee uuden sukupolven tekoälyjä, joilla on sisäisiä malleja, jotka pystyvät simuloimaan hypoteeseja ja suunnittelemaan kuin ihminen, integroimalla havaintoja vertailtavaksi ennakkokäsityksiin. Kuitenkin tämän vision käytännön toteuttaminen on edelleen tieteellinen haaste.

Ehkä niin ratkaiseva läpimurto kuin Transformers vuonna 2017 tapahtuu tulevina vuosina. Mutta tällä hetkellä täysin itsenäisten tekoälyjen visio, jotka muistuttavat Von Neumannin sondien kolonisoimista universumissa, on edelleen hypoteettinen.

Tämä skenaario kuitenkin kutsuu meitä pohtimaan jo tänään eettisiä kysymyksiä ja lainsäädännöllisiä sekä teknisiä turvatoimia, jotka ovat tarpeen näiden teknologioiden kehityksen ohjaamiseksi.