„Azt kell megérteni, hogy a Chat GPT végső soron egy nagy plagizátor, csak olyat vesz figyelembe, ami már van, semmi újat nem fog kitalálni. (Mérő László, 2024. december 24.)”
Ez az év kicsit a nyelvi modellek, a mesterséges intelligencia éve volt számomra. Először kezdett igazán érdekelni, először gondolkodtam felőle, először töltöttem hosszú órákat a GPT-4-gyel és először (és talán utoljára) írtam egy olyan cikket, amelynek a címében ott volt a „language models”.
Alapvetően fogalmam sincs az egészről. Ha mélyebben belelátnék a transzformerekbe, ami persze elhatározás kérdése, és írogatnék baby- nano- GPT-ket, akkor sem lennék sokkal beljebb. Én még azt sem tudom, hogy mit jelent pontosan az „érteni az AI-hoz”. Arról vannak inkább fogalmaim, hogy mit jelent nem érteni hozzá. Mérő László például ehhez sem ért (nem hazudik, ötven évvel ezelőtt foglalkozott valamivel nem túl nagy sikerrel, de mégis, amit akkor AI-nak neveztek, de az a John Haugeland által „GOFAI”-nak, Good Old Fashioned Artificial Intelligence-nek keresztelt valamicsodaizébigyó volt, aminek gyakorlatilag nulla köze van ahhoz, ami most történik). Most a transzformerek történnek, minden modell, amiről az újságok írnak, kivétel nélkül, transzformer architektúrájú nagy nyelvi modell, amelyek az „All you need is Attention” című cikkből alakultak ki.
Egyelőre nem az a kérdés, hogy lesz-e szuperhumán mesterséges intelligencia, hanem az, hogy a transzformer architektúra, a chain -of-thought buherával kombinálva (Ilya Sutskever és Yann LeCun szerint itt alapvető új gondolatokra lesz szükség, a scaling wall és a peak data valós probléma lehet) jelentősen túlszárnyalhatja-e a GPT-4-t, és eljuthatunk-e ahhoz a bizonyos második lépcsőhöz, amikor nem pár tízmilliárd dollárt költ az emberiség AI-re, hanem megindul az első „trillion dollar clusterek” építése. Az NVIDIA háromezer milliárd dolláros tőzsdei kapitalizációja azt jelenti, hogy erre vár a világ.
Az ezermilliárd dolláros cluster fogalma először egy Leopold Aschenbrenner nevű AI-val foglalkozó fiatalembernél jelent meg, és nem teljesen világos, hogy mit jelent (mármint számomra, lásd fent), de azért nagy vonalakban talán mégis. Ma a hardware alapegység az NVIDIA H100 processzor (GPU), ami 80 milliárd tranzisztort tartalmaz. Ennek az ára mondjuk 25000 dollár. Ebből az NVIDIA most kb. kétmilliót tud legyártani. Ez 50 milliárd dollárnyi H100. Egy óriási datacenter vagy szuperszámítógép, az a 20000 H100 nagyságrend és persze felfele. Elon Musk Colossus szuperszámítógépe esetében 100000 H100-ról beszélnek. Azt írják, hogy egy giga datacenter campus csúcsigénye 1 gigawatt is lehet, ami nagyjából két paksi blokk.
Van egy pont, amikor úgy nagy vonalakban, tényleg csak nagy vonalakban. 1000 milliárd dollárnyi H100-ra lenne szükség, ami 40 millió H100, amit valahol le kell gyártani, amihez építeni kell összességében olyan alapterületet elfoglaló datacentereket és szuperszámítógépeket, amelyekhez képest a BYD gigafactory, ami Magyarországon épül, egy kerti budi.
Magyarországnak ehhez a jelenséghez viszonyulnia kellene, és nem tudom hogyan. Olyan emberekre lenne szükség, akik valóban belelátnak ebbe az egészbe, például azért, mert a legjobb helyeken lettek kiképezve, részük volt ebben, belelátnak. Az AI ököszisztémát, az alkalmazásokkal együtt, a robotikától a cryptoig, legalább jó közelítéssel le kellene fedni valódi agyakkal. Nem kóklerekkel.
Magyarországon a kóklerség egy szakma lett, és mivel nem olyan nagyon nehéz kiképeznie magát valakinek erre a szakmára, és nagy a kereslet, a felhozatal is elég nagy. Erre esetleg rámehet a jövőnk. Nem fogom politikusok nevét beleírni ebbe a cikkbe, de az, hogy mennyire nem érdekli őket (hiszen a népet sem érdekli, tehát akkor a populista politikát sem) megdöbbentő. Trump dilinyós dolgokat hord össze, de ott van mellette Musk (épp most olvastam, hogy ha ezek összebalhéznak, ami esetleg hónapok kérdése, komoly hatással lehet a mesterséges intelligenciára).
Az iparkamara új elnöke finoman megpendítette, hogy a munkaerőintenzív társadalomnak vége, tudásintenzív gazdaságra és társadalomra lenne szükségünk, de, ezt már én teszem hozzá, annak költsége van, óriási elhatározás kellene hozzá, komoly döntések sorozata, és az, hogy az országot a projekt mellé állítják. Sajnos, nincs is olyan, hogy Magyarország, csak oldalak vannak, és semmi máshoz nem tudunk állni, csak oldalakhoz, hideg polgárháborúnk most langyosodik. És most nem általánosságokról van szó, hanem valami nagyon konkrétról, amihez az országunk egyáltalán nem lesz képes viszonyulni.
Most örök időkre lemaradhatunk. Ezt én két éve nem éreztem, most igen. Nem vagyok benne biztos, de ezt érzem. Valamennyit biztos, hogy lépni kellene, és még az a „valamennyi” is olyan bölcsességet, határozottságot és nemzeti összefogást igényelne, amire semmi esélyt nem látok.
A szerző Örülünk, Vincent?-blogbejegyzése 2024. december 24-én.
