Umetna inteligenca
Kako stroj v resnici »misli«
Klepetalnik ne vidi črk in sam od sebe ne ve, ali je res, kar napiše. Zna pa izjemno dobro uganiti, kaj sledi.
2,8 bilijona
gumbov ima model Kimi K3 kitajskega podjetja Moonshot AI.
To je eden največjih modelov, ki si jih lahko vsakdo prenese z interneta. Če bi vsako sekundo zavrtel en gumb, bi za vse potreboval skoraj 90.000 let.
Kaj prikazuje shema
1 Razreže stavek na žetone: »Človeška ribica živi v …« – 8 žetonov: Č (9.449), love (55.689), ška (73.202), rib (21.649), ica (1.578), ž (6.872), ivi (14.709), v (323). V besedi »Človeška« se skriva angleška beseda »love« (ljubezen). Isti stavek v angleščini: le 4 žetoni (The, olm, lives, in). Najverjetneje: naj | ver | jet | neje. Ljubezen: lj | ube | zen (»love«: 1 žeton).
2 Vsak žeton dobi mesto na zemljevidu besed: podobne besede so si blizu (pes, miš, volk; jama, jami, Kras; leti, spi, raste). Vsak žeton dobi seznam več tisoč števil (jami: 0,12, 0,87, 0,33 … 0,05): to je njegov naslov na zemljevidu. V resnici ta zemljevid ni raven list, ampak ima več tisoč smeri.
3 Žetoni se spogledajo. Pozornost: vsak žeton se ozre na žetone pred seboj (Č, love, ška, rib, ica, ž, ivi, v); »ribica« vidi »človeška«: to ni riba, ampak jamska dvoživka. Velik model to ponovi več desetkrat. Vsaka plošča je ena ponovitev. Računska celica: prihajajo števila, gumbi, sešteje, odloči, koliko pošlje naprej. Prava celica dobi na tisoče števil, ne le tri. Velik model ima takih celic na milijone.
4 Ugane naslednji žeton: jami 46 %, vodi 21 %, temi 9 %, Post… 7 %, nekaj drugega 17 % (odstotki so izmišljeni). Izbira med približno 200.000 žetoni. Beseda »Postojni« ima kar tri žetone: Post | oj | ni.
5 Izbere in ponovi: izbrani žeton (jami) pripne na konec in začne znova.
Stroj, ki ugiba
V telefon natipkaš: »Človeška ribica živi v …« Tipkovnica ti morda že predlaga naslednjo besedo: »jami«. Klepetalnik, kot je ChatGPT, počne prav to, le veliko bolje.
Srce klepetalnika je program, ki mu pravimo jezikovni model. Odgovora ne napiše naenkrat. Ugane košček besedila, ga pripne k že napisanemu in ugiba naprej. Včasih tudi tisočkrat zapored.
Tem koščkom pravimo žetoni. Vsak žeton ima svojo številko. Model ne vidi črk, ampak samo te številke.