Suhtlemine keelemudelitega


Jaak Henno, Tallinna Tehnikaülikool
Ettekanne on nähtav aadressil http://staff.ttu.ee/~jaak.henno/terminoloogia/

30.11.2022 avalikustatud programm chatGPT hämmastas oma oskusega sujuvalt suhelda loomulikus keeles

See oskus põhineb suurte keelemudelite (LLM) kasutamisel

See oskus näib nii hämmastav, et suuri keelemudelid on ristitud SUURKEELEKS

Suurjalgade korraldatud SUURKEELE seminar Tilsi Suurkülas
Kohalikud kardavad neid - nad on hakanud ehitama mingit koletut torni...

Loomulikud keeled on mittedeterministlikud, kompositsioonilised, suure (70%) liiasusega ja seetõttu hästi approksimeeritavad
Kunst/programmeerimiskeeltel neid omadusi pole Kuid suurte keelemudelitega saab juba ka (veidi) programmeerida

Ja ülesanne keelemudelile ei pea olema ingliskeelne, selle võib esitada ka Eesti keeles

Praegu näivad (programmeerimiseks) parimad olevad
  • Gemini (https:gemini.ai) Google-lt
  • chatGPT (https://chatgpt.com) firmalt OpenAI
  • Sonnet (https://anthropic.com) firmalt Anthropic (Jaan Tallinn)

    Nad on kõik 'samatargad'

Esitasime Geminile eestikeelse ülesande:
"Loo www-leht, millel näidatakse kaarti nurgapunktidega (58.7,22.56), (58.58,22.7), märgi kaardil asulad Tärkma: (58.69, 22.6) ja Triigi: (58.59, 22.69). Näita kaardil jäätee (pidev sujuv joon) nende asulate vahel, vältides nõrka jääd (58.66,22.57) ümbruses ja kasutades kõva jääd (58.61, 22.74) ümbruses."

Gemini poolt esitatud jäätee (vasakul) on üsna sarnane tegelikuga (paremal)
Veidi pikem soomekeelne ülesanne:

Luo html+Javascript-dokumentti, joka tuo html-dokumenttiin karttasuorakulmion [lat_min= 59.410, lat_max = 60.351, lon_min = 24.328, lon_max = 30.320], näyttää kartalla kaupungit Helsinki: (24.982,60.226), Tallinn: (24.752,59.437), ST_Petersburg: (30.305,59.766), Ust-Luga: (28.330,59.930); ... laske aika, jolloin laiva ylitti kaapelin ja näytä tämä piste kartalla ajan kanssa ...käytä todellisia tietoja, älä simuloi"

Näib nagu päris - laevad liiguvad, kuid tegelikult on 'Potjomkini küla' - laevad on simulatsioonid
See selgub vaid Javascripti uurides.

Veel üks ülesanne (Claude):

Esita hulgal [0,1,2,3] määratud neljakohalise funtsiooni argumentide tabel.

f(x1,x2,x3,x4)
--------
0 0 0 0
0 0 0 1
0 0 0 2
0 0 0 3
...


3 1 2 3
3 1 3 0
3 1 3 1
3 1 3 2
3 1 3 3
Kokku: 4 x 2 x 4 x 4 = 128 erinevat argumentide kombinatsiooni

Vaatamata korduvatele küsimustele ei suutnud Claude omistada muutujale x2 rohkem kui 2 väärtust

Viimane ülesanne ebaõnnestus, sest mudeli sisendkorpuses ei olnud ühtegi neljakohalise funktsiooni argumentide tabelit.

Keelemudelid suudavad luua vaid seda, mis juba on neile sisendkorpuses esitatud

Mudelite põhifunktsioon - Tensorflow - suutis luua süntaktiliselt korrekte teksi vaid 6111356-tähelisest sisendtekstist:

"The product of the research was to enable a computer architecture of the content that is displayed in relation to the same time. The significant difference between the development of digital learning content is unique to convey whether there is a large number of disabilities and in the simulation game starts in the context of education."

Kuid korpusest, mis sisaldas vaid programme (Püton) ja mängude kursuse html-tutoriale genereeris sama Tensorflow program:

private var clicksor_many=2400.com" target="_blank"> Tekstuse the gravity transparency (thkolfer) - and more complexity.origation

Suurtele keelemudelitele ei saa esitada keerulisi ülesandeid

Pole kindel, et üldse kunagi saab.

Nende edukus sõltub neile esitatud toormaterjali (korpuse) kvaliteedist, kuid nende ilmumine on järsult suurendanud rämpsu määra Internetis ja muutnud kvaliteetse sisu raskemini kättesaadavaks

Nad uppuvad iseenda toodetud rämpsus

Terminoloogiat

LLM - (suur) keelemudel

prompt - ülesanne

app - proge

compute (omadus/määrsõna) - rehkendusjõud

Tänan !

See esitus on nähtav aadressil 'http://www.ttu.ee/staff/~jaak.henno/terminoloogia/'