Med udbredelsen af generativ kunstig intelligens er der opstået et behov for at lære at betjene den på en måde, så man kan få mest mulig værdi ud af den. Sprogmodellerne består af logaritmer, der er trænet på milliarder af datapunkter bestående af tekst fra alle mulige områder. Med maskinlæring fremkommer særlige mønstre mellem datapunkterne (tokens), som sprogmodellerne kan anvende til at omsætte en instruktion til et sprogligt output, der minder om noget, der er skrevet af et menneske.

Der er ingen, der præcist ved, hvordan sprogmodellerne er i stand til at generere forståelige og meningsfulde output, der kan anvendes til at løse forskellige opgaver. Men man kan konstatere, at hvis man f.eks. spørger en sprogmodel om, hvad næringsindholdet i et æble er, så kan man få et meningsfuldt svar, der formentlig også i langt de fleste tilfælde vil blive vurderet til at være rigtigt.

For at få genereret et output, må man prompte (instruere) sprogmodellen. På baggrund af prompten styrer sprogmodellens algoritme outputtet. Derfor er det vigtigt, at man lærer at prompte på en hensigtsmæssig måde, så man kan få genereret output, der har værdi for en selv.

Hensigtsmæssig prompting kaldes ´prompt engineering´. Og det er det, bogen Prompt engineering. En grundbog netop giver adgang til. Bogen, der er skrevet af Claus Nygaard, er en instruktions- og øvebog, hvor man kommer igennem en lang række forskellige promptingteknikker fra de mest simple til de mere komplekse og sammensatte.

Claus Nygaard er meget begejstret for sprogmodellerne, og han ser meget optimistisk på, hvad de kan udrette - eller hvad man kan udrette med dem. I introduktionen får man et indtryk af, hvad det er for en opfattelse, der gennemsyrer hele bogen: “Forestil dig et computerprogram så kraftfuldt, at det kan navigere i milliarder af data på brøkdele af et sekund. Et computerprogram, der kan høre, se, tale og skrive. Et computerprogram, der benytter sig af kunstig intelligens og derfor forstår alt, hvad du siger, og reagerer med et svar, der er lige så naturligt, som talte du med en god ven. Det lyder som noget fra en science fiction-film, men i dag er det virkelighed!” (s. 9).

Det er den begejstrede tekno-optimist, der taler. Han taler om generativ kunstig intelligens som noget, der forstår menneskelig intention, vurderer, reflekterer og ovenikøbet kan være selvkritisk tænkende og selvrefleksiv. Men der ligger ingen forståelse eller selvrefleksion i en sprogmodel, ligesom den heller ikke fungerer ved at trække på viden, selvom det er den måde, Nygaard beskriver det på: “Tænk på det som at have en samtalepartner, der har læst millioner af bøger, artikler og tekster og kan trække på denne viden i realtid” (s. 19). Igen: det er ikke sådan sprogmodeller fungerer. De millioner af bøger - og meget andet tekst, sprogmodellerne er trænet på - er et materiale, sprogmodellen har udledt mønstre i. Der er tale om mønstre mellem tekstfragmenter og ikke et lager af viden eller information. Mønstrene anvendes til på baggrund af et input at generere et output baseret på disse mønstre - ikke på at trække på en bagvedliggende viden om et emne.

Man skal således ikke gå til bogen for at få en indsigt i, hvordan sprogmodeller fungerer, hvilket heller ikke er bogens ærinde. Det er prompt engineering, der er bogens emne. Og her fungerer den rigtig godt. Nygaard har udviklet et katalog over 24 promptingteknikker, som han gennemgår en for en i løbet af bogen. Og som han siger, så er prompt engineering “mere end teknik: det er også en kreativ proces. Det involverer at tænke ud af boksen, eksperimentere med sprog og forstå den dybere kontekst, som store sprogmodeller opererer indenfor. Det kræver en forståelse af den store sprogmodels kapaciteter og begrænsninger… “ (s. 23).

Hvert af de 24 kapitler, der er viet til promptingteknikker, indeholder en kort beskrivelse af teknikken og dens syntaks. For de fleste er der også en lille beskrivelse af, hvilket formål, den opfylder som f.eks. “Fortæl mig-prompting”: “Formålet er at få sprogmodellen til at give dig en mere detaljeret og oplysende respons, snarere end at søge efter et enkelt svar” (s.37), som var formålet med den mest simple “Spørgsmåls-prompting”, hvor man slet og ret stiller et spørgsmål til sprogmodellen.

Herefter demonstrerer forfatteren teknikken med eksempler f.eks. “Forklar mig-prompting”: “Forklar mig, hvordan kvantecomputere fungerer, og hvad der gør dem anderledes end traditionelle computere” (s. 48). Nygaard citerer så de genererede output fra ChatGPT 3.5, Copilot og Gemini af hhv. OpenAI, Microsoft og Google. Og det er virkelig en af bogens styrker, at den kopierer de forskellige svar fra de tre forskellige sprogmodeller ind. Det giver et indblik i sprogmodellernes styrker og svagheder - og det er slående, hvor dårligt Copilot performer sammenlignet med de to andre. Hvert kapitel afsluttes med en række øvelser i den beskrevne promptingteknik.

De første fem promptingteknikker er meget simple og adskiller sig ikke rigtig fra hinanden, og kunne sagtens behandles som en. Der er ikke den store principielle forskel på at spørge “hvad er… ”, “fortæl mig om…” og “forklar mig…”. De er alle en del af det, man kalder zero shot-prompting, hvor man ikke gør særlig meget ud af at styre det output, man får genereret.

Med de følgende promptingteknikker stiger kompleksiteten en anelse ved, at der lægges en række kontekstuelle elementer ind, som outputtet skal tage hensyn til og inddrage i sin behandling af prompten.

Den niende promptingteknik kalder Nygaard “Sokratisk prompting”. Denne fungerer på den måde, at man som bruger af en sprogmodel udfordrer svarene på en måde, der minder om Sokrates’ spørgeteknik. Selvom Sokrates metode beskrives meget upræcist for ikke at sige fejlagtig, så er promptingteknikken god, da den bidrager til, at man reflekterer dybere om et emne. Nygaard beskriver det ganske vist på en lidt underlig måde, når han siger: “Sokratisk prompting er velegnet, når du ønsker at fremme kreativ tænkning, udfordre sprogmodellen til at reflektere over komplekse spørgsmål” (s. 108). Det ser ud til, at Nygaard mener, at det er sprogmodellen, der skal reflektere over komplekse spørgsmål, hvilket den ikke kan, da refleksion ikke er en af dens kapaciteter. Men ved at anvende teknikken kan man som bruger få indspil til egne refleksioner, ved at man udfordrer de genererede svar, hvilket giver nye svar, man kan tænke over.

Som sagt stiger kompleksiteten bogen igennem. Der er promptingteknikker, som fungerer ved at man spørger om uddybning af de output, man har fået - enten ved at søge uddybninger, bryde spørgsmål ned i trin eller på anden vis anvende iterative metoder i sin prompting.

Generelt er det en god ide at gå i dialog med sprogmodellen, hvis man vil have noget ud af den. Og man skal hele tiden tænke på, at hvis man ikke selv kan afgøre, om et svar er korrekt, så må man søge andre kilder, der kan verificere et givet svar. Men det kan være en stor hjælp, at et genereret svar har indikeret, hvad man skal søge efter.

Promptingteknik nummer 18 er “Spørg mig-prompting”, hvor man i stedet for at bede om et svar eller en forklaring på noget, får sprogmodellen til at spørge. Denne teknik kan gøre det mere klart for en, hvad det egentlig er, man gerne vil vide eller hvilket perspektiv, man egentlig har. Man kan udvikle denne promptingteknik, så den styrker ens refleksioner, hvis man får sprogmodellen til at stille spørgsmål til det, man selv har tænkt og skrevet. Man kan også anvende “Spørgeprompting” til at forbedre egne prompts ved at man få sprogmodellen til at stille spørgsmål til ens umiddelbare prompt, så promptingen bliver forbedret ved hjælp af sprogmodellen.

“Tanketræ-prompting” (nr. 24) er også rigtig god. Her får man sprogmodellen til at give parallelle svar, evt. ud fra forskellige teoretiske tilgange til samme emne. Det umiddelbart genererede output vil sidestille svarene, og man kan som bruger vurdere svarene. Men man kan også gå videre og bede om, at hver af de parallelle svar diskuteres og kritiseres fra de øvrige svar, så man får en kritisk dialog mellem forskellige genererede beskrivelser af samme fænomen. Dette kan indgå i ens egen refleksioner over en problemstilling eller et fænomen, hvilket kan være vældig brugbart for studerende, forskere eller almindeligt interesserede mennesker.

Prompt engineering er både en god bog og en meget tvivlsom bog. Dens styrke er fremstillingen af forskellige teknikker og strategier for at opnå brugbare resultater, når man instruerer en sprogmodel. Men dens underliggende grundantagelser om, hvordan sprogmodeller virker, forekommer fejlagtige og overoptimistiske. Det forekommer underligt, at næsten alle de generede svar vurderes til at være fantastiske, selvom der ikke foreligger nogen som helst argumentation for, at dette skulle være tilfældet. En ting er, at der bliver genereret svar om et bioanalytisk emne, men om svaret er meningsfuldt og fyldestgørende eller ej er en helt anden sag.

I kapitlet Zero shot-prompting anvendes prompten: “Beregn sandsynligheden for at trække et billedkort fra et kortspil” (s.72). ChatGPT 3.5 genererer: “Et standard kortspil indeholder i alt 52 kort, hvoraf 4 er billedkort i hver af de fire kulører (hjerter, ruder, klør og spar). Billedkortene inkluderer konge, dame og knægt i hver kulør” (s. 73). Så er der 12 eller 16 billedkort? Og i det genererede output fra Gemini fremgår det, at antallet af ikke-billedkort er 40 ud af de 52, hvilket svarer til 5/13. Og videre vises det, at antallet af billedkort kan opstilles som 1 minus 5/13, som er lig med 3/13. Selvom svaret er her rigtigt i forhold til sandsynligheden for at trække et billedkort, er “mellemregningerne” helt forkerte. Alligevel konkluderer Nygaard, at ChatGPT og Gemini “klarer … opgaven med bravur” (s. 74). Hvad skal man så tro om alle de andre genererede output, som man måske ikke selv kan vurdere lødigheden af?

Det er en kæmpe svaghed ved bogen, at begejstringen over sprogmodellernes evne til at generere output af tilsyneladende meningsfulde svar, har afstedkommet et totalt fravær af kritisk refleksion i forhold til svarenes lødighed. Kun to gange løfter Nygaard en pegefinger og minder læseren om, at man skal være varsom med de genererede output. I forhold til "Teori-prompting", hvor man beder sprogmodellen om at følge en bestemt teori, siger han, at man skal “være opmærksom på selv at validere svarene, for du kan ikke være helt sikker på, at sprogmodellen har forstået teorien eller kombinationer af teorier rigtigt” (s.240). Dette gentages i forhold til “Metode-prompting”. Men det er sprogmodellernes “forståelse” af teori og metode, han advarer imod - ikke selve de generede output.

Man kan lære rigtig meget om prompt engineering ved at gennemgå bogens forskellige promptingteknikker og lave øvelserne. Man skal dog huske, at output er genereret tekst på baggrund af algoritmer og ikke en kilde til viden. Men man kan sagtens få en masse ud af genereret tekst, når man selv forholder sig kritisk og refleksivt til det. Det kan sprogmodellerne ikke klare for dig. Bogen er dog efter min opfattelse direkte misinformerende, når det kommer til at forstå sprogmodeller og deres kapaciteter og begrænsninger.