I den linde strøm af litteratur om, hvordan generativ kunstig intelligens (GenAI) øver indflydelse på uddannelsesverden, kan det være vanskeligt at følge med. Jeg har haft bogen Generative AI in Higher Education. Innovation Strategies for Teaching and Learning liggende i adskillige måneder. Den udkom i september 2024, hvilket er lang tid i en verden med en tekindustri, der er gået amok i at udgive nye og mere om muligt endnu mere hypede udgaver af generative kunstige intelligenser.

Bogen vil være en praktisk guide til, hvordan undervisere kan anvende GenAI i deres arbejde med forberedelse, afvikling og evaluering af undervisningen. Dette gør de gennem “20 use cases of GenAI [...] presented and discussed across a whole spectrum of themes, including lesson preparation and content development, formative assessment, summative assessment, student experience, and ethical issues” (s. 21).

Og tilgangen kalder forfatterne selv for eksperimenterende brug af teknologien. Denne beskrivelse passer faktisk rigtig godt. Den eksperimenterende tilgang består primært i, at de skitserer en typisk opgave for undervisere ved videregående uddannelse, og så prompter de primært ChatGPT 4.0 og får genereret et output, de så tager udgangspunkt i og diskuterer.

Problemet med ovennævnte tilgang er for det første, at det er en underlig slap akademisk måde at gå til en problemstilling på. For det andet forholder de sig ikke særlig kritisk til de outputs, de får genereret. For det tredje er deres promptteknikker temmelig begrænsede. De anvender primært en helt simpel form for prompting (zero shot prompting) uden eksempler og med meget lidt kontekst. De tildeler heller ikke en rolle til den kunstige intelligens.

I det første kapitel har de en diskussion af, om GenAI producerer viden eller viderebringer viden. Diskussionen tager udgangspunkt i en kritik af GenAI leveret af Noam Chomsky, hvor han argumenterer for, at GenAI ikke kan svare på simple videnskabelige spørgsmål, men kun komme med sandsynligheder - og det er sandsynligheder af sammenhæng mellem sproglige elementer og altså ikke en form for viden.

For at diskutere Chomskys pointe, som i øvrigt er et velkendt argument om GenAI som stokastisk papegøje, prompter forfatteren ChatGPT. “ ´ChatGPT is mere aggregator, not a generator, of knowledge. It should not claim attribution´ Produce a 200-word argument in favour of this proposition, and another 200-word against this proposition” (s. 4) Dette output, hvor ChatGPT har genereret en række argumenter for og imod, samles der op på følgende måde: “The “pros and cons” output from ChatGPT sums of the arguments about the merits and limits of generative AI. It also underlines a fundamental question that lends itself to a more nuanced answer” (s. 6). Det mere nuancerede ‘svar’, som de mener, det første output giver anledning til, bruger de til at formulere en ny prompt.

Efter denne prompting accepterer forfatterne, at der er tale om, at output er en form for viden, selvom det er mere nuanceret som så i forhold til, om der genereres viden eller blot samles viden. Men som de siger, studerende forventes jo heller ikke at komme op med ny viden, men mere at samle eksisterende viden, så hvad skulle problemet så være i det.

Det er helt tydeligt, at forfatterne overhovedet ikke forholder sig til den grundlæggende måde, teknologien fungerer på, hvilket også gør selve fundamentet for bogen yderst tvivlsomt. De går ikke ind i en substantiel diskussion i forhold til Chomskys argumentation, men overlader dette til chatbotten.

De skriver inden for en tradition, der har et helt andet udgangspunkt end noget, jeg kan genkende. Efter min opfattelse repræsenterer de et både forældet, forkert og decideret farligt syn på teknologi. De skriver i al seriøsitet, at ”GenAI is [...] inherently a value-free tool that can nevertheless be deployed in a right or wrong way, for good or ill” (s. 174). Det på trods af, at de selv advarer mod mulig mis- eller disinformation, hvilket også afslører en manglende forståelse af teknologien. Det kan jo kun være misinformation, hvis man opfatter output som information. Men det bliver det først i det øjeblik, hvor en bruger gør det til det. Bedømmelsen af denne angivelige værdifrie teknologi bliver farvet af en efter min opfattelse manglende forståelse for teknologien.

Også læringsteoretisk er forfatterne et sted, hvor jeg har svært ved at følge dem, når de skriver: “Learning is inherently a personal journey, despite traditional educational models often presenting it as a collective experience within shared spaces like classrooms" (s. 123). Og de bruger en del plads på at forklare, at selvom det sociale aspekt af læring fremhæves af uddannelsesinstitutioner, så er det ikke en afspejling af, hvordan læring finder sted.

GenAI bliver langt hen ad vejen set som en teknologi, der primært skal spare tid og gøre undervisernes arbejde lettere og hurtigere. De rutineprægede opgaver kan overlades til en chatbot, så underviseren kan koncentrere sig om de mere komplekse elementer ved undervisningen. Denne modsætning diskuteres ikke, selvom det ikke er selvindlysende, at der ikke er eller kan være en tæt forbindelse mellem rutineprægede opgaver og mere komplekse. Eksempelvis er det at rette eller vurdere opgaver - ja egentlig også at bedømme opgaver - efter forfatternes opfattelse en rutineopgave, der med lidt overvågning kan overtages af en chatbot - især hvis den bliver tilpasset som en custom GPT.

Men det at læse de studerendes opgaver giver underviseren et indblik i, hvordan de studerende tænker, og hvordan undervisningen bliver taget imod af de studerende. Derfor er det en del af det input underviseren har brug for. Hvis man alligevel skal sikre sig, at en chatbot gør det ordentligt, så er gevinsten ved at anvende chatbots nok til at overse. Det er muligt, at dette er langt mere kompliceret, men den diskussion bliver ikke taget i bogen. Her gælder det hurtige og overfladiske argument.

Der er et kapitel, som især handler om, hvad man kan anvende tilpassede chatbots til. Altså chatbots som man har udstyret med en systemprompt, der instruerer chatbotten i, hvordan den skal fungere og give output, og fodret med en særlig udvalgt vidensbase. Forfatterne skriver om disse tilpassede chatbots: “[..] because the algorithm is trained with proven resources, customised GPT mitigates, if not entirely prevents, the risks of inaccurate content usually associated with general GPT products that draw all sorts of materials from the web” (s. 75f). Men hvad man stiller op med, at det ikke “entirely” kompenserer for fejl, skriver de ikke noget om. Heller ikke om, hvilken risiko for fejl, man skal acceptere. De beskriver heller ikke, hvordan en tilpasset chatbot behandler de tekster, man har fodret den med, ligesom de helt omgår spørgsmålet om copyright i forbindelse med at fodre den med den litteratur, der skal udgøre dens vidensbase.

Både formative og summative vurderinger og evalueringer spiller en stor rolle i bogen. Og selvom disse områder behandles lige så lemfældigt som andre områder, så er der alligevel inspiration at hente.

De bruger en del plads og energi på at beskrive evalueringsformer inspireret af spil som brætspil og ´serious games´: “Formative serious games focus on iterative skill development designed around specific real-life problems and scenarios, and the opportunities continuous feedback and feedforward in an iterative process…. AI-enabled serious games simulate scenarios and problems that imitate real situations that students are being prepared for. … Formative serious games are also excellently suited for performance evaluation (show-how), beyond knowledge testing (know-what) and competence assessment (know-how)” (s. 92).

Her tror jeg, at forfatterne har fat i noget. Det vil være interessant inden for eksamener at undersøge, hvorvidt man kan designe spil, der i højere grad er rettet mod de studerendes dybere forståelse af et domæne, end det er tilfældet i mange af de eksamensformer, der bliver brugt i øjeblikket.

Dette fjerner dog ikke indtrykket af, at bogen er meget overfladisk i sin omgang med chatbots som vidensressourcer. “PROMPT: Hey ChatGPT, what do you consider to be the risks and challenges of using you for teaching and learning in higher education” (s. 153). De mener, at denne måde at bruge chatbots på er et eksempel på interaktion mellem mennesker og computer som potentielle partnere. Selvom de har visse reservationer i forhold en chatbots selvrefleksion, så forbliver det ved det - det er ikke noget som får forfatterne til at tvivle på outputtet:  “Although ChatGPT’s ability to self reflect is limited by its design, such conversations reveal AI’s “thought processes”, providing deep insights into the complexities of generative AI” (s. 154)

ChatGPT har ikke en begrænset evne til selvrefleksion, den har overhovedet ikke nogen selvrefleksion. Den simulerer en refleksion - eller rettere: den genererer blot et output som forfatterne så projicerer til at gøre det ud for en refleksion.

Jeg synes, det er en dovent skrevet bog, og efter min vurdering bidrager den ikke til udviklingen af gode anvendelsesformer for generativ kunstig intelligens inden for uddannelsesverdene.

Der er alenlange sider med genererede output, som forfatterne forholder sig til på en måde, man kan kalde ukritisk, selvom de hen imod slutningen af bogen skriver: “Educators should critically evaluate all information generated by ChatGPT, verifying its accuracy with credible sources” (s. 157), så er det ikke noget, de har demonstreret i løbet af bogen. Tværtimod.