Inverkan på examination och bedömning

Tjänster som ChatGPT, Github Copilot, jenni.ai, med flera, kan på varierande sätt användas för att generera olika typer av innehåll eller utföra olika typer av intellektuellt arbete. Det kan till exempel handla om att skriva texter av olika slag, göra textanalyser, skriva eller kommentera programmeringskod, med mera. Det finns därför en överhängande risk att enskilda studenter lockas att använda dessa för att lösa examinationsuppgifter, vilket kan anses utgöra vilseledande vid examination. Det är därför helt nödvändigt att göra vissa överväganden i utformningen av examinationer och att tydligt informera om vilka gränser som gäller.

Ett första steg när det gäller att förebygga vilseledande vid examination är att tydliggöra hur den här typen av tjänster får eller inte får användas och hur användning av tjänster ska redovisas i de fall det är tillåtet. Vi kan se att det råder osäkerhet bland studenter kring var gränser går och då är det viktigt att synliggöra dessa.

Absolut viktigast är att kommunicera att det är studentens kunskaper/kompetenser som ska bedömas och att generativ AI inte får lov att användas för att ersätta det arbete som studenten ska göra. I de fall där det delvis är tillåtet för studenter att använda generativ AI behöver detta också formuleras för att klargöra var gränserna går.

Det finns redan nu ett flertal exempel från olika delar av Göteborgs universitet där man har formulerat såväl stöd till lärare att ta fram denna typ av information (se exempel från Inst för globala studier), som information riktad till studenter vid exempelvis examensarbeten (exempel från Inst för tillämpad IT). Använd gärna dessa som inspiration, men var också noggrann med att formulera information som tar utgångspunkt i de specifika förutsättningarna som gäller vid den aktuella examinationen.

Det kan också vara värdefullt att öppna för en löpande dialog med studenterna kring användning av generativ AI för att gemensamt hitta bra förhållningssätt och också öka sannolikheten att studenter vågar ställa frågor.

Med utgångspunkt i de möjligheter som generativ AI erbjuder är det helt nödvändigt att se över de examinationsformer som används. Vissa examinationsformer är mer utsatta för risk än andra, framför allt skriftlig hemtentamen där frågorna är formulerade på ett sätt som gör det enkelt för en AI att besvara dem. Samtidigt är det viktigt att val av examinationsform tar utgångspunkt i de lärandemål som ska bedömas så att examinator får rätt förutsättningar att bedöma måluppfyllelse. Utifrån detta kan det därför också vara aktuellt att se över möjligheter att exempelvis kombinera flera examinationsformer eller att lägga mer tid på handledning under skrivprocessen vid textproduktion. Observera att den examinationsform som anges i kursplanen ska användas och att en ändring av examinationsform därmed innebär att kursplanen behöver ändras. Det är inte tillåtet att avvika från reglerna om examinationsform i kursplanen.

Här nedan presenteras några tankar kring upplägg för examination för att minska risken för fusk med hjälp av generativ AI. Du kan läsa mer om olika examinationsformer på PIL:s webbsidor kring examination.

• Salstenta
  Bland de vanligast förekommande examinationsformerna är det den vanliga skriftliga salstentamen som ger minst risk för att studenter ska kunna använda generativ AI för att lösa uppgifter, särskilt vid tentamen i DISA (inloggning krävs) där det går att begränsa tillgång till olika resurser.
   
• Muntlig tentamen
  En muntlig tentamen där student och examinator befinner sig på samma fysiska plats ger också goda förutsättningar. Ofta kan det upplevas som tidskrävande med muntlig tentamen, men det kan samtidigt minska behovet av att ge skriftlig återkoppling och därför spara tid i andra delar.
   
• Skriftlig hemtentamen med tydlig och explicit referenshantering
  Vid tidpunkten för framtagandet av dessa resurser finns det fortfarande vissa svårigheter för ChatGPT och liknande tjänster att hantera referenser, särskilt om dessa är specificerade och finns med bland kurslitteraturen. Genom att kräva användning av löpande referenser till kurslitteratur blir det svårare att använda generativ AI för att lösa en uppgift, även om det fortfarande finns viss risk. Om uppgiften dessutom innebär djupare analys utifrån exempelvis fallbeskrivningar eller egna dokumenterade erfarenheter blir det ännu svårare.
   
• Process
  En viktig väg framåt kan vara att inte bara bedöma ett färdigt resultat utan att följa framtagandet av en text eller annan produkt. Detta är en modell som är vanlig vid examensarbeten, men som med fördel också kan användas vid andra examinerande moment. Genom att följa texten medan den skrivs fram ges också möjlighet att ge så kallad formativ återkoppling där du som lärare har möjlighet att ge stöd till dina studenter i arbetet. Detta begränsar alltså inte bara möjligheterna att använda generativ AI för att skapa ett helt arbete utan är dessutom fördelaktigt ur ett pedagogiskt perspektiv. Även här kan man som lärare uppleva att det tar mycket tid att läsa texter, men samtidigt minskar ofta bördan vid själva bedömningen och det är heller inte lika nödvändigt att ge utförlig summativ återkoppling i slutet.
   
• Kombinera examinationer
  Genom att kombinera olika typer av examinationer kan du också minska risken för fusk. Det kan exempelvis handla om att studenter lämnar in en text men att de också deltar i en muntlig tentamen som antingen relaterar till det arbete de genomfört eller utgör en separat del.

Stöd med att se över och arbeta om examinationsformer erbjuds i en workshop som PIL anordnar.

Förutom att försöka förhindra möjligheter att fuska genom att se över examinationsformer, är det också viktigt att arbeta med andra frågor för att ge studenter möjlighet att utveckla ett ansvarsfullt förhållningssätt till generativ AI. Det handlar om att de behöver få kunskaper kring såväl generativ AI som akademisk integritet för att förstå hur en ansvarsfull användning av olika typer av tjänster kan se ut.

Vidare kan det också vara viktigt att rikta uppmärksamhet mot vad en oönskad användning av generativ AI kan få för konsekvenser. Om denna typ av tjänster används för att exempelvis generera lösningar på uppgifter riskerar man som student att gå miste om möjligheten att faktiskt lära sig det aktuella innehållet. En ansvarsfull användning av generativ AI innebär att den inte används för att ersätta exempelvis kreativa eller intellektuella processer utan endast som ett stöd i dessa.

För att ge studenterna goda förutsättningar att utveckla ett bra förhållningssätt är det viktigt att hänvisa till det stöd som finns tillgängligt, framför allt genom Enheten för akademiskt språk (ASK) och Universitetsbiblioteket. Studenterna når dessa via Studentportalen.

Lunds universitet har tagit fram en kort film där man tar upp olika aspekter kring just bakgrund och orsaker till fusk:

Why do students cheat?

Eftersom varje text som genereras av tjänster som ChatGPT blir mer eller mindre unik finns det inga möjligheter att identifiera dessa med hjälp av verktyg som Ouriginal (före detta Urkund). Eftersom det heller inte finns någon ursprungskälla som kopieras är det tveksamt om det ens klassas som plagiat, det handlar snarare om att det är självständigheten i arbetet som kan ifrågasättas. De verktyg vi har för att kontrollera texter fungerar därför dåligt för att hitta texter som är genererade av AI och vi kan i detta sammanhang inte förlita oss på dessa.

Det finns ett flertal tjänster, så kallade klassificerare eller detektorer, som påstår sig kunna analysera texter och bedöma i vilken grad de är AI-genererade, men det har blivit mycket tydligt att det finns stora problem med dessa. Dels finns det åtskilliga exempel på när dessa tjänster identifierar texter som AI-genererade när de inte är det (så kallade false positives) och dels är det förhållandevis lätt att manipulera AI-genererade texter för att undvika att de identifieras. Utöver detta finns det också såväl etiska som juridiska aspekter som förhindrar enskilda lärare att använda denna typ av tjänster för att granska studenters arbeten. Det handlar till exempel om var data bearbetas och hur datan sedan används.

Läs mer om detektorer i Weber-Wulff, D., Anohina-Naumeca, A., Bjelobaba, S., Foltýnek, T., Guerrero-Dib, J., Popoola, O., Šigut, P., & Waddington, L. (2023). Testing of detection tools for AI-generated text. International journal for educational integrity, 19(1), 26-39.
https://doi.org/10.1007/s40979-023-00146-z

Vid misstanke om att en student har använt AI på ett otillbörligt sätt går man till väga på samma sätt som vid andra typer av disciplinärenden. Mer information om detta finns i Medarbetarportalen: Disciplinärenden (inloggning krävs)

• Riktlinjer och regler
  Det är inte förbjudet att använda generativ AI i utbildning vid Göteborgs universitet. Hur generativ AI används i utbildningen (rekommenderat, tillåtande eller begränsande) avgörs på kurs-, program och/eller institutionsnivå med hänsyn till gällande regler för användning av IT-verktyg vid Göteborgs universitet.  Enligt Göteborgs universitets vägledningar kring generativ AI riktade till lärare och studenter framgår att universitetets regler för studier på grundnivå och avancerad nivå är tillämpbara för generativ AI. I vägledningarna tydliggörs också att det är av yttersta vikt att enskilda lärare/examinator informerar studenter om vilka regler och riktlinjer som gäller för varje enskild examination, oavsett om användning av generativ AI är tillåten eller ej. Läs mer i avsnittet Information till studenter ovan.
   
• Generativ AI som en del av examinationer
  På senare tid kommer det fler och fler exempel där generativ AI har använts som en del av en examination. Det kan till exempel handla om att studenterna har låtit AI generera texter inom ett område som de sedan behöver analysera utifrån kursens litteratur eller att studenter har kunnat använda generativ AI som ett stöd i sitt arbete. Om man överväger att låta studenter använda generativ AI som en del av en examination är det viktigt att utforma uppgifter så att de inte riskerar att försämra möjligheten för enskilda studenter att delta. Likvärdighet i utbildning behöver upprätthållas och i de fall där Göteborgs universitet inte erbjuder tillgång till tjänster eller verktyg kan man i utformning av examinationer/undervisning inte kräva att studenter använder dem. Det är också mycket viktigt att kommunicera dels vad som utgör tillåten användning och dels hur eventuell användning av generativ AI ska redovisas.

Eftersom flera generativa AI-tjänster har visat relativt god förmåga att analysera texter väcks det tankar om att kunna använda dessa för att få stöd i bedömningsarbete. Utifrån flera olika perspektiv avråds dock från detta. Eftersom betygssättning är en myndighetsutövning är det viktigt att även bedömningsarbetet utförs av den person som fattar beslut om betyg. Det finns även etiska aspekter som behöver vägas in, exempelvis att en students arbete används i en tjänst utan dennes vetskap eller att arbetet riskerar att användas för att utveckla system eller tjänster. Det finns även pedagogiska aspekter att ta hänsyn till, exempelvis att återkoppling, som ofta är förknippat med bedömningsarbete, är viktigt för studentens lärande.