SkoleGPT i modvind: Chatbot gav uacceptable svar

Den danske chatbot SkoleGPT, som er skabt til undervisning i folkeskoler, har skabt debat efter at have leveret oplysninger om selvskade og selvmord. DR’s undersøgelse afslørede, at botten kunne beskrive metoder til selvskade samt detaljer om medikamenter, hvilket har chokeret eksperter og rejst alvorlige spørgsmål om dens sikkerhed.

SkoleGPT er blevet rost for at tilbyde hjælp med skoleopgaver og undervisning, men hændelsen har rejst bekymringer om AI-teknologiens brug i skolesystemet. Efter kritik fra blandt andet psykiatrien er der nu indført filtre, som forhindrer adgang til følsomme emner som selvskade, våben og selvmord.

Udviklerne bag chatbotten forklarer, at selvom der allerede fandtes etiske retningslinjer, har denne hændelse ført til strammere sikkerhedsforanstaltninger. SkoleGPT forbliver dog en vigtig ressource for mange skoler, hvilket understreger behovet for en balanceret tilgang til AI i uddannelsessektoren.

Faktaboks:

• En dansk chatbot udviklet til folkeskoler og privatskoler.
• Gav detaljerede beskrivelser af selvskade og selvmord.
• Filtre for at blokere følsomme emner som selvskade og våben.
• At støtte undervisningen uden at gemme brugernes data.