Turnitin AI Checker

Wat is de Turnitin AI Checker?

De Turnitin AI checker is een geavanceerde tool gericht op het behouden van de integriteit van schoolwerk in een tijd waarin kunstmatige intelligentie (AI) tools zoals ChatGPT populair zijn. Deze tool helpt docenten om erachter te komen of het werk van een leerling is geschreven door een AI of een persoon.

Nu AI steeds gebruikelijker wordt op scholen, is het een uitdaging om uit te zoeken of huiswerk door mensen of door AI is gemaakt. De Turnitin AI-checker helpt hierbij door inzendingen te controleren om te zien of ze door AI zijn gemaakt. Het werkt direct naast de bestaande tools van Turnitin, waardoor docenten het eenvoudig kunnen gebruiken zonder een nieuwe interface te hoeven leren gebruiken.

Net als alle andere tools maakt de AI-checker Turnitin soms fouten, waardoor het eigen schrijven van een student als AI-geschreven wordt gemarkeerd. Om verwarring te voorkomen, biedt Turnitin rapporten en tips om de bevindingen van de checker te begrijpen. Dit helpt docenten de beste beslissingen te nemen over wat origineel is en wat misschien niet.

Hoe gebruik je de Turnitin AI Checker?

Het gebruik van de Turnitin AI checker helpt docenten te ontdekken wanneer AI tools zoals ChatGPT zijn gebruikt om het werk van een student te maken. Hier is een eenvoudige manier om het te gebruiken:

• Gebruiksvriendelijk: De AI-checker maakt deel uit van de gewone tools van Turnitin, dus docenten hoeven geen nieuw systeem te leren. Het werkt naast tools die ze al gebruiken, zoals de Feedback Studio (plagiaatcontrole).
• Werk controleren: Wanneer een leerling zijn opdracht inlevert, scant de AI-checker automatisch de tekst naast de traditionele plagiaatcontrole van Turnitin. Het probeert uit te zoeken of het werk mogelijk door AI is gegenereerd.
• Resultaten bekijken: De tool geeft docenten een rapport met de waarschijnlijkheid dat de inzending delen bevat die door AI zijn geschreven. Dit wordt gepresenteerd als een percentage naast het standaard gelijksoortigheidsrapport van de plagiaatcontrole. Docenten kunnen gedetailleerde inzichten bekijken om hen te helpen begrijpen wat ze nu moeten doen, gebaseerd op het beleid van hun instelling met betrekking tot AI-gegenereerde inhoud.
• False Positives begrijpen: Soms kan het systeem zich vergissen en denken dat het werk van een leerling AI-geschreven is terwijl dat niet zo is. De tool is ontworpen om fout-positieven te minimaliseren, maar biedt ook richtlijnen voor het interpreteren van de resultaten om docenten te helpen zelf een beslissing te nemen.
• Educatieve bronnen: Turnitin heeft ook tips en gidsen voor docenten. Deze bevatten strategieën voor het bespreken van academische integriteit met studenten en hoe je AI-tools op een verantwoorde manier kunt gebruiken in onderwijsomgevingen.

Met de AI-checker Turnitin kunnen docenten ervoor zorgen dat de opdrachten van studenten hun eigen werk zijn, wat echte inspanningen en leren van studenten ondersteunt.

Hoe werkt de AI-controle van Turnitin?

De AI-checker van Turnitin splitst een paper op in tekstsegmenten en analyseert elk segment aan de hand van modellen die zijn getraind om AI-schrift te herkennen.

Dit is echter lastig. Grote taalmodellen (LLM’s) zoals GPT-3 en GPT-3.5, die de tool van Turnitin op dit moment kan detecteren, zijn erg goed in het nabootsen van menselijk schrijven, dus het is moeilijk te herkennen. Uit een onderzoek bleek zelfs dat linguïstische experts niet altijd het verschil konden zien tussen menselijk en AI-schrijfwerk en het in minder dan de helft van de gevallen goed hadden.

Turnitin is niet transparant over de exacte processen en technieken achter het identificeren van AI-schrijfwerk. Schriftdetectors gebruiken echter over het algemeen natuurlijke taalverwerkingstechnieken (NLP) om te detecteren of iets door een mens of een AI is gemaakt.

Ze kijken vooral naar twee dingen: perplexiteit en barstigheid.

• Perplexiteit

Dit gaat over hoe voorspelbaar of verrassend de tekst is. AI-tools hebben de neiging om teksten te maken die gemakkelijk te voorspellen en vlot te lezen zijn. Als een stuk tekst niet veel verrassingen bevat en vrij vlot leest, denkt het programma dat het door AI is geschreven omdat het een lage perplexiteitsscore heeft.

Maar als het schrift onvoorspelbaarder is, met veel verschillende woordkeuzes, is het waarschijnlijk door een persoon geschreven, wat een hoge perplexiteitsscore oplevert.

• Burstigheid

Er wordt gekeken naar hoe zinnen veranderen in lengte en structuur. AI-geschreven teksten zijn over het algemeen erg uniform, met zinnen die qua lengte en structuur op elkaar lijken, wat betekent dat ze een lage burstiness hebben.

Mensen daarentegen gebruiken korte en lange zinnen en verschillende structuren, wat leidt tot een hoge burstiness.

Hoe goed is de Turnitin AI Checker?

De nauwkeurigheid van Turnitins AI Checker is een veelbesproken onderwerp in de onderwijswereld.

• Een groot probleem zijn de fout-positieven – wanneer het systeem denkt dat een door mensen geschreven stuk door AI is gemaakt. Vanderbilt University is bijvoorbeeld gestopt met het gebruik van de AI-checker van Turnitin, vanwege een gebrek aan transparantie en zorgen over het maken van fouten, zoals het ten onrechte beschuldigen van studenten van het gebruik van AI. Er waren bijvoorbeeld meerdere gevallen van onschuldige studenten die ten onrechte werden gemarkeerd door de AI-checker.
• Een ander probleem is dat sommige studenten zouden kunnen proberen te verbergen dat ze AI hebben gebruikt door AI-schrijfsels te mengen met hun eigen schrijfsels. Dit maakt het nog moeilijker voor tools zoals Turnitin om uit te zoeken wat er aan de hand is.
• Bovendien hebben sommige onderzoeken en artikelen de bezorgdheid geuit dat AI-schrijfcheckers niet eerlijk zijn tegenover mensen die Engels als tweede taal hebben geleerd, vaak ELL-schrijvers (English language learner) genoemd. Dit betekent dat de tools hun werk vaker ten onrechte als AI-gegenereerd zouden kunnen markeren dan zou moeten.

In reactie hierop heeft Turnitin een onderzoek uitgevoerd waaruit blijkt dat hun AI-detector ELL’s niet onterecht als doelwit heeft, waardoor eerlijkheid bij het detecteren van door AI geschreven inhoud wordt gegarandeerd. Testen op diverse academische voorbeelden, waaronder schrijfsels van ELL’s, toonden geen significante vooringenomenheid en er wordt gewerkt aan het verfijnen van de detectienauwkeurigheid en het behouden van een laag percentage fout-positieven.

Als we al het bovenstaande in overweging nemen, is het echter duidelijk dat docenten niet alleen op de tool kunnen vertrouwen – ze moeten ook kijken naar wat als AI wordt gemarkeerd en zelf beslissen of dit nauwkeurig is of niet.

Voor- en nadelen van Turnitin AI Checker

Zoals elke tool heeft ook de AI Checker van Turnitin zijn voor- en nadelen. Hier volgt een overzicht:

Voordelen

Nadelen