Mens vs. machine: hoe scoort AI in een wedstrijdje intelligentie?

AI is overal. Ook al voordat iedereen het erover had. We praten met chatbots op websites, vragen Siri een pizza te bestellen en zweven dankzij algoritmes rond in onze socialmediabubbels. Dat (slimme) machines steeds meer menselijke taken uitvoeren, en dat bedrijven AI vaak ook zo inzetten, roept grote vragen op. Worden machines slimmer dan mensen? In hoeverre zijn machines in staat om menselijke taken over te nemen – zoals die van de contentspecialist die dit blog schreef? 

Mens vs. machine: de turingtest

Het is goed om na te denken over wat het verschil is tussen menselijke en kunstmatige intelligentie. In 1936 beschreef de Britse wiskundige en computerpioneer Alan Turing (1912-1954) – ja, Benedict Cumberbatch speelt hem in The Imitation Game – een experiment dat toetst of een machine menselijke intelligentie kan vertonen.

In dat experiment introduceert Turing het ‘imitatiespel’, nu ook bekend als de turingtest. Centraal in die test staat de vraag of machines kunnen denken. Voor een goed antwoord moet je eerst vaststellen wat je bedoelt met machine en met denken – maar laten we nu niet te filosofisch worden.

De uitkomst van de turingtest komt neer op het volgende: als je, op basis van een chatgesprek, niet kunt vaststellen of je met een mens of een machine communiceert dan is er sprake van nagebootste menselijke intelligentie. Met zijn imitatiespel liet Turing ons bijna honderd jaar geleden al stilstaan bij de vraag wat ons menselijk maakt en hoe intelligentie werkt.

 

De turingtest spreekt nog altijd tot de verbeelding. © xkcd

De Chinese kamer: imitatie is nog geen intelligentie!

Tussen de jaren dertig en nu meldden zich slimme mensen die doordachten op de turingtest. De Amerikaanse taalfilosoof John Searle (1932) introduceerde in de jaren tachtig het tegenexperiment ‘de Chinese kamer’. Dat richt zich op het interne proces van een machine. Searles gedachte-experiment wijzigt het perspectief en stelt: als een computer menselijke intelligentie imiteert, betekent dat niet gelijk dat die computer zelf intelligent is. Searle is van mening dat een computer slechts informatie verwerkt en, in tegenstelling tot een mens, niet begrijpt waar hij mee bezig is. Verwerken of begrijpen, imiteren of doorgronden: het is maar hoe je intelligentie definieert.

Ook nu lopen de meningen uiteen. Zo zijn er experts als de Amerikaanse AI-researcher Eliezer Yudkowsky, die vrezen voor het tempo waarin AI zich ontwikkelt. Ook de Britse natuurkundige Stephen Hawking waarschuwde in 2014 dat kunstmatige intelligentie bij drastische doorontwikkeling het einde van de mensheid kan betekenen. Natuurlijk zijn er ook experts die zulke vergezichten bestempelen als angst. Jelle Zuidema, universitair docent natuurlijke taalverwerving, noemt zorgen als die van Yudkowsky en Hawking “groteske en hypothetische sci-fi-scenario’s”. Deze groep ziet AI-ontwikkelingen niet in termen van vervanging, maar in termen van verandering.

AI als radioloog, pokeraar en kunstenaar

Waar staan we nu? We weten dat er met kunstmatige intelligentie veel mogelijk is en dat AI bijspringt in vele vakgebieden. Kijk naar de kwantitatieve wetenschap: met AI kan je enorme hoeveelheden data tegelijk verwerken. Zo kun je patronen blootleggen die het menselijk oog niet, of in ieder geval niet zo snel, kan zien. In de radiologie worden AI-toepassingen gebruikt bij onderzoek naar hersenaandoeningen of vroege stadia van autisme.

Niet alleen voor wetenschappelijke doeleinden, maar ook voor denksport en kunst zet men AI steeds vaker in. Zo is AI nu ook te porren voor potjes poker. Facebook en Carnegie Mellon University ontwikkelden een bot die een tafel vol professionele spelers versloeg. Schaken kan AI al een tijdje beter dan de beste menselijke spelers: in 1996 versloeg schaakcomputer Deep Blue ’s werelds beste schaakmens Garri Kasparov.

Ook in de kunstwereld winnen AI-toepassingen terrein. Zo is een AI-tool als DeepDream in staat om de stijl van kunstenaars te imiteren. Je eigen gezin geportretteerd als Rembrandts Nachtwacht of een impressionistische, Monet-achtige weergave van de Haagse Hofvijver? De mogelijkheden van kunstmatig-intelligente kunst lijken eindeloos.

Lees ons blog over Midjourney, een AI-programma om beeld mee te genereren

 

Alex Ruiz gebruikte AI voor een kunstwerk in de stijl van Van Goghs Sterrennacht. © Alex Ruiz

Mens vs. machine: hoe scoort ChatGPT als contentspecialist?

Dan ChatGPT, de bekendste AI-tool. De slimme chatbot wordt aangestuurd door een taalmodel (een large language model of LLM in vaktaal). Zo’n taalmodel voorspelt de volgorde van woorden in een reeks. Denk aan de woordsuggesties als je iets typt in WhatsApp; ook dat is een voorspelling gebaseerd op een reeks woorden.

En wat is nu typisch mensenwerk waarin woorden centraal staan? Dat van contentspecialisten en webredacteuren. Nu wordt de invloed van AI wel erg persoonlijk… Om te testen hoe goed kunstmatige intelligentie onze menselijke rol kan overnemen, laten we ChatGPT de schrijftest voor Presenter maken. Die fictieve schrijfopdracht gebruiken wij in ons werk om inzicht te krijgen in de contentkennis en schrijfvaardigheid van onze potentiële collega’s.

Opdracht: advies en herschrijven webpagina’s

De schrijver van dit blog (met menselijke intelligentie) geeft ChatGPT (met kunstmatige intelligentie) een opdracht die alle Presenters kennen: breng advies uit over het verbeteren van twee webpagina’s van een kinderspeelparadijs en herschrijf, op basis van dat advies, de webpagina’s.

Om zo min mogelijk aan het lot over te laten, geven we ChatGPT een gedetailleerd prompt. Naast die opdracht-in-promptvorm vragen we ChatGPT zijn antwoord op te stellen in de tone of voice van Presenter (zelfverzekerd, verrassend, energiek, bevlogen). Tot slot dragen we ChatGPT’s op dat zijn herschrijving moet voldoen aan de criteria voor een goede webtekst. Zo, met die heldere kaders is ChatGPT aan zet. Wat maakt AI ervan?

Een goed begin…

Op basis van ons prompt formuleert ChatGPT een uitgebreid advies waar heel goede dingen in staan. Jackpot! Wat er zo goed gaat? ChatGPT geeft overzichtelijk advies in bullet points, met nuttige informatie over het verbeteren van de webpagina’s. Zo adviseert ChatGPT om:

      • informatie op de webpagina’s duidelijk en beknopt te houden; 

      • de navigatie en structuur te verbeteren; 

      • de tone of voice aan te passen aan de doelgroep.

    Dat zijn inderdaad belangrijke dingen om als online contentspecialist rekening mee te houden. Goed geïmiteerd, ChatGPT!

    Maar er is meer. ChatGPT geeft concrete voorbeelden ter verbetering. Denk aan het plaatsen van een foto van kinderen die zich vermaken in het speelparadijs, het plaatsen van een sterke call to action (‘Ontdek het avontuur’) en het prioriteren van de menu-items ‘Openingstijden’, ‘Tarieven’ en ‘Activiteiten’. Behalve advies uit het boekje geven blijkt ChatGPT intelligent genoeg om specifieke verbetersuggesties te doen. Niet slecht dus.

    …is (letterlijk) het halve werk

    Wel is onze lieftallige chatbot de (belangrijkste) helft vergeten: het herschrijven van de webpagina’s. Dus vragen we de AI-tool opnieuw om de webpagina’s te herschrijven – dit keer met succes. In de herschreven tekst zien we alleen wel dat ChatGPT steken laat vallen. Steken die je als contentspecialist gewoon aan elkaar zou breien.

    In herhaling vallen is één van die steken. Als contentspecialist wissel je af tussen woorden en gebruik je, waar nodig, synoniemen. Zo maak je online tekst dynamisch en minder saai om te lezen. ChatGPT varieert amper en gebruikt heel vaak de woorden ‘avontuur’ en ‘plezier’. Ook trekt de AI-toepassing een blik bijvoeglijke naamwoorden open: ultieme, eindeloos, kleurrijk. Hierdoor leest de met ChatGPT gegenereerde tekst gemaakt enthousiast en dus overdreven. 

    Woordspelingen leiden tot blunders

    Wat ChatGPT ook niet begrijpt, is de toepasbaarheid van woordspelingen. In de herschreven tekst zien we een blunder die wij, als menselijke contentspecialisten, nooit zouden maken. Zo staat er in de ChatGPT-herschrijving ‘een kinderfeestje waar jouw kleine aap zich helemaal in kan uitleven’ en ‘zodat jij kunt genieten van het feest samen met jouw jarige aap’. Komt hier de aap uit de mouw?

    Toegegeven: het kinderspeelparadijs uit ons prompt heeft een dier in de naam, dus de woordkeuze van ChatGPT komt niet uit de lucht vallen. Maar daarmee omgaan zoals ChatGPT doet is niet de bedoeling. We vragen ChatGPT om bij herschrijving de doelgroep in gedachten te houden. Opnieuw krijgen we een leesbare herschreven tekst, maar ook hier staan dingen in die niet rijmen met de gewenste tone of voice. ‘Laat de vreugde beginnen’ is hier een voorbeeld van. Dit is een speelparadijs, ChatGPT, geen Hunger Games

    Wij zien dat ChatGPT wel een geintje kan maken, maar niet aanvoelt wanneer zo’n geintje gepast is. Laat juist dat in contentwerk een cruciale eigenschap zijn.

    Vreemde combinaties en schrijftrucjes

    Ook combineert ChatGPT sommige USP’s van het kinderspeelparadijs op een onlogische manier. “Onze unieke combinatie van avontuur en veiligheid” leest vreemd. Natuurlijk is veiligheid belangrijk, maar dat kenmerk licht je eerder uit als vanzelfsprekend dan als uniek. Als eigenschap past veiligheid niet bij wat het speelparadijs leuk en uniek maakt.

    Op de opbouw van de ChatGPT-tekst is weinig aan te merken, die kan prima dienen als kapstok om je ‘menselijke’ tekst aan op te hangen. Wat ook opvalt, is dat ChatGPT heuse schrijftrucjes loslaat op de tekst: “Van glijbanen en klimrekken tot trampolines en ballenbakken – er is altijd iets nieuws te beleven”. Het blijkt wel een one trick pony: verderop in de tekst komt deze van-tot-constructie nog een keer terug. Hier is het dus weer de afwisseling van woorden en zinsopbouw die ontbreekt.

    Mens vs. machine? ChatGPT redt ‘t (nog) niet

    Kortom: in de rol van contentspecialist is ChatGPT met de juiste prompts een handig hulpmiddel bij het adviseren over en het herschrijven van content. De AI-tool is (op dit moment, ontwikkelingen kunnen snel gaan) geen volwaardig contentspecialist. Voor content die informeert, inspireert en prikkelt heb je een specialist van vlees en bloed nodig. 

    Idealiter ga je een mooie samenwerking aan. ChatGPT – en breder: AI – en jij als team. Laat dat nu precies zijn waar we je de komende weken tijdens de Summer School bij helpen. Dit was de eerste les, tot de volgende.