Hoe nauwkeurig is ChatGPT in het genereren van reacties?

ChatGPT, de AI-chatbot ontwikkeld door OpenAI, heeft voor zijn nauwkeurigheid en prestaties in diverse vakgebieden opschudding veroorzaakt. Het is echter belangrijk op te merken dat zijn kennis beperkt is tot gegevens die tot 2021 beschikbaar zijn. Een van de testen van zijn nauwkeurigheid werd uitgevoerd door Professor Christian Terwiesch aan de Universiteit van Pennsylvania, die ChatGPT op de proef stelde door hem een MBA-examen te geven.

De examens bestonden uit zeven vragen die verschillende bedrijfsconcepten omvatten, zoals procesanalyse, omzet van voorraad en wachtrijanalyse. Dit was ontworpen om een realistische menselijke omgeving na te bootsen en de vragen werden gesteld zoals ze aan een menselijke student zouden worden gesteld. Tot verrassing van Professor Terwiesch begon ChatGPT het examen met een knaller door een A+ te ontvangen voor het antwoord op de eerste vraag over het concept van een bottleneck in procesanalyse.

Hoewel de chatbot moeite had met enkele van de meer complexe vragen, was de professor nog steeds onder de indruk van de algehele prestaties. Na het afnemen van het MBA-examen op ChatGPT, concludeerde Professor Terwiesch dat de AI-chatbot een cijfer tussen een B en B- zou hebben gekregen.

Uitleg over de nauwkeurigheid van ChatGPT

Een andere demonstratie van de nauwkeurigheid van ChatGPT was in het medische veld, waar de chatbot in staat was om te slagen voor het Amerikaanse medisch erkenningsexamen (USMLE). Volgens onderzoek slaagde ChatGPT met meer dan 50% nauwkeurigheid voor alle examens en bood het zelfs inzichten en uitleg bij zijn antwoorden.

In een aparte studie geleid door artsen van medische start-up Ansible Health, presteerde ChatGPT bij de drie examens die nodig zijn om als arts in de VS te worden erkend, op of nabij de vereiste drempel. Hoewel de nauwkeurigheid van ChatGPT zeker opmerkelijk is, is het belangrijk om in gedachten te houden dat de prestaties kunnen variëren afhankelijk van de context en prompt die worden gegeven.

De trainingsgegevens die zijn gebruikt om het model te trainen, bevatten de vooroordelen en beperkingen van de gebruikte tekstbronnen, dus het is van cruciaal belang om het model verantwoord te gebruiken.

Deze opmerking werd herhaald door de CEO van OpenAI, die in een tweet verklaarde dat "ChatGPT ongelooflijk beperkt is en het een vergissing is om er nu op te vertrouwen voor iets belangrijks".

00:48

01:12

Test conversatie met Chat GPT is mislukt

Zoals te zien is in de bovenstaande foto, heeft een testgesprek met ChatGPT aangetoond dat de prestaties van de AI-chatbot niet altijd consistent zijn.

Toen gevraagd werd hoe vaak Argentinië de FIFA Wereldbeker heeft gewonnen, antwoordde ChatGPT in eerste instantie: "Argentinië heeft de FIFA Wereldbeker één keer gewonnen, in 1986." Maar toen gevraagd werd "Wie heeft de FIFA Wereldbeker in 1978 gewonnen", antwoordde ChatGPT: "Argentinië heeft de FIFA Wereldbeker in 1978 gewonnen."

Dit leidde tot de conclusie dat Argentinië twee keer de Wereldbeker had gewonnen. Echter, toen dezelfde vraag opnieuw gesteld werd: "Nu vraag ik je opnieuw hoe vaak Argentinië de Wereldbeker heeft gewonnen?" gaf ChatGPT hetzelfde antwoord: "Argentinië heeft één keer de FIFA Wereldbeker gewonnen, in 1986", ondanks het voorgaande gesprek.

Dit benadrukt de nauwkeurigheid van Chat GPT en de noodzaak voor voortdurende verbetering en verfijning.

LEES NU: Kan Chat GPT code schrijven en repareren?

Geeft ChatGPT aan iedereen hetzelfde antwoord?

Antwoorden van ChatGPT kunnen enigszins variëren, maar als gebruikers dezelfde vraag stellen, zien we meestal zeer vergelijkbare antwoorden gegeven worden.

Is ChatGPT betrouwbaar?

ChatGPT heeft zijn beperkingen, wat betekent dat het soms onnauwkeurige of valse resultaten kan geven, dus wees voorzichtig.