11 Nadelen Van ChatGPT Inhoud

Hoogtepunten

• Waarom lage kwaliteit ChatGPT content door menselijke review komt.
• ChatGPT is uitgebreid, zelfs wanneer het beknopt moet zijn.
• Professor citeert een gebrek dat ChatGPT gegenereerde essays verpest.
• ChatGPT faalt in de fictieve Voight-Kampff android detectietest en de verrassende reden waarom dit ertoe doet.

ChatGPT produceert inhoud die uitgebreid en plausibel nauwkeurig is.

Maar onderzoekers, artiesten en professoren waarschuwen voor tekortkomingen waarvan men zich bewust moet zijn, die de kwaliteit van de inhoud verminderen.

In dit artikel zullen we kijken naar 11 nadelen van ChatGPT-inhoud. Laten we beginnen.

1. Gebruik van zinnen maakt het herkenbaar als niet-menselijk

Onderzoekers die bestuderen hoe machine-genereren content gedetecteerd kan worden, hebben patronen ontdekt die het onnatuurlijk laten klinken.

Een van deze eigenaardigheden is hoe AI worstelt met uitdrukkingen.

Een idioom is een zin of uitspraak met een figuurlijke betekenis eraan gekoppeld, bijvoorbeeld "elke wolk heeft een zilveren randje".

Een gebrek aan uitdrukkingen in een stuk inhoud kan erop wijzen dat de inhoud gegenereerd is door een machine - en dit kan deel uitmaken van een detectie-algoritme.

Dit is wat het onderzoeksartikel uit 2022 getiteld "Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers" zegt over deze eigenaardigheid in door machines gegenereerde inhoud:

"Complexe frase-eigenschappen zijn gebaseerd op de frequentie van specifieke woorden en zinsdelen binnen de geanalyseerde tekst die vaker voorkomen in menselijke tekst."

...Van deze complexe, samengestelde kenmerken behouden kenmerken van idioom de meeste voorspellende kracht bij detectie van huidige generatieve modellen."

Deze onmogelijkheid om idiomatische uitdrukkingen te gebruiken draagt bij aan het onnatuurlijke geluid en lezen van ChatGPT-uitvoer.

2. ChatGPT mist vermogen voor expressie

Een artiest merkte op hoe de output van ChatGPT lijkt op wat kunst is, maar mist de daadwerkelijke kwaliteiten van artistieke expressie.

Expressie is het uiten van gedachten of gevoelens.

De output van ChatGPT bevat geen uitdrukkingen, alleen woorden.

Het kan geen inhoud produceren die mensen emotioneel op hetzelfde niveau raakt als een mens - omdat het geen echte gedachten of gevoelens heeft.

Muzikant Nick Cave heeft in een artikel op zijn Red Hand Files nieuwsbrief gereageerd op een ChatGPT-tekstregel die hem was toegestuurd, die was geschreven in de stijl van Nick Cave.

Nieuwe AI-aangedreven Content Marketing Toolkit
Omarm de nieuwste technologieën voordat jouw concurrenten dat doen. Maak goed geoptimaliseerde en gerichte content die drie keer sneller resultaten oplevert.

Hij schreef:

“Wat een liedje echt geweldig maakt, is niet zijn sterke gelijkenis met een herkenbaar werk.

...het is de adembenemende confrontatie met je eigen kwetsbaarheid, je eigen gevaarlijkheid, je eigen kleinheid, opgewassen tegen een gevoel van plotselinge, schokkende ontdekking; het is de bevrijdende artistieke daad die het hart van de luisteraar beroert, waar de luisteraar in de innerlijke werking van het lied hun eigen bloed, hun eigen strijd, hun eigen lijden herkent."

Cave noemde de tekst van ChatGPT een bespotting.

Dit is de ChatGPT-tekst die lijkt op een Nick Cave-tekst:

“Ik heb het bloed van engelen op mijn handen
Ik heb het vuur van de hel in mijn ogen
Ik ben de koning van de afgrond, de heerser van het donker
Ik ben degene die ze vrezen, in de schaduwen luisteren ze”

En dit is een echte Nick Cave-tekst (Brother, My Cup Is Empty):

“Ik gleed langs regenbogen
Ik slingerde van de sterren
Nu bonst deze ellendeling in bedelaarskleding
Met zijn beker tegen de tralies
Kijk, deze beker van mij is leeg!
Het lijkt erop dat ik mijn verlangens kwijt ben
Lijkt erop dat ik de as aan het opvegen ben
Van al mijn vroegere vuren”

Het is gemakkelijk te zien dat de machinaal gegenereerde songtekst lijkt op de songtekst van de artiest, maar het communiceert eigenlijk niets.

De teksten van Nick Cave vertellen een verhaal dat resoneert met het pathos, verlangen, schaamte en bewuste misleiding van de persoon die in het lied spreekt. Het drukt gedachten en gevoelens uit.

Het is gemakkelijk te zien waarom Nick Cave het belachelijk noemt.

3. ChatGPT levert geen inzichten op

Een artikel gepubliceerd in The Insider citeerde een academicus die opmerkte dat academische essays gegenereerd door ChatGPT gebrek hebben aan inzichten over het onderwerp.

ChatGPT vat het onderwerp samen maar biedt geen uniek inzicht in het onderwerp.

Mensen creëren door middel van kennis, maar ook door hun persoonlijke ervaringen en subjectieve waarnemingen.

Professor Christopher Bartel van de Appalachian State Universiteit wordt geciteerd door The Insider en zegt dat hoewel een ChatGPT-essay hoge grammaticale kwaliteiten en verfijnde ideeën kan vertonen, het nog steeds aan inzicht ontbreekt.

Bartel zei:

"Ze zijn echt pluizig. Er is geen context, er is geen diepgang of inzicht."

Inzicht is het kenmerk van een goed geschreven essay en hierin excelleert ChatGPT niet bijzonder.

Deze gebrek aan inzicht is iets om in gedachten te houden bij het beoordelen van door machines gegenereerde inhoud.

4. ChatGPT is te langdradig

Een onderzoeksartikel dat in januari 2023 is gepubliceerd, ontdekte patronen in ChatGPT-inhoud die minder geschikt maken voor kritische toepassingen.

De paper is getiteld, Hoe dichtbij komt ChatGPT bij menselijke experts? Vergelijking corpus, evaluatie en detectie.

Het onderzoek toonde aan dat meer dan 50% van de mensen antwoorden van ChatGPT verkoos bij vragen over financiën en psychologie.

Maar ChatGPT faalde in het beantwoorden van medische vragen omdat mensen de voorkeur gaven aan directe antwoorden - iets dat de AI niet bood.

De onderzoekers schreven:

“...ChatGPT presteert slecht op het gebied van behulpzaamheid voor het medische domein in zowel het Engels als het Chinees.

Het ChatGPT geeft vaak uitgebreide antwoorden op medisch advies in onze verzamelde dataset, terwijl menselijke experts wellicht directe en duidelijke antwoorden of suggesties geven. Dit kan deels verklaren waarom vrijwilligers menselijke antwoorden als meer behulpzaam beschouwen in de medische branche.

ChatGPT heeft de neiging om een onderwerp vanuit verschillende invalshoeken te behandelen, wat het ongeschikt maakt als het beste antwoord een direct antwoord is.

Marketeers die ChatGPT gebruiken moeten hier rekening mee houden, omdat sitebezoekers die een direct antwoord zoeken niet tevreden zullen zijn met een uitgebreide webpagina.

En succes met het rangschikken van een overdreven lange pagina in de uitgelichte fragmenten van Google, waar een beknopt en duidelijk geformuleerd antwoord dat goed werkt in Google Voice, misschien een betere kans heeft om gerangschikt te worden dan een langdradig antwoord.

OpenAI, de makers van ChatGPT, erkennen dat het geven van uitgebreide antwoorden een bekende beperking is.

De aankondigingsartikel van OpenAI zegt:

"Het model is vaak overdreven uitvoerig..."

Houd er rekening mee dat de neiging van ChatGPT om lange antwoorden te geven iets is om op te letten wanneer u ChatGPT-output gebruikt, aangezien u situaties kunt tegenkomen waarin kortere en meer directe antwoorden beter zijn.

5. ChatGPT Inhoud Is Hoogst Georganiseerd Met Een Duidelijke Logica

ChatGPT heeft een schrijfstijl die niet alleen uitgebreid is, maar ook vaak een sjabloon volgt dat de inhoud een unieke stijl geeft die niet menselijk is.

Deze onmenselijke kwaliteit blijkt uit de verschillen tussen hoe mensen en machines vragen beantwoorden.

De film Blade Runner heeft een scène met een reeks vragen die zijn ontworpen om te onthullen of de persoon die de vragen beantwoordt een mens of een android is.

Deze vragen maakten deel uit van een fictieve test genaamd de "Voigt-Kampff-test".

Een van de vragen is:

“Je kijkt televisie. Plotseling realiseer je je dat er een wesp op je arm kruipt. Wat doe je?”

Een normale menselijke reactie zou zijn om bijvoorbeeld te gillen, naar buiten te lopen en het weg te slaan, en zo verder.

Maar toen ik deze vraag aan ChatGPT stelde, bood het een nauwgezet georganiseerd antwoord dat de vraag samenvatte en vervolgens logische mogelijke uitkomsten bood - zonder de daadwerkelijke vraag te beantwoorden.

Afbeelding van ChatGPT die een Voight-Kampff testvraag beantwoordt

Het antwoord is zeer georganiseerd en logisch, wat het een zeer onnatuurlijk gevoel geeft, en dat is ongewenst.

6. ChatGPT is overdreven gedetailleerd en uitgebreid

ChatGPT is opgeleid op een manier waarbij de machine werd beloond als mensen tevreden waren met het antwoord.

De menselijke beoordelaars geven over het algemeen de voorkeur aan antwoorden die meer details bevatten.

Maar soms, zoals in een medische context, is een direct antwoord beter dan een uitgebreid antwoord.

Wat dit betekent is dat de machine aangemoedigd moet worden om minder uitgebreid en meer direct te zijn wanneer die eigenschappen belangrijk zijn.

Vanuit OpenAI:

“Deze problemen ontstaan door vooroordelen in de trainingsdata (trainers geven de voorkeur aan langere antwoorden die er uitgebreider uitzien) en overbekende overoptimalisatieproblemen.”

7. ChatGPT liegt (hallucineert feiten)

Hierboven genoemd onderzoekspaper 'Hoe dichtbij komt ChatGPT bij menselijke experts?' merkte op dat ChatGPT de neiging heeft om te liegen.

Het rapporteert:

“Bij het beantwoorden van een vraag die professionele kennis uit een specifiek vakgebied vereist, kan ChatGPT feiten verzinnen om een antwoord te geven...

Bijvoorbeeld, bij juridische vragen kan ChatGPT fictieve juridische bepalingen verzinnen om de vraag te beantwoorden.

…Bovendien kan ChatGPT in sommige gevallen feiten verzinnen om antwoord te geven op vragen waarvoor nog geen antwoord bestaat.

De website Futurism documenteerde gevallen waarbij door de machine gegenereerde inhoud die op CNET werd gepubliceerd, vol zat met "domme fouten".

CNET had moeten weten dat dit kon gebeuren, omdat OpenAI een waarschuwing heeft gepubliceerd over onjuiste uitvoer:

“ChatGPT schrijft soms antwoorden die plausibel klinken, maar incorrect of onzinnig zijn.”

CNET beweert dat de machine gegenereerde artikelen vóór publicatie aan menselijke controle zijn onderworpen.

Een probleem met menselijke beoordeling is dat de inhoud van ChatGPT ontworpen is om overtuigend correct te klinken, wat een beoordelaar die geen specialist is in het onderwerp kan misleiden.

8. ChatGPT is onnatuurlijk omdat het niet divergent is

Het onderzoeksrapport "Hoe dichtbij zit ChatGPT bij menselijke experts?" merkte ook op dat menselijke communicatie indirecte betekenissen kan hebben, wat een verschuiving van onderwerp vereist om het te begrijpen.

ChatGPT is te letterlijk, waardoor de antwoorden soms niet helemaal kloppen omdat de AI het eigenlijke onderwerp over het hoofd ziet.

De onderzoekers schreven:

"ChatGPT's antwoorden zijn over het algemeen strikt gericht op de gestelde vraag, terwijl die van mensen divergent zijn en gemakkelijk verschuiven naar andere onderwerpen."

Als het gaat om de rijkdom van de inhoud, zijn mensen op verschillende gebieden meer divers, terwijl ChatGPT de focus liever legt op de vraag zelf.

Mensen kunnen de verborgen betekenis onder de vraag beantwoorden op basis van hun eigen gezond verstand en kennis, maar ChatGPT vertrouwt alleen op de woorden die letterlijk in de vraag staan…

Mensen kunnen gemakkelijker afwijken van de letterlijke vraag, wat belangrijk is bij het beantwoorden van vragen als "wat dan ook".

Bijvoorbeeld, als ik vraag:

"Paarden zijn te groot om huisdieren te zijn. Wat dacht je van wasberen?"

De bovenstaande vraag gaat niet over of een wasbeer een geschikt huisdier is. De vraag gaat over de grootte van het dier.

ChatGPT richt zich op de geschiktheid van de wasbeer als huisdier in plaats van te focussen op de grootte.

Afbeelding van een Overly Letterlijke ChatGPT-antwoord

9. ChatGPT heeft een voorkeur om neutraal te zijn

De uitvoer van ChatGPT is over het algemeen neutraal en informatief. Het is een vertekening in de uitvoer die behulpzaam kan lijken, maar dat niet altijd is.

Het onderzoekspaper dat we zojuist hebben besproken, stelt dat neutraliteit een ongewenste eigenschap is als het gaat om juridische, medische en technische vraagstukken.

Mensen hebben de neiging om een kant te kiezen bij het geven van dit soort meningen.

10. ChatGPT is bevooroordeeld om formeel te zijn

ChatGPT vertoont een vooringenomenheid in zijn output waardoor het niet gemakkelijk ontspant en antwoord geeft met gewone uitingen. In plaats daarvan zijn zijn antwoorden meestal formeel.

Mensen daarentegen beantwoorden vragen meestal op een meer informele manier, met alledaagse taal en slang – het tegenovergestelde van formeel.

ChatGPT gebruikt geen afkortingen zoals GOAT of TL;DR.

De antwoorden missen ook gevallen van ironie, metaforen en humor, wat ChatGPT-inhoud overdreven formeel kan maken voor sommige soorten inhoud.

De onderzoekers schrijven:

"...ChatGPT gebruikt graag voegwoorden en bijwoorden om een logische gedachtegang over te brengen, zoals "Over het algemeen", "Aan de andere kant", "Ten eerste, ..., Ten tweede, ..., Tot slot" en dergelijke."

11. ChatGPT is nog steeds in training

ChatGPT is momenteel nog bezig met trainen en verbeteren.

OpenAI adviseert dat alle inhoud die gegenereerd is door ChatGPT moet worden beoordeeld door een mens en noemt dit als een beste praktijk.

OpenAI stelt voor om mensen betrokken te houden:

"Waar mogelijk raden wij aan om de uitvoer eerst door een mens te laten beoordelen voordat deze in de praktijk wordt gebruikt."

Dit geldt met name voor het genereren van code in kritieke vakgebieden.

Mensen moeten zich bewust zijn van de beperkingen van het systeem en toegang hebben tot alle informatie die nodig is om de resultaten te verifiëren (bijvoorbeeld wanneer de toepassing notities samenvat, moet een mens gemakkelijk toegang hebben tot de originele notities om terug te verwijzen).

Ongewenste Eigenschappen van ChatGPT

Het is duidelijk dat ChatGPT vele problemen heeft waardoor het ongeschikt is voor onbegeleide inhoudsgeneratie. Het bevat vooroordelen en slaagt er niet in om inhoud te creëren die natuurlijk aanvoelt of echte inzichten bevat.

Bovendien maakt het feit dat het geen gevoelens kan ervaren of oorspronkelijke gedachten kan genereren, het een slechte keuze voor het produceren van artistieke expressies.

Gebruikers moeten gedetailleerde instructies toepassen om betere inhoud te genereren dan de standaard inhoud die het gewoonlijk uitvoert.

Ten slotte is menselijke controle op door machines gegenereerde inhoud niet altijd voldoende, omdat de inhoud van ChatGPT is ontworpen om correct te lijken, zelfs als dat niet het geval is.

Dat betekent dat het belangrijk is dat menselijke beoordelaars vakexperts zijn die het verschil kunnen zien tussen correcte en incorrecte inhoud over een specifiek onderwerp.