Forskare vid Stanford Univerity i USA har bekräftat vad användare av AI-företaget OpenAI:s betalversion av tjänsten ChatGPT version 4,misstänker, att betalversionen är dummare än gratisversionen 3.5.
Slutsatsen nåddes när GPT-3.5 jämfördes med GPT-4.0 i fyra olika test: ett matematikproblem, känsliga/farliga språk frågor, generera programmeringskod, och visuellt resonemang.
Värst var GPT-4 i matteprovet, där den bara lyckades identifiera primtal vid 2.4% av testerna, medan GPT-3.5 svarade korrekt i 97.6% av fallen.
Orsaken till ChatGPT:s fördummning är inte helt klar och spekulationerna florerar:
- ChatGPT har avsiktligen fördummats för att spara pengar
- GPT-4 har gjorts dummare för att driva kunderna att betala ännu mer för version GPT-5
- Fördumningen är en bieffekt av att CHatGPT blivit smartare på andra områden
- Fördumningen är en bieffekt av företagets försök att göra ChatGPT politiskt korrekt – det vill säga göra den självcensurerande
Företaget OpenAI nekar till att ChatGPT skulle ha blivit dummare.
Sasha Luccioni från AI-företaget Hugging Face förklarar att orsaken kommer att förbli en gåta så länge OpenAI insisterar på att vara en hemlig svart låda för slutanvändarna och inte tillåts förstå hur programmet fungerar under motorhuven:
“Resultat från modeller med hemlig källkod går varken att reproducera eller verifiera, så ur ett vetenskapligt perspektiv är det som att jämföra ekorrar med tvättbjörnar.”
Text: Kristoffer Hell
Referenser och relaterat
- Dexerto: ChatGPT is actually getting dumber according to Stanford researchers
- Arxiv: How Is ChatGPT’s Behavior Changing over Time? 18 July 2023
- Techxplore: Is it growing pains or is ChatGPT just becoming dumber?