Et internasjonalt samarbeid mellom 22 allmennkringkastere har undersøkt hvordan fire ulike KI-assistenter svarer på spørsmål knyttet til nyheter. Testen viser at i 45 prosent av svarene var det minst én betydelig feil, skriver NRK Beta.
Feilene var spesielt knyttet til bruk av kilder. I 31 prosent av tilfellene ble det ikke oppgitt kilder, eller påstander ble knyttet til feil mediehus. I enkelte svar ble det også generert lenker som fremsto som ekte, men som ledet til feilmeldinger.
20 prosent av svarene inneholdt faktiske feil, som feilaktige navn, datoer eller beskrivelse av hendelser.
– Svarene vi har fått er urovekkende, og har ikke gjort oss mindre trygg på at vi trenger ha kontroll over dette, sier teknologidirektør Pål Nedregotten.
Testen ble gjort med forbrukerversjoner av ChatGPT, Copilot, Perplexity og Gemini, og vurdert etter fem journalistiske kriterier.
NRK tillot midlertidig skraping av sine nettsider for å gjennomføre testen, men har i ettertid valgt å stenge for dette.
– Vi har sperret for skraping fordi NRK ønsker å verne om våre journalistiske og opphavsrettslige produksjoner. Samtidig er det viktig for oss å forstå hvordan vårt og andres redaksjonelle innhold kan bli utnyttet og representert i språkmodellenes tjenester, derfor åpnet vi i en kort periode kontrollert opp for å la oss skrape, sier teknologidirektør Pål Nedregotten i NRK.
Testen bygger videre på en metode utviklet av BBC, og inneholder både felles og lokalt tilpassede spørsmål. Hele rapporten er publisert under navnet News Integrity in AI Assistants.
Har du tips til denne eller andre saker? Kontakt oss på: tips@medier24.no
