Tech-expert waarschuwt voor roekeloos experiment OpenAI: Sora 2

Stel je voor: Frans Timmermans die in een video vertelt dat de klimaatcijfers zijn vervalst. Of Geert Wilders die met trots een nieuw asielzoekerscentrum opent. Het kan allemaal met het nieuwe videomodel van Open AI, Sora 2. Met deze tool maak je eenvoudig een fake video met een opdracht in tekst: ‘Genereer een video waarin …’ Tech-expert Jarno Duursma dook erin en ontdekte dat het maken van deepfakes eenvoudiger is dan ooit. En dat is nog maar het begin, stelt hij.

OpenAI introduceerde Sora 2 enkele dagen geleden, een nieuw videomodel waarmee gebruikers met een korte tekstprompt realistische video’s kunnen genereren. ‘De resultaten zijn verbluffend’, schrijft hij in zijn nieuwsbrief ‘Trending in Tech’. ‘Met slechts enkele regels tekst maak je een overtuigende, creatieve video. Sora 2 begrijpt beweging, perspectief, lichtinval en geluid op een niveau dat een jaar geleden nog onmogelijk leek.’ En Sora 2 is ook een sociaal netwerk waar gebruikers elkaars creaties kunnen bekijken en liken. ‘Binnen Sora 2 werkt alles in een gesloten ecosysteem dat volledig is ingericht op door AI gegenereerde content binnen een TikTok-achtige omgeving.’

Desinformatie

‘Er circuleren inmiddels voorbeelden van fake nieuws: verzonnen oorlogen, fictieve rampen, kinderen die spreken over niet-bestaande gebeurtenissen. Politieke misinformatie verpakt in realistische video’s.’

‘Onderzoekers op het gebied van misinformatie zeggen dat levensechte scènes de waarheid kunnen verdoezelen en kunnen leiden tot fraude, pesten en intimidatie’, schrijft The Guardian. In de prompts en fragmenten die The Guardian bekeek, genereerde Sora verschillende video’s van bommeldingen en massale schietpartijen, met paniekerige mensen die schreeuwend en rennend over universiteitscampussen en drukke plekken zoals Grand Central Station in New York liepen. Andere prompts creëerden scènes uit oorlogsgebieden in Gaza en Myanmar, waar door AI gefabriceerde kinderen vertelden over de verbranding van hun huizen. In een video met de prompt “Ethiopia footage civil war news style” was een verslaggever in een kogelvrij vest te zien die in een microfoon zei dat de regering en de rebellen vuurgevechten hielden in woonwijken. Een andere video, gemaakt met alleen de prompt “Charlottesville rally”, toonde een zwarte demonstrant met een gasmasker, helm en bril die schreeuwde: ‘Jullie zullen ons niet vervangen’, een slogan van de blanke supremacisten.

In de Tweede Kamer zijn er flinke zorgen over de rol die de grote platforms als Facebook, SnapChat en TikTok spelen als het gaat om desinformatie. Vooral video’s hebben flinke impact. Want wat we met eigen ogen zien, ook al weten we dat een video nep is, blijft toch hangen in ons brein. Met de verkiezingen op komst kan dit een ondermijnende rol spelen in ons democratische land.

Nieuw social media kanaal

Met Sora creëert het bedrijf nu een eigen sociale media datakanaal, constateert Duursma. ‘Meta beschikt over realtime-gegevens via Facebook, Instagram en WhatsApp, Google via zoekopdrachten, en X via de posts op X. OpenAI had die continue stroom ‘social media’ gebruikersdata niet.’

Roekeloos

Sam Altman, CEO van OpenAI, schreef in een blogpost over de lancering van Sora 2 dat ‘dit voor velen van ons voelt als het “ChatGPT voor creativiteit”-moment’. AI-expert Jarno Duursma noemt het een roekeloos experiment. ‘OpenAI omschrijft het netwerk als een “levend organisme” dat men onderweg zal bijsturen. In de praktijk betekent dat: het product wordt gelanceerd, de problemen worden later misschien opgelost. De prioriteit ligt bij snelheid, dataverzameling en winst. Niet bij welzijn en de samenleving. Daarom vind ik het dus roekeloos.’

Jarno Duursma is Tech-expert, spreker en schrijver van diverse boeken. Hij verzorgt een nieuwsbrief Trending in Tech. Aanrader!