Divyendra Singh Jadouns telefon ringer konstant. Kendt som "Den Indiske Deepfaker" er Jadoun berømt for at bruge kunstig intelligens til at skabe Bollywood-sekvenser og tv-reklamer.
Men da stemmeafgivningen i Indiens valg begynder, siger Jadoun, at hundredvis af politikere har stået i kø for hans tjenester, hvoraf mere end halvdelen har bedt om "uetiske" ting. Kandidater bad ham om at forfalske lydoptagelser af konkurrenter, der begår fejl på valgkampagnen, eller om at lægge udfordreres ansigter oven på pornografiske billeder. Nogle kampagner har anmodet om lavkvalitets falske videoer af deres egen kandidat, som kunne offentliggøres for at så tvivl om eventuelle belastende ægte videoer, der opstår under valget.
Jadoun, 31, siger, at han afviser job, der er ment til at sværte eller bedrage. Men han forventer, at mange konsulenter vil opfylde anmodninger, idet de bøjer virkeligheden i verdens største valg, når mere end en halv milliard indiske vælgere går til valgurnerne.
"Det eneste, der forhindrer os i at skabe uetiske deepfakes, er vores etik," sagde Jadoun. "Men det er meget svært at stoppe dette."
Indiens valg, der begyndte sidste uge og løber indtil tidligt juni, giver en forsmag på, hvordan en eksplosion af AI-værktøjer transformerer den demokratiske proces og gør det let at udvikle falske medier omkring kampagnerne. Mere end halvdelen af verdens befolkning bor i de mere end 50 lande, der afholder valg i 2024, hvilket markerer et afgørende år for verdensdemokratier.
Selvom det er ukendt, hvor mange AI-falske medier der er blevet lavet af politikere, siger eksperter, at de observerer en global stigning i valgrelaterede deepfakes.
"Jeg ser flere [politiske deepfakes] i år end sidste år, og de, jeg ser, er mere sofistikerede og overbevisende," sagde Hany Farid, professor i datalogi ved University of California i Berkeley.
Mens lovgivere og regulerende myndigheder fra Bruxelles til Washington skynder sig at udarbejde lovgivning, der begrænser AI-drevet lyd, billeder og videoer i valgkampe, opstår der et reguleringsmæssigt tomrum. Den Europæiske Unions banebrydende AI-lov træder først i kraft efter parlamentsvalgene i juni. I USA's kongres er det tværpolitisk lovgivning, der vil forbyde falske afbildninger af føderale kandidater ved hjælp af AI, usandsynligt at blive lov før valget i november. En håndfuld amerikanske stater har vedtaget love, der straffer personer, der laver vildledende videoer om politikere, hvilket skaber et politisk lappetæppe over hele landet.
I mellemtiden er der begrænsede retningslinjer for at afskrække politikere og deres allierede fra at bruge AI til at narre vælgerne, og håndhæverne er sjældent et match for falsknerier, der hurtigt kan sprede sig på sociale medier eller i gruppechats. Demokratiseringen af AI betyder, at det er op til enkeltpersoner som Jadoun, ikke regulerende myndigheder, at træffe etiske valg for at afværge AI-induceret valgkaos.
Department of Homeland Security i USA advarede valgembedsmænd i et memorandum om, at generativ AI kunne bruges til at forbedre udenlandske indflydelseskampagner, der sigtede mod valg. AI-værktøjer kunne lade dårlige aktører efterligne valgembedsmænd, sagde DHS i memoet, og sprede forkerte oplysninger om, hvordan man stemmer, eller valgprocessens integritet.
Disse advarsler bliver virkelighed over hele verden. Statsstøttede aktører brugte generativ AI til at blande sig i Taiwans valg tidligere på året. På valgdagen offentliggjorde en gruppe tilknyttet det kinesiske kommunistparti en AI-genereret lyd af en fremtrædende politiker, der trak sig fra det taiwanesiske valg, og støttede en anden kandidat, ifølge en Microsoft-rapport. Men politikeren, Foxconn-ejer Terry Gou, havde aldrig afgivet en sådan støtteerklæring, og YouTube fjernede lyden.
Taiwan valgte i sidste ende Lai Ching-te, en kandidat, som det kinesiske kommunistparti modsatte sig, hvilket markerede grænserne for kampagnen for at påvirke valgresultaterne.
Microsoft forventer, at Kina vil bruge en lignende strategi i Indien, Sydkorea og USA i år. "Kinas stigende eksperimentering med at forstærke memes, videoer og lyd vil sandsynligvis fortsætte, og kan vise sig mere effektivt på sigt," sagde Microsoft-rapporten.
Men de lave omkostninger og den brede tilgængelighed af generative AI-værktøjer har gjort det muligt for personer uden statsstøtte at engagere sig i bedrag, der matcher nationale kampagner.
I Moldova har AI deepfake videoer afbildet landets pro-vestlige præsident Maia Sandu, der træder tilbage og opfordrer folk til at støtte et pro-Putin-parti under lokale valg. I Sydafrika har en digitalt ændret version af rapperen Eminem støttet et sydafrikansk oppositionsparti forud for landets valg i maj.
I januar forfalskede en demokratisk politisk operatør præsident Bidens stemme for at opfordre vælgere i New Hampshire primærvalget til ikke at gå til valgurnerne - et stunt beregnet til at skabe opmærksomhed omkring problemerne med mediet.
Opkomsten af AI deepfakes kunne ændre demografien for dem, der stiller op til valg, da dårlige aktører i overvejende grad bruger syntetisk indhold til at rette sig mod kvinder.
I årevis har Rumeen Farhana, en politiker fra oppositionspartiet i Bangladesh, stået over for seksuel chikane på internettet. Men sidste år dukkede der et AI deepfake billede af hende i bikini op på sociale medier.
Farhana siger, at det er uklart, hvem der har lavet billedet. Men i Bangladesh, et konservativt muslimsk land, modtog billedet hadefulde kommentarer fra almindelige borgere på sociale medier, hvor mange vælgere antog, at billedet var ægte.
Sådanne angreb kan forhindre kvindelige kandidater i at deltage i politisk liv, sagde Farhana.
"Uanset hvad nye ting der kommer op, bruges det altid først mod kvinderne. De er ofrene i enhver situation," sagde Farhana. "AI er på ingen måde en undtagelse."