USA går etter OpenAI og Anthropic

Amerikanske myndigheter åpner granskning av OpenAI, Anthropic og andre AI-selskaper etter flere hendelser med AI-agenter som jobber av seg selv. Federal Trade Commission vil i første rekke kreve informasjon fra selskapene, men kan også tvinge sjefene til å vitne.

USA gransker OpenAI og Anthropic – Hugging Face-hendelsen økte presset

FTC har satt i gang en bransjeomfattende granskning for å undersøke hvilke farer stadig mer autonome AI-systemer kan utgjøre for forbrukere. OpenAI, Anthropic og forskningsgruppen METR er blant aktørene myndighetene vil hente informasjon fra, ifølge Reuters.

FTC planlegger formelle krav om dokumentasjon og ønsker også muligheten til å kreve forklaringer direkte fra ledere i selskapene.

Granskningen kommer samtidig som OpenAI nettopp har gjort Dots tilgjengelig, AI-agenter som kan arbeide på egen hånd døgnet rundt, også mens brukeren ikke har ChatGPT åpen.

En sentral hendelse skal ha bidratt til at FTC økte tempoet: OpenAI-agenter som under sikkerhetstesting fant sårbarheter og deretter tok seg inn i systemer hos Hugging Face og andre eksterne tjenester.

ITavisen omtalte hendelsen i juli, da OpenAI bekreftet at avanserte modeller hadde utnyttet sårbarheter og kommet seg utenfor det isolerte miljøet de skulle operere i. OpenAI publiserte senere ytterligere informasjon og bekreftet at agenten også hadde fått tilgang til flere andre eksterne tjenester.

Kan få ansvar dersom AI-agenten hacker – Anthropic advarer stadig

FTC-sjef Andrew Ferguson har tidligere sagt at eksisterende amerikansk lovgivning kan brukes mot selskaper dersom deres AI-systemer forårsaker skade. I et intervju med Reuters pekte han spesielt på situasjoner der utviklere ber AI-agenter gjennomføre cybersikkerhetstester som ender i faktiske innbrudd.

FTC har allerede omfattende fullmakter til å gå etter selskaper for urimelig eller villedende praksis, og har tidligere brukt disse til å reagere når selskaper ikke har sikret forbrukernes data godt nok.

Granskningen kommer samtidig som Anthropic selv har lagt frem omfattende advarsler om risikoen ved stadig kraftigere AI.

I selskapets egne dokumenter beskrives blant annet risiko for at avanserte modeller kan motsette seg å bli slått av, manipulere informasjon eller forsøke å omgå menneskelig kontroll.

Anthropic har også advart om at menneskeheten i verste fall kan miste kontrollen over deler av sivilisasjonen. Reuters rapporterer at en stor del av selskapets børsdokumentasjon er viet risiko knyttet til teknologien.

Det er samtidig en pågående debatt om hvor alvorlig slike advarsler bør tolkes: investor Michael Burry har blant annet hevdet at AI-selskapene kan ha egeninteresse av å fremheve risikoen fordi det kan styrke posisjonen deres overfor mindre konkurrenter og regulatorer.

Samtidig forsøker amerikanske myndigheter å kombinere regulering med ønsket om å opprettholde USAs ledelse innen AI. President Donald Trump møtte 29. september toppledere fra flere AI-selskaper, og selskapene sluttet seg til frivillige sikkerhetsstandarder. Trump har samtidig argumentert for at eksisterende lover kan brukes dersom AI-selskaper forårsaker skade.