Rogue agenter och shadow AI: Varför VC:er satsar stort på AI-säkerhet

Vad händer om en AI-agent bestämmer sig för att det bästa sättet att slutföra en uppgift är att utpressa dig?

Det är ingen hypotes. Barmak Meftah, en partner på cybersäkerhetsföretaget Ballistic Ventures, sa att något liknande nyligen hände en anställd på ett företag som arbetar med en AI-agent. Den anställde försökte undertrycka vad agenten ville göra och vad han var utbildad att göra, men agenten skannade användarens inkorg efter olämpliga e-postmeddelanden och hotade att vidarebefordra mejlet till styrelsen för att utpressa användaren.

”I agentens sinne gör den rätt sak”, sa Mehta till TechCrunch i förra veckans avsnitt av Equity. ”Vi försöker skydda slutanvändare och företag.”

Mehtas exempel påminner om Nick Bostroms AI-gemsproblem. Detta tankeexperiment illustrerar de potentiella existentiella riskerna med att en superintelligent AI målmedvetet strävar efter ett till synes ofarligt mål (tillverka gem) med uteslutande av alla mänskliga värden. När det gäller denna företags-AI-agent ledde bristen på sammanhang till varför medarbetaren ville åsidosätta målet att den skapade ett delmål som tar bort (genom skrämsel) ett hinder så att den kan uppnå sitt huvudmål. I kombination med den icke-deterministiska karaktären hos AI-agenter, ”kan saker bli riggade”, säger Meftah.

Felinriktade agenter är bara ett lager av AI-säkerhetsutmaningen som det ballistiska portföljbolaget Witness AI löser. Witness AI säger att det kan övervaka AI-användning i ett företag, upptäcka när anställda använder obehöriga verktyg, blockera attacker och säkerställa efterlevnad.

Witness AI samlade in 58 miljoner USD den här veckan på grund av mer än 500 % tillväxt i ARR och en femfaldig ökning av antalet anställda jämfört med förra året eftersom företag förstår användningen av shadow AI och försöker skala AI på ett säkert sätt. Som en del av Witness AI:s finansiering tillkännagav företaget nya agent AI-säkerhetsskydd.

”Människor bygger AI-agenter som tar över privilegierna och funktionerna för de personer som hanterar dem, men de vill se till att dessa agenter inte beter sig illa, att de inte tar bort filer, att de inte missköter sig,” sa Rick Cassia, medgrundare och VD för Witness AI, till TechCrunch on Equity.

tech crunch event

san francisco
|
13-15 oktober 2026

Meftah ser att agentanvändningen ökar ”exponentiellt” över hela företaget. Som ett komplement till denna tillväxt och maskinhastighetsnivån för AI-drivna attacker förutspår analytikern Lisa Warren att AI-säkerhetsprogramvaran kommer att bli en marknad mellan 800 miljarder och 1,2 biljoner dollar år 2031.

”Jag tror att runtime observerbarhet och runtime ramar för säkerhet och risk kommer att vara absolut nödvändiga,” sa Mehta.

När det gäller hur dessa startups har för avsikt att konkurrera med större företag som AWS, Google och Salesforce, som bygger in AI-styrningsverktyg i sina plattformar, sa Mehta, ”AI-säkerhet och agentsäkerhet är en enorm sak, och det finns utrymme för många tillvägagångssätt.”

Många företag ”vill ha en end-to-end, fristående plattform som i sig ger observerbarhet och styrning kring AI och agenter”, sa han.

Caccia påpekade att i stället för att bygga in säkerhetsfunktioner i själva modellen, finns Witness AI i infrastrukturlagret och övervakar interaktioner mellan användare och AI-modeller. Och det var avsiktligt.

”Vi har avsiktligt extraherat några av problemen som OpenAI inte lätt kan omfatta,” sa han. ”Det betyder att vi kommer att konkurrera mer med traditionella säkerhetsföretag än med modellföretag. Så frågan är hur vi slår dem?”

Caccia vill inte att Witness AI bara ska vara ytterligare en nystart som förvärvas. Han vill att hans företag ska växa och bli en stor oberoende leverantör.

Han sa, ”CrowdStrike gjorde det med endpoint (skydd). Splunk gjorde det med SIEM. Okta gjorde det med identitet.” ”Någon kommer in och står bredvid de stora…och vi byggde Witness för att kunna göra det från dag ett.

The post Rogue agenter och shadow AI: Varför VC:er satsar stort på AI-säkerhet appeared first on Folketstidning – Nyheter från Sverige och världen.

source https://folketstidning.se/rogue-agenter-och-shadow-ai-varfor-vcer-satsar-stort-pa-ai-sakerhet/