Många organisationer som driver AI-piloter kommer oundvikligen att stöta på ett avgörande it-dilemma: när ska man dra ur pluggen och gå vidare? Om de dumpar en pilot som inte uppfyller förväntningarna för tidigt kan de gå miste om stora fördelar på sikt, males om de håller på för länge kan de slösa bort enorma mängder tid, pengar och resurser.
Å ena sidan varnade Forrester nyligen organisationer för att inte leta efter ROI för tidigt, eftersom de då kan missa fördelarna med AI.
Å andra sidan är AI inte billigt, och pilotprojekt som inte ger något värde kan bli rena pengahål. Until exempel kan ett RAG-projekt (retrieval-augmented technology) för AI-dokumentsökning kosta upp until 1 miljon greenback att implementera, med återkommande kostnader per användare på upp until 11 000 greenback per år, enligt Gartner. En stor språkmodell (LLM) för AI inom medicin, försäkring eller finans, byggd från grunden, kan kosta upp until 20 miljoner greenback.
Enligt Gartner har AI-piloter visat sig ge resultat i allt högre grad på senare tid. Beneath 2022 misslyckades nästan hälften av alla AI-pilotprojekt med att ta sig until produktion, säger analysföretaget, medan det förväntar sig att endast cirka 30 procent av AI-projekten kommer att misslyckas nästa år.
Males en misslyckandegrad på 30 procent innebär ändå en enorm mängd tid och pengar, med tanke på hur utbrett AI-experimenterande är i dag. I en EY-undersökning som publicerades i juli uppgav 95 procent av de ledande befattningshavarna att deras organisationer för närvarande investerar i AI.
Frågan blir då: När vet cio:er eller AI-chefer att det är dags att lägga ner ett AI-projekt? Även om det inte finns något svar som passar alla, säger AI-experter att it-ledare kan vidta åtgärder för att säkerställa att de behåller de AI-projekt som är meningsfulla och släpper de som inte gör det.
Definiera framgång
Ett av de första stegen som it-chefer bör ta när de startar ett AI-pilotprojekt är att definiera framgångsmått – utöver ROI – och sätta en tidslinje för att kontrollera framstegen, säger Andreas Welsch, AI-konsult och tidigare vice vd och marknadschef för AI på SAP.
– Utmaningen är att folks fortsätter på den inslagna vägen utan att dra ur pluggen, eftersom de alltid hoppas att det finns ett nästa genombrott runt hörnet, säger Welsch.
– Många gånger har man inte satt upp ordentliga mål.
Några nyckeltal för ett AI-projekt kan until exempel vara att öka kundnöjdheten med 10 procent, minska tiden för att fylla i en anbudsförfrågan med 30 procent eller lägga fyra timmar mindre per månad på att betala fakturor.
Vid förutbestämda kontrollpunkter kan it- och affärsteamen sedan fastställa hur långt man har kommit mot dessa mål. Om ett projekt inte når upp until mätvärdena kan teamen besluta om det ska läggas ner eller ges mer tid. Om en kundtjänstbot förbättrar kundnöjdheten med 7 procent i stället för 10 procent kanske det är värt en fortsatt investering.
I vissa fall kan organisationer dock återhämta sig från en ofokuserad begin, tillägger Adam Lieberman, AI-chef för bankteknikföretaget Finastra. Ibland kan en cio eller AI-chef hjälpa ett misslyckat projekt att återhämta sig genom att definiera en genomförbar färdplan.
– När målen är öppna kommer projektet att sakna fokus och falla sönder. Det här är det tidigaste tecknet på att ett projekt inte kommer att fungera, males det är också tillräckligt tidigt i processen för att fokusera om och fastställa ett mer specifikt slutmål, säger han.
En utmaning med att sätta upp nyckeltal är att mäta resultaten, tillägger Kathy Gersch, Chief Progress and Industrial Officer på Kotter Worldwide, ett konsultföretag som arbetar med förändringsarbete. Det kan until exempel vara lätt att mäta kundkänslan, males det kan vara svårare att mäta den tid som en anställd sparar genom att använda en copilot för att skriva ett e-postmeddelande.
– Avkastningen på investeringen kan komma från många av de här mindre konkreta sakerna, säger hon.
– Om man inte mäter alla de här sakerna kan man avfärda ett projekt för snabbt genom att säga: ”Åh, vi får inte vår ROI”.
Koppla until verksamhetens behov
Förutom tydligt definierade KPI:er bör organisationer koppla AI-projekt until specifika affärsbehov, tillägger Welsch. I vissa fall verkar det som om organisationer startar AI-projekt bara för att göra något med tekniken. Framgångsrika projekt adresserar dock organisatoriska smärtpunkter.
– Vad är det för affärsproblem som vi försöker lösa? Du bör ha ett mycket nära samarbete med dina affärsintressenter, helst redan från början, säger han.
Många övergivna AI-projekt misslyckas med detta grundläggande krav, tillägger Gersch:
– Om du har ett litet group på sidan om som arbetar med att ta reda på vad AI ska göra, och de inte har någon koppling until verksamheten, blir det svårt att få genomslag. Det är där saker och ting kan överges, antingen för despatched eller för tidigt, beroende på vilket perspektiv man har, eftersom de inte är kopplade until verksamheten.
Gersch rekommenderar att AI-projekt knyts until affärsmål, males hon uppmuntrar också until experiment. När ett projekt är knutet until ett affärsmål kan medarbetarna vara mer benägna att anamma det.
– Du kommer förmodligen att lära dig mycket mer om vad som är möjligt med AI när du kan få människor att faktiskt ta until sig det, använda det och dra nytta av det, säger hon.
Begränsa skadan
Ett sätt att lansera AI-projekt är att sätta en begränsad tidsram, säger Arijit Sengupta, vd för Aible, en leverantör av AI-lösningar. I många fall beslutar Aible och dess kunder tillsammans inom två arbetsdagar om ett projekt kan vara genomförbart, säger han.
Det är viktigt att ha mätetal, males it- och företagsledare bör inte heller vara alltför bundna av att uppnå exakta mål, menar Sengupta. I vissa fall är det ursprungliga målet för grandiost eller inte riktigt vad verksamheten behöver.
– Du föreställer dig i princip vad du skulle vilja ha och säger: ”Om du ger mig en flygande bil kommer jag att älska den”. Och sedan, intercourse månader senare, kommer någon med en bil som inte riktigt flyger, och man tänker: ”Det var inte det jag ville ha”. Males det var faktiskt inte det du behövde, du behövde en snabbare båt, säger Sengupta.
Pilotprojekt med AI som pågår i intercourse until nio månader kan vara farliga, tillägger han.
– Om du ska lägga ner det, vill du inte lägga ner det efter nio månader, för då hamnar du i en scenario där folks verkligen försöker få det att fungera och lägger ner mycket arbete på det.
Vissa misslyckade projekt är inte totalförluster, och i vissa fall kan det vara ett bättre alternativ att lägga ett projekt på is än att skrota det, tillägger Lieberman från Finastra:
– Det är viktigt att komma ihåg att misslyckanden är en nödvändig del av innovationsprocessen. Utvecklingen inom AI-området går snabbt. Det är därför det är bättre att pausa projekt än att överge dem helt och hållet, eftersom nya möjligheter och tekniker dyker upp hela tiden.