Slik bygger du en AI-agent som holder i produksjon

Å få en AI-agent til å fungere én gang er enkelt. Å få den til å fungere hver gang, for saker ingen forutså, er selve arbeidet. Forskjellen ligger sjelden i modellvalget, men i fire ting: hvor snevert oppdraget er, hvordan verktøyene er bygget, hvilke sperrer som finnes og hvordan dere måler treffsikkerheten.

Den vanligste grunnen til at agentprosjekter stopper opp, er at oppdraget er formulert så bredt at ingen kan avgjøre om resultatet er riktig. Ta hånd om kundeservice lar seg ikke evaluere. Foreslå et svarutkast på innkommende fakturaspørsmål og hent opplysningene fra forretningssystemet lar seg evaluere, sak for sak.

• Ett verktøy per tydelig oppgave, med et navn som beskriver hva det gjør
• Få parametere, og tydelige feil når noe mangler — agenten retter seg etter feilmeldinger
• Returner det som trengs for neste steg, ikke hele databaseposten
• Gjør lesing og skriving til separate verktøy, slik at skriving kan kreve godkjenning
• Gjør skrivende kall idempotente, slik at en ny kjøring ikke lager duplikater

Mer informasjon gjør ikke agenten klokere. Lange instruksjoner og store datamengder gjør at det viktige drukner, øker kostnaden per sak og gjør feilene vanskeligere å forstå. Gi agenten det som trengs for steget den står i, og la den hente resten selv med et verktøy.

• La agenten foreslå, men la et menneske godkjenne det som er uopprettelig
• Sett tak: beløp, antall saker per time, antall steg per oppgave
• Begrens tilgangen til nøyaktig de systemene oppgaven krever, med egne rettigheter for agenten
• Logg hvert verktøykall med inndata, utdata og tidspunkt
• Ha en av-knapp som stopper agenten uten å stanse resten av virksomheten

Samle tjue til femti reelle saker med kjent fasit og kjør dem som en test hver gang dere endrer instruksjoner, verktøy eller modell. Uten den testen vet dere ikke om en endring gjorde agenten bedre eller dårligere — dere vet bare at det føltes bedre i eksempelet dere tilfeldigvis prøvde.

• Hvor ofte blir svaret riktig uten menneskelig retting?
• Hvor ofte velger agenten feil verktøy eller setter seg fast i løkker?
• Hva koster en sak i modellkall, og hvordan varierer det?
• Hvor lang tid tar en sak sammenlignet med manuell håndtering?

Modeller oppdateres ofte, og oppførselen endrer seg med dem. Bygg derfor slik at modellen er utskiftbar: hold instruksjoner, verktøy og evaluering atskilt fra selve modellkallet. Da blir et modellbytte en test i stedet for en omstart.