AI
AI – ikke alt som glitrer er gull
AI kan gi imponerende svar uten at resultatet er riktig eller nyttig. Slik skiller du en god demonstrasjon fra en løsning som tåler faktisk bruk.
AI kan se ferdig ut lenge før løsningen er ferdig
En AI-demonstrasjon kan være overbevisende. Den skriver flytende, finner mønstre og leverer et svar på få sekunder. Det er lett å tolke et godt førsteinntrykk som bevis på at løsningen er klar.
Problemet er at språklig kvalitet ikke er det samme som riktig informasjon, stabil oppførsel eller forretningsverdi. En løsning må også bruke riktige kilder, forstå grensene for oppgaven og håndtere tilfeller som ikke ligner eksempelet i demonstrasjonen.
Fundamentet avgjør hva AI kan levere
Før AI kan brukes i en arbeidsprosess, må noen svare på grunnleggende spørsmål:
- Hvilke kilder skal løsningen bruke?
- Hvem har tilgang til hvilke opplysninger?
- Hva er et godt nok resultat?
- Hvilke feil kan aksepteres, og hvilke må stoppes?
- Hvordan skal brukeren kontrollere svaret?
- Hva skjer når kilden mangler eller motsier en annen kilde?
Hvis disse spørsmålene ikke er avklart, blir AI et lag med overbevisende språk over et uklart system. Det kan være verre enn en synlig feil, fordi brukeren får større tillit til svaret enn datagrunnlaget fortjener.
Test hele arbeidsprosessen
En AI-funksjon bør vurderes i situasjonen der den faktisk skal brukes. Et dokumentuttrekk må testes på ulike dokumenttyper. Et kunnskapssøk må finne riktige kilder, vise hvor svaret kommer fra og håndtere manglende informasjon. En agent må kontrolleres når et API er utilgjengelig eller dataene har en uventet struktur.
Det holder ikke å spørre om modellen kan produsere et godt svar. Vi må også vite om systemet rundt modellen kan levere riktig informasjon, fange opp avvik og gi mennesker nødvendig kontroll.
Fra imponerende til nyttig
En god AI-løsning trenger ikke virke spektakulær. Den løser en avgrenset oppgave, bruker kjente datakilder og gir et resultat som kan kontrolleres. Verdien ligger i at den fungerer igjen og igjen i en reell arbeidsprosess.
Det er forskjellen mellom noe som glitrer i en presentasjon og et system virksomheten faktisk kan stole på.