Brunatas erfaring med at optimere med AI

Hvad er en community of practice, og hvorfor bruger Brunata den?

En community of practice er en gruppe mennesker fra forskellige dele af organisationen, der mødes fast for at finde ud af, hvordan AI kan bruges i deres arbejdsopgaver. Gruppen mødes hver uge eller hver 14. dag. Udviklingsteamet kigger på, hvordan de udvikler hurtigere. Product owners kigger på, hvordan de skriver kravspecifikationer, så de er AI-venlige, for de lange forklaringer og billeder fra gamle dage er ikke særlig modtagelige for AI. Og den administrative del kigger på, hvor slutbrugerne selv kan bruge det.

Det sidste er sværere, end det lyder. AI kan bruges til alting og til ingenting, og det er svært for medarbejderne at finde mixet og en god user story til deres egen hverdag. Medarbejdere, der har lavet det samme i fire-fem år, har en præcision og en faglig stolthed i arbejdet. Når de bliver bedt om at proppe et uforståeligt, flygtigt værktøj ned over det, bliver de utrygge. Community of practice gør usikkerheden mere spiselig, fordi folk får lov at snakke sig igennem de forskellige stadier, de er på.

Ideerne bliver lige nu mest drevet oppefra og ned, og det møder nogle gange modstand. En håndfuld mennesker, ildsjælene, Tordenskjolds soldater, løber front og prøver hele tiden at forstå de enkelte afdelingers arbejdsprocesser og finde ud af, hvor der kan lægges AI ovenpå.

Hvornår skal du bruge logik, og hvornår skal du bruge AI?

Brug logik til opgaver med et klart facit, og brug AI til opgaver, der kræver fortolkning. Kan opgaven løses med en klassisk if-then-statement, så gør Brunata hellere det. Det er nemmere at vedligeholde, og man er 100 procent i kontrol med, hvad der sker. Brunata lever af at lave forbrugsregnskaber, og de skal ske ens hver gang, ikke afhænge af en AI, der hallucinerer midt i det hele.

AI hører til, hvor opgaven kræver en vurdering eller fortolkning. Her handler det ikke om følelser i betydningen glad eller sur, men om, at to mennesker kan læse den samme tekst forskelligt, afhængigt af om morgenen har været god, eller kaffen var kold. AI er mere konsistent i måden, den fortolker på, ud fra de instrukser og skillsets, den får.

Kan du bare hælde AI ned over dine eksisterende processer?

Nej. Værktøjerne er så stærke, at du begrænser gevinsten, hvis du bare hælder AI ned over de processer, du har i forvejen. Situationen minder om Power Platform, hvor man kunne sige, at værktøjet kan hvad som helst, og folk spurgte, hvad de skulle bruge det til. Forskellen nu er, at man er nødt til at gentænke processerne, forholde sig til slutresultatet og målet, og så kan processen godt ende med at se helt anderledes ud.

En del af den kamp handler om metadata. Førhen var metadata ligegyldigt, for man vidste selv, hvad en fil dækkede over, fordi den lå i en bestemt folder. Nu, hvor slutbrugerne spørger AI om ting på baggrund af data, giver manglende kontekst mixede resultater, for AI er nødt til at forstå konteksten. Derfor arbejder Brunata meget med data cleanup og har ansat unge mennesker til at rydde op og sikre, at data er korrekt og har den nødvendige metadata, før man lægger AI ovenpå.

Skal du bruge en MCP-server eller et skillset?

Det afhænger af omkostningen og fleksibiliteten. AI optimerer og sparer penge, men den er ikke gratis, selvom den endnu ikke er dyrere end at lade mennesker gøre arbejdet. Spørgsmålet er, hvordan man gør det mest kosteffektivt. Skal man banke 200.000 tokens af på at loade en MCP-maskine ind, før man overhovedet er begyndt? Eller kan et skillset det samme for måske 1.000 tokens, mod at det tager længere tid og skal beskrives mere præcist? Skills er samtidig markant mere fleksible end en MCP-server.

For et halvt år siden sagde alle, at MCP var det nye. Nu siger nogen, at skills har gjort MCP ligegyldigt. Vil man være helt fremme, må man acceptere præmissen, at man hele tiden skal være med på udviklingsrejsen og aldrig kan læne sig tilbage og sige, at nu kører det bare. Men det betyder ikke, at alle skal være der. Mange virksomheder behøver ikke at være forrest. Det er okay at være et halvt, et helt eller to år bagud, så længe man får værdi ud af at bruge det.

Hvordan opgør du business casen for en AI-agent?

Du opgør business casen ved at holde de løbende tokenomkostninger op mod den værdi, agenten frigør. Det jordnære eksempel er mail-kategoriseringen. Tidligere sad dygtige mennesker og screenede de indkommende mails og sendte dem videre til de rette ekspertteams, for hos Brunata skal det være nemt at være kunde: du sender til ét sted, og så sørger de for resten.

Architecture. Der er ikke noget high tech ved løsningen. Brunata loadede 20.000 kategoriserede mails ind i en agent. Når en ny mail kommer ind, skrælles den for HTML, så teksten er ren, og agenten looper igennem de 20.000 eksempler i de 11 kategorier og kategoriserer den. For at skabe tryghed i teamet beskriver agenten, hvorfor den er nået frem til sin kategorisering, og angiver en sikkerhed fra 0 til 1. Er den under 70 procent sikker, foreslår den også sit næste alternativ.

Resultat. Efter to måneder rammer agenten rigtigt i 98 procent af tilfældene sammenlignet med, hvad Brunata selv ville have valgt. De sidste 2 procent lader specialister kigge på, ofte fordi en mail reelt kunne høre til to teams.

Pricing. To måneders drift giver et grundlag for at forecaste: med de nuværende priser koster det omkring 20.000 til 30.000 kroner om året at køre. Til gengæld frigør det en specialist med et højt kompetencesæt til langt mere værdiskabende arbejde. Man hyrer sjældent en medarbejder med den slags kompetencer for 20.000 om året, så når driften ligger i det leje, er der ikke meget debat om afkastet.

Investering. Selve opbygningen kostede seks måneder og 3-400.000 kroner, og en del af den tid gik med at forstå agenter og bygge en RAG. En agent er ikke plug and play, men en serie af komponenter, der skal sættes sammen med en del trial and error. Instruksen blev udvidet skridt for skridt, fra en hitrate på 40 procent op mod 70, og efter to måneders betatest landede træfsikkerheden på 98 procent.

Hvorfor er det første AI-projekt dyrt, mens resten bliver billigt?

Det første projekt er dyrt, fordi organisationen samtidig bygger en grundforståelse op, som alle senere projekter genbruger. Næste skridt hos Brunata er projekter, hvor hele boligkomplekser får udskiftet målere. Når salgsafdelingen har aftalt en udskiftning, kommer der en ordrebekræftelse med produkter og ydelser. Brunata arbejder på at få AI til at lave den om til en decideret arbejdsbeskrivelse til montøren, beriget med core data fra systemet: hvor montøren skal hen, hvem der er kontaktperson, og hvad man ved om bygningen som metadata, inklusive relevante opslag i BBR-registret. En beta ventes klar på cirka en måned, netop fordi erfaringerne fra det første projekt allerede er på plads.

To pointer er værd at fremhæve. Man skal ikke vente på verdens bedste idé. Får man en idé, skal man gøre det, for selvom den ene idé måske aldrig kommer i drift, er den de seks måneder, der lærer dig, hvad du skal, så nummer to, tre, fire og fem kan give stor værdi. Og selvom der findes et hav af estimeringsværktøjer fra Microsoft og Anthropic, er den rigtige tilgang at sætte det i luften og evaluere efter en forholdsvis kort periode. Brænder det penge af i vildskab, er løsningen ikke nødvendigvis at stoppe, men måske bare at skifte til et andet værktøj i AI-kassen, ligesom man vælger mellem en hammer og en skruemaskine i Power Platform.

Hvordan fjerner AI sprogbarrierer på tværs af lande?

AI fjerner sprogbarrieren ved at oversætte mails mellem landene, så dygtige medarbejdere kan dække hinandens spidsbelastninger. Brunata er repræsenteret i omkring 19 lande, og arbejdet er stort set ens overalt. Den eneste barriere for at hjælpe hinanden er sproget. Målet var at blive sprog-uafhængig, når mails skal besvares, uanset hvornår på året spidsbelastningerne opstår.

Den første version var en MVP bygget på Custom Prompts i Power Platform. Den fungerede okay og gjorde, at kollegaer i verden kunne forstå, hvad der var skrevet på dansk. Men den forstod ikke helt branchesproget, når den oversatte tilbage.

Version 2 er bygget med PCF-kontroller i Dynamics og bruger Azure AI. Ved siden af oversættelsen ligger en branchespecifik ordbog fra land til land. Eksemplet, Morten Densam altid vender tilbage til, er ordet visevært, som ikke findes på polsk. Polsk har et andet ord, tættere på det engelske caretaker, altså en bygningsbestyrer. Ordbogen sikrer, at oversættelsen bruger det rigtige ord og rammer virksomhedens look and feel, helt ned til hvordan man siger hej og farvel. Efter mange hundrede test er Brunata så trygge ved oversættelsen, at den sendes direkte til kunden. Sprog er ikke længere en barriere, og spidsbelastninger kan udlignes på tværs af landene. Det er en af de helt store gevinster.

Version 2 kan også selv detektere sproget i den løsning, medarbejderen arbejder i, i stedet for at man skal vælge det først. Og fordi ordbogen og de indbyggede fraser er bygget som et selvstændigt element, kan Brunata genbruge den samme AI andre steder. Bemærkningsfelter i Dynamics kan oversættes med et enkelt tryk, så en dansk og en polsk medarbejder kan læse hinandens noter. Det yderste mål er at fjerne den barriere, at man ikke kan hjælpe på tværs, bare fordi man ikke taler hinandens sprog.

Hvordan bygger du teknologi-uafhængigt?

Du bygger teknologi-uafhængigt ved at løsrive AI’en i selvstændige moduler, så du kan skifte model eller platform. Brunatas strategi er netop at være teknologi-uafhængig, så AI-kaldet er sit eget modul. I dag bruger Brunata Azure AI, primært fordi de er et Microsoft-hus og dermed får hele Azure governance-miljøet med sikkerhed, brugerrettigheder og AD-grupper, nu kaldet Entra-grupper, foræret. Sikkerheden gælder også agenterne. En agent, der taber direkte ned i ERP-systemet med følsomme informationer, er kun tilgængelig for finansafdelingen.

Med usikkerhederne omkring USA har Brunata bygget tingene, så de på kort tid kan løsrive sig fra den nuværende teknologistack og skifte til en anden. Bygger man det API-baseret, sender man instrukser og tools i API-kaldet, og så handler det i sidste ende bare om at skifte endpointet. Anbefalingen til dem, der er i opstartsfasen, er dog at bygge det ind i agenterne, ligesom man kender fra Copilot Studio, for det er der, man får de gode erfaringer. Når man er nået til et vist niveau, kan man hive logikken ud og bruge den andre steder. Det handler ikke kun om politiske hensyn, men også om at være modeluafhængig. Skulle Microsoft fordoble priserne i morgen, kan man skifte på kort tid, men det kræver en vis IT-infrastruktur og en vis modenhed på AI-rejsen.

Skal du være en stor virksomhed for at bruge AI?

Nej. Man behøver ikke at være en stor virksomhed for at komme i gang. Morten Densam nævner en bekendt med en elektrikervirksomhed, der laver tilbud på solceller ud fra en formular på hjemmesiden og bestemte offentlige kilder. Med ChatGPT som kilde er tiden per tilbud gået fra to-tre timer til under et kvarter. En virksomhed på 12 mand kan sagtens begynde. Det handler om fantasi og vilje, og om at have en ildsjæl med teknologisk viden, der ved, hvad han snakker om. Eller som Morten Densam siger: we fake it till we make it.

Ofte stillede spørgsmål

Hvornår skal man bruge logik frem for AI?

Brug logik, når opgaven har et klart facit og kan løses med en if-then-statement, som forbrugsregnskaber, hvor konsistens er afgørende. Brug AI, når opgaven kræver en vurdering eller fortolkning, som at læse og kategorisere tekst.

Hvor meget koster Brunatas kategoriseringsagent?

Den koster omkring 20.000 til 30.000 kroner om året at drive. Selve opbygningen tog seks måneder og kostede cirka 3-400.000 kroner, men den frigør en specialist til mere værdiskabende arbejde.

Hvor præcis er agenten?

Agenten rammer rigtigt i 98 procent af tilfældene sammenlignet med, hvad Brunata selv ville have valgt. De sidste 2 procent gennemgår specialister, ofte fordi en mail reelt kunne høre til to teams.

Hvad er forskellen på en MCP-server og et skillset?

En MCP-server kan koste omkring 200.000 tokens at loade ind, mens et skillset kan gøre noget af det samme for måske 1.000 tokens, mod at det tager længere tid og skal beskrives mere præcist. Skills er samtidig mere fleksible end en MCP-server.

Hvordan bliver man uafhængig af én AI-leverandør?

Byg AI’en som et selvstændigt modul, gerne API-baseret, hvor du sender instrukser og tools i API-kaldet. Så handler et skifte i sidste ende bare om at ændre endpointet, men det kræver en vis IT-infrastruktur og modenhed.