AI-auditloggen: se hvad AI har lavet i din shop

Når du lader en AI-assistent styre din webshop, melder ét spørgsmål sig med det samme: hvad har den egentlig lavet? Auditloggen svarer på det. Den skriver hver eneste handling ned, som en AI-assistent udfører i din shop. Hvornår det skete, hvilken funktion der blev brugt, hvilke oplysninger der blev sendt med, om det gik godt, og hvor lang tid det tog.

Loggen føres automatisk. Du skal ikke slå noget til, og du kan ikke slå det fra. Så snart du har forbundet Claude eller en anden AI-assistent til shoppen, begynder posterne at tikke ind. Er du ikke kommet i gang endnu, så start med Styr shoppen med AI.

Værdien er ligetil: loggen gør AI'en til noget, du kan holde øje med, frem for noget du skal stole blindt på. Ændrer en pris sig, uden du kan huske hvorfor, tager det under et minut at slå op, om det var AI'en.

Sådan finder du auditloggen

1. Gå til Butik i menuen, vælg Integrationer, og klik på Styr shoppen med AI.
2. Nederst på siden står der, hvor mange kald der er logget. Klik på linket Se audit log ved siden af.
3. Siden hedder MCP audit log. Linket Tilbage til oversigt øverst fører dig tilbage igen.

MCP står for Model Context Protocol, den åbne standard AI-assistenten bruger, når den taler med din shop. En "MCP-klient" er altså bare det program, du chatter i, for eksempel Claude.

De fire tal øverst på siden

• I alt. Hvor mange handlinger der er logget i shoppen.
• Lykkedes. Hvor mange der gik igennem uden problemer.
• Fejlede. Hvor mange der blev afvist eller gik galt.
• Sidste aktivitet. Hvor længe siden AI'en sidst rørte ved shoppen, vist som "3 dage siden". Hold musen over teksten, så får du det præcise tidspunkt.

Tallet under Fejlede er det, du skal holde øje med. Et par fejl er normalt, for eksempel hvis AI'en prøver noget, du har slået fra. Vokser tallet pludseligt, er loggen stedet at kigge.

Hvad loggen viser for hvert kald

Listen har fem kolonner, med de nyeste handlinger øverst:

• Tidspunkt. Vises som "6 dage siden". Hold musen over for dato og klokkeslæt.
• Værktøj. Navnet på den funktion, AI'en brugte, for eksempel product_update eller order_create. Navnene er engelske og bygget som område plus handling, så voucher_create er "opret rabatkode".
• Argumenter. De oplysninger, AI'en sendte med. Du ser en kort forsmag og kan klikke for at folde det hele ud.
• Status. Et grønt OK eller et rødt Fejl.
• Varighed. Hvor mange millisekunder shoppen brugte på handlingen. Tallet er mest interessant, når noget pludselig tager markant længere tid end normalt.

Klikker du på teksten i Argumenter, folder hele indholdet ud, og du kan læse præcis, hvad AI'en bad shoppen om. Skrev den et blogindlæg, står hele teksten der. Rettede den en pris, står beløbet der. Er kaldet fejlet, står fejlbeskeden i en rød boks lige under, når du folder ud. Listen viser 50 logposter ad gangen, så filtrene er den hurtigste vej frem, hvis du har mange poster.

Hvad der bliver logget, og hvad der ikke gør

Der bliver skrevet en post, hver gang:

• En AI-assistent henter oplysninger, for eksempel en ordreliste eller en salgsstatistik.
• En AI-assistent ændrer noget, for eksempel opretter et produkt, retter en pris, eller opdaterer en ordre.
• Et forsøg bliver afvist. Blokerede kald logges også, sammen med begrundelsen, så du kan se, at AI'en forsøgte, og hvorfor den ikke fik lov.

Følgende er derimod ikke med:

• Dine egne klik i administrationen. Loggen handler udelukkende om AI-assistenten.
• Almindelige API-integrationer som fragt- eller regnskabssystemer. De har deres egen log pr. nøgle under Butik, Integrationer, API-adgang. Se REST API.
• Selve samtalen. Loggen gemmer handlingerne, ikke hvad du og AI'en skrev til hinanden.
• AI-hjælpen i teksteditoren. Den skriver tekstforslag til dig og ændrer ikke i shoppen på egen hånd.

Sådan filtrerer du i loggen

• Værktøj. En rulleliste med Alle værktøjer øverst. Den viser kun de funktioner, der rent faktisk har været brugt i din shop, så du ikke skal lede i hundredvis af navne, du aldrig har rørt.
• Status. Vælg mellem Alle, Lykkedes, og Fejlede.
• Filtrer sætter dit valg i kraft. Nulstil dukker først op, når du har et filter aktivt, og rydder begge felter igen.

Filtrene virker sammen. Vil du kun se produktopdateringer, der er gået galt, vælger du product_update under Værktøj og Fejlede under Status. Matcher intet, siger siden det og tilbyder et link til at nulstille filtrene.

Brug loggen når noget er gået galt

1. Åbn loggen og kig på Sidste aktivitet. Passer tidspunktet ikke med, hvornår problemet opstod, har AI'en næppe noget med det at gøre.
2. Sæt Status til Fejlede, og tryk Filtrer.
3. Kender du området, så vælg også et værktøj, for eksempel product_update ved en forkert pris eller order_update ved en ordre.
4. Fold Argumenter ud. Nu kan du læse præcis, hvad der blev sendt, og fejlbeskeden står i den røde boks nedenunder.
5. Ret det, der er galt, i den almindelige administration. Loggen er en log, ikke en fortryd-knap.

De fejlbeskeder du oftest møder

Fejlbeskederne er på engelsk, fordi de også sendes tilbage til AI-assistenten. Tre går igen:

• Et domæne er slået fra ("Tool domain ... is disabled"). Du har selv slukket for den gruppe værktøjer under Tilpas værktøjer. Se Tilpas hvilke værktøjer Claude må bruge i din shop.
• Manglende rettigheder ("Insufficient scope"). Adgangsniveauet på forbindelsen passer ikke til værktøjet, typisk fordi forbindelsen kun har læseadgang, mens AI'en forsøgte at ændre noget. Det kan også ske den modsatte vej, for skriveadgang giver ikke automatisk læseadgang. Forbind igen, og vælg Fuld adgang.
• Tema-filer ("Theme-file access disabled on token"). Adgang til temaets filer er ikke slået til på forbindelsen. Det er en ekstra sikkerhed, fordi tema-filer styrer, hvordan shoppen ser ud.

Alle tre står med 0 ms under Varighed. Det er ikke en visningsfejl. Kaldet blev stoppet, før shoppen nåede at gøre noget. Andre fejlbeskeder kommer fra shoppen selv, for eksempel hvis et påkrævet felt manglede.

Loggen er lige så god til det modsatte spørgsmål: "hvad var det nu, AI'en skrev?" Filtrer på blog_create eller page_create, fold argumenterne ud, og hele teksten står der, også selvom du siden har rettet i den.

Følsomme oplysninger gemmes ikke i klartekst

Før en logpost gemmes, kigger Shoporama argumenterne igennem og skjuler alt, der ligner en hemmelighed. Felter, hvis navn indeholder ord som adgangskode, token, secret, API-nøgle, kortnummer, kreditkort, CVV, eller personnummer, får deres værdi erstattet med [REDACTED]. Det gælder også felter dybt inde i en større struktur. Selve adgangsnøglen bag forbindelsen gemmes aldrig, kun et aftryk der ikke kan regnes tilbage.

Vær samtidig opmærksom på det oplagte: beder du AI'en oprette en telefonordre, står kundens navn og adresse i argumenterne, ligesom det står på ordren. Loggen kan kun ses af dem, der er logget ind i shoppens administration, og posterne slettes automatisk efter 90 dage.

Loggen gemmes i 90 dage

Logposter ældre end 90 dage slettes automatisk. Oprydningen kører af sig selv hver nat, og det står også i teksten øverst på siden. Skal du bruge en bestemt hændelse som dokumentation længere end det, så tag et skærmbillede eller kopiér den udfoldede logpost over i et dokument, mens den stadig er der. Der er ingen eksport-knap på siden.

Til dig der er teknisk

• Loggen dækker udelukkende kald til MCP-værktøjer. Argumenterne gemmes som den JSON, klienten sendte, med følsomme nøgler maskeret først, og meget lange argumenter afkortes.
• Navne med _list eller _get i sig, samt webshop_info og alt der starter med stats_, tæller som læseadgang. Et par rene opslagsværktøjer er desuden markeret som læsning. Resten tæller som skriveadgang.
• En forbindelse kan have adgangsniveauet Læs, Skriv, eller Fuld adgang. Skriveadgang giver ikke automatisk læseadgang, så skal AI'en både hente og ændre, skal forbindelsen have Fuld adgang. Se OAuth, giv apps adgang til din webshop.
• Varigheden måler kun shoppens egen udførelsestid, ikke AI'ens betænkningstid eller netværkstid. Kald der stoppes af en forhåndskontrol, altså slået fra domæne, forkert adgangsniveau, eller manglende tema-filadgang, logges med 0 ms.
• Loggen findes kun i administrationen. Der er ikke noget API-endepunkt til at hente den ud programmatisk.

Ofte stillede spørgsmål

Jeg forstår ikke ordet "værktøj". Hvad er det, jeg kigger på?

Et værktøj er én bestemt ting, AI'en kan gøre i din shop, ligesom en knap i administrationen. Beder du AI'en rette en pris, bruger den værktøjet product_update, og det navn står i loggen. Navnene er engelske, men følger mønsteret område plus handling.

Hvordan ved jeg, om det var AI'en eller en kollega, der ændrede noget?

Kig på tidspunktet. Er der en logpost i det tidsrum, hvor ændringen skete, og passer værktøjet til det ændrede, var det AI'en. Er der ingen poster omkring tidspunktet, er ændringen sket manuelt, for loggen dækker kun AI-forbindelsen.

Kan jeg bruge auditloggen som dokumentation over for min revisor?

Den kan bruges som støtte, men den er ikke et regnskabsbilag. Den viser, hvad AI'en gjorde, og hvornår. Posterne slettes efter 90 dage, så skal en hændelse dokumenteres længere, må du kopiere den udfoldede logpost over i et dokument.

Jeg har fem shops. Er loggen fælles for dem alle?

Nej. Hver webshop har sin egen log, og du ser kun poster fra den shop, du står i. Skal du kigge i en anden shop, skifter du shop i administrationen og åbner loggen der.

Der er en fejl på et kald, som jeg selv har slået fra. Er det et problem?

Nej. Det sker, når AI'en er midt i en samtale og prøver et værktøj, du har slukket for undervejs. Shoppen afviser kaldet, skriver begrundelsen i loggen, og AI'en får besked. Der bliver ikke ændret noget i shoppen.

AI'en har rettet noget forkert. Kan jeg fortryde det fra loggen?

Nej, loggen kan ikke rulle noget tilbage. Til gengæld kan du folde argumenterne ud og se præcis, hvad der blev sendt, og så rette det manuelt det rigtige sted i administrationen. Det er som regel hurtigere end at gætte.

Der står slet ingenting i loggen. Er der noget galt?

Sandsynligvis ikke. Har der aldrig kørt et AI-kald i shoppen, skriver siden "Ingen aktivitet endnu" og linker videre til opsætningen. Står der derimod, at ingen logposter matcher dine filtre, har du et filter slået til, og så trykker du bare Nulstil.

Kan jeg se kald fra min fragtintegration i den samme log?

Nej. Auditloggen dækker AI-forbindelsen. Integrationer der bruger en almindelig API-nøgle har deres egen log, som du finder pr. nøgle under Butik, Integrationer, API-adgang.

Hvad gør jeg, hvis jeg ser handlinger, jeg ikke selv har bedt om?

Bryd forbindelsen. Afbryd Shoporama-integrationen i den AI-klient, du bruger, og fjern adgangen under Butik, Integrationer, API-adgang. Skriv derefter til support@shoporama.dk med tidspunktet, så kigger vi nærmere på det sammen med dig.

Har du spørgsmål til auditloggen eller til AI-integrationen i det hele taget, er du velkommen til at skrive til support@shoporama.dk.