AI Audit Log: See What the AI Has Been Up To in Your Store

Når du lader en AI-assistent styre din webshop, melder ét spørgsmål sig med det samme: hvad har den egentlig lavet? Auditloggen svarer på det. Den skriver hver eneste handling ned, som en AI-assistent udfører eller forsøger at udføre i din shop. Hvornår det skete, hvilken funktion der blev brugt, hvilke oplysninger der blev sendt med, om det gik godt, hvad det eventuelt satte i gang, og hvor lang tid det tog.

Loggen føres automatisk. Du skal ikke slå noget til, og du kan ikke slå det fra. Så snart du har forbundet Claude eller en anden AI-assistent til shoppen, begynder posterne at tikke ind. Er du ikke kommet i gang endnu, så start med Styr shoppen med AI.

Værdien er ligetil: loggen gør AI'en til noget, du kan holde øje med, frem for noget du skal stole blindt på. Ændrer en pris sig, uden du kan huske hvorfor, tager det under et minut at slå op, om det var AI'en. Og har AI'en ændret en temaindstilling, en fragtpris, en webshop-indstilling, eller dit stylesheet, kan du fortryde ændringen direkte fra loggen.

Sådan finder du auditloggen

1. Gå til Integrationer i menuen, og klik på Styr shoppen med AI.
2. Nederst på siden står der, hvor mange kald der er logget. Klik på linket Se audit log ved siden af.
3. Siden hedder MCP audit log. Linket Tilbage til oversigt øverst fører dig tilbage igen.

Loggen kan kun ses af brugere med rollen Fuld adgang eller Udvikler.

MCP står for Model Context Protocol, den åbne standard AI-assistenten bruger, når den taler med din shop. En "MCP-klient" er altså bare det program, du chatter i, for eksempel Claude.

De fire tal øverst på siden

• I alt. Hvor mange handlinger der er logget i shoppen, uanset status.
• Lykkedes. Hvor mange der blev udført uden problemer.
• Fejlede. Hvor mange der gik galt undervejs. Har shoppens regler også afvist nogle kald, står der Fejlede / afvist med to tal: først de fejlede, derefter de afviste.
• Sidste aktivitet. Hvor længe siden AI'en sidst rørte ved shoppen, vist som "3 dage siden". Hold musen over teksten, så får du det præcise tidspunkt.

Tallet for fejlede kald er det, du skal holde øje med. Afviste kald er som regel ufarlige, for de blev stoppet, før noget blev ændret, for eksempel fordi AI'en prøvede noget i et område, du har slået fra. Vokser antallet af fejl pludseligt, er loggen stedet at kigge.

Hvad loggen viser for hvert kald

Listen har seks kolonner, med de nyeste handlinger øverst:

• Tidspunkt. Vises som "6 dage siden". Hold musen over for dato og klokkeslæt.
• Bruger. Den bruger, der forbandt AI-assistenten til shoppen. Står der en streg, kom kaldet fra en API-nøgle, der ikke hører til en bestemt bruger.
• Værktøj. Navnet på den funktion, AI'en brugte, for eksempel product_update eller order_create. Navnene er engelske og bygget som område plus handling, så voucher_create er "opret rabatkode".
• Argumenter. De oplysninger, AI'en sendte med. Du ser en kort forsmag og kan klikke for at folde det hele ud.
• Status. OK, Fejl, Afvist, eller Til godkendelse. Se forklaringen herunder.
• Varighed. Hvor mange millisekunder shoppen brugte på handlingen. Tallet er mest interessant, når noget pludselig tager markant længere tid end normalt.

Klikker du på teksten i Argumenter, folder hele indholdet ud, og du kan læse præcis, hvad AI'en bad shoppen om. Skrev den et blogindlæg, står hele teksten der. Rettede den en pris, står beløbet der. Er kaldet fejlet eller afvist, står begrundelsen i en rød boks lige under, når du folder ud. Listen viser 50 logposter ad gangen, så filtrene er den hurtigste vej frem, hvis du har mange poster.

De fire statusser

• OK. Kaldet blev udført.
• Fejl. Kaldet blev forsøgt, men gik galt i shoppen, for eksempel fordi et påkrævet felt manglede. Fejlbeskeden står i den røde boks, når du folder rækken ud.
• Afvist. Shoppens regler stoppede kaldet, før noget blev ændret. Det sker for eksempel, hvis området er slået fra eller står på Kun læs, hvis forbindelsens adgangsniveau ikke passer til værktøjet, eller hvis AI'en har lavet for mange ændringer på kort tid. Hold musen over mærket for en kort forklaring.
• Til godkendelse. Du har slået Ekstra sikkerhed til, og ændringen venter på, at du godkender den. Klik på mærket for at åbne ændringen og godkende eller afvise den. Det kræver rollen Fuld adgang. Godkender du, bliver selve udførelsen skrevet i loggen som en ny linje med sin egen status.

Bivirkninger: hvad kaldet også satte i gang

Nogle handlinger gør mere end det, du bad om. Sætter AI'en en ordre til Sendt, kan kunden få en mail, betalingen kan blive hævet, og ordren kan blive sendt videre til dit regnskabsprogram. Retter den et lagerantal, bliver der lavet en lagerpostering. Når du folder en række ud, står den slags under Bivirkninger med antal, for eksempel "1 kundemail lagt i kø" eller "3 lagerposteringer".

Du kan møde bivirkninger som mails lagt i kø, hævninger af betaling, annullerede betalinger, overførsler til regnskabsprogram, bestillinger hos fragtfirma, webhook-hændelser til dine integrationer, og lagerposteringer. "Lagt i kø" betyder, at shoppen sender det lige efter, så det kan ikke nås at stoppe fra loggen.

Bivirkninger kan ikke fortrydes. En mail, der er sendt, er sendt. Vil du have AI'en til at vente på dit ja til den slags, så slå Ekstra sikkerhed til.

Fortryd en ændring fra AI'en

Har AI'en ændret en af de her ting, står der en Fortryd-knap yderst til højre i rækken:

• Temaindstillinger, for eksempel farver og skrifttyper.
• Fragtpriser for en fragtmetode i et land.
• Webshoppens indstillinger, for eksempel shopnavn, søgning, og ordremails.
• Dit stylesheet, altså den custom CSS der ligger oven på temaet.

Klikker du Fortryd, bliver værdierne sat tilbage til, hvad de var før ændringen. Har AI'en ændret flere ting i samme kald, for eksempel en hel farvepalet, bliver de fortrudt samlet. Når det er gjort, står der "Ændringen er fortrudt." øverst på siden, og knappen forsvinder fra rækken.

Fortryd virker kun, hvis ingen har ændret værdierne siden. Har du, en kollega, eller AI'en selv rettet en af dem bagefter, bliver intet ændret, og du får en besked om, at noget er ændret igen siden. Det sikrer, at en nyere ændring aldrig bliver overskrevet. Så må du rette det manuelt i administrationen.

Andre ændringer, for eksempel på produkter, ordrer, kunder, fragtmetoder, vægtintervaller, og tematekster, kan ikke fortrydes fra loggen. Muligheden for at fortryde gælder så længe logposten findes, altså i op til 90 dage. Det er kun brugere med rollen Fuld adgang, der kan fortryde. Med rollen Udvikler kan du se loggen, men ikke fortryde.

Hvad der bliver logget, og hvad der ikke gør

Der bliver skrevet en post, hver gang:

• En AI-assistent henter oplysninger, for eksempel en ordreliste eller en salgsstatistik.
• En AI-assistent ændrer noget, for eksempel opretter et produkt, retter en pris, eller opdaterer en ordre.
• Et forsøg bliver afvist. Blokerede kald logges også, sammen med begrundelsen, så du kan se, at AI'en forsøgte, og hvorfor den ikke fik lov.
• En ændring bliver lagt til godkendelse, fordi Ekstra sikkerhed er slået til. Når du godkender den, bliver udførelsen logget som endnu en post.

Følgende er derimod ikke med:

• Dine egne klik i administrationen. Loggen handler udelukkende om AI-assistenten. Følsomme handlinger i administrationen, for eksempel refunderinger, eksporter, sletninger, og rolleændringer, kan firmaadministratoren i stedet se i Aktivitetsloggen, som åbnes med knappen Aktivitetslog øverst på siden Brugere under Firma. AI'ens egne handlinger står til gengæld kun her og ikke i Aktivitetsloggen.
• Almindelige API-integrationer som fragt- eller regnskabssystemer. De har deres egen log pr. nøgle under Integrationer, API-adgang. Se REST API.
• Selve samtalen. Loggen gemmer handlingerne, ikke hvad du og AI'en skrev til hinanden.
• AI-hjælpen i teksteditoren. Den skriver tekstforslag til dig og ændrer ikke i shoppen på egen hånd.

Sådan filtrerer du i loggen

• Værktøj. En rulleliste med Alle værktøjer øverst. Den viser kun de funktioner, der rent faktisk har været brugt i din shop, så du ikke skal lede i hundredvis af navne, du aldrig har rørt.
• Status. Vælg mellem Alle, Lykkedes, Fejlede, Afvist, og Til godkendelse.
• Filtrer sætter dit valg i kraft. Nulstil dukker først op, når du har et filter aktivt, og rydder begge felter igen.

Filtrene virker sammen. Vil du kun se produktopdateringer, der er gået galt, vælger du product_update under Værktøj og Fejlede under Status. Matcher intet, siger siden det og tilbyder et link til at nulstille filtrene.

Brug loggen når noget er gået galt

1. Åbn loggen og kig på Sidste aktivitet. Passer tidspunktet ikke med, hvornår problemet opstod, har AI'en næppe noget med det at gøre.
2. Sæt Status til Fejlede, og tryk Filtrer. Siger AI'en, at den ikke fik lov til noget, så vælg Afvist i stedet.
3. Kender du området, så vælg også et værktøj, for eksempel product_update ved en forkert pris eller order_update ved en ordre.
4. Fold Argumenter ud. Nu kan du læse præcis, hvad der blev sendt. Begrundelsen står i den røde boks, og eventuelle bivirkninger står nedenunder.
5. Er det en temaindstilling, en fragtpris, en webshop-indstilling, eller dit stylesheet, kan du klikke Fortryd. Alt andet retter du i den almindelige administration.

De afvisninger du oftest møder

Når shoppens regler stopper et kald, står rækken som Afvist, og i den røde boks står en kort begrundelse. AI-assistenten får samtidig en længere forklaring på engelsk, så den kan fortælle dig, hvad der skete. Her er de mest almindelige:

• Området er slået fra ("... which the shop owner has disabled for this Shoporama webshop"). Du har sat området til Fra under Tilpas værktøjer. Se Tilpas hvilke værktøjer Claude må bruge i din shop.
• Området står på Kun læs ("... which the shop owner has set to read-only"). AI'en prøvede at ændre noget i et område, hvor den kun må læse. Vælg Læs og ret for området, hvis den skal kunne ændre.
• Manglende rettigheder ("requires 'write' access, but the connected token only has 'read' access"). Adgangsniveauet på forbindelsen passer ikke til værktøjet, typisk fordi forbindelsen kun har læseadgang, mens AI'en forsøgte at ændre noget. Det kan også ske den modsatte vej på ældre forbindelser med niveauet Skriv, for skriveadgang giver ikke automatisk læseadgang. Forbind igen, og vælg Fuld.
• For mange ændringer på kort tid ("Too many changes"). En forbindelse må højst lave 120 ændringer i minuttet og 3.000 i timen. Loftet stopper en AI, der er gået i ring, før den når hele kataloget. Vent lidt, eller bed AI'en samle ændringerne i færre kald.
• For mange ting i ét kald ("accepts at most ... items"). Nogle værktøjer har et loft, for eksempel 25 ordrer pr. statusskift og 250 kunder pr. import. AI'en skal dele opgaven op.
• Tema-filer ("requires theme-file access on the API token"). Adgang til temaets filer er ikke slået til på forbindelsen. Det er en ekstra sikkerhed, fordi tema-filer styrer, hvordan shoppen ser ud.
• Begrænset bruger ("belongs to a Shoporama user with restricted access"). Forbindelsen hører til en bruger, der ikke har rollen Fuld adgang på webshoppen, eller som kun har adgang til bestemte kategorier. Det sker typisk, når brugeren har fået en anden rolle, efter at forbindelsen blev oprettet. AI-forbindelsen virker kun, når den hører til en bruger med Fuld adgang, så forbind i stedet med sådan en bruger, eller bed firmaadministratoren om at ændre rollen. Læs mere i Roller og rettigheder.

Afviste kald står med 0 ms under Varighed. Det er ikke en visningsfejl. Kaldet blev stoppet, før shoppen nåede at gøre noget. Kald med status Fejl kommer derimod fra shoppen selv, for eksempel hvis et påkrævet felt manglede.

Loggen er lige så god til det modsatte spørgsmål: "hvad var det nu, AI'en skrev?" Filtrer på blog_create eller page_create, fold argumenterne ud, og hele teksten står der, også selvom du siden har rettet i den.

Følsomme oplysninger gemmes ikke i klartekst

Før en logpost gemmes, kigger Shoporama argumenterne igennem og skjuler alt, der ligner en hemmelighed. Felter, hvis navn indeholder ord som adgangskode, token, secret, API-nøgle, kortnummer, kreditkort, CVV, eller personnummer, får deres værdi erstattet med [REDACTED]. Det gælder også felter dybt inde i en større struktur. Selve adgangsnøglen bag forbindelsen gemmes aldrig, kun et aftryk der ikke kan regnes tilbage.

Vær samtidig opmærksom på det oplagte: beder du AI'en oprette en telefonordre, står kundens navn og adresse i argumenterne, ligesom det står på ordren. Loggen kan kun ses i shoppens administration af brugere med rollen Fuld adgang eller Udvikler. En bruger med rollen Udvikler kan altså se kundeoplysninger i argumenterne, selvom rollen ellers ikke giver adgang til kunder og ordrer. Posterne slettes automatisk efter 90 dage.

Loggen gemmes i 90 dage

Logposter ældre end 90 dage slettes automatisk, og det samme gælder muligheden for at fortryde dem. Oprydningen kører af sig selv hver nat, og det står også i teksten øverst på siden. Skal du bruge en bestemt hændelse som dokumentation længere end det, så tag et skærmbillede eller kopiér den udfoldede logpost over i et dokument, mens den stadig er der. Der er ingen eksport-knap på siden.

Til dig der er teknisk

• Loggen dækker udelukkende kald til MCP-værktøjer. Argumenterne gemmes som den JSON, klienten sendte, med følsomme nøgler maskeret først, og meget lange argumenter afkortes.
• Hvert værktøj er klassificeret som læsende eller ændrende. Et område på Kun læs tillader kun de læsende, og på siden Tilpas værktøjer er de ændrende markeret med "ændrer".
• En AI-forbindelse har adgangsniveauet Læs eller Fuld, og Læs er valgt på forhånd, når du godkender. Ældre forbindelser kan have niveauet Skriv, som ikke giver læseadgang, så skal AI'en både hente og ændre, skal forbindelsen have Fuld. Se OAuth, giv apps adgang til din webshop.
• Varigheden måler kun shoppens egen udførelsestid, ikke AI'ens betænkningstid eller netværkstid. Afviste kald og kald der lægges til godkendelse, logges med 0 ms.
• Begrundelsen i en afvist række er en kort engelsk kode efter Policy:, for eksempel domain_off (området er slået fra), domain_read_only (Kun læs), scope (forbindelsens adgangsniveau), rate_limit_minute eller rate_limit_hour (loftet over ændringer), max_items (for mange objekter i ét kald), og theme_files (manglende tema-filadgang).
• Loftet på 120 ændringer i minuttet og 3.000 i timen tæller kun ændrende kald pr. forbindelse. Afviste kald tæller ikke med, og en ændring du har godkendt, tælles ikke igen.
• Loggen findes kun i administrationen. Der er ikke noget API-endepunkt til at hente den ud programmatisk.

Ofte stillede spørgsmål

Hvordan ved jeg, om det var AI'en eller en kollega, der ændrede noget?

Kig på tidspunktet. Er der en logpost med status OK i det tidsrum, hvor ændringen skete, og passer værktøjet til det ændrede, var det AI'en. Er der ingen poster omkring tidspunktet, er ændringen sket manuelt, for loggen dækker kun AI-forbindelsen.

Vi er flere, der bruger AI. Kan jeg se, hvem af os der stod bag et kald?

Ja. Kolonnen Bruger viser, hvilken bruger der forbandt AI-assistenten. Forbinder hver medarbejder med sin egen bruger, kan I derfor se, hvem der stod bag hvert kald. Deler I én forbindelse, står den samme bruger på alle kald.

Får jeg besked, hvis noget fejler eller bliver afvist?

Nej, der bliver ikke sendt en mail, når et kald fejler eller bliver afvist. AI-assistenten får selv beskeden, så den kan fortælle dig det i samtalen, og alt står i loggen. Venter en ændring på din godkendelse, får du derimod en notifikation under klokken øverst i administrationen, og tallet ved Styr shoppen med AI i menuen viser, hvor mange der venter.

Kan jeg filtrere på en bestemt dato eller bladre længere tilbage?

Der er ikke noget datofilter, kun Værktøj og Status. Listen står med de nyeste først, og har du mere end 50 poster, bladrer du videre med sidetallene nederst. Dine filtre følger med, når du bladrer, så du kan for eksempel gå alle afviste kald igennem side for side.

Bliver det skrevet i loggen, når nogen klikker Fortryd?

Nej, fortrydelsen bliver ikke en ny linje, og loggen gemmer ikke, hvem der klikkede. Du kan se, at en ændring er fortrudt, ved at knappen Fortryd er væk fra rækken, mens den oprindelige linje står med OK som før. Skal det dokumenteres, så tag et skærmbillede af beskeden "Ændringen er fortrudt.", når den vises.

Kan jeg se i loggen, hvilket beløb der blev hævet på en ordre?

Ikke direkte. Under Bivirkninger står antallet, for eksempel "1 hævning af betaling lagt i kø", men ikke beløbet. Argumenterne viser, hvilke ordrer og hvilken status AI'en sendte, og beløbet finder du på selve ordren. Har du Ekstra sikkerhed slået til, viser forhåndsvisningen på godkendelsessiden for hver ordre, hvad statusskiftet udløser, også beløbet der hæves, før du godkender.

Kan jeg bruge auditloggen som dokumentation over for min revisor?

Den kan bruges som støtte, men den er ikke et regnskabsbilag. Den viser, hvad AI'en gjorde, og hvornår. Selve ordrerne, fakturaerne, og det der er overført til dit regnskabsprogram, bliver liggende som altid. Det er kun logposterne om AI'ens kald, der slettes efter 90 dage.

Forsvinder logposterne, hvis jeg fjerner en medarbejder fra shoppen?

Nej. Loggen hører til shoppen, så posterne bliver liggende i de 90 dage, uanset hvem der har brugt AI'en. Når firmaadministratoren fjerner medarbejderen under Firma, Brugere, bliver alle de forbindelser, vedkommende har oprettet via Log ind med Shoporama, tilbagekaldt, herunder Claude. Ændringer fra de forbindelser, der stadig venter på godkendelse, kan derefter ikke udføres.

Hvad sker der med Claude, hvis en medarbejder får en anden rolle?

Har medarbejderen ikke længere rollen Fuld adgang, bliver medarbejderens forbindelse stående, men Claude kan ikke bruge den, og ventende ændringer fra den kan ikke udføres. Prøver Claude alligevel, står forsøget i loggen som Afvist. Får medarbejderen Fuld adgang igen, virker forbindelsen igen.

Jeg har fem shops. Er loggen fælles for dem alle?

Nej. Hver webshop har sin egen log, og du ser kun poster fra den shop, du står i. Skal du kigge i en anden shop, skifter du shop i administrationen og åbner loggen der.

Hvad gør jeg, hvis jeg ser handlinger, jeg ikke selv har bedt om?

Bryd forbindelsen. Afbryd Shoporama-integrationen i den AI-klient, du bruger, og fjern adgangen under Integrationer, API-adgang. Skriv derefter til support@shoporama.dk med tidspunktet, så kigger vi nærmere på det sammen med dig. Vil du fremover godkende ændringer med mails, betalinger, og sletninger, før de udføres, så slå Ekstra sikkerhed til.

Har du spørgsmål til auditloggen eller til AI-integrationen i det hele taget, er du velkommen til at skrive til support@shoporama.dk.