OAI-SearchBot, GPTBot och robots.txt — vad ska du tillåta?

Många företag fattar beslutet om AI-robotar en enda gång, i förbifarten: någon läser att AI "skrapar" webbplatser, och så blockeras allt som heter AI i robots.txt. Beslutet känns försiktigt. Problemet är att det ofta får en konsekvens ingen ville ha — företaget försvinner ur ChatGPT:s sökfunktion, samtidigt som blockeringen av modellträning kanske inte ens var det som var viktigt.

Den här artikeln reder ut vilken robot som gör vad, vad som faktiskt händer när du blockerar var och en, och hur du kontrollerar att du inte råkat stänga dörren utan att veta om det.

Tre robotar, tre olika uppdrag

OpenAI skriver uttryckligen om ChatGPT-User att "Because these actions are initiated by a user, robots.txt rules may not apply" — alltså att robots.txt-reglerna *kan komma att inte gälla*, eftersom det är en användare och inte en automatisk crawler som utlöst hämtningen. Det är värt att veta innan man tror att en rad i robots.txt stänger alla dörrar.

Att synas och att tränas är två skilda saker

Den vanligaste missuppfattningen är att ChatGPT "läser din hemsida och lär sig den". I praktiken är det två olika processer med två olika robotar. Modellträning är det GPTBot handlar om: innehåll som kan ingå i underlaget när en ny modell tränas. Sökning är något helt annat — när någon ställer en fråga i ChatGPT och tjänsten hämtar aktuell information från webben, är det OAI-SearchBot som gjort sidan tillgänglig.

Skillnaden är praktisk, inte teoretisk. Ett företag kan mycket rimligt tycka: "vårt material ska inte tränas in i en modell utan ersättning, men självklart vill vi kunna dyka upp när en kund frågar ChatGPT efter en leverantör som oss." Det är en fullt möjlig hållning — men bara om man skiljer på robotarna i stället för att blockera dem som grupp.

Så ser reglerna ut i robots.txt

Vill du synas i ChatGPT:s sökfunktion men hålla materialet utanför modellträning ser filen ut så här:

# Tillåt att vi syns i ChatGPT:s sökfunktion
User-agent: OAI-SearchBot
Allow: /

# Men inte som träningsdata
User-agent: GPTBot
Disallow: /

Vill du släppa in båda — vilket är det vanligaste valet för företag som främst vill synas — räcker det att inte blockera dem alls, eller att skriva ut det explicit:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Allow: /

En sak att vara noggrann med: robots.txt läses uppifrån och ned med *first matching group*. Har du en generell User-agent: * med Disallow: / högre upp i filen kan den slå igenom innan dina specifika regler hinner gälla. Ordningen spelar roll.

Vanligaste felet vi ser: blockeringen du inte känner till

I analyserna vi kör är det påfallande ofta så att företaget har en helt korrekt egen robots.txt — och ändå är blockerat. Orsaken är nästan alltid ett lager ovanpå: en säkerhets- eller CDN-tjänst som lägger in egna regler. Cloudflare har till exempel en inställning för hanterad robots.txt som kan lägga ett Disallow för AI-robotar ovanför sajtens egna rader. Resultatet blir att din fil säger en sak och det botarna faktiskt läser säger en annan.

Det går inte att se genom att öppna sin egen robots.txt i webbläsaren och tycka att den ser bra ut. Du behöver läsa filen som en bot läser den, och helst testa att faktiskt hämta en sida med botens användaragent. Vår gratisanalys gör båda delarna: läser robots.txt med first-matching-group-logik och testar live om sajten svarar en AI-robot.

Så vet du att det verkligen är OpenAI som knackar på

Vem som helst kan skriva vad som helst i sin användaragent. Vill du kontrollera i serverloggarna om en verklig OpenAI-robot besökt sajten publicerar OpenAI IP-intervallen för varje robot i separata filer: openai.com/searchbot.json, openai.com/gptbot.json och openai.com/chatgpt-user.json. Stämmer inte IP-adressen mot listan är det inte OpenAI, oavsett vad användaragenten påstår.

Det är också ett skäl att inte bygga hela sin bedömning på loggar allena. En blockering syns säkrare genom att testa hur sajten faktiskt svarar än genom att leta efter besök som kanske aldrig gjordes just den veckan.

Och de andra AI-robotarna?

OpenAI är inte ensamma. Anthropics ClaudeBot, Perplexitys PerplexityBot och flera andra fungerar enligt samma princip: de identifierar sig med en användaragent och respekterar robots.txt. Vill du vara synlig i AI-tjänster generellt är regeln enkel — blockera inte de robotar som hämtar innehåll för att kunna *visa och länka* dig. Vill du fatta ett annat beslut om träningsdata är det ett separat beslut, robot för robot.

Vill du ha hela bilden av hur du blir synlig i AI-tjänster har vi skrivit om det i Så syns du i ChatGPT — AEO och GEO förklarat.