Robots.txt – så skapar du rätt fil för Google och AI-botar

Vad är robots.txt?

Robots.txt är en standard (Robots Exclusion Protocol) som webbrobotar läser innan de hämtar sidor från din sajt. Filen består av grupper: en rad User-agent som anger vilken robot regeln gäller, följt av Allow- och Disallow-rader med sökvägar.

Viktigt: robots.txt är en instruktion, inte ett lås. Seriösa robotar som Googlebot, GPTBot och PerplexityBot följer den, men den skyddar inte känslig information. Sådant ska skyddas med inloggning.

Var hittar jag robots.txt?

Filen ligger alltid på adressen /robots.txt direkt under domänen, till exempel https://dinsajt.se/robots.txt. Skriv in adressen i webbläsaren för att se den. Finns ingen fil får alla robotar läsa allt.

I WordPress skapas en virtuell robots.txt automatiskt; den kan ändras via ett SEO-tillägg eller genom att ladda upp en egen fil i rotmappen. I Shopify redigeras den via temat (robots.txt.liquid).

Vilka AI-botar finns och vad gör de?

AI-företagen använder olika robotar för olika syften. Det gör att du kan tillåta att du syns i AI-sök men samtidigt neka att ditt innehåll används för att träna modeller.

• ▸GPTBot – OpenAI:s robot för att samla träningsdata
• ▸OAI-SearchBot – OpenAI:s robot för ChatGPT:s sökfunktion
• ▸ChatGPT-User – hämtar sidor när en användare ber ChatGPT besöka en länk
• ▸PerplexityBot – indexerar sidor för Perplexitys svar
• ▸Google-Extended – styr om innehåll får användas för Gemini-träning (påverkar inte vanlig Google-sökning)
• ▸ClaudeBot – Anthropics robot
• ▸CCBot – Common Crawl, en öppen datamängd som många AI-modeller tränas på

Exempel: vanliga robots.txt-regler

Tillåt allt: User-agent: * följt av en tom Disallow:-rad. Blockera allt (robots txt block all / disallow all): User-agent: * och Disallow: /. Använd det aldrig på en live-sajt – då försvinner du från sökresultaten.

Blockera en mapp: Disallow: /admin/. Blockera AI-träning men tillåt AI-sök: lägg en grupp med User-agent: GPTBot och Disallow: /, men låt OAI-SearchBot och PerplexityBot vara tillåtna.

Lägg också till en rad Sitemap: https://dinsajt.se/sitemap.xml så att robotar hittar alla dina sidor.

Vanliga misstag som gör dig osynlig

De här felen ser vi ofta när vi analyserar sajters AI-synlighet:

• ▸Disallow: / kvar från utvecklingsmiljön
• ▸Alla okända botar blockerade, vilket även stoppar AI-sökrobotar
• ▸CSS- och JavaScript-mappar blockerade så att sidan inte kan tolkas
• ▸Brandvägg eller CDN som blockerar AI-botar trots att robots.txt tillåter dem
• ▸Ingen Sitemap-rad

Hur testar jag min robots.txt?

Google Search Console visar hur Google läser din robots.txt. För AI-botarna kan du använda vår gratis AI-bot-kontroll: ange din adress så läser vi av filen och visar vilka AI-robotar som är tillåtna eller blockerade.