AI-sökmotorer använder egna crawlers för att indexera webben. För att synas i AI-sökresultat behöver du tillåta dessa crawlers i din robots.txt. Här är en komplett guide.
Vanliga AI-crawlers
Här är de viktigaste AI-crawlerna du bör känna till:
| Crawler | Företag | Används för |
|---|---|---|
| GPTBot | OpenAI | ChatGPT, GPT-modeller |
| ChatGPT-User | OpenAI | ChatGPT Browse-funktionen |
| PerplexityBot | Perplexity | Perplexity AI-sökning |
| ClaudeBot | Anthropic | Claude AI |
| Google-Extended | Gemini, AI Overviews | |
| Bytespider | ByteDance | TikTok, AI-modeller |
| CCBot | Common Crawl | Används av många AI-system |
Rekommenderad robots.txt för GEO
Om du vill maximera din AI-synlighet, tillåt alla AI-crawlers:
# Tillåt alla AI-crawlers
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: CCBot
Allow: /
# Vanliga sökmotorer
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
# Blockera endast admin-sidor
User-agent: *
Disallow: /admin/
Disallow: /api/Om du vill blockera AI-crawlers
Vissa webbplatsägare väljer att blockera AI-crawlers, ofta på grund av upphovsrättsskäl. Så här gör du:
# Blockera alla AI-crawlers
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /Selektiv blockering
Du kan också tillåta vissa crawlers men inte andra:
# Tillåt sökmotorers AI men blockera träning
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /Viktigt att veta
- Ingen garanti: Att tillåta crawlers garanterar inte att du citeras
- Respekt varierar: Inte alla AI-system respekterar robots.txt fullt ut
- Caching: Ändringar kan ta tid att slå igenom
- Testa: Använd verktyg för att verifiera din robots.txt
Sammanfattning
Din robots.txt är första steget för AI-synlighet. Om du vill synas i AI-sökresultat, se till att tillåta relevanta crawlers. Om du har specifika skäl att blockera dem, gör det medvetet och dokumentera varför.
