Robots.txt: styr vilka sidor sökmotorer får hämta
Robots.txt talar om för sökrobotar vilka delar av webbplatsen de får hämta. En felaktig regel kan blockera viktiga sidor, medan rätt regler kan minska onödig hämtning. Kontrollera därför vilka adresser reglerna träffar innan du ändrar filen.
Robots.txt ska ligga direkt under domännamnet, till exempel på https://exempel.se/robots.txt. Reglerna gäller bara för det protokoll och värdnamn där filen ligger. En fil på huvuddomänen styr därför inte automatiskt en underdomän.
Så läser du reglerna
Varje grupp börjar med User-agent, som anger vilken robot reglerna gäller. Stjärnan * gäller robotar som inte har en egen, mer specifik grupp. Disallow anger vad de inte får hämta. Med Allow kan du tillåta en viss sökväg inom ett blockerat område.
User-agent: *
Disallow: /intern-sok/
Allow: /intern-sok/om-sokfunktionen/
Sitemap: https://exempel.se/sitemap.xmlI exemplet blockeras mappen intern-sok, men sidan om sökfunktionen är tillåten. Kontrollera alltid vilka av dina egna adresser en regel träffar innan du använder den. Samma mapp kan innehålla sidor du vill att Google ska hitta.
Tre vanliga missförstånd
| Du vill | Lämplig metod |
|---|---|
| Be robotar att inte hämta en sökväg | Robots.txt |
| Hålla en tillgänglig sida utanför sökresultaten | Noindex |
| Skydda privata dokument | Inloggning och behörighetskontroll |
Google kan visa en blockerad URL i sökresultaten om det finns länkar till den. För att läsa noindex måste roboten däremot kunna hämta sidan. Blockerar du hämtningen kan Google alltså missa instruktionen att hålla sidan utanför index.
Vem som helst kan läsa robots.txt. Lägg inte hemliga adresser där för att skydda dem: filen hindrar varken människor eller robotar som struntar i reglerna från att öppna sidan.
Prova regeln mot riktiga adresser
Testa reglerna mot adresser som finns på din webbplats. Disallow: /filter/ och Disallow: /filter träffar inte samma sökvägar. Den senare kan även blockera exempelvis /filterguide/. Tänk också på att stora och små bokstäver spelar roll.
Välj några adresser att testa: en vanlig produktsida, ett filter du vill blockera och en guide som måste vara tillåten. Se först vilken robotgrupp som gäller och sedan vilken regel som matchar adressen mest specifikt. Google väljer den mest specifika matchningen, inte den första raden som passar.
Spara testadresserna så att du kan kontrollera samma sidor efter ändringen. Öppna den publicerade robots.txt-filen och testa viktiga sidor med URL-granskning i Search Console. Om Google inte får hämta en sida kan det inte heller läsa instruktionerna i sidans HTML. Om du vill ändra vad som indexeras behöver du även kontrollera noindex och canonical.
Kontrollera innan och efter ändringen
- Spara den nuvarande filen och skriv ner problemet du försöker lösa.
- Lista några adresser som ska blockeras och några som måste vara tillåtna.
- Kontrollera vilka regler som träffar respektive adress, även i mer specifika robotgrupper.
- Publicera och öppna själva robots.txt-adressen för att kontrollera vad servern levererar.
- Undersök viktiga sidor med URL-granskning i Search Console.
Var försiktig med att blockera JavaScript, CSS eller hela bildmappar. Google kan behöva filerna för att visa och förstå sidan. Om den publicerade robots.txt-filen inte innehåller dina senaste ändringar kontrollerar du också cache och CDN.
Fler blockeringar gör inte i sig en mindre webbplats bättre. Börja med problemet, till exempel att ett filter skapar mängder av onödiga adresser. Undersök sedan om du behöver ändra hur adresserna skapas, hur de länkas eller vad robotar får hämta. Läs mer om helheten i guiden till teknisk SEO.
”*” anger obligatoriska fält
