Google ignorerer generelle indstillinger i robots.txt

Hvad er robots.txt

Inden jeg lige går videre med det egentlige indhold i dette indlæg, så vil jeg lige kort fortælle hvad robots.txt er.

robots.txt er en lille tekst fil som man placerer i roden af sit website. Her kan man så indtaste de specifikke filer og/eller foldere som man ikke ønsker at søgemaskinerne skal gennemlæse og medtage i deres indeks.

Du kan læse mere om hvordan du opsætter en robots.txt fil korrekt på HTML.dk.

Specielle muligheder med at undgå indeksering i Google via robots.txt

Googles bot supporterer flere indstillinger i robots.txt filen end de andre store søgemaskiner gør, for eksempel understøtter Google brugen af wildcards (*).

Det betyder, at man overfor googlebot kan lave en meget mere korrekt og fyldestgørende opsætning af robots.txt, og det er godt, da Google i skrivende stund er den søgemaskine der:

• gør mest for at undgå at få flere sider med identisk indhold i sit indeks, og
• giver de hjemmesider en lavere troværdighed (Trust) hvor der ikke er gjort noget for at undgå identisk indhold på flere sider (URL’er)

Man kan meget let komme til at få flere sider der peger på identisk eller næsten identisk indhold, eksempelvis hvis man via en URL kan styre om et produkt skal vises med og uden moms. Hvis den eneste forskel i indholdet imellem 2 sider er en pris, så bliver den ene af de 2 sider med garanti filtreret fra og havner i Googles Supplemental Index (Læs skraldespand). Man kan også meget nemt komme til at få dobbelt indhold på en hjemmeside hvis man har en print-venlig-side funktion på sit website, som jeg tidligere har skrevet om (Brug førnævnte link).

Googlebot læser nu kun googlebot-specifikke indstillinger i robots.txt

Tidligere læste Googlebot både de generelle indstillinger, det vil sige de indstillinger der gælder for alle søgemaskiner, og derudover også de indstillinger, der kun er relevante for googlebot, for eksempel hvis man i nogle tilfælde har anvendt et wildcard.

Hvis man gerne vil undgå at en side bliver indekseret af Google, som bruges til eksempelvis print, ved at man i URL’en sætter en URL’parameter på, der hedder ‘printfriendly=true’. Det kunne være, at URL’en for en produktpræsentationsside for et fiskehjul ser således ud:

http://www.fiskegrejsshoppen.dk/fiskegrej-havhjul-multiplikatorhjul-abu.php

Mens URL’en til print ser således ud

http://www.fiskegrejsshoppen.dk/fiskegrej-havhjul-multiplikatorhjul-abu.php?printfriendly=true

Da Googles søgerobot understøtter brugen af wildcards, så kan man i sin robots.txt fil sætte den op til, at den skal ignorere alle de URL’er der ender med printfriendly=true, fx sådan her:


User-agent: googlebot
Disallow: /*printfriendly=true

User-agent: *
Disallow: /pdf/

Læg mærke til at der ovenfor ikke står Disallow: /pdf/ for googlebot. Det var ikke nødvendigt tidligere, for googlebot ville både læse de instillinger der var for alle søgemaskiner og de indstillinger der kun gælder for googlebot.

Men sådan er det ikke mere:

• googlebot læser kun indstillingerne for alle søgemaskiner i robots.txt, såfremt der ingen specifikke indstillinger er for googlebot
• hvis der er specifikke indstillinger er for googlebot i robots.txt, så ignoreres alle andre indstillinger, også dem der er generelle og gælder for alle søgemaskiner.

Derfor vil ovennævnte robots.txt fil fremover skulle se således ud:

User-agent: googlebot
Disallow: /*printfriendly=true
Disallow: /pdf/

User-agent: *
Disallow: /pdf/


Det man skal lægge mærke til her er at indstillingen (Linien) Disallow: /pdf/ nu figurerer i begge sektioner, både den for googlebot og den for alle søgemaskiner.
ellers vil Google bare begynde at indeksere alle de sider der er placeret i /pdf folderen fra ovennævnte eksempel.

Jeg opdagede at siderne fra kategorierne (/category) på min gamle blog (gBLOG) pludselig begyndte at optræde i Googles indeks, selvom jeg fra en start havde sat min robotx.txt op til at alle søgemaskiner ikke skulle indeksere kategorierne. Min robots.txt så således ud:

User-agent: googlebot
Disallow: /*/feed/
Disallow: /*/trackback/


User-agent: *
Disallow: /wp-login.php
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /category/
Disallow: /comments/
Disallow: /feed/
Disallow: /2007/
Disallow: /2008/
Disallow: /2009/
Disallow: /page/


Men fremover skal den se således ud så Google holder sig væk fra alle de foldere og sider jeg ikke ønsker indekseret. Årsagen til at jeg ikke ønsker en masse af siderne på min blog indekseret, skyldes, at jeg derved forebygger at få sider med identisk indhold her på bloggen. Dette har jeg også tidligere skrevet om (Brug førnævnte link).


User-agent: googlebot
Disallow: /*/feed/
Disallow: /*/trackback/
Disallow: /wp-login.php
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /category/
Disallow: /comments/
Disallow: /feed/
Disallow: /2007/
Disallow: /2008/
Disallow: /2009/
Disallow: /page/


User-agent: *
Disallow: /wp-login.php
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /category/
Disallow: /comments/
Disallow: /feed/
Disallow: /2007/
Disallow: /2008/
Disallow: /2009/
Disallow: /page/


/Grosen Friis