noindex, nofollow, robots.txt

“noindex” er et værktøj til at forhindre at indhold på din hjemmeside vises i søgeresultater.

Dit første spørgsmål bør være: “Hvornår skal indhold fjernes fra søgeresultaterne?”

Indhold bør fjernes fra Google, hvis det ikke giver værdi til brugere eller du gerne vil undgå at det kan findes af offentligheden.

Nogle eksempler på sider, som ikke bør dukke op i søgeresultater:

• Web-udgaver af nyhedsmails
• Kampagnesider som anvendes i forbindelse med e-mail marketing eller anden annoncering
• Test-domæner/sider
• Indhold og produkter som er under opbygning

“noindex” bør ikke anvendes til at skjule indhold, som af juridiske årsager skal skjules. Et eksempel kunne være produktsiden for en ny film eller et spil, som endnu ikke har fået en officiel udgivelsesdato, men på den produktside du har forberedt har angivet en forventet leveringsdato. Denne type indhold skal være i stedet være utilgængeligt for både søgemaskiner og mennesker, f.eks. med password-beskyttelse. Det samme gælder indhold, som brugere skal købe sig adgang til eller kun skal være tilgængeligt når de skriver sig op til et nyhedsbrev.

Er dit indhold allerede blevet fundet af Google og du ønsker at fjerne det fra Google, skal du bruge Google Search Consoles værktøj, “Fjernelser”.

Ønsker du at fjerne indhold på andres hjemmesider fra Google, skal der være en god grund til det, f.eks. personlige oplysninger om dig eller materiale du ejer ophavsretten til. Se links til værktøjer nederst i artiklen.

PDF’er

Først er det vigtigt at vi lige definerer hvad PDF’er bruges til: Tryk – altså til at printe på noget fysisk som papir i en brochure, en roll-up banner eller papkasser.

Laver du indhold, som skal læses på en skærm (mobil, tablet, computer), så skal det ikke være en PDF.

Selv hvis du følger dette råd, bør du sjældent anvende noindex på PDF’er – en formular som skal printes og udfyldes kan være rar at kunne finde direkte via Google.

Mit bedste råd til dig, der går og overvejer om PDF’er skal have noindex eller ej, er at fokusere din indsats på at digitalisere hvad end det er der i dag, er en PDF.

Handelsbetingelser, returpolitik og cookieinformation

Det kan være fristende at tænke, at du ikke ønsker Google indekserer sider, som du udelukkende har, fordi det er et lovkrav. Her vil jeg i stedet opfordre til at gribe opgaven anderledes an, og spørge dig selv: “Hvad skal jeg gøre, for at mine handelsbetingelser ser godt ud for brugeren?”

Vores erfaring er, at let-læselige og gode handelsbetingelser kan være forskellen på om kunder vælger at handle hos webshop A eller B. Se det som en salgstale; gode handelsbetingelser for kunden kan være mere værd end eksempelvis 10 % rabat. Det giver tryghed at vide, at hvis der er problemer med produktet eller kunden ombestemmer sig, så hjælper din virksomhed kunden videre.

Mit andet argument for at lade det forblive synligt er, at når du begynder at rode med et værktøj så kraftfuldt som noindex, så risikerer du let at fjerne noget, som har betydning for dine placeringer i dag. Google deler ikke opskriften på gode placeringer, men en del af faktorerne handler om tillid, noget som offentligt tilgængelige handelsbetingelser må siges at være en del af.

Tredje og sidste argument for at lade indholdet forblive synligt på Google: Det kunne være rart for brugere at have adgang til indholdet via Google. Søgninger på [webshopnavn handelsbetingelser] forekommer og manglende resultater ville give en træls oplevelse.

“index”

Dette er ikke et gyldigt tag. Jeg har set flere gamle CMS’er og SEO plugins som giver mulighed for at angive “index”, men det er fuldstændig unødvendigt. Googlebot antager at hvis der ikke er angivet “noindex”, så må en side gerne indekseres.

Finder du denne slags fyld i kildekoden på din hjemmesiden, så ville jeg overveje at få siden gennemgået af en SEO ekspert. At tagget er sat ind på hjemmesiden er i sig selv ikke det store problem, men en fejl kommer sjældent alene, siger min erfaring desværre. Og selvom inklusion af "index" ikke er en fejl, så er det et tegn på, at der under opbygningen af hjemmesiden er fulgt nogle forældede standarder og så tænker jeg bare: "Hvad har de ellers lavet af mærkelige ting?" – som iøvrigt ikke begrænser sig til SEO! Som "teknikeren" i et digital marketing bureau ser jeg rigtig meget mærkelig kode, der bør rettes op på.

“nofollow” fortæller Google at du ikke vil have din side associeret med destinationen.

Med andre ord: Hvis du af den ene eller anden grund ikke kan eller vil stå inde for indholdet på den anden side af et link, så overvej at anvende attributten “nofollow”.

Sammen med “nofollow” hører “ugc” og “sponsored”. Disse er uddybninger af hvilken type links det er.

“ugc” står for User Generated Content og bruges til at markere links i eksempelvis kommentarer, anmeldelser og andet, som er lavet af brugere af din hjemmeside.

“sponsored” anvendes til links som der betales for. Det kan f.eks. være i en artikel som er købt af den virksomhed der omtales, eller affiliate-links, hvor der betales for leads eller salg. Et godt eksempel er anmeldelser af produkter du har modtaget som gave. Som tommelfingerregel skal dette tag anvendes når markedsføringsloven påkræver markering af indhold som sponsoreret/reklame.

“nofollow” kan anvendes på ovenstående samt alle andre typer af links, hvor vi gerne vil tage afstand fra sidens indhold eller ejer.

“dofollow” og “follow”

Disse tags findes ikke. Google og andre søgemaskiner antager at hvis der ikke er angivet noget, så må de gerne følge links på dem og du som hjemmesideejer vil gerne associeres med indholdet på den anden side af et link.

Filen robots.txt er et sæt instruktioner til robotter, ikke kun Google, selvom jeg dog vil fokusere på Google i indlægget her.

robots.txt er IKKE et værktøj til at fjerne indhold fra Google – her skal du i stedet:

• Bede Google om ikke at indeksere med noindex
• Beskytte indholdet med et kodeord
• Fjerne det fra din offentlige hjemmeside
• Bede Google fjerne indholdet via Google Search Console

På baggrund af at jeg mere end én gang har måtte rydde open fejlkonfigureret robots.txt-fil, er min anbefaling at efterlade filen helt tom. Er du blandt de læsere som ved at man i robots.txt kan angive et sitemap, er mit svar at dette bør tilføjes i Google Search Console i stedet.

Grunden til at der skal være en fil, er for at Google kan se at der ikke er angivet nogle regler. Vi har oplevet at Google husker de gamle regler og følger dem eller at fordi filen mangler og hjemmesiden derfor melder fejl, så bliver alle sider fjernet fra Googles indeks. Selvom fejlen er let at rette, så kan det betyde et alvorligt og langvarigt dyk i placeringer.

Det jeg håber du får med fra indlægget her, er at de forskellige meta-tags og robots.txt-filen er nogle magtfulde værktøjer i forhold til at styre hvad Google ser og gør med det den ser på din hjemmeside. Men vigtigst er, at du forstår at det kan være farligt at rode med selv og at du i langt de fleste tilfælde er bedre tjent med at bruge andre tiltag, end noindex eller robots.txt til at fjerne indhold fra Google.

Lad Google gøre sit og fokusér på at lave en god hjemmeside til dine besøgende, så er jeg sikker på, at du nok skal se resultater af jeres søgemaskineoptimering.

Hvis du oplever problemer med noget af ovenstående eller har spørgsmål til om I gør det rigtigt, så vil vi gerne hjælpe – du har sandsynligvis ikke en udfordring, vi ikke har løst før (og hvis du har, så tror vi på at vi har erfaringen til at hjælpe dig videre).

• Google’s dokumentation vedrørende noindex
• Google’s dokumentation vedrørende udgående links (herunder nofollow)
• Fjern personlige oplysninger fra Google (om dig selv)
• Fjern billeder fra Google Images (indholdspolitik)
• Rapportér phishing-side (til Google)
• Fjern indhold fra Google (alle produkter) af juridiske årsager (eksempelvis ophavsret)
• PDF eller hjemmeside, hvad skal jeg vælge?
• Dybdegående vejledning til Crawling, Indeksering og præsentation af resultater på Google
• Forbrugerombudsmanden om skjult reklame
• John Mueller, Search Advocate hos Google, siger det ikke giver mening at noindexe privatlivspolitik
• Search Off the Record episode omhandlende ikke-HTML filer på internettet