Frederik Hyldig

Skjul backlinks for dine konkurrenter

Hvad gør du, når du skal finde nye steder at opbygge links fra? Som mange andre kigger du måske ofte på dine konkurrenters hjemmesider og forsøger at finde frem til, hvilke links de allerede har opbygget. Der er jo ingen grund til at opfinde den dybe tallerken igen, og når de har lavet forarbejdet, kan du hurtigt kopiere mange af deres links.

Hvis du ikke allerede var klar over det, kan dette lade sig gøre med værktøjer som Open Site Explorer, Majestic SEO, Searchmetrics Essentials og en række andre værktøjer. Disse værktøjer giver dig adgang til at se en hvilken som helst hjemmesides backlinkprofil.

Det er en utroligt effektiv metode til linkbuilding, som samtidig er både nem og gratis at gøre brug af. Ulempen ved, at sådanne værktøjer eksisterer er, at det sænker barrieren inden for linkbuilding aspektet af søgemaskineoptimering. Det betyder, at nybegyndere stort set fra dag 1 kan gå ud og kopiere backlinks fra andre hjemmesider, som har arbejdet hårdt i flere år for at opbygge en stærk backlinkprofil. Unfair? Måske, men det er nu engang sådan det fungerer.

Gør du brug af metoder, som klart overtræder Googles retningslinjer, har du langt mere på spil end bare at få dine backlinks kopieret. Udover at “stjæle” dine links, kan konkurrenter også nemt finde frem til de mindre pæne links i din linkprofil og anmelde dem til Googles Webspam team. Dette finder uden tvivl sted inden for mange af de konkurrenceprægede søgeord – også i Danmark.

Det giver selvsagt nogle bekymringer, hvis man er en af dem, som klarer sig godt i en branche. Så hvad kan man gøre for at forhindre dette?

Udover at opbygge backlinks, der er svære eller umulige at kopiere, er der faktisk noget, du kan gøre for at skjule nogle af dine hjemmesiders backlinks for dine konkurrenter. Det er langt fra en perfekt løsning, men det burde dog kunne lade sig gøre at skjule nogle backlinks. Du får opskriften i denne artikel.

Hvordan virker et backlink værktøj?

Et af de mest populære værktøjer til at finde en sides backlinks med er uden tvivl Open Site Explorer (herefter OSE), der er lavet af det amerikanske firma SEOmoz. Et værktøj som OSE samler informationer på stort set samme måde, som Google og andre søgemaskiner gør det.

Ved hjælp af små robotter (web-crawlers), der følger links fra hjemmeside til hjemmeside rundt omkring på nettet, kan SEOmoz opbygge en enorm database af hjemmesider. Sammen med hjemmesiderne gemmer de også bestemte informationer – eksempelvis hvilke sider, der linker til hvilke, samt ankerteksten, der bruges.

SEOmoz har et stort indeks – den sidste opdatering indeholdt 164 milliarder URLs (ifølge dem selv) – som de kalder Mozscape (tidligere hed det Linkscape). Fremgangsmåden for opdateringen af lige netop dette indeks er nogenlunde sådan:

  1. We grab the most recent index.
  2. We take the top 10 billion URLs with the highest MozRank (with a fixed limit on some of the larger domains).
  3. We start crawling from the top down until we’ve crawled 65,000,000,000 pages (which is about 25% the amount in Google’s index).

Nu tænker du muligvis, at man bare skal smide et noindex meta tag ind på siden og på den måde blokere for OSE’s robotter, så siden ikke blive indekseret i Mozscape. Tanken er god, men det er desværre ikke så nemt.

Forskellen på søgemaskiner som Google eller Bing og backlink checkere som Open Site Explorer eller Majestic SEO er, at hos Google og Bing søger du via ord eller sætninger, og resultaterne er URL’er. På Open Site Explorer og Majestic SEO søger du derimod via selve URL’en og får resultater i form af backlinks.

Hvis man læser hele About-siden på Open Site Explorers hjemmeside, støder man da også på følgende sætning:

If our crawlers or data sources are blocked from reaching those URLs, they may not be included in our index (though links that point to those pages will still be available).

Det interessante i sætningen har jeg markeret med fed. Det betyder med andre ord, at man godt kan blokere adgangen for web-crawlers, men det forhindrer dem ikke i at samle informationer fra andre sider, som ikke har blokeret dem. Da et eksternt backlink til din hjemmeside altid vil eksistere på andre hjemmesider giver dette altså et problem.

Hvordan skjuler man sine backlinks?

Det nemmeste havde været, hvis man blot kunne tilføje et robot specifikt noindex meta tag i <head>-elementet på sin hjemmeside og på den måde undgå at blive indekseret i lige netop de indeks, som bruges af backlink checkerne. Det kan desværre ikke lade sig gøre, da ingen af disse værktøjer tilsyneladende respekterer dette.

Stort set alle værktøjer respekterer dog robots.txt filer (kun SEO Spyglass nægter – mere om det senere). Men som i eksemplet ovenfor, kan en robots.txt fil kun medvirke til, at netop din hjemmeside ikke bliver crawlet. Web-crawlerne kan altså ikke se, hvilke sider din hjemmeside linker ud til. Men det beskytter jo kun dem, du linker til og ikke dig selv.

For at du kan skjule links skal du altså have kontrol over de sider, du får links fra. Det begrænser mulighederne noget, men gør det stadig muligt at skjule links fra andre nogle vigtige typer af hjemmesider:

Affiliatesider: Ejer du en række affiliate sider, hvad enten det er 5 eller 100, ønsker du højst sandsynligt ikke at andre “affiliatehajer” finder frem til dine sider. Men du vil sikkert stadig gerne udnytte muligheden for at linke internt mellem nogle af dine hjemmesider. Historien har gentagne gange vist, hvordan succesfulde affiliate sider bliver kopieret i flæng lige så snart, de bliver “opdagede”. Se blot hvordan det gik Dennis Drejer efter at have snakket åbent om et hans projekter:


Reputation management: I forbindelse med reputation management, hvad enten det for dig selv eller andre, er det aldrig en god idé at reklamere for meget med, at man har udført reputation management. Så har du lavet linkbuilding til nogle af de positive resultater, kan det være en god ide at skjule disse backlinks for offentligheden. Det hænger fint sammen med det næste punk;

Splogs: Har du et netværk af splogs, er der ingen tvivl om, at du skal skjule det. Hvorfor dog fortælle dine konkurrenter om alle dine splogs? Bloker udvalgte robotter på dine splogs og undgå at dine “rigtige” hjemmesider bliver kædet sammen med dem.

Blackhat: Gør du brug af SEO-metoder, der kan kaldes blackhat eller klart bryder Googles retningslinjer, kan det være en god ide at skjule dine links. Jeg stødte på et eksempel forleden, hvor der var købt en række gamle domæner og derefter smidt et par links til en webshop i bunden af en ellers fuldstændig tom hjemmeside i håb om at drage nytte af de gamle domæners PageRank. Hvis dine konkurrenter opdager dette via en backlink checker som Open Site Explorer, har de fri mulighed for at anmelde dine sider direkte til Google for brud på deres retningslinjer.

Robots.txt, Backlink værktøj og User-Agents

For at blokere et værktøj som Open Site Explorer eller en hvilken som helst anden backlink checker, er det nødvendigt at kende til navnet på deres crawlers User-Agent. Det er ikke navn, de er ivrige efter at fortælle, men hvis man leder lidt eller kontakter dem direkte, kan man godt finde frem til det (i de fleste tilfælde). Jeg har lavet lidt research, så herunder får du navnet på de mest populære værktøjer og deres User-Agents (angivet i klammerne):

Lad os antage, du ønsker at blokere alle disse værktøjer. I så fald ville en robots.txt fil kunne se sådan ud:

User-agent: *
Disallow:

User-agent: dotbot
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: SearchmetricsBot
Disallow: /

User-agent: Ahrefsbot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: Zookabot
Disallow: /

I eksemplet ovenfor er der 7 elementer. Det første element siger, at alle robotter (*) må crawle alle filer. De 6 næste elementer underkender denne ordre og fortæller derudover, at de 6 udvalgte robotter ikke må få lov til at crawle noget på hjemmesiden (/). For at bruge overstående eksempel skal du gemme det som en simpel tekstfil med filnavnet robots.txt og derefter lægger den i roden af dit eller dine domæner.

Det jeg beskriver i denne artikel er, hvad jeg vil kalde, avanceret SEO, så sørg for at have styr på, hvad du laver, ellers kan du risikere at skade din egen hjemmeside. Dertil vil jeg sige, at du ikke bare skal følge mine anvisninger blindt. Tag i stedet og læs nogle af de ressourcer jeg linker til og brug mine anvisninger som vejledning og inspiration. Wikipedia har en fin artikel om, hvordan robots.txt filer fungerer – den vil jeg opfordre dig til at læse.

Hvad med de andre?

Du bemærkede måske, at jeg havde overstreget den backlink checker ved navn SEO Spyglass i listen længere oppe. Sagen er nemlig den, at ud af alle dem, jeg har spurgt eller undersøgt, er det kun SEO Spyglass, som nægter at oplyse navnet på deres crawler. Lidt søgninger på nettet viser, at jeg ikke er den eneste, der har forsøgt uden held. Link-Assistant, som er firmaet bag SEO Spyglass, gav mig dette svar:

The SEO SpyGlass agent user we use to crawl the Web for links is still in beta and doesn’t have a name. As soon as it’s out of beta, we will let you know, so you will be able to block it with robots.txt files.

Jeg ved ikke hvor lang tid, de har tænkt sig at være i beta, men SEO Spyglass eksisterede også i 2006. Hvor lang tid de har haft deres egen crawler vides ikke, men det giver i hvert fald anledning til at vise, hvad man kan gøre, hvis man absolut vil blokere alle tænkelige værktøjer. Der findes jo også værktøjer, som jeg ikke har nævnt her, og der dukker hele tiden nye op. Hvis det er altafgørende at få skjult links, kan man prøve med en anden, omvendt, fremgangsmåde. I stedet for at blokere udvalgte bots, kan man i stedet vælge at tillade udvalgte bots.

Det betyder, at man tillader Google, Bing og hvem end, man nu vil give adgang, og så ellers blokerer for alle andre. I en robots.txt fil vil det se nogenlunde sådan her ud:

User-agent: Googlebot
Disallow:

User-agent: bingbot
Disallow:

User-agent: *
Disallow: /

I de fleste tilfælde vil jeg dog ikke anbefale denne løsning. Man kan risikere at blokere bots, som man egentlig ikke har interesse i at blokere. Skulle det ske, at en af de bots, man tillader, skifter navn, har man altså blokeret for den (bingbot hed eksempelvis msnbot så sent som indtil oktober 2010).

Giver det ikke et tydeligt footprint?

Har man et netværk af hjemmesider, hvad enten det er splogs, affiliate sider eller noget tredje, bør man være opmærksom på, om ens sider på nogen måde kan kædes sammen. Man kan sige, at hver hjemmeside har et footprint (et slags fingeraftryk om man vil), og jo flere ligheder der er mellem to hjemmesider, jo mere ens er deres footprint. Det kan eksempelvis være, hvis alle dine splogs bruger det samme WordPress tema, eller hvis de konsekvent linker til de samme hjemmesider. Hvis Google opdager en tydelig sammenhæng mellem udvalgte sider, kan de kategorisere det som et linknetværk, og det kan få negative konsekvenser for sidens placeringer i søgeresultaterne.

Bruger du den samme robots.txt fil på alle dine sider, kan man argumentere for, at det er et footprint, der forbinder dine sider med hinanden. Personligt ville jeg ikke bekymre mig for meget om lige netop robots.txt’en, men hvis du vil dækkes ind, kan du faktisk bruge en anden løsning.

Det kræver, at du bruger en Linux/Apache server og derfor kan gøre brug af en .htaccess fil. Fordelen ved .htaccess fil er, at du kan blokere bots uden, at de kan læse hvem, du ellers blokerer. En .htaccess fil til dette formål kan se sådan ud:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^dotbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^rogerbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SearchmetricsBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Ahrefsbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zookabot [OR]
RewriteRule ^.* – [F,L]

Filen gemmes som en .htacess fil og lægges op på din hjemmeside.

Linkbuild i fred

Hvis du bruger metoderne nævnt i denne artikel, bør du fremover kunne linkbuilde velvidendende om, at dine konkurrenter ikke kan finde alle dine links.

Jeg vil gerne høre, hvad du synes om at skjule links på denne måde, og om det er noget du kunne finde på at bruge. Har du nogle relevante tips eller tricks, må du endelig også byde ind i kommentarerne herunder.

Frederik Hyldig er Head of PPC hos s360 i Aarhus. Du kan fange ham på kontakt@frederikhyldig.dk eller på Google+ og LinkedIn. Læs mere om hvem Frederik er.