Frederik Hyldig

Skjul backlinks for dine konkurrenter og undgå kopiering

Frederik — Sun, 03 Jun 2012 10:00:10 +0000

Hvad gør du, når du skal finde nye steder at opbygge links fra? Som mange andre kigger du måske ofte på dine konkurrenters hjemmesider og forsøger at finde frem til, hvilke links de allerede har opbygget. Der er jo ingen grund til at opfinde den dybe tallerken igen, og når de har lavet forarbejdet, kan du hurtigt kopiere mange af deres links.

Hvis du ikke allerede var klar over det, kan dette lade sig gøre med værktøjer som Open Site Explorer, Majestic SEO, Searchmetrics Essentials og en række andre værktøjer. Disse værktøjer giver dig adgang til at se en hvilken som helst hjemmesides backlinkprofil.

Det er en utroligt effektiv metode til linkbuilding, som samtidig er både nem og gratis at gøre brug af. Ulempen ved, at sådanne værktøjer eksisterer er, at det sænker barrieren inden for linkbuilding aspektet af søgemaskineoptimering. Det betyder, at nybegyndere stort set fra dag 1 kan gå ud og kopiere backlinks fra andre hjemmesider, som har arbejdet hårdt i flere år for at opbygge en stærk backlinkprofil. Unfair? Måske, men det er nu engang sådan det fungerer.

Gør du brug af metoder, som klart overtræder Googles retningslinjer, har du langt mere på spil end bare at få dine backlinks kopieret. Udover at “stjæle” dine links, kan konkurrenter også nemt finde frem til de mindre pæne links i din linkprofil og anmelde dem til Googles Webspam team. Dette finder uden tvivl sted inden for mange af de konkurrenceprægede søgeord – også i Danmark.

Det giver selvsagt nogle bekymringer, hvis man er en af dem, som klarer sig godt i en branche. Så hvad kan man gøre for at forhindre dette?

Udover at opbygge backlinks, der er svære eller umulige at kopiere, er der faktisk noget, du kan gøre for at skjule nogle af dine hjemmesiders backlinks for dine konkurrenter. Det er langt fra en perfekt løsning, men det burde dog kunne lade sig gøre at skjule nogle backlinks. Du får opskriften i denne artikel.

Hvordan virker et backlink værktøj?

Et af de mest populære værktøjer til at finde en sides backlinks med er uden tvivl Open Site Explorer (herefter OSE), der er lavet af det amerikanske firma SEOmoz. Et værktøj som OSE samler informationer på stort set samme måde, som Google og andre søgemaskiner gør det.

Ved hjælp af små robotter (web-crawlers), der følger links fra hjemmeside til hjemmeside rundt omkring på nettet, kan SEOmoz opbygge en enorm database af hjemmesider. Sammen med hjemmesiderne gemmer de også bestemte informationer – eksempelvis hvilke sider, der linker til hvilke, samt ankerteksten, der bruges.

SEOmoz har et stort indeks – den sidste opdatering indeholdt 164 milliarder URLs (ifølge dem selv) – som de kalder Mozscape (tidligere hed det Linkscape). Fremgangsmåden for opdateringen af lige netop dette indeks er nogenlunde sådan:

We grab the most recent index.

We take the top 10 billion URLs with the highest MozRank (with a fixed limit on some of the larger domains).

We start crawling from the top down until we’ve crawled 65,000,000,000 pages (which is about 25% the amount in Google’s index).

Nu tænker du muligvis, at man bare skal smide et noindex meta tag ind på siden og på den måde blokere for OSE’s robotter, så siden ikke blive indekseret i Mozscape. Tanken er god, men det er desværre ikke så nemt.

Forskellen på søgemaskiner som Google eller Bing og backlink checkere som Open Site Explorer eller Majestic SEO er, at hos Google og Bing søger du via ord eller sætninger, og resultaterne er URL’er. På Open Site Explorer og Majestic SEO søger du derimod via selve URL’en og får resultater i form af backlinks.

Hvis man læser hele About-siden på Open Site Explorers hjemmeside, støder man da også på følgende sætning:

If our crawlers or data sources are blocked from reaching those URLs, they may not be included in our index (though links that point to those pages will still be available).

Det interessante i sætningen har jeg markeret med fed. Det betyder med andre ord, at man godt kan blokere adgangen for web-crawlers, men det forhindrer dem ikke i at samle informationer fra andre sider, som ikke har blokeret dem. Da et eksternt backlink til din hjemmeside altid vil eksistere på andre hjemmesider giver dette altså et problem.

Hvordan skjuler man sine backlinks?

Det nemmeste havde været, hvis man blot kunne tilføje et robot specifikt noindex meta tag i -elementet på sin hjemmeside og på den måde undgå at blive indekseret i lige netop de indeks, som bruges af backlink checkerne. Det kan desværre ikke lade sig gøre, da ingen af disse værktøjer tilsyneladende respekterer dette.

Stort set alle værktøjer respekterer dog robots.txt filer (kun SEO Spyglass nægter – mere om det senere). Men som i eksemplet ovenfor, kan en robots.txt fil kun medvirke til, at netop din hjemmeside ikke bliver crawlet. Web-crawlerne kan altså ikke se, hvilke sider din hjemmeside linker ud til. Men det beskytter jo kun dem, du linker til og ikke dig selv.

For at du kan skjule links skal du altså have kontrol over de sider, du får links fra. Det begrænser mulighederne noget, men gør det stadig muligt at skjule links fra andre nogle vigtige typer af hjemmesider:

Affiliatesider: Ejer du en række affiliate sider, hvad enten det er 5 eller 100, ønsker du højst sandsynligt ikke at andre “affiliatehajer” finder frem til dine sider. Men du vil sikkert stadig gerne udnytte muligheden for at linke internt mellem nogle af dine hjemmesider. Historien har gentagne gange vist, hvordan succesfulde affiliate sider bliver kopieret i flæng lige så snart, de bliver “opdagede”. Se blot hvordan det gik Dennis Drejer efter at have snakket åbent om et hans projekter:

Søgte lige lidt og fandt mindst 15 blogs som var kopi af mit affiliate konkurrence site.

— Dennis Drejer (@dennisdrejer) maj 22, 2012

Reputation management: I forbindelse med reputation management, hvad enten det for dig selv eller andre, er det aldrig en god idé at reklamere for meget med, at man har udført reputation management. Så har du lavet linkbuilding til nogle af de positive resultater, kan det være en god ide at skjule disse backlinks for offentligheden. Det hænger fint sammen med det næste punk;

Splogs: Har du et netværk af splogs, er der ingen tvivl om, at du skal skjule det. Hvorfor dog fortælle dine konkurrenter om alle dine splogs? Bloker udvalgte robotter på dine splogs og undgå at dine “rigtige” hjemmesider bliver kædet sammen med dem.

Blackhat: Gør du brug af SEO-metoder, der kan kaldes blackhat eller klart bryder Googles retningslinjer, kan det være en god ide at skjule dine links. Jeg stødte på et eksempel forleden, hvor der var købt en række gamle domæner og derefter smidt et par links til en webshop i bunden af en ellers fuldstændig tom hjemmeside i håb om at drage nytte af de gamle domæners PageRank. Hvis dine konkurrenter opdager dette via en backlink checker som Open Site Explorer, har de fri mulighed for at anmelde dine sider direkte til Google for brud på deres retningslinjer.

Robots.txt, Backlink værktøj og User-Agents

For at blokere et værktøj som Open Site Explorer eller en hvilken som helst anden backlink checker, er det nødvendigt at kende til navnet på deres crawlers User-Agent. Det er ikke navn, de er ivrige efter at fortælle, men hvis man leder lidt eller kontakter dem direkte, kan man godt finde frem til det (i de fleste tilfælde). Jeg har lavet lidt research, så herunder får du navnet på de mest populære værktøjer og deres User-Agents (angivet i klammerne):

Open Site Explorer [dotbot] (og muligvis stadig [rogerbot])
Search Metrics [SearchmetricsBot]
Ahrefs [Ahrefsbot]
MajesticSEO [MJ12bot]
Sitexploration [Zookabot]
SEO Spyglass

Lad os antage, du ønsker at blokere alle disse værktøjer. I så fald ville en robots.txt fil kunne se sådan ud:

User-agent: *
Disallow:

User-agent: dotbot
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: SearchmetricsBot
Disallow: /

User-agent: Ahrefsbot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: Zookabot
Disallow: /

I eksemplet ovenfor er der 7 elementer. Det første element siger, at alle robotter (*) må crawle alle filer. De 6 næste elementer underkender denne ordre og fortæller derudover, at de 6 udvalgte robotter ikke må få lov til at crawle noget på hjemmesiden (/). For at bruge overstående eksempel skal du gemme det som en simpel tekstfil med filnavnet robots.txt og derefter lægger den i roden af dit eller dine domæner.

Det jeg beskriver i denne artikel er, hvad jeg vil kalde, avanceret SEO, så sørg for at have styr på, hvad du laver, ellers kan du risikere at skade din egen hjemmeside. Dertil vil jeg sige, at du ikke bare skal følge mine anvisninger blindt. Tag i stedet og læs nogle af de ressourcer jeg linker til og brug mine anvisninger som vejledning og inspiration. Wikipedia har en fin artikel om, hvordan robots.txt filer fungerer – den vil jeg opfordre dig til at læse.

Hvad med de andre?

Du bemærkede måske, at jeg havde overstreget den backlink checker ved navn SEO Spyglass i listen længere oppe. Sagen er nemlig den, at ud af alle dem, jeg har spurgt eller undersøgt, er det kun SEO Spyglass, som nægter at oplyse navnet på deres crawler. Lidt søgninger på nettet viser, at jeg ikke er den eneste, der har forsøgt uden held. Link-Assistant, som er firmaet bag SEO Spyglass, gav mig dette svar:

The SEO SpyGlass agent user we use to crawl the Web for links is still in beta and doesn’t have a name. As soon as it’s out of beta, we will let you know, so you will be able to block it with robots.txt files.

Jeg ved ikke hvor lang tid, de har tænkt sig at være i beta, men SEO Spyglass eksisterede også i 2006. Hvor lang tid de har haft deres egen crawler vides ikke, men det giver i hvert fald anledning til at vise, hvad man kan gøre, hvis man absolut vil blokere alle tænkelige værktøjer. Der findes jo også værktøjer, som jeg ikke har nævnt her, og der dukker hele tiden nye op. Hvis det er altafgørende at få skjult links, kan man prøve med en anden, omvendt, fremgangsmåde. I stedet for at blokere udvalgte bots, kan man i stedet vælge at tillade udvalgte bots.

Det betyder, at man tillader Google, Bing og hvem end, man nu vil give adgang, og så ellers blokerer for alle andre. I en robots.txt fil vil det se nogenlunde sådan her ud:

User-agent: Googlebot
Disallow:

User-agent: bingbot
Disallow:

User-agent: *
Disallow: /

I de fleste tilfælde vil jeg dog ikke anbefale denne løsning. Man kan risikere at blokere bots, som man egentlig ikke har interesse i at blokere. Skulle det ske, at en af de bots, man tillader, skifter navn, har man altså blokeret for den (bingbot hed eksempelvis msnbot så sent som indtil oktober 2010).

Giver det ikke et tydeligt footprint?

Har man et netværk af hjemmesider, hvad enten det er splogs, affiliate sider eller noget tredje, bør man være opmærksom på, om ens sider på nogen måde kan kædes sammen. Man kan sige, at hver hjemmeside har et footprint (et slags fingeraftryk om man vil), og jo flere ligheder der er mellem to hjemmesider, jo mere ens er deres footprint. Det kan eksempelvis være, hvis alle dine splogs bruger det samme WordPress tema, eller hvis de konsekvent linker til de samme hjemmesider. Hvis Google opdager en tydelig sammenhæng mellem udvalgte sider, kan de kategorisere det som et linknetværk, og det kan få negative konsekvenser for sidens placeringer i søgeresultaterne.

Bruger du den samme robots.txt fil på alle dine sider, kan man argumentere for, at det er et footprint, der forbinder dine sider med hinanden. Personligt ville jeg ikke bekymre mig for meget om lige netop robots.txt’en, men hvis du vil dækkes ind, kan du faktisk bruge en anden løsning.

Det kræver, at du bruger en Linux/Apache server og derfor kan gøre brug af en .htaccess fil. Fordelen ved .htaccess fil er, at du kan blokere bots uden, at de kan læse hvem, du ellers blokerer. En .htaccess fil til dette formål kan se sådan ud:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^dotbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^rogerbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SearchmetricsBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Ahrefsbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zookabot [OR]
RewriteRule ^.* – [F,L]

Filen gemmes som en .htacess fil og lægges op på din hjemmeside.

Linkbuild i fred

Hvis du bruger metoderne nævnt i denne artikel, bør du fremover kunne linkbuilde velvidendende om, at dine konkurrenter ikke kan finde alle dine links.

Jeg vil gerne høre, hvad du synes om at skjule links på denne måde, og om det er noget du kunne finde på at bruge. Har du nogle relevante tips eller tricks, må du endelig også byde ind i kommentarerne herunder.

Sådan håndterer du midlertidig lukning af en hjemmeside

Frederik — Sun, 01 Jan 2012 10:00:59 +0000

I dette indlæg vil jeg forklare, hvordan du håndterer situationer med planlagt nedetid. Det vil sige, at du bevidst gør din hjemmeside utilgængelig i en kortere periode. Det kan være ved større ændringer på hjemmesiden eller i forbindelse med vedligeholdelse af serverne.

Det bør som regel altid være sidste udvej at gøre hele hjemmesiden utilgængelig, men I nogle tilfælde kan det altså være nødvendigt. Herunder får du mit forslag til, hvordan du kan gribe det an med SEO i tankerne.

Fortæl både mennesker og robotter, at det kun er en midlertidig lukning.

Ved en midlertidig lukning bør man altid underrette både mennesker og robotter, så de ved, at det er en planlagt lukning, og at det kun er midlertidigt. Med robotter menes der i dette tilfælde søgemaskinerne. Det bør også fremgå, hvornår det forventes, at hjemmesiden er tilbage igen. På den måde sikrer man sig, at både mennesker og robotter vender tilbage på et senere tidspunkt og kan finde det, som de forventede at finde.

Der er to typiske fejltagelser, som man ofte ser, når en hjemmeside gøres midlertidig utilgængelig..

Fejl 1. Alle filer fjernes fra serveren.

Når både mennesker og robotter forsøger at besøge hjemmesiden, vil det resultere i en 404 fejl, hvilket betyder, at hjemmesiden ikke kan findes. Det giver intet hint til hverken søgemaskinerne eller menneskerne om hvad, der egentlig foregår. Man vil typisk få vist en side, der ligner denne:

Mennesker vil i værste fald tro, at hjemmesiden ikke længere eksisterer og derfor opgive at finde den igen. Søgemaskinerne håndterer situationen på nogenlunde samme måde. For dem betyder en 404 fejl, at hjemmesiden ikke længere eksisterer, og den vil med tiden blive fjernet fra deres indeks.

Fejl 2. Der lægges en simpel side på serveren med en kort besked om lukningen.

Et alternativ til løsningen ovenfor er at fjerne alle filer og derefter lægge en enkelt meget simpel fil ud på serveren, som indeholder en eller to sætninger, der forklarer hvorfor, siden er lukket. Herefter peger man så alle de gamle sider hen mod denne fil.

Denne metode fortæller menneskerne, hvad problemet er – men den giver stadig ikke nogen mening for søgemaskinerne. Søgemaskinerne kan faktisk blive så forvirrede, at de nu tror, denne midlertidige udgave af hjemmesiden (de to sætninger) rent faktisk er en permanent hjemmeside.

Alt afhængig af, hvordan pegningen fra alle siderne er lavet, kan man også risikere at søgemaskinerne tror, at alle sider på hjemmesiden nu er fjernet, og at det kun er forsiden, der skal rangere i søgeresultaterne. Det er den sikre vej til at miste alle sine placeringer i Google.

Lidt om HTTP Status koder

Hver gang du besøger en hjemmeside, modtager din browser en besked fra den server, hjemmesiden ligger på. Denne besked kaldes en HTTP status kode. Det er vigtigt at forstå, hvad de vigtigste koder betyder.

200 OK – Denne kode indikerer, at handlingen, der blev anmodet om, blev modtaget, forstået og leveret. Med andre ord: man får vist den hjemmeside, man bad om.

301 Moved Permanently – Den anmodede side er permanent flyttet til en ny adresse. Det er denne type, man bruger ved de såkaldte 301 redirects. Den besøgende bliver automatisk sendt videre til den nye adresse, og søgemaskinerne ved, at de fremover skal komme til den nye adresse. Værdien fra den gamle side bliver helt eller delvist overført til den nye destination.

302 Found - Den anmodede side er midlertidigt flyttet til en ny adresse. Den fungerer som en 301 redirect, ved at den sender den besøgende videre. Søgemaskinerne ved, at det kun er en midlertidig flytning, og der bliver ikke overført nogen nævneværdig værdi til den midlertidige adresse.

404 Not Found – Den anmodede side kunne ikke findes. Denne fejlbesked får man, hvis man forsøger at besøge en side, som ikke længere findes på den pågældende adresse. Indholdet kan sagtens bare være flyttet til en ny adresse – men med en 404 besked får hverken mennesker eller søgemaskiner dette at vide. Hvis en søgemaskine gentagne gange støder på en 404 fejl, risikerer man, at siden bliver fjernet fra søgemaskinens indeks.

503 Service Unavailable – Serveren er midlertidig utilgængelig – enten fordi den er overbelastet, eller fordi den er ved at blive vedligeholdt. Søgemaskinerne forstår, at dette er en midlertidig situation. Derfor bør man give denne besked, når man lukker en hjemmeside ned midlertidigt.

Der findes mange flere HTTP status koder – du kan finde en liste her.

Sådan fortæller du søgemaskinerne, at det kun er en midlertidig lukning.

Hvis du lukker din hjemmeside midlertidigt, skal du informere søgemaskiner som Google om dette. Som du kunne læse ovenfor gøres det med HTTP status koden 503, der fortæller, at serveren er midlertidig utilgængelig.

Der skal altså først laves en fil, som returnerer en 503 status kode. Når søgemaskinen ser denne, vil den forstå hvad, der foregår. Det kan gøres ved kopiere nedenstående 4 linjer ind i notesblok og gemme som 503.php. Denne fil lægger du så op i roden på dit webhotel.

[php]
header("HTTP/1.1 503 Service Temporarily Unavailable");
header("Status: 503 Service Temporarily Unavailable");
header("Retry-After: 3600");
?>
[/php]

De første to linjer fortæller, at det er en 503 kode, og den sidste linje bruges til at give et bud på, hvornår hjemmesiden forventes at være tilgængelig igen. Google kan forstå denne besked, så det er en mulighed for at fortælle Google, hvornår de skal kigge forbi igen. Der skal enten angives et tal (sekunder) eller en dato. Hvis du forventer at være tilbage d. 5. januar 2012 kl 14.00, skal du skrive:

[php]
header("Retry-After: Sun, 5 Jan 2012 13:00:00 GMT");
[/php]

Læg mærke til, at jeg skrev 13:00:00, selvom jeg skrev 14:00:00 ovenover. Det skyldes, at tiden altid skal angives i GMT/UTC, som er en time bagefter vores tid i Danmark.

Men det er ikke nok blot at smide en 503 besked ind på din server. Du får jo besøgende (og dermed også Google) ind fra alle mulige kilder og til alle mulige sider på din hjemmeside. De skal alle ledes hen til beskeden om, at hjemmesiden er lukket midlertidigt.

På en Apache/Linux server kan det løses nemt ved at bruge en .htaccess fil til at pege alle sider hen mod 503.php filen. Man hører ofte om .htaccess filen, når der skal laves en 301 redirect, men det skal vi ikke denne gang. Vi skal bruge en 302 redirect. Denne form for redirect er du måske blevet advaret mod at bruge – og med god grund. Den kan nemlig ødelægge meget, hvis den bruges forkert. Men i dette tilfælde skal den altså bruges, og her kan en 301 redirect faktisk være skadelig at bruge.

Gem de 6 linjer herunder som en .htaccess fil og læg også den op i roden på dit webhotel.

[plain]
Options +FollowSymLinks
RewriteEngine On
RewriteBase /
RewriteCond %{REMOTE_ADDR} !^00\.00\.00\.00
RewriteCond %{REQUEST_URI} !^/503.php [NC]
RewriteRule .* /503.php [R,L]
[/plain]

Det lille R i sidste linje indikerer, at det er en 302 redirect. For at lave en 301 redirect skulle der havde stået [R=301, L].

Det smarte ved filen herover er, at vi kan give os selv adgang og samtidig vise en 503 besked til alle andre.

Lad os sige, at du har denne fiktive IP adresse: 12.345.678.910. Så indsætter du tallene på linje 4 i koden ovenfor:

[plain]
RewriteCond %{REMOTE_ADDR} !^12\.345\.678\.910
[/plain]

Når du har lagt de to filer (503.php og .htaccess) op på dit webhotel, er du faktisk færdig. Du har nu fred og ro til at rode med din hjemmeside, så længe du lader de to filer ligge i roden af webhotellet – og hvis Google kigger forbi, så ved de, at siden kommer tilbage senere, og du har endda fortalt dem, hvornår de bør prøve igen.

Men hvad med at give en besked til dine besøgende?

Sådan fortæller du dine besøgende, at hjemmesiden kun er lukket midlertidigt.

Med et par tilføjelser til 503.php filen, som vi lavede ovenfor, kan vi give en besked til de besøgende.

header("HTTP/1.1 503 Service Temporarily Unavailable"); header("Status: 503 Service Temporarily Unavailable"); header("Retry-After: 3600"); ?> Siden er midlertidig lukket.

`Siden er midlertidig lukket.`



Vi arbejder i øjeblikket på hjemmesiden.


Vi forventer at være tilbage om 1 time.

Overstående vil resultere i følgende besked, når man besøger siden:

Og hvis vi ser på det svar, som serveren giver til eksempelvis Google med et værktøj som FireBug, Web-Sniffer.net eller lignende, så får vi følgende svar:

Nu har vi både fortalt mennesker og robotter, at de skal kigge tilbage senere. Det er det bedste, man kan gøre for at forhindre, at Google begynder at indeksere den midlertidige udgave af hjemmesiden. Det burde altså være muligt at komme igennem en midlertidig lukning uden, at det får alvorlige konsekvenser for hjemmesidens placeringer i Google.

Google skjuler søgeord i din statistik

Frederik — Tue, 29 Nov 2011 10:00:58 +0000

Den 18. oktober 2011 indførte Google en stor ændring i hvordan, deres søgemaskine kommunikerer med resten af internettet. Google vil fremover bruge en krypteret forbindelse som standard for de brugere, der er logget ind med en Google konto – eksempelvis Gmail, YouTube og Google+. Som et resultat af dette, vil Google ikke længere videresende henvisnings-oplysninger til de hjemmesider, der modtager besøgende via søgemaskinen.

Når en bruger er logget ind, søger på Google og trykker sig ind på en hjemmeside, vil ejeren af den pågældende hjemmeside altså ikke kunne se hvilken søgning, der generede dette klik. Han vil blot kunne se, at den besøgende kom fra Google. Hvor der før ville stå et søgeord, står der nu blot “(not provided)” som på billedet herunder fra Google Analytics.

Kort sagt er det ikke længere muligt at se en nøjagtig liste over hvilke søgeord, der sender flest besøgende eller generer flest salg eller konverteringer.

Det er ikke kun Googles eget statistik-værktøj, Google Analytics, som bliver ramt af dette. Oplysningerne skjules hos Google, så alle værktøjer, der måler besøg fra Googles søgemaskine, vil blive påvirket.

~~I skrivende stund er ændringerne ikke trådt i kraft på Googles danske søgemaskine, men det er kun et spørgsmål om tid før det sker.~~ 5. marts 2012 har Google annonceret at de ruller ændringen ud på alle sprog.

Hvis du besøger ~~den amerikanske~~ Google, vil du nu blive videresendt til https://www.google.com/ (bemærk det ekstra “s”). Det ekstra “s” indikerer, at der nu bliver brugt en SSL protokol, som blandt andet gør det muligt at kryptere følsomme oplysninger. Du har sikkert set det samme, når du handler hos diverse webshops.

Hvorfor laver Google denne ændring?

Googles slogan er “Don’t be evil” og den officielle udmelding fra Google er da også, at ændringen indføres af sikkerhedsmæssige grunde – altså for at hjælpe og beskytte brugerne.

“As search becomes an increasingly customized experience, we recognize the growing importance of protecting the personalized search results we deliver”

Faren ved ikke at bruge en SSL forbindelse er størst, når man sidder på en åben internetforbindelse såsom ved et WiFi hospot på et offentligt sted. Med en SSL-kryptering bliver din browsers cookies beskyttet – det samme gør sig gældende for dit login til Google-kontoen.

Google kom faktisk med en krypteret version af søgemaskinen tilbage i maj. Allerede dengang kunne man bruge Google uden at bekymre sig om at dele informationer med 3. part. Nu har Google valgt at gå skridtet videre og tvinge denne form for søgning ned over deres brugere i stedet for lade det være et tilvalg.

Googles estimat og virkeligheden

Google estimerede, at denne ændring kun ville påvirke en lille del af alle søgninger på Google. Følgende citat er taget fra en artikel af Danny Sullivan fra Search Engine Land:

“Google software engineer Matt Cutts, who’s been involved with the privacy changes, wouldn’t give an exact figure but told me he estimated even at full roll-out, this would still be in the single-digit percentages of all Google searchers on Google.com”

Matt Cutts fra Google estimerer altså, at tiltaget kun vil påvirke mindre end 10 % af alle søgninger.

Hvis Matt virkelig mener det, han siger, så tror han altså ikke, at Google vil vokse sig større, end de er nu. Drømmen hos Google er vel at få alle brugere af internettet til at være logget på Google konstant – i så fald vil 100 % af søgninger blive påvirkede.

Herunder skal vi se på nogle grafer, der ville skabe stor glæde for enhver hjemmesideejer, hvis de blot viste antallet af besøgende på en hjemmeside. Graferne viser desværre antallet af besøg, der kommer fra Google, men som er skjult, og derfor blot vises som “(not provided)” i statistikken.

De to første billeder herunder er udklip fra henholdsvis Search Engine Land og SEOmoz‘ Google Analytics.

Det tredje billede, som ses herunder, er fra en amerikansk affiliate hjemmeside, som jeg driver (ca 25.000 månedlige besøg). Hjemmesiden har intet at gøre med Google, SEO eller online markedsføring.

Fælles for alle tre grafer er, at “(not provided)” første gang dukker op den 18. oktober 2011 – den dag Google indførte den nye ændring. Herefter følger en periode med relativ få forekomster af “(not provided)” i statistikken. Selv en lille mængde af skjulte data er uønsket, men tallene var dog små nok til at de fleste ville kunne leve med det. Umiddelbart virker det altså til, at Matt Cutts talte nogenlunde sandt, da han sagde, at Googles tiltag kun ville påvirke under 10 % af søgninger.

Men går vi frem til pil nr. 2 ved den 30. oktober, sker der pludselig en markant stigning. Statistikken fra SEOmoz viser, at de skjulte besøg går fra et par hundrede om dagen til 3.000-4.000 besøg i løbet af få dage.

Amerikanske HubSpot, som fører statistik for mere end 5.000 kunders hjemmesider, har observeret, at 11,36% af alle besøgende fra Google nu sendes uden oplysninger om søgeordet og derfor mærkes “(not provided)”. Dette er endda inden ændringen er indført på internationalt plan.

Efter at have set disse tal mener Matt Cutts stadig, at hans første udmelding er, og vil forblive, gældende. Jeg tvivler på det, men lad os da håbe, at han får ret.

@randfish we looked at all the data (not just a sample of 5K sites) before launch, and my estimate was and remains accurate.

— Matt Cutts (@mattcutts) 15. nov. 2011

Hvad kommer ændringen til at betyde?

Fra et statistisk synspunkt skal man være opmærksom på, at den skjulte data, og dermed også den synlige data, ikke er tilfældig udvalgt. Alle de søgeord, som du fremover (når ændringen føres ud i hele verden) vil se i dine statistikker, er fra personer, der ikke er logget ind på en konto. Det betyder desværre, at den data, vi modtager, forvrænges – og det er derfor svært at drage konklusioner ud fra den.

Hvis man eksempelvis sammenligner afvisningsprocenten (det Google nu kalder enkeltsidefrekvens) for “(not provided)”-søgningerne og de resterende søgeord, vil man se, at tallene ikke er ens. Det samme gælder for konverteringer, sider/besøg og så videre.

Jo flere søgninger, der bliver angivet som “(not provided)”, jo sværere bliver det også at finde ud af hvilke søgeord, der er værd at rangere højt på. Forestil dig eksempelvis at ligge nr. 1 på søgningen [hjælp til google analytics]. Højst sandsynligt vil en meget stor del af personerne, som foretager denne søgning, være logget ind på en Google konto. Så selvom du modtager 10 besøgende om dagen fra denne søgning, så viser statistikken måske kun 2 besøgende.

Det er selvsagt forskelligt, hvor hårdt forskellige brancher rammes af denne ændring. Hjemmesider med mange it-kyndige besøgende vil uden tvivl blive ramt hårdest.

Kan der være flere grunde til at Google gør det?

Selvom den officielle udmelding er, at det handler om brugernes sikkerhed, er der mange forskellige teorier om, hvilke motiver Google ellers kan have:

Google vil have flere til at bruge Google Webmaster Tools – her kan man nemlig stadig se de 1.000 mest populære søgninger hver dag.
Google vil forsøge at tjene penge på en ‘premium’ udgave af Google Analytics. Google har allerede en betalings-version kaldet Google Analytics Premium ($150.000/år). Måske bliver alle søgeord synlige i denne version?
Internetsikkerhed er et meget aktuelt emne i øjeblikket, især i USA. Google er før blevet kritiseret og har måske følt, at det var nødvendigt at overbevise den almene bruger.
Google ønsker at øge deres indtjening og vil have flere til bruge Google AdWords – der vises nemlig stadig søgeordsdata for AdWords annoncer.

Eller måske er Google bare oprigtigt interesseret i brugernes sikkerhed.

Men har Google skiftet holdning på mindre end et år? Følgende udmelding kom tidligt i år 2011 fra Matt Cutts. Det var en direkte respons til det angreb søgemaskinen DuckDuckGo.com rettede mod Googles fortrolighedspolitik (se denne kampagne side). Dengang lød det altså ikke til, at sikkerhed var et problem.

Referrers are a part of the way the web has worked since before Google existed. They’re a browser-level feature more than something related to specific websites. But if referrers bother you, just use the SSL version of Google to prevent referrers from being sent to http sites (or change your browser not to send referrers at all).

Er Google ved at miste overblikket?

Google har efterhånden en meget bred produktportefølje, og det kunne tyde på, at de er ved at miste overblikket. Google er trods alt et stort firma med mere end 31.000 ansatte verden over.

I bund og grund virker det til, at afdelingerne hos Google ikke snakker godt nok sammen. Der er flere eksempler på, at de ikke er helt enige om, hvordan tingene skal fungere. Et eksempel herpå er de råd, man får i AdSense afdelingen, som i nogle tilfælde strider direkte i mod, hvad afdelingen for Search Quality mener.

Man kunne forestille sig, at folkene i Analytics afdelingen ikke er lige så vilde med dette tiltag, som folkene i Googles PR-afdeling.

Hvad så nu?

Google har allerede fået en del kritik for det nye tiltag. Det bliver en hindring for alle, der har interesse i at føre statistik på sin hjemmeside.

Man kan håbe, at Google får ret, når de siger, at tiltaget vil påvirke mindre end 10 % af alle søgninger. Jeg tror dog, at vi er nødt til at indstille os på, at vi må undvære mere og mere data i fremtiden.

I sidste ende er Google nok ikke så bekymret for SEO og Analytics folket. Googles mål er at gøre den almene bruger tilfreds – for så længe størstedelen af verdens befolkning bruger deres søgemaskine, vil alle annoncører også bruge deres penge der.

I øjeblikket er sikkerhed på internettet meget omtalt, især i USA, og hele dette tiltag kunne sagtens være ét stort PR stunt. Tiltaget vil uden tvivl blive godt modtaget af den almene bruger, som ikke kender til de hindringer, det giver for analytikere rundt omkring i verden.

Hvad er din mening om Googles nye tiltag?