Google Hulpprogramma’s voor webmasters / Wel of geen indexbestand?(2)

Eerder schreef ik hier over het wel of niet opnemen van een index.* bestand in de url’s en interne links. Gisteren gaven de Google Hulpprogramma’s voor webmasters ook geen fouten meer voor de sites waarop ik wel een index-bestand gebruikte, zie: Wel of geen indexbestand?. Nu heb ik weleens eerder gezien dat de fouten tijdelijk weg waren en later weer terugkwamen. Mogelijk gebruikt Google verschillende versies van de bots, die controleren op fouten en eventuele duplicate content.

Hierbij viel mij verder op dat Google direct melding gaf van pagina’s met de zelfde metatags en /of title-tag voor pagina’s waar in na aanpassing nog interne links met index.htm gebruikte.

Daarnaast viel mij vandaag het volgende op: Gisteren heb ik de domeinnaam Idating.be geregistreerd. Hierop heb ik meteen een site gezet. Deze site maakt gebruik van de content van Easyflirt-partners.biz, ik ben benieuwd of dit white-labeled dating concept inderdaad lucratief is. Na het plaatsen van de website heb ik meteen de sitemap geüpload naar het Google webmasterhulpprogramma. Vandaag vond ik onder “Diagnose > Webcrawl” een http-error. De error luidde: “Domeinnaam niet gevonden”. Dat zou natuurlijk kunnen als er een vertraging zou zijn in het updaten van de DNS-servers. Echter wordt er bij de fout ook vermeld; Probleem gedetecteerd op; 19 mrt. 2009.

De datum maakt deze foutmelding opvallend want toen bestond de site nog niet, laat staan dat ik al een sitemap had geüpload. Mogelijk had de domeinnaam eerst een andere eigenaar. In Google kan ik echter geen vermeldingen vinden voor idating.be. Tja een vreemd verhaal…… of niet? Misschien kijkt Google bij nieuwe aanmeldingen dus naar de historie van een website. Lijkt misschien onlogisch, maar daarmee kan natuurlijk voorkomen worden dat iemand de content van een website aanpast. Aanpassen van de content van een website is natuurlijk prima. Extreme aanpassingen kunnen er echter toe leiden dat een bezoeker via een zoekmachine iets anders vindt, dan verwacht. Hierbij kun je denken aan een website met een goede ranking, die plotseling verandert in een pornosite.

zie ook Google Hulpprogramma’s voor webmasters steeds nuttiger voor s.e.o.

Webshops die adsense-advertenties vertonen

Bezoekers die bijvoorbeeld de volgende pagina op drogisterij.net bezoeken. Zien naast het aanbod van cadeau-artikelen in de rechterbenedenhoek advertenties staan. Deze adsense-advertenties kunnen drogisterij.net geld opleveren als de bezoeker er op klikt. Toch lijkt het een beetje vreemd. Zelf zou ik denken dat iemand een webshop opent om producten te verkopen. Daarbij kies je dan voor producten met een goede winstmarge of een hoge omloopsnelheid. Op die manier kan geld verdiend worden met de webshop. Om geld te verdienen zijn in de eerste plaats bezoeker (klanten) nodig. Wanneer de bezoeker dan eindelijk op de website terecht is gekomen en een bestelling kan gaan plaatsen, dan wil je toch niet dat die via een advertentie weer verdwijnt??

Gezien de advertenties context gebonden zijn, zullen deze vaak verwijzen naar een vergelijkbare websites. Zo’n webshop zal dus te maken hebben met dezelfde winstmarges. De winstmarges op drogisterijartikelen zouden dus zo laag zijn, dat een klik (het doorsturen van een klant) naar de concurrent meer oplevert. Die concurrent kan daarop dan blijkbaar wel winst maken, zelfs na het betalen voor de advertentie. In het geval van een website wordt de winst natuurlijk ook gedrukt door bijvoorbeeld verzendkosten. Je zou dus haast denken drogisterij.net is door het productaanbod wel in staat geïnteresseerde bezoekers naar de website te krijgen. Vervolgens lukt het alleen niet om die producten ook met voldoende winst te verkopen. Bedrijven die dat wel kunnen zijn dus bereid op deze website te adverteren.

Op zich is er niets mis met deze strategie. Sterker het lijkt erg op de affiliate marketing, die ik ook op mijn eigen websites, zoals Lifestyleshop.be gebruik. Toch zie ik een probleem… drogisterij.net is namelijk bij verschillende affiliates-netwerken zoals kliks.nl en tradetracker aangesloten. Dat betekent dat drogisterij.net webmasters betaalt voor het sturen van bezoekers naar haar website. In dit geval is de betaling echter gekoppeld aan een daadwerkelijke verkoop. Wanneer ik nu met veel moeite een bezoeker zo ver gekregen heb dat hij / zij misschien iets wil gaan kopen op deze website, is het toch vreemd dat drogisterij.net deze klant weer ‘doorverkoopt’. Grootste probleem daarbij is voor mij natuurlijk dat ik geen percentage ontvang van de adsense inkomsten, maar dat wel had gedaan als de bezoeker een product had gekocht. Dit is misschien nog wel vervelender dan het vermelden van een telefoonnummer voor bestellingen of het sluiten van de webshop op zondag.

Mogelijk hebben ze er bij drogisterij.net net iets langer over nagedacht. Misschien staat de advertentie niet voor niets in de rechterbenedenhoek. Een website bezoeker die op dat punt van de pagina is beland, heeft blijkbaar niets gevonden wat hij wil kopen. De bezoeker heeft dan een keuze doorklikken naar een andere pagina van drogisterij.net of de website verlaten. Met een beetje rekenwerk zou je kunnen uitrekenen wat een bezoeker die doorklikt gemiddeld oplevert. Mogelijk is de opbrengst daarvan minder dan de opbrengst van de advertentieklik. Mij lijkt dit overigens geen lange termijn strategie, want zou de waarde van de klik inderdaad zo hoog zijn (of de winstgevendheid zo laag), dan zou deze webshop de mogelijkheid om iets te bestellen beter helemaal kunnen verwijderen. Elke doorklik van een bezoeker maakt de kans op bestellen kleiner en de kans op een exit (uitstapmoment) groter. Betaald krijgen voor de exit levert drogisterij.net op korte termijn misschien een kleine winst. Voor de webmasters die deelnemen aan het affiliatesprogramma van drogisterij.net is het i.i.g. altijd verlies, omdat er nog steeds een kans was dat er uiteindelijk een bestelling zou volgen.

Belangrijke vraag is natuurlijk hoeveel procent van het doorgestuurde verkeer komt uit de affiliate marketing? Webmasters kunnen kiezen voor een andere aanbieder zoals dokteronline of De Online Drogist. Voor webshops is affiliate marketing een relatief goedkope en doeltreffende manier om klanten te werven. Wanneer webshops dit beseffen en er vervolgens goed mee omgaan, kan een echte win-win situatie ontstaan. Webmasters kunnen echter net als klanten overstappen naar de concurrent, zo’n overstap betekent zowel op korte als op lange termijn een verlies voor de webshop.

Mocht de hier besproken strategie toch iets opleveren, dan zullen ‘interesses gebaseerde advertenties‘ dit mogelijk nog interessanter maken.

Adsense gaat interesses aan de advertenties koppelen

Afgelopen weekend ontvingen webmasters die gebruik maken van Adsense de officiële aankondiging van Google. Vanaf april zal Adsense gekoppeld worden aan het surfgedrag en de interesses van de websitebezoeker. Het gedrag en de voorkeur van de bezoekers wordt vast gelegd d.m.v. cookies. Google maakt hiervoor gebruik van de technologie van Doubleclick.com. Doubleclick.com werd alweer bijna twee jaar geleden door Google overgenomen.

Google maakt webmasters er op attent, dat het privacybeleid van de websites die adsense gebruiken mogelijk moet worden aangepast. Bezoekers horen te weten dat hun surfgedrag geanalyseerd wordt zodat daarmee ook op andere websites de advertenties kunnen worden aangepast. Vanwege de privacy zal Google ook gebruik maken van de Dart-cookies van Doubleclick.com. Uiteraard beschikt Google via de Google toolbar en de Google zoekmachine al over veel meer gegevens van de bezoekers van websites.

De gekoppelde gegevens van een bezoeker bepalen het interesse-profiel van een websitebezoeker. Adverteerders die via Adwords advertenties kopen voor het adsense programma kunnen hier hun advertenties op aanpassen. Advertenties zullen dus niet langer alleen gericht zijn op de inhoud van een website of internetpagina. Adverteerders kunnen hun advertenties richten op mensen met hetzelfde interessegebied. Ook wordt het mogelijk advertenties aan te passen op het surfgedrag. Dan kan de adverteerde er voor kiezen de advertenties alleen te tonen aan bezoekers, die zijn website al eerder bezochten of juist nog nooit.

Websitebezoekers zullen mogelijk problemen zien m.b.t. hun privacy. Mogelijk zien ze ook voordelen in de advertenties die beter aansluiten bij hun interesses. Het is interesseprofiel is voor de betreffende persoon overigens in te zien een aan te passen.

Belangrijkere vraag vind ik op dit moment wat zijn de gevolgen voor de webmasters die op hun website inkomsten uit Adsense halen? Zullen de inkomsten stijgen? Google wijst webmasters er op, dat adverteerders bereid zijn meer te betalen voor bezoekers waarvan de interesses bekend zijn.

Ik denk dat er vooral voordeel te behalen is voor websites, die zich niet richten op een specifieke doelgroep. Bijvoorbeeld website die nieuwsberichten publiceren kunnen voordeel behalen van advertenties, die gericht zijn op de bezoeker i.p.v. de inhoud van de website.

De inkomsten van de advertenties via adsense worden door twee factoren bepaalt. In der eerste plaats de kans dat een bezoeker op een advertentie klikt en daarnaast natuurlijk het bedrag dat de adverteerder per klik betaalt. Website, die zich qua inhoud al richten op een specifieke doelgroep, zullen dus geen profijt hebben van de wijzigingen. Door het huidige
plaatsingstargetingbeleid sloten de advertenties al aan bij de doelgroep. Het betrekken van het surfgedrag bij het vertonen van advertenties kan op deze websites juist een averechts effect hebben. Bezoekers zijn op dat moment misschien juist op zoek naar specifieke informatie, die niet per definitie binnen hun interessegebied valt.

Webmasters van websites met een specifieke doelgroep zouden het tonen van advertenties op basis van interesses dus waarschijnlijk uit willen schakelen. Google biedt die mogelijkheid wel, maar webmasters kunnen er niet voor kiezen om het surfgedrag van de bezoeker uit te sluiten. Vanaf april zullen adsense-advertenties dus steeds meer gebaseerd worden op het surfgedrag en wordt adverteerders de mogelijkheid geboden daar op te sturen.

Voor een adverteerder wordt het dan dus mogelijk advertenties bijvoorbeeld alleen nog te tonen aan bezoekers die de doelwebsite al eerder bezochte of juist niet. Advertenties worden dan meer een herinnering en een mogelijkheid om bezoekers terug te halen. Gelukkig blijft de mogelijkheid om advertenties van concurrenten niet te tonen ook in het nieuwe beleid gehandhaafd.

Webmasters kunnen de toegestane advertenties beheren via het advertentiecontrolecentrum. Hier kunnen bepaalde doelgroepen worden uitgesloten, Google vraagt webmasters wel hiervoor een reden op te geven. Webmasters krijgen de keus om advertenties te controleren voordat deze op de website getoond worden. Het weren van bepaalde advertenties of websites heeft alleen nut als de instellingen per domeinnaam of website gemaakt kunnen worden. Op dit moment kunnen webmasters advertenties alleen per Adsense account instellen.

Zelf beheer ik veel websites waarvan de doelgroep of het onderwerp al vastligt, om die reden verwacht ik ook dat het klikratio voor Adsense mogelijk gaat dalen. Vraag is dan of de vergoeding per klik inderdaad zal gaan toenemen. Overigens denk ik zelf dat het bezoeken van een bepaalde website het meeste zegt over de interesses en behoeften van de bezoeker op dat moment. Deze interesse van het moment zal volgens mij vaak juist niet passen binnen het algemene interesseprofiel.

zie ook: Google gaat de technologie van Doubleclick echt inzetten

Wel of geen indexbestand?

Bij een website is de structuur te vergelijken met een directory- of mappenstructuur op een PC. Op een PC verwacht je bij het opvragen van een directory een lijst bestanden. Bij een website is het net iets anders. De meeste webservers tonen dan een bestand met de naam index.*. Dat kan bijvoorbeeld een .htm, .html of .php bestand zijn.
Op een apache webserver kun je de volgorde aangeven d.m.v. DirectoryIndex in de virtual host configuratie. Eventueel kan de instelling weer ‘overruled’ worden door het plaatsen van een .htaccess bestand in de betreffende directory.

Door deze constructie zullen voor een website /{subdirectory}/ en /{subdirectory}/index.htm verwijzen naar dezelfde content (bestand). Vanuit een zoekmachine gezien kan dit leiden tot ‘duplicate content’. Veel website tonen bij het opvragen van de domeinnaam een menu, waarop ‘home’ bijvoorbeeld verwijst naar /index.htm. Hoewel dit misschien een vreemd voorbeeld is bestaat het risico dat een zoekmachine beide URL’s gaat indexeren en deze vervolgens ziet als ‘duplicate content’.

Op een webserver kan dit worden opgelost door het opnemen van redirect. Dus als /index.* wordt opgevraagd krijgt de bezoeken een redirect naar / of v.v. Op apache is Mod Rewrite hiervoor zeer geschikt. Op Windows-machines is er tegenwoordig voor IIS 7.0+ ook een URL Rewrite Module beschikbaar.

Vraag is nu verwijst je op een website naar de /{subdirectory}/index.* of laat je het index bestand weg. Tot op heden heb ik altijd gedacht je hierin een vrije keuze had. Mij leek de enige voorwaarde consequent zijn. In de laatste versies van Opensourcecms.eu hanteerde ik de volgende strategie. Bij het opvragen van de domeinnaam wordt geen index bestand gebruikt, dus bijvoorbeeld http://www.bhmaat.nl/. Bij het opvragen van een ‘subdirectory’ moet altijd een index.htm gebruikt worden. Bijvoorbeeld: http://www.ingetrokkentepels.nl/nl/home/hoffman_exercises/index.htm. Uiteraard is dit een keuze waarover je kunt twisten. D.m.v. Mod Rewrite zorgde ik dat ‘verkeerde’ bestanden niet kon worden opgevraagd. Indien toch een aanvraag werd gedaan voor /index.htm(l) of /{subdirectory}/ gaf ik een redirect (response code 301) naar het juiste bestand.

De boven beschreven strategie werd niet alleen doorgevoerd in de virtual host configuratie. Opensourcecms.eu zorgde dat ook binnen een website de links klopte. In interne links, menu’s en broodkruimelpaden (breadcrumbs) verwees ‘home’ naar /. Overige links verwezen naar */index.htm. Ook werd dit doorgevoerd in zichtbare html-sitemaps, zoals http://www.lynxen.nl/nl/sitemap/index.htm en ook voor de xml-sitemaps. Een voorbeeld van het laatste is te vinden op: http://www.voedingsbeha.nl/sitemap.gz.

Ondanks dat de beschreven strategie mij correct leek heeft google moeite met het indexeren van de pagina’s die uitsluitend onder *index.htm worden getoond. Google biedt een aantal hulpprogramma’s voor webmasters, hier kun je o.a. jouw xml-sitemap uploaden en deze vervolgens laten analyseren.

Ook al staat in de sitemap aangegeven dat het opvragen van /{subdirectory}/index.htm gewenst is, vraagt de spider van google toch alleen /{subdirectory}/ op. Deze aanvraag wordt door verwezen via een 301 waarop google concludeert dat er sprake is van een doorverwijzing. Concreet leidt dit in de ‘Hulpprogramma’s voor webmasters’ tot een aantal waarschuwingen (gelukkig wordt nog gezien dat het geen fout is):

URL’s niet gevolgd
Tijdens het testen van een aantal URL’s uit uw sitemap hebben we vastgesteld dat bepaalde URL’s de gebruiker omleiden naar een andere locatie. We raden u aan URL’s in uw sitemap op te nemen die naar de uiteindelijke bestemming verwijzen (de bestemming van de omleiding) in plaats van om te leiden naar een andere URL.

Ondanks dat ik deze waarschuwingen niet terecht vind heb ik toch besloten voor de toekomstige versie van Opensourcecms.eu min strategie weer aan te passen. In hyperlinks zullen geen index.* meer voorkomen, index-bestanden kunnen uitsluitend nog opgevraagd worden via een */ request. Oudere versies van Opensourcecms.eu deden dat al. Dergelijke website zoals http://www.seksuelevoorlichting.be/ geven in de ‘Hulpprogramma’s voor webmasters’ van google geen waarschuwingen.

Sinds het begin van dit jaar is de volledige broncode van Opensourcecms.eu te downloaden op http://www.opensourcecms.eu/nl/download_en_installatie/index.htm. De zip-versie zal voorlopige nog de ‘oude’ strategie hanteren. Op de via cvs beschikbare code zullen de wijzigingen z.s.m. worden doorgevoerd. Weirdmaker.be zal de eerste website zijn, die van deze nieuwe aangepaste benadering gebruik zal maken.