Voor steeds meer sites moet je je registreren of betalen om toegang te krijgen. Desondanks is de inhoud van pagina’s die achter slot en grendel zitten, wel vaak opgenomen in de database van zoekmachine Google.

In tegenstelling tot ‘gewone’ internetters hoeft Google niet te betalen om dergelijke pagina’s te bezoeken. Ook registratie is niet nodig, zo ontdekte beveiligingsexpert Martijn Brinkers. Veel sites die gebruikmaken van registratiesystemen of betaalde abonnementen, zetten een achterdeurtje open, zodat de zoekrobot van Google naar binnen kan.

De voordelen voor de sites die zo in de database van Google worden opgenomen, lijken evident. Een vermelding bij Google is immers gratis reclame. Mensen die tussen de Google-resultaten een pagina vinden waarvoor registratie of betaling vereist is, zullen wellicht hun gegevens op de site achterlaten of de portemonnee trekken.

User agent

Maar als Google via de achterdeur naar binnen kan, dan kunnen ‘gewone’ internetters dat natuurlijk ook. De door Brinkers ontdekte truc om de beveiliging te omzeilen, is verbluffend simpel. “In je browser moet je de ‘user agent’ aanpassen in ‘Googlebot/2.1 (+http://www.googlebot.com/bot.html)'”, legt hij uit.

In Internet Explorer kan het aanpassen van de user agent bijvoorbeeld via het programma WinGuides Tweak Manager. Voor Firefox/Mozilla is het gratis User Agent Switcher beschikbaar.

Nadat een internetgebruiker de user agent heeft aangepast, heeft hij niet langer een gebruikersnaam en wachtwoord nodig om de artikelen op de sites van de Volkskrant, Trouw, het Algemeen Dagblad en NRC Handelsblad te bekijken.

Ook diverse sites waarvoor normaal abonnementsgeld moet worden betaald, zoals het Windows & .Net Magazine en Nature, leggen bezoekers geen strobreed meer in de weg als zij zich voordoen als Google-bot.

Vervuiling

Overigens zijn niet lang niet alle sites die gebruikmaken van registraties en betaalde abonnementen, ‘kwetsbaar’ voor het door Brinkers ontdekte lek. Wie de site van de New York Times bezoekt, blijft bijvoorbeeld stuiten op een inlogscherm. “Het zou kunnen dat zij nog ergens anders op controleren, bijvoorbeeld op het ip-adres”, concludeert Brinkers.

Brinkers is niet blij dat hij allerlei kunstgrepen moet uithalen om de pagina’s die opduiken in de zoekresultaten van Google, te bekijken. Hij spreekt van ‘vervuiling van publiekelijk toegankelijke zoekmachines’.

“Omdat die sites net doen alsof de pagina’s vrij toegankelijk zijn, worden ze opgenomen in Google. Maar op het moment dat je ze gaat benaderen mag je er niet bij. Eigenlijk zou je kunnen stellen dat ze misbruik maken van een zoekmachine om privé-pagina’s te indexeren”, stelt Brinkers.

“Ik zou het fijner vinden als Google het bijvoorbeeld mogelijk zou maken om op te geven dat je niet wilt zoeken in pagina’s die niet vrij toegankelijk zijn”, stelt Brinkers voor. Om daar aan toe te voegen: “Je bent dan wel afhankelijk van de paginabouwer die dat met een meta-tag moet aangeven. Dus dat is waarschijnlijk geen realistische wens van mij.”