[ archief ] Ontgooglen, de websitebeheerder bepaald

[misterikke]

Website beheerders kiezen er zelf voor informatie wel of niet op te nemen in de zoekmachines.

Vaak doen ze dit wel met de eenvoudige reden dat ze het meer zoekresultaten oplevert. Dit heeft tot gevolg dat ze vaker worden gevonden wanneer een google-gebruikers iets zoekt met als resultaat een verhoging van het bezoekersaantal.

Maar stel nou dat het mogelijk is om een (gedeelte) van een website niet op te nemen in de zoekmachines. Dan zou een websitebeheerder ZELF de keuze hebben bepaalde artikelen niet te publiceren. Wellicht een gebruiksvriendelijke optie.

Dit laatste is gewoon mogelijk. Je kunt als websitebeheerder/ ontwikkelaar zorgen dat je website niet in zoekmachines wordt opgenomen. Lees onderstaande link door voor uitgebreide informatie:
http://www.brambring.nl/Main/ZoekmachineSturen

Het komt er in het kort op neer dat je een bestandje kunt plaatsen op dezelfde locatie als waar je website staat (hostingruimte). In dit bestandje geef je aan of een zoekmachine (bv. google, ilse) een bepaalde pagina mag opnemen in hun database (dit heet: indexeren) maar bijvoorbeeld ook of google afbeeldingen mag weergeven wanneer hier naar gezocht wordt.

Gevonden woorden op google? De keus van de websitebeheerder!

ps. ik wil nog wel aangeven dat google periodiek bekijkt of webpagina's nog relevant zijn. Dit doen zij automatisch. Het kan dan ook voorkomen dat wanneer je deze techniek toepast het even duurt voordat de betreffende informatie is verwijderd.
Dit geld ook wanneer je een websitebeheerder vraagt om 1 'pagina' te verwijderen. Dit kan even duren omdat google eerst moet indexeren.

[opa]

Meer info hier:
http://www.robotstxt.org/wc/exclusion-admin.html
en hier
http://www.robotstxt.org/wc/norobots.html

[Daedalus]

Inderdaad. Kijk voor de grap eens naar http://www.trosradar.nl/robots.txt
Voordat Google deze sit of dit forum indexeert kijk het eerst naar dit bestand. Er zijn enkel een paar directories aangegeven waar niemand op mag komen. Google wordt dus toegang verleend door de TROS om dit forum te doorzoeken, te indexeren en dus opzoekbaar te maken.
Sterker nog, op deze pagina bevindt zich in de brontekst de regel <meta name="Robots" content=" INDEX,FOLLOW "> De TROS geeft Google dus min of meer de opdracht deze pagina te indexeren.
Laten we dan even een voorbeeld nemen. Iemand heeft een geschil met een ondernemer. Hij wil Radar inschakelen om bijvoorbeeld een koude douce uit te reiken of nog erger, hij zegt dat die persoon een bedrieger is (wat uiteraard niet zo hoeft te zijn, misschien is er gewoon een misverstand). Hij plaatst dus op dit forum het bericht "Jan de Keukengigant heeft me opgelicht". Google komt langs, krijgt van de TROS toestemming de pagina te indexeren en doet dat dan ook.
Vervolgens wil iemand anders mogelijk een product aanschaffen bij eerdergenoemde Jan de Keukengigant. Om zeker te zijn dat alles wel snor zit, 'googlet' hij eerst op Jans naam en vindt binnen de eerste 10 zoekresultaten het beschreven bericht. Hij besluit daarop geen zaken te doen met Jan, die overigens een hele nette, kleine ondernemer is die altijd goudeerlijk zijn werk doet. Door dit ene akkefietje is hij misschien wel genoodzaakt zijn zaak te sluiten.
Wie is er nou schuldig aan Jans slechte naam? Google? De gebruiker die het bericht postte? Of misschien de TROS zelf? Ik denk de laatste. De TROS heeft het vast niet zo bedoeld; doch ze wéét dat er vaak beschuldigingen op dit forum worden geuit, al dan niet terecht. En deze beschuldigingen worden min of meer zo aan Google overhandigt.

[Daedalus]

Degene die mijn profiel bekijkt, zal zien dat ik een sneakemail adres gebruik. Dit adres heb ik alleen in gebruik op dit forum. E-mails verstuurd naar dit adres worden door sneakemail doorgestuurd naar mijn 'gewone' e-mailadres. Daarbij wordt een header meegegeven, waaraan ik kan zien dat de verzender het adres hier vandaan heeft.
Nu is het zo dat ik zelfs al spam ontvang op dit adres. Dat wordt wel er uit gefilterd door POPFile, maar ik zie wel dat het er is. Dat betekent dus dat er een spambot e-mailadressen 'harvest' op dit forum.
Ik zal hier even wat headers posten, wellicht (hopelijk) kan de trosradar webmaster deze ip adressen terugvinden in de server logs en kan hij door middel van een .htaccess bestand deze spambot blokkeren, zodat er niet nog meer mensen slachtoffer worden hiervan.

Code: Selecteer alles

Received: from unknown (212.101.97.132) by smtpout1.mynet.com with SMTP; Mon,
12 Jun 2006 09:54:14 +0000
Received: from 81.39.248.68 by webmail90.mynet.com with HTTP; Mon,
12 Jun 2006 12:55:32 +0300 (EEST)

De spam wordt blijkbaar/schijnbaar (want de From: header hoeft niet te kloppen) verstuurd van het adres: infomailer10-at-mynet.com

[Dutch_com_freak]

Misschien kun je volgende keer in je profiel aanvinken dat je mail adres niet mag worden gezien door forum bezoekers. ben je daar ook weer vanaf.. of je maakt gewoon een nieuw gratis mail adres aan... klaar

[Daedalus]

Dat is inderdaad het hele idee achter sneakemail. Dat je wèl je mailadres zichtbaar kan laten zijn zonder dat dit veel problemen oplevert. Mocht de hoeveelheid spam te gek worden, dan kan ik het adres op de 'greylist' zetten. Alle mail wordt dan een uur (vanaf het moment dat het ontvangen is) tegengehouden. Een gewone mailserver blijft het langer proberen, een spamserver niet, die wil snel spam versturen en heeft geen tijd om dat urenlang te proberen op één adres. Mocht het zelfs dan nog zover komen dat er spam doorheen komt, dan kan ik het adres blokkeren of verwijderen. Zonder dat ik meteen helemaal onbereikbaar ben geworden, immers, ik heb voor elk forum en voor elke gelegenheid een apart adres.
En zo'n vaart loopt het toch niet. POPFile is een spamfilter dat werkt met bayesiaanse regels. Dat kan na verloop van tijd elk mailtje herkennen. Is het spam, privé, zakelijk? POPFle herkent het en voorziet de mail van de bijpassende headers die je kan gebruiken in je e-mailclient om te filteren. De spam wegfilteren bijvoorbeeld. En de familiezaken in de familiefolder en de zakelijke mail in de zakelijke folder.

[Dutch_com_freak]

voorkomen is beter als genezen denk ik dan altijd zelfde id als dat hele privacy gezeur op dit forum... als ik mijn mail adres niet zichtbaar zet.. komt google of een spambot er dan achter? nope tenzij een beheerder... maar daar gaan we niet van uit.. heb overegens een hotmail adresje gebruikt wat ik alleen voor internet zaken gebruik en als het te gek wordt open ik een andere

[Beathoven]

Voor mail is de oplossing simpel, een hotmail accountje. Daarvan kun je overal wel het adres achterlaten. Ik geef m'n standaardmail alleen door aan bekenden en hotmail dump ik op de meest 'duistere' uithoeken van het internet. Krijg dan wel liters spam maar hey.. hotmail is gemaakt voor spam

[Dutch_com_freak]

Ik geef m'n standaardmail alleen door aan bekenden

vervolgens krijgen die een virusje te pakken en wordt het adresboek uitgelezen en kun je nog je mail adres aan de wilgen hangen ik vindt de spam op hotmail eigenlijk wel mee vallen igg lijkt het er op dat bepaalde spammers @hotmail.com eruit pikken en daar nix naar versturen