Helaas worden referrers op steeds minder weblogs getoond. Spammers hebben ontdekt hoe ze het referrer-systeem kunnen vervuilen met linkjes naar hun eigen dubieuze websites, en dat gebeurt dan ook op grote schaal. Omdat de meeste webloggers geen zin hebben dat allemaal met de hand op te ruimen, kiezen velen (Rock en Richard bijvoorbeeld) ervoor om referrers uiteindelijk maar helemaal weg te laten.
Er zijn wel referral spam blocker tools, zoals de MT Blacklist, voor de blogging tool Movable Type. Ook in BlogSphere, de Domino weblog-tool die door e-office gebruikt wordt, zit wel een referral spam blocker, maar die is niet adequaat. Daarom heeft e-office nu een nieuwe referral spam blocker-functionaliteit in BlogSphere gebouwd, die gebruik maakt van de MT Blacklist database: MTBB, MT Blacklist for BlogSphere.

MT Blacklist importeren
In de implementatie die we nu gebouwd hebben, wordt de MT Blacklist in .txt formaat gedownload (vanaf deze website) en geïmporteerd in een aparte database. Wijzigingen in de blacklist worden via een XML-feed opgehaald, zodat de lijst bij de tijd blijft.
De blacklist-database bevat ook een whitelist, die met de hand gevuld kan worden. Tenslotte kan er nog met regular expressions gewerkt worden om generieke spam-termen af te vangen.

Configuration document
Op het BlogSphere Configuration document wordt een extra tabje bijgeplaatst. Daar kan geconfigureerd worden of de blacklist-controle moet plaatsvinden, waar de blacklist-database staat, en of geblackliste referrers verwijderd danwel geblocked moeten worden. Ook kan de MTBB-agent desgewenst van iedere block-actie een logdocumentje aanmaken; dat kan handig zijn bij het testen van MTBB.

De procedure
Van ieder nieuw referral document wordt eerst bekeken of de referrer in de whitelist staat. Zo ja, dan krijgt de referrer onmiddelijk de status 'verified', en verschijnt het in de view 'verified and valid' en op het blog.
Komt de referrer niet in de whitelist voor, dan wordt de blacklist gecontroleerd. Wordt de referrer in de blacklist view gevonden, dan wordt het referral document verwijderd of geblocked (naar gelang het geconfigureerd is).
Het blacklist-documentje in de blacklist-view krijgt een nieuwe timestamp; de blacklist-view is namelijk gesorteerd op 'last modified'. Veel voorkomende referrals komen zo bovenaan te staan in de view, waardoor de checks sneller afgewerkt worden.
Komt de referrer niet voor in de blacklist, dan wordt de bestaande referral-controle in BlogSphere alsnog uitgevoerd.

OpenNTF
We zijn deze implementatie van de MT Blacklist nu aan het testen, en na enig tweaken en aanpassen werkt het nu foutloos. Er zijn alleen vanmiddag al honderden spam referrals op correcte wijze afgehandeld! We hopen, bij verder succes, de code binnenkort over te dragen aan OpenNTF.