Über Sinn und Unsinn solcher Suchmaschinen, lässt sich wahrlich genug im WWW nachlesen. Mich jedenfalls, stören solche Dinger und da bin ich wahrlich nicht der einzigste Webmaster. Semalt war besonders hartnäckig und durch die ständigen Crawls meiner Webseiten, wurden sämtliche Statistiken verfälscht und auf Dauer kann das keiner Webseite besonders guttun.

Hier werde ich lediglich mitteilen, wie sie solche nervigen Dauergäste komplett ausschließen können und bei mir funktioniert es. 🙂

Es hilft wirklich nur, sie per .htaccess ausschließen. Falls Sie diesbezüglich etwas unbedarft sind, gibt es im WWW unzählige Beschreibungen, wie so eine .htaccess Datei schnell und einfach erstellt werden kann, falls sie nicht schon in Ihrem Root Verzeichnis angelegt ist. Jetzt aber bitte nicht “querbeet” alles aussperren, denn es gibt durchaus auch nützliche Crawler, wenn auch nicht besonders viele. 😉

Hier mein Originaleintrag in .htaccess:

RewriteCond %{HTTP_REFERER} ^http://.*semalt\.com/ [NC,OR]

# block visitors referred from semalt.com
RewriteEngine on
RewriteCond %{HTTP_REFERER} semalt\.com [NC] RewriteRule (.*) http://www.semalt.com [R=403,L]

Ich habe mehrere Aussperr-Methoden benutzt um ganz sicherzugehen, dass die Nervbacken wirklich nicht mehr reinkommen. 🙂

Hier die komplette Liste meiner Nervbacken:

RewriteCond %{HTTP_REFERER} ^http://.*semalt\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*7makemoneyonline\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*youtubedownload\.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*softomix\.ru/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*zazagames\.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*youtubedownload\.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*vapmedia\.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*soundfrost\.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*joingames\.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*videofrost\.net/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*softomix\.net/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*feedouble\.net/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*backgroundpictures\.net/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*joinandplay\.me/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*videofrost\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*srecorder\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*softomix\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*openmediasoft\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*openfrost\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*myprintscreen\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*musicprojectfoundation\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*feedouble\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*fbfreegifts\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*extener\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*embedle\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*savetubevideo\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*kambasoft\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} buttons\-for\-website\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*sharebutton\.net/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*veloxzone\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*baidu\.com/ [NC,OR]