Viele Webmaster merken es nicht, wenn sich dieser „nette“ Crawler auf der Seite festgebissen hat, da sie sich keine Zugriffs-Statistiken anschauen. Ich kenne etliche Page-Besitzer, die nicht einmal wissen, dass es solche Statistiken gibt, geschweige denn ihre Zugangsdaten zum Admin-Bereich beim Hoster kennen.

Ich sehe mir regelmäßig die Besucher-Statistiken an und merke schnell, wenn etwas nicht so ganz passt. Monatelang ärgerte mich in den Zugriffsstatistiken die „semalt.com“. Jeden Tag besuchte deren Crawler meine Seiten bis zu 150x mit steigender Tendenz. Er brachte mir unendlich viele Referrer Spam (Vorgaukeln von Besuchern) und das ist alles andere als gut. Da es keine echten Besucher sind, kann die komplette Statistik und Auswertung verfälscht werden. Diese Referrer Spams sind quasi Besucher, die sich nur null Sekunden auf der Webseite aufhalten und dadurch wird Traffic verschleudert.

Die semalt.com ist eine SEO-Seite (Suchmaschinenpoptimierer), welche diese Referrer Spams als agressives Online-Marketing einsetzt. Die Betreiber der semalt.com wollen auf diese Art die Webseitenbetreiber auf sich aufmerksam machen, dass diese nachschauen, woher der Traffic kommt. Das bringt der semalt nicht nur Klicks, sondern auch Interessenten für das SEO-Angebot. Kein erfahrener Webmaster wird sich darauf einlassen, sondern eher sehen, wie er diese schädlichen WWW-Kletten wieder loswird. Mit der robot txt diesen Crawler auszusperren ist nicht möglich. Es funktioniert einzig und alleine nur über htaccess. Den meisten Usern wird die htaccess-Datei bekannt sein. Falls nicht, gibt es im WWW die Anleitung dazu und es ist nicht kompliziert. Hier z. b. https://www.zdv.uni-mainz.de/3571.php wird es gut erklärt.

OK, jetzt weiss man also wie man die Nerv-Backen rauswerfen kann. Allerdings ist dies jetzt nicht ganz so einfach, da die semalt.com noch etliche andere Seiten hat, die auf die Hauptseite der semalt verlinken. Mit anderen Worten, ich muss jede Seite einzeln aussperren. Um das Verfahren abzukürzen und zu vereinfachen, hier der Text für Ihre htaccess, den Sie so übernehmen können:

RewriteCond %{HTTP_REFERER} ^http://.*savetubevideo\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*kambasoft\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*semalt\.com/ [NC]
RewriteRule ^(.*)$ – [F,L]
RewriteCond %{HTTP_REFERER} ^http://.*veloxzone\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*7makemoneyonline\.com/ [NC,OR]
# block visitors referred from buttons-for-website.com
# block visitors referred from buttons-for-your-website.com
# block visitors referred from best-seo-offer.com
# block visitors referred from semalt.com
RewriteCond %{HTTP_REFERER} ^http://.*best-seo-offer\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*sharebutton\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*buttons-for-your-website\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*best-seo-offer\.com/ [NC]
RewriteCond %{HTTP_REFERER} ^http://.*buttons-for-your-website\.com/ [NC]

RewriteCond %{HTTP_REFERER} http://www.semaltmedia\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://www.semaltmedia\.com/ [NC]

# block visitors referred from semaltmedia.com

Erst nachdem ich wirklich alles in die htaccess eingetragen habe, ist wieder Ruhe eingekehrt. Sie sollten diese Referrer auf jeden Fall loswerden, denn es kann den Webseiten ziemlich schaden. Die google Crawler können eine Webseite abstrafen, weil es durch semalt künstlich erzeugter Traffic ist und keine echten Besucher. Dadurch kann eine bisher gut gelistete Webseite schnell aus den forderen Rängen verschwinden.


Hier ist die gesamte Auflistung MEINER Nerv-Backen, was jetzt aber nicht zwingend übernommen werden sollte. Manche Crawler nerven nur, aber sind ansonsten harmlos. Sie schaden nicht, aber bringen auch keinen Nutzen. Einige der aufgelisteten, gibt es bereits nicht mehr.

RewriteCond %{HTTP_REFERER} ^http://.*semalt\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*7makemoneyonline\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*youtubedownload\.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*softomix\.ru/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*zazagames\.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*youtubedownload\.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*vapmedia\.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*vapmedia\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*soundfrost\.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*joingames\.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*videofrost\.net/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*softomix\.net/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*feedouble\.net/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*backgroundpictures\.net/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*joinandplay\.me/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*videofrost\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*srecorder\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*softomix\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*openmediasoft\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*openfrost\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*myprintscreen\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*musicprojectfoundation\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*feedouble\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*fbfreegifts\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*extener\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*embedle\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*savetubevideo\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*kambasoft\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*buttons\-for\-website\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*sharebutton\.net/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*veloxzone\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*baidu\.com/ [NC,OR]