[turuncuu]

Microsoft URL Control - 6.00.8169 gibi e-mail toplayan bazı spam robotlardan robots.txt dosyasına engelleme koyarak kurtulamıyorum. Bu konuyu çok araştırdım ama her gün sitemi yüzlerce kez ziyaret eden bu robotlardan hiç bir kurtulma yolu bulamadım. Windows hosting ve plesk panel kullanıyorum.

[tapoem]

.htaccess'in windowstaki karşılığına (çok üşendim şimdi aramaya) HTTP_USER_AGENT header bilgisine göre bi yönlendirme eklersen sorunun çözülür. header bilgisini yanlış gösteren botlar içinse ip bloğunu engellemen gerekiyor.

[turuncuu]

Windowsta .htaccess gibi bir şey var mı ki? Ipi nasıl engelleyebilirim peki? her sayfaya kod eklemeden Ipi nasıl engelleyebilirim bilmiyorum. Pleskten filanda engellenmiyor sanırım.

[s5prin]

Biraz düşündükten sonra en pratik önerim şöyle olacak;

Ana dizine "forbidden" gibi bir dizin açıp içine index.PHP (ya da .ASP) gibi bir dosya atarız.

Sonra bunu robots.txt içerisinde özellikle belirtiriz;

User-agent: *
Disallow: /forbidden

Kötü niyetli örümcekler kasten bu dizine erişeceği için isteğe göre IP, isteğe göre tüm user agent'ları (browser'lar hariç) bir tabloda saklarız. Hatta performans nedeniyle aynı dizinde okuma/yazma izni olan bir text dosyası da olur.

web sayfamızın da tercihen her scriptinde include edilen "globals.PHP", "functions.PHP" gibi ya da sadece "index.PHP"sinde de bu dosya/tablodan eşleşen IP olursa eşekler cennetine göndeririz.

Text dosyasında IP'leri satır satır kaydeder, tek bir döngüyle de kontrolünü yaparsak en fazla yüz - yüz elli satır kayıt olacağı için sitede herhangi bir yavaşlama yaşanmaz diye düşünüyorum.

[turuncuu]

Robotlar hakkında detaylı bilgisi olan yok mu?

Bazı kötü robotlar robots.txt dosyasından etkilenmiyor.
Bazı robotlar da 8 farklı ip adresinden sitemi kontrol ediyor.

Ben onları engelleyemiyorum. Yani elim kolum bağlı...