dısallow:archive bnu eklemetın dıgerlerını ekleyın ıse yarıo

evet yarıyor

Arkadaşlar güvenlik önlemi alıcaz diye kulaktan dolma bilgilerle yanlış şeyler yapmayın.
1- Google Bu kadar uzun robots.txt yi sevmez.
2- Bu kodlar arasında google a ait izin yada bir yasak göremedim.
3- Sizce siteye zarar vermek isteyen hangi bot robots.txt ye bakar ? aa bu site sahibi bana izin vermiyor en iyisi ben buraya girmiyim mi der ? Hırsızın zili çalıp ev sahibinin kapıyı açmaması gibi bir şey oluyor

Güvenlik önlemleri alır iken daha dikkatli olmanızı tavsiye ederim.

Peki bu robots.txt bir işe yaramıyormu diyebilirsiniz? Evet yarar, örneğin google,msn,yahoo,altavista gibi büyük arama motorları sitenizi indexlemeden önce robots txt ye bakar, böylelikle istemediğiniz yerleri indexletmezsiniz.

Saygılarımla

Med_Cezir bu faydalı açıklaman için teşekkürler.. Sanırım yeterli bir açıklama oldu.

tşkürler...

daha onceki konuda belirtilmis .. saol yinede.

Bunu ben göremedim yada yoktu sanırım. Arkadaşlar bunu da eklemenizde büyük önem görüyorum ayrıca bir forum dizininiz varsa /forum/ diyebilirsiniz. Bu bot bir takım web sitelerini tamamen kendi sitesine indiren web site arşivi gibi bişey. 1-2GB band alanınız varsa dönem başında kafadan 500MB band alanınız gittiyse bu site götürüyor sağlam band alanı yiyor Türkçesi: sömürmek.

Sömürgenin web sitesi: http://www.archive.org/web/web.php

görmemesini istediğim alanları nasıl saklamam lazım. msl admin panelini filan görmesini istemiyorum