robots.txt Qidiruv tizimlari Botlari uchun fayl

3339

Yangi formatda davom etish uchun: https://uzfor.net/view.php?id=60&page=1

robots.txt Qidiruv tizimlari Botlari uchun fayl

Xabarlar

Сирожиддин [2882] [off]
#1 12:36:29, 16 Sep 2017

Oddiy misol

Allow: /rasmlar/
Disallow: /admin_panel/

bu yerda Allow - robot uchun ruxsat berilgan zona. Disallow esa ruxsat berilmagan

User-agent: * / barcha botlar uchun cheklanganlardan tashqari
Disallow: / bot uchun yopiq 
Crawl-delay: 60 / pauklarni cheklash agar cheklanmasa saytga nagruzka tushadi
Disallow: /wp-admin/ / bot uchun yopiq 
Disallow: /wp-includes/ / bot uchun yopiq 
Disallow: /wp-content/plugins / bot uchun yopiq 
Disallow: /wp-content/cache / bot uchun yopiq 
Disallow: /wp-content/themes / bot uchun yopiq 
 
Sitemap: http://sayt-manzili.uz/sitemap.xml / sayt xaritasi
 
User-agent: msnbot / msnbot uchun yopiq 
Disallow: /
User-agent: psbot / psbot uchun yopiq 
Disallow: /
User-agent: yahoo-slurp / yahoo-slurp uchun yopiq 
Disallow: /

Жасурбек [767] [off]
#3 09:32:34, 25 Sep 2017

Fruden, # Fruden (25.09.2017 / 09:17)
Crawl-delay: 60 / pauklarni cheklash agar cheklanmasa saytga nagruzka tushadi

60ni o'rnida 125 turibdi keodagi saytimda. saytimga nagruzka tushyaptimi hozir???yo'q, sizning pauklaringiz cheklangan, tepada agar cheklanmagan bo'lsa nagruzka tushish xafi bor deyilgan

Tayota [667] [off]
#9 01:20:10, 19 Oct 2017

Сирожиддин, # Сирожиддин (19.10.2017 / 01:07)
Tayota, Saytda nosozlik yuzaga kelmaydi, lekin saytingizni qidiruv tizimlari tanib olishida bu fayl aynan robots.txt nomida bo’lishi kerak.Xm demak robots.txtga
Disallow: /download/
deb yozib qöysa misol menda downloadda ummon.mp3 bor uni google dan qidirsam topolmaydi yo topsaxam kirgizmaydi shundaymi?