Sign in to follow this  
Followers 0
Gordiev

Помогите настроить файл robots.txt

2 posts in this topic

Я знаю, что было много тем, но конкретного ответа я так и не нашел, мой файл роботс выглядит так, что нужно добавить или убрать? В файле присутствует hosts, просто не хочу палить сайт пока что) Буду рад адекватным ответам, спасибо.


User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /addnews
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search

0

Share this post


Link to post
Share on other sites

Ну это все индивидуально... убери из роботс те dissalow, которые не нужны и добавь те страницы, которые нужны. Все очевидно и просто. Тут нет шаблона..
Например добавь карту сайта, так же можешь запретить индексацию страниц (/page/2/, page/3/), если есть не нужные страницы для ПС типо (правообладателям, реклама на нашем сайте и т.д.) то тоже можешь смело их закрыть.
Думать ты уловил о чем речь.

0

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now
Sign in to follow this  
Followers 0