Gordiev

Помогите настроить файл robots.txt

2 сообщения в этой теме

Я знаю, что было много тем, но конкретного ответа я так и не нашел, мой файл роботс выглядит так, что нужно добавить или убрать? В файле присутствует hosts, просто не хочу палить сайт пока что) Буду рад адекватным ответам, спасибо.


User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /addnews
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну это все индивидуально... убери из роботс те dissalow, которые не нужны и добавь те страницы, которые нужны. Все очевидно и просто. Тут нет шаблона..
Например добавь карту сайта, так же можешь запретить индексацию страниц (/page/2/, page/3/), если есть не нужные страницы для ПС типо (правообладателям, реклама на нашем сайте и т.д.) то тоже можешь смело их закрыть.
Думать ты уловил о чем речь.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!


Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.


Войти сейчас