Правильный Robots.txt для DLE

Автор: Admin    Категория: Советы    Теги:  Robots.txt    Дата: 19-02-2011, 00:45
Правильный Robots.txt для DLEПравильный Robots.txt для DLE
Как известно, в конце 2009 года в поисковой системе Яндекс был введен новый алгоритм индексации страниц под названием АГС-30. Он основывается более, чем на 100 новых параметрах.
Естественно, что никому не известно, как именно работают поисковые алгоритмы, но произвести некоторые наблюдения и получить свою картину происходящего мы можем и самостоятельно!

robots.txt — файл ограничения доступа к содержимому роботам на http-сервере. Файл должен находиться в корне сайта (то есть иметь путь относительно имени сайта сайт.ру/robots.txt). При наличии нескольких субдоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандарт Sitemaps, который служит прямо противоположной цели: облегчать роботам доступ к содержимому.

Как известно, в конце прошлого года в поисковой системе Яндекс был введен новый алгоритм индексации страниц под названием АГС-30(АГС-30 – это новый алгоритм фильтрации некачественных сайтов, называемых в кругах оптимизаторов как ГС.). Он основывается более, чем на 100 новых параметрах.
Естественно, что никому не известно, как именно работают поисковые алгоритмы, но произвести некоторые наблюдения и получить свою картину происходящего мы можем и самостоятельно.

Можно сказать сразу, что данный алгоритм никак не затронул старые сайты, которым больше двух-трех лет. Но молодым сайтам, что мы можем видеть по расположенным на хостинге сайтам, попало от АГС по полной программе. Одни сайты лишились тысяч страниц в индексе Яши, некоторые выпали из выдачи почти полностью, другие сильно сдали позиции в поисковой выдаче. Но некоторое количество все же выстояли против новых алгоритмов и, более того, даже продолжают расти.

На основе данных наблюдений мы можем уделить внимание следующему аспекту: Яндекс ныне не терпит повторяющихся страниц на сайте (дублей), страниц без контента либо служебных. Такие страницы обязательно (!) нужно закрывать от индексации и следить за тем чтобы одна страница не могла быть доступна по другому адресу (URL). Часто подобную ситуацию позволяют CMS сайтов, например в DLE можно размещать одну новость в несколько разных категорий и получается, что статья-то одна и та же, а URL:

http://сайт.ру/категория-первая/название_новости.html
http://сайт.ру/категория-вторая/название_новости.html

...разный.

Если вам дорог ваш сайт, старайтесь не допускать такого.

Также подобную проблему могут вызвать календарь, теги, метки, архивы...
Но тут мы можем себе помочь:
Создаем текстовый файл robots.txt
Копируем туда следующий текст:
Код:

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Sitemap: http://megaweb.su/sitemap.xml	
Host: megaweb.su


P.S. Ясное дело megaweb.su заменить на свой домен :)

!!!Важный момент!!! - директиву Host понимает только Yandex поэтому для него и для других поисковых систем нужно разделять директивы.
Так же полезно почитать про директиву Crawl delay и снижение нагрузки на сервер
Пользуйтесь на здоровье!
Версия для печати
  • 100
     Просмотров: 9 212      Комментариев: 6   

Понравилась новость Правильный Robots.txt для DLE на MegaWeb.su? Сохрани в закладках или распечатай!


Информация

Внимание!

Если копируете мой материал - будьте добры оставлять ссылку на источник MegaWeb.su пожалуйста, или поставьте на свой сайт мою кнопочку.
Уважайте чужой труд! И Вам хорошо - и мне приятно, это стимулирует дальнейшее развитие проекта!

№ 6 Автор: Admin 19 июня 2013 12:12

 Вот такой я - Admin

Admin
Администраторы
комментариев
публикаций

Статус: Пользователь offline
Цитата: morff
А стоит ли ставить "Разрешить регистрацию нескольких пользователей с одного IP" на сайте?

Ну это дело хозяйское. Важно помнить что есть города и районы где у всех один IP, таким запретом можно заблокировать целое какое-нибудь село. Это с одной стороны, а с другой стороны есть конечно ребята которые несколько раз регятся и свинячат, таких можно просто банить да и всё, благо их не много.


----------------------------------------------------
Пойми что тебе нравится и сделай это своей работой!

  • Нравится
  • 0
    

№ 5 Автор: morff 19 июня 2013 03:51

 Вот такой я - morff

morff
Гости
комментариев
публикаций

Статус:
А стоит ли ставить "Разрешить регистрацию нескольких пользователей с одного IP" на сайте?

  • Нравится
  • 0
    

№ 4 Автор: Admin 18 июня 2013 03:23

 Вот такой я - Admin

Admin
Администраторы
комментариев
публикаций

Статус: Пользователь offline
Цитата: morff
они ломятся я так понимаю через пользователей.если переодически чистить пользователей,или может как то регистрацию поменять "через социальные сети например"это не вариант?я хз что делать это же могут на всех рекламных ресурсах забанить))

Думаю на вряд ли что то можно сделать. Гостям же просмотр сайта разрешён - вот просмотры и накручиваются. Серьёзно ограничить регистрацию ботов можно включив систему вопрос-ответ и вопросы придумать что бы ответить мог только человек, т.к. простую математику программа решает легко без участия человека, любую капчу тот же хрумер пробивает вообще без напряга. Минимум каждый месяц менять вопросы т.к. если будет ручная регистрация через программу то программа автоматически запоминает вопросы и варианты ответов. Включить Автоматическое удаление зарегистрированных пользователей. Смотрите статистику - сколько регистрируется человек в сутки, если после усиления системы безопасности регистрация прекратится вывод - регистрировались одни боты. Но просмотры новостей ботам запретить нельзя, это уже проблема рекламных ресурсов - усовершенствовать свои алгоритмы подсчётов.


----------------------------------------------------
Пойми что тебе нравится и сделай это своей работой!

  • Нравится
  • 0
    

№ 3 Автор: morff 17 июня 2013 23:51

 Вот такой я - morff

morff
Гости
комментариев
публикаций

Статус:
Цитата: Admin
Это ломятся боты спамеров

они ломятся я так понимаю через пользователей.если переодически чистить пользователей,или может как то регистрацию поменять "через социальные сети например"это не вариант?я хз что делать это же могут на всех рекламных ресурсах забанить))

  • Нравится
  • 0
    

№ 2 Автор: Admin 17 июня 2013 13:53

 Вот такой я - Admin

Admin
Администраторы
комментариев
публикаций

Статус: Пользователь offline
Цитата: morff
я тоже замечаю что у меня на последнем посте вроде как бы больше просмотров набегает.Может есть какая то инфа или совет по этому поводу?

Даа... дело плохо... Если у Вас счётчик ли.ру установлен правильно и есть такая разница в показаниях - то однозначно в advmaker учитываются абсолютно все посещения, в том числе и посещение ботов. У меня на некоторых сайтах просмотры новостей многотысячные при том что посещалка 500-600 хостов. Это ломятся боты спамеров, движок учитывает этих ботов как людей, видимо и алгоритм счётчика advmaker учитывает заходы ботов спамеров, можно попробовать объяснить эту ситуацию администрации.
P.S. На одном из сайтов я посчитал ради интереса просмотры новостей за сутки - вышло под 50К при посещалке в 500 хостов, но ли.ру при этом учитывает только людей, а ботов не считает.


----------------------------------------------------
Пойми что тебе нравится и сделай это своей работой!

  • Нравится
  • 0
    

№ 1 Автор: morff 17 июня 2013 12:52

 Вот такой я - morff

morff
Гости
комментариев
публикаций

Статус:
Доброго времени суток админ!У меня опять проблема,и опять я обращаюсь к вам за советом)По вашему совету я установил на сайте рекламу от advmaker.net,спасибо рекламная компания супер все было отлично.Но 07.06.2013 получил бан от advmaker,по причине "накрутки показов".Связавшись по скайпу с админом advmaker.Получил такое детальное пояснение:
Так... у вас статистика просмотров страниц на ли.ру была меньше чем учитывалось по нашей. То есть просмотров 3000 к а по нашей 4500 как это возможно???
скрин приложил он http://i.imgur.com/DHp8gWj.png
я тоже замечаю что у меня на последнем посте вроде как бы больше просмотров набегает.Может есть какая то инфа или совет по этому поводу?

  • Нравится
  • 0
    

Информация

Внимание!

Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.

Лента новостей
RSS 2.0

Лента новостей сайта megaweb.su

Блок программ Популярный софт

Коды блока "Популярный софт":

Фиксированный
windows-1251

код блока 1

<script type="text/javascript" src="/softblok/softblok.js" charset="windows-1251"></script>

Резиновый
windows-1251

код блока 2

<script type="text/javascript" src="/softblok/softblok2.js" charset="windows-1251"></script>

Резиновый
UTF-8

код блока 3

<script type="text/javascript" src="/softblok/softblok1.js" charset="utf-8"></script>

Глобус