MegaWeb.su как создать свой сайт через html

Правильный Robots.txt для DLE
Как известно, в конце 2009 года в поисковой системе Яндекс был введен новый алгоритм индексации страниц под названием АГС-30. Он основывается более, чем на 100 новых параметрах.
Естественно, что никому не известно, как именно работают поисковые алгоритмы, но произвести некоторые наблюдения и получить свою картину происходящего мы можем и самостоятельно!