Как много оказывается безграмотно составленных файлов robots.txt в сети. Очень много встречается несуществующей в природе директивы Allow: и т.д.
На самом деле в составлении robots.txt сложного ничего нет. Если уж учить синтаксис совсем ленно, то можно заглядывать на сайт robots.txt по-русски.
Если вы хотите добавить ссылочку на свой сайт в сервис закладок, но вас смущает тот факт, что ссылки там закрыты атрибутом rel=»nofollow», не спешите отчаиваться – Google, в частности, прекрасно индексирует RSS-каналы закладок.
Вот примеры индексации RSS-каналов для трёх таких сервисов:
Бэклинки я, правда, не смотрел с этих каналов, но то, что они индексируются – это факт. Кроме того, эти RSS имеют свой PR, что говорит о том, что Google считается с их важностью.
Вся фишка заключается в том, что XML, чьим подмножеством является RSS, просто напросто не поддерживает никаких таких атрибутов ссылок. Так что владельцы таких сервисов следуя философии Web 2, в данном случае наличию RSS-каналов, прогадали в своём стремлении перекрыть кислород честным вебмастерам желающим получить лишнюю ссылку на свой сайт.
Тут есть конечно вопрос относительно того, считаются ли поисковики с конструкцией –
<link>...</link>
которая в XML является аналогом
<a>...</a>
Учитывают поисковики такие ссылки сейчас или нет я не знаю, при наличии желания и времени понаблюдаю. Предполагаю, что с распространяемыми такими темпами форматами XML они должны это делать, не сейчас, так потом.
По наблюдениям на данный момент – Yahoo! быстрее индексирует ссылки с этих сервисов (не с RSS), да и атрибут rel=»nofollow» ему до лампочки.
*************
Добавлено 17.03.2007
Сгораемый нетерпением, я не стал откладывать в долгий ящик проверку своих предположений и провёл маленькое исследование, которое естественно не претендует на полноту и чистоту, но промежуточные выводы сделать всё же позволяет.
Я отправил в Google такой запрос:
link:searchengines.ru inurl:rss
Вывод – Google учитывает ссылки с RSS-каналов.
Предлагаю расслабиться (а может и напрячься)) в свободное от работы время ))
Этим небольшим исследованием я хочу пролить свет на столь туманное и незаслуженно обойденное вниманием явление, имя которому – мудак. Трудно сказать, что послужило причиной к тому, что существование этой социальной прослойки нашло свое отражение лишь в фольклоре, а всерьез мало кто согласится с их самостоятельным существованием. Но они есть, и их немало, и не нужно в этом обманывать ни себя, ни других.
Определить отличительные признаки mudak-ов – чрезвычайно трудное дело. Иногда вроде бы чувствуешь, что этот человек – mudak, но нет ясного понимания причин этого чувства, поэтому иногда даже некоторые начинают испытывать чувство вины перед mudak-ом, и в силу этого уделять ему больше внимания и позволять ему больше других, а это совершенно недопустимо при общении с mudak-ами – это все равно, что класть руку в пасть крокодилу.
Полностью можно почитать здесь.
Не правда ли знакомое явление? )))))
