Google предоставляет собственный robots.txt checker
Такая новая функция добавлена в сервисе Google Sitemaps.
Если на сайте имеется robots.txt, его можно проверить на синтаксис и посмотреть, как пауки Google будут ползать по сайту.
Мой блог находят по следующим фразам
- посмотреть сайт как выглядел
- site:blog.altraffica.ru
- уникализировать картинку
- seo бар
- "гитара макаревича"
- Клиент для комментариев WordPress
