Robots.txt по инопланетянски
Как много оказывается безграмотно составленных файлов robots.txt в сети. Очень много встречается несуществующей в природе директивы Allow: и т.д.
На самом деле в составлении robots.txt сложного ничего нет. Если уж учить синтаксис совсем ленно, то можно заглядывать на сайт robots.txt по-русски.
08.06.2007 в 23:54
интересная информация по поводу robots.txt недавно в сети появилась – яндекс индексирует robots.txt не более 32 kb
03.07.2007 в 03:44
Причина проста: вместо того, чтобы изучать какие-то инструкции и литературу, люди идут на ближайший сайт и просто копируют роботс к себе на сайт. Так ошибочный код расползается по всему миру. Это одна из причин, по котрой HTML-код большинства сайтов – с ошибками. И в этом нет ничего плохого. Браузер понимает, гугель хавает – ну и ОК!