Проверяйте robots.txt!

Сегодня мы познакомились с Дмитрием. Его техническая лекция оказалась весьма полезной и своевременной, а “сюрприз”, преподнесённый им через robots.txt, сознательно (в качестве проверки) или не сознательно, оказался хорошим уроком на будущее.

По-порядку. Когда я задумался об индексации веб-ресурса, первым делом открыл robots.txt, чтобы сделать склейку зеркал для Яндекс, и закрыть для начала несколько урлов от ботов. Я предполагал, что файл не будет пуст: скорее всего будут присутствовать дефолтные инструкции закрывающие раздел управления WordPress и какие-то ещё. Но каково было моё удивление, когда я увидел следующее:

Вторая инструкция рекомендует в качестве основного домена использовать домен прописанный в Host: . То, что это случайность, возникшая в процессе копирования скриптов WordPress для ряда аккаунтов хостера, лично у меня не вызывает сомнений, хотя с другой стороны это вполне могла быть проверка слушателей (дополнительный тест). Давайте разбираться. То что со временем тИЦ моего домена перешел бы домену прописанному в Host: меня не беспокоит, поскольку мой ресурс молодой и тИЦ у него меньше 10. А что касается поиска, здесь вопрос куда драматичнее, если выполнить запрос по ключевому словосочетанию из моего семантического ядра, то этот запрос приведёт пользователя к основному домену, то есть к ресурсу прописанному в Host:.

Что касается самого домена, то плюсы для него очевидны. Он продаётся, о чем сообщает главная страница, и если он наберёт тИЦ с помощью подобной склейки, а таких жертв оказалось немало, то цена его подрастёт. В дополнение, не исключено, что посетители, которые работают в области seo, вполне могут приобрести этот домен, поскольку со временем он был бы отнесён к seo тематике.

Теперь разумный совет для тех кому технари интегрировали систему управления, прежде чем начнете публиковать контент проверьте robots.txt на предмет таких фокусов, а также проверьте .htaccess.

Да, и вообще, периодически проверяйте этот файл, например из панели webmaster.yandex.ru или напрямую через запрос в адресной строке вашего браузера. Зачем? Знаете, взлом вашего аккаунта на сервере хостера, это ужасно, но ужаснее то что он может пройти не заметно для вас. Например, взломщик не станет удалять ваши скрипты или базу, да это
и не разумно — есть бэкап, а вот изменить ваш robots.txt – вполне. Узнаете вы об этом, когда ваш любимый ресурс вывалиться из выдачи. Будьте бдительны, молодые сеошники!