Прошло уже почти два месяца, а Яндекс так и не проиндексировал уфна.ру. Точнее — не проиндексировал основной блог — старый сайт с хтмл’ными статьями он давно занес себе в память.
Я заинтересовался данным вопросом и пришел к выводу, что дело именно в определении зеркала сайта.
Для Яндекса дополнительно необходимо определить какое зеркало сайта является главным, с помощью директивы ‘Host‘ в файле robots.txt (Напомню — файл, находящийся в корневой директории сайта и задающий настройки для поисковых роботов). Код добавляемый в Robots.txt должен выглядеть следующим образом:
User-agent: Yandex Disallow: Host: blog.ufna.ru
Кстати, «по хорошему» следует вынести директиву ‘Host‘ в отдельную секцию, предназначенную только для робота Яндекса (User-agent: Yandex), т.к. возможно, что другие поисковики (тот же Google, он чет странно разделил у меня сайт на два зеркала) могут некорректно отработать непонятную им директиву. Так же по стандартам файла robots.txt в каждой секции ‘User-agent‘ должна присутствовать хотя бы одна директива ‘Disallow‘, поэтому мы поставим в коде пустую, ничего не запрещающую директиву Disallow:. Тогда файл robots.txt, после добавления приведенного выше кода, будет выглядеть так:
User-agent: * Disallow: User-agent: Yandex Disallow: Host: blog.ufna.ru Sitemap: http://blog.ufna.ru/sitemap.xml.gz Sitemap: http://blog.ufna.ru/sitemap.xml
Ну что ж, теперь ждем робота в гости :)
Comments
Была такая же проблема — сайт был уже месяц как в Гугле, а Яндекс все никак не мог ничего найти и выдавал мне ошибки разделов и прочие неприятности )
Сейчас прописал robots.txt по вашей рекомендации, ждемс =)
Спасибо за пост!