Новые стандарты для директивы Allow файла robots.txt » Интернет новости
октября 3, 2011
Новость опубликована в разделе Поисковые системы
Сервис Яндекс.Поиск опубликовал информацию о том, что алгоритмы Яндекса теперь будут обрабатывать директиву «Allow» в текстовом файле robots.txt по новому.
Стоит отметить, что данный файл является одним из ключевых элементов для управления индексацией сайта поисковыми системами, в том числе Яндексом.
Так для того, что бы Яндекс смог обработать и учитывать директивы корректно, владельцам сайтов необходимо будет использовать «Allow» с учетом порядка: если для определённой страницы подходит сразу несколько директив, то выбирается первая в списке «User-agent» блоке. Владельцы сайта http://mobila69.ru/ уже стали использовать новые советы от Яндекса.
Олег Сахно - руководитель компании «ИнтерЛабс», так высказался об обновлении: «До сих пор между веб-мастерами и поисковыми системами находился серьёзный разрыв..
Последовательность команд в файле robots.txt очень редко учитывается оптимизаторами при построении данного файла. Более того, сам файл использует менее 50% всех сайтов в Рунете. Так же использование директив «Disallow» и «user-agent» вызывает сложности у владельцев ресурсов, которые не занимаются активно продвижением ресурса в сети Интернет.
Скорее всего, в Яндексе стоит добавить уведомление о том, что файл сформирован неверно или число страниц в индексе значительно уменьшилось по причине неверного использования директив в robots.txt».
Через несколько недель Яндекс планирует внедрить изменение в обработке поисковым роботом директивы «allow» и отказаться от учета порядка, который был важен ранее. Директива будут сортироваться по длине префикса адреса страниц от меньшего к большему.
Специалисты отмечают, что подобным образом Яндекс готовится к постепенному выходу на международный рынок, потому как большая часть поисковых систем использует именно такой метод, а значит веб-мастера привыкли оптимизировать индексацию именно так.
Всем оптимизаторам и веб-мастерам компания советую перепроверить файлы robots.txt и проверить их на соответствие стандартам.
Советуем прочитать
