Работа поискового робота

 

«Моя страница периодически пропадает из результатов поиска. В чем дело?», - таким вопросом задаются многие начинающие создатели сайтов. Если в момент высокой нагрузки не ответил какой-то поисковый сервер, где случайно находилась ваша страница, в результатах поиска она не будет показана.

 

 

Постоянная борьба среди оптимизаторов идёт за появление сайта в «топе» при поисковых различных фразах, сеошники а именно так называются мастер SEO, составляют семантического ядро – запросы пользователей по тематике сайта, оптимизирует код страницы сайта, выделяя заголовки с поисковыми фразами тегами <h1>, <h2>, <strong> (См. статьи на эту тему), составляют уникальные и правильные, сточки зрения поисковых систем, тексты (SEO-рерайтинг, SEO-копирайтинг), повторяя в нужных пропорциях поисковые фразы в тексте. А делают это всё они для поисковых роботов или, проще говоря, «поисковых пауков» поисковых систем, таким как Яндекс или Goolge.


Для начала разберёмся, что такое робот поисковой системы и что же он делает? Он хранит список адресов сайтов, которые он может проиндексировать и скачивает документы по этим ссылкам, добавляя их в базу данных поисковой системы. Если при анализе страницы робот обнаруживает новую ссылку, он добавляет ее в свой список, который в свою очередь анализирует уже другой робот поисковой системы. Таким образом, любой документ или сайт, на который есть ссылки с других страниц, может быть найден роботом и проиндексирован на наличие ссылок и текста.

Существует специальный файл для таких роботов, а носит он название robots.txt и находиться (или не находиться) в директории, отведённой специально для него. Для правильного составления этого файла лучше прочитайте описание стандарта исключений для файла robots.txt, благо вы без проблем сможете найти темы, посвящённые этому вопросу.

Внимательно относитесь к так называемым «редиректам» - автоматическом перенесении пользователя на другую страницу, это не очень нравиться поисковым роботам, а всё, что им не нравиться, мы не собираемся делать. Ведь так?

Это же касается текста в JavaScript и Flash. Не стоит помещать ползеную и тем более ключевую информацию в «тело» данных технологий. Что же касается фрэймов, от них так же стоит категорически отказаться и использовать в исключительных ситуациях (создание чата, админ-панели и т.д.). Но, если это по определённым причинам невозможно, перед загрузкой страницы необходимо проверить с помощью JavaScipt, открыт ли родительский фрейм с навигацией, и если нет, открыть его с помощью всё того же JavaScript.

На многих сайтах существует административная часть и естественно, данные в ней нежелательны для попадания в поисковые системы, их не стоит индексировать - ведь этим могут воспользоваться мошенники. Или другой пример, когда сервер слишком перегружают поисковые роботы, индексируя страницы, они задействуя скрипты, потребляющие слишком много ресурсов сервера. Повлиять на поведение робота можно при помощи файла robots.txt. Напишите в нем запрет для робота поискового "паука" на обращение к скриптам, которые сильно загружают ваш сервер.

«Моя страница периодически пропадает из результатов поиска. В чем дело?», - таким вопросом задаются многие начинающие создатели сайтов. Если в момент высокой нагрузки не ответил какой-то поисковый сервер, где случайно находилась ваша страница, в результатах поиска она не будет показана. Если при обращении к странице иногда возникает ошибка (например, из-за нестабильного хостинга), робот удаляет страницу из поиска до следующего успешного обращения. Поэтому чрезвычайно важно обращать внимание на работу вашего хостера и вовремя принять меры.