Робот (бот, спайдер, паук, spider) или поисковый бот - доля поисковой системы, предназначенная для сбора и анализа информации (контента) с сайтов.
Согласно с установленным алгоритмом бот изучает содержание любой страницы ресурса, заносит его в базу данных поисковой системы и присваивает определенное место в рейтинге по конкретному запросу (производит индексацию). Чем чаще обновляется и дополняется информация на Вашем сайте, тем чаще бот будет проводить индексацию страниц. Хозяин ресурса может описать права доступа для поисковых машин, т.е. указать им, какие страницы требуется индексировать, а какие - нет, предоставить разным андроидам различные права доступа. Для этого создается особенный файл роботы.txt. Именно его прежде всего запрашивает бот при обращении к серверу. Если в файле /роботы.txt содержится 0 записей, то бот будет индексировать все страницы ресурса согласно со собственным алгоритмом. Если бот найдет в данном файле непосредственно созданное для него правило, то поступит так, как ему предписано. Файл /роботы.txt ограничивает манипуляции поисковых машин и за счет этого частично помогает решить серьезную проблему с нагрузкой на сервак, которая создается при индексации целого содержимого ресурса. Есть еще 1 метод задать правила поведения андроида для любой HTML-страницы в специальных мета-тегах вида , где в робот_terms ч/з запятую указываются правила индексации all, none, index, noindex, follow или nofollow.
