Поисковый робот

[gretta]

Подскажите плз! Кто такой "Поисковый робот Yahoo! Slurp" и вообще что это - "Поисковый робот" - почему в списке "Кто на форуме" ЭТО присутствует вместе с Гостями?

[Dr_Bactory]

ну ищет кто-то что-то в поисковиках.... находит что-то и у нас по запросу

[Messiah]

Сообщение от gretta

Подскажите плз! Кто такой "Поисковый робот Yahoo! Slurp" и вообще что это - "Поисковый робот" - почему в списке "Кто на форуме" ЭТО присутствует вместе с Гостями?

Поиско___769;вый ро___769;бот («веб-пау___769;к», паук, спайдер, краулер) — программа, являющаяся составной частью поисковой системы и предназначенная для обхода страниц Интернета с целью занесения информации о них (ключевые слова) в базу поисковика. По своей сути паук больше всего напоминает обычный браузер. Он сканирует содержимое страницы, забрасывает его на сервер поисковой машины, которой принадлежит и отправляется по ссылкам на следующие страницы. Владельцы поисковых машин обычно ограничивают глубину проникновения паука внутрь сайта и максимальный размер сканируемого текста, поэтому чересчур большие сайты могут оказаться не полностью проиндексированными поисковой машиной. Кроме обычных пауков, существуют так называемые «дятлы» — роботы, которые «простукивают» проиндексированный сайт, чтобы определить, что он подключен к Интернету.

Порядок обхода страниц, частота визитов, защита от зацикливания, а также критерии выделения ключевых слов определяется алгоритмами поисковой машины.

В большинстве случаев переход от одной страницы к другой осуществляется по ссылкам, содержащимся на первой и последующих страницах.

Также многие поисковые системы предоставляют пользователю возможность самостоятельно добавить сайт в очередь для индексирования. Обычно это существенно ускоряет индексирование сайта, а в случаях, когда никакие внешние ссылки не ведут на сайт, вообще оказывается единственной возможностью заявить о его существовании.

Ограничить индексацию сайта можно с помощью файла robots.txt, однако некоторые поисковые системы могут игнорировать наличие этого файла. Полная защита от индексации обеспечивается механизмами, обойти которые пока паукам не под силу. Обычно — установкой пароля на странице, либо требованием заполнить регистрационную форму перед тем, как получить доступ к содержимому страницы.

[gretta]

2 Messiah и Dr Bactory СПАСИБО БОЛЬШОЕ!!! Буду знать!