Веб-мастера не обязаны регистрировать свои сайты внутри поисковой системы. Крупные поисковые службы предоставляют веб-дизайнерам сервисы, позволяющие им добавлять свои проекты внутрь поиска. Примерами таких программ являются Google SiteMaps в Google и SiteExplorer в Yahoo. Вообще, обычная ссылка с уже зарегистрированного ресурса позволяет с легкостью попасть внутрь поисковой системы. Конечно, эта процедура может занять несколько дней или пару недель, так как «паукам» поисковых служб требуется достаточно много времени, чтобы определить или зарегистрировать подобные ссылки. К тому же, количество подобных сайтов, ожидающих регистрации, иногда достигает гигантских размеров.
После того как поисковая система «нашла» новый сайт, она автоматически будет индексировать новые страницы, если соединены ссылками типа «anchor». Но следует быть осторожным, так как страницы с использованием Flash или Java могут быть недоступны или не зарегистрированы поисковой системой.
Поисковые роботы оценивают много факторов во время анализа сайта. Многие страницы с сайта могут не попасть в реестр поисковой службы, пока они не получат достаточное количество посещений пользователей, или на них будет направлено больше ссылок. Также «дистанция» между главной страницей сайта, и анализируемой страницей может повлиять на исследование поисковых роботов.
Веб-мастера могут заставить поисковые программы не индексировать тот или иной файл в стандартном файле robots.txt внутри домена. Стандартной практикой для поисковых служб является оценка таких файлов во время первого входа на сайт, и после этого пауки сохраняют копию данного файла. На основе подобных данных было разработано огромное количество ловушек для поисковых пауков. Стандартной ловушкой для пауков является обычное быстрое обновление таких файлов. Поисковые службы попросту не успевают следить за изменениями. Веб-разработчики постоянно используют такую технику, чтобы защитить интернет-магазины и специфическое содержимое от появления в результатах поиска. Точно также разработаны техники для поимки пауков в бесконечные повторения одно и того же действия.
Внутри крупных поисковых служб, вроде Yahoo, которые используют платную загрузку файлов внутрь системы, имеются возможности сэкономить огромное количество времени. Достаточно просто заплатить. Такая оплата гарантирует, что искомый сайт попадет в рейтинги системы, но совсем не обещает каких-либо определенных позиций внутри системы.
http://www.seooffice.com/articles/search-engines-listing.html
keywords: продвижение сайтов, реклама в сети, создание сайтов //