Глубина и объем индексации

        Помимо информации о том, какие домены и документы индексируются поисковыми машинами, специалистам-оптимизаторам для грамотной раскрутки сайта также необходимо знать о том, насколько глубоко поисковик погружается в сайт, насколько далеко заходит по страницам. Теоретически ограничений, связанных с проходом по страницам у поисковой машины не существует. Но, как показывает практика, поисковик не будет индексировать, к примеру, миллион страниц вашего сайта. Это связано с тем, что в очереди на индексацию у поисковой машины стоят десятки миллионов других сайтов, и этот список ежедневно пополняется. Поэтому поисковик старается за один раз охватить разумное количество страниц, не посвящая этому особо много времени. Хотя при следующем попадании на этот же сайт поисковик проиндексирует следующие страницы. В результате получается, что поисковая машина не погружается слишком глубоко в индексируемый сайт и не берет каждый раз большое количество страничек.
        Поэтому при разработке сайта необходимо разумно организовывать структуру сайта, чтобы не было бесчисленных переходов с одной страницы на другую. Потом на третью и так далее – следует избегать цепочек из ссылок.
                                                                      Индексация баз данных
        Достаточно часто сайты, на которых размещается слишком большое количество информации, хранят свои страницы в базе данных - Microsoft SQL Server или MySQL. Это оказывается намного удобнее для хранения информации и обновления сайта. Потому что подобные базы данных рассчитаны на то, что информацию можно легко добавлять, удалять или модифицировать.
        Поисковые машины индексируют такие сайты точно так же, как и любые другие – главное, чтобы страницы выводились при переходах по ссылкам. Для индексации совершенно неважно, находится ли страница на самом сайте или она динамически генерируется при переходе по ссылке. Однако если для получения доступа к странице надо ввести запрос к базе данных, то поисковик такие страницы просто не увидит.
        Итак, при создании и раскрутке сайта необходимо помнить о том, что поисковая машина будет индексировать на сайте только те страницы, на которые существуют гипертекстовые ссылки. Крупные базы данных с ограниченным доступом и сложным входом в них для поисковика не будут активными и видимыми. Подобных баз в Интернете большое количество, поэтому часто говорят о глубине Интернета, которая недоступна поисковым машинам и которая в десятки и сотни раз больше, чем кажется и представляется.