Рекомендации

На этом этапе мы хотим вам дать несколько полезных советов:

1.Не пытайтесь охватить своим поиском весь интернет - это не улучшит результатов, а всего лишь породит абсолютно бесцельно затраченный трафик.

2.Обязательно прочтите статью о глубине погружения. Погружение с глубиной в 5 ссылок от начального документа зачастую способно охватить фактически весь сайт целиком.

3.Используя механизмы авторизации следует помнить, что сайты подобного рода в 99.9% случаев защищены от излишней сетевой активности. И если вы не хотите лишиться вашей учетной записи на этом сайте, то настройте фильтр анти-флуда заранее, до старта проекта, а не после того, как админ этого сайта заблокирует вашу учетную запись.
Просто представьте сами, как это выглядит со стороны логов - один пользователь просматривает одновременно по 10 страниц со скоростью 5 страниц за секунду.... Естественно, что это робот! Тише едем - дальше будем.

4.Если вы не хотите видеть надпись "скорее всего на вашем компьютере вирус..." при попытке найти что-то в поисковой машине Google, то отключите прямое сканирование поисковых машин - вы не найдете таким образом там ничего из того, что ищете, но зато получите стопроцентный бан.

5.Использование фильтров динамической замены может существенно увеличить количество найденных результатов, но не увлекайтесь - это сильно повышает нагрузку на процессор и память.