Настройте очередь для оптимальной работы EmEx 3. Настройки очереди влияют на скорость работы, нагрузку на процессор и оперативную память, а так же на защиту от высокой сетевой активности.
EmEx 3 будет обрабатывать ссылки в том порядке в котором они попали в очередь по принципу FIFO - первый вошел, первый вышел
Потоки загрузки распределяются для разных доменов, во избежании нескольких одновременных запросов на один сервер. Тем самым защищаясь от блокировки за высокую сетевую активность.
Ограничение количества одновременных потоков загрузки для одного домена.
Уровень доменного имени по которому EmEx 3 будет считать что это другой сервер, как правило это домены 2-го уровня.
Например: emmalabs.ru
Если документ содержит ссылку на поисковую машину (например Google), то EmEx 3 не будет добавлять эту ссылку в очередь обработки. Так как все поисковые машины имеют защиту от излишней активности, страница которая содержит много подобных ссылок может привести к блокировке Вашего IP адреса со стороны сервера.
Ошибка 404 означает что такого документа на сервере нет. Однако некоторые сервера выдают ошибку 404, но при этом отдают документ содержащий нужную информацию.
Время ожидания в течении которого поток загрузки будет пытаться получить ссылку. Слишком высокое время может привести к долгому ожиданию ответа от плохих серверов, слишком маленькое (на медленных каналах) к ложной пометке ссылки как ошибочной.
Количество попыток загрузки ссылки в случае превышения времени ожидания ответа от сервера.
По умолчанию EmEx 3 автоматически запускает потоки парсера по мере необходимости. На очень быстрых интернет-каналах это может привести к неоправданно большой нагрузке на процессор и чрезмерному расходу оперативной памяти. Вы можете ограничить количество потоков парсера во избежании подобных проблем.
По умолчанию EmEx 3 представляется для сервера как браузер Internet Explorer (User-agent - Internet Explorer), если вы хотите изменить это поведение выберите нужную вам опцию. Так же это позволяет замаскироваться под поискового "паука", которому отдается другой, более облегченный контент.
EmEx 3 будет выбирать произвольное значение User-agent для каждого нового домена из собственного списка.
Вы можете выбрать конкретное стандартное значение User-agent.
Вы можете сформировать свое значение User-agent.