Управление очередью

Настройте очередь для оптимальной работы EmEx 3. Настройки очереди влияют на скорость работы, нагрузку на процессор и оперативную память, а так же на защиту от высокой сетевой активности.

Queue_Settings_Dialog

Линейный алгоритм

EmEx 3 будет обрабатывать ссылки в том порядке в котором они попали в очередь по принципу FIFO - первый вошел, первый вышел

Распределение по доменам

Потоки загрузки распределяются для разных доменов, во избежании нескольких одновременных запросов на один сервер. Тем самым защищаясь от блокировки за высокую сетевую активность.

Максимальное количество потоков на домен

Ограничение количества одновременных потоков загрузки для одного домена.

Уровень доменного имени

Уровень доменного имени по которому EmEx 3 будет считать что это другой сервер, как правило это домены 2-го уровня.

Например: emmalabs.ru

Не добавлять в очередь прямые ссылки на поисковые машины

Если документ содержит ссылку на поисковую машину (например Google), то EmEx 3 не будет добавлять эту ссылку в очередь обработки. Так как все поисковые машины имеют защиту от излишней активности, страница которая содержит много подобных ссылок может привести к блокировке Вашего IP адреса со стороны сервера.

Игнорировать ошибку 404 при скачивании

Ошибка 404 означает что такого документа на сервере нет. Однако некоторые сервера выдают ошибку 404, но при этом отдают документ содержащий нужную информацию.

Время ожидания (таймаут)

Время ожидания в течении которого поток загрузки будет пытаться получить ссылку. Слишком высокое время может привести к долгому ожиданию ответа от плохих серверов, слишком маленькое (на медленных каналах) к ложной пометке ссылки как ошибочной.

Количество попыток загрузки

Количество попыток загрузки ссылки в случае превышения времени ожидания ответа от сервера.

Ограничение количества потоков парсера

По умолчанию EmEx 3 автоматически запускает потоки парсера по мере необходимости. На очень быстрых интернет-каналах это может привести к неоправданно большой нагрузке на процессор и чрезмерному расходу оперативной памяти. Вы можете ограничить количество потоков парсера во избежании подобных проблем.

Представляться как браузер или поисковый робот

По умолчанию EmEx 3 представляется для сервера как браузер Internet Explorer (User-agent - Internet Explorer), если вы хотите изменить это поведение выберите нужную вам опцию. Так же это позволяет замаскироваться под поискового "паука", которому отдается другой, более облегченный контент.

Случайным образом

EmEx 3 будет выбирать произвольное значение User-agent для каждого нового домена из собственного списка.

Из списка

Вы можете выбрать конкретное стандартное значение User-agent.

Произвольный

Вы можете сформировать свое значение User-agent.